KR20210076334A

KR20210076334A - 전방향 카메라를 이용한 방범용 영상감시장치

Info

Publication number: KR20210076334A
Application number: KR1020190167389A
Authority: KR
Inventors: 김배훈; 김지태
Original assignee: 주식회사 영국전자
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-06-24

Abstract

본 발명은 전방향 카메라를 이용한 방범용 영상감시장치에 있어서, 영삼감시장치의 외관을 형성하는 하우징 모듈; 4개 이상의 각각 다른 방향으로 배치되며, 이동물체를 촬영하도록 구성되는 카메라부; 및 촬영된 영상을 표시하도록 구성되는 영상표시부; 상기 영상감시장치의 동작을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 카메라부를 통해 획득한 영상의 파노라믹 합성을 수행하도록 구성되는 영상처리모듈; 상기 영상처리부를 통해 수신된 파노라믹 합성된 영상의 프레임간 비교를 통해 상기 이동물체의 움직임을 판단하고, 상기 파노라믹 합성된 영상으로부터 상기 이동물체의 움직임 영역이 포함된 이미지를 획득하며, 상기 획득된 이미지를 분석하여 상기 이동물체를 관찰대상으로 분류하도록 구성되는 인식처리모듈; 및 상기 인식처리부에서 상기 이동물체를 관찰대상으로 분류한 경우 상기 관찰대상의 움직임 영역이 포함된 이미지에 고유번호를 부여하고, 상기 이동물체의 움직임을 추적관리하도록 상기 카메라부를 제어하도록 구성되는 추적관리모듈을 포함하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치에 관한 것이다.

Description

전방향 카메라를 이용한 방범용 영상감시장치 {Video surveillance device for Crime prevention using omnidirectional camera}

본 발명은 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치에 관한 것으로서, 보다 상세하게는 수평방향으로 배열된 다수개의 서라운드 카메라와 상기 서라운드 카메라의 중심에 위치하는 중앙 카메라를 포함하며, 상기 서라운드 카메라와 중앙 카메라의 배치에 한정을 가지며, 상기 영상감시장치의 감시상 사각지역을 최소화하고, 추적대상 이동객체의 탐지 및 자동추적이 가능한 멀티 카메라를 이용한 전방향 카메라를 이용한 방범용 영상감시장치에 관한 것이다.

일반적으로 감시 지역을 원격으로 감시하기 위한 CCTV 시스템이 공개되어 있다. 종래기술에 따른 CCTV 시스템은, 감시 지역을 촬영하기 위한 팬/틸트/줌 기능을 갖춘 카메라와, 카메라의 영상을 수신하는 영상수신부, 수신한 영상을 화면에 표출하는 디스플레이부 등으로 구성되어 있다. 이러한 구성의 종래 CCTV 시스템은 패닝 또는 틸팅 작동이 가능하기 때문에 비교적 넓은 범위를 두루 감시 가능한 이점이 있다.

그러나, 반대로 이러한 카메라가 타겟팅하는 영역의 화면만으로 감시가 이루어져야 하기 때문에, 감시지역 전체를 한 번에 감시할 수 없다. 또, 카메라의 타겟 영역을 벗어난 구역은 모두 촬영 사각지대가 되는바, 침입자를 효과적으로 포착하는 본연의 기능을 제대로 발휘하지 못한다는 문제점이 있었다.

이와 더불어, 최근에는 범죄의 예방을 위하여, 또는 교통사고와 같은 사고 발생에 대응하기 위한 목적으로, 사각지대를 최소화하고, 추적대상 이동객체의 탐지 및 자동추적이 가능한 멀티 카메라를 이용한 이동경로 추적기술 기술개발에 관심이 높아지고 있는 실정이다.

대한민국 등록특허 제10-1821159호

본 발명은 전술한 바와 같은 실정 및 요구를 충족시키기 위해 창안된 것으로, 영삼감시장치의 외관을 형성하는 하우징 모듈, 항시 하우징 모듈의 내측에 배치되어 상기 하우징 모듈의 외측으로 배향되는 적어도 하나 이상의 서라운드 카메라 및 상기 적어도 하나 이상의 서라운드 카메라의 중앙부에 배치되는 중앙 카메라를 포함하되, 상기 서라운드 카메라는 상기 하우징 모듈의 중심을 기준으로 동일한 간격으로 원형 배열되어 상기 하우징 모듈의 외측으로 배향되고, 상기 중앙 카메라는 상기 하우징 모듈의 중심선 상에 배치되되 상기 하우징 모듈의 내부에 배치되는 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치 구성을 갖추어 사각지대를 최소화하고, 추적대상 이동객체의 탐지 및 자동추적이 가능한 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치를 제공함으로써, 최소의 공간을 가지는 컴팩트한 카메라 구성과 배치적 특성을 가지며 감시거리를 극대화 시키고 사각지대를 최소화하는 효과를 가지며, 효율적으로 감시대상에 대한 이동경로 추적기술이 가능한 효과를 가지는 것이 가능하다.

전술한 해결하고자 하는 과제를 달성하기 위하여, 본 발명은 구체적으로 영삼감시장치의 외관을 형성하는 하우징 모듈, 항시 하우징 모듈의 내측에 배치되어 상기 하우징 모듈의 외측으로 배향되는 적어도 하나 이상의 서라운드 카메라 및 상기 적어도 하나 이상의 서라운드 카메라의 중앙부에 배치되는 중앙 카메라를 포함하되, 상기 서라운드 카메라는 상기 하우징 모듈의 중심을 기준으로 동일한 간격으로 원형 배열되어 상기 하우징 모듈의 외측으로 배향되고, 상기 중앙 카메라는 상기 하우징 모듈의 중심선 상에 배치되되 상기 하우징 모듈의 내부에 배치되는 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치를 제공하는 것이 가능하다.

상기 하우징 모듈은 상기 하우징 모듈의 고정을 위하여 건물 등의 일면에 고정되는 고정체, 상기 고정체의 일측과 결합하며, 내부공간을 형성하는 연결바디 및 상기 연결바디와 결합하여 상기 내부공간을 밀폐시키며, 상기 하우징 모듈을 구성하는 하부캡을 포함할 수 있다.

상기 서라운드 카메라는 광각 렌즈를 포함하는 4개의 카메라로 구성되며, 각각의 서라운드 카메라는 동일평면상에서 90도의 배향각을 가지도록 배치되며, 각각의 서라운드 카메라의 감시각도는 수평방향으로 98도 이상인 것이 가능하며, 상기 중앙 카메라는 광각 렌즈를 포함하는 1개의 카메라로 구성되며, 다수개의 서라운드 카메라의 중앙에 배치되어, 촬상각이 지면과 수직을 이루도록 배치되며, 상기 중앙 카메라의 감시각도는 73도 이상인 것이 바람직하다.

상기 고정체는 상기 고정체의 일측에 형성된 돌출부 또는 스크류 가공부를 포함할 수 있으며, 상기 연결바디는 상기 고정체의 일측에 억지끼움결합, 스크류결합 또는 나사결합 중 어느 하나의 결합방식으로 결합될 수 있다.

또한, 상기 하부캡은 상기 연결바디의 일측에 억지끼움결합, 스크류결합 또는 나사결합 중 어느 하나의 결합방식으로 결합되되, 상기 서라운드 카메라 또는 상기 중앙 카메라의 일부가 외부로 돌출되거나 상기 서라운드 카메라 또는 상기 중앙 카메라의 렌즈로 가시광선 또는 적외선 등이 투과가능한 적어도 하나 이상의 윈도우를 포함하는 것이 바람직하다.

상기 하우징 모듈의 내부공간에 배치되어, 유선 또는 무선으로 영상감시장치의 정보를 외부로 송신 또는 수신하는 통신부를 더 포함할 수 있으며, 영상감시장치 내부 또는 외부에, 상기 통신부를 통해 영상감시장치가 생성한 촬상정보를 수신받고 상기 촬상정보를 토대로 감시객체에 대한 이동경로 추적을 수행하는 영상처리부를 더 포함할 수 있다.

본 발명의 실시예에 따른 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치구성에 따르면, 최소의 공간을 가지는 컴팩트한 카메라 구성과 배치적 특성을 가지며 감시거리를 극대화 시키고 사각지대를 최소화하는 효과를 가지며, 효율적으로 감시대상에 대한 이동경로 추적기술이 가능한 효과가 있다.

도 1은 종래기술의 일 실시예를 나타낸 다수개의 뷸렛카메라와 스피드돔카메라가 결합된 감시카메라의 사시도이다.
도 2는 종래기술의 일 실시예를 나타낸 어안렌즈 카메라가 적용된 감시카메라의 사시도이다.
도 3은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 사시도이다.
도 4는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 저면도이다.
도 5는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 내부 분해도이다.
도 6은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 하우징 분해도이다.
도 7은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 개략도이다.
도 8은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 서라운드 카메라 감시영역 개념도이다.
도 9는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 서라운드 카메라 사각지대 개념도이다.
도 10은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 실시간 객체 분할과정 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 발사체지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서는 각 도면을 참조하여 본 발명의 구체적인 실시태양에 대하여 설명한다.

도 1은 종래기술의 일 실시예를 나타낸 다수개의 뷸렛카메라와 스피드돔카메라가 결합된 감시카메라의 사시도이며, 도 2는 종래기술의 일 실시예를 나타낸 어안렌즈 카메라가 적용된 감시카메라의 사시도이다.

종래기술로는 일반적으로 감시 지역을 원격으로 감시하기 위한 CCTV 시스템이 공개되어 있다.

종래기술에 따른 CCTV 시스템은, 감시 지역을 촬영하기 위한 팬/틸트/줌 기능을 갖춘 카메라와, 카메라의 영상을 수신하는 영상수신부, 수신한 영상을 화면에 표출하는 디스플레이부 등으로 구성되어 있다.

이러한 구성의 종래 CCTV 시스템은 패닝 또는 틸팅 작동이 가능하기 때문에 비교적 넓은 범위를 두루 감시 가능한 이점이 있다.

그러나, 반대로 이러한 카메라가 타겟팅하는 영역의 화면만으로 감시가 이루어져야 하기 때문에, 감시지역 전체를 한 번에 감시할 수 없다.

또한, 이종의 카메라를 활용하는 감시시스템을 운용하기 위하여 하나의 카메라 모듈이 아닌 2개 이상의 카메라 모듈을 인접하게 배치하는 방식으로의 운용을 수행할 수 밖에 없어서, 카메라 모듈의 설치공간이 커지고, 카메라간 촬영지대의 사각공간이 비교적 크게 존재할 수 밖에 없는 문제점이 존재하며, 카메라의 타겟 영역을 벗어난 구역은 모두 촬영 사각지대가 되는바, 침입자를 효과적으로 포착하는 본연의 기능을 제대로 발휘하지 못한다는 문제점이 있었다.

따라서, 본 발명은 전술한 바와 같은 실정 및 기술적 요구를 충족시키기 위해 창안된 것으로, 영삼감시장치의 외관을 형성하는 하우징 모듈, 항시 하우징 모듈의 내측에 배치되어 상기 하우징 모듈의 외측으로 배향되는 적어도 하나 이상의 서라운드 카메라 및 상기 적어도 하나 이상의 서라운드 카메라의 중앙부에 배치되는 중앙 카메라를 포함하되, 상기 서라운드 카메라는 상기 하우징 모듈의 중심을 기준으로 동일한 간격으로 원형 배열되어 상기 하우징 모듈의 외측으로 배향되고, 상기 중앙 카메라는 상기 하우징 모듈의 중심선 상에 배치되되 상기 하우징 모듈의 내부에 배치되는 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치 구성을 갖추어 사각지대를 최소화하고, 추적대상 이동객체의 탐지 및 자동추적이 가능한 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치를 제공함으로써, 최소의 공간을 가지는 컴팩트한 카메라 구성과 배치적 특성을 가지며 감시거리를 극대화 시키고 사각지대를 최소화하는 효과를 가지며, 효율적으로 감시대상에 대한 이동경로 추적기술이 가능한 효과를 가지는 것이 가능하다.

도 3은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 사시도이고, 도 4는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 저면도이다.

또한, 도 5는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 내부 분해도이며, 도 6은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 하우징 분해도이다.

도 3 내지 도 5를 참고하면, 본 발명의 '멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치'에 대한 구체적인 실시태양을 확인하는 것이 가능하다.

보다 상세하게는, 영삼감시장치의 외관을 형성하는 하우징 모듈(100), 상기 하우징 모듈(100)의 내측에 배치되어 상기 하우징 모듈(100)의 외측으로 배향되는 적어도 하나 이상의 서라운드 카메라(200) 및 상기 적어도 하나 이상의 서라운드 카메라(200)의 중앙부에 배치되는 중앙 카메라(300)를 포함하되, 상기 서라운드 카메라(200)는 상기 하우징 모듈(100)의 중심을 기준으로 동일한 간격으로 원형 배열되어 상기 하우징 모듈(100)의 외측으로 배향되고, 상기 중앙 카메라(300)는 상기 하우징 모듈(100)의 중심선 상에 배치되되 상기 하우징 모듈(100)의 내부에 배치되는 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치가 제공되는 것이 가능하다.

이 경우, 상기 하우징 모듈(100)은 상기 하우징 모듈(100)의 고정을 위하여 건물 등의 일면에 고정되는 고정체(110), 상기 고정체(110)의 일측과 결합하며, 내부공간을 형성하는 연결바디(120) 및 상기 연결바디(120)와 결합하여 상기 내부공간을 밀폐시키며, 상기 하우징 모듈(100)을 구성하는 하부캡(130)을 포함할 수 있다.

이를 토대로 살펴보면, 적어도 하나 이상의 서라운드 카메라(200)는 하나의 기준점(하우징 모듈(100)의 중심)을 기준으로 하여 동일한 간격으로 원형 배열되는 것이 가능하며, 소정의 촬상각도를 가지면서 상기 하우징 모듈(100)의 외측으로 배향되는 것이 바람직하다.

상기 외측으로 배향되는 적어도 하나 이상의 서라운드 카메라(200)의 촬상영역 및 사각지대(영역)를 고려하여 적어도 하나 이상의 서라운드 카메라(200)의 중앙부에 배치되는 중앙 카메라(300)는 상기 적어도 하나 이상의 서라운드 카메라(200)의 촬상영역과 일정부분 중첩되는 상태를 유지하며 배치되는 것이 바람직하다 할 것이다.

도 7은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 개략도이고, 도 8은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 서라운드 카메라 감시영역 개념도이며, 도 9는 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 서라운드 카메라 사각지대 개념도이다.

본 발명의 일 실시예로서, 상기 서라운드 카메라(200)는 광각 렌즈를 포함하는 4개의 카메라로 구성되며, 각각의 서라운드 카메라(200)는 동일평면상에서 90도의 배향각을 가지도록 배치되며, 각각의 서라운드 카메라(200)의 감시각도는 수평방향으로 98도 이상인 것이 바람직하며, 상기 중앙 카메라(300)는 광각 렌즈를 포함하는 1개의 카메라로 구성되며, 다수개의 서라운드 카메라(200)의 중앙에 배치되어, 촬상각이 지면과 수직을 이루도록 배치되며, 상기 중앙 카메라(300)의 감시각도는 73도 이상인 것이 바람직하다 할 것이다.

이와 같은 배향각의 특성 및 감시각도의 한정을 가지는 서라운드 카메라(200)와 중앙 카메라(300)의 구성으로 인해, 도 7 내지 도 9를 통해 확인 가능하듯이 사각지역에 대한 대폭적인 보완감시가 가능하게 되었으며, 소정영역의 중첩부분을 포함하도록 배치되며, 파노라믹 영상합성 기술을 위하여 향후 상기 중첩부분은 영상 워핑(Waping) 및 영상 블렌딩(Blending)과정을 거쳐 자연스러운 하나의 영상으로 보정되는 것이 가능하다.

특히, 서라운드 카메라(200)의 촬상각도를 고려하여 상호 간격을 140mm로 한정하여 원형 배치함으로써, 사각영역의 길이가 수평방향으로 1m가 되지 않도록 하는 특징을 가지며, 하방을 촬상하는 중앙 카메라(300)의 감시영역을 고려하면, 실질적인 사각영역은 거의 존재하지 않는 특징이 존재한다.

보다 구체적으로는, 영상 워핑이란, 다수의 카메라로부터 획득한 입력 영상은 동일한 크기를 갖지만, 서로 다른 좌표계를 갖게되는 특성을 극복하고 파노라마 영상을 생성하기 위해서 입력 영상들을 하나의 픽셀좌표계로 나타내는 것을 의미한다.

입력 영상들 중 하나의 기준 영상을 정하게 되면, 나머지 영상들은 각각에 해당되는 H가 각각 적용되어 나타난 영상으로 볼 수 있음. H를 성공적으로 구했다는 가정 하에, H의 역행렬을 나머지 영상들에 적용한다면 기준 영상의 좌표계로 통일된 영상을 획득할 수 있음. 이 때, 모든 영상은 하나의 기준 영상의 좌표계로 표현되어야 하므로 아래 수식과 같이 표현하는 것이 가능하다.

이 경우, 영상 워핑 이후에 추가적으로 영상 블렌딩 과정을 수행하는 것이 바람직하며, 상기 영상 블렌딩 과정은 정합 영상을 시각적으로 자연스럽게 보이도록 해주는 후처리과정을 말하며, 워핑 과정을 통해 하나의 영상으로 정렬 된 영상은 오버랩영역에 대한 적절한 처리가 되어있지 않기 때문에 블렌딩 과정을 통해 보정이 필요하다.

본 발명에서는 이를 위해 멀티 밴드 블렌딩 방법을 사용하는 것이 가능하며, 멀티 밴드 블렌딩 방법은 가우시안 및 라플라시안 피라미드를 이용하는 것이 바람직하다.

호모그래피 행렬 계산, 영상 워핑 및 영상 블렌딩 과정을 모두거치는 일반적인 파노라마 영상 정합 방식은 연산량이 많아 실시간 영상 정합이 불가능하고, 촬영 영상스트리밍에 비해 느린 정합 속도 때문에 본 발명에서는 고정된 5개의 카메라모듈을 사용함으로써 호모그래피 매트리스 계산에 요구되는 특징점 검출, 매칭 등의 불필요한 단계를 생략하는 것이 바람직하다.

이를 위해, 카메라 모듈로부터 영상을 읽어 들여 인접한 두 장씩의 영상은 미리 계산된 호모그래피 매트리스를 이용해 일차적으로 정합되고, 다음 단계에서 개별적인 네 종류의 스레드로 구현하여 스레드와 스레드 사이에는 버퍼 역할을 하는 큐(Queue)를 두어 데이터 교환에 이용하는 것이 바람직하다.

첫 번째 스레드는 영상 수신 스레드로, 카메라 모듈 수만큼 생성되어, 각 보드로부터 동영상을 수신하며, 두 번째 스레드는 제어 스레드로, 수신 된 동영상들로부터 순차적으로 프레임을 받아와 하나로 정합해야 할 프레임들을 모아 세 번째 스레드로 넘기고, 세 번째 스레드는 정합 스레드로, 속도 향상을 위해 n개만큼 생성되어 작업을 병렬 처리하는 것이 가능하다.

여기에서 n은 상수로, 일반적으로 정합용 프로세서에 맞추어 설정할 수 있다.

정합 스레드는 넘겨받은 프레임들에 워핑 및 블렌딩을 적용하여 하나의 프레임으로 정합하고, 정합 된 프레임은 각 정합 스레드마다 가지고 있는 스트리밍 큐에 전달하며, 마지막 스레드는 스트리밍 스레드로서, 정합 영상을 스트리밍 큐로부터 순서대로 가져와 송출하게 됨.

이와 같은 공정에 더하여 추적대상 이동객체의 탐지 및 자동추적기술을 부가할 수 있다.

보다 구체적으로, 전경 객체를 검출하기 위해 제안된 방법 가운데 가장 효과적인 방법으로서 배경 차 연산(background subtraction)기법을 이용할 수 있다.

먼저 배경 장면을 모델링한 다음, 입력 영상과 배경 장면모델을 비교하여 차이가 클 때 이 픽셀들을 전경 픽셀로 표시 및 전경 객체로 검출하는 방법에 해당한다.(그림 1)

[그림 1]

이 경우, 전경 마스크는 전경 픽셀들은 1의 값을, 배경 픽셀은 0의 값을 가지도록 처리된 이진 영상으로 되어 있는 것이 바람직하다.

전경은 흰색, 배경은 흑색으로 된 이진 영상을 의미하며, 전경 마스크 추출에서 가장 중요한 것은 배경(장면) 모델링이 우수하게 수행되어야 하는 것이다.

이에 따라, 영상 데이터로 받는 배경(장면)은 조명의 변화, 장면의 이동하는 배경 객체(바람에 흔들리는 풀, 나무, 호수 등), 주차된 차량의 이동 등 고려해야할 사항이 상당부분 존재하며, 이러한 다수개의 조건들을 동시에 처리하는데 뛰어난 적응 혼합 가우시안 모델(GMM)을 이용하는 것이 바람직하다.

상기 적응 혼합 가우시안 모델을 매 픽셀마다 3~5개의 분포로 하여 배경모델의 계산이 완료가 되면 그 모델들의 값보다 2.5배 이상 차이가 나면 전경으로 간주할 수 있다.

상기의 방법을 통하여 전경으로 된 픽셀 값은 1의 값을 갖게 되고 이것은 이진 마스크 영상에서 백색을 나타내게 된다. 이 과정이 완료가 되면 전경마스크 추출이 완료가 되는데 전경마스크 이미지가 모양의 돌출이 심하거나 블랍의 구멍이 심하게 되거나 하는 경우가 생기며, 이러한 블랍 모양의 정정이 필요하게 된다. 이때 수행하는 것이 전경 마스크 정정이며 전경 마스크 정정은 보통 열림, 닫힘 등의 모폴로지 연산이 전처리 단계로 처리되어 수행되는 것이 바람직하다.

감시 시스템에 적합한 객체 추출 방법은 배경 차 연산기법이며, 상기 배경 차 연산기법은 단일 가우시안 분포가 아닌 가우시안 혼합 모델을 이용하여 각 화소의 배경을 모델링하기 때문에 시간의 흐름에 따른 휘도의 변화, 바람에 의해 흔들리는 나뭇가지 등의 다중 배경을 모델링 할 수 있는 장점이 존재한다.

또한, 배경/전경의 구별 기준을 고정된 임계값에 의존하지 않고 적응적으로 학습하기 때문에 환경의 변화에 강인한 특성을 지닐 수 있다.

위와 같은 모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출하는 것이 가능하다.

상기 GMM은 연속적인 프레임을 통한 비지도 학습으로 배경 모델을 형성한 후, 형성된 배경 모델을 기반으로 모션 정보 추출이 가능하다. 따라서, 전경/배경이 분리된 전처리 영상에 GMM을 적용하면 배경의 잡음으로 인한 잘못된 모션 정보를 배제하고, 움직임이 없는 객체 부분도 배경으로 판단하여 움직임을 갖는 부분만을 구별할 수 있는 장점이 존재한다.

본 발명의 구성에 대하여 추가적으로 설명하면, 상기 고정체(110)는 상기 고정체(110)의 일측에 형성된 돌출부(111) 또는 스크류 가공부를 포함할 수 있고, 상기 연결바디(120)는 상기 고정체(110)의 일측에 억지끼움결합, 스크류결합 또는 나사결합 중 어느 하나의 결합방식으로 결합될 수 있다.

즉, 본 발명이 설치되는 건물의 천장 또는 벽면 등에 삽입홀 또는 스크류 가공부를 대응되도록 구비하고, 본 발명의 돌출부(111)를 삽입하거나, 상기 돌출부(111) 외주면 또는 내주면 등에 가공가능한 스크류 가공부를 통해 용이하게 상기 고정체(110)를 고정하는 것이 가능하다.

또한, 상기 고정체(110)의 일측과 상기 연결바디(120)를 용이하고 견고하게 결합하기 위하여 상기 고정체의 일측 내주면 또는 외주면과 상기 연결바디(120)의 일측 내주면 또는 외주면의 가공을 수행하여 상호 결합을 유도하는 것이 가능하다.

또한, 상기 하부캡(130)은 상기 연결바디(120)의 일측에 억지끼움결합, 스크류결합 또는 나사결합 중 어느 하나의 결합방식으로 결합되되, 상기 서라운드 카메라(200) 또는 상기 중앙 카메라(300)의 일부가 외부로 돌출되거나 상기 서라운드 카메라(200) 또는 상기 중앙 카메라(300)의 렌즈로 가시광선 또는 적외선 등이 투과가능한 적어도 하나 이상의 윈도우(131)를 포함하는 것이 바람직하다.

상기 윈도우(131)는 개방된 공간으로 형성되거나 투명한 유리 또는 플라스틱 등으로 형성되는 것이 가능하다.

이와 같은 하부캡(130) 구성에 따라 상기 서라운드 카메라(200) 또는 상기 중앙 카메라(300)의 렌즈로 가시광선 또는 적외선 등이 투과가능하면서, 하나의 하우징(하부캡(130))의 내부에 5개 이상의 카메라가 모두 내장되며, 이물질 등의 침투를 방지하고 안정적인 촬상영상을 얻을 수 있는 특징이 존재한다.

추가적으로, 상기 하우징 모듈(100)의 내부공간에 배치되어, 유선 또는 무선으로 영상감시장치의 정보를 외부로 송신 또는 수신하는 통신부(400)를 더 포함할 수 있다.

또한, 영상감시장치 내부 또는 외부에, 상기 통신부(400)를 통해 영상감시장치가 생성한 촬상정보를 수신받고 상기 촬상정보를 토대로 감시객체에 대한 이동경로 추적을 수행하는 영상처리부를 더 포함하는 것이 바람직하다.

도 10은 본 발명의 일 실시예를 나타낸 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치의 실시간 객체 분할과정 흐름도이다.

도 10을 참고하여 실시간 객체 분할을 포함하는 딥 러닝 기법에 대하여 설명한다.

*딥 러닝 기법 중 객체 탐지 기법은 컴퓨터 비전 분야에서 가장 많이 연구되며 활용되고 있는 기법으로, 영상 내에서 특정 객체를 빠짐없이 탐지하여 위치 정보를 Bounding Box로 표시할 수 있다.

널리 사용되는 딥 러닝 기반 객체 탐지 기법으로는 R-CNN(Regions with CNN)이나 R-CNN의 개량 버전인 Fast/Faster R-CNN 등이 존재한다.

위와 같은 기존의 딥 러닝 탐지 기법들은 분류기나 로컬라이저 기반으로 단일 이미지를 다양한 위치와 규모로 구성된 다수 영역으로 분할한 후, 각 영역에 대하여 신경망 모델을 적용하는 특성을 가진다.

특히, R-CNN의 경우에는 단일 이미지에 Region Proposal 방법을 사용하여 수천 개의 CNN 모델을 적용하는 특징을 가지나, YOLO(You Only Look Once)는 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하므로 기존 분류기 기반 탐지 기법에 비하여 매우 효율적인 장점이 존재한다.

따라서, YOLO는 실시간 객체 탐지가 가능하며, 특히 R-CNN보다 1,000배 이상, Fast R-CNN보다 100배 빠르게 객체를 탐지할 수 있다.

이러한 YOLO의 신경망은 탐지 과정에서 전체 이미지를 Grid 셀로 분할하고, 각 Grid 셀에 대하여 Bounding Box를 예측하고 확률을 계산하는 특징을 가진다.

또한, 계산된 확률을 이용하여 Bounding Box를 가중시킴으로써 200여개 클래스에 대한 Bounding Box를 탐지가능하고, 따라서 YOLO는 기존 분류기 기반 기법에 비하여 탐지 정확도의 손실 또한 적은 특징이 존재한다.

본 발명은 추출한 객체 정보에 대하여 딥 러닝 기법 중 하나인 YOLO를 적용함으로써 관측대상 객체만을 탐지하여 Bounding Box를 획득하고, YOLO 알고리즘은 CNN 계열의 우수한 객체 검출 알고리즘 중 하나이며, Region Proposal 방식을 사용하는 R-CNN과 달리 Grid 방식을 사용함으로써 실시간에 효율적인 객체 검출이 가능한 특징을 가진다.

본 발명은 앞서 생성한 YOLO의 입력 영상은 움직임을 갖는 근접 객체 전경만을 포함하며, 움직임이 없는 객체와 배경은 포함되지 않으며, 이러한 YOLO의 입력 영상에 새로운 딥 러닝 기법을 적용함으로써 개별 객체에 대한 탐지 결과가 Bounding Box로 표시된 영상을 획득할 수 있다.

또한, 이후의 영상 처리 과정에서 탐지 결과를 통해 디지털 줌화면 분리를 수행할 때 각 프레임의 Bounding Box 정보(x 좌표, y 좌표, 너비, 높이)를 활용할 수 있도록 이러한 정보를 포함하는 텍스트 파일을 추가적으로 획득하는 것이 가능하다.

도 10에서는 딥 러닝을 이용한 근접 객체 탐지 과정을 확인할 수 있다.

YOLO의 입력 영상에서 이미 관측객체 외의 불필요한 요소들은 소거된 상태이므로, 탐지될 클래스는 분리될 객체로써 단일 클래스 정의가 가능하다.

YOLO 알고리즘에서 입력 영상은 먼저 임의로 설정된 S × S개의 Grid 셀로 균등 분할되며, 각 Grid 셀을 통해 x 좌표, y 좌표, 너비, 높이 정보와 객체일 확률 정보를 갖는 n개의 Bounding Box가 예측될 수 있다. 즉, 이러한 과정을 통해 각 셀은 객체 확률 정보를 포함하는 많은 개수의 Bounding Box를 예측 가능하며, 임계값 이상의 확률을 갖는 Bounding Box를 추출함으로써 객체를 탐지가능한 특징이 존재한다.(도 10 참고)

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 하우징 모듈
110 : 고정체
111 : 돌출부
120 : 연결바디
130 : 하부캡
131 : 윈도우
200 : 서라운드 카메라
300 : 중앙 카메라
400 : 통신부

Claims

전방향 카메라를 이용한 방범용 영상감시장치에 있어서,
영삼감시장치의 외관을 형성하는 하우징 모듈;
4개 이상의 각각 다른 방향으로 배치되며, 이동물체를 촬영하도록 구성되는 카메라부; 및
촬영된 영상을 표시하도록 구성되는 영상표시부;
상기 영상감시장치의 동작을 제어하는 프로세서를 포함하며,
상기 프로세서는,
상기 카메라부를 통해 획득한 영상의 파노라믹 합성을 수행하도록 구성되는 영상처리모듈;
상기 영상처리부를 통해 수신된 파노라믹 합성된 영상의 프레임간 비교를 통해 상기 이동물체의 움직임을 판단하고, 상기 파노라믹 합성된 영상으로부터 상기 이동물체의 움직임 영역이 포함된 이미지를 획득하며, 상기 획득된 이미지를 분석하여 상기 이동물체를 관찰대상으로 분류하도록 구성되는 인식처리모듈; 및
상기 인식처리부에서 상기 이동물체를 관찰대상으로 분류한 경우 상기 관찰대상의 움직임 영역이 포함된 이미지에 고유번호를 부여하고, 상기 이동물체의 움직임을 추적관리하도록 상기 카메라부를 제어하도록 구성되는 추적관리모듈을 포함하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 인식처리모듈은 상기 DNN모델을 적용하여 상기 이동물체를 분류하기 위한 학습을 수행하도록 구성되는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 카메라부는,
광각 렌즈를 포함하는 4개의 카메라로 구성되며,
각각의 카메라는 동일평면상에서 90도의 배향각을 가지도록 배치되며, 각각의 카메라의 감시각도는 수평방향으로 98도 이상인 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 영상처리부는 상기 관찰대상의 움직임 영역이 포함된 이미지를 확대하여 상기 영상표시부를 통해 표시하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 이동물체는, 차량, 사진, 자전거, 오토바이, 유모차, 휠체어 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
하부캡은,
연결바디의 일측에 억지끼움결합, 스크류결합 또는 나사결합 중 어느 하나의 결합방식으로 결합되되,
카메라 또는 상기 중앙 카메라의 일부가 외부로 돌출되거나 상기 서라운드 카메라 또는 상기 중앙 카메라의 렌즈로 가시광선 또는 적외선 등이 투과가능한 적어도 하나 이상의 윈도우를 포함하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 하우징 모듈의 내부공간에 배치되어, 유선 또는 무선으로 영상감시장치의 정보를 외부로 송신 또는 수신하는 통신부;
를 더 포함하는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
제1항에 있어서,
상기 카메라부는 상기 4개의 카메라 중앙에 배치되는 중앙카메라를 더 포함하고, 상기 중앙카메라는 하우징 모듈의 중심선 상에 배치되되 상기 하우징 모듈의 내부에 배치되는 것을 특징으로 하는 전방향 카메라를 이용한 방범용 영상감시장치.
전방향 카메라를 이용한 방범용 영상감시장치를 활용한 감시방법에 있어서,
4개 이상의 서로 다른 방향으로 배치된 카메라부를 통해 서로 다른 방향의 영상을 획득하는 단계;
상기 서로 다른 방향의 영상에 대해 파노라믹 합성을 수행하는 단계;
상기 파노라믹 합성된 영상의 프레임간 비교를 통해 상기 감시영역 내에서 이동중인 이동 물체를 인식하는 단계;
상기 파노라믹 합성된 영상으로부터 상기 이동 물체를 포함하는 일정 영역의 이미지를 획득하는 단계;
상기 획득된 이미지에 대해서 DNN 모델을 적용하여 학습된 인식처리모듈을 활용하여 이동 물체를 분류하는 단계;
상기 이동 물체가 관찰 대상으로 분류되면 상기 일정 영역의 이미지에 대해 고유 번호를 부여하고 추적관리하는 단계; 및
상기 추적관리되는 이미지를 확대하여 영상표시부를 통해 지속 표시하는 단계를 포함하는 전방향 카메라를 이용한 방범용 영상감시장치를 활용한 감시방법.