KR20240002693A

KR20240002693A - 측면 뷰 영상 기반 사람계수 시스템 및 장치

Info

Publication number: KR20240002693A
Application number: KR1020230076224A
Authority: KR
Inventors: 송창호; 신현학
Original assignee: 한화비전 주식회사
Priority date: 2022-06-29
Filing date: 2023-06-14
Publication date: 2024-01-05

Abstract

감시 카메라 및 감시 카메라의 제어 방법이 개시된다. 본 명세서는 측면 뷰 영상에서 검출된 객체의 바운딩 박스 중 두부(head) 영역의 바운딩 박스와, 전신 영역의 바운딩 박스 중 적어도 하나가 사전에 설정되는 카운팅 라인과의 교차 여부를 판단하여, 카운팅 라인을 지나는 사람을 계수할 수 있다. 본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

측면 뷰 영상 기반 사람계수 시스템 및 장치{System and Device for Counting Person based on Side View Image}

본 명세서는 감시 카메라 및 감시 카메라의 제어 방법에 관한 것이다.

최근 인공지능 기술을 활용한 사람에 대한 검출의 개발이 진행이 되면서 다양한 화각에서의 사람 계수를 활용하는 방안에 대한 수요가 급증하고 있다. 영상 장치 기반 사람 계수 알고리즘은 영상정보를 입력 받아 특정 장소의 사람의 유동 인구를 측정을 위해 사용된다. 마트나 병원, 호텔 등의 다양한 장소에 설치되며, 마케팅, 인원 관리 등에 활용 된다. 본 발명을 통해서 다양한 측면뷰에서도 사람 계수가 가능하게 되며, 이를 기반으로 보다 다양한 장소에서의 활용이 가능하다.

종래의 영상 센서를 위한 사람의 계수를 측정하는 기술들은 사람에 대한 정보를 획득하기 위하여서 주로 사람의 머리에 대한 검출 정보를 활용한다. 이는 측면뷰에 적용하기 어렵고, 적용하더라도 성능이 떨어지며, 제대로 동작하지 않을 가능성이 높다.

종래의 기술들은 사람을 계수하기 위하여서 탑 뷰에서의 사람의 머리에 대한 검출 정보를 주로 사용하고 있다. 이는 사람이 겹칠 경우 사람에 대한 검출 결과가 겹치게 되어서 부정확한 정보를 제공한다고 판단하기 때문이다. 하지만 최근에는 인공지능 기술을 활용하여 보다 정확한 사람에 대한 검출을 획득 가능하며 이를 운용하여서 탑 뷰 뿐만 아니라 다양한 측면뷰에서의 사람 계수를 위한 기술의 개발이 필요하다.

본 명세서는 전술한 문제점을 해결하기 위한 것으로서, 측면 뷰를 제공하는 감시 카메라에서 특정 영역을 통과하는 사람의 바운딩 박스 정보에 기초하여 사람을 카운팅하는 감시 카메라 및 감시 카메라의 제어 방법을 제공하는 것을 목적으로 한다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서의 일 실시예에 따른 감시 카메라는, 영상 획득부; 및 상기 영상 획득부에서 획득된 영상에서 검출되는 사람의 두부(head) 영역과 전신 영역을 각각 인디케이팅 하는 제1 바운딩 박스와 제2 바운딩 박스 중 적어도 하나가, 사전에 설정되는 카운팅 라인과 교차되는 경우 카운트를 수행하는 프로세서;를 포함하고, 상기 프로세서는, 상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된(originated) 경우, 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나에 의한 카운팅만 수행되도록 제어할 수 있다.

상기 영상 획득부는 상기 감지 카메라에서 영상 데이터를 획득하는 이미지 센서를 포함할 수 있다.

상기 프로세서는, 상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된 경우, 상기 제1 및 제2 바운딩 박스를 링크(link) 시킬 수 있다.

상기 프로세서는, 상기 제1 바운딩 박스가 상기 제2 바운딩 박스 내부에 포함된 경우 상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된 것으로 판단할 수 있다.

상기 프로세서는, 상기 제1 바운딩 박스가 상기 카운팅 라인을 지나는 순간, 상기 제2 바운딩 박스가 상기 카운팅 라인과 적어도 하나의 교차점이 존재하는 경우 상기 업카운트를 수행할 수 있다.

상기 프로세서는, 상기 객체와 근접되는 상기 카운팅 라인의 영역에 따라 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 객체가 상기 카운팅 라인의 엣지(edge) 영역에 근접하는 경우 상기 제2 바운딩 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 카운팅 라인의 높이에 따라 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 카운팅 라인의 높이가 상대적으로 낮은 경우 제2 바운딩 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 카운팅 라인을 통과하는 서로 다른 복수의 객체가 존재하고, 상기 복수의 객체 중 적어도 하나의 객체가 적어도 하나의 다른 객체에 의해 중첩된 경우, 중첩된 객체에 대해서는 상기 제1 바운드 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 복수의 객체에 대하여 상기 제1 바운딩 박스의 개수가 상기 제2 바운딩 박스의 개수보다 많은 경우, 상기 적어도 하나의 객체가 적어도 하나의 다른 객체에 의해 중첩된 것으로 판단할 수 있다.

상기 프로세서는, 상기 카운팅 라인을 통과하는 서로 다른 복수의 객체가 존재하고, 상기 복수의 객체 중 적어도 하나의 객체에 대응하는 제2 바운딩 박스가 검출되지 않은 경우, 가상의 제2 바운딩 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 프로세서는, 상기 복수의 객체 중 제2 바운딩 박스가 검출된 객체의 제2 바운딩 박스의 높이에 기초하여 상기 가상의 제2 바운딩 박스의 높이를 설정할 수 있다.

상기 프로세서는, 상기 카운팅 되는 객체의 종류를 인식하고, 사전에 출입 허가가 되지 않은 객체인 경우 알람을 출력할 수 있다.

상기 카운팅 라인은, 미리 정해진 사용자 입력에 기초하여 상기 영상 내에 설정될 수 있다.

상기 프로세서는, 상기 영상 내의 입구(entrance) 영역을 인식하고, 상기 입구 영역을 지정하는 입력을 수신하는 경우 상기 입구 영역에 대응되는 위치에 상기 카운팅 라인을 자동으로 설정될 수 있다.

상기 프로세서는, 상기 입구 영역의 높이에 상기 카운팅 라인을 자동으로 설정할 수 있다.

본 명세서의 다른 실시예에 따른 감시 카메라의 제어 방법은, 검출된 사람의 얼굴을 포함하여 전신을 인식 가능한 측면 뷰(Perspective view) 영상에서 사람을 검출하는 단계; 상기 검출되는 사람의 두부(head) 영역과 전신 영역을 검출하는 단계; 상기 두부 영역에 대응하는 제1 바운딩 박스와 상기 전신 영역에 대응하는 제2 바운딩 박스를 추출하는 단계; 상기 제2 바운딩 박스가 사전에 설정된 카운팅 라인과 교차하는 경우, 카운트를 수행하는 단계; 및 상기 제1 바운딩 박스가 상기 카운팅 라인과 교차하는 경우, 상기 제1 바운딩 박스의 링크된 바운딩 박스가 존재하지 않는 경우, 상기 카운트를 수행하는 단계;를 포함한다.

상기 감시 카메라의 제어 방법은, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스가 동일 객체로부터 유래된 경우, 상기 제1 및 제2 바운딩 박스를 링크(link) 시키는 단계;를 더 포함할 수 있다.

상기 제1 바운딩 박스는, 상기 제2 바운딩 박스 내부에 포함될 수 있다.

상기 감시 카메라의 제어 방법은, 상기 제1 바운딩 박스가 상기 카운팅 라인을 통과하는 것을 감지하는 단계; 및 상기 제1 바운딩 박스가 상기 카운팅 라인을 지나는 순간, 상기 제2 바운딩 박스가 상기 카운팅 라인과 적어도 하나의 교차점이 존재하는 경우, 상기 카운트를 수행하는 단계;를 포함할 수 있다.

상기 감시 카메라의 제어 방법은, 상기 객체와 근접되는 상기 카운팅 라인이, 사전에 설정된 카운팅 라인의 엣지(edge) 영역인 경우 상기 제2 바운딩 박스와 상기 카운팅 라인 과의 교차 여부를 판단하여 상기 카운트를 수행하는 단계;를 더 포함할 수 있다.

상기 감시 카메라의 제어 방법은, 상기 사전에 설정된 카운팅 라인과 상기 객체의 상대적인 높이에 기초하여 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 단계;를 더 포함할 수 있다.

본 명세서의 다른 실시에예 따른 감시 카메라는, 이미지 센서; 및 상기 이미지 센서로부터 획득된 측면 뷰 영상에서 검출된 객체의 서로 다른 두 영역을 각각 인디케이팅하는 제1 바운딩 박스와 제2 바운딩 박스를 검출하고, 사용자 입력을 통해 설정된 카운팅 라인과 상기 각각의 제1 및 제2 바운딩 박스의 상대적인 위치에 기초하여, 상기 객체가 상기 카운팅 라인을 통과하는 중 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 적어도 하나가 상기 카운팅 라인과 교차하는 경우, 업카운트를 수행하도록 하는 프로세서;를 포함한다.

상기 검출된 객체은 사람이고, 상기 서로 다른 두 영역은 상기 검출된 사람의 두부(head) 영역과 전신 영역을 포함할 수 있다.

상기 프로세서는, 상기 두부 영역에 대응하는 상기 제1 바운딩 박스와 상기 전신 영역에 대응하는 제2 바운딩 박스를 서로 연계하여 링크시키고, 상기 링크된 제1 바운딩 박스와 제2 바운딩 박스는 동일한 객체로 인식될 수 있다.

상기 프로세서는, 상기 링크된 제1 바운딩 박스와 제2 바운딩 박스가 각각 상기 카운팅 라인과 적어도 하나의 교차점을 각각 갖는 경우, 한 번의 업카운트 동작만 수행되도록 제어할 수 있다.

상기 프로세서는, 상기 검출된 객체에 대하여, 제1 바운딩 박스만 검출된 경우, 상기 측면 뷰 영상에서 검출된 적어도 둘 이상의 사람 중 적어도 하나가 다른 사람에 의해 신체의 적어도 일부가 가려진 것으로 판단하고, 가상의 크기를 갖는 상기 제2 바운딩 박스를 상기 검출된 객체에 적용하여 상기 카운팅 라인과의 교차여부를 판단할 수 있다.

상기 가상의 크기를 갖는 제2 바운딩 박스는, 상기 측면 뷰 영상에서 상기 제2 바운딩 박스가 검출된 객체로부터 추출된 상기 제2 바운딩 박스의 크기에 대응될 수 있다.

본 명세서의 일 실시예에 따른 감시 카메라 및 감시 카메라의 제어 방법은, 측면 뷰를 제공하는 감시 카메라에서 객체 카운팅의 신뢰성을 높일 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을도 설명한다.
도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법이 적용되는 감시 카메라 시스템을 설명하기 위한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 객체인식 모델을 학습하는데 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.
도 3은 본 명세서의 일 실시예에 따른 감시 카메라를 설명하기 위한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.
도 5 내지 도 7은 본 명세서의 일 실시예에 따라 실제 영상에서 바운딩 박스에 기초하여 객체 카운트를 수행하는 예시를 설명하기 위한 도면들이다.
도 8은 본 명세서의 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.
도 9는 본 명세서의 또 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.
도 10은 본 명세서의 또 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.
도 11은 본 명세서의 일 실시예에 따라 측면 뷰 영상에서 객체가 서로 중첩된 상황에서 객체를 카운트 하는 예를 설명하기 위한 도면이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.

이하 첨부된 도면을 참조하여, 본 명세서에 개시된 실시예를 상세히 설명하되, 도면부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요서, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법이 구현되는 감시 카메라의 시스템 환경을 설명하기 위한 도면이다.

도 1을 참조하면, 본 명세서의 일 실시예에 따른 감시 카메라 시스템 (10)은 촬영 장치(100) 및 영상 관리 서버(200)을 포함할 수 있다. 촬영 장치(100)는 특정 장소의 고정된 위치에 배치되는 촬영용 전자 장치일 수도 있고, 일정한 경로를 따라 자동 또는 수동으로 움직일 수 있는 촬영용 전자 장치일 수도 있고, 사람 또는 로봇 등에 의하여 이동될 수 있는 촬영용 전자 장치일 수도 있다. 촬영 장치(100)는 유무선 인터넷에 연결하여 사용하는 IP 카메라일 수 있다. 촬영 장치(100)는 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 촬영 장치(100)는 감시 하는 영역을 녹화하거나 사진을 촬영하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 움직임 또는 소리 등 변화가 발생 할 경우, 이에 대한 알림을 발생시키거나 녹화 또는 사진 촬영을 수행하는 기능을 가질 수 있다. 촬영 장치(100)는 영상 관리 서버(200)에서 학습된 객체인식 학습 모델을 수신하여 저장할 수 있다. 이에 따라 촬영 장치(100)는 상기 객체인식 학습 모델을 이용하여 객체인식 동작을 수행할 수도 있다.

영상 관리 서버(200)는 촬영 장치(100)를 통하여 촬영된 영상 자체 및/또는 해당 영상을 편집하여 얻어지는 영상을 수신하여 저장하는 장치일 수 있다. 영상 관리 서버(200)는 수신한 용도에 대응되도록 분석할 수 있다. 예를 들어, 영상 관리 서버(200)는 영상에서 객체를 검출하기 위해 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다. 상기 객체 검출 알고리즘은 AI 기반 알고리즘이 적용될 수 있으며, 미리 학습된 인공신경망 모델을 적용하여 객체를 검출할 수 있다.

한편, 영상 관리 서버(200)는 영상 분석 목적에 맞는 다양한 학습 모델을 저장하고 있을 수 있다. 전술한 객체 검출을 위한 학습 모델 외에, 검출된 객체를 활용할 수 있도록 하는 객체특성 정보를 획득할 수 있는 모델을 저장하고 있을 수도 있다. 영상 관리 서버(200)는 전술한 객체인식을 위한 학습모델을 학습하는 동작을 수행할 수 있다.

한편, 상기 객체인식을 위한 모델은 전술한 영상 관리 서버(200)에서 학습하여 촬영 장치(100)로 전송할 수도 있지만, 상기 촬영장치(100)에서 객체인식 모델의 학습, 모델의 재학습 등이 수행될 수도 있다.

또한, 영상 관리 서버(200)는 수신한 영상을 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다. 영상 관리 서버(200)는 수신한 영상에 포함된 영상 정보 및 /또는 음향 정보를 함께 또는 별도로 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100) 및/또는 영상 관리 서버(200)와 유무선 통신을 수행할 수 있는 외부 장치(300)를 더 포함할 수 있다.

외부 장치(300)는 영상 관리 서버(200)로 영상 전체 또는 일부의 제공을 요청하는 정보 제공 요청 신호를 송신 할 수 있다. 외부 장치(300)는 영상 관리 서버(200)로 영상 분석 결과 객체의 존재 여부 등을 요청하는 정보 제공 요청 신호를 송신할 수 있다. 또한 외부 장치(300)는 영상 관리 서버(200)로 영상을 분석하여 얻어진 메타 데이터 및/또는 메타 데이터에 대한 인덱스 정보를 요청하는 정보 제공 요청 신호를 송신할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100), 영상 관리 서버(200), 및/또는 외부 장치(300) 간의 유무선 통신 경로 인 통신망(400)을 더 포함할 수 있다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트 워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 명세서의 범위가 이 에 한정되는 것은 아니다.

촬영장치(100)는 영상 관리 서버(200)에서 학습된 객체인식 학습모델을 수신하여 저장할 수 있다. 이에 따라 촬영장치(100)는 상기 객체인식 학습모델을 이용하여 객체인식 동작을 수행할 수도 있다.

도 2는 본 명세서의 일 실시예에 따른 객체인식 모델을 학습하는데 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.

본 명세서의 실시예들은 객체인식을 위한 모델을 학습하는 컴퓨팅 장치를 통해 구현될 수 있으며, 상기 컴퓨팅 장치는, 도 1에서 설명한 영상 관리 서버(도 1의 200)를 포함할 수도 있으나, 본 명세서는 이에 한정되지 않고 영상에서 객체를 인식하는 인공지능 모델을 학습하기 위한 전용 장치 또한 포함될 수 있다. 상기 전용 장치는 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.

이하 도 2에서는 객체인식 학습 모델 구현을 위한 전용 AI 장치(20)에 대하여 설명하며, 도 3에서는 영상 관리 서버(도 1의 200) 내에서 본 명세서의 일 실시예에 따른 객체인식 학습 모델 구현을 위한 블록 구성을 설명하기로 한다. 도 2에서 설명하는 모델 학습 기능과 공통된 기능 중 전부 또는 적어도 일부가 도 3에 그대로 적용될 수 있는 바, 도 3의 설명 과정에서 도 2와 공통되는 기능은 중복기재로 생략하기로 한다.

도 2를 살펴보면, AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, AI 장치(20)는 영상 촬영 장치(100) 또는 영상 관리 서버(200)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.

AI 프로세싱은 영상 촬영 장치(100) 또는 영상 관리 서버(200)의 제어부와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 영상 촬영 장치(100) 또는 영상 관리 서버(200)는 획득된 영상 신호를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.

AI 장치(20)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.

AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.

AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 영상 촬영 장치(100)의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 영상 촬영 장치(100)의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.

한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.

메모리(25)는 AI 장치(20)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.

한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 인공 신경망 모델 및/또는 딥러닝 모델에 적용함으로써, 신경망 모델을 학습할 수 있다.

데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(20)에탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(20)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.

데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.

학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.

모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.

데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.

학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다.선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다.

또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.

모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.

통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 감시카메라, 블루투스 장치, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.

한편, 도 2에 도시된 AI 장치(20)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.

본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

도 3은본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.

도 3은 도 1에 도시된　영상 촬영 장치(100)의 구성을 나타내는 블록도이다. 도 3을 참조하면, 영상촬영 장치(100)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크　카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크　감시　카메라　시스템의 동작이 반드시 이에 한정되는 것은 아니다.

영상촬영 장치(100)는 이미지 센서(110), 인코더(120), 메모리(130), 이벤트 센서(140), 통신부(140) 및 프로세서(150)를 포함한다.

이미지 센서(110)는　감시　영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.

인코더(120)는 이미지 센서(110)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.

메모리(130)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기　감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.

또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(130)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.

일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기　감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.

통신부(140)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신/검색장치에 전송한다. 일 실시예에 따른 통신부(140)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.

AI 프로세서(150)는 인공지능 영상 처리를 위한 것으로서, 본 명세서의 일 실시예에 따라 감시 카메라 시스템을 통해 획득된 영상에서 관심객체로 학습된 신경망 기반의 객체 탐지(Objection Detection) 알고리즘을 적용한다. 상기 AI 프로세서(150)는 시스템 전반에 걸쳐 제어하는 프로세서(160)와 하나의 모듈로 구현되거나 독립된 모듈로 구현될 수 있다.

도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다. 상기 감시 카메라의 제어 방법은 도 3에 도시된 프로세서(160)에 의해 구현될 수 있다. 한편, 본 명세서의 일 실시예에 따른 감시 카메라는 천정에 고정되어 탑뷰(top view) 영상을 제공하는 카메라가 아닌, 측면 뷰(perspective view)를 제공할 수 있도록 하는 감시 카메라이다. 이에 따라 상기 감시 카메라가 설치된 위치가 실내 공간의 천정인 경우 천정에 고정 수단으로 고정된 채, 카메라가 지면을 기준으로 수직으로 향하도록 고정되어 있는 것이 아니며, 천정을 기준으로 소정 각도 범위를 이루도록 카메라의 지향 방향이 설정된 상태에서 영상이 획득되는 위치일 수 있다.

도 4를 참조하면, 프로세서(160)는 영상 획득부로부터 획득되는 영상에서 객체(바람직하게는 사람)를 검출할 수 있다(S400). 상기 객체(사람)를 검출하는 알고리즘은 도 2에서 설명한 객체 인식 알고리즘이 적용될 수 있다. 또한, 본 명세서의 일 실시예에 따른 감시 카메라는 상기 객체 인식 알고리즘을 통해 사람의 두부 영역(head: 이하, 두부 영역이라 함)을 검출함으로써, 검출된 객체가 사람임을 인식할 수 있다. 두부 영역을 통해 검출된 객체가 사람인지 여부를 확인하는 과정은 예시적인 것이며, 한정적인 것이 아님을 밝혀둔다. 본 명세서는 다양한 객체 인식 알고리즘에 적용되는 사람 인식 알고리즘을 적용하여 검출된 객체가 사람인지 여부를 확인할 수 있다.

프로세서(160)는 검출된 사람에 대하여 두부 영역과 전신 영역을 검출할 수 있다(S410). 일 실시예에 따라, 프로세서(160)는 두부 영역에 대응되는 제1 바운딩 박스를 상기 두부 영역에 표시하고, 상기 전신 영역에 대응되는 제2 바운딩 박스를 상기 검출된 전신 영역에 표시할 수 있다(S420).

상기 제1 바운딩 박스는 특정 사람의 머리 부분에 대응되는 영역이므로, 제1 바운딩 박스와 제2 바운딩 박스의 상대적인 위치 관계는 상기 제1 바운딩 박스가 상기 제2 바운딩 박스 내부에 포함되는 것이 바람직할 수 있다. 다만, 측면 뷰를 제공하는 카메라의 지향 방향 등에 기초하여 상기 제1 바운딩 박스의 적어도 일부는 제2 바운딩 박스의 적어도 일부와 겹쳐지도록 제공될 수도 있다.

프로세서(160)는 상기 제1 바운딩 박스와 제2 바운딩 박스 중 적어도 하나가, 사전에 설정되는 카운팅 라인과 교차되는 경우 업카운트를 수행할 수 있다(S430). 일 실시예에 따라, 프로세서(160)는 사람의 두부를 포함하는 제1 바운딩 박스가 카운팅 라인과 교차하는 경우 업카운트를 수행할 수 있다. 일 실시예에 따라, 프로세서(160)는 사람의 전신 영역을 포함하는 제2 바운딩 박스가 카운팅 라인과 교차하는 경우 업카운트를 수행할 수 있다. 일 실시예에 따라, 프로세서(160)는 상기 제1 바운딩 박스 및 제2 바운딩 박스가 상기 카운팅 라인과 교차하는 경우 업카운트를 수행할 수 있다.

일 실시예에 따라 프로세서(160)는 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 적어도 하나의 궤적이 상기 카운팅 라인을 지날 때 업카운트를 수행할 수 있다. 여기서 제1 바운딩 박스 또는 제2 바운딩 박스의 궤적이라 함은 객체가 카운팅 라인을 지나서 이동함에 따라 바운딩 박스의 중심점이 이동한 경로를 의미할 수 있다. 일 실시예에 따라 프로세서(160)는 제1 바운딩 박스가 상기 카운트 라인을 지나는 순간, 상기 제2 바운딩 박스가 상기 카운팅 라인과의 교차점이 적어도 하나 존재하는 경우에 업카운트를 수행할 수 있다.

도 5 내지 도 7은 본 명세서의 일 실시예에 따라 실제 영상에서 바운딩 박스에 기초하여 객체 카운트를 수행하는 예시를 설명하기 위한 도면들이다.

도 5를 참조하면, 감시 카메라를 통해 획득된 영상은 측면 뷰(Perspective view) 영상을 포함한다. 측면 뷰 영상은 전술한 바와 같이 탑 뷰(top view)와 구분되어 영상에서 검출되는 사람의 전신이 인식되어 제공되는 영상을 의미할 수 있다. 이를 위해, 감시 카메라 렌즈의 지향각은 지면과 수직을 이루는 것이 아니라 상기 지면과 소정 각도를 이루도록 고정될 수 있다. 본 명세서는 입구 영역(entrance area)에 출입하는 사람을 카운트하기 위한 목적으로, 사람의 출입을 판단하기 위한 카운팅 라인(CL1, CL2, CL3)이 설정될 수 있다. 도 5에 도시한 카운팅 라인(CL1, CL2, CL3)은 설명의 편의를 위해 하나의 영상에 복수의 카운링 라인이 존재하는 것으로 기술하나, 실제 감시 카메라 환경에서는 하나의 영상에서 하나의 카운팅 라인이 설정되어 사람 계수 동작이 수행될 수 있다.

상기 카운팅 라인(CL1, CL2, CL3)은 사용자의 입력을 통해 획득된 영상에 설정될 수 있다. 상기 사용자 입력은, 디스플레이에 표시된 영상에 대한 드래그 입력을 포함할 수 있다. 상기 드래그 입력은 입구영역(Entrance Area)에만 입력되도록 입력 제한 설정이 되어 있을 수도 있다.

본 명세서의 일 실시예에 따라 영상에서 사람이 인식될 경우, 사람의 두부(head) 영역에 대응하는 제1 바운딩 박스(HB1)와 전신영역에 대응되는 제2 바운딩 박스(PB1)가 구분되어 제공될 수 있다. 동일한 사람에 대한 바운딩 박스인 경우 상기 제1 바운딩 박스(HB1)는 제2 바운딩 박스(PB1) 내부에 포함될 수 있다. 프로세서(160)는 제1 및/또는 제2 바운딩 박스의 중심점을 추출한 후, 중심점이 이동하는 궤적(CQ)이 카운팅 라인(CL1, CL2, CL3)을 지나는 경우, 업 카운트를 수행하도록 설정될 수 있다. 다만, 측면 뷰의 경우, 탑뷰와 달리 객체인식 결과를 인디케이팅하는 바운딩 박스의 길이가 인식된 객체 전체의 길이에 대응될 수 있다. 이 경우, 객체가 카운팅 라인을 통과하더라도 객체의 바운딩 박스의 중심점 이동궤적(CQ)은 카운팅 라인과 교차되는 부분이 존재하지 않을 수 있다. 예를 들어, 객체의 바운딩 박스의 중심점의 이동 궤적(CQ)은 제3 카운팅 라인(CL3)과는 교차하지만, 제2 카운팅 라인(CL2)과는 교차하지 않는다. 따라서, 사용자 입력을 통해 세팅된 카운팅 라인이 제2 카운팅 라인(CL2)인 경우, 실제로 사람이 카운팅 라인을 통과했지만, 감시 카메라는 카운트하지 못하는 문제가 발생한다.

이에 따라, 본 명세서는 바운딩 박스의 중심점의 이동 궤적 대신, 바운딩 박스 자체가 카운팅 라인과의 교차 여부를 확인하여 카운트를 수행하는 방법을 제안한다. 한편, 본 명세서에서 적용되는 바운딩 박스는 전술한 바와 같이 하나의 객체에 두 가지 종류의 바운딩 박스가 적용될 수 있는데, 사람의 두부(head) 영역에 대응되는 제1 바운딩 박스(HB1)와 전신 영역에 대응하는 제2 바운딩 박스(PB1)가 적용될 수 있다. 여기서 제1 바운딩 박스(HB1)는 사람의 머리를 인식함으로써, 인식된 객체가 사람인지 여부를 추가적으로 인식하는 기능을 수행할 수도 있다. 예를 들어, 인식된 객체가 움직이는 동물인 경우 제2 바운딩 박스(PB1)가 인식된 객체에 표시되지만, 제1 바운딩 박스(HB1)는 표시되지 않을 수 있다. 본 명세서는 인식된 객체의 제1 바운딩 박스와 제2 바운딩 박스 모두 이용하여 객체 카운팅에 적용하는 방법을 제안한다.

일 실시예에 따라, 사용자 입력을 통해 세팅된 카운팅 라인이 제3 카운팅 라인(CL3)인 경우 인식된 사람이 입구영역을 지나갈 때 제1 바운딩 박스(HB1)는 제3 카운팅 라인(CL3)과 교차점(I22)을 가진다. 또한, 제2 바운딩 박스(PB1)는 제3 카운팅 라인(CL3)과 교차점(I21)을 가진다. 프로세서(160)는 제1 바운딩 박스(HB1) 또는 제2 바운딩 박스(PB1) 중 적어도 하나가 제3 카운팅 라인(CL3)과 교차하는 경우, 업카운트를 수행할 수 있다.

또한, 일 실시예에 따라, 사용자 입력을 통해 세팅된 카운팅 라인이 제2 카운팅 라인(CL2)인 경우, 제1 바운딩 박스(HB1)는 제2 카운팅 라인(CL2)과 교차점을 갖지 않지만, 제2 바운딩 박스(PB1)가 제2 카운팅 라인(CL2)과 교차점(I1)을 가진다. 이에 따라 프로세서(160)는 업카운트 동작을 수행할 수 있다.

본 명세서의 일 실시예에 따르면 카운팅 라인은 사용자 입력을 통해 제1 카운팅 라인(CL1)과 같이 설정될 수도 있다. 도 5에 도시된 제1 카운팅 라인(CL1)은 입구 영역에 세팅되기는 하였지만 입구영역에 비치된 출입문의 높이보다 낮은 위치에 설정됨으로 인해, 사람이 출입문을 통과할 때 제1 및 제2 바운딩 박스와 교차되는 지점이 존재하지 않게 된다. 따라서, 프로세서(160)는 상기 카운팅 라인이 제1 카운팅 라인(CL1)의 높이가 출입문의 높이 보다 낮은 위치에 세팅되는 경우, 자동으로 출입문의 높이만큼 높이가 조절되어 세팅될 수 있다.

도 6은 카운팅 라인이 설정되는 다른 예시를 설명하기 위한 도면으로서, 프로세서(160)는 획득된 영상에 대하여 입구 영역(entrance area)을 선택하는 입력을 수신하는 경우, 출입문을 하나의 객체로 인식된 결과를 제공할 수 있다. 프로세서(160)는 사용자가 카운팅 라인을 설정할 때 참고할 수 있도록, 인식된 출입문을 바운더리를 따라 시각적인 차별화를 제공할 수 있다. 한편, 프로세서(160)는 카운팅 라인의 높이 설정에 참고할 수 있도록 인식된 객체의 제1 바운딩 박스(HB1), 제2 바운딩 박스(PB1)를 출입문 인식 결과와 함께 제공할 수 있다. 일 실시예에 따라, 프로세서(160)는 출입문 바운딩 박스를 선택하는 입력을 수신하는 경우, 카운팅 라인(CL)을 자동으로 설정하여 영상에 표시할 수도 있다. 한편, 도 7에 도시된 바와 같이, 카운팅 라인(CL)이 출입문의 높이 보다 낮은 위치에 설정되는 경우, 자동으로 카운팅 라인(CL)의 높이를 출입문 높이 이상으로 자동 설정되도록 제어할 수 있다.

이상, 도 5 내지 도 7을 통해 본 명세서의 일 실시예에 따라 이동 객체의 계수가 필요한 상황에서 인식된 객체의 바운딩 박스와 카운팅 라인를 적용하여 객체 업카운트 동작에 필요한 상황을 설명하였다. 이하, 본 명세서의 일 실시예에 따른 감시 카메라에서 객체 카운트 방법을 보다 구체적으로 설명한다.

도 8은 본 명세서의 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다. 도 8의 감시 카메라의 제어 방법은 도 3의 프로세서(160)을 통해 구현될 수 있다.

도 8을 참조하면, 프로세서(160)는 측면 뷰 영상에서 사람을 검출할 수 있다(S800). 프로세서(160)는 검출된 사람에 대하여 두부 영역과 전신 영역을 각각 검출하여 구분할 수 있다(S810). 프로세서(160)는 두부 영역에 대응되는 제1 바운딩 박스와, 전신 영역에 대응되는 제2 바운딩 박스를 각각 추출할 수 있다(S820).

프로세서(160)는 상기 제1 바운딩 박스와 제2 바운딩 박스를 링크(link) 시키는 동작을 수행할 수 있다. 상기 링크 동작은 동일 객체에 대하여 복수의 영역을 구분하여 검출한 경우, 검출된 복수의 영역이 동일한 객체임을 인식하기 위한 동작일 수 있다.

프로세서(160)는 제2 바운딩 박스가 카운팅 라인과 교차하는지 여부를 판단할 수 있다(S840). 제2 바운딩 박스는 전신 영역에 해당하는 것으로서, 제2 바운딩 박스가 사용자에 의해 미리 설정된 카운팅 라인과 교차하는 것으로 판단한 경우, 프로세서(160)는 업 카운트 할 수 있다(S860).

한편, 프로세서(160)는 상기 제2 바운딩 박스가 카운팅 라인과 교차한 후, 사람이 출입문 방향으로 이동함에 따라 헤드 영역에 대응되는 제1 바운딩 박스가 카운팅 라인과 교차하는 것으로 판단한 경우(S850:Y), 링크 정보에 기초하여 이중 카운팅을 제어하는 동작을 수행할 수 있다(S870).

본 명세서의 일 실시예는 바운딩 박스와 카운팅 라인과의 교차 여부에 따라 사람 카운팅 동작을 수행하는데, 상기 바운딩 박스의 종류가 헤드 영역과 전신 영역 두 가지 종류가 존재할 수 있는데, 헤드 영역의 바운딩 박스는 전신 영역의 바운딩 박스 내부에 존재하는 것이 일반적이다. 따라서 전신 영역의 바운딩 박스를 통한 업 카운팅을 수행한 후에, 헤드 영역의 바운딩 박스에 의한 업 카운팅이 수행되는 경우, 동일한 사람에 대하여 이중으로 카운팅이 수행되는 바, 본 명세서는 두 가지 종류의 바운딩 박스가 동일한 객체로 인한 것인 경우, 두 가지의 바운딩 박스를 서로 링크 시켜, 이중 카운팅 제거에 활용할 수 있다.

도 9는 본 명세서의 또 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.

도 9를 참조하면, 프로세서(160)는 특정 객체에 대하여 제1 바운딩 박스와 제2 바운드 박스를 추출한 후(S820), 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래한 경우 두 가지의 바운딩 박스를 서로 연계시키는 링크 동작을 수행한다(S900).

프로세서(160)는 바운딩 박스가 카운팅 라인과 교차하는 것으로 판단한 경우(S910:Y), 링크된 바운딩 박스가 존재하는지 여부를 추가적으로 판단할 수 있다(S920). 프로세서(160)는 카운팅 라인과 교차한 바운딩 박스와 링크된 추가적인 바운딩 박스가 존재하는 경우, 상기 링크 정보에 기초하여 이중 카운팅 동작을 제거할 수 있다(S930). 즉, 일 실시예에 따라, 프로세서(160)는 객체가 카운팅 라인을 통과함에 따라 객체의 바운딩 박스가 상기 카운딩 라인과의 교차적인 적어도 하나 존재하는 경우 1차적인 카운팅을 수행한다. 다만, 전술한 바와 같이, 동일 객체에 대하여 헤드 영역의 바운딩 박스와 전신 영역의 바운딩 박스 두 가지가 존재할 수 있는데, 프로세서(160)는 각각의 바운딩 박스가 카운팅 라인과 교차하는 것을 감지하는 경우 일단 업카운팅을 수행한 후, 링크 정보에 기초하여 이중 카운팅을 제거(S930)하는 방향으로 업카운트를 수행할 수 있다(S930).

도 10은 본 명세서의 또 다른 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다. 도 11은 본 명세서의 일 실시예에 따라 측면 뷰 영상에서 객체가 서로 중첩된 상황에서 객체를 카운트 하는 예를 설명하기 위한 도면이다.

도 10 내지 도 11을 참조하면, 프로세서(160)는 일 실시예에 따라 측면 뷰 영상에서는 복수의 사람이 검출한다(S1000). 상기 복수의 사람 중 적어도 일부가 앞 사람에 의해 가려진 상태에서 출입구 방향으로 이동할 수도 있다. 이 경우, 프로세서(160)는 가장 앞에 위치한 사람의 경우 제1 바운딩 박스(F1)와 제2 바운딩 박스(P1)가 모두 검출될 수 있지만, 두번째와 세번째 위치하는 사람의 경우, 헤드 영역은 검출되지만, 전신 영역은 검출되지 않는 경우가 발생할 수 있다. 이 상태에서 세 사람이 출입구 방향(카운팅 라인 방향, 도 11에서 화살표 방향)으로 이동하는 경우, 두번째와 세번째 사람의 경우, 헤드 영역의 바운딩 박스(각각 F2, F3)가 존재하지만, 카운팅 라인의 위치에 따라 카운팅 라인과 교차하지 않는 경우가 발생할 수 있다.

예를 들어, 제1 카운팅 라인(CL1)의 경우, 두번째와 세번째 사람이 전신 영역의 바운딩 박스가 검출되지 않았더라도, 헤드 영역의 바운딩 박스(F2,F3)와 제1 카운팅 라인(CL1)의 교차로 인해 프로세서(160)는 세 사람 모두에 대해 카운팅을 수행할 수 있다.

그러나, 사용자에 의해 제2 카운팅 라인(CL2)이 설정된 경우, 프로세서(160)는 첫째 사람의 경우, 전신 영역의 바운딩 박스(P1)와 제1 카운팅 라인(CL1)의 교차로 인해 업 카운트를 수행할 수 있지만, 두 번째와 세 번째 사람의 경우, 카운트라인을 패스하였지만, 프로세스(160)가 카운트를 할 수 없게 된다. 이에 따라, 본 명세서의 일 실시예에 따라 프로세서(160)는 두번째와 세번째 사람의 전신 영역의 바운딩 박스를 첫째 사람의 전신 영역의 바운딩 박스(P1)와 동일한 것으로 유추하고, 가상의 전신 영역의 바운딩 박스를 생성할 수 있다. 프로세서는 객체의 이동에 따라 두 번째와 세번째 사람의 경우, 가상의 전신 영역 바운딩 박스와 제2 카운팅 라인(CL2)과의 교차를 인식하고 카운팅을 수행할 수 있게된다.

한편, 일 실시예 따라, 프로세서(160)는 카운트 라인과 교차하는 바운딩 박스를 제1 바운딩 박스(F1,F2,F3) 또는 제2 바운딩 박스(P1,P3) 중 어느 하나를 선택적으로 적용할 수 있다. 일 실시예에 따라, 프로세서(160)는 사용자에 의해 설정된 카운팅 라인이 제1 카운팅 라이(CL1)인 경우 제1 바운딩 박스(F1,F2,F3)가 제1 카운팅 라인(CL1)과의 교차 여부를 판단하여 카운트 동작을 수행할 수 있다.

도 12는 본 명세서의 또 다른 실시예에 따라 감시 카메라의 제어 방법을 설명하기 위한 도면이다. 도 12에 개시되는 실시예는, 제1 바운딩 박스(F1)와 제2 바운딩 박스(P1)를 모두 고려하여 카운팅을 수행하는 예시이다. 프로세서(160)는 제1 바운딩 박스(F1,Head)가 카운팅 라인을 지나치는 순간, 제2 바운딩 박스(P1, Person)가 카운팅 라인과의 교차점이 존재하는 경우, 업 카운트를 수행할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

이미지 센서;
상기 이미지 센서에서 획득된 영상에서 검출되는 사람의 두부(head) 영역과 전신 영역을 각각 인디케이팅 하는 제1 바운딩 박스와 제2 바운딩 박스 중 적어도 하나가, 사전에 설정되는 카운팅 라인과 교차되는 경우 카운트를 수행하는 프로세서;를 포함하고,
상기 프로세서는,
상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된(originated) 경우, 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나에 의한 카운팅만 수행되도록 제어하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된 경우, 상기 제1 및 제2 바운딩 박스를 링크(link) 시키는 것을 특징으로 하는 감시 카메라.
제 2 항에 있어서,
상기 제1 바운딩 박스가 상기 제2 바운딩 박스 내부에 포함된 경우 상기 제1 바운딩 박스와 제2 바운딩 박스가 동일 객체로부터 유래된 것으로 판단하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 제1 바운딩 박스가 상기 카운팅 라인을 지나는 순간, 상기 제2 바운딩 박스가 상기 카운팅 라인과 적어도 하나의 교차점이 존재하는 경우 상기 업카운트를 수행하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 객체와 근접되는 상기 카운팅 라인의 영역에 따라 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 카운팅 라인의 높이에 따라 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 카운팅 라인을 통과하는 서로 다른 복수의 객체가 존재하고, 상기 복수의 객체 중 적어도 하나의 객체가 적어도 하나의 다른 객체에 의해 중첩된 경우, 중첩된 객체에 대해서는 상기 제1 바운드 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 것을 특징으로 하는 감시 카메라.
제 7 항에 있어서,
상기 프로세서는,
상기 복수의 객체에 대하여 상기 제1 바운딩 박스의 개수가 상기 제2 바운딩 박스의 개수보다 많은 경우, 상기 적어도 하나의 객체가 적어도 하나의 다른 객체에 의해 중첩된 것으로 판단하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 카운팅 라인을 통과하는 서로 다른 복수의 객체가 존재하고, 상기 복수의 객체 중 적어도 하나의 객체에 대응하는 제2 바운딩 박스가 검출되지 않은 경우, 가상의 제2 바운딩 박스를 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 프로세서는,
상기 카운팅 되는 객체의 종류를 인식하고, 사전에 출입 허가가 되지 않은 객체인 경우 알람을 출력하는 것을 특징으로 하는 감시 카메라.
제 1 항에 있어서,
상기 카운팅 라인은, 미리 정해진 사용자 입력에 기초하여 상기 영상 내에 설정되는 것을 특징으로 하는 감시 카메라.
제 11 항에 있어서,
상기 프로세서는,
상기 영상 내의 입구(entrance) 영역을 인식하고, 상기 입구 영역을 지정하는 입력을 수신하는 경우 상기 입구 영역에 대응되는 위치에 상기 카운팅 라인을 자동으로 설정하는 것을 특징으로 하는 감시 카메라.
검출된 사람의 얼굴을 포함하여 전신을 인식 가능한 측면 뷰(Perspective view) 영상에서 사람을 검출하는 단계;
상기 검출되는 사람의 두부(head) 영역과 전신 영역을 검출하는 단계;
상기 두부 영역에 대응하는 제1 바운딩 박스와 상기 전신 영역에 대응하는 제2 바운딩 박스를 추출하는 단계;
상기 제2 바운딩 박스가 사전에 설정된 카운팅 라인과 교차하는 경우, 카운트를 수행하는 단계; 및
상기 제1 바운딩 박스가 상기 카운팅 라인과 교차하는 경우, 상기 제1 바운딩 박스의 링크된 바운딩 박스가 존재하지 않는 경우, 상기 카운트를 수행하는 단계;
를 포함하는 감시 카메라의 제어 방법.
제 13 항에 있어서,
상기 제1 바운딩 박스와 상기 제2 바운딩 박스가 동일 객체로부터 유래된 경우, 상기 제1 및 제2 바운딩 박스를 링크(link) 시키는 단계;
를 더 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.
제 13 항에 있어서,
상기 제1 바운딩 박스는, 상기 제2 바운딩 박스 내부에 포함되는 것을 특징으로 하는 감시 카메라의 제어 방법.
제 13 항에 있어서,
상기 제1 바운딩 박스가 상기 카운팅 라인을 통과하는 것을 감지하는 단계; 및
상기 제1 바운딩 박스가 상기 카운팅 라인을 지나는 순간, 상기 제2 바운딩 박스가 상기 카운팅 라인과 적어도 하나의 교차점이 존재하는 경우, 상기 카운트를 수행하는 단계;
를 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.
제 13 항에 있어서,
상기 객체와 근접되는 상기 카운팅 라인이, 사전에 설정된 카운팅 라인의 엣지(edge) 영역인 경우 상기 제2 바운딩 박스와 상기 카운팅 라인 과의 교차 여부를 판단하여 상기 카운트를 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.
제 13 항에 있어서,
상기 사전에 설정된 카운팅 라인과 상기 객체의 상대적인 높이에 기초하여 상기 제1 바운딩 박스 또는 제2 바운딩 박스 중 어느 하나를 선택적으로 적용하여 상기 카운팅 라인과의 교차여부를 판단하는 단계;
를 더 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.