KR20190134916A

KR20190134916A - 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치

Info

Publication number: KR20190134916A
Application number: KR1020180054498A
Authority: KR
Inventors: 김명락; 박선호
Original assignee: 초록소프트 주식회사
Priority date: 2018-05-11
Filing date: 2018-05-11
Publication date: 2019-12-05
Also published as: KR102099816B1

Abstract

본 발명의 일 실시예에 따른, 서버에 의해 수행되는, 실시간 로드(ROAD) 영상을 통해 유동인구 데이터를 수집하는 방법에 있어서, (a) 각 로드에 설치된 복수의 카메라로부터 생성된 실시간 영상을 수신하는 단계; (b) 영상에서 사람을 포함하는 인식 영역과 그 외 영역을 구분하는 단계; (c) 인식 영역에 포함되는 유동 인구의 생체 정보를 인식하는 단계; 및 (d) 복수의 카메라에서 생성된 영상 내에 동일한 생체 정보의 사람이 인식되는 경우, 인식된 사람의 이동경로를 추적하고, 각 사람의 이동 경로를 기반으로 유동 인구의 이동 경로를 예측하는 단계;를 포함한다.

Description

실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치 {METHOD AND APPARATUS FOR COLLECTING FLOATING POPULATION DATA ON REALTIME ROAD IMAGE}

본 발명은 실시간으로 촬영되는 거리의 영상에서 인공지능 엔진을 통해 유동 인구의 데이터를 수집하는 방법 및 시스템에 관한 것이다.

유동 인구란 특정 지역을 방문하거나 이동하여 통과하는 인구를 뜻하는 것으로, 이는 도보를 통해 이동하는 인구가 포함될 수 있고, 넓게는 차량과 같은 이동수단에 탑승하여 이동하는 사람을 포함할 수 있다.

종래의 유동 인구를 파악하는 대표적인 수단은 특정 구역을 이동한 유동 인구를 직접 카운팅하는 방법이 있고, 그 외 이동수단을 이용하는 인구에 대해서 이동수단에 구비된 단말기가 특정 구간을 통과하는 것 자체를 카운팅하는 방법 등이 있을 수 있다.

그러나, 종래에 사용된 유동 인구를 파악하는 방법은 유동 인구를 파악하기 위해 측정자가 동일한 장소를 지켜야 한다는 문제점과 유동인구의 밀집도가 높아질수록 정확도가 낮아진다는 한계점이 존재한다.

또한, 이동수단에 부착된 단말을 통해 유동 인구를 파악하는 방법도 해당 이동수단에 몇 명의 유동 인구가 존재하는지 확인하기 어렵기 때문에 정확성에 대한 보장이 어려운 문제점을 보유하고 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 유동 인구를 실시간으로 촬영하는 영상에서 유동 인구를 인식하고, 이를 카운팅하는 것을 목적으로 한다.

또한, 실시간으로 인식된 유동 인구의 성별이나 나이 대를 파악하여 해당 구역을 자주 방문하는 유동 인구에 대한 정보를 누적하고, 유동 인구가 이동할 거리를 추측하는 것을 목적으로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 서버에 의해 수행되는, 실시간 로드(ROAD) 영상을 통해 유동인구 데이터를 수집하는 방법에 있어서, (a) 각 로드에 설치된 복수의 카메라로부터 생성된 실시간 영상을 수신하는 단계; (b) 영상에서 사람을 포함하는 인식 영역과 그 외 영역을 구분하는 단계; (c) 인식 영역에 포함되는 유동 인구의 생체 정보를 인식하는 단계; 및 (d) 복수의 카메라에서 생성된 영상 내에 동일한 생체 정보의 사람이 인식되는 경우, 인식된 사람의 이동경로를 추적하고, 각 사람의 이동 경로를 기반으로 유동 인구의 이동 경로를 예측하는 단계;를 포함하는 방법일 수 있다.

본 발명의 다른 일 실시예에 따른, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 장치에 있어서, 로드에 설치된 복수의 카메라로부터 영상을 수신하고, 사람을 인식하여 이동 경로를 추측하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하여 사람을 인식하여 이동 경로를 추측하는 동작을 실행하는 프로세서를 포함하되, 프로세서는 각 로드에 설치된 복수의 카메라로부터 생성된 실시간 영상을 수신하고, 영상에서 사람을 포함하는 인식 영역과 그 외 영역을 구분하고, 인식 영역에 포함되는 유동 인구의 생체 정보를 인식하고, 복수의 카메라에서 생성된 영상 내에 동일한 생체 정보의 사람이 인식되는 경우, 인식된 사람의 이동경로를 추적하고, 각 사람의 이동 경로를 기반으로 유동 인구의 이동 경로를 예측하는 장치.

본 발명은 유동 인구를 실시간으로 촬영하는 영상에서 유동 인구를 인식하고, 이를 카운팅할 수 있다.

또한, 인공지능 엔진을 활용하기에 장애물에 가려진 후 등장한 사람을 구별하여 능동적인 유동 인구파악이 가능할 것이다.

또한, 실시간으로 인식된 유동 인구의 성별이나 나이 대를 파악하여 해당 구역을 자주 방문하는 유동 인구에 대한 정보를 누적하고, 유동 인구가 이동할 거리를 추측할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 실시간 로드 영상을 통해 유동인구 데이터를 수집하기 위한 전체 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 실시간 로드영상을 통해 유동인구 데이터를 수집하는 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 서버가 실시간 로드 영상에서 유동 인구를 인식하는 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른, 생체 정보를 인식하는 예시를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 서버(100)가 인식된 유동 인구의 이동 경로를 추적하는 예시를 나타낸 예시이다.
도 6은 본 발명의 일 실시예에 따른, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법을 나타낸 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 서버(100)는 실시간 로드 영상을 통해 유동인구 데이터를 수집하기 위한 장치를 의미할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 실시간 로드 영상을 통해 유동인구 데이터를 수집하기 위한 전체 시스템을 나타낸 도면이다.

도 1을 참조하면, 실시간 영상을 통해 유동인구 데이터를 수집하기 위한 전체 시스템은 서버(100), CCTV(closed circuit television)(200)를 포함할 수 있다. 또한, 서버(100)에서 유동 인구의 데이터를 수신하기 위한 사용자 단말(300)이 더 추가될 수 있고, 이들은 통신망을 통해 상호 연결될 수 있다.

본 발명의 일 실시예에 따른, 서버(100)는 실시간 로드 영상을 통해 유동인구 데이터를 수집이 구현될 수 있도록, CCTV(200)로부터 유동 인구가 이동하는 구역에 대한 영상을 수신할 수 있다.

이때, 서버(100)는 다양한 알고리즘을 통해 CCTV(200)로부터 수신한 영상으로부터 유동 인구를 인지하고 해당 영역을 인지 영역으로 지정하고, 인지 영역에 포함되는 사람의 생체 정보 획득 및 이동 경로를 추적하게 된다.

CCTV(200)는 서버(100)에게 제공하기 위한 실시간 영상을 생성하게 되고, 생성되는 영상은 특정 구역의 유동인구를 포함할 수 있는 영상을 뜻하게 된다.

이때, CCTV(200)가 복수로 구비되어 각 CCTV(200)가 촬영하는 구역이 다르다면, 유동 인구의 데이터를 개별적으로 산출하게 된다. 하지만 복수의 영상에서 공통적으로 촬영되는 구역이 존재하는 경우, 해당 구역을 지나면서도 공통적으로 촬영된 사람을 서버(100)가 하나의 인물로 인지할 수 있다.

예컨대, A구역만을 촬영하는 카메라c와 A구역을 포함하면서 B구역을 동시에 촬영하는 카메라d가 있다고 가정하면, A구역을 이동하는 특정 사람은 카메라c와 카메라d를 통해 모두 촬영 되고, 서버(100)는 두 영상을 통해 유동 인구의 데이터를 추출하지만, 서버(100)는 그 사람을 동일한 인물로 판단하게 할 수 있다.

이를 구현하기 위해 서버(100)는 로드에 대한 고유한 x, y축 좌표를 설정하고, 각 카메라의 위치와 방향을 고려하여, 카메라로부터 입수된 영상의 위치가 어느 로드의 x, y축 좌표인지 확인하며, 카메라 영상의 인식 영역에 대한 좌표를 설정하게 되는 것이다.

또한, 앞서 서술한 예시를 구현하기 위해 서버(100)는 인식 영역에 포함된 사람의 생체 정보를 추가로 인식하고, 그에 기초하여 사람마다 임의로 개별 식별자를 부여할 수 있다. 이를 통해 복수의 영상에서 동일한 사람이 출현하거나, 장애물 등에 가려져 CCTV(200)의 시야에서 벗어난 후 재등장 하여도 서버(100)는 해당 인물을 새로운 사람으로서 인식하지 않게 되는 것이다.

이때, 선택적 실시예로 임의로 지정한 개별 식별자는 잉여 데이터의 누적이나 새롭게 인식된 사람에게 개별 식별자를 부여하기 위해, 기존의 개별 식별자가 부여된 사람이 영상에서 퇴장 이후 기 설정된 시간 이내에 재등장하지 않는 경우 개별 식별자를 삭제하는 기능이 더 포함될 수 있다. 이는 서버 용량 과부하를 막기 위한 추가 기능으로 활용될 수 있다 .

CCTV(200)는 일반적으로 사용되는 폐쇄 회로 텔레비전 이외에도 영상을 촬영할 수 있는 다른 장비가 CCTV(200)를 대신하여 본 발명을 구현할 수 있으며, 이때 사용되는 촬영 장비는 이동하는 인물을 구분할 수 있는 수준의 화질을 보유하고 있어야 한다.

또한, 본 발명은 CCTV(200)를 통해 실시간으로 생성되는 영상을 통해 구현될 수 있지만, 선택적 실시예로 기 촬영된 영상을 통해 유동 인구를 파악할 수도 있다.

사용자 단말(300)은 서버(100)가 생성하는 유동 인구에 관한 데이터를 수신하거나 실시간으로 확인할 수 있는 단말을 뜻할 수 있다.

이때, 사용자 단말(300)은 서버(100)로부터 제공받은 실시간 영상을 통해 유동인구 데이터를 수집하는 어플리케이션을 통해 표시할 수 있다. 실시간 영상을 통해 유동인구 데이터를 수집하는 어플리케이션은 사용자 단말(300)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 사용자 단말(300)에 설치된 어플리케이션일 수 있다.

또한, 사용자 단말(300)들은 유무선 통신 환경에서 단말 어플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 여기서 사용자 단말(300)은 사용자의 휴대용 단말기일 수 있다. 도 1에서는 사용자 단말(300)이 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 어플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.

이를 더욱 상세히 설명하면, 사용자 단말(300)은 일반적인 퍼스널컴퓨터(personal computer), 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.

유동 인구에 대한 데이터는 사용자 단말(300)에서 영상, 이미지, 텍스트 등의 방식으로 다양하게 구현되어 제공될 수 있는데, 데이터를 제공하는 방법이 본 발명의 범위를 제한하지는 않는다.

또한, 사용자 단말(300)은 서버(100)로부터 제공받은 데이터들을 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 어플리케이션을 통해 표시될 수 있고, 해당 어플리케이션은 사용자 단말(300)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 사용자 단말(300)에 설치된 어플리케이션일 수 있다.

한편, 통신망은 서버(100)와 CCTV(200) 혹은 사용자 단말(300)들을 연결하는 역할을 수행한다. 즉, 통신망은 사용자 단말(300)들이 서버(100)에 접속하거나, CCTV(200)로부터 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른, 실시간 로드영상을 통해 유동인구 데이터를 수집하는 서버(100)의 구성을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신부(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.

상세히, 통신부(110)는 통신망과 연동하여 서버(100), CCTV(200) 및 사용자 단말(300) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신부(110)는 CCTV(200)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 사용자 단말(300)에 데이터를 송신하는 역할을 수행할 수 있다.

여기서, 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(120)는 실시간 로드영상을 통해 유동인구 데이터를 수집하는 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 일종의 중앙처리장치로서 실시간 로드영상을 통해 유동인구 데이터를 수집하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 6을 참조하여 후술하기로 한다.

여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(140)는 수신한 영상의 분석을 통해 생성된 유동 인구의 데이터가 저장된다. 예를 들어 인식된 유동 인구의 동선이나, 인식된 사람의 생체 정보 등이 저장될 수 있다.

여기서 생체 정보란 인식된 사람의 나이나 성별이 될 수 있고, 또한 동선을 바탕으로 유동 인구가 이동할 수 있는 예상 이동 경로가 더 저장할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 서버(100)가 실시간 로드 영상에서 유동 인구를 인식하는 모습을 나타낸 예시도이다.

도 3을 참조하면, 로드 영상에서 유동 인구를 인식하는 예시로 인식 영역(210), 개별 식별자(220)가 포함될 수 있다.

인식 영역(210)은 서버(100)가 로드 영상에서 사람을 인식한 영역을 뜻하고, 영상에서 사람을 인식한 영역과 그 외 영역과 시각적인 구분이 가능하도록 표식을 제공할 수 있다.

서버(100)가 영상에서 사람을 인식하기 위해서는 영상을 기 설정된 크기를 가지는 격자형 그리드로 분할한다. 그리드별 픽셀값을 기준으로 사람에 대응하는 것으로 간주하는 그리드를 인식하고, 사람이 인식된 그리드의 집합을 특정 사람에 대한 인식 영역(210)으로 설정하는 것이다.

또한, 영상 내에 복수의 사람이 존재하는 경우, 서버(100)는 각 사람을 개별적으로 인식하여 사람마다 고유한 인식 영역(210)을 적용하게 된다. 또한, 서버(100)는 영상에서 기 설정된 크기 이상으로 등장하는 사람을 인식하게 된다.

개별 식별자(220)는 인식 영역(210)에 포함된 사람의 생체 정보가 판독되면, 그에 기초하여 임의로 부여되어 타인과의 구별하는 용도로 사용될 수 있다.

개별 식별자(220)를 통해 인식된 사람마다 별도의 추가정보(예컨대, 이름과 같은 개인정보)가 없더라도 생체 정보와 이동 정보를 매핑하여 개별적으로 저장할 수 있게 된다.

또한, 앞서 서술한 바와 같이 인식된 사람이 장애물이나 건물 내부로 입장하는 등의 이유로 CCTV(200)의 시야 내에서 사라진 후 재등장 하더라도 서버(100)가 생체 정보를 기반으로 이전에 개별 식별자(220)를 부여 받은 사람이면 해당 식별자를 다시 부여하게 된다.

도 4는 본 발명의 일 실시예에 따른, 서버(100)가 생체 정보를 인식하는 예시를 나타낸 도면이다.

도 4를 참조하면, 서버(100)가 인식하게 되는 생체 정보로 나이 정보(310), 성별 정보(320)를 포함할 수 있다.

영상 이미지에서 나이 정보(310)나 성별 정보(320)를 인식하기 위해서는 종래의 age/gender classfication과 같은 모델을 사용할 수 있으며, 그 와 동등한 다른 인공지능 모델이나 알고리즘을 적용할 수 있다.

나이 정보(310)는 인식 영역(210)에 포함된 사람의 연령대를 추측한 값이고, 성별 정보(320)는 남자인지 여자인지를 판단한 정보이다.

이때, 인식 영역(210)으로서 사람의 머리부터 발끝까지를 포함하는 전체 모습을 포함하는 영역이 우선 인식 되는데, 이를 통해 생체 정보의 정확도를 높이고 빠른 처리를 가능케 할 수 있다.

따라서, 서버(100)는 나이 정보(310)와 성별 정보(320)에 기초하여 인식 영역(210)에 포함된 사람에게 고유 식별자(220)를 부여하게 되는 것이다.

도 3 내지 도 4를 통해 제시된 인식 영역(210), 개별 식별자(220), 나이 정보(310), 성별 정보(320)의 형태는 예시의 일종으로 사용자 편의나 설정 방법 등에 따라 영상에 포함되거나, 생략 혹은 다른 형태를 가지는 인터페이스로 저장되거나, 사용자 단말(300)로 제공될 수 있다.

도 5는 본 발명의 일 실시예에 따른, 서버(100)가 인식된 유동 인구의 이동 경로를 추적하는 예시를 나타낸 예시이다.

도 5를 참고하면, 유동 인구의 이동 경로를 추적하기 위해서 카메라의 위치와 배치 방향을 고려하여 각 카메라 별로 고유의 x, y축 좌표를 설정하고, 각 카메라의 영상으로부터 인식된 사람의 위치는 해당 카메라의 고유 좌표인 것으로 간주하여, 사람의 이동방향 및 거리를 파악할 수 있다.

이를 예를 들어 설명하면, 카메라1과 카메라2가 서로 다른 지역을 촬영 중에 있는 경우 서버(100)는 각 카메라가 촬영하는 구역에 매핑하는 고유한 x, y축 좌표를 설정하게 된다. 이를 통해 특정 인물이 이동하면서 카메라1과 카메라2에 모두 촬영되어, 두 영상에서 설정된 좌표에 기초하여 카메라1이 촬영한 영상에서의 이동 데이터와 카메라 2가 촬영한 영상에서의 이동 데이터를 측정하고, 이를 통합하여 해당 인물의 종합적인 이동방향이나 거리를 파악할 수 있게 되는 것이다.

또한, 카메라1과 카메라2가 서로 다른 구도나 위치에서 공통된 구역을 촬영하는 경우에도 각 카메라가 촬영하는 구역과 매핑하는 고유한 x, y축 좌표가 설정되고, 공통으로 촬영되는 구역에는 카메라1과 카메라2가 촬영한 영상에서 동일한 x, y축 좌표를 부여하여 카메라1과 카메라2에 모두 촬영되는 사람이 이동하는 방향과 거리를 매끄럽게 파악할 수 있게 되는 것이다.

일 예로, 영상을 구성하는 복수의 프레임(예를 들어, 1초의 영상은 30개의 연속된 프레임으로 구성됨) 내에서, 인식 영역(210)이 이동하는 프레임 내에서의 x, y축 좌표를 인식하여 사람의 이동 정보를 추출할 수도 있다. 이를 통해 사람의 이동 방향 및 거리를 예측할 수 있게 되는 것이다.

이때, 이동방향 및 거리를 측정하기 위해 모든 프레임을 사용하는 것은 비효율 적이기 때문에 2~7프레임 가량의 간격을 두고 데이터를 측정하게 되는데, 프레임이 짧아질수록 데이터가 정확해지지만 처리속도가 느려지고, 반대로 프레임 간격이 넓어지면 처리속도는 빨라지지만, 정확도가 낮아진다는 특징을 가지기 때문에 사용 용도에 따른 적절한 프레임 간격 선택을 필요로 하게 된다.

또한, 도면 상의 유동 인구 1 및 2는 장애물(유동 인구 3)에 가려진 이후 새로 등장하여도 서버(100)는 이를 동일한 인물로서 파악하여 이동 경로를 지속적으로 추적할 수 있다.

이를 자세하게 설명하면, 카메라에 의해 생성된 영상을 구성하는 복수의 프레임에 있어서, 서로 다른 프레임 내에 포함된 서로 다른 개별 식별자(220)가 부여된 인식 영역(210)이 존재하더라도, 확장 칼만 필터 기반 알고리즘을 통해 추적 후 동일한 개별 식별자(220)를 부여하게 되는 것이다.

도 6은 본 발명의 일 실시예에 따른, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법을 나타낸 동작 흐름도이다.

도 6을 참조하면, 먼저 CCTV(200)로부터 서버(100)가 실시간 로드 영상을 수신한다(S310).

이때, 복수의 CCTV(200)를 통해 영상이 수신되는 경우 각 영상마다 유동 인구의 데이터를 따로 생성하게 되지만, 동일한 구역이나, 공통 구역을 가지는 영상이 있는 경우 하나의 데이터로 처리할 수도 있다.

로드 영상에서 서버(100)는 사람을 포함하는 인식 영역(210)과 그 외 영역으로 구분하게 된다(S320).

단계(S320) 이후 인식 영역(210)에 포함된 사람의 생체 정보를 인식한다(S330).

이때, 생체 정보의 인식이 완료된 인식 영역(210)은 개별 식별자(220)를 부여하게 된다.

또한, 영상에서의 인식 영역(210)과 그 외 영역을 시각적으로 구분할 수 있는 인터페이스를 생성할 수 있고, 생체 정보의 인식을 통해 생성된 개별 식별자(220)를 표시할 수 있지만, 필요에 따라 생략할 수도 있다.

생체 정보 인식이 완료된 사람의 이동 경로를 예측한다(S340).

단계(S340)를 통해 생성된 데이터는 서버(100)의 데이터베이스(140)에 저장되어 인공지능 엔진을 학습하는 것에 사용될 수 있고, 사용자 단말(300)로 전달되어 이용될 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 서버 200: CCTV
300: 사용자 단말
210: 인식 영역 220: 개별 식별자
310: 나이 정보 320: 성별 정보

Claims

서버에 의해 수행되는, 실시간 로드(ROAD) 영상을 통해 유동인구 데이터를 수집하는 방법에 있어서,
(a) 각 로드에 설치된 복수의 카메라로부터 생성된 실시간 영상을 수신하는 단계;
(b) 상기 영상에서 사람을 포함하는 인식 영역과 그 외 영역을 구분하는 단계;
(c) 상기 인식 영역에 포함되는 사람의 생체 정보를 인식하는 단계; 및
(d) 복수의 상기 카메라에서 생성된 영상 내에 동일한 상기 생체 정보의 사람이 인식되는 경우, 상기 인식된 사람의 이동경로를 추적하고, 각 사람의 이동 경로를 기반으로 유동 인구의 이동 경로를 예측하는 단계;
를 포함하는 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (b) 단계는,
상기 영상을 기 설정된 크기를 가지는 격자형 그리드로 분할하고, 상기 각 그리드별 픽셀값을 기준으로 상기 사람과 대응하는 것으로 간주되는 그리드를 인식하고, 상기 그리드의 집합을 특정 사람에 대한 상기 인식 영역으로 설정하는 것인, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법.
제 2 항에 있어서,
상기 (b) 단계는
상기 영상 내에 복수의 사람이 존재하는 경우, 각 사람에 대한 상기 인식 영역을 복수로 설정하는 것인, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (c) 단계는
상기 생체 정보는 상기 사람의 나이 및 성별 중 하나 이상을 포함하는 것인, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법.
제 4 항에 있어서,
상기 (b) 단계는,
사람의 머리부터 발끝까지를 포함하는 전체 모습을 포함하는 영역으로 설정된 것을 상기 인식 영역으로서 우선 인식하는 것인, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (c) 단계 이후
상기 생체 정보가 판독된 상기 인식 영역에 상기 생체 정보를 기초로 임의의 개별 식별자를 부여하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (d) 단계는
상기 카메라에 의해 생성된 영상을 구성하는 복수의 프레임에 있어서, 서로 다른 프레임 내에 포함된 서로 다른 개별 식별자가 부여된 상기 인식 영역이 존재하더라도, 확장 칼만 필터 기반 알고리즘을 통해 추적 후 동일한 개별 식별자가 부여된 인식 영역인 것으로 판단하는 단계를 포함하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (d) 단계는,
(d-1) 상기 카메라의 위치와 배치 방향을 고려하여 각 카메라 별로 고유의 x, y축 좌표를 설정하고, 각 카메라의 영상으로부터 인식된 사람의 위치는 해당 카메라의 고유 좌표인 것으로 간주하여, 사람의 이동방향 및 거리를 파악하는 단계를 포함하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 (d) 단계는,
(d-2) 상기 영상을 구성하는 복수의 프레임 내에서, 상기 인식 영역이 이동하는 상기 프레임 내에서의 x, y축 좌표를 인식하여 사람의 이동 정보를 추출하는 단계를 포함하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 8항 또는 제 9 항에 있어서,
상기 (d-1) 및 (d-2) 단계를 함께 고려하여, 사람의 이동방향 및 거리를 예측하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
각 로드에 대한 고유의 x, y축 좌표를 설정하고, 각 카메라의 위치와 방향을 고려하여, 카메라로부터 입수된 영상의 위치가 어느 로드의 x, y축 좌표인지 확인하여, 카메라 영상의 상기 인식 영역에 대한 좌표를 설정하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
제 1 항에 있어서,
상기 카메라는 상기 로드에 설치되는 CCTV카메라이고,
상기 CCTV카메라는 실시간 영상을 생성하는 것인, 실시간 영상을 통해 유동인구 데이터를 수집하는 방법.
실시간 로드 영상을 통해 유동인구 데이터를 수집하는 장치에 있어서,
로드에 설치된 복수의 카메라로부터 영상을 수신하고, 사람을 인식하여 이동 경로를 추측하는 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행하여 상기 사람을 인식하여 상기 이동 경로를 추측하는 동작을 실행하는 프로세서를 포함하되,
상기 프로세서는 상기 각 로드에 설치된 복수의 카메라로부터 생성된 실시간 상기 영상을 수신하고, 상기 영상에서 사람을 포함하는 인식 영역과 그 외 영역을 구분하고, 상기 인식 영역에 포함되는 상기 유동 인구의 생체 정보를 인식하고, 복수의 상기 카메라에서 생성된 영상 내에 동일한 상기 생체 정보의 사람이 인식되는 경우, 상기 인식된 사람의 이동경로를 추적하고, 각 사람의 이동 경로를 기반으로 유동 인구의 이동 경로를 예측하는, 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 장치.
제 1 항 내지 제 12 항 중 어느 한 항에 따른 실시간 로드 영상을 통해 유동인구 데이터를 수집하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.