KR20180076838A

KR20180076838A - 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법

Info

Publication number: KR20180076838A
Application number: KR1020160181437A
Authority: KR
Inventors: 김종덕; 변승규; 김동현; 허준환
Original assignee: 부산대학교 산학협력단
Priority date: 2016-12-28
Filing date: 2016-12-28
Publication date: 2018-07-06

Abstract

본 발명은 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법에 관한 것으로, 실시간으로 출입구 영상을 획득하여 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 확률을 도출하는 영상 촬영 장치;상기 영상 촬영 장치로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 출입정보 분석 플랫폼;상기 출입정보 분석 플랫폼에서 분석된 결과를 웹페이지를 통해 사용자에게 시각화하여 전달하는 사용자 단말;을 포함하는 것을 특징으로 한다.

Description

지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법{System and Method for Analyzing Access Information based on Intelligent Vision Processing}

본 발명은 출입 정보 분석에 관한 것으로, 구체적으로 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법에 관한 것이다.

현대사회에서는 단독주택, 아파트, 사무실, 기업의 연구소 등에서 기술 보호와 보안 등 위하여 출입통제의 중요성이 나날이 증가하고 있다.

현재의 출입인증, 통제, 관리, 통보에 관한 기술은 출입구 단말기와 출입자 단말기(무선송신기, RFID태그, 스마트폰 등)와 관리서버, 가입자 단말기로 구성되며, 출입구에 출입구 단말기를 설치하여 출입자 단말기의 정보를 획득하고, 획득한 정보를 시스템의 서버로 전송하여 출입통제 및 관리하고, 처리정보를 해당가입자의 가입자단말기로 통보하는 기술로써 출입자의 출입통제 및 출입정보관리 통보 관한 기술이 있다.

이와 같은 출입 통제 이외에 출입 인원 계측하기 위해서 종래 기술에서는 인원 계측기를 적외선, 열 감지 센서, 비디오 카메라, Wi-Fi 등을 사용하여 구성한다.

비디오 카메라를 사용하는 경우에는 영상의 장면을 서버로 전송하여 이를 서버에 전송된 이미지와 비교하는 방식을 채택한다.

이와 같이 비디오 카메라를 사용하는 경우의 하나로 종래 기술에서는 카메라를 내장한 비접촉식 카드 리더기를 이용한 출입통제시스템과 출입통제 방법이 있으나 이것은 카드출입 통제 장치 자체에 카메라가 내장된 경우로서 사용자가 얼굴을 가릴 경우에 출입이 통제되게 하는 시스템이 있다.

하지만, 이와 같은 종래 기술의 출입통제시스템은 특정 리더기를 사용해야 함으로써 리더기에 대한 의존도가 높기 때문에 특정 리더기를 제외하고는 이것을 구현하기가 어려울뿐더러 리더기의 성능이 좋지 않을 경우에는 인식의 부정확성 및 데이터 관리의 어려움이 따를 수가 있다.

종래 기술에서는 입력 영상과 이전 영상을 비교하여 출입자의 출입을 판단하는 기술로 영상의 픽셀 성분을 비교하는 것이 있으나 이는 연산량의 증가로 대중적으로 사용하기 어려운 문제가 있다.

종래 기술의 다른 하나로는 인물 화상과 배경 화상의 유사도를 통해 출입 인원수를 계산하는 기술이 있으나, 이 역시 정확도가 낮아 대중적으로 사용하기 어려운 문제가 있다.

따라서, 출입정보 분석의 정확도를 높이고, 분석된 데이터의 활용 및 사용자 요청에 따른 데이터 제공 과정이 효율적으로 진행 및 관리되도록 하는 출입정보 관리 및 분석에 관한 새로운 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2013-0104774호 대한민국 공개특허 제10-2016-0014383호

본 발명은 이와 같은 종래 기술의 출입 정보 분석에 관한 기술의 문제를 해결하기 위한 것으로, 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 소형 마이크로프로세서를 장착한 장비에 카메라를 부착하고 장비 내에서 차영상 획득, 노이즈 제거, 이진화, 동체 추적 등의 과정을 거쳐 계수된 출입자 수치만을 서버로 전송하여 장비 내에서 출입 정보 분석이 이루어지도록 한 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 계수 정보를 출입의 이진화된 정보 아닌 출입의 확률로 정의하여 단정적으로 출입만으로 표현하기 힘든 정보에 대해 다른 지능형 장치에게 도움을 요청하여 분석 정밀도를 높인 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 누적 수치와 현장의 여러 변인을 바탕으로 기계학습을 거쳐, 이후의 출입자 예측에 기여할 수 있도록 한 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 출입정보 분석 플랫폼에서 현재 분석 대상의 혼잡도를 실시간 제공하기 위해 출입 정보 분석 데이터를 저장하고, 이와 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하여 활용할 수 있도록 한 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 기계학습 모델에는 결정 트리, 다변량 선형회귀, 다층 퍼셉트론을 사용하여 이용자 수와 메뉴, 잔반량, 날씨, 이벤트 등의 상관관계를 도출하여 적용 가능성을 높이고, 가공된 데이터는 사용자가 데이터를 요청하면 데이터 처리, 시각화를 거쳐 웹페이지를 통해 사용자에게 전달하여 편리성을 높인 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템은 실시간으로 출입구 영상을 획득하여 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 확률을 도출하는 영상 촬영 장치;상기 영상 촬영 장치로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 출입정보 분석 플랫폼;상기 출입정보 분석 플랫폼에서 분석된 결과를 웹페이지를 통해 사용자에게 시각화하여 전달하는 사용자 단말;을 포함하는 것을 특징으로 한다.

여기서, 영상 촬영 장치는 협력 요청 인터럽트가 발생하면, 정보 좌표를 변환하고 오토엔코더(Autoencoder)를 통해 정보를 변환하고, 출입 확률을 도출하고 카운팅하는 협력 요청 처리부와,출입구에 설치되어 실시간으로 영상을 촬영하는 영상 촬영부와,혼잡도 측정 및 협력 요청 스레드를 수행하기 위하여 영상 캡춰 및 배경 추출을 하고, 필터링을 하고 필터링된 정보를 이진화 처리하여 외곽선 추출 및 객체 인식을 하고 객체 트래킹을 하여 카운팅하는 영상 처리부와,출입정보 분석 플랫폼과 통신을 하는 통신 모듈을 포함하는 것을 특징으로 한다.

여기서, 출입정보 분석 플랫폼은, 영상 촬영 장치로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 데이터 처리부와,데이터 처리부에서 가공된 데이터를 저장하는 데이터베이스와,가공된 데이터를 웹페이지를 통해 사용자에게 시각화하여 전달하기 위한 데이터 시각화 처리부를 갖는 웹 인터베이스부를 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법은 출입구에 설치된 카메라가 실시간으로 영상을 촬영하여 영상을 획득하는 단계;k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계;계산된 출입 인원수를 연결된 네트워크를 통해 출입정보 분석 플랫폼으로 전송하고, 출입정보 분석 플랫폼은 이를 저장하는 단계;출입정보 분석 플랫폼에 저장된 데이터를 기계학습을 통해 가공 및 분석하고, 분석된 결과는 데이터베이스에 저장하는 단계;가공된 데이터를 웹페이지를 통해 사용자에게 시각화하여 전달하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서, 객체 초기 발견 시점부터 상실된 시점까지의 데이터를 출입정보 분석 플랫폼으로 전송하고 판단 협력을 요청하는 것을 특징으로 한다.

그리고 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하는 과정은, 초기화 대기상태에서 획득한 사진 수가 적어도 2장 이상인지를 판단하는 단계와,획득한 사진 수가 적어도 2장 이상이면 시점 k, k+1의 두 사진에서 배경을 삭제하는 단계와,해당 사진의 SNR 값을 기준값(α)과 비교하여, SNR 값이 크면 필터링 과정없이 정보를 이진화 처리하고, SNR 값이 크지 않으면 필터링을 하고, 필터링된 정보를 이진화 처리하는 단계와,이진화 처리된 정보를 이용하여 외곽선 추출 및 객체 인식을 하고, 객체 트래킹을 하여 추적하는 객체가 기준선을 통과하였는지를 판단하는 단계와,객체가 기준선을 통과한 것으로 판단되면 객체가 나가는 것인지 들어오는 것인지를 판단하여 들어온 인원수 또는 나간 인원수를 증가시키는 단계를 포함하는 것을 특징으로 한다.

그리고 추적하는 객체가 기준선을 통과하였는지를 판단하는 단계에서, 객체가 기준선을 통과한 것이 아니면 객체가 화면 밖으로 이탈하였는지를 판단하고 객체가 상실되기까지의 트래킹 정보를 획득하는 단계와,획득한 트래킹 정보를 압축하고, 출입정보 분석 플랫폼에 협력 요청을 하는 단계와,출입정보 분석 플랫폼으로부터 요청 응답이 오면, 트래킹 정보를 출입정보 분석 플랫폼으로 전송하는 단계를 포함하는 것을 특징으로 한다.

그리고 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서, 출입정보 분석 플랫폼에서 협력 요청 신호를 수신하면, 등록된 모든 영상 처리 장치에게 협력 요청 정보를 방송하는 단계와,모든 영상 처리 장치가 협력 정보를 수신하였는지를 판단하고, 출입 확률 분포를 생성하는 단계와,확률 분포 표준화를 하고 출입치 중앙값을 계산하여, 협력 요청 응답 메시지를 단말로 전송하는 단계를 수행하는 것을 특징으로 한다.

그리고 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서,사용자 단말 k에서 협력 요청 인터럽트가 발생하면, 수신한 기준선 벡터를 기준으로 데이터의 좌표를 자신의 데이터에 맞게 변환하는 단계와,사용자 단말 k에서 오토엔코더를 통해 자신의 데이터로 변환하는 단계와,출입 확률을 도출하고 확률 정보를 출입정보 분석 플랫폼으로 전송하는 단계를 수행하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법은 다음과 같은 효과를 갖는다.

첫째, 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인다.

둘째, 소형 마이크로프로세서를 장착한 장비에 카메라를 부착하고 장비 내에서 차영상 획득, 노이즈 제거, 이진화, 동체 추적 등의 과정을 거쳐 계수된 출입자 수치만을 서버로 전송하여 장비의 적용 가능성을 높인다.

셋째, 계수 정보를 출입의 이진화된 정보 아닌 출입의 확률로 정의하여 단정적으로 출입만으로 표현하기 힘든 정보에 대해 다른 지능형 장치에게 도움을 요청하여 분석 정밀도를 높일 수 있다.

넷째, 출입정보 분석 플랫폼에서 현재 분석 대상의 혼잡도를 실시간 제공하기 위해 출입 정보 분석 데이터를 저장하고, 이와 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하여 활용할 수 있도록 한다.

다섯째, 기계학습 모델에서 결정 트리, 다변량 선형회귀, 다층 퍼셉트론을 사용하여 이용자 수와 메뉴, 잔반량, 날씨, 이벤트 등의 상관관계를 도출하여 적용 가능성을 높인다.

여섯째, 사용자가 데이터를 요청하면 데이터 처리, 시각화를 거쳐 웹페이지를 통해 사용자에게 전달하여 편리성을 높인다.

도 1은 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템의 구성도
도 2는 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법을 나타낸 플로우 차트
도 3은 멀티스레드를 이용한 영상처리 과정을 나타낸 플로우 차트
도 4는 혼잡도 측정 및 협력 요청 스레드를 나타낸 플로우 차트
도 5a내지 도 5c는 협력 처리 과정을 나타낸 플로우 차트
도 6a와 도 6b는 출입인원 계산 장치의 동작 과정을 나타낸 신호 처리 흐름도
도 6c는 출입정보 분석 플랫폼의 동작 과정을 나타낸 신호 처리 흐름도

이하, 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템의 구성도이다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법은 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인 것이다.

이를 위하여, 소형 마이크로프로세서를 장착한 장비에 카메라를 부착하고 장비 내에서 차영상 획득, 노이즈 제거, 이진화, 동체 추적 등의 과정을 거쳐 계수된 출입자 수치만을 서버로 전송하여 장비 내에서 출입 정보 분석이 이루어지도록 하는 구성을 포함한다.

또한, 계수 정보를 출입의 이진화된 정보 아닌 출입의 확률로 정의하여 단정적으로 출입만으로 표현하기 힘든 정보에 대해 다른 지능형 장치에게 도움을 요청하여 분석 정밀도를 높이고, 출입정보 분석 플랫폼에서 현재 분석 대상의 혼잡도를 실시간 제공하기 위해 출입 정보 분석 데이터를 저장하고, 이와 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하여 활용할 수 있도록 한 것이다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템은 도 1에서와 같이, 실시간으로 출입구 영상을 획득하여 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 확률을 도출하는 영상 촬영 장치(100)와, 영상 촬영 장치(100)로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 출입정보 분석 플랫폼(200)과, 출입정보 분석 플랫폼(200)에서 분석된 결과를 웹페이지를 통해 사용자에게 시각화하여 전달하는 사용자 단말(300)을 포함한다.

여기서, 영상 촬영 장치(100)는 협력 요청 인터럽트가 발생하면, 정보 좌표를 변환하고 오토엔코더(Autoencoder)를 통해 정보를 변환하고, 출입 확률을 도출하고 카운팅하는 협력 요청 처리부(10)와, 출입구에 설치되어 실시간으로 영상을 촬영하는 영상 촬영부(11)와, 혼잡도 측정 및 협력 요청 스레드를 수행하기 위하여 영상 캡춰 및 배경 추출을 하고, 필터링을 하고 필터링된 정보를 이진화 처리하여 외곽선 추출 및 객체 인식을 하고 객체 트래킹을 하여 카운팅하는 영상 처리부(12)와, 출입정보 분석 플랫폼(200)과 통신을 하는 통신 모듈(13)을 포함한다.

그리고 출입정보 분석 플랫폼(200)은 영상 촬영 장치(100)로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 데이터 처리부(21)와, 데이터 처리부(21)에서 가공된 데이터를 저장하는 데이터베이스(22)와, 가공된 데이터를 웹페이지를 통해 사용자에게 시각화하여 전달하기 위한 데이터 시각화 처리부를 갖는 웹 인터베이스부(23)를 포함한다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법을 구체적으로 설명하면 다음과 같다.

도 2는 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법을 나타낸 플로우 차트이다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법은 도 2에서와 같이, 출입 정보와 잔류 인원을 분석하기 위해 입구에 카메라를 설치하고 영상을 촬영하여 이를 분석한다.

먼저, 출입구에 설치된 카메라는 실시간으로 영상을 촬영한다.(S201)

이어, 카메라는 라즈베리 파이, 아두이노 등의 소형 장치에 주기적으로 이 영상을 전송하고, 영상처리용 단말이 카메라로부터 영상을 획득한다.(S202)

그리고 영상을 수신한 소형 장치는 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산한다.(S203)

획득한 출입 인원수는 연결된 네트워크를 통해 출입정보 분석 플랫폼으로 전송되고(S204), 출입정보 분석 플랫폼은 이를 저장한다.(S205)

출입정보 분석 플랫폼에 저장된 데이터는 기계학습을 통해 가공 및 분석하고, 분석된 결과는 데이터베이스에 저장한다.(S206)

그리고 가공된 데이터는 웹페이지를 통해 사용자에게 시각화하여 전달한다.(S207)

이와 같은 출입 인원수 계산 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 발견될 경우, 객체 초기 발견 시점부터 상실된 시점까지의 데이터를 출입정보 분석 플랫폼으로 전송하고 판단 협력을 요청한다.

출입정보 분석 플랫폼은 유사 장치들에게 협력 데이터를 방송하고, 방송 응답에 의해 취합된 데이터를 요청한 단말에게 전송한다.

이와 같은 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 방법 과정에서 저사양의 하드웨어의 성능을 높이기 위한 멀티스레드를 이용한 영상처리 프로세스를 설명하면 다음과 같다.

도 3은 멀티스레드를 이용한 영상처리 과정을 나타낸 플로우 차트이다.

그리고 도 4는 혼잡도 측정 및 협력 요청 스레드를 나타낸 플로우 차트이고, 도 5a내지 도 5c는 협력 처리 과정을 나타낸 플로우 차트이다.

본 발명에서는 일반적인 카메라 카운터(Camera Counter)의 정밀 계수 작업을 저가 저사양의 오픈 소스 하드웨어로 처리하는 것을 기반으로 하기 때문에, 정확한 계수가 아닌 고립계 내부의 혼잡도를 계산하는 구성을 포함한다.

도 3은 최초 협력 처리를 위한 소켓을 오픈하고, 카메라로부터 주기적으로 이미지를 획득하여 저장하는 스레드를 설명한 것이다.

카메라로부터 주기적으로 이미지를 획득하여 저장하는 스레드는 협력 요청을 위한 소켓 오픈을 하고(S301), 협력 요청 수신을 위한 소켓 오픈을 한다.(S302)

이어, 카메라로부터 획득한 영상을 저장하고(S303), 획득한 영상에서 특정 시점 t+i의 프레임을 획득한다.(S304)

이와 같은 과정으로 캡처한 영상을 저장하고(S305) 이와 같은 과정을 종료 명령이 있을 때까지 반복한다.(S306)

도 4는 도 3의 스레드가 생성한 이미지를 처리하여 객체가 기준선을 통과한 방향에 따라 설정된 계에 들어온 것인지 나간 것인지를 판단하는 것으로, 이는 일반적인 카메라 카운터 기능과 동일한 것이다.

혼잡도 측정 및 협력 요청 스레드는 도 4에서와 같이, 초기화 대기상태에서(S401) 획득한 사진 수가 적어도 2장 이상인지를 판단한다.(S402)

획득한 사진 수가 적어도 2장 이상이면 시점 k, k+1의 두 사진에서 배경을 삭제한다.(S403)

해당 사진의 SNR 값을 기준값(α)과 비교하여(S404), SNR 값이 크면 필터링 과정없이 정보를 이진화 처리한다.(S406)

만약, SNR 값이 크지 않으면 Erode, Dilate, Median Filter를 이용한 필터링을 하고(S405), 필터링된 정보를 이진화 처리한다.(S406)

이어, 이진화 처리된 정보를 이용하여 외곽선 추출 및 객체 인식을 하고(S407), 객체 트래킹을 하여(S408) 추적하는 객체가 기준선을 통과하였는지를 판단한다.(S409)

그리고 객체가 기준선을 통과한 것으로 판단되면 객체가 나가는 것인지 들어오는 것인지를 판단하기 위하여 양의 방향으로 이동하였는지를 판단한다.(S410)

양의 방향으로 이동한 것으로 판단되면 들어온 인원수를 증가시키고(S411), 아니면 나간 인원수를 증가시킨다.(S412)

그리고 추적하는 객체가 기준선을 통과하였는지를 판단하는 단계에서 객체가 기준선을 통과한 것이 아니면 객체가 화면 밖으로 이탈하였는지를 판단하고(S413) 객체가 상실되기까지의 트래킹 정보를 획득한다.(S414)

이어, 획득한 트래킹 정보를 압축하고(415), 출입정보 분석 플랫폼에 협력 요청을 한다.(S417)

그리고 출입정보 분석 플랫폼으로부터 요청 응답이 오면(S417), 트래킹 정보를 출입정보 분석 플랫폼으로 전송한다.(S418)

기준선을 통과하지 않고 객체가 상실되는 케이스는 두 가지로 고려할 수 있다.

첫 번째, 객체가 기준선을 넘지 않고 화면 밖으로 이탈하는 경우 계에 머물거나 계에 진입하지 않았으므로 계수치를 그대로 유지하면 된다.

두 번째, 순간적인 진동이나 일시적인 프로세서의 성능 저하로 인해 객체가 상실되는 경우이다. 단말은 출/입/이탈 중에 고를 수 있는 선택지가 없으므로, 출입정보 분석 플랫폼에 판단 협력을 요청한다.

협력 요청에 따른 처리 과정은 다음과 같다.

도 5a는 단말과 협력 수신 인터럽트 처리기에서의 협력 요청에 따른 처리 과정을 나타낸 것으로, 협력 응답 인터럽트가 있는지를 판단하여(S501), 들어온 인원수, 나간 인원수를 증가시킨다.(S502)

이와 같이 협력 요청을 한 단말은 단순히 수신한 값을 출입 인원에 증가시키는 인터럽트 처리기만을 정의한다.

이는 출입정보 분석 플랫폼에서 계산된 값을 신뢰한다는 가정을 기반으로 한다.

도 5b는 출입정보 분석 플랫폼에서의 협력 요청에 따른 처리 과정을 나타낸 것으로, 출입정보 분석 플랫폼에서 협력 요청 신호를 수신하면(S511), 등록된 모든 영상 처리 장치에게 협력 요청 정보를 방송한다.(S512)

이어, 모든 단말에게 협력 정보를 수신하였는지를 판단하고(S513), 출입 확률 분포를 생성한다.(S514)

그리고 확률 분포 표준화를 하고 출입치 중앙값을 계산하여(S515), 협력 요청 응답 메시지를 단말로 전송한다.(S516)

이와 같이 출입정보 분석 플랫폼은 협력 요청이 수신되면 등록된 모든 영상 처리 장치에게 협력 요청 정보를 브로드캐스트한다.

협력 요청 정보에는, 출입을 판단하는 기준선 벡터를 포함한다.

모든 영상 처리 장치가 협력 정보를 수신하면, 수신된 값들을 표준화하여 중앙값만을 요청한 단말에게 전송한다.

도 5c는 단말 k에서의 협력 요청에 따른 처리 과정을 나타낸 것으로, 협력 요청 인터럽트가 발생하면(S521), 정보 좌표를 변환하고(S522) 오토엔코더(Autoencoder)를 통해 정보를 변환한다.(S523)

이어, 출입 확률을 도출하고(S524) 확률 정보를 출입정보 분석 플랫폼으로 전송한다.(S525)

이와 같이 협력 요청을 받은 단말 k는 수신한 기준선 벡터를 기준으로 데이터의 좌표를 자신의 데이터에 맞게 변환하고, 오토엔코더를 통해 자신의 데이터로 변환하여 출입 확률을 도출하여 이 값을 출입정보 분석 플랫폼에 전송한다.

출입인원 계산 장치의 동작 과정은 도 6a와 도 6b에서와 같은 케이스로 진행된다.

도 6a와 도 6b는 출입인원 계산 장치의 동작 과정을 나타낸 신호 처리 흐름도이다.

본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법은 출입 정보와 잔류 인원을 를 분석하기 위해 입구에 카메라를 설치하고 영상을 촬영하여 이를 분석하는 것이다.

도 6a에서의 과정은 먼저, 출입구에 설치된 카메라는 실시간으로 영상을 촬영중이다.

카메라는 라즈베리 파이, 아두이노 등의 소형 장치에 주기적으로 이 영상을 전송한다. 영상을 수신한 소형 장치는 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산한다. 획득한 출입 인원수는 연결된 네트워크를 통해 출입정보 분석 플랫폼으로 전송한다.

그리고 도 6b에서의 과정은 먼저 협력 요청을 위한 소켓 오픈을 하고, 협력 요청 수신을 위한 소켓 오픈을 한다.

이어, 카메라로부터 획득한 영상을 저장하고, 영상 처리 및 출입 정보를 획득하고 데이터 누적 및 전송 시점을 판단하여 등록된 모든 영상 처리 장치에게 협력 요청 정보를 브로드캐스트한다.

도 6c는 출입정보 분석 플랫폼의 동작 과정을 나타낸 신호 처리 흐름도이다.

출입정보 분석 플랫폼은 현재 분석 대상의 혼잡도를 실시간 제공하기 위해 이를 저장한다.

이와 동시에, 누적 데이터를 통한 미래 예측을 위해 플랫폼은 주기/비주기적 기계학습을 통해 새로운 데이터를 생성해낸다.

기계학습 모델에는 결정 트리, 다변량 선형회귀, 다층 퍼셉트론을 사용하여 이용자수와 메뉴, 잔반량, 날씨, 이벤트 등의 상관관계를 도출해낸다.

그리고 가공된 데이터는 사용자가 데이터를 요청하면 데이터 처리, 시각화를 거쳐, 웹페이지를 통해 사용자에게 전달된다.

이상에서의 설명한 본 발명에 따른 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법은 수신한 복수 개의 영상을 비교하여 출입 인원수를 계산하는 과정에서 객체가 상실되거나 개연성이 없는 다른 지점에서 객체가 발견되었을 경우를 고려하여 정확성을 높인 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 영상 촬영 장치 200. 출입정보 분석 플랫폼
300. 사용자 단말

Claims

실시간으로 출입구 영상을 획득하여 k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 확률을 도출하는 영상 촬영 장치;
상기 영상 촬영 장치로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 출입정보 분석 플랫폼;
상기 출입정보 분석 플랫폼에서 분석된 결과를 웹페이지를 통해 사용자에게 시각화하여 전달하는 사용자 단말;을 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 시스템.
제 1 항에 있어서, 영상 촬영 장치는,
협력 요청 인터럽트가 발생하면, 정보 좌표를 변환하고 오토엔코더(Autoencoder)를 통해 정보를 변환하고, 출입 확률을 도출하고 카운팅하는 협력 요청 처리부와,
출입구에 설치되어 실시간으로 영상을 촬영하는 영상 촬영부와,
혼잡도 측정 및 협력 요청 스레드를 수행하기 위하여 영상 캡춰 및 배경 추출을 하고, 필터링을 하고 필터링된 정보를 이진화 처리하여 외곽선 추출 및 객체 인식을 하고 객체 트래킹을 하여 카운팅하는 영상 처리부와,
출입정보 분석 플랫폼과 통신을 하는 통신 모듈을 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 시스템.
제 1 항에 있어서, 출입정보 분석 플랫폼은,
영상 촬영 장치로부터 받은 영상 정보를 분석하고 협력 처리 브로드캐스팅을 하고, 현재 분석 대상의 혼잡도를 실시간 제공하고 동시에 누적 데이터를 통한 미래 예측을 위해 주기/비주기적 기계학습을 통해 새로운 데이터를 생성하는 데이터 처리부와,
데이터 처리부에서 가공된 데이터를 저장하는 데이터베이스와,
가공된 데이터를 웹페이지를 통해 사용자에게 시각화하여 전달하기 위한 데이터 시각화 처리부를 갖는 웹 인터베이스부를 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 시스템.
출입구에 설치된 카메라가 실시간으로 영상을 촬영하여 영상을 획득하는 단계;
k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하고, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계;
계산된 출입 인원수를 연결된 네트워크를 통해 출입정보 분석 플랫폼으로 전송하고, 출입정보 분석 플랫폼은 이를 저장하는 단계;
출입정보 분석 플랫폼에 저장된 데이터를 기계학습을 통해 가공 및 분석하고, 분석된 결과는 데이터베이스에 저장하는 단계;
가공된 데이터를 웹페이지를 통해 사용자에게 시각화하여 전달하는 단계;를 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.
제 4 항에 있어서, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서,
객체 초기 발견 시점부터 상실된 시점까지의 데이터를 출입정보 분석 플랫폼으로 전송하고 판단 협력을 요청하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.
제 4 항에 있어서, k번째 영상과 k-1번째 영상의 차를 바탕으로 출입 인원수를 계산하는 과정은,
초기화 대기상태에서 획득한 사진 수가 적어도 2장 이상인지를 판단하는 단계와,
획득한 사진 수가 적어도 2장 이상이면 시점 k, k+1의 두 사진에서 배경을 삭제하는 단계와,
해당 사진의 SNR 값을 기준값(α)과 비교하여, SNR 값이 크면 필터링 과정없이 정보를 이진화 처리하고, SNR 값이 크지 않으면 필터링을 하고, 필터링된 정보를 이진화 처리하는 단계와,
이진화 처리된 정보를 이용하여 외곽선 추출 및 객체 인식을 하고, 객체 트래킹을 하여 추적하는 객체가 기준선을 통과하였는지를 판단하는 단계와,
객체가 기준선을 통과한 것으로 판단되면 객체가 나가는 것인지 들어오는 것인지를 판단하여 들어온 인원수 또는 나간 인원수를 증가시키는 단계를 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.
제 6 항에 있어서, 추적하는 객체가 기준선을 통과하였는지를 판단하는 단계에서,
객체가 기준선을 통과한 것이 아니면 객체가 화면 밖으로 이탈하였는지를 판단하고 객체가 상실되기까지의 트래킹 정보를 획득하는 단계와,
획득한 트래킹 정보를 압축하고, 출입정보 분석 플랫폼에 협력 요청을 하는 단계와,
출입정보 분석 플랫폼으로부터 요청 응답이 오면, 트래킹 정보를 출입정보 분석 플랫폼으로 전송하는 단계를 포함하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.
제 4 항에 있어서, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서,
출입정보 분석 플랫폼에서 협력 요청 신호를 수신하면, 등록된 모든 영상 처리 장치에게 협력 요청 정보를 방송하는 단계와,
모든 영상 처리 장치가 협력 정보를 수신하였는지를 판단하고, 출입 확률 분포를 생성하는 단계와,
확률 분포 표준화를 하고 출입치 중앙값을 계산하여, 협력 요청 응답 메시지를 단말로 전송하는 단계를 수행하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.
제 4 항에 있어서, 출입 인원수 계산 과정에서 객체가 상실되면 판단 협력을 요청하는 단계에서,
사용자 단말 k에서 협력 요청 인터럽트가 발생하면, 수신한 기준선 벡터를 기준으로 데이터의 좌표를 자신의 데이터에 맞게 변환하는 단계와,
사용자 단말 k에서 오토엔코더를 통해 자신의 데이터로 변환하는 단계와,
출입 확률을 도출하고 확률 정보를 출입정보 분석 플랫폼으로 전송하는 단계를 수행하는 것을 특징으로 하는 지능형 영상 처리 기반의 출입 정보 분석 방법.