KR20190112629A - 영상 분석 기반의 취객 감지 장치 및 방법 - Google Patents

Abstract

본 발명에 따른 영상 분석 기반의 취객 감지 장치에 의해 수행되는 영상 분석 기반의 취객 감지 방법은, 영상 정보에 포함된 사람의 자세 특징 정보를 추출하는 단계, 상기 영상 정보에 포함된 상기 사람의 모션 특징 정보를 추출하는 단계, 및 상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나와 임계값의 비교 결과를 기반으로, 상기 사람을 취객으로 감지하는 단계를 포함할 수 있다.

Description

영상 분석 기반의 취객 감지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING DRUNKEN PERSON BASED ON VIDEO ANALYSIS}

본 발명은 영상 분석 기반의 취객 감지 기술에 관한 것으로, 특히 비디오 영상 분석을 통해 고위험 취객을 감지하는 기술에 관한 것이다.

기차역이나 지하철 승강장에서 선로로 추락하거나, 열차에 치이는 사고, 도로에서 차량에 치이는 사고, 계단이나 에스컬레이터에서의 전도 사고 등 취객으로 인한 사고는 사회적으로 큰 문제가 되고 있다. 일례로, 일본 국토교통성(MLIT)에 따르면 일본에서 2013년에 발생한 전체 열차 치임 사고 중에서 약 60%는 취객으로 인한 것으로 보고된 바 있다. 그러나 지금까지 취객으로 인한 수 많은 안전사고 및 피해가 발생했음에도 불구하고, 이를 시스템적으로 해결하기 위한 기술 및 연구 개발 사례는 국내외적으로 거의 전무한 상태이다. 또한 종래의 취객 감지 연구는 대부분 자동차 내부에 설치된 센서를 통해 운전자의 음주 여부를 감지하기 위한 것으로서, 기차 승강장, 지하철 등과 같은 공공 장소에서의 취객 감지에는 적용이 어려운 문제점이 있다. 따라서, 기차 승강장이나 지하철 등과 같은 공공 시설에 적용 가능한 비디오 영상 분석 기반의 취객 감지 기술의 개발이 필요하다.

한국 공개 특허 제10-2012-0081332호, 2012년 07월 19 공개(명칭: 멀티미디어 광고 시스템과 결합한 음주측정시스템)

본 발명의 목적은 비디오 영상 분석을 통해 취객을 감지하는 기술을 제공하는 것이다.

또한, 본 발명의 목적은 철도 역사나 지하철 등과 같은 공공 시설에 적용 가능한 취객 감지 기술을 제공하는 것이다.

또한, 본 발명의 목적은 안전 사고 위험이 높은 고위험 취객을 자동으로 감지 및 관리자에게 통보하여, 선 보호 조치를 취할 수 있도록 하는 것이다.

또한, 본 발명의 목적은 취객을 사전에 감지하고 조치를 취할 수 있도록 하여, 잠재적 사고를 미연에 방지하고, 주변 피해를 최소화하는 것이다.

또한, 본 발명의 목적은 사람의 입으로 직접 부는 접촉식 센서를 이용한 취객 감지 기술의 한계를 극복하고, 다수의 사람에 대한 취객 감지를 용이하게 수행할 수 있도록 하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 영상 분석 기반의 취객 감지 장치에 의해 수행되는 영상 분석 기반의 취객 감지 방법은, 영상 정보에 포함된 사람의 자세 특징 정보를 추출하는 단계, 상기 영상 정보에 포함된 상기 사람의 모션 특징 정보를 추출하는 단계, 그리고 상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나와 임계값의 비교 결과를 기반으로, 상기 사람을 취객으로 감지하는 단계를 포함한다.

이때, 상기 자세 특징 정보를 추출하는 단계는, 상기 영상 정보에서 상기 사람에 상응하는 사람 영역을 검출하고, 상기 사람 영역의 종횡비를 연산하여 상기 자세 특징 정보를 추출할 수 있다.

이때, 상기 자세 특징 정보를 추출하는 단계는, 상기 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 상기 사람 영역의 종횡비 분포가 상기 기준 종횡비 분포를 벗어난 정도를 상기 자세 특징 정보로 연산할 수 있다.

이때, 상기 모션 특징 정보를 추출하는 단계는, 상기 영상 정보에서 상기 사람의 이동 궤적을 검출하고, 상기 이동 궤적을 기반으로 상기 모션 특징 정보를 추출할 수 있다.

이때, 상기 모션 특징 정보를 추출하는 단계는, 상기 이동 궤적의 변위 및 이동 거리를 기반으로 이동 효율의 분포를 연산하고, 상기 이동 효율의 분포가 기준 이동 효율 분포를 벗어난 정도를 상기 모션 특징 정보로 추출할 수 있다.

이때, 상기 사람을 취객으로 감지하는 단계는, 상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나에 가중치를 부여하여 상기 임계값과 비교할 수 있다.

또한, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치는, 영상 정보에 포함된 사람의 자세 특징 정보를 추출하는 자세 특징 추출부, 상기 영상 정보에 포함된 상기 사람의 모션 특징 정보를 추출하는 모션 특징 추출부, 그리고 상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나와 임계값의 비교 결과를 기반으로, 상기 사람을 취객으로 감지하는 취객 감지부를 포함한다.

이때, 상기 자세 특징 추출부는, 상기 영상 정보에서 상기 사람에 상응하는 사람 영역을 검출하고, 상기 사람 영역의 종횡비를 연산하여 상기 자세 특징 정보를 추출할 수 있다.

이때, 상기 모션 특징 추출부는, 상기 영상 정보에서 상기 사람의 이동 궤적을 검출하고, 상기 이동 궤적을 기반으로 상기 모션 특징 정보를 추출할 수 있다.

이때, 상기 자세 특징 추출부는, 상기 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 상기 사람 영역의 종횡비 분포가 상기 기준 종횡비 분포를 벗어난 정도를 상기 자세 특징 정보로 연산할 수 있다.

이때, 상기 모션 특징 추출부는, 상기 이동 궤적의 변위 및 이동 거리를 기반으로 이동 효율의 분포를 연산하고, 상기 이동 효율의 분포가 기준 이동 효율 분포를 벗어난 정도를 상기 모션 특징 정보로 추출할 수 있다.

이때, 상기 취객 감지부는, 상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나에 가중치를 부여하여 상기 임계값과 비교할 수 있다.

본 발명에 따르면, 비디오 영상 분석을 통해 취객을 감지하는 기술을 제공할 수 있다.

또한 본 발명에 따르면, 철도 역사나 지하철 등과 같은 공공 시설에 적용 가능한 취객 감지 기술을 제공할 수 있다.

또한 본 발명에 따르면, 안전 사고 위험이 높은 고위험 취객을 자동으로 감지 및 관리자에게 통보하여, 선 보호 조치를 취할 수 있다.

또한 본 발명에 따르면, 취객을 사전에 감지하고 조치를 취할 수 있도록 하여, 잠재적 사고를 미연에 방지하고, 주변 피해를 최소화할 수 있다.

또한 본 발명에 따르면, 사람의 입으로 직접 부는 접촉식 센서를 이용한 취객 감지 기술의 한계를 극복하고, 다수의 사람에 대한 취객 감지를 용이하게 수행할 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 일반인의 종횡비 분포 히스토그램을 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 따른 취객의 종횡비 분포 히스토그램을 나타낸 그래프이다.
도 6은 본 발명의 일실시예에 따른 일반인 및 취객의 사람 영역을 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 일반인 및 취객의 이동 궤적을 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 일반인의 이동 효율 분포 히스토그램을 나타낸 그래프이다.
도 9는 본 발명의 일실시예에 따른 취객의 이동 효율 분포 히스토그램을 나타낸 그래프이다.
도 10은 본 발명의 일실시예에 따른 제1 프레임의 영상 정보를 나타낸 예시도이다.
도 11은 도 10의 제1 프레임에서 사람의 이동 궤적을 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 제2 프레임의 영상 정보를 나타낸 예시도이다.
도 13은 도 12의 제2 프레임에서 사람의 이동 궤적을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 관리자 단말기에 출력되는 화면의 일 예를 나타낸 예시도이다.
도 15은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.

도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 시스템은 영상 수집 장치(100), 영상 분석 기반의 취객 감지 장치(200) 및 관리자 단말기(300)를 포함할 수 있다.

먼저, 영상 수집 장치(100)는 취객 감지 대상 영역에 설치되어, 영상을 촬영한다. 영상 수집 장치(100)는 철도 역사나 지하철 등과 같은 공공 시설에 설치되어 영상을 촬영하며, 촬영된 영상을 영상 분석 기반의 취객 감지 장치(200)로 전송한다.

영상 수집 장치(100)는 통신 기능을 구비한 일반적인 CCTV일 수 있으며, 영상 수집 장치(100)는 실시간으로 영상을 촬영하여 영상 분석 기반의 취객 감지 장치(200)로 전송할 수 있다.

다음으로 영상 분석 기반의 취객 감지 장치(200)는 영상 수집 장치(100)로부터 영상 정보를 수신하고, 수신된 영상 정보에 대한 영상 분석을 수행하여 취객을 감지한다.

이때, 영상 분석 기반의 취객 감지 장치(200)는 영상 정보에 포함된 사람 영역을 검출하여 자세 특징 정보를 추출할 수 있으며, 추출된 자세 특징 정보를 기반으로 사람 영역에 상응하는 사람이 취객인지 여부를 판단할 수 있다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 영상 정보에 포함된 사람의 이동 궤적을 검출하여 모션 특징 정보를 추출할 수 있으며, 추출된 모션 특징 정보를 기반으로 사람 영역에 상응하는 사람이 취객인지 여부를 판단할 수 있다.

설명의 편의를 위하여, 영상 분석 기반의 취객 감지 장치(200)가 자세 특징 정보 및 모션 특징 정보 중 어느 하나를 기반으로 취객을 감지하는 것으로 설명하였으나 이에 한정하지 않고, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보를 기반으로 1차 취객을 감지한 후, 모션 특징 정보를 기반으로 최종 취객을 감지하거나, 모션 특징 정보를 기반으로 1차 취객을 감지한 후, 자세 특징 정보를 기반으로 최종 취객을 감지할 수 있다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보 및 모션 특징 정보에 가중치를 부여하여 취객을 감지할 수 있다.

취객을 감지한 경우, 영상 분석 기반의 취객 감지 장치(200)는 구비된 출력 모듈을 이용하여 취객 감지 정보를 출력하거나, 관리자 단말기(300)로 취객 감지 정보를 전송할 수 있다. 이때, 취객 감지 정보는 취객으로 감지된 사람이 위치한 취객 감지 대상 영역의 정보, 자세 특징 정보 및 모션 특징 정보 중 적어도 어느 하나를 포함할 수 있다.

설명의 편의를 위하여, 영상 수집 장치(100)와 영상 분석 기반의 취객 감지 장치(200)가 별개의 장치인 것으로 설명하였으나 이에 한정하지 않고, 영상 분석 기반의 취객 감지 장치(200)가 직접 영상을 촬영하고, 촬영된 영상을 기반으로 취객 감지를 수행하는 형태로 구현될 수도 있다.

마지막으로 관리자 단말기(300)는 영상 분석 기반의 취객 감지 장치(200)로부터 수신한 취객 감지 정보를 출력할 수 있다. 또한, 취객 감지 정보를 수신한 관리자 단말기(300)는 취객 감지 대상 영역으로 경고 방송을 출력하거나, 취객 감지 대상 영역의 인근에 위치한 사용자 단말기로 메시지를 전송하여, 선 보호 조치를 취하도록 할 수 있다.

이하에서는 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 2 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치의 구성을 나타낸 블록도이다.

도 2에 도시한 바와 같이, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 추출부(210), 모션 특징 추출부(220) 및 취객 감지부(230)를 포함한다.

본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 취객의 영상 특징을 크게 비정형 자세 특징 및 비정형 모션 특징으로 구분하고, 이와 같은 취객의 영상 특징을 기반으로 영상 정보로부터 취객을 감지한다.

먼저, 자세 특징 추출부(210)는 영상 정보에 포함된 사람의 자세 특징 정보를 추출한다.

자세 특징 추출부(210)는 영상 정보에서 사람에 상응하는 사람 영역을 검출하고, 사람 영역의 종횡비를 연산하여 자세 특징 정보를 추출할 수 있다.

자세 특징 추출부(210)는 영상 수집 장치(100)로부터 입력받은 영상 정보 또는 촬영하여 획득한 영상 정보로부터, 개별 사람에 대한 사람 영역을 검출한다. 그리고 자세 특징 추출부(210)는 검출된 사람 영역 각각의 종횡비를 연산하며, 연산된 종횡비를 기반으로 사람 영역에 대응되는 사람의 자세 특징 정보를 추출할 수 있다.

이때, 자세 특징 추출부(210)는 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 사람 영역의 종황비 분포가 기준 종횡비 분포를 벗어난 정도를 자세 특징 정보로 연산할 수 있다.

술에 취하지 않은 일반인의 경우, 제자리에 서 있거나 보행할 때 일정한 직립 자세를 유지한다. 반면, 취객의 경우 기울어진 자세를 취하거나, 허리를 숙이며, 주저앉거나 누워, 기본적인 직립 자세에서 벗어난 비정형 자세를 나타낸다. 이에, 본 발명의 일실시예에 따른 자세 특징 추출부(210)는 영상에서 검출된 사람 영역의 종횡비(aspect ratio)를 이용하여 사람의 자세 특징 정보를 추출한다.

여기서, 종횡비는 검출된 사람 영역의 가로 세로 비율을 의미하며, 다음의 수학식 1과 같이 연산될 수 있다.

[수학식 1]

수학식 1과 같이, 종횡비는 사람 영역의 최소경계사각형(minimum bounding box)의 폭(width)과 높이(height)의 비로 계산될 수 있다.

이때, 자세 특징 추출부(210)는 종래의 영상 물체 인식 기술을 이용하여 사람 영역에 대한 최소경계사각형을 검출할 수 있으며, 일 예로 YOLOv2(J. Redmon and A. Farhadi, YOLO9000: Better, faster, stronger, CVPR'17)와 같은 공개 기술을 이용하여 최소경계사각형을 검출할 수 있으며, 최소경계사각형을 검출하는 방법은 이에 한정되지 않는다.

그리고 자세 특징 추출부(210)는 영상에서의 픽셀(pixel) 종횡비를 이용하거나, 영상 좌표를 월드 좌표(world coordinate)로 변환하여 영상 수집 장치(100)인 카메라의 시점에 대한 영향을 제거한 후의 종횡비를 이용할 수 있다. 영상 좌표를 월드 좌표로 변환하는 방법은 Hoiem et al., Putting Objects in Perspective, CVPR, 2006 논문의 방법을 적용할 수 있으며, 월드 좌표로 변환하는 방법은 이에 한정되지 않는다.

그리고 자세 특징 추출부(210)는 복수의 영상 정보들로부터 획득한 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 사람 영역의 종횡비 분포가 기준 종횡비 분포에서 벗어난 정도를 사람의 자세 특징 정보로 연산한다.

다음으로 모션 특징 추출부(220)는 영상 정보에 포함된 사람의 모션 특징 정보를 추출한다.

모션 특징 추출부(220)는 영상 정보에서 사람의 이동 궤적(trajectory)을 검출하고, 검출된 사람의 이동 궤적을 기반으로 사람의 모션 특징 정보를 추출할 수 있다.

모션 특징 추출부(220)는 영상 수집 장치(100)로부터 입력받은 영상 정보 또는 촬영하여 획득한 영상 정보로부터, 개별 사람에 대한 이동 궤적을 검출한다. 그리고 모션 특징 추출부(220)는 검출된 이동 궤적의 변위 및 이동 거리를 기반으로 개별 사람의 이동 효율을 연산할 수 있다.

이때, 모션 특징 추출부(220)는 개별 사람의 이동 효율 분포와 기준 이동 효율 분포를 비교하여, 개별 사람의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도를 모션 특징 정보로 연산할 수 있다.

술에 취하지 않은 일반인의 경우, 일정한 자세를 유지하며 목적지를 향해 직진하는 경향이 있다. 반면, 취객의 경우 몸의 흔들림이나 비틀거림 등으로 인해 불규칙한 이동 궤적을 보인다. 이에, 본 발명의 일실시예에 따른 모션 특징 추출부(220)는 사람의 이동 궤적에 따른 이동 효율을 이용하여 사람의 모션 특징 정보를 추출한다.

여기서, 이동 효율은 사람의 흔들림이나 비틀거림 정도를 정량화/수치화 하기 위한 것으로, 다음의 수학식 2와 같이 연산될 수 있다.

[수학식 2]

수학식 2와 같이, 이동 효율(ε)은 이동 궤적의 변위(displacement)와 이동 거리(length of trajectory)의 비로 계산될 수 있다.

여기서, 변위는 이동 궤적의 시점과 종점 사이의 직선 거리를 의미하고, 이동 거리는 시점에서 출발하여 종점에 도착할 때까지 실제 지나온 이동 경로의 길이를 의미한다.

이때, 모션 특징 추출부(220)는 종래의 다주 객체 추적(multi-target tracking) 기술을 이용하여 개별 사람에 대한 이동 궤적을 추적할 수 있으며, 일 예로 비디오 입력의 매 영상프레임에 대해 YOLOv2(J. Redmon and A. Farhadi, YOLO9000: Better, faster, stronger, CVPR’17)를 적용해서 각 사람에 대한 경계사각형을 검출하고, 검출된 경계사각형들을 Bo Wu and Ram Nevatia, Tracking of Multiple, Partially Occluded Humans based on Static Body Part Detection, CVPR'06 논문의 매칭 방법 또는 헝가리언 매칭 방법(Harold W. Kuhn, "The Hungarian Method for the assignment problem", Naval Research Logistics Quarterly, 2: 83-97, 1955)을 적용하여 매칭함으로써 동일인에 대한 이동 궤적 정보를 추출할 수 있으며, 사람의 이동 궤적을 추적하는 방법은 이에 한정되지 않는다.

그리고 모션 특징 추출부(220)는 영상 수집 장치(100)인 카메라의 시점에 대한 영향을 제거하기 위하여, 영상 좌표를 월드 좌표(world coordinate)로 변환한 후 이동 궤적을 추적할 수 있다. 영상 좌표를 월드 좌표로 변환하는 방법은 Hoiem et al., Putting Objects in Perspective, CVPR, 2006 논문의 방법을 적용할 수 있으며, 월드 좌표로 변환하는 방법은 이에 한정되지 않는다.

그리고 모션 특징 추출부(220)는 복수의 영상 정보들로부터 획득한 개별 사람의 이동 효율 분포와 기준 이동 효율 분포를 비교하여, 개별 사람의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도를 사람의 모션 특징 정보로 연산한다.

마지막으로 취객 감지부(230)는 자세 특징 정보 및 모션 특징 정보 중 적어도 어느 하나와 임계값을 비교하고, 비교 결과를 기반으로 취객을 감지한다.

취객 감지부(230)는 자세 특징 추출부(210)가 생성한 자세 특징 정보와 자세 특징 임계값을 비교하고, 비교 결과 자세 특징 정보가 자세 특징 임계값보다 큰 경우 해당 사람 영역에 대응되는 사람을 취객으로 판단할 수 있다.

이때, 취객 감지부(230)는 사람 영역의 종횡비 분포가 기준 종횡비 분포에서 벗어난 정도인 자세 특징 정보가 자세 특징 임계값보다 큰 경우, 해당 사람 영역에 대응되는 사람의 자세가 일반인의 직립 자세를 크게 벗어난 것으로 판단하고, 해당 사람 영역에 대응되는 사람을 취객으로 판단할 수 있다.

그리고 취객 감지부(230)는 모션 특징 추출부(220)가 생성한 모션 특징 정보와 모션 특징 임계값을 비교하고, 비교 결과 모션 특징 정보가 모션 특징 임계값보다 큰 경우 해당 개별 사람을 취객으로 판단할 수 있다.

이때, 취객 감지부(230)는 개별 사람의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도인 모션 특징 정보가 모션 특징 임계값보다 큰 경우, 해당 개별 사람의 비틀거림이 심한 것으로 판단하고, 해당 개별 사람을 취객으로 판단할 수 있다.

또한, 취객 감지부(230)는 자세 특징 정보 및 모션 특징 정보 각각에 가중치를 부여하고, 가중치가 부여된 자세 특징 정보 및 모션 특징 정보와 임계값을 비교하여 취객을 감지할 수 있다.

이하에서는 도 3 내지 도 14를 통하여, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치에 의해 수행되는 영상 분석 기반의 취객 감지 방법에 대하여 더욱 상세하게 설명한다.

도 3은 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 방법을 설명하기 위한 순서도이다.

먼저, 영상 분석 기반의 취객 감지 장치(200)는 영상 정보를 입력받는다(S310).

영상 분석 기반의 취객 감지 장치(200)는 영상 정보 수집 장치(100)로부터 영상 정보를 수신하거나, 직접 촬영 모듈을 구비하여 영상을 촬영하고 영상 정보를 생성할 수 있다.

그리고 영상 분석 기반의 취객 감지 장치(200)는 입력받은 영상 정보로부터 사람 영역을 검출하고(S320), 검출된 사람 영역에 대한 자세 특징 정보를 추출한다(S330).

영상 분석 기반의 취객 감지 장치(200)는 영상 정보에 포함된 개별 사람에 대한 사람 영역을 검출한다.

그리고 영상 분석 기반의 취객 감지 장치(200)는 검출된 사람 영역의 종횡비를 연산하여 자세 특징 정보를 추출할 수 있다. 이때, 영상 분석 기반의 취객 감지 장치(200)는 검출된 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 사람 영역의 종횡비 분포가 기준 종횡비 분포를 벗어난 정도를 자세 특징 정보로 연산할 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 도 2에서 설명한 바와 같이, 수학식 1과 같이 사람 영역의 종횡비를 연산할 수 있다.

도 4는 본 발명의 일실시예에 따른 일반인의 종횡비 분포 히스토그램을 나타낸 그래프이고, 도 5는 본 발명의 일실시예에 따른 취객의 종횡비 분포 히스토그램을 나타낸 그래프이다.

술에 취하지 않은 일반인의 경우 약 1:3의 종횡비를 갖는다. 반면, 몸을 구부리거나, 쓰러진 경우, 바닥에 누워있는 경우에는 상대적으로 높은 종횡비를 갖는다.

도 4 및 도 5는 실제 철도 승강장에 설치된 CCTV 카메라로부터 획득한 19개의 영상 정보로부터 연산한 일반인과 취객의 종횡비 분포 히스토그램을 나타낸 그래프이다.

도 4에 도시한 일반인의 종횡비 분포 히스토그램(400)과 같이, 일반인의 종횡비 분포는 평균(m)은 0.34이고, 분산(σ²)은 0.0022이다. 반면, 취객의 종횡비 분포는 도 5의 취객의 종횡비 분포 히스토그램(500)과 같이 일반인의 종횡비 분포를 포함하며, 부분적으로는 높은 종횡비 분포를 나타낸다.

취객의 경우에도 직립 자세를 취하다가, 몸을 구부리거나 앉는 비직립 자세를 일시적으로 취할 수 있으므로, 도 5와 같이 취객의 종횡비 분포 히스토그램(500)에는 직립 자세에 상응하는 종횡비와 비직립 자세에 상응하는 종횡비가 혼재되어 있을 수 있다.

따라서, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교하여, 사람 영역의 종횡비 분포가 기준 종횡비 분포를 벗어난 정도를 자세 특징 정보로 연산할 수 있다. 이때, 기준 종횡비 분포는 취객이 아닌 일반인의 종횡비 분포를 의미하며, 도 4의 일반인 종횡비 분포일 수 있다.

도 6은 본 발명의 일실시예에 따른 일반인 및 취객의 사람 영역을 나타낸 예시도이다.

도 6에 도시한 바와 같이, 제1 영상 정보(610), 제2 영상 정보(620) 및 제3 영상 정보(630)에는 사람이 포함되어 있을 수 있다.

S320 단계에서, 영상 분석 기반의 취객 감지 장치(200)는 영상 정보(610 내지 630)에 포함된 사람에 대한 사람 영역을 검출할 수 있다.

영상 정보(610 내지 630)에 포함된 사람들은 일반적으로 직립 자세를 취하며, 직립 자세에 상응하는 사람 영역(615, 635)은 폭보다 높이가 훨씬 더 긴 형태일 수 있다. 즉, 직립 자세인 일반인의 종횡비는 기 설정된 값(예, 1/3)보다 작을 수 있다.

반면, 영상 정보(610 내지 630)에 포함된 취객은 넘어지거나, 누워있는 비직립 자세일 수 있으며, 비직립 자세에 상응하는 사람 영역(611, 621, 631)은 폭이 높이보다 더 길거나, 종횡비가 기 설정된 값보다 클 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 도 6에 도시한 바와 같이 사람 영역을 검출하고 검출된 사람 영역의 종횡비를 연산한 후, 사람 영역의 종횡비 분포와 기준 종횡비 분포를 비교한다.

그리고 영상 분석 기반의 취객 감지 장치(200)는 수학식 3과 같이 사람 영역의 종횡비 분포가 기준 종횡비 분포를 벗어난 정도를 자세 특징 정보로 연산할 수 있다.

[수학식 3]

여기서,

는 사람 영역의 종횡비 분포가 기준 종횡비 분포를 벗어난 정도인 자세 특징 정보를 의미하고,

은 사람 영역의 종횡비 분포를 의미하며,

은 기준 종횡비 분포를 의미하고,

은 기준 종횡비 분포의 표준 편차를 의미한다. 이때, 기준 종횡비 분포는 취객이 아닌 일반인의 종횡비 분포를 의미하며, 도 4의 일반인 종횡비 분포일 수 있다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 수학식 4와 같이 유클리디안(Euclidean) 거리를 기반으로 자세 특징 정보를 연산할 수도 있다.

[수학식 4]

S330 단계에서 수학식 3 또는 수학식 4를 통해 연산된 자세 특징 정보(

)는 검출된 사람 영역에 상응하는 사람의 자세가 일반적인 사람의 직립 자세에서 벗어날수록 큰 값을 가진다. 이에, 자세 특징 정보(

)는 영상에서 검출된 사람이 취객인지 여부를 판단하기 위한 중요한 특징값으로 활용될 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 입력받은 영상 정보로부터 이동 궤적을 검출하고(S340), 이동 궤적을 기반으로 모션 특징 정보를 추출한다(S350).

도 7은 본 발명의 일실시예에 따른 일반인 및 취객의 이동 궤적을 나타낸 예시도이다.

도 7과 같이, 술에 취하지 않은 일반인의 이동 궤적(710)은 일정한 자세를 유지하며 목적지를 향해 직진하는 경향이 있다. 반면, 취객의 이동 궤적(720)은 몸의 흔들림이나 비틀거림 등으로 인해 불규칙한 이동 궤적을 보인다.

이에, 본 발명의 실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 사람의 흔들림이나 휘청거림의 정도를 정량화 및 수치화한 이동 효율(ε)을 도 2에 도시된 수학식 2와 같이 연산하고, 연산된 이동 효율을 이용하여 모션 특징 정보를 생성할 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 영상 정보로부터 사람의 이동 궤적을 검출하고, 검출된 이동 궤적의 변위 및 이동 거리를 기반으로 사람의 이동 효율을 연산할 수 있다.

이때, 영상 분석 기반의 취객 감지 장치(200)는 사람의 이동 효율 분포와 기준 이동 효율 분포를 비교하여, 개별 사람의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도를 모션 특징 정보로 연산할 수 있다.

도 8은 본 발명의 일실시예에 따른 일반인의 이동 효율 분포 히스토그램을 나타낸 그래프이고, 도 9는 본 발명의 일실시예에 따른 취객의 이동 효율 분포 히스토그램을 나타낸 그래프이다.

도 8 및 도 9는 실제 철도 승강장에 설치된 CCTV 카메라로부터 획득한 19개의 영상 정보로부터 연산한 일반인의 이동 효율 분포 히스토그램(800)과 취객의 이동 효율 분포 히스토그램(900)을 나타낸 그래프이다.

도 8에 도시한 바와 같이, 술에 취하지 않은 일반인의 경우 일정한 자세를 유지하며 목적지를 향해 직진하는 경향이 있으므로, 비교적 이동 효율이 높다. 반면, 술에 취한 취객의 경우 도 9와 같이 몸의 흔들림이나 비틀거림으로 인해 이동 거리가 길어지며, 이로 인하여 이동 효율이 비교적 낮다.

이에, 이동 효율은 영상에서 검출된 사람이 취객인지 여부를 판단하기 위한 중요한 특징값으로 활용될 수 있다.

따라서, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 개별 사람의 이동 효율 분포와 기준 이동 효율 분포를 비교하여, 개별 사람의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도를 모션 특징 정보로 연산할 수 있다. 이때, 기준 이동 효율 분포는 취객이 아닌 일반인의 이동 효율 분포를 의미하며, 도 8의 일반인 이동 효율 분포일 수 있다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 영상 정보에서 검출된 개별 사람 각각에 대해 최근 L개의 영상 정보(영상 프레임)들에서 이동 궤적을 검출하고, 검출된 이동 궤적에 대한 이동 효율(

)을 연산할 수 있다. 이때, 영상 정보의 개수인 L은 이동 효율을 계산하는 영상 정보 비디오 구간의 길이를 의미하며, 기 정의된 값일 수 있으며, 조절 가능한 파라미터일 수 있다.

도 10은 본 발명의 일실시예에 따른 제1 프레임의 영상 정보를 나타낸 예시도이고, 도 11은 도 10의 제1 프레임에서 사람의 이동 궤적을 나타낸 도면이다.

도 10에 도시한 바와 같이, 영상 분석 기반의 취객 감지 장치(200)는 제1 프레임의 영상 정보로부터, 제1 사람 영역(10), 제2 사람 영역(20) 및 제3 사람 영역(30)을 검출할 수 있다.

그리고 S340 단계를 통해, 영상 분석 기반의 취객 감지 장치(200)는 검출된 사람 영역(10, 20, 30)에 상응하는 객체의 이동 궤적을 검출할 수 있다. 이때, 검출된 객체의 이동 궤적은 도 11과 같으며, 도 11에 도시된 이동 궤적(15, 25, 35)은 월드 좌표 이동 궤적이다.

도 11과 같이, 제1 사람 영역(10)에 상응하는 객체의 이동 궤적(15) 및 제2 사람 영역(20)에 상응하는 객체의 이동 궤적(25)은 직진 형상이다. 반면, 도 11에서 제3 사람 영역(30)에 상응하는 객체의 이동 궤적(35)은 동일한 시간 동안의 다른 이동 궤적들(15, 25)에 비하여 큰 변화가 없다.

본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 제1 프레임 영상 정보 이외의 새로운 영상 정보인 제2 프레임 영상 정보를 추가적으로 활용하여, 사람 영역에 상응하는 객체의 이동 궤적을 검출할 수 있다.

도 12는 본 발명의 일실시예에 따른 제2 프레임의 영상 정보를 나타낸 예시도이고, 도 13은 도 12의 제2 프레임에서 사람의 이동 궤적을 나타낸 도면이다.

예를 들어, 제1 프레임의 영상 정보는 91번째 영상 프레임이고, 제2 프레임의 영상 정보는 323번째 영상 프레임일 수 있다.

도 12와 같이, 영상 분석 기반의 취객 감지 장치(200)는 제2 프레임의 영상 정보로부터 제3 사람 영역(30)을 검출하고, 제3 사람 영역(30)에 상응하는 객체의 이동 궤적(35)을 검출할 수 있다.

도 13에서 제3 사람 영역(30)에 상응하는 객체의 이동 궤적(35)은 직진 형상이 아니므로, 본 발명의 일 실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 후술할 S360 단계에서 제3 사람 영역(30)에 상응하는 객체를 취객으로 판단할 수 있다.

마지막으로, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보 및 모션 특징 정보를 기반으로 취객을 감지한다(S360).

영상 분석 기반의 취객 감지 장치(200)는 S330 단계에서 생성된 자세 특징 정보 및 S350 단계에서 생성된 모션 특징 정보를 기반으로 영상 정보에 포함된 객체가 취객인지 여부를 판단할 수 있다. 이때, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보 및 모션 특징 정보 중 적어도 어느 하나를 임계값(threshold)과 비교하고, 임계값과의 비교 결과를 기반으로 취객을 감지할 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보(

)가 임계값보다 큰 경우, 자세 특징 정보에 상응하는 객체를 취객으로 감지할 수 있다. 일 예로, 영상 분석 기반의 취객 감지 장치(200)는 도 6에서 자세 특징 정보(

)가 임계값보다 큰 사람 영역(611, 621, 631)을 취객으로 감지할 수 있다.

S360 단계에서 영상 분석 기반의 취객 감지 장치(200)가 취객을 감지하는 과정은 크게 자세 특징 정보를 기반으로 취객을 감지하는 과정과 모션 특징 정보를 기반으로 취객을 감지하는 과정으로 구분될 수 있다.

영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보와 자세 특징 임계값을 비교하고, 자세 특징 정보가 자세 특징 임계값보다 큰 경우 해당 객체를 취객으로 판단할 수 있다. 이때, 영상 분석 기반의 취객 감지 장치(200)는 객체의 종횡비 분포가 기준 종횡비 분포에서 벗어난 정도인 자세 특징 정보가 자세 특징 임계값보다 큰 경우, 해당 객체의 자세가 일반인의 직립 자세를 크게 벗어난 것으로 판단하고, 해당 객체를 취객으로 판단할 수 있다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 모션 특징 정보와 모션 특징 임계값을 비교하고, 모션 특징 정보가 모션 특징 임계값보다 큰 경우 해당 객체를 취객으로 판단할 수 있다. 이때, 영상 분석 기반의 취객 감지 장치(200)는 객체의 이동 효율 분포가 기준 이동 효율 분포를 벗어난 정도인 모션 특징 정보가 모션 특징 임계값보다 큰 경우, 해당 객체의 비틀거림이 심한 것으로 판단하고, 해당 객체를 취객으로 판단할 수 있다.

하나의 프레임에 대한 영상 정보를 기반으로 객체가 취객인지 여부를 판단할 경우, 신뢰도가 낮다. 따라서, 본 발명의 일 실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 취객 감지의 신뢰도를 향상시키기 위하여, 복수의 영상 정보들에 상응하는 자세 특징 정보 및 모션 특징 정보의 평균 값을 이용하여 취객을 감지할 수 있다.

이때, 자세 특징 정보(

) 및 모션 특징 정보(

)의 평균 값은 다음의 수학식 5 내지 수학식 7과 같이 연산될 수 있다.

[수학식 5]

여기서,

는 자세 특징 정보의 평균 값을 의미하고,

는 해당 객체에 대해 최근 i번째 영상 프레임에서 연산된 종횡비를 의미하며, N은 대상이 되는 영상 구간의 길이를 조절하는 파라미터를 의미한다.

한편, 하나의 프레임에 대한 영상 정보를 기반으로 객체가 취객인지 여부를 판단할 경우(N이 1일 경우),

이다.

그리고 영상 분석 기반의 취객 감지 장치(200)는 다음의 수학식 6과 같이, 이동 효율을 이용하여 모션 특징 정보를 연산할 수 있다.

[수학식 6]

여기서,

은 모션 특징 정보를 의미하고,

은 이동 효율을 의미한다.

또한, 영상 분석 기반의 취객 감지 장치(200)는 다음의 수학식 7과 같이 최근 M개의 영상 프레임으로부터 연산된 이동 효율의 누적 평균을 이용하여 모션 특징 정보를 연산할 수도 있다.

[수학식 7]

여기서,

은 모션 특징 정보의 평균값을 의미하고,

은 최근 i번째 영상 프레임을 기준으로 과거 L개의 영상 프레임 구간에서 산출된 이동 효율을 의미한다. 이때, L개의 영상 프레임 구간은 i-L+1 번째 프레임에서 i번째 프레임 구간을 의미할 수 있다.

설명의 편의를 위하여, 수학식 5 내지 수학식 7을 통하여 자세 특징 정보 및 모션 특징 정보를 연산하는 것으로 설명하였으나 이에 한정하지 않고, 전체 비디오 구간에 대해 누적된 값을 사용하는 방법 등 다양한 연산 방법으로 자세 특징 정보 및 모션 특징 정보를 연산할 수 있다.

자세 특징 정보(

) 및 모션 특징 정보(

)를 연산한 후, 영상 분석 기반의 취객 감지 장치(200)는 연산된 자세 특징 정보(

) 및 모션 특징 정보(

)를 기반으로 객체가 취객인지 여부를 판단할 수 있다.

이때, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보(

)와 자세 특징 임계값(

)을 비교하여,

인 경우 자세 특징 정보(

)에 해당하는 객체를 취객으로 판단할 수 있다. 또한, 영상 분석 기반의 취객 감지 장치(200)는 모션 특징 정보(

)와 모션 특징 임계값(

)을 비교하여,

인 경우 모션 특징 정보(

)에 해당하는 객체를 취객으로 판단할 수 있다.

즉, 영상 분석 기반의 취객 감지 장치(200)는 다음의 수학식 8과 같이, 객체가 취객인지 여부를 판단할 수 있다.

[수학식 8]

그리고 영상 분석 기반의 취객 감지 장치(200)는 다음의 수학식 9와 같이 자세 특징 정보(

)와 모션 특징 정보(

)를 동시에 고려하여 취객 여부를 판단할 수 있다. 이때, 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보(

)와 모션 특징 정보(

) 각각에 가중치를 부여하고, 가중치가 부여된 자세 특징 정보 및 모션 특징 정보와 임계값을 비교하여 취객을 감지할 수 있다.

[수학식 9]

여기서,

는 가중치로, 자세 특징 정보(

)와 모션 특징 정보(

)의 중요도를 조절하는 0과 1 사이의 상수이며(

, 통합 임계값(

)는 기 정의된 임계값(threshold)을 의미한다.

이때, 자세 특징 임계값(

), 모션 특징 임계값(

) 및 통합 임계값(

)은 조절 가능한 값일 수 있다.

S360 단계에서 자세 특징 정보 및 모션 특징 정보 중 적어도 어느 하나를 기반으로 취객을 감지한 후, 영상 분석 기반의 취객 감지 장치(200)는 관리자 단말기(300)로 취객 감지 정보를 전송할 수 있다. 이때, 취객 감지 정보는 취객으로 감지된 사람이 위치한 취객 감지 대상 영역의 정보, 자세 특징 정보 및 모션 특징 정보 중 적어도 어느 하나를 포함할 수 있다.

이와 같이, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 안전 사고 위험이 높은 고 위험 취객을 선별적으로 감지하고, 필요한 경우 선 보호조치를 통해 잠재적 사고를 예방하며, 주변 피해를 최소화하기 위한 기술이다. 만취 취객일수록 일반인과 구분되는 상이한 자세 특징 및 모션 특징을 보이므로, 본 발명의 일실시예에 따른 영상 분석 기반의 취객 감지 장치(200)는 자세 특징 정보 및 모션 특징 정보를 기반으로 고위험 취객을 용이하게 감지할 수 있다.

이하에서는 도 14를 통하여 본 발명의 일실시예에 따른 취객 감지 정보를 출력에 대하여 더욱 상세하게 설명한다.

도 14는 본 발명의 일 실시예에 따른 관리자 단말기에 출력되는 화면의 일 예를 나타낸 예시도이다.

도 14에 도시한 바와 같이, 취객 감지 정보를 수신한 관리자 단말기(300)는 영상 정보 내에 포함된 객체(사람)에 대한 사람 영역(40, 50)을 표시하고, 각각의 객체의 이동 궤적(45, 55)을 표시할 수 있다.

그리고 관리자 단말기(300)는 취객으로 판단된 사람 영역(50)에 해당 객체의 자세 특징 정보 그래프(1410) 및 모션 특징 정보 그래프(1420)를 추가로 도시할 수 있다.

도 14에서 자세 특징 정보 그래프(1410)는 자세 특징 정보(

)의 크기를 시각화 한 것이고, 모션 특징 정보 그래프(1420)는 모션 특징 정보(

)의 크기를 시각화한 것이다.

설명의 편의를 위하여, 취객 감지 정보를 수신한 관리자 단말기(300)가 도 14와 같이 객체(사람)에 대한 사람 영역(40, 50), 이동 궤적(45, 55), 자세 특징 정보 그래프(1410) 및 모션 특징 정보 그래프(1420) 중 적어도 어느 하나를 출력하는 것으로 설명하였으나 이에 한정하지 않고, 영상 분석 기반의 취객 감지 장치(200)가 구비된 출력 모듈을 이용하여 도 14와 같이 출력할 수도 있다.

도 15는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 15를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1500)에서 구현될 수 있다. 도 15에 도시된 바와 같이, 컴퓨터 시스템(1500)은 버스(1520)를 통하여 서로 통신하는 하나 이상의 프로세서(1510), 메모리(1530), 사용자 인터페이스 입력 장치(1540), 사용자 인터페이스 출력 장치(1550) 및 스토리지(1560)를 포함할 수 있다. 또한, 컴퓨터 시스템(1500)은 네트워크(1580)에 연결되는 네트워크 인터페이스(1570)를 더 포함할 수 있다. 프로세서(1510)는 중앙 처리 장치 또는 메모리(1530)나 스토리지(1560)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1530) 및 스토리지(1560)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1531)이나 RAM(1532)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 영상 분석 기반의 취객 감지 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 영상 수집 장치 200: 영상 분석 기반의 취객 감지 장치
210: 자세 특징 추출부 220: 모션 특징 추출부
230: 취객 감지부 300: 관리자 단말기
400: 일반인의 종횡비 분포 히스토그램
500: 취객의 종횡비 분포 히스토그램
610, 620, 630: 영상 정보 611, 621, 631: 취객의 사람 영역
615, 635: 일반인의 사람 영역 710: 일반인의 이동 궤적
720: 취객의 이동 궤적
800: 일반인의 이동 효율 분포 히스토그램
900: 취객의 이동 효율 분포 히스토그램
10, 20, 30, 40, 50: 사람 영역
15, 25, 35, 45, 55: 이동 궤적
1410: 자세 특징 정보 그래프
1420: 모션 특징 정보 그래프
1500: 컴퓨터 시스템 1510: 프로세서
1520: 버스 1530: 메모리
1531: 롬 1532: 램
1540: 사용자 인터페이스 입력 장치
1550: 사용자 인터페이스 출력 장치
1560: 스토리지 1570: 네트워크 인터페이스
1580: 네트워크

Claims (1)

1. 영상 분석 기반의 취객 감지 장치에 의해 수행되는 영상 분석 기반의 취객 감지 방법에 있어서,
   영상 정보에 포함된 사람의 자세 특징 정보를 추출하는 단계;
   상기 영상 정보에 포함된 상기 사람의 모션 특징 정보를 추출하는 단계; 및
   상기 자세 특징 정보 및 상기 모션 특징 정보 중 적어도 어느 하나와 임계값의 비교 결과를 기반으로, 상기 사람을 취객으로 감지하는 단계를 포함하는 방법.

Images