KR20120048156A - 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법 - Google Patents

신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법 Download PDF

Info

Publication number
KR20120048156A
KR20120048156A KR1020100109632A KR20100109632A KR20120048156A KR 20120048156 A KR20120048156 A KR 20120048156A KR 1020100109632 A KR1020100109632 A KR 1020100109632A KR 20100109632 A KR20100109632 A KR 20100109632A KR 20120048156 A KR20120048156 A KR 20120048156A
Authority
KR
South Korea
Prior art keywords
moving object
outline
neural network
optical flow
congestion
Prior art date
Application number
KR1020100109632A
Other languages
English (en)
Other versions
KR101173786B1 (ko
Inventor
김문현
김규진
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100109632A priority Critical patent/KR101173786B1/ko
Publication of KR20120048156A publication Critical patent/KR20120048156A/ko
Application granted granted Critical
Publication of KR101173786B1 publication Critical patent/KR101173786B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Abstract

본 발명은 이동 물체의 옵티컬 플로우의 크기 값과 동 물체의 외곽선의 픽셀수를 신경망에 입력하여 이동 물체의 혼잡도를 측정하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정방법은 입력영상에서 검지되는 이동 물체의 옵티컬 플로우가 검출되는 S1단계, 제1단계에서 검출된 옵티컬 플로우로 구성된 영역으로부터 상기 이동 물체의 외곽선이 추출되는 S2단계, S1에서 검출된 옵티컬 플로우의 크기 값이 산출되고, S2단계에서 추출된 외곽선의 픽셀수가 산출되는 S3단계 및 S3단계에서 산출된 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀수가 신경망에 입력되는 S4단계를 포함한다.

Description

신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법{ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＭＥＡＳＵＲＥＭＥＮＴ ＯＦ ＣＲＯＷＤ ＤＥＮＳＩＴＹ ＵＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ}
본 발명은 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법에 관한 것이다.
특히 본 발명은 이동 물체의 옵티컬 플로우의 크기 값과 이동 물체의 외곽선의 픽셀수를 신경망에 입력하여 이동 물체의 혼잡도를 측정하는 시스템 및 방법에 관한 것이다.
최근 대도시화가 가속됨에 따라 불특정 다수를 상대로 한 범죄 및 테러 등의 각종 위험이 증가하고 있다. 이에 따라 공항, 지하철 등 다양한 공공장소에 범죄를 예방하기 위하여 각종 센서와 폐쇄회로 텔레비전(CCTV: Closed-Circuit TV)의 설치를 통한 보안감시가 활발히 이뤄지고 있다.
그러나, 현재 운영되고 있는 영상 보안감시는 관리자가 지속적으로 감시 지역을 모니터링 해야 하는 수동적인 감시 방법이기 때문에 관리자가 부재시에 감시지역을 통제할 수 없는 문제점이 있었다.
따라서, 관리자가 부재중에도 공공장소의 이동 물체(또는 군중)의 혼잡도를 실시간으로 측정하여 이동 물체의 관리 및 감독을 용이하게 할 수 있도록 지원하는 지능적인 보안에 대한 요구가 대두되고 있다.
이에, 객체 계수를 이용하여 혼잡도에 활용하고자 하는 연구가 있다. 이러한 연구의 경우에는 인간의 신체 부위 중 특징으로 고려할 수 있는 머리를 검출하여 객체를 계수하거나, 배경이미지를 설정한 뒤 해당 픽셀이 객체에 속하는지 혹은 배경이 속하는지 판별하여 혼잡도를 측정한다. 그러나 이러한 초기의 연구는 이동 물체의 혼잡도를 지능적으로 측정하는데에 초점이 맞춰져 있기보다는 객체 계수나 트랙킹에 초점을 두고 진행되어 군중의 혼잡도를 측정하는데에 한계가 있었다.
따라서 최근에는 객체 계수가 아닌 이동 물체의 움직임에 초점을 맞추어 혼잡도를 측정을 위한 연구가 진행되고 있다.
이는 먼저 텍스쳐 정보를 추출하여 자가조직화지도(Self Organization Map)를 이용한 혼잡도 추정 방법에 대한 연구가 있고, Minkowski 프랙탈 차원을 이용한 혼잡도 측정 연구가 있다. 이러한 연구는 이동 물체와 상관관계를 맺고 있는 특징 정보로써 텍스쳐 정보 및 프랙탈 차원을 활용한 점에서 이동 물체 자체의 움직임에 집중한 연구이다.
그러나, 위의 연구들은 조명변화가 급격하거나 잡음이 심한 공공장소에서 텍스쳐 정보나 프랙탈 차원이 이동 물체와의 상관관계를 잃는 문제점이 있어 정확한 혼잡도 측정에 한계가 있다.
또한, 객체가 이동할 수 있는 영상 전체 영역에 대해 혼잡도를 측정하지 않고 영상에 나타나는 객체의 크기가 균일하고 배경이 복잡하지 않은 제한적인 지역만을 ROI(Region Of Interest)로 설정하여 혼잡도를 측정하므로 ROI 영역 밖의 이동 물체는 혼잡도에 반영되지 않아 엄밀한 혼잡도 측정이 이뤄지지 않는 문제점이 있다.
결국 ROI 영역에 국한되지 않고 이동 물체의 혼잡도를 정확하게 측정할 수 있는 이동 물체의 혼잡도 측정 시스템 및 방법이 필요한 것이다.
본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법은 다음과 같은 해결 과제를 목적으로 한다.
첫째, 본 발명은 이동 물체의 옵티컬 플로우가 검출된 영역의 외곽선을 추출하여 이동 물체의 외곽선을 제외한 불필요한 외곽선 정보를 배제시켜 정확한 이동물체의 혼잡도를 측정하는 것을 목적으로 한다.
둘째, 본 발명은 관심영역(ROI)를 별도로 설정하지 않고 카메라가 감시하는 모든 영역에 대하여 혼잡도를 측정하는 것을 목적으로 한다.
셋째, 본 발명은 신경망을 이용하여 감시 지역의 상황에 따라 혼잡의 정도를 학습하고 이에 따라 혼잡도 레벨을 정확하게 제공하는 것을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해되어 질 수 있을 것이다.
본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템은 이동물체를 촬영하는 카메라, 카메라로부터 입력되는 입력영상에서 이동 물체의 옵티컬 플로우를 검출하고, 옵티컬 플로우로 구성된 영역으로부터 이동 물체의 외곽선을 추출하는 영상분석기 및 영상 분석기로부터 옵티컬 플로우의 크기 값과 외곽선의 픽셀수를 입력받아 입력 영상에서 이동 물체의 혼잡도 레벨을 출력하는 신경망을 포함한다.
본 발명에 따른 옵티컬 플로우는 이동 물체의 이동량 및 방향을 나타내는 벡터이고, 이동 물체의 외곽선은 입력영상에서 배경을 제외한 옵티컬 플로우로 구성된 영역의 외곽선이다.
본 발명에 따른 영상분석기는 이동물체의 옵티컬 플로우를 검출하는 검출부, 이동물체의 외곽선을 추출하는 외곽선 추출부, 옵티컬 플로우의 크기 값을 산출하는 크기 산출부 및 외곽선의 픽셀수를 산출하는 픽셀수 산출부를 포함한다.
본 발명에 따른 외곽선은 소벨(SOBEL) 외곽선 검출 알고리즘을 이용한다.
본 발명에 따른 신경망은 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀 수를 입력으로 하는 입력층, 신경망에서 아래의 식 형태로 정의되는 미리 학습 된 가중치를 가감하는 은닉층 및 은닉층에서 전달되는 값을 정규화하고 이에 따른 혼잡도 레벨을 출력하는 출력층을 포함한다.
본 발명에 따른 입력층은 옵티컬 플로우의 크기 값을 정규화하는 제1노드 및외곽선의 픽셀수를 정규화하는 제2노드를 포함하고, 은닉층은 1개 이상의 노드로 구성된다.
본 발명에 따른 혼잡도 레벨은 상기 은닉층에서 전달되는 값의 정규화 값이
0 이상 0.2 미만인 경우 레벨 1, 0.2 이상 0.4 미만인 경우 레벨 2, 0.4 이상 0.6 미만인 경우 레벨 3, 0.6 이상 0.8 미만인 경우 레벨 4, 0.8 이상 1.0 인 경우 제 레벨 5 인 것을 특징으로 한다.
본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법은 입력영상에서 검지되는 이동 물체의 옵티컬 플로우가 검출되는 S1단계, S1단계에서 검출된 옵티컬 플로우로 구성된 영역으로부터 상기 이동 물체의 외곽선이 추출되는 S2단계 및 S1에서 검출된 옵티컬 플로우의 크기 값이 산출되고, S2단계에서 추출된 외곽선의 픽셀수가 산출되는 S3단계 및 S3단계에서 산출된 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀수가 신경망에 입력되는 S4단계를 포함한다.
본 발명에 따른 S1단계의 옵티컬 플로우는 입력영상에서 검지된 이동 물체의 특징점이 추출되는 S11단계 및 특징점의 이동량 및 방향이 검출되는 S12단계 를 거쳐 획득되는 벡터이다.
본 발명에 따른 S2단계의 이동 물체의 외곽선은 입력영상에서 이동 물체를 제외한 배경이 제거되는 S21단계 및 옵티컬 플로우로 구성된 영역의 외곽선이 추출되는 S22단계를 거쳐 획득되는 것을 특징으로 한다.
본 발명에 따른 외곽선은 소벨(SOBEL) 외곽선 검출 알고리즘을 이용하여 추출되는 것을 특징으로 한다.
본 발명에 따른 S4단계는 S3단계에서 산출 된 옵티컬 플로우의 크기 값 및 외곽선의 픽셀 수가 신경망으로 입력되는 S41단계, S41단계에서의 출력값에 미리 학습된 가중치가 가감되는 S42단계 및 S42단계서의 가중치가 가감된 값이 정규화되고 이에 따른 혼잡도 레벨을 출력하는 S43단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 S41단계는 옵티컬 플로우의 크기 값이 정규화되는 S411단계 및 외곽선의 픽셀수가 정규화되는 S412 단계를 더 포함한다.
본 발명에 따른 S42단계는 S4단계에서의 옵티컬 플로우의 크기 값 및 외곽선의 픽셀수의 입력에 따른 신경망의 출력 값이 계산되는 S421 단계, S421 단계에서의 출력 값과 기준 값과의 오차가 계산되는 S422단계, S422단계에서의 오차 줄이기 위해 가중치의 가감여부가 결정되는 S423단계 및 S423 단계에서 결정된 가중치가 S421단계의 입력값에 가감되는 S424 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 혼잡도 레벨은 S43단계에서의 정규화 값이 0 이상 0.2 미만의 실수인 경우 레벨 1, 0.2 이상 0.4 미만인 경우 레벨 2, 0.4 이상 0.6 미만인 경우 레벨 3, 0.6 이상 0.8 미만인 경우 레벨 4, 0.8 이상 1.0 인 경우 제 레벨 5 인 것을 특징으로 한다.
본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법은 다음과 같은 효과를 갖는다.
첫째, 신경망을 이용하여 관리자가 부재중에도 감시지역의 혼잡도를 측정하여 실시간으로 감시지역을 관리할 수 있는 효과가 있다.
둘째, 이동 물체의 옵티컬 플로우 영역의 외곽선만 검출하므로 배경과 같은 불필요한 정보를 배제시켜 혼잡도 측정 결과에 신뢰성을 준다.
셋째, 새로운 보안시스템을 도입하지 않고, 기존의 CCTV 시스템을 활용함으로써 재투자 비용을 최소화할 수 있다.
넷째, 공공장소에서의 이동물체(또는 군중)의 혼잡도에 따른 인원통제를 통하여 불특정 다수에 대한 공공장소에서의 인명사고를 사전에 예방하고 군중관리에 대한 통계적 자료로 이용이 가능하므로 교통관리공단, 부동산 중개업, 유원지 를 포함한 공공시설을 관리하는 여러 단체에 정책적인 방향성 제시에 도움을 줄 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템의 블록도이다.
도 2는 본 발명에 따른 신경망의 블록도이다.
도 3은 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법의 순서도이다.
도 4는 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법의 상세 순서도이다.
도 5는 본 발명에 따라 이동 물체의 특징점을 벡터로 도시한 일 예이다.
도 6은 본 발명에 따라 이동 물체의 외곽선이 추출되는 과정을 도시한 일 예이다.
도 7 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 8은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
도 9 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 10은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
도 11 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 12은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
이하 본 발명의 실시예에 대하여 첨부된 도면을 참조하여 그 구성 및 작용을 설명한다.
도 1은 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 시스템은 카메라(100), 영상분석기(300), 신경망(400)를 포함한다.
상기 카메라(100)는 이동 물체(200)를 실시간으로 촬영하고, 이 촬영된 영상을 영상분석기(300)로 보낸다.
본 발명에 따른 영상분석기(300)는 상기 카메라(100)로부터 입력되는 영상을 연속적인 이미지로 변환한다.
상기 영상분석기(300)는 검출부(310), 외곽선 추출부(330), 크기 산출부(350), 픽셀수 산출부(370)를 포함한다.
본 발명에 따른 검출부(310)는 카메라(100)로부터 입력되는 입력영상으로부터 이동 물체의 옵티컬 플로우를 검출한다. 여기에서 옵티컬 플로우는 연속되어 입력되는 입력영상에서 이동 물체의 특징점을 추출하고, 이 특징점의 이동량 및 방향을 나타내는 벡터의 그룹이다.
본 발명에 따른 외곽선 추출부(330)는 입력영상에서 이동 물체를 제외한 배경을 제거하고, 이동 물체의 옵티컬 플로우로 구성된 영역의 외곽선을 추출한다.
상기 외곽선은 이동 물체의 움직임 영역에 해당하는 옵티컬 플로우 영역을 검출한 뒤 입력영상을 이진화하여 소벨(SOBEL) 외곽선 추출 알고리즘을 적용한다.
상기 크기 산출부(350)는 이동 물체의 옵티컬 플로우의 크기값을 산출하고, 상기 픽셀수 산출부(370)는 상기 외곽선의 픽셀수를 산출한다.
여기에서 옵티컬 플로우의 크기는 상기 이동 물체의 특징점을 나타낸 벡터의 크기이다.
도 2는 본 발명에 따른 신경망의 블록도이다.
도 2에 도시된 바와 같이, 상기 신경망(400)는 입력층(410), 은닉층(430), 출력층(450)으로 구성되고, 상기 입력층(410)은 제 1노드(413), 제2노드(415)로 구성된다. 또한, 은닉층(430)은 1개 이상의 노드로 구성된다.
본 발명에 따른 신경망(400)의 입력층(410)에는 옵티컬 플로우의 크기 값 및 옵티컬 플로우의 외곽선의 픽셀수가 입력된다.
상기 입력층(410)의 제1노드에는 옵트컬플로우의 크기 값이 입력되고, 이 옵티컬 플로우의 크기 값을 0이상 1이하의 실수(real number)로 정규화한다.
또한, 상기 제 2노드(415)에는 옵티컬 플로우의 외곽선의 픽셀수가 입력되고, 옵티컬 플로우의 외곽선의 픽셀수를 0이상 1이하의 실수로 정규화한다.
본 발명에 따른 신경망(400)의 은닉층(430)은 입력층(410)에서 전달되는 값에 상기 신경망에서 미리 학습된 가중치를 가감한다.
본 발명에 따른 신경망(400)의 출력층(450)은 은닉층(430)에서 전달되는 값을 0이상 1이하의 실수로 정규화하고 이에 따른 혼잡도 레벨을 출력한다.
상기 혼잡도 레벨을 다음과 같은 표 1로 나타낼 수 있다.
출력층의 정규화 값 레벨 혼잡정도
0 이상 0.2 미만 레벨 1 매우 한산
0.2 이상 0.4 미만 레벨 2 한산
0.4 이상 0.6 미만 레벨 3 보통
0.6 이상 0.8 미만 레벨 4 혼잡
0.8 이상 1.0 레벨 5 매우 혼잡
상기의 표 1은 일 예에 지나지 않으며, 혼잡도 레벨은 상황에 따라 변경될 수 있다.
이하에서는 본 발명에 따른 신경망의 학습에 대하여 살펴보기로 한다. 본 발명의 은닉층은 1개 이상의 노드로 구성되고, 아래의 설명에서는 6개의 노드로 구성된 경우에 대하여 설명한다.
신경망의 학습 및 출력층의 출력값
신경망이란 단순한 연산을 수행하는 노드들의 상호 연결을 통하여 문제를 해결하는 것으로서, 신경망과 관련된 가중치를 목표로 하는 출력값과 신경망에 의해 계산된 출력값의 차이(오차)를 학습을 통해 최소화하여 해를 반복적으로 구하여 학습하는 것이다.
여기에서, 신경망을 학습시킨다는 것은 신경망이 주어진 입력에 대하여 합리적인 출력을 낼 수 있도록 각 노드 사이의 가중치를 갱신하는 것을 의미한다.
신경망의 학습은 임의의 작은 값으로 인접 측 노드간의 가중치를 초기화한 후 훈련 데이터들을 입력층(410)에 반복적으로 제공함으로써 학습된다.
따라서, 입력층(410)으로의 입력 값에 의하여 계산된 출력층(450)에서의 값과 목표로 하는 출력값(기준값)의 차이, 즉 오차를 하위층으로 전파시킴으로써 하위층과의 가중치를 갱신한다. 여기에서 신경망 전체의 가중치가 수렴하여 총 오차가 매우 작아질 때까지 반복적으로 학습시킨다. 이것을 바탕으로 가중치를 갱신하여 입력 값에 맞는 최적의 연결 가중치를 확정한다.
여기에서 은닉층(430)과 출력층(450)의 결과를 수학식으로 살펴보면 다음과 같다.
여기서, 'x' 는 입력층(410)의 입력값이고, 'i' 는 입력층(410)을 구성하는 다수의 노드를 구별하기 위한 것이다.
또한, 'y' 는 은닉층(430)의 출력값이고, 'j' 는 은닉층(430)을 구성하는 다수의 노드를 구별하기 위한 것이다.
또한, 출력층(450)의 출력 결과를 'z'는 출력층(450)의 출력값이고, 'k' 는 출력층을 구성하는 다수의 노드를 구별하기 위한 것이다.
'w' 는 가중치를 의미하고, 'd'는 총 노드의 수를 의미한다.
Gradient descent error minimization에 기반한 가중치 'w'는 아래의 수학식 2로 정의된다.
Figure pat00002
본 발명에서 입력층(410)은 제 1노드(413) 및 제 2노드(415) 두개로 구성되므로 입력층은 x1, x2 두 개의 입력을 갖으므로, 상기 은닉층(430)으로부터 출력되는 결과는 아래의 수학식 3과 같다.
여기에서 'c'는 총 노드의 개수이고, t는 기준값을 의미한다.
Figure pat00003
여기에서, 은닉층(430)은 6개의 노드로 구성하였다. 은닉층(430)을 이루는 6개의 노드들은 가중치에 따라 서로 다른 성질을 갖게 된다. 이때 은닉층의 각 노드들은 노드 다른 관계성을 갖게된다.
은닉층(430)의 노드들은 입력층(410)의 데이터로부터 의미 있는 특징들을 추출함으로써 신경망이 복잡한 작업을 학습할 수 있게 하고 입력층(410)의 입력값들을 분류하는 규칙을 생성하는 역할을 한다.
본 발명에 따른 신경망에서 출력층은 1개의 노드로 구성하였고, 이때 출력층(450)은 입력층(410)과 마찬가지로 0 이상 1이하 사이의 실수를 출력하여 혼잡도 레벨을 알려준다.
출력층(450)으로부터 출력되는 결과는 아래의 수학식 4로 표현된다.
Figure pat00004
여기에서 'H'는 총 노드의 수를 의미한다.
도 3은 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법의 순서도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법은 입력영상에서 검지되는 이동 물체의 옵티컬 플로우가 검출되는 S1단계, S1단계에서 검출된 옵티컬 플로우로 구성된 영역으로부터 이동 물체의 외곽선이 추출되는 S2단계, S1단계에서 검출된 옵티컬 플로우의 크기 값이 산출되고, S2단계에서 추출된 외곽선의 픽셀수가 산출되는 S3단계, S3단계에서 산출된 옵티컬 플로우의 크기 값 및 외곽선의 픽셀수가 신경망에 입력되어 이동 물체의 혼잡도가 추정되는 S4단계를 포함한다. 이하 각 단계에 대해 구체적으로 설명하기로 한다.
도 4는 본 발명에 따른 신경망을 이용한 이동 물체의 혼잡도 측정 방법의 상세 순서도이다.
이동 물체의 옵티컬 플로우 검출 ( S1 단계)
옵티컬 플로우는 연속되어 입력되는 입력영상에서 이동 물체의 특징점을 추출하고, 이 특징점의 이동량 및 방향을 나타내는 벡터의 그룹이다.
옵티컬 플로우는 검출부(310)에서 입력영상에서 검지된 이동물체의 특징점이 추출되고(S11 단계), S11단계의 특징점의 이동량 및 방향이 검출되는 단계 (S12 단계)를 거쳐 획득된다.
옵티컬 플로우의 외곽선 검출 ( S2 단계)
옵티컬 플로우의 외곽선 검출은 입력영상을 이진화하여 소벨(SOBEL)외곽선 추출 알고리즘을 적용하고, 외곽선 추출부(330)에서 추출된다.
옵티컬 플로우의 외곽선 검출은 입력영상에서 배경이 제거고(S21 단계), 옵티컬 플로우로 구성된 영역의 외곽선이 추출되는 단계(S22 단계)를 거쳐 획득된다.
옵티컬 플로우의 크기 값 산출 및 옵티컬 플로우 의 외곽선의 픽셀수 산출 ( S3 단계)
S3단계에서는 위의 S1단계에서 얻어진 옵티컬 플로우가 크기 산출부(350)에서 옵티컬 플로우의 크기 값으로 산출되고 및 픽셀수 산출부(370)에서 이동 물체를 이루는 옵티컬 플로우의 외곽선의 픽셀수가 산출된다.
이동 물체의 혼잡도가 추정되는 단계 ( S4 단계)
S3단계에서 산출된 옵티컬 플로우의 크기 값 및 외곽선의 픽셀수는 신경망(400)의 입력층(410)으로 입력된다(S41 단계).
S41 단계에서 입력된 옵티컬 플로우의 크기 값이 제1노드(413)에서 0 이상 1 이하의 실수로 정규화되고(S411 단계), 제2노드(415)에서 외곽선의 픽셀수가 0 이상 1 이하의 실수로 정규화된다(S412 단계).
입력층으로 전달되는 값에 미리 학습된 가중치가 가감되는 단계( S42 단계)
S41 단계에서 정규화된 옵티컬 플로우의 크기 값 및 정규화된 외곽선의 픽셀수가 은닉층(430)으로 입력되면, 상기 입력값에 대응하는 출력층의 출력값이 계산된다(S421 단계).
은닉층(430)에서 S421 단계에서의 출력층(450)의 출력값과 입력영상에서 실제 이동 물체의 혼잡 정도(목표로 하는 출력값(기준값))간의 오차가 계산된다(S422 단계).
은닉층(430)에서 S422 단계에서의 오차를 줄이기 위해 미리 학습 된 가중치의 가감여부가 결정된다(S423 단계).
또한, 은닉층(430)에서 가중치가 제1노드(413) 및 제2노드(415)에서 정규화된 값에 가감된다(S424 단계).
정규화 및 혼잡도 레벨이 출력되는 단계 ( S43 단계)
S424 단계에서 가중치가 가감된 값이 은닉층(430)에서 출력되면 이 출력값은 0 이상 1이하의 실수로 정규화된다.
상기 정규화 값에 따라 혼잡도 레벨이 출력된다.
상기 혼잡도 레벨을 다음과 같은 표 2로 나타낼 수 있다.
출력층의 정규화 값 레벨 혼잡정도
0 이상 0.2 미만 레벨 1 매우 한산
0.2 이상 0.4 미만 레벨 2 한산
0.4 이상 0.6 미만 레벨 3 보통
0.6 이상 0.8 미만 레벨 4 혼잡
0.8 이상 1.0 레벨 5 매우 혼잡
상기의 표 1은 일 예에 지나지 않으며, 혼잡도 레벨은 상황에 따라 변경될 수 있다.
도 5는 본 발명에 따라 이동 물체의 특징점을 벡터로 도시한 일 예이다.
도 5에 도시된 바와 같이, 왼쪽 입력영상은 이동 물체를 사람으로 한 일 예이고, 오른쪽은 입력영상에서 특징점을 잡아 사람의 이동량 및 방향을 벡터로 표시한 것이다. 이러한 벡터들의 그룹이 옵티컬 플로우이다.
도 6은 본 발명에 따라 이동 물체의 외곽선이 추출되는 과정을 도시한 일 예이다.
도 6에 도시된 바와 같이, 이동 물체의 외곽선은 이동 물체를 제외한 배경을 제거하고, 이동 물체의 옵티컬 플로우로 구성된 영역의 외곽선을 추출한다.
도 7 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 8은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
도 9 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 10은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
도 11 은 본 발명의 효과를 측정하기 위해 사용한 제 1실시예의 샘플 이미지이고, 도 12은 혼잡도 레벨을 산출한 제 1실시예의 샘플 이미지이다.
도 7는 사람의 혼잡도가 매우 한산한 경우의 입력영상을 타나낸다.
이러한 입력영상에서 나타내는 사람의 혼잡도 결과는 도 8에 도시된 바와 같이 혼잡도의 정규화 값으로 출력된다. 이에 따른 신경망(400)의 출력층(450)의 정규화 값은 0.123672이다. 정규화 값에 따른 혼잡도 레벨을 표 1 또는 표 2에서 살펴보면 레벨 1인 '매우 한산' 한 혼잡도를 나타낸다.
도 9는 사람의 혼잡도가 매우 한산한 경우의 입력영상을 타나낸다.
이러한 입력영상에서 나타내는 사람의 혼잡도 결과는 도 10에 도시된 바와 같이 혼잡도의 정규화 값으로 출력된다. 이에 따른 신경망(400)의 출력층(450)의 정규화 값은 0.389767이다. 정규화 값에 따른 혼잡도 레벨을 표 1 또는 표 2에서 살펴보면 레벨 2인 '한산' 한 혼잡도를 나타낸다.
도 11는 사람의 혼잡도가 매우 한산한 경우의 입력영상을 타나낸다.
이러한 입력영상에서 나타내는 사람의 혼잡도 결과는 도 12에 도시된 바와 같이 혼잡도의 정규화 값으로 출력된다. 이에 따른 신경망(400)의 출력층(450)의 정규화 값은 0.734736이다. 정규화 값에 따른 혼잡도 레벨을 표 1 또는 표 2에서 살펴보면 레벨 4인 '혼잡' 한 혼잡도를 나타낸다.
100: 카메라 200: 이동 물체
300: 영상분석기 310: 검출부
330: 외곽선 추출부 350: 크기 산출부
370: 픽셀수 산출부 400: 신경망
410: 입력층 413: 제 1노드
415: 제 2노드 430: 은닉층
450: 출력층

Claims (17)

  1. 이동물체를 촬영하는 카메라;
    상기 카메라로부터 입력되는 입력영상에서 상기 이동 물체의 옵티컬 플로우를 검출하고,
    상기 옵티컬 플로우로 구성된 영역으로부터 상기 이동 물체의 외곽선을 추출하는 영상분석기;및
    상기 영상 분석기로부터 상기 옵티컬 플로우의 크기 값과 상기 외곽선의 픽셀수를 입력받아 상기 입력 영상에서 상기 이동 물체의 혼잡도 레벨을 출력하는 신경망;
    를 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  2. 제 1항에 있어서,
    상기 옵티컬 플로우는
    상기 이동 물체의 이동량 및 방향을 나타내는 벡터인 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  3. 제 1항에 있어서,
    상기 이동 물체의 외곽선은
    상기 입력영상에서 배경을 제외한 상기 옵티컬 플로우로 구성된 영역의 외곽선인 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  4. 제 1항에 있어서,
    상기 영상분석기는
    상기 이동물체의 옵티컬 플로우를 검출하는 검출부,
    상기 이동물체의 외곽선을 추출하는 외곽선 추출부,
    상기 옵티컬 플로우의 크기 값을 산출하는 크기 산출부 및
    상기 외곽선의 픽셀수를 산출하는 픽셀수 산출부를 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  5. 제 1항 또는 제3항에 있어서,
    상기 외곽선은 소벨(SOBEL) 외곽선 검출 알고리즘을 이용하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  6. 제 1항에 있어서,
    상기 신경망은
    상기 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀 수를 입력으로 하는 입력층,
    상기 신경망에서 아래의 식 형태로 정의되는 미리 학습된 가중치를 가감하는 은닉 및
    상기 은닉층에서 전달되는 값을 정규화 하고 이에 따른 혼잡도 레벨을 출력하는 출력층을 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
    Figure pat00005

    (여기서, 'w' 는 가중치를의미하고 'z'는 출력층(450)의 출력값이고, 'k' 는 출력층을 구성하는 다수의 노드를 구별하기 위한 것이다. c는 출력층의 총 노드수, t는 기준값을 의미한다.)
  7. 제 6항에 있어서,
    상기 입력층은 상기 옵티컬 플로우의 크기 값을 정규화하는 제1노드 및
    상기 외곽선의 픽셀수를 정규화하는 제2노드를 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  8. 제 6항에 있어서,
    상기 은닉층은 1개 이상의 노드로 구성되는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  9. 제 6항에 있어서,
    상기 혼잡도 레벨은 상기 은닉층에서 전달되는 값의 정규화 값이
    0 이상 0.2 미만인 경우 레벨 1,
    0.2 이상 0.4 미만인 경우 레벨 2,
    0.4 이상 0.6 미만인 경우 레벨 3,
    0.6 이상 0.8 미만인 경우 레벨 4,
    0.8 이상 1.0 인 경우 제 레벨 5
    인 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 시스템.
  10. 입력영상에서 검지되는 이동 물체의 옵티컬 플로우가 검출되는 S1단계;
    S1단계에서 검출된 옵티컬 플로우로 구성된 영역으로부터 상기 이동 물체의 외곽선이 추출되는 S2단계;
    S1에서 검출된 옵티컬 플로우의 크기 값이 산출되고, S2단계에서 추출된 외곽선의 픽셀수가 산출되는 S3단계; 및
    S3단계에서 산출된 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀수가 신경망에 입력되는 S4단계;
    를 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정방법.
  11. 제 10항에 있어서,
    S1단계의 상기 옵티컬 플로우는 상기 입력영상에서 검지된 상기 이동 물체의 특징점이 추출되는 S11단계 및
    상기 특징점의 이동량 및 방향이 검출되는 S12단계 를 거쳐 획득되는 벡터인것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  12. 제 10항에 있어서,
    S2단계의 상기 이동 물체의 외곽선은 상기 입력영상에서 상기 이동 물체를 제외한 배경이 제거되는 S21단계 및
    상기 옵티컬 플로우로 구성된 영역의 외곽선이 추출되는 S22단계를 거쳐 획득되는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  13. 제 10항 또는 제12항에 있어서,
    상기 외곽선은 소벨(SOBEL) 외곽선 검출 알고리즘을 이용하여 추출되는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  14. 제 10항에 있어서,
    S4단계는
    S3단계에서 산출 된 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀 수가 상기 신경망으로 입력되는 S41단계,
    S41단계에서의 출력값에 미리 학습된 가중치가 가감되는 S42단계 및
    S42단계서의 상기 가중치가 가감된 값이 정규화 되고 이에 따른 혼잡도 레벨을 출력하는 S43단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  15. 제 14항에 있어서,
    S41단계는 상기 옵티컬 플로우의 크기 값이 정규화되는 S411단계 및
    상기 외곽선의 픽셀수가 정규화되는 S412 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  16. 제 14항에 있어서,
    S42단계는 S4단계에서의 상기 옵티컬 플로우의 크기 값 및 상기 외곽선의 픽셀수의 입력에 따른 상기 신경망의 출력 값이 계산되는 S421 단계,
    S421 단계에서의 출력 값과 기준 값과의 오차가 계산되는 S422단계,
    S422단계에서의 상기 오차 줄이기 위해 가중치의 가감여부가 결정되는 S423단계 및
    S423 단계에서 결정된 가중치가 상기 S421단계의 상기 입력값에 가감되는 S424 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
  17. 제 14항에 있어서,
    상기 혼잡도 레벨은 상기 S43단계에서의 상기 정규화 값이
    0 이상 0.2 미만의 실수인 경우 레벨 1,
    0.2 이상 0.4 미만인 경우 레벨 2,
    0.4 이상 0.6 미만인 경우 레벨 3,
    0.6 이상 0.8 미만인 경우 레벨 4,
    0.8 이상 1.0 인 경우 제 레벨 5
    인 것을 특징으로 하는 신경망을 이용한 이동 물체의 혼잡도 측정 방법.
KR1020100109632A 2010-11-05 2010-11-05 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법 KR101173786B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100109632A KR101173786B1 (ko) 2010-11-05 2010-11-05 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100109632A KR101173786B1 (ko) 2010-11-05 2010-11-05 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120048156A true KR20120048156A (ko) 2012-05-15
KR101173786B1 KR101173786B1 (ko) 2012-08-16

Family

ID=46266556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109632A KR101173786B1 (ko) 2010-11-05 2010-11-05 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101173786B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022234A (zh) * 2016-05-13 2016-10-12 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
WO2018230843A1 (ko) * 2017-06-13 2018-12-20 주식회사 로보러스 매장 관리 장치, 그 방법 및 매장 관리 로봇
GB2566067A (en) * 2017-09-01 2019-03-06 Intelligent Play Ltd Maintenance of playing surfaces
KR102614856B1 (ko) * 2023-06-08 2023-12-20 주식회사 디앤샤인 군중 난류 위험 예측 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031645A (ja) 2004-07-12 2006-02-02 Nariyuki Mitachi 動的群集密度のリアルタイム推定方法及び群集事故防止システム
JP4490794B2 (ja) 2004-11-18 2010-06-30 日本電信電話株式会社 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022234A (zh) * 2016-05-13 2016-10-12 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
CN106022234B (zh) * 2016-05-13 2021-06-22 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
WO2018230843A1 (ko) * 2017-06-13 2018-12-20 주식회사 로보러스 매장 관리 장치, 그 방법 및 매장 관리 로봇
GB2566067A (en) * 2017-09-01 2019-03-06 Intelligent Play Ltd Maintenance of playing surfaces
GB2566067B (en) * 2017-09-01 2020-02-19 Intelligent Play Ltd Maintenance of playing surfaces
KR102614856B1 (ko) * 2023-06-08 2023-12-20 주식회사 디앤샤인 군중 난류 위험 예측 시스템 및 방법

Also Published As

Publication number Publication date
KR101173786B1 (ko) 2012-08-16

Similar Documents

Publication Publication Date Title
JP6474919B2 (ja) 混雑状況監視システム及び混雑状況監視方法
RU2393544C2 (ru) Способ и устройство для обнаружения пламени
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
US20140177946A1 (en) Human detection apparatus and method
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
Velastin et al. A motion-based image processing system for detecting potentially dangerous situations in underground railway stations
CN105354563A (zh) 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
Srivastava et al. Crowd flow estimation using multiple visual features for scenes with changing crowd densities
KR20090086898A (ko) 비디오 카메라를 사용한 연기 검출
KR101758685B1 (ko) 카메라 템퍼링 감지 방법 및 시스템
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
KR101173786B1 (ko) 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법
KR20150051630A (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
Alqaysi et al. Detection of abnormal behavior in dynamic crowded gatherings
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
Doulamis Iterative motion estimation constrained by time and shape for detecting persons' falls
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
Hou et al. Automated people counting at a mass site
JP4607394B2 (ja) 人物検出システム、及び人物検出プログラム
Haghmohammadi et al. Remote measurement of body temperature for an indoor moving crowd
CN107958202A (zh) 人体检测设备、人体检测设备的控制方法和存储介质
CN115331152B (zh) 一种消防识别方法和系统
CN106411670A (zh) 一种智能家居系统
Maalouf et al. Offline quality monitoring for legal evidence images in video-surveillance applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee