KR102185859B1 - 객체 추적 장치 및 방법 - Google Patents
객체 추적 장치 및 방법 Download PDFInfo
- Publication number
- KR102185859B1 KR102185859B1 KR1020200101434A KR20200101434A KR102185859B1 KR 102185859 B1 KR102185859 B1 KR 102185859B1 KR 1020200101434 A KR1020200101434 A KR 1020200101434A KR 20200101434 A KR20200101434 A KR 20200101434A KR 102185859 B1 KR102185859 B1 KR 102185859B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate information
- human object
- image data
- frame
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적 장치는 카메라 모듈로부터 상기 영상 데이터를 수신하는 영상 데이터 수신부, 수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 전처리부, 딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 객체 인식부, 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람 객체로 인식하는 연산부, 및 상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 이동 방향 측정부를 포함한다.
Description
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반의 객체 인식 학습을 통해 영상 데이터에서 사람 객체를 인식하고 프레임에 따라 인식된 사람 객체의 일치도를 연산하여 사람 객체의 이동 방향을 측정하는 객체 추적 장치 및 방법에 관한 것이다.
일반적으로 감시 카메라 시스템은 특정 구역을 감시하기 위해서 복수의 카메라가 사용되는데, 각각의 카메라로부터 획득된 영상은 그 개별적인 모니터를 이용하여 해당 구역을 전체적으로 감시하는 데에 사용된다.
각각의 카메라는 모두 다양한 각도와 방향으로 설치되어 있는 바, 각각의 모니터에서 출력되는 영상만으로는 실제 모니터에 나타나는 영상과 물리적으로 존재하는 영역 사이의 관계를 파악하기가 어려우며, 나아가 감시자는 모니터에 출력되는 영상만을 확인하는 것으로 감시하고자 하는 전체 영역에 대한 이미지를 쉽 게 떠올릴 수 없기 때문에 전체 영역에 대한 감시가 쉽지 않을 뿐만 아니라 감시자 또한 쉽게 피로해진다,
이러한 무제점을 해결하기 위해서 본 명세서에는 영상을 통해서 사람 객체의 움직임을 명확하고 쉽게 추적하고 모니터링할 수 있는 객체 추적 장치 및 방법에 대해서 소개하고자 한다.
[선행문헌]
등록 특허 10-1548639
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반의 객체 인식 학습을 통해 영상 데이터에서 사람 객체를 인식하고 프레임에 따라 인식된 사람 객체의 일치도를 연산하여 사람 객체의 이동 방향을 측정하는 객체 추적 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적 장치는 카메라 모듈로부터 상기 영상 데이터를 수신하는 영상 데이터 수신부, 수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 전처리부, 딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 객체 인식부, 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람 객체로 인식하는 연산부, 및 상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 이동 방향 측정부를 포함한다.
상기 딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행된다.
본 발명의 일 실시예에 따른 객체 추적 장치는 상기 이동 방향 측정부로부터 측정된 박스들의 이동 방향을 데이터 베이스화하고, 이를 학습 데이터로 머신 러닝 알고리즘을 통해서 길의 연장된 형상에 대한 좌표 정보를 저장하는 좌표 정보 생성부를 더 포함한다.
본 발명의 일 실시예에 따른 객체 추적 장치는 관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신하는 좌표 정보 수신부 및 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 상기 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들을 근거로 이동 인구를 산출하는 이동 인구 산출부를 더 포함한다.
본 발명의 일 실시예에 따른 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적 장치를 이용한 객체 추적 방법은 영상 데이터 수신부가 카메라 모듈로부터 상기 영상 데이터를 수신하는 단계, 전처리부가 수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 단계, 객체 인식부가 딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 단계, 연산부가 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터의 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람 객체로 인식하는 단계, 및 이동 방향 측정부가 상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 객체 추정 방법은 좌표 정보 생성부가 상기 이동 방향 측정부로부터 측정된 박스들의 이동 방향을 데이터 베이스화하고, 이를 학습 데이터로 머신 러닝 알고리즘을 통해서 길의 연장된 형상에 대한 좌표 정보를 저장하는 단계를 더 포함하고, 상기 딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행된다.
본 발명의 일 실시예에 따른 객체 추정 방법은 상기 좌표 정보 수신부가 관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신하는 단계 및 이동 인구 산출부가 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 상기 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들을 근거로 이동 인구를 산출하는 단계를 더 포함한다.
본 발명에서는 영상 데이터에서 딥러닝 알고리즘을 통해서 객체를 인식하고, 프레임에 따라 인식된 해당 객체의 이동 방향을 측정하여 특정 객체의 움직임을 명확하고 쉽게 추적할 수 있다. 나아가 복수의 영상 데이터 각각에서도 동일한 객체를 쉽게 파악하여, 복수의 구역을 포함하는 전체 영역에 대한 특정 객체의 감시를 쉽게 효율적으로 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다.
도 4는 본 발명의 일 실시에에 따른 사람 객체가 인식된 박스를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다.
도 4는 본 발명의 일 실시에에 따른 사람 객체가 인식된 박스를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템(1000)의 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 추적 시스템(1000)은 카메라 모듈(100) 및 이와 네트워크(400)로 연계되는 객체 추적 장치(200)를 포함할 수 있다.
카메라 모듈(100)은 특정 구역을 촬영할 수 있는 카메라 모듈(100)일 수 있다. 카메라 모듈(100)은 복수개의 카메라가 포함될 수 있다. 카메라 모듈(100)은 복수의 CCTV 카메라로 구성될 수 있다.
객체 추적 장치(200)는 네트워크(400)를 통해서 카메라 모듈(100)로부터 촬영된 데이터를 수신하고, 이를 가공한 결과 데이터를 출력할 수 있다. 객체 추적 장치(200)는 서버일 수 있다.
네트워크(400)의 통신 방식은 제한되지 않으며, 네트워크(400)가 포함할 수 있는 통신망의 일 예로는 이동통신망, 유선 온라인, 무선 온라인, 방송망을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(400)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 온라인 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치(200)의 블록도이고, 도 3은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이고, 도 4는 본 발명의 일 실시에에 따른 사람 객체가 인식된 박스를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 객체 추적 장치(200)는 영상 데이터 수신부(201), 전처리부(202), 사람 객체 인식부(203), 연산부(204), 이동 방향 측정부(205), 좌표 정보 생성부(206), 좌표 정보 수신부(207), 및 이동 인구 산출부(208)를 포함할 수 있다.
영상 데이터 수신부(201)는 카메라 모듈(100)로부터 영상 데이터를 수신할 수 있다. 카메라 모듈(100)은 복수의 카메라를 포함할 수 있고, 영상 데이터 수신부(201)는 복수의 카메라로부터 영상 데이터를 실시간으로 수신할 수 있다.(S10)
전처리부(202)는 수신된 영상 데이터를 리사이징(resizing)하고, 빛의 영향을 감소시킬 수 있다. 전처리부(202)는 원본 영상 데이터와 빛의 영향을 줄이게 하는 샘플 영상 데이터를 혼합하는 방식으로 영상 데이터가 빛의 영향을 받는 정도를 감소시킬 수 있다.(S11) 전처리부(202)에 의해서 영상 데이터의 빛의 영향을 받는 정도가 감소되어 후술할 사람 객체 인식이 더 원활하게 이루어질 수 있다.
객체 인식부(203)는 딥러닝(Deep Learning) 기반의 객체 인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 도 4에 도시된 바와 같이 박스화할 수 있다.(S12)
딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행될 수 있다.
딥러닝 기법은 1980년대에 처음으로 소개된 기계 학습 방법으로써 인공 신경망에 기반한 구조를 가지고 있다. 이전에는 신경망 학습에 소요되는 시간이 매우 오래 걸리고, 학습 데이터에 과도하게 맞추어 훈련되는 과적합 (Overfitting) 문제로 인하여 딥러닝 기법 대신 SVM(Support Vector Machine)과 같은 기법들이 널리 사용되어 왔지만, 최근 성능이 우수한 하드웨어의 개발로 학습에 소요되는 시간이 단축되었고, 2013년에는 ICASSP에 서 과적합을 방지하기 위한 효율적인 Drop-out 기법이 소개되면서 각종 딥러닝 기법들이 급속히 발전하고 있다. 또한 빅 데이터 개념이 등장하면서 이를 분석하고 학습하기에 적합한 딥러닝 기법이 더욱 각광받고 있으 며, 현재는 컴퓨터 비전, 음성 인식, 자연어 처리, 신호 처리 등 다양한 분야에 적용이 되고 있다.
딥러닝 기법 중 객체 탐지 기법은 컴퓨터 비전 분야에서 가장 많이 연구되며 활용되고 있는 기법으로, 영상 내 에서 특정 객체를 빠짐없이 탐지하여 위치 정보를 Bounding Box로 표시함. 널리 사용되는 딥러닝 기반 객체 탐 지 기법으로는 R-CNN(Regions with CNN)이나 R-CNN의 개량 버전인 Fast/Faster R-CNN 등이 있음. 최근에는 탐 지 속도가 더욱 빠르면서 인식률 저하가 거의 없는 YOLO(You Only Look Once)가 소개되었다.
기존의 딥러닝 탐지 기법들은 분류기나 로컬라이저 기반으로 단일 이미지를 다양한 위치와 규모로 구성된 다수 영역으로 분할한 후, 각 영역에 대하여 신경망 모델을 적용하고, R-CNN의 경우에는 단일 이미지에 Region Proposal 방법을 사용하여 수천 개의 CNN모델을 적용한다. 하지만 YOLO는 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하므로 기존 분류기 기반 탐지 기법에 비하여 매우 효율적이다. 따라서 YOLO는 실시간 객체 탐지가 가능하며, 특히 R-CNN보다 1,000배 이상, Fast R-CNN보다 100배 빠르게 객체를 탐지할 수 있다.
YOLO가 수행된 영상 데이터는 움직임을 갖는 근접 객체 전경만을 포함하며, 움직임이 없는 객체와 배경은 포함되지 않을 수 있다. 이러한 YOLO를 영상 데이터에 적용함으로서, 개별 객체에 대한 탐지 결과가 데이터화되어 박스(BX)로 표시될 수 있다. 데이터화된 박스 정보에는 해당 박스의 x좌표, y좌표, 너비, 높이, 박스(BX) 내에 있는 객체의 형태 정보 및 화소값 등이 포함될 수 있다. 본 명세서에는 사람 객체를 인식하는 것으로 주요 내용을 소개하고 있지만, 차량과 같은 물체에 대해서도 YOLO가 동일하게 적용될 수 있다.
연산부(204)는 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스(BX)를 동일한 사람 객체로 인식할 수 있다.(S13)
YOLO가 적용된 영상 데이터에서 사람 객체에 대한 탐지 결과가 데이터로서 박스화될 수 있고, 연산부(204)는 제1 프레임에서의 박스 데이터와 제2 프레임에서의 박스 데이터 간의 데이터 일치 여부를 연산하여 설정 일치도 이상의 일치도를 보이는 양 박스(BX)는 해당 박스 내에 있는 객체가 동일한 객체인 것으로 인식할 수 있다.
이동 방향 측정부(205)는 연산부(204)에서 동일한 사람 객체로 인식된 박스(BX)의 제1 프레임에서의 위치 위치와 제2 프레임의 위치를 근거로 하여, 해당 박스(BX)의 사람 객체의 이동 방향을 측정할 수 있다.(S14)
이처럼 본 발명에서는 영상 데이터에서 딥러닝 알고리즘을 통해서 객체를 인식하고, 프레임에 따라 인식된 해당 객체의 이동 방향을 측정하여 특정 객체의 움직임을 명확하고 쉽게 추적할 수 있다. 나아가 복수의 영상 데이터 각각에서도 동일한 객체를 쉽게 파악하여, 복수의 구역을 포함하는 전체 영역에 대한 특정 객체의 감시를 쉽게 효율적으로 할 수 있다.
좌표 정보 생성부(206)는 이동 방향 측정부(205)로부터 측정된 박스들(BX)의 이동 방향을 데이터 베이스화하고, 이를 학습 데이터로 머신 러닝 알고리즘을 통해서 길의 연장된 형상에 대한 좌표 정보를 저장할 수 있다.
앞서 말한 프레임 간의 인식된 객체의 위치를 근거로 이동 방향을 측정하고 이러한 프레임들이 누적되게 되면 궁극적으로 해당 객체의 이동 경로가 추출될 수 있으며, 해당 이동 경로는 일반적으로 사람들이 다니는 길이라고 볼 수 있는 바 좌표 정보 생성부(206)는 객체의 이동 방향을 토대로 길의 형상에 대한 좌표 정보를 추출하여 저장할 수 있다.
좌표 정보 수신부(207)는 관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신할 수 있다.
이동 인구 산출부(208)는 좌표 정보 수신부(207)로부터 수신된 좌표 정보가 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 좌표 정보 수신부(207)로부터 수신된 좌표 정보가 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들(BX)을 근거로 이동 인구를 산출할 수 있다.
좌표 정보 수신부(207)로부터 수신된 좌표가 길에 대한 좌표에 포함된 좌표가 아닌 경우 해당 수신된 좌표는 사람이 다니는 길에 대한 좌표가 아니라고 볼 수 있으므로, 해당 좌표에서의 이동 인구는 없다고 볼 수 있는 바 이동 인구 산출부(208)는 해당 좌표에서의 이동 인구를 0으로 산출할 수 있고, 좌표 정보 수신부(207)로부터 수신된 좌표가 길에 대한 좌표에 포함되는 좌표인 경우, 해당 좌표를 지나고 길의 연장 방향과 수직한 직선은 해당 길을 지나가는 사람들이 반드시 통과해야 하는 바, 이동 인구 산출부(208)는 해당 직선을 통과한 사람의 수를 좌표 정보 수신부(207)로부터 수신된 좌표에 대한 이동 인구로 산출할 수 있다.
이처럼 딥러닝을 통해서 인식된 객체들을 통해서 생성된 길에 대한 좌표를 활용하여 특정 지점에서의 이동 인구를 효율적으로 산출할 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 카메라 모듈 202: 전처리부
200: 객체 추적 장치 203: 객체 인식부
201: 영상 데이터 수신부 204: 연산부
200: 객체 추적 장치 203: 객체 인식부
201: 영상 데이터 수신부 204: 연산부
Claims (7)
- 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적 장치에 있어서,
카메라 모듈로부터 상기 영상 데이터를 수신하는 영상 데이터 수신부;
수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 전처리부;
딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 객체 인식부;
영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람 객체로 인식하는 연산부;
상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 이동 방향 측정부;
상기 이동 방향 측정부로부터 측정된 사람 객체의 이동 방향을 누적 수집하여, 해당 사람 객체의 이동 경로를 추출하고, 추출된 이동 경로를 통해서 길의 형상에 대한 좌표 정보를 저장하는 좌표 정보 생성부;
관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신하는 좌표 정보 수신부; 및
상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 상기 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들을 근거로 이동 인구를 산출하는 이동 인구 산출부를 포함하고,
상기 딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행되는 것을 특징으로 하는 객체 추적 장치. - 삭제
- 삭제
- 삭제
- 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적 장치를 이용한 객체 추적 방법에 있어서,
영상 데이터 수신부가 카메라 모듈로부터 상기 영상 데이터를 수신하는 단계;
전처리부가 수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 단계;
객체 인식부가 딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 단계;
연산부가 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터의 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람 객체로 인식하는 단계;
이동 방향 측정부가 상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 단계;
좌표 정보 생성부가 상기 이동 방향 측정부로부터 측정된 사람 객체의 이동 방향을 누적 수집하여, 해당 사람 객체의 이동 경로를 추출하고, 추출된 이동 경로를 통해서 길의 형상에 대한 좌표 정보를 저장하는 단계;
좌표 정보 수신부가 관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신하는 단계; 및
이동 인구 산출부가 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 상기 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들을 근거로 이동 인구를 산출하는 단계를 포함하고,
상기 딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행되는 것을 특징으로 하는 객체 추적 방법.
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200039043 | 2020-03-31 | ||
| KR1020200039043 | 2020-03-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102185859B1 true KR102185859B1 (ko) | 2020-12-02 |
Family
ID=73792130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200101434A KR102185859B1 (ko) | 2020-03-31 | 2020-08-12 | 객체 추적 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102185859B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220168299A (ko) * | 2021-06-16 | 2022-12-23 | 주식회사 에스에프에이 | 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 |
| KR20230004083A (ko) | 2021-06-30 | 2023-01-06 | 롯데정보통신 주식회사 | 수영장 안전관리 장치 및 방법 |
| KR102541221B1 (ko) | 2022-11-08 | 2023-06-13 | 주식회사 경우시스테크 | 인공지능 기반 영상인식플랫폼을 포함하는 이동식 지능형 cctv 시스템 |
| KR102541212B1 (ko) | 2022-11-08 | 2023-06-13 | 주식회사 영신 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
| KR101942808B1 (ko) * | 2018-11-13 | 2019-01-29 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 |
-
2020
- 2020-08-12 KR KR1020200101434A patent/KR102185859B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
| KR101942808B1 (ko) * | 2018-11-13 | 2019-01-29 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220168299A (ko) * | 2021-06-16 | 2022-12-23 | 주식회사 에스에프에이 | 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 |
| KR102492161B1 (ko) * | 2021-06-16 | 2023-01-26 | 주식회사 에스에프에이 | 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 |
| KR20230004083A (ko) | 2021-06-30 | 2023-01-06 | 롯데정보통신 주식회사 | 수영장 안전관리 장치 및 방법 |
| KR102541221B1 (ko) | 2022-11-08 | 2023-06-13 | 주식회사 경우시스테크 | 인공지능 기반 영상인식플랫폼을 포함하는 이동식 지능형 cctv 시스템 |
| KR102541212B1 (ko) | 2022-11-08 | 2023-06-13 | 주식회사 영신 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102185859B1 (ko) | 객체 추적 장치 및 방법 | |
| US7639840B2 (en) | Method and apparatus for improved video surveillance through classification of detected objects | |
| US10713500B2 (en) | Identification and classification of traffic conflicts using live video images | |
| KR101839827B1 (ko) | 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템 | |
| US11776274B2 (en) | Information processing apparatus, control method, and program | |
| WO2018061616A1 (ja) | 監視システム | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CA3160731A1 (en) | Interactive behavior recognizing method, device, computer equipment and storage medium | |
| GB2431717A (en) | Scene analysis | |
| CN107194360B (zh) | 逆向通行对象识别方法、装置及系统 | |
| US8675917B2 (en) | Abandoned object recognition using pedestrian detection | |
| KR20190046351A (ko) | 침입 탐지방법 및 그 장치 | |
| KR101548639B1 (ko) | 감시 카메라 시스템의 객체 추적장치 및 그 방법 | |
| CN111160220B (zh) | 一种基于深度学习的包裹检测方法、装置、存储介质 | |
| US20220351515A1 (en) | Method for perceiving event tagging-based situation and system for same | |
| KR20170006356A (ko) | 이차원 영상 기반 고객 분석 방법 및 장치 | |
| US20220366570A1 (en) | Object tracking device and object tracking method | |
| KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
| CN112800918A (zh) | 一种非法运动目标的身份识别方法及装置 | |
| CN111144260A (zh) | 一种翻越闸机的检测方法、装置及系统 | |
| KR101669885B1 (ko) | 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치 | |
| Muddamsetty et al. | Spatio-temporal saliency detection in dynamic scenes using local binary patterns | |
| KR101766467B1 (ko) | 이벤트 발생 알림 장치, 이벤트 발생 알림 방법, 및 이벤트 발생 판단 모델 제공 방법 | |
| KR102356165B1 (ko) | 영상에서의 얼굴 인덱싱 방법 및 장치 | |
| KR20140037354A (ko) | 방치물 및 도난물 탐지 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |