KR102475752B1 - 이동 경로 예측 방법 및 장치 - Google Patents

이동 경로 예측 방법 및 장치 Download PDF

Info

Publication number
KR102475752B1
KR102475752B1 KR1020190153289A KR20190153289A KR102475752B1 KR 102475752 B1 KR102475752 B1 KR 102475752B1 KR 1020190153289 A KR1020190153289 A KR 1020190153289A KR 20190153289 A KR20190153289 A KR 20190153289A KR 102475752 B1 KR102475752 B1 KR 102475752B1
Authority
KR
South Korea
Prior art keywords
interest
data
sensor
image data
sensor data
Prior art date
Application number
KR1020190153289A
Other languages
English (en)
Other versions
KR20200062065A (ko
Inventor
권은정
박현호
변성원
신원재
이용태
정의석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20200062065A publication Critical patent/KR20200062065A/ko
Application granted granted Critical
Publication of KR102475752B1 publication Critical patent/KR102475752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

이동 경로 예측 장치는 영상 데이터에서 객체를 추출하여 상기 관심 객체를 식별하고, 상기 관심 객체의 개인 휴대 단말로부터 획득되는 센서 데이터로부터 상기 관심 객체의 행동 정보를 추출하며, 상기 센서 데이터로부터 획득된 상기 관심 객체의 행동 정보를 상기 영상 데이터로부터 식별된 상기 관심 객체와 시간 정보에 따라 동기화시켜 분석 모델의 학습 데이터로 생성한다. 그리고 입력 데이터가 상기 분석 모델에 입력되면, 상기 분석 모델의 출력을 통해 상기 관심 객체의 이동 경로 및 행동 정보를 예측한다.

Description

이동 경로 예측 방법 및 장치{METHOD AND APPARATUS FOR PRODICTING MOVING PATH}
본 발명은 이동 경로 예측 방법 및 장치에 관한 것으로, 특히 CCTV(Closed Circuit Television) 영상 데이터와 사용자의 개인 휴대 단말을 통해 획득한 센서 데이터를 융합하여 사용자의 이동 경로와 행동을 예측하는 이동 경로 예측 방법 및 장치에 관한 것이다.
CCTV에 기록되는 영상 데이터를 통해 관심 객체의 이동 경로를 예측하기 위한 기존 기술에서는 빛의 각도, 빛의 반사 등과 같은 실외 환경의 요인, 관심 객체를 획득하기 위한 비-관심 객체의 영상 내 중첩 등으로 관심 객체를 식별하기가 용이하지 않았다. 따라서 영상 데이터를 통해 추출된 객체에 대한 세부 정보(메타데이터)의 정확도가 높지 않기 때문에 관심 객체의 이동 경로에 대한 예측을 정확하게 확보하기가 용이하지 않았다.
이러한 문제를 해결하기 위하여, 영상 데이터와 센서 데이터를 결합하여 관심 객체의 이동 경로를 정확하게 예측하기 위한 학습 데이터가 필요하다. 학습데이터를 어떻게 구축하여 학습모델에 활용하느냐에 따라 예측 결과값은 달라지기 때문에 영상 데이터와 센서 데이터를 결합한 학습 데이터 구축은 예측 결과값을 얻기 위한 중요한 기술 요소로 작용된다.
본 발명이 해결하려는 과제는 영상 데이터와 센서 데이터를 결합하여 관심 객체의 이동 경로를 정확하게 예측할 수 있는 이동 경로 예측 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 이동 경로 예측 장치에서 관심 객체의 이동 경로를 예측하는 방법이 제공된다. 이동 경로 예측 방법은 영상 데이터에서 객체를 추출하여 상기 관심 객체를 식별하는 단계, 상기 관심 객체의 개인 휴대 단말로부터 획득되는 센서 데이터로부터 상기 관심 객체의 행동 정보를 추출하는 단계, 상기 센서 데이터로부터 획득된 상기 관심 객체의 행동 정보를 상기 영상 데이터로부터 식별된 상기 관심 객체와 시간 정보에 따라 동기화시켜 분석 모델의 학습 데이터로 생성하는 단계, 입력 데이터가 상기 분석 모델에 입력되면, 상기 분석 모델의 출력을 통해 상기 관심 객체의 이동 경로 및 행동 정보를 예측하는 단계를 포함한다.
본 발명의 실시 예에 의하면, 영상보안감시 기술 분야에서 활용되던 관심 객체(사람)의 인식 및 추적 기술을 활용하여 관심 객체(사람)의 가까운 미래의 이동 경로 값을 예측하고, 이동 경로 상에서 사용자의 행동을 예측하여 위험한 상황을 선제적으로 대응할 수 있는 다양한 서비스 모델에 활용될 수 있다.
도 1은 본 발명의 실시 예에 따른 CCTV 영상 데이터와 센서 데이터를 이용하여 사용자의 이동 경로와 행동 패턴을 획득하는 일 예를 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 관심 객체의 영상 메타데이터를 획득하는 방법을 설명하는 도면이다.
도 3은 본 발명의 실시 예에 따른 관심 객체의 센서 메타데이터를 획득하는 방법을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 영상 메타데이터와 센서 메타데이터를 시간적으로 매핑하여 학습 데이터로 활용하는 방법을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 메타데이터와 센서 메타데이터를 시간 정보에 따라 동기화하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 이동 경로 예측 장치를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 이동 경로 예측 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 CCTV 영상 데이터와 센서 데이터를 이용하여 사용자의 이동 경로와 행동 패턴을 획득하는 일 예를 설명하는 도면이다.
도 1을 참고하면, CCTV(Closed Circuit Television)(CAM1, CAM2, CAM3, CAM4)는 서로 다른 장소에 설치되어 있다. 개인 휴대 단말을 보유한 사용자는 시간(T1, T2, T3, T4)에 따라 CCTV(CAM1, CAM2, CAM3, CAM4)가 설치되어 있는 장소를 이동한다.
CCTV(CAM1, CAM2, CAM3, CAM4)는 설치된 위치에서 사용자의 영상을 촬영하고, 촬영한 영상 데이터를 녹화 및 기록하고, 기록한 영상 데이터를 이동 경로 예측 장치(100)로 전송한다.
이동 경로 예측 장치(100)는 CCTV(CAM1, CAM2, CAM3, CAM4)로부터 영상 데이터를 수집하고, CCTV(CAM1, CAM2, CAM3, CAM4)를 통해 기록된 영상 데이터로부터 사용자를 식별하고 추적한다. 이동 경로 예측 장치(100)는 시간(T1, T2, T3, T4)에 따라 계속적으로 수집되는 영상 데이터를 이전 수집된 영상 데이터와 비교하여 동일한 사용자인지를 확인하는 재식별 과정을 수행한다. 사용자를 식별 또는 재식별하는 과정에서 사용자가 영상 데이터에서 인식된 크기, 영상 데이터 내 위치한 좌표값을 획득할 수 있다.
구체적으로, 시간(T1)에서, CCTV(CAM1)는 사용자 식별자가 Person A인 사용자의 영상을 촬영하고, 촬영된 영상 데이터를 이동 경로 예측 장치(100)로 전달한다. 이동 경로 예측 장치(100)는 시간(T1)에서 촬영된 영상 데이터와 사용자의 개인 휴대 단말로부터 가속도 센서 데이터를 획득하고, 이들 데이터를 활용하여 분석하고, 분석한 결과 해당 이동 경로 상에서 Person A에 해당하는 사용자는 현재 걷기(walking) 상태임을 알 수 있게 된다.
이후, 시간(T2)에서, CCTV(CAM2)는 시간(T2)에서 촬영된 사용자의 CCTV 영상 데이터를 이동 경로 예측 장치(100)로 전송한다. 이동 경로 예측 장치(100)는 시간(T2)에서 촬영된 영상 데이터로부터 Person A에 해당하는 사용자를 식별하고, 해당 사용자의 개인 휴대 단말의 가속도 센서 데이터를 분석한 결과 해당 이동 경로 상에서 Person A에 해당하는 사용자는 조깅(jogging) 상태임을 알 수 있게 된다.
이후, 시간(T3)에서, 이동 경로 예측 장치(100)는 시간(T3)에서 CCTV(CAM3)을 통해 촬영된 영상 데이터와 사용자(Person A)의 개인 휴대 단말의 가속도 센서 데이터를 활용하여 분석하고, 분석한 결과 해당 이동 경로 상에서 Person A에 해당하는 사용자는 계단 오르기(ascending) 상태임을 알 수 있게 된다.
이후, 시간(T4)에서, 이동 경로 예측 장치(100)는 시간(T4)에서 CCTV(CAM4)를 통해 촬영된 영상 데이터와 사용자(Person A)의 개인 휴대 단말의 가속도 센서 데이터를 활용하여 분석한 결과 해당 이동 경로 상에서 Person A에 해당하는 사용자는 계단 내려오기(descending) 상태임을 알 수 있게 된다.
이동 경로 예측 장치(100)는 시간(T1, T2, T3, T4)의 흐름에 따라 분석된 정보를 누적하여 메타데이터로 활용하여, 다가올 시간(예를 들면, T10)에서 사용자(Person A)의 이동 경로 및 이동 경로 상에서 사용자의 행동 패턴(예를 들면, 걷기, 뛰기, 계단 오르기, 계단 내려오기, 멈춤, 쓰러짐 등)을 예측한다. 이러한 예측은 사용자가 다가올 시간(예를 들면, T10)에서 직면할 수 있는 위험 상황(예를 들면, 과거 범죄가 발생한 위험장소 진입, 위험 차량 조우, 위험인물 조우)을 사전에 회피할 수 있도록 함으로써 공공안전 보장 서비스를 실현할 수 있게 한다.
특히, 본 발명의 실시 예에 따른 이동 경로 예측 장치(100)는 CCTV(CAM1, CAM2, CAM3, CAM4)의 영상 데이터 분석을 통해 획득한 영상 메타데이터와 관심 객체의 개인 휴대 단말의 가속도 센서 데이터의 특징 분석을 통해 획득된 행동 패턴 분류 값을 학습 데이터로 사용하여 분석 모델을 학습시키고, 학습된 분석 모델을 이용하여 다가올 시간에 대한 사용자의 이동 경로 및 행동을 예측한다. 분석 모델은 시계열 데이터 분석에 활용되는 딥러닝 기법인 RNN(Recurrent Neural Network), LSTM(Long-Short Term Memory) 등과 같은 다양한 기법이 사용될 수 있다.
도 2는 본 발명의 실시 예에 따른 관심 객체의 영상 메타데이터를 획득하는 방법을 설명하는 도면이다.
도 2를 참고하면, 이동 경로 예측 장치(100)는 CCTV로부터 영상 데이터를 획득한다(S210).
이동 경로 예측 장치(100)는 영상 데이터를 구성하는 프레임별로 객체를 검출한다. 이동 경로 예측 장치(100는 객체를 검출하기 위해 프레임별 영상 데이터로부터 특징 추출 알고리즘을 이용하여 특징을 추출하고(S220), 추출된 특징을 이용하여 객체를 검출할 수 있다(S230). 특징 추출 알고리즘으로는 HOG(Histogram of Oriented Gradients), 하르 유사 특징(Haar-like features) 방법 등 기존 영상처리 알고리즘이 사용될 수 있다. 또는 이동 경로 예측 장치(100)는 객체를 검출하기 위해 딥러닝을 활용한 객체 추출 분석 기법을 이용할 수 있다. 딥러닝을 활용한 객체 추출 분석 기법으로는 YOLO(You only Look Once)나 빠른-RNN 등이 사용될 수 있다.
이동 경로 예측 장치(100)는 현재 프레임에서 검출된 객체를 분류한 후(S240), 분류된 객체를 각각 이전 프레임에서 검출된 객체와 유사성을 비교하여 관심 객체에 대한 재식별 과정을 수행하고(S250), 재식별을 통해 시간에 따라 관심 객체의 움직임의 변화를 확인한다.
이동 경로 예측 장치(100)는 관심 객체의 재식별을 위해 관심 객체의 상하의를 구분하여 의상에 대한 색상 특징 및/또는 윤곽선에 대한 특징을 비교하여 유사도 점수를 계산하고, 유사도 점수가 일정 점수 이상이면 동일한 객체로 재식별할 수 있다. 예를 들어, 이동 경로 예측 장치(100)는 관심 객체의 재식별을 위해 수학식 1과 같이 관심 객체의 상하의를 구분하여 의상에 대한 색상 특징을 비교하여 색상 유사도 점수를 계산하고, 색상 유사도 점수가 일정 점수 이상이면 동일한 객체로 재식별할 수 있다.
Figure 112019121725732-pat00001
구체적으로, 유사도 점수는 수학식 2와 같이 계산될 수 있다.
Figure 112019121725732-pat00002
수학식 2에서, B, G, R은 각각 청색, 녹색, 적색을 나타낸다. B11, G11, R11은 각각 사용자 1의 상의에 대한 청색, 녹색, 적색을 나타내고, B12, G12, R12는 각각 사용자 2의 상의에 대한 청색, 녹색, 적색을 나타낸다. B21, G21, R21은 각각 사용자 1의 하의에 대한 청색, 녹색, 적색을 나타내고, B22, G22, R22는 각각 사용자 2의 하의에 대한 청색, 녹색, 적색을 나타낸다.
한편, 영상 데이터를 생성하는 CCTV와 센서 데이터를 생성하는 개인 휴대 단말은 서로 다른 장치이며 각각 독립적으로 동작하기 때문에 CCTV에서 생성되는 영상 데이터와 개인 휴대 단말에서 센서 데이터간 시간적 동기화 정보가 없다. 영상 데이터와 센서 데이터가 비동기화된 상태로 학습이 진행되면, 학습 과정에서 특징을 융합하는 문제를 해결해야 하고, 분석 모델이 학습되더라도 예측 결과를 획득하는 과정에서 시간에 따른 정확도에 오차가 발생한다. 따라서 이러한 문제를 해결하기 위해 영상 데이터와 센서 데이터를 동기화시키는 방법에 대해 도 3 내지 도 5를 참고로 하여 설명한다.
도 3은 본 발명의 실시 예에 따른 관심 객체의 센서 메타데이터를 획득하는 방법을 설명하는 도면이다.
도 3을 참고하면, 사용자 A와 사용자 B는 시간(T1, T2, T3)에 따라 행동 패턴이 달라진다. 이동 경로 예측 장치(100)는 시간(T3)에서 발생 가능한 사용자 A와 사용자 B의 행동 패턴을 시간(T1, T2)을 통해 분석된 메타데이터를 과거 데이터로 활용하여 예측한다.
즉 시간(T1)에서 센서 데이터 분석 모델에 따라 사용자 A 및 사용자 B가 각각 넘어짐(Fall), 멈춤(Still), 뛰기(Run) 중에 하나의 행동으로 판단된다고 할 때, 분석된 결과 값이 센서 메타데이터로 사용된다. 이 결과 값은 도 2에서 분석되어 획득된 영상 메타데이터와 결합되고, 시간 정보를 기준으로 영상 메타데이터와 센서 메타데이터간 관계를 매핑함으로써, 사용자 A와 사용자 B의 이동경로에 따른 행동 패턴 예측을 위한 학습 데이터로 활용될 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 메타데이터와 센서 메타데이터를 시간적으로 매핑하여 학습 데이터로 활용하는 방법을 설명하는 도면이다.
도 4를 참고하면, 학습을 위한 입력 데이터(401)가 분석 모델(405)에 입력된다.
학습을 위한 입력 데이터(401)는 프레임 번호(frame_number), 사용자 식별자(uer_id), 시간 정보(timestamp), 해당 시간 정보에서 영상 내 객체의 x 좌표값(x_value), 해당 시간 정보에서 영상 내 객체의 y 좌표값(y_value), 행동 패턴 분류 값(activity)을 포함할 수 있다.
이와 같이 구성된 학습 데이터(401)가 분석 모델(405)에 입력되어 분석 모델(401)이 학습된다. 학습된 분석 모델(405)은 학습 데이터와 유사한 또는 동일한 형태의 테스트 데이터를 입력 받으면, 가까운 미래의 예측 결과 값(403)을 출력한다.
시간 정보를 기준으로 영상 메타데이터와 센서 메타데이터의 융합된 형태로 학습 데이터를 생성하기 위해 이동 경로 예측 장치는 도 5와 같이 동작한다.
도 5는 본 발명의 실시 예에 따른 영상 메타데이터와 센서 메타데이터를 시간 정보에 따라 동기화하는 방법을 나타낸 흐름도이다.
도 5를 참고하면, 이동 경로 예측 장치(100)는 사용자 식별자와 사용자 영상의 특징에 대한 매칭 정보를 생성한다(S502). 예를 들어, 이동 경로 예측 장치(100)는 사용자의 개인 휴대 단말 번호와 사용자의 의상 정보(색상, 형태)를 특징으로 매칭 정보를 생성하여 저장하고, 이때 사용자의 개인 휴대 단말 번호를 사용자 식별자로 사용하여, 매칭 정보를 저장할 수 있다.
이후, 이동 경로 예측 장치(100)는 CCTV로부터 녹화된 CCTV 영상 데이터 및 사용자의 개인 휴대 단말로부터 센서 데이터를 획득한다(S504). 이동 경로 예측 장치(100)는 물리적으로 독립적인 장치인 CCTV와 개인 휴대 단말로부터 각각 동일한 장소에서의 영상 데이터와 센서 데이터를 수집한다.
이동 경로 예측 장치(100)는 CCTV 영상 데이터와 센서 데이터 간의 시간 관계 정보를 파악하기 위해서 각각 시스템 타이머를 동작시킨다. 이동 경로 예측 장치(100)는 CCTV 영상 데이터에서 관심 객체를 추출하기 위해 필요한 시간을 체크하기 위한 CCTV 영상 분석 타이머(timer1)를 설정하고(S506), CCTV 영상 데이터의 첫 번째 프레임부터 마지막 프레임까지 순차적으로 영상 데이터를 분석하여 객체를 검출한다.
이동 경로 예측 장치(100)는 CCTV 영상 분석 타이머(timer1)의 시간 구간에서 발생한 센서 데이터가 있는지 확인한다(S508).
이동 경로 예측 장치(100)는 CCTV 영상 분석 타이머(timer1)의 시간 구간 동안 CCTV 영상 데이터의 첫 번째 프레임부터 마지막 프레임까지 영상을 분석하는 과정에서 관련 사용자의 센서 데이터가 수집되는 경우, 센서 데이터 수집에 대한 시간을 체크하기 위한 센서 타이머(timer2)를 설정한다(S510).
이동 경로 예측 장치(100)는 CCTV 영상 분석 타이머(timer1)의 시간 구간 동안 입력되는 센서 데이터가 없고, 입력된 영상 데이터의 마지막 프레임까지 객체 분석이 완료되었다면(S512), 프레임별로 분석된 객체들간의 유사도를 계산한다(S514). 유사도 점수는 전술한 바와 같이 이전 프레임에서 추출된 객체와 현재 프레임에서 추출된 객체 간의 윤곽선에 대한 특징 및/또는 상하의 의상에 대한 색상 값을 토대로 계산될 수 있다.
이동 경로 예측 장치(100)는 유사도가 일정값(예를 들면, 80%)을 넘으면 해당 객체가 동일한 사용자인 것으로 판단하고, 해당 객체에 동일한 사용자 식별자를 부여한다(S516).
다음, 이동 경로 예측 장치(100)는 사용자 식별자에 매칭된 사용자 영상의 특징 정보와 유사한 객체에 대해 매칭된 사용자의 사용자 식별자로 구분(tagging)한다(S518).
이동 경로 예측 장치(100)는 이런 과정을 거쳐서 CCTV 영상 데이터로부터 객체를 인식하고 객체를 재식별한다(S502~S508, S512~S518).
한편, 이동 경로 예측 장치(100)는 CCTV 영상 분석 타이머(timer1)의 시간 구간 동안 수집되는 센서 데이터가 존재한다면(S508), 이 센서 데이터를 통해 행동 패턴을 분석하여, 학습 데이터로 사용하기 위한 과정을 수행한다. 구체적으로, 이동 경로 예측 장치(100)는 센서 타이머(timer2)의 시간 정보(timestamp)를 기록하고 시간 정보(timestamp)를 기준으로 센서 데이터의 x, y, 및 z축의 값을 분리하고, 행동 패턴을 분류하는 분석 모델을 통해 분석된 행동 패턴 값을 사용자 식별자별로 시간 정보(timestamp)와 함께 기록한다(S520, S522).
이동 경로 예측 장치(100)는 사용자 식별자에 따라 영상 데이터 내 객체의 좌표 정보와 행동 패턴 정보를 이용하여 학습 데이터를 생성한다(S524).
이와 같이, 본 발명의 실시 예에 따른 이동 경로 예측 장치(100)는 CCTV 영상 데이터로부터 객체를 인식하고 객체를 재식별하고, 개인 휴대 단말로부터 획득되는 센서 데이터를 통해 해당 객체의 행동 패턴을 분석하여, 학습 데이터를 확보한다.
이동 경로 예측 장치(100)는 학습 데이터를 분석 모델에 입력하여 분석 모델을 학습시킨다.
이런 방법으로 학습된 분석 모델은 학습 데이터와 유사한 형태의 데이터를 입력 받으면, 가까운 미래에 해당하는 객체의 좌표 정보와 행동 패턴 정보를 출력함으로써, 해당 사용자의 이동 경로 및 행동을 예측할 수 있도록 한다.
도 6은 본 발명의 실시 예에 따른 이동 경로 예측 장치를 나타낸 도면이다.
도 6을 참고하면, 이동 경로 예측 장치(600)는 프로세서(610), 메모리(620), 저장 장치(630) 및 입출력(input/output, I/O) 인터페이스(640)를 포함한다.
프로세서(610)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.
메모리(620)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다.
저장 장치(630)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.
I/O 인터페이스(640)는 프로세서(610) 및/또는 메모리(620)가 저장 장치(630)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(640)는 사용자와 인터페이스를 제공할 수 있다.
프로세서(610)는 도 1 내지 도 5에서 설명한 이동 경로 예측을 위한 학습 데이터 생성, 학습 및 이동 경로 예측 기능을 수행할 수 있으며, 학습 데이터 생성, 학습 및 이동 경로 예측 기능을 구현하기 위한 프로그램 명령을 메모리(620)에 로드시켜, 도 1 내지 도 5를 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(630)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (10)

  1. 이동 경로 예측 장치에서 관심 객체의 이동 경로를 예측하는 방법으로서,
    영상 데이터에서 객체를 검출하여 상기 관심 객체를 식별하는 단계,
    상기 관심 객체의 개인 휴대 단말로부터 획득되는 센서 데이터로부터 상기 관심 객체의 행동 패턴을 추출하는 단계,
    상기 센서 데이터로부터 획득된 상기 관심 객체의 행동 패턴을 상기 영상 데이터로부터 식별된 상기 관심 객체와 시간 정보에 따라 동기화시켜 분석 모델의 학습 데이터로 생성하는 단계, 그리고
    입력 데이터가 상기 분석 모델에 입력되면, 상기 학습 데이터로 학습된 분석 모델의 출력을 통해 상기 관심 객체의 이동 경로 및 행동 패턴을 예측하는 단계
    를 포함하며,
    상기 생성하는 단계는
    상기 영상 데이터의 첫 번째 프레임부터 마지막 프레임까지 순차적으로 분석하면서 상기 관심 객체를 재식별하는 단계,
    상기 첫 번째 프레임부터 상기 마지막 프레임까지 순차적으로 분석하는 시간 구간 동안 상기 센서 데이터가 획득되면 센서 타이머를 설정하는 단계, 그리고
    상기 센서 타이머의 시간 정보를 기준으로, 상기 센서 데이터로부터 검출된 행동 패턴과 상기 시간 구간에서 재식별된 관심 객체를 동기화시키는 단계를 포함하는 이동 경로 예측 방법.
  2. 삭제
  3. 제1항에서,
    상기 재식별하는 단계는
    상기 프레임간 상기 관심 객체의 의상에 대한 색상 및 윤곽선 중 적어도 하나의 특징 정보를 비교하여 유사도 점수를 계산하는 단계, 그리고
    상기 유사도 점수를 토대로 상기 프레임간 검출된 관심 객체가 동일한 객체인지 재식별하는 단계를 포함하는 이동 경로 예측 방법.
  4. 제3항에서,
    상기 재식별하는 단계는
    상기 관심 객체의 식별자와 상기 관심 객체의 의상에 대한 적어도 하나의 특징 정보를 토대로 매칭 정보를 생성하여 저장하는 단계, 그리고
    상기 관심 객체의 매칭 정보를 이용하여 상기 재식별된 관심 객체에 대해 상기 식별자를 부여하는 단계를 더 포함하는 이동 경로 예측 방법.
  5. 제1항에서,
    상기 센서 데이터는 가속도 센서 데이터를 포함하는 이동 경로 예측 방법.
  6. 관심 객체의 이동 경로를 예측하는 이동 경로 예측 장치로서,
    영상 데이터와 센서 데이터를 수신하는 입출력 인터페이스, 그리고
    상기 영상 데이터로부터 상기 관심 객체의 검출 및 재식별을 통해 영상 메타데이터를 획득하고, 상기 센서 데이터로부터 상기 관심 객체의 좌표값 및 행동 패턴을 포함하는 센서 메타데이터를 획득하며, 상기 센서 메타데이터와 상기 영상 메타데이터를 시간 정보에 따라 동기화시켜 학습 데이터로 생성하여 분석 모델을 학습시키는 프로세서
    를 포함하며,
    상기 프로세서는 영상 데이터의 첫 번째 프레임부터 마지막 프레임까지 순차적으로 분석하면서 상기 관심 객체를 재식별하고, 상기 첫 번째 프레임부터 상기 마지막 프레임까지 순차적으로 분석하는 시간 구간 동안 상기 센서 데이터가 획득되면 센서 타이머를 설정하며, 상기 센서 타이머의 시간 정보를 기준으로, 상기 센서 데이터로부터 검출된 행동 패턴과 상기 시간 구간에서 재식별된 관심 객체를 동기화시키는 이동 경로 예측 장치.
  7. 제6항에서,
    상기 프로세서는 상기 학습 데이터에 대응하는 입력 데이터가 입력되면, 상기 분석 모델을 통해 상기 관심 객체의 이동 경로 및 행동 패턴을 예측하는 이동 경로 예측 장치.
  8. 제6항에서,
    상기 프로세서는 상기 영상 데이터로부터 프레임간 검출된 관심 객체의 유사성 비교를 통해 상기 프레임간 검출된 관심 객체가 동일한 객체인지 재식별한 후 상기 관심 객체에 식별자를 부여하며,
    상기 영상 메타데이터는 상기 관심 객체에 식별자를 포함하는 이동 경로 예측 장치.
  9. 삭제
  10. 제8항에서,
    상기 프로세서는 상기 관심 객체의 식별자와 상기 관심 객체의 영상에 대한 특징 정보를 토대로 매칭 정보를 생성하여 저장하고, 상기 관심 객체의 매칭 정보를 이용하여 상기 재식별된 관심 객체에 대해 상기 식별자를 부여하는 이동 경로 예측 장치.
KR1020190153289A 2018-11-26 2019-11-26 이동 경로 예측 방법 및 장치 KR102475752B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180147846 2018-11-26
KR20180147846 2018-11-26

Publications (2)

Publication Number Publication Date
KR20200062065A KR20200062065A (ko) 2020-06-03
KR102475752B1 true KR102475752B1 (ko) 2022-12-08

Family

ID=71087511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153289A KR102475752B1 (ko) 2018-11-26 2019-11-26 이동 경로 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102475752B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647224B1 (ko) 2020-12-21 2024-03-13 한화시스템 주식회사 딥 러닝을 위한 이동 경로 임베딩 방법 및 이를 이용한 이동 경로 예측 방법
KR102430033B1 (ko) * 2021-12-21 2022-08-05 주식회사 코난테크놀로지 객체 검출 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866338B1 (ko) * 2017-01-23 2018-06-11 광주과학기술원 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085839B1 (ko) * 2013-12-31 2020-03-06 주식회사 케이티 디바이스 제어 방법, 디바이스의 이동 경로 예측 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체
KR101828314B1 (ko) * 2015-05-28 2018-03-02 (주)에프엠커뮤니케이션즈 다중 객체 추적 시스템 및 그 방법
KR102435494B1 (ko) * 2016-02-05 2022-08-25 한국전자통신연구원 고정형 카메라 영상 내부의 객체 경로 탐색 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866338B1 (ko) * 2017-01-23 2018-06-11 광주과학기술원 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체

Also Published As

Publication number Publication date
KR20200062065A (ko) 2020-06-03

Similar Documents

Publication Publication Date Title
JP7317919B2 (ja) 外観検索のシステムおよび方法
De Geest et al. Online action detection
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
JP4866754B2 (ja) 行動履歴検索装置及び行動履歴検索方法
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2010072723A (ja) 追跡装置及び追跡方法
US10467461B2 (en) Apparatus for searching for object and control method thereof
KR102475752B1 (ko) 이동 경로 예측 방법 및 장치
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
KR20110035662A (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
De Silva Audiovisual sensing of human movements for home-care and security in a smart environment
KR102016262B1 (ko) 연기를 포함하는 환경에 대한 영상 분석 방법 및 그 시스템
JP5552946B2 (ja) 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
Baptista-Ríos et al. Human activity monitoring for falling detection. A realistic framework
KR102656084B1 (ko) 이동경로 기반 객체 매핑 방법 및 장치
KR20150030445A (ko) 아동 음란물 탐지 시스템
JP4838272B2 (ja) 映像インデキシング装置，映像インデキシング方法，映像インデキシングプログラムおよびその記録媒体
US20220245855A1 (en) Trajectory linking apparatus, trajectory linking method, and non-transitory computer readable medium storing program
Chandran et al. A PTZ camera based people-occupancy estimation system (PCBPOES)
US20230386185A1 (en) Statistical model-based false detection removal algorithm from images
Yue et al. Spatio-temporal constraint for fast face tracking in movies

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant