KR20190118619A - 보행자 추적 방법 및 전자 디바이스 - Google Patents

보행자 추적 방법 및 전자 디바이스 Download PDF

Info

Publication number
KR20190118619A
KR20190118619A KR1020197026991A KR20197026991A KR20190118619A KR 20190118619 A KR20190118619 A KR 20190118619A KR 1020197026991 A KR1020197026991 A KR 1020197026991A KR 20197026991 A KR20197026991 A KR 20197026991A KR 20190118619 A KR20190118619 A KR 20190118619A
Authority
KR
South Korea
Prior art keywords
box
tracking
period
tracked
detection
Prior art date
Application number
KR1020197026991A
Other languages
English (en)
Other versions
KR102296088B1 (ko
Inventor
이 양
마오린 천
지엔후이 저우
보 바이
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20190118619A publication Critical patent/KR20190118619A/ko
Application granted granted Critical
Publication of KR102296088B1 publication Critical patent/KR102296088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

보행자 추적 방법 및 전자 디바이스가 제공된다. 상기 방법은: 검출 기간 동안, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계; 상체 검출 박스에 따라, 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계; 및 추적 기간 내에서, 검출 기간 전신 박스에 따라 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하는 단계를 포함한다. 추적할 보행자는 추적 기간 전신 박스에 의해 추적될 수 있음을 알 수 있다. 검출 기간 전신 박스의 폭-높이 비율은 가변적이어서, 추적할 보행자가 검출 기간에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 따른 방법에 의해, 추적할 보행자에 대한 정확한 추적 기간 전신 박스를 여전히 획득할 수 있다. 따라서, 추적할 보행자가 비정상적인 자세로 등장할 때, 추적할 보행자에 대한 정확한 추적이 여전히 실현될 수 있다.

Description

보행자 추적 방법 및 전자 디바이스
본 출원은 "PEDESTRIAN TRACKING METHOD AND ELECTRONIC DEVICE"라는 명칭으로 2017년 3월 31일에 중국 특허청에 출원된 중국 특허 출원 제201710208767.7호에 대한 우선권을 주장하며, 그 내용 전부는 참조에 의해 본 명세서에 포함된다.
본 발명은 통신 기술 분야, 특히 보행자 추적 방법 및 전자 디바이스에 관한 것이다.
안전한 도시 설립에 대한 역사적 배경에서 지능형 비디오 분석 시스템에 대한 관심이 높아지고 있다. 지능형 비디오 분석 시스템은 방대한 비디오 데이터에서 보행자를 자동으로 그리고 지능적으로 분석, 예를 들어, 보행자의 모션 트레일(motion trail)을 계산하고, 제한된 지역에서 보행자의 비정상적인 진입을 검출하고, 도로에서 보행자를 자동으로 검출하고 운전자에게 보행자를 피하도록 경고하고, 경찰이 이미지 기반 이미지 검색을 통해 범죄 용의자를 검색할 수 있도록 지원하여, 업무 효율성을 크게 향상시키고 인건비를 절약할 필요가 있다.
방대한 비디오 데이터에서 보행자를 자동으로 추출하기 위해, 보행자 검출 및 추적 알고리즘을 사용할 필요가 있다. 보행자 검출은, 이미지를 입력하고, 검출 알고리즘을 사용하여 이미지에서 보행자를 자동으로 찾고, 직사각형 상자 형태로 보행자의 위치를 제공하는 것을 말한다. 직사각형 박스는 보행자의 검출 박스로 지칭된다. 비디오에서 보행자는 움직이기 때문에, 비디오의 각 프레임에서 보행자의 위치를 획득하기 위해, 보행자는 보행자 추적 알고리즘을 사용하여 추적될 필요가 있다. 위치는 또한 직사각형 박스 형태로 제공되고, 직사각형 박스는 보행자의 추적 박스로 지칭된다.
종래 기술의 단점은 다음과 같다: 1. 검출 박스가 충분히 정확하지 않다: 보행자의 검출 박스의 종횡비가 고정되어 보행자의 전신이 검출된다. 따라서, 보행자가, 예를 들어, 다리를 넓게 벌리는 것과 같은 비정상적인 자세로 등장할 때, 이에 따라 종횡비는 증가하고, 종횡비가 고정된 보행자의 검출 박스는 충분히 정확하지 못하다. 2. 검출 박스와 추적 박스는 보행 과정에서의 보행자의 자세 변화를 포착할 수 없다: 비디오에서 보행자는 움직이기 때문에, 보행 과정에서 보행자의 자세는 크게 변할 수 있다. 이러한 변화는 비디오 이미지에서 보행자의 최소 경계 직사각형 박스의 종횡비에 대한 변화로서 나타낸 것이다. 보행 과정에서 보행자의 자세 변화는 고정 종횡비를 갖는 검출 상자와 추적 상자에 기초하여 캡처될 수 없다.
본 발명은 보행자 추적 방법 및 전자 디바이스를 제공하여, 추적할 보행자의 자세 변화에 무관하게 정확한 추적을 구현할 수 있다.
본 발명의 실시 예들의 제1 측면은 보행자 추적 방법을 제공하며, 상기 방법은 다음 단계들을 포함한다.
단계 A: 추적할 비디오의 검출 기간 및 추적 기간을 결정한다.
선택적으로, 검출 기간은 추적 기간에 포함되고, 검출 기간의 듀레이션(duration)은 추적 기간의 듀레이션보다 작다.
선택적으로, 본 실시 예에 나타낸 검출 기간은 추적 기간에 포함되지 않을 수 있고, 검출 기간은 추적 기간 이전에 있고, 검출 기간의 듀레이션은 추적 기간의 듀레이션보다 작다.
단계 B: 추적할 보행자의 상체 검출 박스를 획득한다.
구체적으로, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스는 검출 기간 내에 획득된다.
더욱 구체적으로, 대상 이미지 프레임이 먼저 결정되고, 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.
대상 이미지 프레임이 결정된 경우, 상체 검출 박스는 대상 이미지 프레임에서 획득될 수 있다.
단계 C: 추적할 보행자의 검출 기간 전신 박스를 획득한다,
구체적으로, 추적할 보행자의 검출 기간 전신 박스는, 상체 검출 박스에 기초하여 획득된다.
단계 D: 추적할 보행자의 상체 추적 박스를 획득한다.
구체적으로, 비디오에 등장하는 추적할 보행자의 상체 추적 박스는 추적 기간 내에 획득된다.
본 실시 예에서, 검출 기간 내에 획득된 검출 기간 전신 박스는 추적 대상으로 초기화되어, 추적 대상으로서의 추적할 보행자는 추적 기간 내에 추적될 수 있다.
단계 E: 추적 기간 전신 박스를 획득한다.
구체적으로, 상체 추적 박스에 대응하는 추적 기간 전신 박스는 검출 기간 전신 박스에 기초하여 획득된다.
추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.
본 실시 예에 나타낸 방법을 사용함으로써, 획득할 검출 기간 전신 박스는, 추적할 보행자의 상체 검출 박스에 기초하여 획득되며, 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 방법을 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.
본 발명의 실시 예들의 제1 측면을 참조하여, 본 발명의 실시 예들의 제1 측면의 제1 구현 예에서, 단계 C 전에, 다음 단계들이 더 수행된다.
단계 C01: 하체 스캔 영역을 획득한다.
본 실시 예에서, 추적할 보행자의 상체 검출 박스를 획득한 후, 추적할 보행자의 하체 스캔 영역은, 추적할 보행자의 상체 검출 박스에 기초하여 획득될 수 있다.
단계 C02: 검출 기간 전신 박스를 획득한다.
구체적으로, 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득된 경우, 검출 기간 전신 박스는 상체 검출 박스 및 하체 검출 박스에 기초하여 획득된다.
본 실시 예에 나타낸 방법을 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득된다. 획득한 검출 기간 전신 박스의 종횡비는 변할 수 있음을 알 수 있다. 따라서, 예를 들어, 추적할 보행자가 다리를 넓게 벌린 자세에서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하여, 추적할 보행자의 상체와 하체의 비율이 변하는 경우에도, 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써, 추적할 보행자의 정확한 검출 기간 전신 박스가 여전히 획득될 수 있어서, 추적할 보행자를 추적할 준비를 할 수 있다.
본 발명의 실시 예들의 제1 측면을 참조하여, 본 발명의 실시 예들의 제1 측면의 제2 구현 예에서, 상체 검출 박스는
Figure pct00001
이고,
Figure pct00002
은 상체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00003
은 상체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00004
은 상체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00005
은 상체 검출 박스의 우측 하단 수직 좌표이다.
단계 C01: 구체적으로 다음 단계들을 포함한다.
단계 C011: 제1 파라미터를 결정한다.
제1 파라미터는
Figure pct00006
이고,
Figure pct00007
는 사전 설정 비율이다.
선택적으로, 본 실시 예의
Figure pct00008
는 사전 저장되고,
Figure pct00009
는 인체 검출 박스의 종횡비에 기초하여 사전 설정될 수 있다. 예를 들어, 인체 검출 박스의 종횡비가 3:7인 것으로 미리 결정된 경우,
Figure pct00010
는 3/7으로 설정되고
Figure pct00011
는 저장되어, 본 단계를 수행하는 과정에서, 제1 파라미터
Figure pct00012
를 계산하기 위해
Figure pct00013
가 추출될 수 있다.
단계 C012: 제2 파라미터를 결정한다.
제2 파라미터는
Figure pct00014
이다.
단계 C013: 제3 파라미터를 결정한다.
제3 파라미터는
Figure pct00015
이고, 제1 파라미터
Figure pct00016
-
Figure pct00017
과 동일하다.
단계 C014: 하체 스캔 영역을 결정한다.
구체적으로, 하체 스캔 영역은 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 결정될 수 있다.
제1 파라미터, 제2 파라미터 및 제3 파라미터가 획득된 경우, 하체 스캔 영역이 결정될 수 있어서, 획득된 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출됨으로써, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킨다는 점을 알 수 있다.
본 발명의 실시 예들의 제1 측면의 제2 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제3 구현 예에서,
단계 C014는 구체적으로 다음과 같이 수행된다: 하체 스캔 영역은 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 결정되며, 하체 스캔 영역은
Figure pct00018
이다.
구체적으로,
Figure pct00019
은 하체 스캔 영역의 좌측 상단 수평 좌표이고,
Figure pct00020
은 하체 스캔 영역의 좌측 상단 수직 좌표이고,
Figure pct00021
은 하체 스캔 영역의 우측 하단 수평 좌표이고,
Figure pct00022
은 하체 스캔 영역의 우측 하단 수직 좌표이다.
더욱 구체적으로,
Figure pct00023
,
Figure pct00024
,
Figure pct00025
및
Figure pct00026
이다.
Figure pct00027
,
Figure pct00028
및
Figure pct00029
는 사전 설정 값이고,
Figure pct00030
,
Figure pct00031
및
Figure pct00032
는 경험적 값일 수 있고, 또는 운영 스태프(operating staff)가
Figure pct00033
,
Figure pct00034
및
Figure pct00035
의 다른 설정을 통해 하체 스캔 영역의 다른 설정을 구현할 수 있다.
Figure pct00036
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
Figure pct00037
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 높이이다.
본 실시 예에 나타낸 방법을 사용함으로써, 추적할 보행자의 하체 검출 박스가, 획득된 하체 스캔 영역에서 검출될 수 있어서, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킬 수 있다. 또한, 획득 과정에서, 하체 스캔 영역의 다른 설정은 파라미터(
Figure pct00038
,
Figure pct00039
및
Figure pct00040
)의 다른 설정을 통해 구현될 수 있어, 본 실시 예에 나타낸 방법의 높은 적용 가능성(applicability)을 달성할 수 있다. 이러한 방식으로, 다른 어플리케이션 시나리오에서, 추적할 보행자를 검출하는 정확도를 향상시키기 위해, 파라미터의 다른 설정에 기초하여 하체 검출 박스의 다른 방향이 구현될 수 있다.
본 발명의 실시 예들의 제1 측면의 제1 구현 예 내지 본 발명의 실시 예들의 제1 측면의 제3 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제4 구현 예에서,
하체 검출 박스는
Figure pct00041
이고,
Figure pct00042
은 하체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00043
은 하체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00044
은 하체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00045
은 하체 검출 박스의 우측 하단 수직 좌표이다.
단계 C는 다음 단계들을 포함한다.
단계 C11: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00046
이다.
단계 C12: 검출 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00047
이다.
단계 C13: 검출 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00048
이다.
단계 C14: 검출 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00049
이다.
단계 C15: 검출 기간 전신 박스를 결정한다.
구체적으로, 검출 기간 전신 박스는
Figure pct00050
이다.
본 실시 예에 나타낸 방법을 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득되어, 추적할 보행자가 비정상적인 자세, 예를 들어, 다리를 넓게 벌린 자세로 등장하고, 종횡비가 증가하는 경우에도, 본 실시 예로 인해 정확한 검출 기간 전신 박스가 획득될 수 있고, 추적할 보행자의 상체 및 하체는 개별적으로 검출될 수 있어, 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 개별적으로 획득할 수 있고, 다시 말해서, 검출 기간 전신 박스에서 상체 검출 박스와 하체 검출 박스의 비율은 추적할 보행자의 자세에 따라 변할 수 있음을 알 수 있다. 보행 과정에서 추적할 보행자의 자세의 변화는, 변화할 수 있는 상체 검출 박스 대 하체 검출 박스의 비율에 기초하여 정확하게 캡처될 수 있고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있음을 알 수 있다.
본 발명의 실시 예들의 제1 측면의 제4 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제5 구현 예에서,
단계 C 이후, 다음 단계들이 더 수행될 필요가 있다.
단계 D01: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율을 결정한다.
구체적으로, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율은
Figure pct00051
이다.
단계 D02: 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율을 결정한다.
구체적으로, 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율은
Figure pct00052
이다.
단계 D03: 추적 기간 전신 박스를 결정한다.
구체적으로, 추적 기간 전신 박스는
Figure pct00053
및
Figure pct00054
에 기초하여 결정된다.
본 실시 예에 나타낸 방법을 사용함으로써, 추적 기간 전신 박스는 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율 및 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율에 기초하여 결정될 수 있다. 검출 기간 전신 박스는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있기 때문에, 보행 과정에서 추적할 보행자의 자세의 변화는, 검출 기간 전신 박스를 이용함으로써 획득되는 추적 기간 전신 박스에 기초하여 정확하게 캡처될 수 있어, 추적 기간 전신 박스를 이용함으로써 추적할 보행자를 추적하는 정확도를 향상시키고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있다.
본 발명의 실시 예들의 제1 측면의 제2 구현 예 또는 본 발명의 실시 예들의 제1 측면의 제3 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제6 구현 예에서,
단계 C01 이후, 다음 단계들이 더 수행될 필요가 있다.
단계 C21: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.
구체적으로, 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표가 결정된다.
더욱 구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00055
이다.
단계 C22: 검출 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00056
이다.
단계 C23: 검출 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00057
이다.
단계 C24: 검출 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.
구체적으로, 검출 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00058
이다.
단계 C25: 검출 기간 전신 박스가
Figure pct00059
인 것으로 결정한다.
본 실시 예에 나타낸 방법을 이용함으로써, 하체 스캔 영역에서 하체 검출 박스가 획득되지 않는 경우에도, 하체 검출 박스는 상체 검출 박스에 기초하여 계산될 수 있어, 하체 검출 박스가 검출되지 않을 때 검출 기간 전신 박스는 여전히 획득될 수 있어서, 추적할 보행자의 추적을 효과적으로 보장하고, 추적할 보행자의 하체가 검출될 수 없기 때문에 추적할 보행자를 추적할 수 없는 경우를 피할 수 있음을 알 수 있다. 또한, 보행 과정에서 추적할 보행자의 자세 변화는 정확하게 캡처될 수 있어서, 추적할 보행자의 자세의 변화로 인해 추적할 보행자가 추적될 수 없는 경우를 피할 수 있다.
본 발명의 실시 예들의 제1 측면의 제6 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제7 구현 예에서,
상기 방법은 다음 단계들을 더 포함한다.
단계 C31: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율을 획득한다.
구체적으로, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율은
Figure pct00060
이다.
단계 C32: 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율을 결정한다.
구체적으로, 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율은
Figure pct00061
이다.
단계 C33:
Figure pct00062
및
Figure pct00063
에 기초하여 추적 기간 전신 박스를 결정한다.
본 실시 예에 나타낸 방법을 이용함으로써, 하체 검출 박스가 하체 스캔 영역에서 획득되지 않은 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적할 보행자의 추적을 효과적으로 보장할 수 있다.
본 발명의 실시 예들의 제1 측면의 제5 구현 예 또는 본 발명의 실시 예들의 제1 측면의 제7 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제8 구현 예에서,
상체 추적 박스는
Figure pct00064
이고,
Figure pct00065
은 상체 추적 박스의 좌측 상단 수평 좌표이고,
Figure pct00066
은 상체 추적 박스의 좌측 상단 수직 좌표이고,
Figure pct00067
은 상체 추적 박스의 우측 하단 수평 좌표이고,
Figure pct00068
은 상체 추적 박스의 우측 하단 수직 좌표이다.
단계 C33은 구체적으로 다음 단계들을 포함한다.
단계 C331: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.
구체적으로,
Figure pct00069
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00070
이다.
단계 C332: 추적 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00071
이다.
단계 C333: 추적 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00072
이다.
단계 C334: 추적 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00073
이다.
더욱 구체적으로,
Figure pct00074
이다.
단계 C335: 추적 기간 전신 박스를 결정한다.
구체적으로, 추적 기간 전신 박스는
Figure pct00075
이다.
본 실시 예에 나타낸 방법을 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표
Figure pct00076
이 상체 검출 박스의 좌측 상단 수평 좌표
Figure pct00077
과 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들의 제1 측면 내지 본 발명의 실시 예들의 제1 측면의 제8 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제9 구현 예에서,
단계 D는 구체적으로 다음 단계들을 포함한다.
단계 D11: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시킨다.
구체적으로, 복수의 입자는 상체 검출 박스를 중심으로 하여 산란되고, 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일하다.
상체 검출 박스가 추적할 비디오의 검출 기간 내에서 결정되는 경우, 추적할 보행자는 추적할 비디오의 추적 기간 내에서 추적된다. 추적할 보행자는 추적할 비디오에서 움직이며, 검출 기간 및 추적 기간 내에서 추적할 보행자의 위치는 상이하다. 따라서, 추적할 보행자를 추적하기 위해, 복수의 입자는 추적할 보행자의 상체 검출 박스의 주위에 산란되어 추적할 보행자를 추적할 수 있다.
단계 D12: 상체 추적 박스를 결정한다.
구체적으로, 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자이다.
본 실시 예에 나타낸 방법을 이용함으로써, 복수의 입자가 상체 검출 박스를 중심으로 하여 산란되어, 추적 기간 내에 정확한 상체 추적 박스가 획득될 수 있다. 또한, 상체 추적 박스는 상체 검출 박스를 이용함으로써 획득되어, 추적할 보행자의 다른 자세가 매칭될 수 있어, 추적할 보행자를 정확하게 추적할 수 있다.
본 발명의 실시 예들의 제1 측면의 제8 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제10 구현 예에서,
단계 E는 구체적으로 다음 단계들을 포함할 수 있다.
단계 E11: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.
구체적으로,
Figure pct00078
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00079
이다.
단계 E12: 추적 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00080
이다.
단계 E13: 추적 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00081
이다.
단계 E14: 추적 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.
구체적으로, 추적 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00082
이다.
더욱 구체적으로,
Figure pct00083
이다.
단계 E15: 추적 기간 전신 박스를 결정한다.
구체적으로, 추적 기간 전신 박스는
Figure pct00084
이다.
본 실시 예에 나타낸 방법을 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표
Figure pct00085
가 하체 검출 박스의 좌측 상단 수평 좌표
Figure pct00086
와 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들의 제1 측면 내지 본 발명의 실시 예들의 제1 측면의 제10 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제11 구현 예에서,
상기 방법은 다음 단계들을 더 포함한다.
단계 E21: 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득한다.
대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전에 있다.
단계 E22: 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득한다.
구체적으로, 대상 이미지 프레임 시퀀스의 임의의 이미지 프레임에서, 정지 배경은 정적 배경 모델을 사용하여 획득되고, 정지 객체는 추적할 비디오의 배경 영역으로 결정된다.
단계 E23: 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득한다.
구체적으로, 추적할 비디오의 이미지 프레임의 전경 영역은, 검출 기간 내의 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 획득된다.
구체적으로, 추적할 비디오의 배경 영역이 획득된 경우, 추적할 비디오의 이미지 프레임의 임의의 영역과 배경 영역 사이의 차이가 얻어지고, 대상 값을 획득한다. 추적할 비디오의 이미지 프레임의 상이한 영역들이 각각 하나의 대상 값에 대응함을 알 수 있다.
대상 값이 사전 설정 임계 치보다 크거나 같은 경우, 이것은 추적할 비디오의 이미지 프레임의 영역이고 대상 값에 대응하는 영역이 모션 영역임을 나타낸다.
모션 영역이 검출된 경우, 모션 영역은 추적할 비디오의 이미지 프레임의 전경 영역으로서 결정된다.
단계 E24: 추적할 보행자를 획득한다.
구체적으로, 추적할 보행자는, 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 획득된다.
본 발명의 실시 예들의 제1 측면의 제11 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제12 구현 예에서,
단계 B는 다음 단계들을 포함한다.
단계 B1: 대상 이미지 프레임을 결정한다.
구체적으로, 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.
단계 B12: 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득한다.
본 실시 예에 나타낸 방법을 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임에 대한 전경 영역에서 검출 및 추적될 수 있고, 즉, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정 모두 이미지의 전경 영역에서 실행됨을 알 수 있다. 따라서 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 추적할 보행자를 검색하기 위한 검색 공간이 줄어 들어, 추적할 보행자 추적에 필요한 듀레이션을 줄이고 추적할 보행자 추적 효율성을 향상시킨다.
본 발명의 실시 예들의 제2 측면은 전자 디바이스를 제공하며, 상기 전자 디바이스는 제1 결정 유닛, 제1 획득 유닛, 제2 획득 유닛, 제3 획득 유닛 및 제4 획득 유닛을 포함한다.
제1 결정 유닛은 추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된다.
본 실시 예에 나타낸 제1 결정 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 A를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제1 획득 유닛은, 검출 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하도록 구성된다.
본 실시 예에 나타낸 제1 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 B를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제2 획득 유닛은, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제3 획득 유닛은, 추적 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 추적 박스를 획득하도록 구성된다.
본 실시 예에 나타낸 제3 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제4 획득 유닛은, 검출 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하도록 구성되며, 추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.
본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득할 검출 기간 전신 박스는, 추적할 보행자의 상체 검출 박스에 기초하여 획득되며, 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 방법을 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.
본 발명의 실시 예들의 제2 측면을 참조하여, 본 발명의 실시 예들의 제2 측면의 제1 구현 예에서,
상기 제2 획득 유닛은 구체적으로:
상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고;
하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득하도록 구성된다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C01 및 단계 C02를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득된다. 획득한 검출 기간 전신 박스의 종횡비는 변할 수 있음을 알 수 있다. 따라서, 예를 들어, 추적할 보행자가 다리를 넓게 벌린 자세에서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하여, 추적할 보행자의 상체와 하체의 비율이 변하는 경우에도, 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써, 추적할 보행자의 정확한 검출 기간 전신 박스가 여전히 획득될 수 있어서, 추적할 보행자를 추적할 준비를 할 수 있다.
본 발명의 실시 예들의 제2 측면의 제1 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제2 구현 예에서,
상체 검출 박스는
Figure pct00087
이고,
Figure pct00088
은 상체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00089
은 상체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00090
은 상체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00091
은 상체 검출 박스의 우측 하단 수직 좌표이고;
상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛은 구체적으로: 제1 파라미터를 결정하고 - 여기서 제1 파라미터는
Figure pct00092
이고,
Figure pct00093
는 사전 설정 비율임 -; 제2 파라미터를 결정하고 - 여기서 제2 파라미터는
Figure pct00094
임 -; 제3 파라미터를 결정하고 - 여기서 제3 파라미터는
Figure pct00095
이고, 제1 파라미터
Figure pct00096
-
Figure pct00097
과 동일함 -; 및 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성된다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C011, 단계 C012, 단계 C013 및 단계 C014를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득하는 경우, 본 실시 예에 나타낸 전자 디바이스는 하체 스캔 영역이 결정할 수 있어서, 획득된 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출됨으로써, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킨다는 점을 알 수 있다.
본 발명의 실시 예들의 제2 측면의 제2 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제3 구현 예에서, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛은 구체적으로, 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성되고, 여기서 상기 하체 스캔 영역은
Figure pct00098
이고,
Figure pct00099
은 하체 스캔 영역의 좌측 상단 수평 좌표이고,
Figure pct00100
은 하체 스캔 영역의 좌측 상단 수직 좌표이고,
Figure pct00101
은 하체 스캔 영역의 우측 하단 수평 좌표이고,
Figure pct00102
은 하체 스캔 영역의 우측 하단 수직 좌표이고,
Figure pct00103
,
Figure pct00104
,
Figure pct00105
및
Figure pct00106
이고;
Figure pct00107
,
Figure pct00108
및
Figure pct00109
는 사전 설정 값이고,
Figure pct00110
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
Figure pct00111
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 높이이다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C014를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 추적할 보행자의 하체 검출 박스가, 획득된 하체 스캔 영역에서 검출될 수 있어서, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킬 수 있다. 또한, 획득 과정에서, 하체 스캔 영역의 다른 설정은 파라미터(
Figure pct00112
,
Figure pct00113
및
Figure pct00114
)의 다른 설정을 통해 구현될 수 있어, 본 실시 예에 나타낸 방법의 높은 적용 가능성을 달성할 수 있다. 이러한 방식으로, 다른 어플리케이션 시나리오에서, 추적할 보행자를 검출하는 정확도를 향상시키기 위해, 파라미터의 다른 설정에 기초하여 하체 검출 박스의 다른 방향이 구현될 수 있다.
본 발명의 실시 예들의 제2 측면의 제1 구현 예 내지 본 발명의 실시 예들의 제2 측면의 제3 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제4 구현 예에서,
하체 검출 박스는
Figure pct00115
이고,
Figure pct00116
은 하체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00117
은 하체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00118
은 하체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00119
은 하체 검출 박스의 우측 하단 수직 좌표이고;
상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛은 구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00120
임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00121
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00122
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00123
인 것으로 결정하고; 및 검출 기간 전신 박스가
Figure pct00124
인 것으로 결정하도록 구성된다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C11, 단계 C12, 단계 C13. 단계 C14 및 단계 C15를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득되어, 추적할 보행자가 비정상적인 자세, 예를 들어, 다리를 넓게 벌린 자세로 등장하고, 종횡비가 증가하는 경우에도, 본 실시 예로 인해 정확한 검출 기간 전신 박스가 획득될 수 있고, 추적할 보행자의 상체 및 하체는 개별적으로 검출될 수 있어, 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 개별적으로 획득할 수 있고, 다시 말해서, 검출 기간 전신 박스에서 상체 검출 박스와 하체 검출 박스의 비율은 추적할 보행자의 자세에 따라 변할 수 있음을 알 수 있다. 보행 과정에서 추적할 보행자의 자세의 변화는, 변화할 수 있는 상체 검출 박스 대 하체 검출 박스의 비율에 기초하여 정확하게 캡처될 수 있고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있음을 알 수 있다.
본 발명의 실시 예들의 제2 측면의 제4 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제5 구현 예에서, 제4 획득 유닛은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율이
Figure pct00125
인 것으로 결정하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이
Figure pct00126
인 것으로 결정하고; 및
Figure pct00127
및
Figure pct00128
에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.
본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D01, 단계 D02 및 단계 D03을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 추적 기간 전신 박스는 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율 및 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율에 기초하여 결정될 수 있다. 검출 기간 전신 박스는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있기 때문에, 보행 과정에서 추적할 보행자의 자세의 변화는, 검출 기간 전신 박스를 이용함으로써 획득되는 추적 기간 전신 박스에 기초하여 정확하게 캡처될 수 있어, 추적 기간 전신 박스를 이용함으로써 추적할 보행자를 추적하는 정확도를 향상시키고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있다.
본 발명의 실시 예들의 제2 측면의 제2 구현 예 또는 본 발명의 실시 예들의 제2 측면의 제3 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제6 구현 예에서,
상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛은 구체적으로: 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
Figure pct00129
임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00130
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00131
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00132
인 것으로 결정하고; 및 검출 기간 전신 박스가
Figure pct00133
인 것으로 결정하도록 구성된다.
본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C21, 단계 C22, 단계 C23 및 단계 C24를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 하체 스캔 영역에서 하체 검출 박스가 획득되지 않는 경우에도, 하체 검출 박스는 상체 검출 박스에 기초하여 계산될 수 있어, 하체 검출 박스가 검출되지 않을 때 검출 기간 전신 박스는 여전히 획득될 수 있어서, 추적할 보행자의 추적을 효과적으로 보장하고, 추적할 보행자의 하체가 검출될 수 없기 때문에 추적할 보행자를 추적할 수 없는 경우를 피할 수 있음을 알 수 있다. 또한, 보행 과정에서 추적할 보행자의 자세 변화는 정확하게 캡처될 수 있어서, 추적할 보행자의 자세의 변화로 인해 추적할 보행자가 추적될 수 없는 경우를 피할 수 있다.
본 발명의 실시 예들의 제2 측면의 제6 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제7 구현 예에서, 제4 획득 유닛은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
Figure pct00134
을 획득하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이
Figure pct00135
인 것으로 결정하고; 및
Figure pct00136
및
Figure pct00137
에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.
본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C31, 단계 C32 및 단계 C33을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 하체 검출 박스가 하체 스캔 영역에서 획득되지 않은 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적할 보행자의 추적을 효과적으로 보장할 수 있음을 알 수 있다.
본 발명의 실시 예들의 제2 측면의 제5 구현 예 또는 본 발명의 실시 예들의 제2 측면의 제7 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제8 구현 예에서,
상체 추적 박스는
Figure pct00138
이고,
Figure pct00139
은 상체 추적 박스의 좌측 상단 수평 좌표이고,
Figure pct00140
은 상체 추적 박스의 좌측 상단 수직 좌표이고,
Figure pct00141
은 상체 추적 박스의 우측 하단 수평 좌표이고,
Figure pct00142
은 상체 추적 박스의 우측 하단 수직 좌표이고;
Figure pct00143
및
Figure pct00144
에 기초하여 추적 기간 전신 박스를 결정하는 경우, 제4 획득 유닛은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
Figure pct00145
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00146
임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00147
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00148
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00149
인 것으로 결정하고 - 여기서
Figure pct00150
임 -; 및 추적 기간 전신 박스가
Figure pct00151
인 것으로 결정하도록 구성된다.
본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C331, 단계 C332, 단계 C333, 단계 C334 및 단계 C335를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표
Figure pct00152
이 상체 검출 박스의 좌측 상단 수평 좌표
Figure pct00153
과 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들의 제2 측면 내지 본 발명의 실시 예들의 제2 측면의 제8 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제9 구현 예에서,
제3 획득 유닛은 구체적으로: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일함 -; 및 상체 추적 박스를 결정하도록 구성된다 - 여기서 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자임 -.
본 실시 예에 나타낸 제3 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D11 및 단계 D12를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 복수의 입자가 상체 검출 박스를 중심으로 하여 산란되어, 추적 기간 내에 정확한 상체 추적 박스가 획득될 수 있다. 또한, 상체 추적 박스는 상체 검출 박스를 이용함으로써 획득되어, 추적할 보행자의 다른 자세가 매칭될 수 있어, 추적할 보행자를 정확하게 추적할 수 있다.
본 발명의 실시 예들의 제2 측면의 제8 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제10 구현 예에서,
제4 획득 유닛은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
Figure pct00154
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00155
임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00156
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00157
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00158
인 것으로 결정하고 - 여기서
Figure pct00159
임 -; 및 추적 기간 전신 박스가
Figure pct00160
인 것으로 결정하도록 구성된다.
본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E11, 단계 E12, 단계 E13, 단계 E14 및 단계 E15를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표
Figure pct00161
가 하체 검출 박스의 좌측 상단 수평 좌표
Figure pct00162
와 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들의 제2 측면 내지 본 발명의 실시 예들의 제2 측면의 제10 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제11 구현 예에서, 전자 디바이스는 제5 획득 유닛, 제6 획득 유닛, 제7 획득 유닛 및 제8 획득 유닛을 더 포함한다.
제5 획득 유닛은, 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성되고, 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전에 있다.
본 실시 예에 나타낸 제5 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E21을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제6 획득 유닛은, 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득하도록 구성된다.
본 실시 예에 나타낸 제6 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E22를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제7 획득 유닛은, 검출 기간 내의 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된다.
본 실시 예에 나타낸 제7 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E23을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
제8 획득 유닛은, 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득하도록 구성된다.
본 실시 예에 나타낸 제8 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E24를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 발명의 실시 예들의 제2 측면의 제11 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제12 구현 예에서,
제1 획득 유닛은 구체적으로: 대상 이미지 프레임을 결정하고 - 여기서 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및 대상 이미지 프레임의 전경 영역의 상체 검출 박스를 획득하도록 구성된다.
본 실시 예에 나타낸 제1 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 B11 및 단계 B12를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.
본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임에 대한 전경 영역에서 검출 및 추적될 수 있고, 즉, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정 모두 이미지의 전경 영역에서 실행됨을 알 수 있다. 따라서 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 추적할 보행자를 검색하기 위한 검색 공간이 줄어 들어, 추적할 보행자 추적에 필요한 듀레이션을 줄이고 추적할 보행자 추적 효율성을 향상시킨다.
본 발명의 실시 예들은 보행자 추적 방법 및 전자 디바이스를 제공한다. 상기 방법에 따르면, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스는 검출 기간 내에 획득될 수 있고; 추적할 보행자의 검출 기간 전신 박스는 상체 검출 박스에 기초하여 획득되고; 상체 추적 박스에 대응하는 추적 기간 전신 박스는 검출 기간 전신 박스에 기초하여 추적 기간 내에서 획득된다. 추적할 보행자는 추적 기간 전신 박스를 이용함으로써 추적될 수 있음을 알 수 있다. 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 방법을 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.
도 1은 본 발명에 따른 전자 디바이스의 일 실시 예를 설명하기 위한 개략 구조도이다.
도 2는 본 발명에 따른 프로세서의 일 실시 예를 설명하기 위한 개략 구조도이다.
도 3a 및 도 3b는 본 발명에 따른 보행자 추적 방법에 대한 일 실시 예의 단계들을 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 보행자 추적 방법의 일 실시 예를 설명하기 위한 개략 응용도이다.
도 5는 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 6은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 7은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 8은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 9a 및 도 9b는 본 발명에 따른 보행자 질의 방법에 대한 일 실시 예의 단계들을 설명하기 위한 흐름도이다.
도 10a 및 도 10b는 본 발명에 따른 보행자 질의 방법에 대한 일 실시 예의 실행 단계들을 설명하기 위한 개략도이다.
도 11은 본 발명에 따른 전자 디바이스의 다른 실시 예를 설명하기 위한 개략 구조도이다.
본 발명의 실시 예들은 보행자 추적 방법을 제공한다. 본 발명의 실시 예들에 나타낸 보행자 추적 방법을 보다 잘 이해하기 위해, 먼저 본 발명의 실시 예들에 나타낸 방법을 수행할 수 있는 전자 디바이스의 특정 구조를 상세히 설명한다.
아래에서는 도 1을 참조하여 실시 예들에 나타낸 전자 디바이스의 구체적인 구조가 상세히 설명된다. 도 1은 본 발명에 따른 전자 디바이스의 일 실시 예를 설명하기 위한 개략 구조도이다.
전자 디바이스(100)는 구성 또는 성능에 따라 크게 달라질 수 있으며, 하나 이상의 프로세서(122)를 포함할 수 있다.
프로세서(122)는, 실시 예들에 나타낸 보행자 추적 방법을 수행하기 위한 컴퓨팅 및 이미지 처리 능력을 가질 수 있다면, 본 실시 예로 제한되지 않는다. 선택적으로, 본 실시 예에 도시된 프로세서(122)는 중앙 처리 장치(CPU)일 수 있다.
하나 이상의 저장 매체(130)(예를 들어, 하나 이상의 대규모 저장 디바이스)는 어플리케이션 프로그램(142) 또는 데이터(144)를 저장하도록 구성된다.
저장 매체(130)는 일시적 저장 매체 또는 영구 저장 매체일 수 있다. 저장 매체(130)에 저장된 프로그램은 하나 이상의 모듈(도시되지 않음)을 포함할 수 있으며, 각 모듈은 전자 디바이스에서 일련의 명령 동작을 포함할 수 있다.
또한, 프로세서(122)는 저장 매체(130)와 통신하고, 전자 디바이스(100)의 저장 매체(130)에서 일련의 명령 동작을 수행하도록 구성될 수 있다.
전자 디바이스(100)는 하나 이상의 전원 공급부(126), 하나 이상의 입력/출력 인터페이스(158) 및/또는 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM 및 FreeBSDTM와 같은 하나 이상의 운영 체제(141)를 더 포함할 수 있다.
본 발명의 일 구현에서, 전자 디바이스는 이미지 처리 능력 및 컴퓨팅 능력을 갖는 임의의 디바이스일 수 있으며, 서버, 카메라, 모바일 컴퓨터, 태블릿 컴퓨터 등을 포함하지만 이에 제한되지는 않는다.
본 실시 예에 나타낸 전자 디바이스가 실시 예들에 나타낸 보행자 추적 방법을 수행하는 경우, 본 실시 예에 나타낸 입력/출력 인터페이스(158)는 대규모 감시 비디오를 수신하도록 구성될 수 있고, 입력/출력 인터페이스(158)는 검출 과정, 보행자 추적 결과 등을 표시할 수 있다. 프로세서(122)는 보행자 검출을 수행하고 보행자 추적 알고리즘을 실행하도록 구성된다. 저장 매체(130)는 운영 체제, 어플리케이션 프로그램 등을 저장하도록 구성되고, 저장 매체(130)는 보행자 추적 과정의 중간 결과 등을 저장할 수 있다. 실시 예에 나타낸 방법을 수행하는 과정에서, 실시 예에 나타낸 전자 디바이스는 방대한 감시 비디오로부터 추적될 필요가 있는 대상 보행자를 찾을 수 있고, 대상 보행자가 감시 비디오에 등장하는 시간 및 장소와 같은 정보를 제공할 수 있다.
실시 예들에 나타낸 보행자 추적 방법을 구현하도록 구성된 프로세서(122)의 구체적인 구조가 도 2를 참조하여 아래에서 상세히 설명된다.
구체적으로, 프로세서(122)는 메타 데이터 추출 유닛(21) 및 질의 유닛(22)을 포함한다.
더욱 구체적으로, 메타 데이터 추출 유닛(21)은 객체 추출 모듈(211), 특징 추출 모듈(212) 및 인덱스 구성 모듈(213)을 포함한다.
더욱 구체적으로, 질의 유닛(22)은 특징 추출 모듈(221), 특징 융합 모듈(222) 및 인덱싱 및 질의 모듈(223)을 포함한다.
본 실시 예에서, 프로세서(122)는, 도 2에 나타낸 프로세서(122)에 포함된 임의의 유닛에서 임의의 모듈의 기능을 구현하기 위해 저장 매체(130)에 저장된 프로그램을 실행할 수 있다.
아래에서는 도 1 및 도 2에 나타낸 전자 디바이스에 기초하여, 실시 예들에 나타낸 보행자 추적 방법의 구체적인 실행 절차가 도 3a 및 도 3b를 참조하여 상세히 설명된다.
도 3a 및도 3b는 본 발명에 따른 보행자 추적 방법의 일 실시 예의 단계들을 설명하기 위한 흐름도이다.
본 실시 예에 나타낸 보행자 추적 방법의 실행 바디(body)는 전자 디바이스이며, 구체적으로 프로세서(122)의 하나 이상의 모듈, 예를 들어, 객체 추출 모듈(211)일 수 있음을 유의하여야 한다.
본 실시 예에 나타낸 보행자 추적 방법은 다음 단계들을 포함한다.
단계 301: 추적할 비디오를 획득한다.
구체적으로, 본 실시 예에 나타낸 프로세서(122)에 포함된 객체 추출 모듈(211)은 추적할 비디오를 획득하도록 구성된다.
선택적으로, 본 실시 예에 나타낸 전자 디바이스가 카메라를 포함하지 않는 경우, 예를 들어, 전자 디바이스가 서버인 경우, 본 실시 예에 나타낸 전자 디바이스는 입력/출력 인터페이스(158)를 이용하여 복수의 카메라와 통신한다. 카메라는 추적할 보행자를 촬영하여 추적할 비디오를 생성하도록 구성된다. 이에 상응하여, 전자 디바이스는 입력/출력 인터페이스(158)를 이용하여 카메라에 의해 송신된 추적할 비디오를 수신하고, 또한, 프로세서(122)의 객체 추출 모듈(211)은 입력/출력 인터페이스(158)에 의해 수신된 추적할 비디오를 획득한다.
선택적으로, 본 실시 예에 나타낸 전자 디바이스가 카메라를 포함하는 경우, 예를 들어, 전자 디바이스가 비디오 카메라인 경우, 전자 디바이스의 프로세서(122)의 객체 추출 모듈(211)은 전자 디바이스의 카메라에 의해 추적할 비디오 샷을 획득한다.
구체적인 어플리케이션에서, 본 실시 예에 나타낸 추적할 비디오는 대개 대규모 비디오이다.
본 실시 예에서 추적할 비디오를 획득하는 방식은 선택적 예이며, 객체 추출 모듈(211)이 보행자 추적에 사용되는 추적할 비디오를 획득할 수 있다면 제한을 구성하지 않는다는 점을 유의하여야 한다.
단계 302: 대상 이미지 프레임 시퀀스를 획득한다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 대상 이미지 프레임 시퀀스를 획득한다.
더욱 구체적으로, 추적할 비디오를 획득한 후, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오에서 대상 이미지 프레임 시퀀스를 결정한다.
대상 이미지 프레임 시퀀스는 추적할 비디오의 처음 M 개의 이미지 프레임이고, M이 1보다 큰 양의 정수라면, 본 실시 예에서 M의 구체적인 값은 제한되지 않는다.
대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함한다.
단계 303: 추적할 비디오의 배경 영역을 획득한다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 대상 이미지 프레임 시퀀스를 학습하여, 추적할 비디오의 배경 영역을 획득한다. 본 실시 예에 나타낸 추적할 비디오의 배경 영역에 대해서는 도 4를 참조할 수 있다.
선택적으로, 객체 추출 모듈(211)은 구체적으로 다음과 같은 방식으로 추적할 비디오의 배경 영역을 획득할 수 있다: 객체 추출 모듈(211)은 정적 배경 모델을 사용하여 대상 이미지 프레임 시퀀스의 임의의 이미지 프레임으로부터 정지 객체를 획득하고, 정지 객체를 추적할 비디오의 배경 영역으로 결정한다.
본 실시 예에서 추적할 비디오의 배경 영역을 획득하는 것에 대한 설명은 선택적인 예일 뿐이며 제한을 구성하지 않는다는 점을 유의하여야 한다. 예를 들어, 객체 추출 모듈(211)은 대안적으로 객체 추출 모듈(211)이 배경 영역을 획득할 수 있는 경우라면, 프레임 차이(frame difference) 방법, 광학 흐름 장(optical flow field) 방법 등을 사용할 수 있다.
본 실시 예에 나타낸 단계(303)는 선택적 단계임을 유의하여야 한다.
단계 304: 추적할 비디오의 검출 기간 및 추적 기간을 결정한다.
구체적으로, 객체 추출 모듈(211)은 검출 기간(T1) 및 추적 기간(T2)을 결정한다.
선택적으로, 본 실시 예에 나타낸 검출 기간(T1)은 추적 기간(T2)에 포함되고, 검출 기간(T1)의 듀레이션은 추적 기간(T2)의 듀레이션보다 작다.
예를 들어, 추적 기간(T2)의 듀레이션은 10분일 수 있고, 검출 기간(T1)의 듀레이션은 2초이고, 추적 기간(T2)의 듀레이션에 해당하는 10분 내에서 처음 2초는 검출 기간(T1)이다.
선택적으로, 본 실시 예에 나타낸 검출 기간(T1)은 추적 기간(T2)에 포함되지 않을 수 있고, 검출 기간(T1)은 추적 기간(T2) 이전이고, 검출 기간(T1)의 듀레이션은 추적 기간(T2)의 듀레이션보다 작다.
예를 들어, 검출 기간(T1)의 듀레이션은 2초이고, 추적 기간(T2)의 듀레이션은 10분일 수 있으며, 추적 기간(T2)은 검출 기간(T1) 후에 추가로 실행된다.
본 실시 예에서의 검출 기간(T1)의 듀레이션 및 추적 기간(T2)의 듀레이션에 대한 설명은 선택적인 예에 불과하며, 제한을 구성하지 않는다는 것을 유의하여야 한다.
본 실시 예에서, 설명을 위해, 검출 기간(T1)이 추적 기간(T2)에 포함되는 예를 사용한다.
더욱 구체적으로, 본 실시 예에 나타낸 검출 기간(T1)의 시작 프레임은 추적할 비디오의 t번째 프레임이고, t는 M보다 크다. 본 실시 예에서의 대상 이미지 프레임 시퀀스는 검출 기간(T1) 이전임을 알 수 있다.
단계 305: 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득한다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간 내에 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써, 추적할 비디오의 이미지 프레임의 전경 영역을 획득한다.
도 5는 본 실시 예에 나타낸 추적할 비디오의 이미지 프레임의 획득한 전경 영역을 나타낸다. 도 5는 추적할 비디오의 이미지 프레임의 전경 영역을 나타낸다. 구체적으로, 도 5의 백색 픽셀은 추적할 비디오의 이미지 프레임의 전경 영역이다.
구체적으로, 추적할 비디오의 배경 영역을 획득할 때, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 이미지 프레임의 임의의 영역과 배경 영역 사이의 차이를 획득하여 대상 값을 획득한다. 추적할 비디오의 이미지 프레임의 상이한 영역들이 각각 하나의 대상 값에 대응한다는 것을 알 수 있다.
대상 값이 사전 설정 임계 치 이상이면, 추적할 비디오의 이미지 프레임의 영역이고 대상 값에 대응하는 영역이 모션 영역임을 나타낸다.
본 실시 예에 나타낸 사전 설정 임계 치가 미리 설정되고, 추적할 비디오의 이미지 프레임의 모션 영역이 사전 설정 임계 치에 기초하여 결정될 수 있다면, 사전 설정 임계 치는 본 실시 예로 제한되지 않는다.
모션 영역이 검출되면, 모션 영역은 추적할 비디오의 이미지 프레임의 전경 영역으로 결정된다.
단계 306: 추적할 보행자를 획득한다.
본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득한다.
객체 추출 모듈(211)에 의해 검출되는 추적할 보행자의 구체적인 양을 본 실시 예로 제한되지 않는다.
단계 307: 추적할 보행자의 상체 검출 박스를 획득한다.
본 실시 예에 나타낸 추적할 보행자의 상체 검출 박스를 획득하기 위해, 본 실시 예에 나타낸 객체 추출 모듈(211)은 먼저 대상 이미지 프레임을 결정한다.
구체적으로, 본 실시 예에 나타낸 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.
선택적으로, 본 실시 예에 나타낸 추적할 보행자가 추적할 비디오의 검출 기간(T1) 내의 임의의 이미지 프레임에 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하는 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 다시 말해서, 대상 이미지 프레임은 추적할 보행자가 추적할 비디오의 검출 기간 내에 등장하는 이미지 프레임이다.
선택적으로, 본 실시 예에 나타낸 추적할 보행자가 추적할 비디오의 검출 기간(T1) 내에 연속적인 이미지 프레임들에 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 계속 등장하는 추적할 비디오의 연속 이미지 프레임들에 있는 마지막 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 또는 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 계속 등장하는 추적할 비디오의 연속 이미지 프레임들에 있는 랜덤 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있다. 이것은 본 실시 예로 구체적으로 제한되지 않는다.
선택적으로, 본 실시 예에 나타낸 추적할 보행자가, 추적할 비디오의 검출 기간(T1) 내에 이미지 프레임들에 간격을 두고 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 간격을 두고 등장하는 추적할 비디오의 이미지 프레임들에 있는 마지막 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 또는 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 간격을 두고 등장하는 추적할 비디오의 이미지 프레임들에 있는 랜덤 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있다. 이것은 본 실시 예로 구체적으로 제한되지 않는다.
대상 이미지 프레임을 결정하는 방법에 대한 전술한 설명은 선택적인 예이며, 추적할 보행자가 대상 이미지 프레임에 나타나는 한, 제한을 구성하지 않는다는 점을 유의하여야 한다.
대상 이미지 프레임을 결정할 때, 객체 추출 모듈(211)은 대상 이미지 프레임에서 상체 검출 박스를 획득할 수 있다.
본 실시 예에 나타낸 객체 추출 모듈(211) 상에 제1 검출기가 배치될 수 있고, 제1 검출기는 상체 검출 박스를 검출하도록 구성된다.
구체적으로, 객체 추출 모듈(211)의 제1 검출기는 목표 이미지 프레임의 전경 영역에서 상체 검출 박스를 획득한다.
본 실시 예에 나타낸 객체 추출 모듈(211)은 대상 이미지 프레임의 전경 영역에서 추적할 보행자를 검출할 수 있고, 다시 말해서, 추적할 보행자를 검출하는 과정에서, 객체 추출 모듈(211)은 배경 영역을 검출할 필요가 없어, 보행자 검출 정확도가 향상되는 동시에 보행자 검출에 필요한 시간을 크게 단축할 수 있다.
이하에서는, 객체 추출 모듈(211)이 객체 이미지 프레임의 전경 영역에서 추적할 보행자의 상체 검출 박스를 획득하는 방법을 설명한다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득한다.
구체적으로, 본 실시 예에 나타낸 상체 검출 박스는
Figure pct00163
이다.
Figure pct00164
은 상체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00165
은 상체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00166
은 상체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00167
은 상체 검출 박스의 우측 하단 수직 좌표이다.
추적할 보행자를 검출하는 경우, 본 실시 예에 나타낸 객체 추출 모듈(211)은
Figure pct00168
,
Figure pct00169
,
Figure pct00170
및
Figure pct00171
를 획득할 수 있다.
객체 추출 모듈(211)에 의해 결정된 대상 이미지 프레임이 도 6에 도시된 예가 사용된다. 본 실시 예에 나타낸 전술한 방법을 사용함으로써, 대상 이미지 프레임에 등장하는 추적할 보행자들이 검출될 수 있고, 추적할 각 보행자의 상체 검출 박스를 획득할 수 있다.
도 6에 나타낸 검출 과정에서, 대상 이미지 프레임의 보행자(601)가 대상 이미지 프레임의 가장자리에 등장하고, 보행자(601)의 전신이 완전히 표시되지 않기 때문에, 본 실시 예에 나타낸 객체 추출 모듈(211)은 보행자(601)의 상체 검출 박스를 획득할 수 없다.
대상 이미지 프레임에서 보행자(602)의 전신과 보행자(603)의 전신 모두가 대상 이미지 프레임에 명확하게 등장하는 경우, 객체 추출 모듈(211)은 보행자(602)의 상체 검출 박스 및 보행자(603)의 상체 검출 박스를 획득할 수 있다.
대상 이미지 프레임에서 영역(604)의 각 보행자가 명확하게 표시되지 않으면, 본 실시 예에 나타낸 객체 추출 모듈(211)은 영역(604)에서 각 보행자의 상체 검출 박스를 획득할 수 없다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 대상 이미지 프레임에 표시된 추적할 보행자의 상체 검출 박스만을 검출한다는 것을 알 수 있다.
구체적으로, 추적할 보행자는 대상 이미지 프레임에 완전히 표시된 보행자이고, 다시 말해서, 추적할 보행자의 상체와 하체는 모두 대상 이미지 프레임에 완전히 표시된다.
더욱 구체적으로, 추적할 보행자는 대상 이미지 프레임에 표시된 영역이 객체 추출 모듈(211)의 사전 설정 임계 치 이상인 보행자이고, 다시 말해서, 대상 이미지 프레임에 표시되는 영역이 사전 설정 임계 치 이상인 추적할 보행자인 경우, 추적할 보행자가 대상 이미지 프레임에 명확하게 표시됨을 나타낸다. 대상 이미지 프레임에서 추적할 보행자가 사전 설정 임계 치보다 작으면, 객체 추출 모듈(211)은 추적할 보행자를 검출할 수 없다.
단계 308: 상체 검출 박스에 기초하여 하체 스캔 영역을 획득한다.
본 실시 예에서, 객체 추출 모듈(211)이 추적할 보행자의 상체 검출 박스를 획득한 후, 객체 추출 모듈(211)은 추적할 보행자의 상체 검출 박스에 기초하여 추적할 보행자의 하체 스캔 영역을 획득할 수 있다.
추적할 보행자의 하체 스캔 영역을 획득하기 위해, 객체 추출 모듈(211)은 제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득할 필요가 있다.
제1 파라미터는
Figure pct00172
이고,
Figure pct00173
는 사전 설정 비율이다.
선택적으로, 본 실시 예의
Figure pct00174
는 메모리 매체(130)의 객체 추출 모듈(211)에 의해 사전 저장되고,
Figure pct00175
는 인체 검출 박스(배경으로 도시됨)의 종횡비에 기초하여 객체 추출 모듈(211)에 의해 사전 설정될 수 있다. 예를 들어, 인체 검출 박스의 종횡비가 3:7인 것으로 미리 결정된 경우, 객체 설정 모듈(211)은
Figure pct00176
를 3/7으로 설정하고,
Figure pct00177
를 메모리 매체(130)에 저장하여, 본 단계를 수행하는 과정에서, 제1 파라미터
Figure pct00178
를 계산하기 위해 객체 추출 모듈(211)은
Figure pct00179
를 메모리 매체(130)로부터 추출할 수 있다.
제2 파라미터는
Figure pct00180
이고, 제3 파라미터는
Figure pct00181
이고, 제1 파라미터
Figure pct00182
-
Figure pct00183
과 동일하다.
객체 추출 모듈(211)이 제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득하면, 객체 추출 모듈(211)은 하체 스캔 영역을 결정할 수 있다.
하체 스캔 영역은
Figure pct00184
이고,
Figure pct00185
은 하체 스캔 영역의 좌측 상단 수평 좌표이고,
Figure pct00186
은 하체 스캔 영역의 좌측 상단 수직 좌표이고,
Figure pct00187
은 하체 스캔 영역의 우측 하단 수평 좌표이고,
Figure pct00188
은 하체 스캔 영역의 우측 하단 수직 좌표이다.
구체적으로,
Figure pct00189
,
Figure pct00190
,
Figure pct00191
및
Figure pct00192
이다.
더욱 구체적으로,
Figure pct00193
,
Figure pct00194
및
Figure pct00195
는 사전 설정 값이다.
Figure pct00196
,
Figure pct00197
및
Figure pct00198
의 구체적인 값은 본 실시 예로 제한되지 않으며,
Figure pct00199
,
Figure pct00200
및
Figure pct00201
는 경험적 값일 수 있고, 또는 운영 스태프가
Figure pct00202
,
Figure pct00203
및
Figure pct00204
의 다른 설정을 통해 하체 스캔 영역의 다른 설정을 구현할 수 있다.
Figure pct00205
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
Figure pct00206
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 높이이다.
단계 309: 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출되는지 여부를 결정하고, 추적할 보행자의 하체 검출 박스가 하체 스캔 영역에서 검출되면, 단계 310을 수행하고, 또는 추적할 보행자의 하체 검출 박스가 하체 스캔 영역에서 검출되지 않으면, 단계 313을 수행한다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 하체 스캔 영역에서 하체 검출을 수행하여, 추적할 보행자의 하체 검출 박스가 검출될 수 있는지 여부를 결정한다.
단계 310: 하체 검출 박스를 획득한다.
구체적으로, 하체 검출기는 객체 추출 모듈 211) 상에 배치될 수 있다.
더욱 구체적으로, 하체 스캔 영역에서 하체 검출을 수행할 때, 추적할 보행자의 하체 검출 박스가 획득될 수 있는지를 결정하기 위해, 본 실시 예에 나타낸 객체 추출 모듈(211)의 하체 검출기는, 하체 검출 박스가
Figure pct00207
임을 결정하고,
Figure pct00208
은 하체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00209
은 하체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00210
은 하체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00211
은 하체 검출 박스의 우측 하단 수직 좌표이다.
단계 311: 검출 기간 전신 박스를 획득한다.
구체적으로, 객체 추출 모듈(211)은 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득한다.
더욱 구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 상체 검출 박스와 하체 검출 박스를 조합하여 검출 기간 전신 박스를 획득한다.
검출 기간 전신 박스는
Figure pct00212
이다.
검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00213
이고, 검출 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00214
이고, 검출 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00215
이고, 검출 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00216
이다.
단계 312: 제1 비율 및 제2 비율을 획득한다.
구체적으로, 검출 기간 전신 박스를 획득 한 후, 본 실시 예에 나타낸 객체 추출 모듈(211)은 검출 기간 전신 박스의 제1 비율을 결정할 수 있다.
제1 비율은 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 비율이고, 제1 비율은
Figure pct00217
이다.
본 실시 예에 나타낸 객체 추출 모듈(211)은 검출 기간 전신 박스의 제2 비율을 결정한다.
구체적으로, 제2 비율은 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이고, 제2 비율은
Figure pct00218
이다.
단계 313: 제3 비율을 획득한다.
본 실시 예에서, 하체 스캔 영역에서 하체 검출을 수행하여 객체 추출 모듈(211)이 하체 검출 박스를 획득하지 못한 경우, 객체 추출 모듈(211)은 제3 비율을 획득한다. 제3 비율은, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율에 해당하는 사전 설정 비율
Figure pct00219
이다.
단계 314: 검출 기간 전신 박스를 획득한다.
본 실시 예에서, 하체 스캔 영역에서 하체 검출을 수행하여 객체 추출 모듈(211)이 하체 검출 박스를 획득하지 못한 경우, 객체 추출 모듈(211)은 검출 기간 전신 박스
Figure pct00220
를 획득한다.
검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00221
이고, 검출 기간 전신 박스의 좌측 상단 수직 좌표는
Figure pct00222
이고, 검출 기간 전신 박스의 우측 하단 수평 좌표는
Figure pct00223
이고, 검출 기간 전신 박스의 우측 하단 수직 좌표는
Figure pct00224
이다.
단계 315: 검출 기간 전신 박스의 제4 비율을 결정한다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 제4 비율이 검출 기간 전신 박스의 높이에 대한 상체 검출 박스의 높이의 비율인 것으로 결정한다.
제4 비율은
Figure pct00225
이다.
단계 312 또는 단계 315가 수행된 후, 본 실시 예에 나타낸 단계 316이 계속하여 수행된다.
단계 316: 상체 추적 박스를 결정한다.
본 실시 예에서, 객체 추출 모듈(211)은 검출 기간(T1) 내에 획득한 검출 기간 전신 박스를 추적 대상으로서 초기화하여, 객체 추출 모듈(211)은, 추적 기간(T2) 내에서, 추적 대상으로서 역할을 하는 추적할 보행자를 추적할 수 있다.
본 실시 예에서, 이전 단계에서 결정된 적어도 하나의 추적할 보행자가 있을 수 있다는 점을 유의하여야 한다. 복수의 추적할 보행자가 있는 경우, 복수의 추적할 보행자 각각은 추적을 위한 추적 대상으로서 사용될 필요가 있다.
예를 들어, 이전 단계에서 결정된 추적할 보행자가 보행자 A, 보행자 B, 보행자 C 및 보행자 D인 경우, 보행자 A는 추적을 위한 후속 단계를 수행하기 위해 추적 대상으로 설정되어야 하고, 보행자 B는 추적을위한 후속 단계를 수행하기 위해 추적 대상으로 설정되어야 하며, 다시 말해서, 추적할 비디오에서 추적할 각 보행자는, 추적을 위한 후속 단계를 수행하기 위해 추적 대상으로 설정될 필요가 있다.
추적할 보행자를 추적할 때, 객체 추출 모듈(211)은 먼저 상체 검출 박스를 결정한다. 객체 추출 모듈(211)은 상체 검출 박스를 중심으로 하여 정규 분할 샘플링을 별도로 수행하고, 다시 말해서, 상체 검출 박스 주위에 복수의 입자를 산란시키고, 복수의 입자에서 상체 추적 박스를 결정한다.
이해를 돕기 위해, 이하에서는 응용 시나리오를 참조하여 설명하도록 한다.
객체 추출 모듈(211)이 추적할 비디오의 검출 기간(T1) 내의 N1 프레임에서 상체 검출 박스를 결정하면, 객체 추출 모듈(211)은 추적할 비디오의 추적 기간(T2) 내에 N2 프레임에서 추적할 보행자를 추적한다. N2 프레임은 추적할 비디오의 추적 기간(T2) 내의 임의의 프레임이다.
추적할 보행자는 추적할 비디오에서 움직이며, N1 프레임에서 추적할 보행자의 위치가 N2 프레임에서 추적할 보행자의 위치와 다르다. 따라서, 객체 추출 모듈(211)이 추적할 보행자를 추적하기 위해, 객체 추출 모듈(211)은 추적할 보행자의 상체 검출 박스 주위에 복수의 입자를 산란시켜 추적할 보행자를 추적할 필요가 있다.
구체적으로, 복수의 입자 중 임의의 하나의 제5 비율은 상체 검출 박스의 제6 비율과 동일하고, 제5 비율은 복수의 입자 중 임의의 하나의 폭 대 높이의 비율이고, 제6 비율은 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율이다.
본 실시 예에 나타낸 방법을 이용함으로써, 상체 검출 박스 주위에 객체 추출 모듈(211)에 의해 산란된 임의의 입자는, 상체 검출 박스와 폭 대 높이의 비율이 동일한 직사각형 박스이다.
객체 추출 모듈(211)은 복수의 입자에서 상체 추적 박스를 결정한다.
구체적으로, 객체 추출 모듈(211)은 복수의 입자 중 상체 검출 상자와 가장 유사한 입자가 상체 추적 박스인 것으로 결정한다.
상체 추적 박스는
Figure pct00226
이고,
Figure pct00227
은 상체 추적 박스의 좌측 상단 수평 좌표이고,
Figure pct00228
은 상체 추적 박스의 좌측 상단 수직 좌표이고,
Figure pct00229
은 상체 추적 박스의 우측 하단 수평 좌표이고,
Figure pct00230
은 상체 추적 박스의 우측 하단 수직 좌표이다.
단계 317: 추적할 보행자의 추적 기간 전신 박스를 획득한다.
본 실시 예에서, 객체 추출 모듈(211)은, 검출 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득한다.
추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.
이하에서는 객체 추출 모듈(211)이 추적 기간 전신 박스를 구체적으로 획득하는 방법을 상세히 설명한다.
도 7에 나타낸 바와 같이, 객체 추출 모듈(211)이 검출 기간 전신 박스 및 상체 추적 박스를 획득 한 후, 객체 추출 모듈(211)은 상체 검출 박스(701)의 좌측 상단 수평 좌표
Figure pct00231
가 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표
Figure pct00232
와 동일한 지 여부를 결정한다.
도 7의 (a)에 나타낸 바와 같이, 객체 추출 모듈(211)이
Figure pct00233
를 결정한 경우, 객체 추출 모듈(211)은 추적 기간 전신 박스의 좌측 상단 수평 좌표가
Figure pct00234
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00235
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00236
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00237
인 것으로 결정하고, 여기서
Figure pct00238
이다.
Figure pct00239
에 대한 구체적인 설명에 대해서는 이전 단계를 참조할 수 있다. 본 단계에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 추적 기간 전신 박스가
Figure pct00240
인 것으로 결정할 수 있다.
도 7에 나타낸 바와 같이, 객체 추출 모듈(211)이 검출 기간 전신 박스 및 상체 추적 박스를 획득한 후, 객체 추출 모듈(211)은 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표
Figure pct00241
가 하체 검출 박스(703)의 좌측 상단 수평 좌표
Figure pct00242
와 동일한 지 여부를 결정한다.
도 7의 (b)에 나타낸 바와 같이, 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표
Figure pct00243
가 하체 검출 박스(703)의 좌측 상단 수평 좌표
Figure pct00244
와 동일한 경우, 객체 추출 모듈(211)은, 추적 기간 전신 박스의 좌측 상단 수평 좌표가
Figure pct00245
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00246
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00247
인 것으로 결정하고;
객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00248
인 것으로 결정하고, 여기서
Figure pct00249
이고;
객체 추출 모듈(211)은 추적 기간 전신 박스가
Figure pct00250
인 것으로 결정한다.
Figure pct00251
및
Figure pct00252
에 대한 구체적인 설명에 대해서는 이전 단계를 참조할 수 있다. 본 단계에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 방법을 이용함으로써, 추적할 보행자는, 추적 기간 전신 박스를 이용하여 추적 기간(T) 내에 추적할 비디오에서 추적될 수 있다.
본 발명의 본 실시 예에 나타낸 방법을 더 잘 이해하기 위해, 본 실시 예에 도시된 보행자 추적 방법의 유리한 효과는 도 8에 나타낸 응용 시나리오를 참조하여 아래에서 상세히 설명된다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 추적할 보행자의 상체 검출 박스(801)를 획득한다. 상체 검출 박스(801)를 획득하는 구체적인 과정에 대해서는, 이전 단계를 참조할 수 있다. 본 응용 시나리오에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 추적할 보행자의 하체 검출 박스(802)를 획득한다. 하체 검출 박스(802)를 획득하는 구체적인 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 검출 기간 전신 박스(803)를 획득한다. 검출 기간 전신 박스(803)를 획득하는 구체적인 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
검출 기간 전신 박스(803)를 획득한 후, 객체 추출 모듈(211)은 검출 기간 전신 박스(803)의 폭 대 검출 기간 전신 박스(803)의 높이의 비율
Figure pct00253
을 획득할 수 있고, 상체 검출 박스(801)의 높이 대 검출 기간 전신 박스(803)의 높이의 비율
Figure pct00254
을 획득할 수 있다.
본 실시 예에 나타낸 방법을 이용함으로써, 검출 기간 전신 박스(803)를 획득하는 과정에서, 객체 추출 모듈(211)에 의해 획득되는 검출 기간 전신 박스(803)는 추적할 보행자의 상체 검출 박스(801) 및 추적할 보행자의 하체 검출 박스(802)를 조합함으로써 획득된다. 객체 추출 모듈(211)에 의해 획득한 검출 기간 전신 박스(803)의 종횡비가 변경될 수 있음을 알 수 있다. 따라서, 추적 기간(T1) 내에 추적할 보행자가 비정상적인 자세로, 예를 들어, 추적할 보행자의 다리가 넓게 열려 있어, 추적할 보행자의 하체에 대한 상체의 비율이 변하는 자세로 등장하는 경우에도, 객체 추출 모듈(211)은 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써 추적할 보행자의 정확한 검출 기간 전신 박스(803)를 여전히 획득할 수 있다.
객체 추출 모듈(211)은, 변경될 수 있는 본 실시 예에서 검출 기간 전신 박스(803)의 종횡비에 기초하여 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있어, 검출 기간 전신 박스(803)는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있다. 추적할 보행자의 자세의 변화에 관계 없이 정확한 검출 기간 전신 박스(803)가 여전히 획득될 수 있음을 알 수 있다.
객체 추출 모듈(211)은 검출 기간(T2) 내에서 상체 추적 박스(804) 및 추적 기간 전신 박스(805)를 획득할 수 있다. 구체적인 획득 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 객체 추출 모듈(211)은 추적 기간(T2)에서 여전히
Figure pct00255
및
Figure pct00256
을 사용할 수 있어, 변경될 수 있는
Figure pct00257
및
Figure pct00258
에 기초하여 보다 정확한 추적 기간 전신 박스(805)를 획득할 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 변하는 경우라도, 추적할 보행자는 추적 기간(T2) 내에서 여전히 정확하게 추적될 수 있다.
보행자를 추적하는 구체적인 과정에서, 본 실시 예에 나타낸 단계 304 내지 본 실시 예에 나타낸 단계 307은 복수 회 동안 수행될 수 있어, 추적할 보행자를 더욱 정확하게 추적할 수 있다. 예를 들어, 객체 추적 모듈(211)이 추적 기간(T2)을 한 번 실행한 후, 객체 추출 모듈(211)은 후속 시간 내에 복수 회 동안 추적 기간(T2)을 반복적으로 실행할 수 있다. 추적 기간(T2)을 실행하는 횟수는 본 실시 예로 제한되지 않는다.
본 실시 예에 나타낸 객체 추출 모듈(211)은 추적 기간(T2)를 복수 회 실행할 수 있기 때문에, 객체 추출 모듈(211)은 검출 결과에 기초하여 복수 회 동안
Figure pct00259
및
Figure pct00260
의 구체적인 값들을 갱신할 수 있어, 추적 기간(T2) 내에서 더욱 정확한 추적 기간 전신 박스를 획득할 수 있고, 이에 따라 정확하게 보행자를 추적할 수 있다.
본 실시 예에서 나타낸 방법을 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임의 전경 영역에서 검출 및 추적될 수 있고, 다시 말해서, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정은 이미지의 전경 영역에서 실행된다. 따라서, 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 전자 디바이스에 의해 추적할 보행자를 검색하기 위한 검색 공간이 감소되어, 추적할 보행자를 추적하는데 필요한 듀레이션을 감소시키고, 전자 디바이스에 의해 추적할 보행자를 추적하는 효율을 향상시킨다.
도 1 및 도 2에 나타낸 전자 디바이스에 기초하여, 이하에서는 도 9a, 도 9b 및 도 10을 참조하여 일 실시 예에 따른 보행자 질의 방법을 상세히 설명하도록 한다.
도 9a 및 도 9b는 본 발명에 따른 보행자 질의 방법의 단계들을 설명하기 위한 흐름도이다. 도 10은 본 발명에 따른 보행자 추적 방법의 일 실시 예의 실행 단계들을 설명하기 위한 개략도이다.
본 실시 예에 나타낸 보행자 질의 방법의 각각의 실행 바디에 대한 설명은 선택적인 예이며, 제한을 구성하지 않으며, 다시 말해서, 본 실시 예에 나타낸 각 단계의 실행 바디는 도 2에 나타낸 프로세서(122)의 임의의 모듈일 수 있고, 또는 본 실시 예에 나타낸 각 단계의 실행 바디는 도 2에 나타나지 않은 모듈일 수 있다. 전자 디바이스가 본 실시 예에 나타낸 보행자 질의 방법을 수행할 수 있다면, 이것은 본 실시 예에 특별히 제한되지 않는다.
단계 901: 추적할 비디오를 획득한다.
본 실시 예에 나타낸 단계 901의 구체적인 실행 과정에 대해서는, 도 3a 및 도 3b에 나타낸 단계 301을 참조할 수 있다. 본 실시 예에서는 구체적인 실행 과정을 설명하지 않는다.
단계 902: 추적할 비디오의 추적할 보행자를 검출 및 추적하여 보행자 시퀀스를 획득한다.
본 실시 예에 나타낸 객체 추출 모듈(211)은, 추적할 비디오의 추적할 보행자를 검출 및 추적하도록 구성된다. 구체적인 실행 과정에 대해서는, 이전 실시 예에 나타낸 단계 302 내지 단계 317을 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)이 이전 단계에서 추적할 복수의 보행자를 획득한 경우, 객체 추출 모듈(211)은 이전 단계에서 요약함으로써 보행자 시퀀스를 획득한다.
객체 추출 모듈(211)에 의해 획득된 보행자 시퀀스는 복수의 서브 시퀀스를 포함하고, 복수의 서브 시퀀스 중 임의의 하나는 대상 서브 시퀀스이고, 대상 서브 시퀀스는 대상 추적 보행자에 대응하고, 대상 추적 보행자는 이전 단계에서 결정된 추적할 복수의 보행자 중 하나에 대응한다.
본 실시 예에 나타낸 대상 서브 시퀀스는 복수의 이미지 프레임을 포함하고, 복수의 이미지 프레임 중 임의의 하나는 대상 추적 보행자를 포함한다.
대상 서브 시퀀스에 포함된 임의의 이미지 프레임은, 대상 추적 보행자에 대응하고 이전 단계에서 나타낸 추적 기간 전신 박스를 갖는다.
본 실시 예에서 나타낸 보행자 시퀀스는 복수의 서브 시퀀스를 포함하고, 복수의 서브 시퀀스 중 임의의 하나는 복수의 이미지 프레임을 포함하고, 임의의 서브 시퀀스에 포함된 이미지 프레임은, 추적할 보행자의, 서브 시퀀스에 대응하는 추적 기간 전신 박스를 표시한다.
도 10에 나타낸 바와 같이, 전자 디바이스가 카메라를 포함하지 않는 예가 본 실시 예의 설명을 위해 사용된다. 본 실시 예에 나타낸 전자 디바이스는 카메라 클러스터(105)와 통신할 수 있다. 카메라 클러스터(105)는 복수의 카메라를 포함하고, 각각의 카메라는 추적할 비디오를 생성하기 위해 추적할 보행자를 촬영할 수 있어서, 전자 디바이스는 카메라에 의해 송신된 추적할 비디오를 수신할 수 있다.
객체 추출 모듈(211)은 상이한 추적할 보행자에 대해 상이한 서브 시퀀스(1001)를 생성할 수 있고, 서브 시퀀스(1001)는 대상 추적 보행자에 대응하고 대상 추적 보행자가 등장하는 복수의 이미지 프레임을 포함한다.
단계 903: 보행자 시퀀스를 특징 추출 모듈에 송신한다.
본 실시 예에서, 객체 추출 모듈(211)은 보행자 시퀀스를 특징 추출 모듈(212)에 송신한다.
단계 904: 보행자 시퀀스의 특징을 획득한다.
본 실시 예에 나타낸 특징 추출 모듈(212)은 보행자 시퀀스의 특징을 추출하기 위한 입력으로서 보행자 시퀀스를 사용한다.
구체적으로, 특징 추출 모듈(212)은 보행자 시퀀스를 분석하여, 보행자 시퀀스에 포함된 임의의 이미지 프레임 내의 각 픽셀이 특징을 나타내는 지 여부를 검사하여 보행자 시퀀스의 특징을 추출할 수 있다.
구체적으로, 보행자 시퀀스의 특징은 보행자 시퀀스에 포함된 모든 대상 추적 보행자의 특징들의 세트이다.
예를 들어, 보행자 시퀀스가 5 명의 추적할 보행자: A, B, C, D 및 E를 포함하는 경우, 특징 추출 모듈(212)은, 보행자 시퀀스에서 모든 보행자의 특징 추출이 완료될 때까지, 보행자 A에 대한 이미지 프레임에 대한 특징 추출을 수행하여 보행자 A에 대응하는 대상 추적 보행자의 특징 세트를 획득할 수 있고, 보행자 B에 대한 이미지 프레임에 대한 특징 추출을 수행하여 보행자 B에 대응하는 대상 추적 보행자의 특징 세트를 획득할 수 있다.
도 10에 나타낸 바와 같이, 특징 추출 모듈(212)에 의해 생성된 특징 세트(1002)는, 대상 추적 보행자에 대응하는 대상 식별자 ID 및 대상 추적 보행자에 대응하는 복수의 이미지 특징을 포함한다.
대상 추적 보행자가 보행자 A인 예가 사용되고, 대상 추적 보행자 A에 대응하는 특징 세트(1002)는, 대상 추적 보행자 A에 대응하는 대상 식별자 ID 및 대상 추적 보행자 A에 대응하는 복수의 이미지 특징을 포함한다.
본 실시 예에 나타낸 특징 추출 모듈(212)은, 각각의 상이한 대상 추적 보행자와 각각의 상이한 대상 식별자 ID 사이의 대응 및 각각의 상이한 대상 식별자 ID와 각각의 복수의 이미지 특징 사이의 대응을 생성할 수 있음을 알 수 있다.
단계 905: 보행자 시퀀스의 특징을 인덱스 구성 모듈에 송신한다.
본 실시 예에서 나타낸 특징 추출 모듈(212)은 보행자 시퀀스의 획득된 특징을 인덱스 구성 모듈(213)에 송신할 수 있다.
단계 906: 인덱스 리스트를 설정한다.
보행자 시퀀스의 특징을 수신한 후, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은 인덱스 리스트를 설정한다. 인덱스 리스트에 포함된 대응은, 각각의 상이한 대상 추적 보행자와 각각의 상이한 대상 식별자 ID 사이의 대응 및 각각의 상이한 대상 식별자 ID와 각각의 복수의 이미지 특징 사이의 대응을 포함한다. 또한, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은, 인덱스 리스트를 이용하여, 상이한 대상 식별자 ID 및 대응하는 대상 추적 보행자가 추적할 비디오에 등장하는 시간 및 장소와 같은 추가 정보를 더 생성할 수 있다.
단계 907: 인덱스 리스트를 저장 매체에 저장한다.
인덱스 리스트를 생성한 후, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은 인덱스 리스트를 저장 매체(130)에 저장한다.
본 실시 예에 나타낸 단계 901 내지 단계 907에서, 다른 보행자는 추 할 대규모 비디오로 분류하여, 후속 추적 대상 질의를 용이하게 할 수 있다.
추적 대상을 질의해야 하는 경우 다음 단계들이 수행될 수 있다.
단계 908: 추적 대상을 수신한다.
본 실시 예에 나타낸 바와 같이, 이미지 기반 이미지 검색이 구현될 수 있고, 다시 말해서, 추적 대상이 등장하는 이미지는 질의 동안 특징 추출 모듈(221)에 입력될 수 있다.
예로서 도 10이 사용된다. 추적 대상을 질의하기 위해, 추적 대상이 등장하는 이미지(1003)가 특징 추출 모듈(221)에 입력될 수 있다.
단계 909: 추적 대상에 대해 특징 추출을 수행한다.
구체적으로, 본 실시 예에 나타낸 특징 추출 모듈(221)은 추적 대상이 등장하는 이미지를 분석하여, 추적 대상의 특징을 획득할 수 있다. 본 실시 예에 나타낸 방법을 이용함으로써, 추적 대상에 대응하는 복수의 특징을 획득할 수 있다.
단계 910: 추적 대상의 상이한 특징을 융합한다.
본 실시 예에서, 특징 융합 모듈(222)은 추적 대상의 상이한 특징을 융합할 수 있다.
도 10에 나타낸 바와 같이, 특징 융합 모듈(222)은 추적 대상의 상이한 특징을 융합하여 융합된 특징을 획득할 수 있다. 본 실시 예에 나타낸 융합된 특징은 추적 대상에 대응하는 것을 알 수 있다.
단계 911: 융합된 특징을 인덱싱 및 질의 모듈에 송신한다.
단계 912: 추적 대상을 질의한다.
본 실시 예에 나타낸 인덱싱 및 질의 모듈(223)은, 추적 대상에 대응하는 융합된 특징에 기초하여 추적 대상을 질의한다.
구체적으로, 인덱싱 및 질의 모듈(223)은 융합된 특징과, 저장 매체(130)에 저장된 인덱스 리스트를 매칭하여, 융합된 특징에 대응하는 대상 식별자 ID를 검색하여, 인덱싱 및 질의 모듈(223)은, 인덱스 리스트에 기초하여, 추적할 비디오에서 대상 식별자 ID에 대응하는 보행자가 등장하는 시간 및 장소와 같은 임의의 정보를 획득할 수 있다. 본 실시 예에서, 대상 식별자 ID에 대응하는 보행자는 추적 대상에 해당한다.
본 실시 예에 나타낸 방법을 이용함으로써, 대량의 비디오에서 추적 대상이 등장하는 시간 및 장소와 같은 정보를 위해서는 추적 대상이 등장하는 이미지만 수신하면 된다.
본 실시 예에 나타낸 방법의 추적할 보행자를 검출 및 추적함으로써 달성되는 유리한 효과에 대한 설명에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
본 실시 예에 나타낸 방법을 이용함으로써, 추적 대상을 검색하는 과정에서, 추적 대상을 추적할 대규모 비디오에 빠르고 정확하게 배치하여, 추적 대상은 추적 할 대규모 비디오에서 추적 대상이 등장하는 시간 및 장소와 같은 정보를 신속하게 얻을 수 있다.
본 실시 예에서 나타낸 방법의 응용 시나리오는 제한되지 않는다. 예를 들어, 본 방법은 추적 대상과 관련된 정보를 신속하게 획득하기 위해 안전한 도시에서 이미지 기반 이미지 검색을 수행하는 데 적용될 수 있다. 본 방법은 동원 트레일 생성 및 분석, 인구 통계 수집 및 차량 보조 운전에서의 보행자 경고 등에 추가로 적용될 수 있다. 구체적으로, 보행자를 포함하는 비디오가 지능적으로 분석될 필요가 있는 한, 보행자 검출 및 추적은 본 발명의 본 실시 예를 이용하여 보행자의 위치 및 트레일과 같은 정보를 추출하기 위해 수행될 수 있다.
도 1은 물리적 하드웨어의 관점에서 전자 디바이스의 구체적인 구조를 설명한다. 이하에서는 이전 실시 예들에서 나타낸 보행자 추적 방법의 절차를 실행하는 관점에서 도 11을 참조하여 전자 디바이스의 구조를 설명하며, 본 실시 예에 나타낸 전자 디바이스는 이전 실시 예들에서 나타낸 보행자 추적 방법을 수행할 수 있다.
전자 디바이스는 제1 결정 유닛(1101), 제5 획득 유닛(1102), 제6 획득 유닛(1103), 제7 획득 유닛(1104), 제8 획득 유닛(1105), 제1 획득 유닛(1106), 제2 획득 유닛(1107), 제3 획득 유닛(1108) 및 제4 획득 유닛(1109)을 포함한다.
제1 결정 유닛(1101)은 추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된다.
제5 획득 유닛(1102)은 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성되고, 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전이다.
제6 획득 유닛(1103)은 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득하도록 구성된다.
제7 획득 유닛(1104)은, 검출 기간 내에 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된다.
제8 획득 유닛(1105)은 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득하도록 구성된다.
선택적으로, 본 실시 예에 나타낸 제5 획득 유닛(1102) 내지 본 실시 예에 나타낸 제8 획득 유닛(1105)은 선택적 유닛이다. 구체적인 응용에 있어서, 전자 디바이스는 본 실시 예에 나타낸 제5 획득 유닛(1102) 내지 본 실시 예에 나타낸 제8 획득 유닛(1105)을 포함하지 않을 수 있다.
제1 획득 유닛(1106)은, 검출 기간 내에서, 추적할 비디오에 등장하는 추적할 보행자에 대한 상체 검출 박스를 획득하도록 구성되고, 상체 검출 박스는
Figure pct00261
이고,
Figure pct00262
은 상체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00263
은 상체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00264
은 상체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00265
은 상체 검출 박스의 우측 하단 수직 좌표이다.
선택적으로, 제1 획득 유닛(1106)은 구체적으로: 대상 이미지 프레임을 결정하고 - 여기서 대상 이미지 프레임은, 추적할 보행자가 등장하는 이미지 프레임임 -; 및 대상 이미지 프레임의 전경 영역의 상체 검출 박스를 획득하도록 구성된다.
제2 획득 유닛(1107)은, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된다.
선택적으로, 제2 획득 유닛(1107)은 구체적으로: 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고; 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득하도록 구성된다.
상체 검출 박스는
Figure pct00266
이고,
Figure pct00267
은 상체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00268
은 상체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00269
은 상체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00270
은 상체 검출 박스의 우측 하단 수직 좌표이다.
선택적으로, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 제1 파라미터를 결정하고 - 여기서 제1 파라미터는
Figure pct00271
이고,
Figure pct00272
는 사전 설정 비율임 -; 제2 파라미터를 결정하고 - 여기서 제2 파라미터는
Figure pct00273
임 -; 제3 파라미터를 결정하고 - 여기서 제3 파라미터는
Figure pct00274
이고, 제1 파라미터
Figure pct00275
-
Figure pct00276
과 동일함 -; 및 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성된다.
선택적으로, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로, 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성되고, 여기서 하체 스캔 영역은
Figure pct00277
이고,
Figure pct00278
은 하체 스캔 영역의 좌측 상단 수평 좌표이고,
Figure pct00279
은 하체 스캔 영역의 좌측 상단 수직 좌표이고,
Figure pct00280
은 하체 스캔 영역의 우측 하단 수평 좌표이고,
Figure pct00281
은 하체 스캔 영역의 우측 하단 수직 좌표이고,
Figure pct00282
,
Figure pct00283
,
Figure pct00284
및
Figure pct00285
이다.
Figure pct00286
,
Figure pct00287
및
Figure pct00288
는 사전 설정 값이고,
Figure pct00289
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
Figure pct00290
는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 높이이다.
하체 검출 박스는
Figure pct00291
이고,
Figure pct00292
은 하체 검출 박스의 좌측 상단 수평 좌표이고,
Figure pct00293
은 하체 검출 박스의 좌측 상단 수직 좌표이고,
Figure pct00294
은 하체 검출 박스의 우측 하단 수평 좌표이고,
Figure pct00295
은 하체 검출 박스의 우측 하단 수직 좌표이다.
선택적으로, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00296
임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00297
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00298
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00299
인 것으로 결정하고; 및 검출 기간 전신 박스가
Figure pct00300
인 것으로 결정하도록 구성된다.
선택적으로, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
Figure pct00301
임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00302
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00303
인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00304
인 것으로 결정하고; 및 검출 기간 전신 박스가
Figure pct00305
인 것으로 결정하도록 구성된다.
제3 획득 유닛(1108)은, 추적 기간 내에서, 추적할 비디오에 등장하는 추적할 보행자에 대한 상체 추적 박스를 획득하도록 구성된다.
선택적으로, 제3 획득 유닛은 구체적으로: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일함 -; 및 상체 추적 박스를 결정하도록 구성된다 - 여기서 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자임 -.
제4 획득 유닛(1109)는, 추적 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하도록 구성되고, 추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.
선택적으로, 제4 획득 유닛(1109)은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
Figure pct00306
을 획득하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이
Figure pct00307
인 것으로 결정하고; 및
Figure pct00308
및
Figure pct00309
에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.
선택적으로, 제4 획득 유닛(1109)은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 비율이
Figure pct00310
인 것으로 결정하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이
Figure pct00311
인 것으로 결정하고; 및
Figure pct00312
및
Figure pct00313
에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.
상체 추적 박스는
Figure pct00314
이고,
Figure pct00315
은 상체 추적 박스의 좌측 상단 수평 좌표이고,
Figure pct00316
은 상체 추적 박스의 좌측 상단 수직 좌표이고,
Figure pct00317
은 상체 추적 박스의 우측 하단 수평 좌표이고,
Figure pct00318
은 상체 추적 박스의 우측 하단 수직 좌표이다.
선택적으로,
Figure pct00319
및
Figure pct00320
에 기초하여 추적 기간 전신 박스를 결정하는 경우, 제4 획득 유닛(1109)은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
Figure pct00321
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00322
임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00323
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00324
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00325
인 것으로 결정하고 - 여기서
Figure pct00326
임 -; 및 추적 기간 전신 박스가
Figure pct00327
인 것으로 결정하도록 구성된다.
선택적으로, 제4 획득 유닛(1109)은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
Figure pct00328
인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는
Figure pct00329
임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가
Figure pct00330
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수평 좌표가
Figure pct00331
인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수직 좌표가
Figure pct00332
인 것으로 결정하고 - 여기서
Figure pct00333
임 -; 및 추적 기간 전신 박스가
Figure pct00334
인 것으로 결정하도록 구성된다.
본 실시 예에 나타낸 전자 디바이스에 의해 보행자 추적 방법을 수행하는 구체적인 과정에 대해서는 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세 내용을 설명하지 않는다.
본 실시 예에 나타낸 전자 디바이스에 의해 보행자 추적 방법을 수행함으로써 달성되는 유리한 효과에 대한 설명에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.
편리하고 간단한 설명의 목적으로, 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해서는 전술한 방법 실시 예에서의 대응하는 프로세스를 참조한다는 것이 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있고, 그 세부 사항은 여기서 다시 설명하지 않는다.
본 출원에 제공된 여러 실시 예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해하여야 한다. 예를 들어, 설명된 장치 실시 예는 단지 예일 뿐이다. 예를 들어, 유닛 분할은 단지 논리적 기능 분할일 뿐이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 이용하여 구현될 수 있다. 장치 또는 유닛 사이의 간접 결합 또는 통신 연결은 전자적, 기계적 또는 다른 형태로 구현될 수 있다.
별도의 부분으로 기술된 유닛은 물리적으로 분리될 수 있거나 물리적으로 분리되지 않을 수 있고, 유닛으로서 표시된 부분은 물리적 유닛일 수 있거나 아닐 수 있거나, 한 위치에 위치될 수 있거나, 복수의 네트워크 유닛에 분산될 수 있다. 유닛의 일부 또는 전부는 실시 예의 해결 방안의 목적을 달성하기 위해 실제 요구 사항에 기초하여 선택될 수 있다.
또한, 본 발명의 실시 예에서의 기능 유닛은 하나의 프로세서에 통합될 수 있거나, 또는 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용될 때, 통합 유닛은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술적 해결 방안은 본질적으로, 또는 종래 기술에 기여하는 부분, 또는 기술 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 본 발명의 실시 예에서 설명된 방법의 단계 전부 또는 일부를 수행하도록 컴퓨터 장치(개인용 컴퓨터, 서버, 네트워크 장치 등일 수 있음)에 지시하기 위한 몇몇 명령을 포함한다. 전술한 저장 매체는: USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리 (RAM, Random Access Memory), 자기 디스크 또는 광학 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 실시 예는 단지 본 발명의 기술적 해결 방안을 설명하기 위한 것이지 본 발명을 제한하기 위한 것이 아니다. 전술한 실시 예를 참조하여 본 발명을 상세히 설명하였지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자는, 본 발명의 실시 예의 기술적 해결 방안의 사상 및 범위를 벗어나지 않고, 전술한 실시 예에서 설명된 기술적 솔루션을 여전히 수정하거나 그것의 일부 기술적 특징을 동등하게 대체할 수 있다는 것을 이해하여야 한다.

Claims (26)

  1. 추적할 비디오의 검출 기간 및 추적 기간을 결정하는 단계;
    상기 검출 기간 내에, 상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계;
    상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계;
    상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하는 단계; 및
    상기 검출 기간 전신 박스에 기초하여, 상기 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하는 단계 - 여기서 상기 추적 기간 전신 박스는 상기 추적할 보행자를 추적하기 위해 사용됨 - 를 포함하는
    보행자 추적 방법.
  2. 제1항에 있어서,
    상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계 전에,
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계; 및
    하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하는 단계를 포함하는 보행자 추적 방법.
  3. 제2항에 있어서,
    상기 상체 검출 박스는
    Figure pct00335
    이고,
    Figure pct00336
    은 상기 상체 검출 박스의 좌측 상단 수평 좌표이고,
    Figure pct00337
    은 상기 상체 검출 박스의 좌측 상단 수직 좌표이고,
    Figure pct00338
    은 상기 상체 검출 박스의 우측 하단 수평 좌표이고,
    Figure pct00339
    은 상기 상체 검출 박스의 우측 하단 수직 좌표이고;
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계는:
    제1 파라미터를 결정하는 단계 - 여기서 상기 제1 파라미터는
    Figure pct00340
    이고,
    Figure pct00341
    는 사전 설정 비율임 -;
    제2 파라미터를 결정하는 단계 - 여기서 상기 제2 파라미터는
    Figure pct00342
    임 -;
    제3 파라미터를 결정하는 단계 - 여기서 상기 제3 파라미터는
    Figure pct00343
    이고, 상기 제1 파라미터
    Figure pct00344
    -
    Figure pct00345
    과 동일함 -; 및
    상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하는 단계를 포함하는, 보행자 추적 방법.
  4. 제3항에 있어서,
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계는:
    상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하는 단계 - 여기서 상기 하체 스캔 영역은
    Figure pct00346
    이고,
    Figure pct00347
    은 상기 하체 스캔 영역의 좌측 상단 수평 좌표이고,
    Figure pct00348
    은 상기 하체 스캔 영역의 좌측 상단 수직 좌표이고,
    Figure pct00349
    은 상기 하체 스캔 영역의 우측 하단 수평 좌표이고,
    Figure pct00350
    은 상기 하체 스캔 영역의 우측 하단 수직 좌표이고,
    Figure pct00351
    ,
    Figure pct00352
    ,
    Figure pct00353
    및
    Figure pct00354
    이고;
    Figure pct00355
    ,
    Figure pct00356
    및
    Figure pct00357
    는 사전 설정 값이고,
    Figure pct00358
    는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
    Figure pct00359
    는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 높이임 - 를 포함하는, 보행자 추적 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 하체 검출 박스는
    Figure pct00360
    이고,
    Figure pct00361
    은 상기 하체 검출 박스의 좌측 상단 수평 좌표이고,
    Figure pct00362
    은 상기 하체 검출 박스의 좌측 상단 수직 좌표이고,
    Figure pct00363
    은 상기 하체 검출 박스의 우측 하단 수평 좌표이고,
    Figure pct00364
    은 상기 하체 검출 박스의 우측 하단 수직 좌표이고;
    상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하는 단계는:
    상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00365
    임 -;
    상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00366
    인 것으로 결정하는 단계;
    상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00367
    인 것으로 결정하는 단계;
    상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00368
    인 것으로 결정하는 단계; 및
    상기 검출 기간 전신 박스가
    Figure pct00369
    인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
  6. 제5항에 있어서,
    상기 검출 기간 전신 박스를 결정하는 단계 후에,
    상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00370
    인 것으로 결정하는 단계;
    상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00371
    인 것으로 결정하는 단계; 및
    Figure pct00372
    및
    Figure pct00373
    에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계를 더 포함하는 보행자 추적 방법.
  7. 제3항 또는 제4항에 있어서,
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계 후에,
    상기 하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00374
    임 -;
    상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00375
    인 것으로 결정하는 단계;
    상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00376
    인 것으로 결정하는 단계;
    상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00377
    인 것으로 결정하는 단계; 및
    상기 검출 기간 전신 박스가
    Figure pct00378
    인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
  8. 제7항에 있어서,
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계 후에,
    상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
    Figure pct00379
    을 획득하는 단계를 더 포함하고,
    상기 검출 기간 전신 박스를 결정하는 단계 후에,
    상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00380
    인 것으로 결정하는 단계; 및
    Figure pct00381
    및
    Figure pct00382
    에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계를 더 포함하는 보행자 추적 방법.
  9. 제6항 또는 제8항에 있어서,
    상기 상체 추적 박스는
    Figure pct00383
    이고,
    Figure pct00384
    은 상기 상체 추적 박스의 좌측 상단 수평 좌표이고,
    Figure pct00385
    은 상기 상체 추적 박스의 좌측 상단 수직 좌표이고,
    Figure pct00386
    은 상기 상체 추적 박스의 우측 하단 수평 좌표이고,
    Figure pct00387
    은 상기 상체 추적 박스의 우측 하단 수직 좌표이고;
    Figure pct00388
    및
    Figure pct00389
    에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계는:
    상기 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서
    Figure pct00390
    인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00391
    임 -;
    상기 추적 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00392
    인 것으로 결정하는 단계;
    상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00393
    인 것으로 결정하는 단계;
    상기 추적 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00394
    인 것으로 결정하는 단계 - 여기서
    Figure pct00395
    임 -; 및
    상기 추적 기간 전신 박스가
    Figure pct00396
    인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하는 단계는:
    상기 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키는 단계 - 여기서 상기 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상기 상체 검출 박스의 폭 대 상기 상체 검출 박스의 높이의 비율과 동일함 -; 및
    상기 상체 추적 박스를 결정하는 단계 - 여기서 상기 상체 추적 박스는 상기 복수의 입자 중 상기 상체 검출 박스와 가장 유사한 입자임 - 를 포함하는, 보행자 추적 방법.
  11. 제9항에 있어서,
    상기 검출 기간 전신 박스에 기초하여, 상기 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하는 단계는:
    상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표를 결정하는 단계 - 여기서
    Figure pct00397
    인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00398
    임 -;
    상기 추적 기간 전신 박스의 상기 좌측 상단 수직 좌표가
    Figure pct00399
    인 것으로 결정하는 단계;
    상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00400
    인 것으로 결정하는 단계;
    상기 추적 기간 전신 박스의 상기 우측 하단 수직 좌표가
    Figure pct00401
    인 것으로 결정하는 단계 - 여기서
    Figure pct00402
    임 -; 및
    상기 추적 기간 전신 박스가
    Figure pct00403
    인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하는 단계 - 여기서 상기 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 상기 대상 이미지 프레임 시퀀스는 상기 검출 기간 이전에 있음 -;
    상기 대상 이미지 프레임 시퀀스에 기초하여 상기 추적할 비디오의 배경 영역을 획득하는 단계;
    상기 검출 기간 내의 상기 추적할 비디오의 상기 이미지 프레임으로부터 상기 배경 영역을 감산함으로써 상기 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하는 단계; 및
    상기 추적할 비디오의 상기 이미지 프레임의 상기 전경 영역을 검출함으로써 상기 추적할 보행자를 획득하는 단계를 더 포함하는 보행자 추적 방법.
  13. 제12항에 있어서,
    상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계는:
    대상 이미지 프레임을 결정하는 단계 - 여기서 상기 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및
    상기 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득하는 단계를 포함하는 보행자 추적 방법.
  14. 추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된 제1 결정 유닛;
    상기 검출 기간 내에, 상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하도록 구성된 제1 획득 유닛;
    상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된 제2 획득 유닛;
    상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하도록 구성된 제3 획득 유닛; 및
    상기 검출 기간 전신 박스에 기초하여, 상기 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하도록 구성된 제4 획득 유닛 - 여기서 상기 추적 기간 전신 박스는 상기 추적할 보행자를 추적하기 위해 사용됨 - 을 포함하는
    전자 디바이스.
  15. 제14항에 있어서,
    상기 제2 획득 유닛은 구체적으로:
    상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고;
    하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하도록 구성된, 전자 디바이스.
  16. 제15항에 있어서,
    상기 상체 검출 박스는
    Figure pct00404
    이고,
    Figure pct00405
    은 상기 상체 검출 박스의 좌측 상단 수평 좌표이고,
    Figure pct00406
    은 상기 상체 검출 박스의 좌측 상단 수직 좌표이고,
    Figure pct00407
    은 상기 상체 검출 박스의 우측 하단 수평 좌표이고,
    Figure pct00408
    은 상기 상체 검출 박스의 우측 하단 수직 좌표이고;
    상기 상체 검출 박스에 기초하여 상기 하체 스캔 영역을 획득하는 경우, 상기 제2 획득 유닛은 구체적으로: 제1 파라미터를 결정하고 - 여기서 상기 제1 파라미터는
    Figure pct00409
    이고,
    Figure pct00410
    는 사전 설정 비율임 -;
    제2 파라미터를 결정하고 - 여기서 상기 제2 파라미터는
    Figure pct00411
    임 -;
    제3 파라미터를 결정하고 - 여기서 상기 제3 파라미터는
    Figure pct00412
    이고, 상기 제1 파라미터
    Figure pct00413
    -
    Figure pct00414
    과 동일함 -; 및
    상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하도록 구성된, 전자 디바이스.
  17. 제16항에 있어서,
    상기 상체 검출 박스에 기초하여 상기 하체 스캔 영역을 획득하는 경우, 상기 제2 획득 유닛은 구체적으로,
    상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하도록 구성되는 - 여기서 상기 하체 스캔 영역은
    Figure pct00415
    이고,
    Figure pct00416
    은 상기 하체 스캔 영역의 좌측 상단 수평 좌표이고,
    Figure pct00417
    은 상기 하체 스캔 영역의 좌측 상단 수직 좌표이고,
    Figure pct00418
    은 상기 하체 스캔 영역의 우측 하단 수평 좌표이고,
    Figure pct00419
    은 상기 하체 스캔 영역의 우측 하단 수직 좌표이고,
    Figure pct00420
    ,
    Figure pct00421
    ,
    Figure pct00422
    및
    Figure pct00423
    이고;
    Figure pct00424
    ,
    Figure pct00425
    및
    Figure pct00426
    는 사전 설정 값이고,
    Figure pct00427
    는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
    Figure pct00428
    는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 높이임 - 전자 디바이스.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 하체 검출 박스는
    Figure pct00429
    이고,
    Figure pct00430
    은 상기 하체 검출 박스의 좌측 상단 수평 좌표이고,
    Figure pct00431
    은 상기 하체 검출 박스의 좌측 상단 수직 좌표이고,
    Figure pct00432
    은 상기 하체 검출 박스의 우측 하단 수평 좌표이고,
    Figure pct00433
    은 상기 하체 검출 박스의 우측 하단 수직 좌표이고;
    상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 상기 검출 기간 전신 박스를 획득하는 경우, 상기 제2 획득 유닛은 구체적으로, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00434
    임 -;
    상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00435
    인 것으로 결정하고;
    상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00436
    인 것으로 결정하고;
    상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00437
    인 것으로 결정하고; 및
    상기 검출 기간 전신 박스가
    Figure pct00438
    인 것으로 결정하도록 구성된, 전자 디바이스.
  19. 제18항에 있어서,
    상기 제4 획득 유닛은 구체적으로:
    상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00439
    인 것으로 결정하고;
    상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00440
    인 것으로 결정하고; 및
    Figure pct00441
    및
    Figure pct00442
    에 기초하여 상기 추적 기간 전신 박스를 결정하도록 구성된, 전자 디바이스.
  20. 제16항 또는 제17항에 있어서,
    상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 상기 검출 기간 전신 박스를 획득하는 경우, 상기 제2 획득 유닛은 구체적으로:
    상기 하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00443
    임 -;
    상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00444
    인 것으로 결정하고;
    상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00445
    인 것으로 결정하고;
    상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00446
    인 것으로 결정하고; 및
    상기 검출 기간 전신 박스가
    Figure pct00447
    인 것으로 결정하도록 구성된, 전자 디바이스.
  21. 제20항에 있어서,
    상기 제4 획득 유닛은 구체적으로:
    상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
    Figure pct00448
    을 획득하고;
    상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
    Figure pct00449
    인 것으로 결정하고; 및
    Figure pct00450
    및
    Figure pct00451
    에 기초하여 상기 추적 기간 전신 박스를 결정하도록 구성된, 전자 디바이스.
  22. 제19항 또는 제21항에 있어서,
    상기 상체 추적 박스는
    Figure pct00452
    이고,
    Figure pct00453
    은 상기 상체 추적 박스의 좌측 상단 수평 좌표이고,
    Figure pct00454
    은 상기 상체 추적 박스의 좌측 상단 수직 좌표이고,
    Figure pct00455
    은 상기 상체 추적 박스의 우측 하단 수평 좌표이고,
    Figure pct00456
    은 상기 상체 추적 박스의 우측 하단 수직 좌표이고;
    Figure pct00457
    및
    Figure pct00458
    에 기초하여 상기 추적 기간 전신 박스를 결정하는 경우, 상기 제4 획득 유닛은 구체적으로:
    상기 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
    Figure pct00459
    인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00460
    임 -;
    상기 추적 기간 전신 박스의 좌측 상단 수직 좌표가
    Figure pct00461
    인 것으로 결정하고;
    상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00462
    인 것으로 결정하고;
    상기 추적 기간 전신 박스의 우측 하단 수직 좌표가
    Figure pct00463
    인 것으로 결정하고 - 여기서
    Figure pct00464
    임 -; 및
    상기 추적 기간 전신 박스가
    Figure pct00465
    인 것으로 결정하도록 구성된, 전자 디바이스.
  23. 제14항 내지 제22항 중 어느 한 항에 있어서,
    상기 제3 획득 유닛은 구체적으로:
    상기 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 상기 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상기 상체 검출 박스의 폭 대 상기 상체 검출 박스의 높이의 비율과 동일함 -; 및
    상체 추적 박스를 결정하도록 구성된 - 여기서 상기 상체 추적 박스는 상기 복수의 입자 중 상기 상체 검출 박스와 가장 유사한 입자임 - 전자 디바이스.
  24. 제22항에 있어서,
    상기 제4 획득 유닛은 구체적으로:
    상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표를 결정하고 - 여기서
    Figure pct00466
    인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
    Figure pct00467
    임 -;
    상기 추적 기간 전신 박스의 상기 좌측 상단 수직 좌표가
    Figure pct00468
    인 것으로 결정하고;
    상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
    Figure pct00469
    인 것으로 결정하고;
    상기 추적 기간 전신 박스의 상기 우측 하단 수직 좌표가
    Figure pct00470
    인 것으로 결정하고 - 여기서
    Figure pct00471
    임 -; 및
    상기 추적 기간 전신 박스가
    Figure pct00472
    인 것으로 결정하도록 구성된, 전자 디바이스.
  25. 제14항 내지 제24항 중 어느 한 항에 있어서,
    상기 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성된 제5 획득 유닛 - 여기서 상기 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 상기 대상 이미지 프레임 시퀀스는 상기 검출 기간 이전에 있음 -;
    상기 대상 이미지 프레임 시퀀스에 기초하여 상기 추적할 비디오의 배경 영역을 획득하도록 구성된 제6 획득 유닛;
    상기 검출 기간 내의 상기 추적할 비디오의 상기 이미지 프레임으로부터 상기 배경 영역을 감산함으로써 상기 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된 제7 획득 유닛; 및
    상기 추적할 비디오의 상기 이미지 프레임의 상기 전경 영역을 검출함으로써 상기 추적할 보행자를 획득하도록 구성된 제8 획득 유닛을 더 포함하는 전자 디바이스.
  26. 제25항에 있어서,
    상기 제1 획득 유닛은 구체적으로:
    대상 이미지 프레임을 결정하고 - 여기서 상기 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및
    상기 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득하도록 구성된, 전자 디바이스.
KR1020197026991A 2017-03-31 2018-03-20 보행자 추적 방법 및 전자 디바이스 KR102296088B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710208767.7A CN108665476B (zh) 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备
CN201710208767.7 2017-03-31
PCT/CN2018/079514 WO2018177153A1 (zh) 2017-03-31 2018-03-20 一种行人跟踪方法以及电子设备

Publications (2)

Publication Number Publication Date
KR20190118619A true KR20190118619A (ko) 2019-10-18
KR102296088B1 KR102296088B1 (ko) 2021-08-30

Family

ID=63675224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197026991A KR102296088B1 (ko) 2017-03-31 2018-03-20 보행자 추적 방법 및 전자 디바이스

Country Status (6)

Country Link
US (1) US20200027240A1 (ko)
EP (1) EP3573022A4 (ko)
JP (1) JP6847254B2 (ko)
KR (1) KR102296088B1 (ko)
CN (1) CN108665476B (ko)
WO (1) WO2018177153A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328644B1 (ko) * 2021-07-01 2021-11-18 주식회사 네패스아크 안전운전 도우미 시스템 및 그 동작방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209774B (zh) * 2018-11-21 2024-03-26 杭州海康威视数字技术股份有限公司 目标行为识别及显示方法、装置、设备、可读介质
CN109558505A (zh) 2018-11-21 2019-04-02 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质
CN110418114B (zh) * 2019-08-20 2021-11-16 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111767782B (zh) * 2020-04-15 2022-01-11 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN113642360B (zh) * 2020-04-27 2024-06-04 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
CN112541395A (zh) * 2020-11-13 2021-03-23 浙江大华技术股份有限公司 一种目标检测和跟踪方法、装置、存储介质及电子装置
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN113096155B (zh) * 2021-04-21 2023-01-17 青岛海信智慧生活科技股份有限公司 一种社区多特征融合的目标跟踪方法及装置
CN114037950B (zh) * 2021-10-26 2024-07-02 武汉大学 一种基于行人和头部检测的多行人跟踪方法及装置
CN116012949B (zh) * 2023-02-06 2023-11-17 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及系统
CN116091552B (zh) * 2023-04-04 2023-07-28 上海鉴智其迹科技有限公司 基于DeepSORT的目标跟踪方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571B (zh) * 2008-01-25 2010-06-09 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
US9437009B2 (en) * 2011-06-20 2016-09-06 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly context using supporters and distracters
CN102509086B (zh) * 2011-11-22 2015-02-18 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN102592288B (zh) * 2012-01-04 2014-07-02 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN102609686B (zh) * 2012-01-19 2014-03-12 宁波大学 一种行人检测方法
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
CN104063681B (zh) * 2014-05-30 2018-02-27 联想(北京)有限公司 一种活动对象图像识别方法及装置
CN105574515B (zh) * 2016-01-15 2019-01-01 南京邮电大学 一种无重叠视域下的行人再识别方法
CN106204653B (zh) * 2016-07-13 2019-04-30 浙江宇视科技有限公司 一种监控跟踪方法及装置
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN106960446B (zh) * 2017-04-01 2020-04-24 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. Sanofer Nisha 등. Part-based Pedestrian Detection and Tracking using HOG-SVM Classification, CSMA.(2014.01.31.)* *
Jihan Li 등. Real-time Surveillance Application by Multiple Detectors and Compressive Trackers, ICCE.(2015.01.09.)* *
Junliang Xing 등. Multi-Object Tracking through Occlusions by Local Tracklets Filtering and Global Tracklets Association with Detection Responses, CVPR.(2009.06.20.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328644B1 (ko) * 2021-07-01 2021-11-18 주식회사 네패스아크 안전운전 도우미 시스템 및 그 동작방법

Also Published As

Publication number Publication date
JP6847254B2 (ja) 2021-03-24
WO2018177153A1 (zh) 2018-10-04
JP2020515974A (ja) 2020-05-28
US20200027240A1 (en) 2020-01-23
KR102296088B1 (ko) 2021-08-30
EP3573022A4 (en) 2020-01-01
EP3573022A1 (en) 2019-11-27
CN108665476B (zh) 2022-03-11
CN108665476A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
KR102296088B1 (ko) 보행자 추적 방법 및 전자 디바이스
US20210343027A1 (en) Object tracking method and apparatus, storage medium and electronic device
JP7317919B2 (ja) 外観検索のシステムおよび方法
US10268900B2 (en) Real-time detection, tracking and occlusion reasoning
JP7282851B2 (ja) 装置、方法及びプログラム
WO2019184749A1 (zh) 轨迹跟踪方法、装置、计算机设备和存储介质
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
US8165348B2 (en) Detecting objects crossing a virtual boundary line
JP2019062527A (ja) エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別
US10491863B2 (en) Video surveillance system and video surveillance device
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP2798576A2 (en) Method and system for video composition
JP2019079357A (ja) 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法
WO2018008702A1 (ja) 振る舞い検知システム
CN110909691B (zh) 动作检测方法、装置、计算机可读存储介质和计算机设备
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
Bazo et al. Baptizo: A sensor fusion based model for tracking the identity of human poses
KR101648786B1 (ko) 객체 인식 방법
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
US10395137B2 (en) Method and processing unit for correlating image data content from disparate sources
JP2017097549A (ja) 画像処理装置、方法、及びプログラム
Peng et al. Multi-camera pedestrian detection with multi-view bayesian network model.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant