KR102296088B1

KR102296088B1 - 보행자 추적 방법 및 전자 디바이스

Info

Publication number: KR102296088B1
Application number: KR1020197026991A
Authority: KR
Inventors: 이 양; 마오린 천; 지엔후이 저우; 보 바이
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2017-03-31
Filing date: 2018-03-20
Publication date: 2021-08-30
Also published as: CN108665476A; JP6847254B2; JP2020515974A; US20200027240A1; EP3573022A4; WO2018177153A1; EP3573022A1; CN108665476B; KR20190118619A

Abstract

보행자 추적 방법 및 전자 디바이스가 제공된다. 상기 방법은: 검출 기간 동안, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계; 상체 검출 박스에 따라, 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계; 및 추적 기간 내에서, 검출 기간 전신 박스에 따라 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하는 단계를 포함한다. 추적할 보행자는 추적 기간 전신 박스에 의해 추적될 수 있음을 알 수 있다. 검출 기간 전신 박스의 폭-높이 비율은 가변적이어서, 추적할 보행자가 검출 기간에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 따른 방법에 의해, 추적할 보행자에 대한 정확한 추적 기간 전신 박스를 여전히 획득할 수 있다. 따라서, 추적할 보행자가 비정상적인 자세로 등장할 때, 추적할 보행자에 대한 정확한 추적이 여전히 실현될 수 있다.

Description

보행자 추적 방법 및 전자 디바이스

본 출원은 "PEDESTRIAN TRACKING METHOD AND ELECTRONIC DEVICE"라는 명칭으로 2017년 3월 31일에 중국 특허청에 출원된 중국 특허 출원 제201710208767.7호에 대한 우선권을 주장하며, 그 내용 전부는 참조에 의해 본 명세서에 포함된다.

본 발명은 통신 기술 분야, 특히 보행자 추적 방법 및 전자 디바이스에 관한 것이다.

안전한 도시 설립에 대한 역사적 배경에서 지능형 비디오 분석 시스템에 대한 관심이 높아지고 있다. 지능형 비디오 분석 시스템은 방대한 비디오 데이터에서 보행자를 자동으로 그리고 지능적으로 분석, 예를 들어, 보행자의 모션 트레일(motion trail)을 계산하고, 제한된 지역에서 보행자의 비정상적인 진입을 검출하고, 도로에서 보행자를 자동으로 검출하고 운전자에게 보행자를 피하도록 경고하고, 경찰이 이미지 기반 이미지 검색을 통해 범죄 용의자를 검색할 수 있도록 지원하여, 업무 효율성을 크게 향상시키고 인건비를 절약할 필요가 있다.

방대한 비디오 데이터에서 보행자를 자동으로 추출하기 위해, 보행자 검출 및 추적 알고리즘을 사용할 필요가 있다. 보행자 검출은, 이미지를 입력하고, 검출 알고리즘을 사용하여 이미지에서 보행자를 자동으로 찾고, 직사각형 상자 형태로 보행자의 위치를 제공하는 것을 말한다. 직사각형 박스는 보행자의 검출 박스로 지칭된다. 비디오에서 보행자는 움직이기 때문에, 비디오의 각 프레임에서 보행자의 위치를 획득하기 위해, 보행자는 보행자 추적 알고리즘을 사용하여 추적될 필요가 있다. 위치는 또한 직사각형 박스 형태로 제공되고, 직사각형 박스는 보행자의 추적 박스로 지칭된다.

종래 기술의 단점은 다음과 같다: 1. 검출 박스가 충분히 정확하지 않다: 보행자의 검출 박스의 종횡비가 고정되어 보행자의 전신이 검출된다. 따라서, 보행자가, 예를 들어, 다리를 넓게 벌리는 것과 같은 비정상적인 자세로 등장할 때, 이에 따라 종횡비는 증가하고, 종횡비가 고정된 보행자의 검출 박스는 충분히 정확하지 못하다. 2. 검출 박스와 추적 박스는 보행 과정에서의 보행자의 자세 변화를 포착할 수 없다: 비디오에서 보행자는 움직이기 때문에, 보행 과정에서 보행자의 자세는 크게 변할 수 있다. 이러한 변화는 비디오 이미지에서 보행자의 최소 경계 직사각형 박스의 종횡비에 대한 변화로서 나타낸 것이다. 보행 과정에서 보행자의 자세 변화는 고정 종횡비를 갖는 검출 상자와 추적 상자에 기초하여 캡처될 수 없다.

본 발명은 보행자 추적 방법 및 전자 디바이스를 제공하여, 추적할 보행자의 자세 변화에 무관하게 정확한 추적을 구현할 수 있다.

본 발명의 실시 예들의 제1 측면은 보행자 추적 방법을 제공하며, 상기 방법은 다음 단계들을 포함한다.

단계 A: 추적할 비디오의 검출 기간 및 추적 기간을 결정한다.

선택적으로, 검출 기간은 추적 기간에 포함되고, 검출 기간의 듀레이션(duration)은 추적 기간의 듀레이션보다 작다.

선택적으로, 본 실시 예에 나타낸 검출 기간은 추적 기간에 포함되지 않을 수 있고, 검출 기간은 추적 기간 이전에 있고, 검출 기간의 듀레이션은 추적 기간의 듀레이션보다 작다.

단계 B: 추적할 보행자의 상체 검출 박스를 획득한다.

구체적으로, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스는 검출 기간 내에 획득된다.

더욱 구체적으로, 대상 이미지 프레임이 먼저 결정되고, 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.

대상 이미지 프레임이 결정된 경우, 상체 검출 박스는 대상 이미지 프레임에서 획득될 수 있다.

단계 C: 추적할 보행자의 검출 기간 전신 박스를 획득한다,

구체적으로, 추적할 보행자의 검출 기간 전신 박스는, 상체 검출 박스에 기초하여 획득된다.

단계 D: 추적할 보행자의 상체 추적 박스를 획득한다.

구체적으로, 비디오에 등장하는 추적할 보행자의 상체 추적 박스는 추적 기간 내에 획득된다.

본 실시 예에서, 검출 기간 내에 획득된 검출 기간 전신 박스는 추적 대상으로 초기화되어, 추적 대상으로서의 추적할 보행자는 추적 기간 내에 추적될 수 있다.

단계 E: 추적 기간 전신 박스를 획득한다.

구체적으로, 상체 추적 박스에 대응하는 추적 기간 전신 박스는 검출 기간 전신 박스에 기초하여 획득된다.

추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.

본 실시 예에 나타낸 방법을 사용함으로써, 획득할 검출 기간 전신 박스는, 추적할 보행자의 상체 검출 박스에 기초하여 획득되며, 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 방법을 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.

본 발명의 실시 예들의 제1 측면을 참조하여, 본 발명의 실시 예들의 제1 측면의 제1 구현 예에서, 단계 C 전에, 다음 단계들이 더 수행된다.

단계 C01: 하체 스캔 영역을 획득한다.

본 실시 예에서, 추적할 보행자의 상체 검출 박스를 획득한 후, 추적할 보행자의 하체 스캔 영역은, 추적할 보행자의 상체 검출 박스에 기초하여 획득될 수 있다.

단계 C02: 검출 기간 전신 박스를 획득한다.

구체적으로, 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득된 경우, 검출 기간 전신 박스는 상체 검출 박스 및 하체 검출 박스에 기초하여 획득된다.

본 실시 예에 나타낸 방법을 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득된다. 획득한 검출 기간 전신 박스의 종횡비는 변할 수 있음을 알 수 있다. 따라서, 예를 들어, 추적할 보행자가 다리를 넓게 벌린 자세에서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하여, 추적할 보행자의 상체와 하체의 비율이 변하는 경우에도, 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써, 추적할 보행자의 정확한 검출 기간 전신 박스가 여전히 획득될 수 있어서, 추적할 보행자를 추적할 준비를 할 수 있다.

본 발명의 실시 예들의 제1 측면을 참조하여, 본 발명의 실시 예들의 제1 측면의 제2 구현 예에서, 상체 검출 박스는

이고,

은 상체 검출 박스의 좌측 상단 수평 좌표이고,

은 상체 검출 박스의 좌측 상단 수직 좌표이고,

은 상체 검출 박스의 우측 하단 수평 좌표이고,

은 상체 검출 박스의 우측 하단 수직 좌표이다.

단계 C01: 구체적으로 다음 단계들을 포함한다.

단계 C011: 제1 파라미터를 결정한다.

제1 파라미터는

이고,

는 사전 설정 비율이다.

선택적으로, 본 실시 예의

는 사전 저장되고,

는 인체 검출 박스의 종횡비에 기초하여 사전 설정될 수 있다. 예를 들어, 인체 검출 박스의 종횡비가 3:7인 것으로 미리 결정된 경우,

는 3/7으로 설정되고

는 저장되어, 본 단계를 수행하는 과정에서, 제1 파라미터

를 계산하기 위해

가 추출될 수 있다.

단계 C012: 제2 파라미터를 결정한다.

제2 파라미터는

이다.

단계 C013: 제3 파라미터를 결정한다.

제3 파라미터는

이고, 제1 파라미터

-

과 동일하다.

단계 C014: 하체 스캔 영역을 결정한다.

구체적으로, 하체 스캔 영역은 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 결정될 수 있다.

제1 파라미터, 제2 파라미터 및 제3 파라미터가 획득된 경우, 하체 스캔 영역이 결정될 수 있어서, 획득된 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출됨으로써, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킨다는 점을 알 수 있다.

본 발명의 실시 예들의 제1 측면의 제2 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제3 구현 예에서,

단계 C014는 구체적으로 다음과 같이 수행된다: 하체 스캔 영역은 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 결정되며, 하체 스캔 영역은

이다.

구체적으로,

은 하체 스캔 영역의 좌측 상단 수평 좌표이고,

은 하체 스캔 영역의 좌측 상단 수직 좌표이고,

은 하체 스캔 영역의 우측 하단 수평 좌표이고,

은 하체 스캔 영역의 우측 하단 수직 좌표이다.

더욱 구체적으로,

,

및

이다.

,

및

는 사전 설정 값이고,

,

및

는 경험적 값일 수 있고, 또는 운영 스태프(operating staff)가

,

및

의 다른 설정을 통해 하체 스캔 영역의 다른 설정을 구현할 수 있다.

는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 폭이고,

는 검출 기간 내의 추적할 비디오 중 임의의 이미지 프레임의 높이이다.

본 실시 예에 나타낸 방법을 사용함으로써, 추적할 보행자의 하체 검출 박스가, 획득된 하체 스캔 영역에서 검출될 수 있어서, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킬 수 있다. 또한, 획득 과정에서, 하체 스캔 영역의 다른 설정은 파라미터(

,

및

)의 다른 설정을 통해 구현될 수 있어, 본 실시 예에 나타낸 방법의 높은 적용 가능성(applicability)을 달성할 수 있다. 이러한 방식으로, 다른 어플리케이션 시나리오에서, 추적할 보행자를 검출하는 정확도를 향상시키기 위해, 파라미터의 다른 설정에 기초하여 하체 검출 박스의 다른 방향이 구현될 수 있다.

본 발명의 실시 예들의 제1 측면의 제1 구현 예 내지 본 발명의 실시 예들의 제1 측면의 제3 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제4 구현 예에서,

하체 검출 박스는

이고,

은 하체 검출 박스의 좌측 상단 수평 좌표이고,

은 하체 검출 박스의 좌측 상단 수직 좌표이고,

은 하체 검출 박스의 우측 하단 수평 좌표이고,

은 하체 검출 박스의 우측 하단 수직 좌표이다.

단계 C는 다음 단계들을 포함한다.

단계 C11: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표는

이다.

단계 C12: 검출 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 좌측 상단 수직 좌표는

이다.

단계 C13: 검출 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 우측 하단 수평 좌표는

이다.

단계 C14: 검출 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 우측 하단 수직 좌표는

이다.

단계 C15: 검출 기간 전신 박스를 결정한다.

구체적으로, 검출 기간 전신 박스는

이다.

본 실시 예에 나타낸 방법을 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득되어, 추적할 보행자가 비정상적인 자세, 예를 들어, 다리를 넓게 벌린 자세로 등장하고, 종횡비가 증가하는 경우에도, 본 실시 예로 인해 정확한 검출 기간 전신 박스가 획득될 수 있고, 추적할 보행자의 상체 및 하체는 개별적으로 검출될 수 있어, 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 개별적으로 획득할 수 있고, 다시 말해서, 검출 기간 전신 박스에서 상체 검출 박스와 하체 검출 박스의 비율은 추적할 보행자의 자세에 따라 변할 수 있음을 알 수 있다. 보행 과정에서 추적할 보행자의 자세의 변화는, 변화할 수 있는 상체 검출 박스 대 하체 검출 박스의 비율에 기초하여 정확하게 캡처될 수 있고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있음을 알 수 있다.

본 발명의 실시 예들의 제1 측면의 제4 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제5 구현 예에서,

단계 C 이후, 다음 단계들이 더 수행될 필요가 있다.

단계 D01: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율을 결정한다.

구체적으로, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율은

이다.

단계 D02: 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율을 결정한다.

구체적으로, 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율은

이다.

단계 D03: 추적 기간 전신 박스를 결정한다.

구체적으로, 추적 기간 전신 박스는

및

에 기초하여 결정된다.

본 실시 예에 나타낸 방법을 사용함으로써, 추적 기간 전신 박스는 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율 및 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율에 기초하여 결정될 수 있다. 검출 기간 전신 박스는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있기 때문에, 보행 과정에서 추적할 보행자의 자세의 변화는, 검출 기간 전신 박스를 이용함으로써 획득되는 추적 기간 전신 박스에 기초하여 정확하게 캡처될 수 있어, 추적 기간 전신 박스를 이용함으로써 추적할 보행자를 추적하는 정확도를 향상시키고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있다.

본 발명의 실시 예들의 제1 측면의 제2 구현 예 또는 본 발명의 실시 예들의 제1 측면의 제3 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제6 구현 예에서,

단계 C01 이후, 다음 단계들이 더 수행될 필요가 있다.

단계 C21: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.

구체적으로, 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표가 결정된다.

더욱 구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표는

이다.

단계 C22: 검출 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 좌측 상단 수직 좌표는

이다.

단계 C23: 검출 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 우측 하단 수평 좌표는

이다.

단계 C24: 검출 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.

구체적으로, 검출 기간 전신 박스의 우측 하단 수직 좌표는

이다.

단계 C25: 검출 기간 전신 박스가

인 것으로 결정한다.

본 실시 예에 나타낸 방법을 이용함으로써, 하체 스캔 영역에서 하체 검출 박스가 획득되지 않는 경우에도, 하체 검출 박스는 상체 검출 박스에 기초하여 계산될 수 있어, 하체 검출 박스가 검출되지 않을 때 검출 기간 전신 박스는 여전히 획득될 수 있어서, 추적할 보행자의 추적을 효과적으로 보장하고, 추적할 보행자의 하체가 검출될 수 없기 때문에 추적할 보행자를 추적할 수 없는 경우를 피할 수 있음을 알 수 있다. 또한, 보행 과정에서 추적할 보행자의 자세 변화는 정확하게 캡처될 수 있어서, 추적할 보행자의 자세의 변화로 인해 추적할 보행자가 추적될 수 없는 경우를 피할 수 있다.

본 발명의 실시 예들의 제1 측면의 제6 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제7 구현 예에서,

상기 방법은 다음 단계들을 더 포함한다.

단계 C31: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율을 획득한다.

구체적으로, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율은

이다.

단계 C32: 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율을 결정한다.

이다.

단계 C33:

및

에 기초하여 추적 기간 전신 박스를 결정한다.

본 실시 예에 나타낸 방법을 이용함으로써, 하체 검출 박스가 하체 스캔 영역에서 획득되지 않은 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적할 보행자의 추적을 효과적으로 보장할 수 있다.

본 발명의 실시 예들의 제1 측면의 제5 구현 예 또는 본 발명의 실시 예들의 제1 측면의 제7 구현 예에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제8 구현 예에서,

상체 추적 박스는

이고,

은 상체 추적 박스의 좌측 상단 수평 좌표이고,

은 상체 추적 박스의 좌측 상단 수직 좌표이고,

은 상체 추적 박스의 우측 하단 수평 좌표이고,

은 상체 추적 박스의 우측 하단 수직 좌표이다.

단계 C33은 구체적으로 다음 단계들을 포함한다.

단계 C331: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.

구체적으로,

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

이다.

단계 C332: 추적 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 좌측 상단 수직 좌표는

이다.

단계 C333: 추적 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 우측 하단 수평 좌표는

이다.

단계 C334: 추적 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 우측 하단 수직 좌표는

이다.

더욱 구체적으로,

이다.

단계 C335: 추적 기간 전신 박스를 결정한다.

구체적으로, 추적 기간 전신 박스는

이다.

본 실시 예에 나타낸 방법을 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표

이 상체 검출 박스의 좌측 상단 수평 좌표

과 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.

본 발명의 실시 예들의 제1 측면 내지 본 발명의 실시 예들의 제1 측면의 제8 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제9 구현 예에서,

단계 D는 구체적으로 다음 단계들을 포함한다.

단계 D11: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시킨다.

구체적으로, 복수의 입자는 상체 검출 박스를 중심으로 하여 산란되고, 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일하다.

상체 검출 박스가 추적할 비디오의 검출 기간 내에서 결정되는 경우, 추적할 보행자는 추적할 비디오의 추적 기간 내에서 추적된다. 추적할 보행자는 추적할 비디오에서 움직이며, 검출 기간 및 추적 기간 내에서 추적할 보행자의 위치는 상이하다. 따라서, 추적할 보행자를 추적하기 위해, 복수의 입자는 추적할 보행자의 상체 검출 박스의 주위에 산란되어 추적할 보행자를 추적할 수 있다.

단계 D12: 상체 추적 박스를 결정한다.

구체적으로, 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자이다.

본 실시 예에 나타낸 방법을 이용함으로써, 복수의 입자가 상체 검출 박스를 중심으로 하여 산란되어, 추적 기간 내에 정확한 상체 추적 박스가 획득될 수 있다. 또한, 상체 추적 박스는 상체 검출 박스를 이용함으로써 획득되어, 추적할 보행자의 다른 자세가 매칭될 수 있어, 추적할 보행자를 정확하게 추적할 수 있다.

본 발명의 실시 예들의 제1 측면의 제8 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제10 구현 예에서,

단계 E는 구체적으로 다음 단계들을 포함할 수 있다.

단계 E11: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정한다.

구체적으로,

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

이다.

단계 E12: 추적 기간 전신 박스의 좌측 상단 수직 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 좌측 상단 수직 좌표는

이다.

단계 E13: 추적 기간 전신 박스의 우측 하단 수평 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 우측 하단 수평 좌표는

이다.

단계 E14: 추적 기간 전신 박스의 우측 하단 수직 좌표를 결정한다.

구체적으로, 추적 기간 전신 박스의 우측 하단 수직 좌표는

이다.

더욱 구체적으로,

이다.

단계 E15: 추적 기간 전신 박스를 결정한다.

구체적으로, 추적 기간 전신 박스는

이다.

가 하체 검출 박스의 좌측 상단 수평 좌표

와 동일한 경우, 추적 기간 전신 박스가 계산될 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 크게 변하는 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적될 보행자가 추적될 수 없는 경우를 피하고, 추적할 보행자의 추적의 정확도를 향상시킬 수 있다.

본 발명의 실시 예들의 제1 측면 내지 본 발명의 실시 예들의 제1 측면의 제10 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제1 측면의 제11 구현 예에서,

상기 방법은 다음 단계들을 더 포함한다.

단계 E21: 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득한다.

대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전에 있다.

단계 E22: 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득한다.

구체적으로, 대상 이미지 프레임 시퀀스의 임의의 이미지 프레임에서, 정지 배경은 정적 배경 모델을 사용하여 획득되고, 정지 객체는 추적할 비디오의 배경 영역으로 결정된다.

단계 E23: 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득한다.

구체적으로, 추적할 비디오의 이미지 프레임의 전경 영역은, 검출 기간 내의 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 획득된다.

구체적으로, 추적할 비디오의 배경 영역이 획득된 경우, 추적할 비디오의 이미지 프레임의 임의의 영역과 배경 영역 사이의 차이가 얻어지고, 대상 값을 획득한다. 추적할 비디오의 이미지 프레임의 상이한 영역들이 각각 하나의 대상 값에 대응함을 알 수 있다.

대상 값이 사전 설정 임계 치보다 크거나 같은 경우, 이것은 추적할 비디오의 이미지 프레임의 영역이고 대상 값에 대응하는 영역이 모션 영역임을 나타낸다.

모션 영역이 검출된 경우, 모션 영역은 추적할 비디오의 이미지 프레임의 전경 영역으로서 결정된다.

단계 E24: 추적할 보행자를 획득한다.

구체적으로, 추적할 보행자는, 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 획득된다.

본 발명의 실시 예들의 제1 측면의 제11 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제12 구현 예에서,

단계 B는 다음 단계들을 포함한다.

단계 B1: 대상 이미지 프레임을 결정한다.

구체적으로, 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.

단계 B12: 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득한다.

본 실시 예에 나타낸 방법을 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임에 대한 전경 영역에서 검출 및 추적될 수 있고, 즉, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정 모두 이미지의 전경 영역에서 실행됨을 알 수 있다. 따라서 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 추적할 보행자를 검색하기 위한 검색 공간이 줄어 들어, 추적할 보행자 추적에 필요한 듀레이션을 줄이고 추적할 보행자 추적 효율성을 향상시킨다.

본 발명의 실시 예들의 제2 측면은 전자 디바이스를 제공하며, 상기 전자 디바이스는 제1 결정 유닛, 제1 획득 유닛, 제2 획득 유닛, 제3 획득 유닛 및 제4 획득 유닛을 포함한다.

제1 결정 유닛은 추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된다.

본 실시 예에 나타낸 제1 결정 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 A를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제1 획득 유닛은, 검출 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하도록 구성된다.

본 실시 예에 나타낸 제1 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 B를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제2 획득 유닛은, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된다.

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제3 획득 유닛은, 추적 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 추적 박스를 획득하도록 구성된다.

본 실시 예에 나타낸 제3 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제4 획득 유닛은, 검출 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하도록 구성되며, 추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.

본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득할 검출 기간 전신 박스는, 추적할 보행자의 상체 검출 박스에 기초하여 획득되며, 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 전자 디바이스를 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.

본 발명의 실시 예들의 제2 측면을 참조하여, 본 발명의 실시 예들의 제2 측면의 제1 구현 예에서,

상기 제2 획득 유닛은 구체적으로:

상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고;

하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득하도록 구성된다.

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C01 및 단계 C02를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득된다. 획득한 검출 기간 전신 박스의 종횡비는 변할 수 있음을 알 수 있다. 따라서, 예를 들어, 추적할 보행자가 다리를 넓게 벌린 자세에서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하여, 추적할 보행자의 상체와 하체의 비율이 변하는 경우에도, 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써, 추적할 보행자의 정확한 검출 기간 전신 박스가 여전히 획득될 수 있어서, 추적할 보행자를 추적할 준비를 할 수 있다.

본 발명의 실시 예들의 제2 측면의 제1 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제2 구현 예에서,

상체 검출 박스는

이고,

은 상체 검출 박스의 좌측 상단 수평 좌표이고,

은 상체 검출 박스의 좌측 상단 수직 좌표이고,

은 상체 검출 박스의 우측 하단 수평 좌표이고,

은 상체 검출 박스의 우측 하단 수직 좌표이고;

상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛은 구체적으로: 제1 파라미터를 결정하고 - 여기서 제1 파라미터는

이고,

는 사전 설정 비율임 -; 제2 파라미터를 결정하고 - 여기서 제2 파라미터는

임 -; 제3 파라미터를 결정하고 - 여기서 제3 파라미터는

이고, 제1 파라미터

-

과 동일함 -; 및 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성된다.

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C011, 단계 C012, 단계 C013 및 단계 C014를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득하는 경우, 본 실시 예에 나타낸 전자 디바이스는 하체 스캔 영역이 결정할 수 있어서, 획득된 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출됨으로써, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킨다는 점을 알 수 있다.

본 발명의 실시 예들의 제2 측면의 제2 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제3 구현 예에서, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛은 구체적으로, 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성되고, 여기서 상기 하체 스캔 영역은

이고,

은 하체 스캔 영역의 좌측 상단 수평 좌표이고,

은 하체 스캔 영역의 좌측 상단 수직 좌표이고,

은 하체 스캔 영역의 우측 하단 수평 좌표이고,

은 하체 스캔 영역의 우측 하단 수직 좌표이고,

,

및

이고;

,

및

는 사전 설정 값이고,

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C014를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 추적할 보행자의 하체 검출 박스가, 획득된 하체 스캔 영역에서 검출될 수 있어서, 추적할 보행자의 하체 검출 박스를 획득하는 정확도 및 효율을 향상시키고 추적할 보행자를 추적하는 효율을 향상시킬 수 있다. 또한, 획득 과정에서, 하체 스캔 영역의 다른 설정은 파라미터(

,

및

)의 다른 설정을 통해 구현될 수 있어, 본 실시 예에 나타낸 전자 디바이스의 높은 적용 가능성을 달성할 수 있다. 이러한 방식으로, 다른 어플리케이션 시나리오에서, 추적할 보행자를 검출하는 정확도를 향상시키기 위해, 파라미터의 다른 설정에 기초하여 하체 검출 박스의 다른 방향이 구현될 수 있다.

본 발명의 실시 예들의 제2 측면의 제1 구현 예 내지 본 발명의 실시 예들의 제2 측면의 제3 구현 예 중 어느 하나에 따른 방법을 참조하여, 본 발명의 실시 예들의 제2 측면의 제4 구현 예에서,

하체 검출 박스는

이고,

은 하체 검출 박스의 좌측 상단 수평 좌표이고,

은 하체 검출 박스의 좌측 상단 수직 좌표이고,

은 하체 검출 박스의 우측 하단 수평 좌표이고,

은 하체 검출 박스의 우측 하단 수직 좌표이고;

상체 검출 박스와 하체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛은 구체적으로, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수평 좌표가

인 것으로 결정하고; 검출 기간 전신 박스의 우측 하단 수직 좌표가

인 것으로 결정하고; 및 검출 기간 전신 박스가

인 것으로 결정하도록 구성된다.

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C11, 단계 C12, 단계 C13. 단계 C14 및 단계 C15를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 획득된 검출 기간 전신 박스는 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 조합함으로써 획득되어, 추적할 보행자가 비정상적인 자세, 예를 들어, 다리를 넓게 벌린 자세로 등장하고, 종횡비가 증가하는 경우에도, 본 실시 예로 인해 정확한 검출 기간 전신 박스가 획득될 수 있고, 추적할 보행자의 상체 및 하체는 개별적으로 검출될 수 있어, 추적할 보행자의 상체 검출 박스와 추적할 보행자의 하체 검출 박스를 개별적으로 획득할 수 있고, 다시 말해서, 검출 기간 전신 박스에서 상체 검출 박스와 하체 검출 박스의 비율은 추적할 보행자의 자세에 따라 변할 수 있음을 알 수 있다. 보행 과정에서 추적할 보행자의 자세의 변화는, 변화할 수 있는 상체 검출 박스 대 하체 검출 박스의 비율에 기초하여 정확하게 캡처될 수 있고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있음을 알 수 있다.

본 발명의 실시 예들의 제2 측면의 제4 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제5 구현 예에서, 제4 획득 유닛은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율이

인 것으로 결정하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이

인 것으로 결정하고; 및

및

에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.

본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D01, 단계 D02 및 단계 D03을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 사용함으로써, 추적 기간 전신 박스는 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율 및 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율에 기초하여 결정될 수 있다. 검출 기간 전신 박스는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있기 때문에, 보행 과정에서 추적할 보행자의 자세의 변화는, 검출 기간 전신 박스를 이용함으로써 획득되는 추적 기간 전신 박스에 기초하여 정확하게 캡처될 수 있어, 추적 기간 전신 박스를 이용함으로써 추적할 보행자를 추적하는 정확도를 향상시키고, 추적할 보행자의 자세의 변화로 인해 추적할 보행자를 추적할 수 없는 경우를 효과적으로 피할 수 있다.

본 발명의 실시 예들의 제2 측면의 제2 구현 예 또는 본 발명의 실시 예들의 제2 측면의 제3 구현 예에 따른 전자 디바이스를 참조하여, 본 발명의 실시 예들의 제2 측면의 제6 구현 예에서,

상체 검출 박스와 하체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛은 구체적으로: 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는

임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고; 및 검출 기간 전신 박스가

인 것으로 결정하도록 구성된다.

본 실시 예에 나타낸 제2 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C21, 단계 C22, 단계 C23, 단계 C24 및 단계 C25를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 하체 스캔 영역에서 하체 검출 박스가 획득되지 않는 경우에도, 하체 검출 박스는 상체 검출 박스에 기초하여 계산될 수 있어, 하체 검출 박스가 검출되지 않을 때 검출 기간 전신 박스는 여전히 획득될 수 있어서, 추적할 보행자의 추적을 효과적으로 보장하고, 추적할 보행자의 하체가 검출될 수 없기 때문에 추적할 보행자를 추적할 수 없는 경우를 피할 수 있음을 알 수 있다. 또한, 보행 과정에서 추적할 보행자의 자세 변화는 정확하게 캡처될 수 있어서, 추적할 보행자의 자세의 변화로 인해 추적할 보행자가 추적될 수 없는 경우를 피할 수 있다.

본 발명의 실시 예들의 제2 측면의 제6 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제7 구현 예에서, 제4 획득 유닛은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율

을 획득하고; 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이

인 것으로 결정하고; 및

및

에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.

본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C31, 단계 C32 및 단계 C33을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 하체 검출 박스가 하체 스캔 영역에서 획득되지 않은 경우라도, 추적 기간 전신 박스는 여전히 획득될 수 있어, 추적할 보행자의 추적을 효과적으로 보장할 수 있음을 알 수 있다.

본 발명의 실시 예들의 제2 측면의 제5 구현 예 또는 본 발명의 실시 예들의 제2 측면의 제7 구현 예에 따른 전자 디바이스를 참조하여, 본 발명의 실시 예들의 제2 측면의 제8 구현 예에서,

상체 추적 박스는

이고,

은 상체 추적 박스의 좌측 상단 수평 좌표이고,

은 상체 추적 박스의 좌측 상단 수직 좌표이고,

은 상체 추적 박스의 우측 하단 수평 좌표이고,

은 상체 추적 박스의 우측 하단 수직 좌표이고;

및

에 기초하여 추적 기간 전신 박스를 결정하는 경우, 제4 획득 유닛은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수평 좌표가

인 것으로 결정하고; 추적 기간 전신 박스의 우측 하단 수직 좌표가

인 것으로 결정하고 - 여기서

임 -; 및 추적 기간 전신 박스가

인 것으로 결정하도록 구성된다.

본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 C331, 단계 C332, 단계 C333, 단계 C334 및 단계 C335를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 검출 기간 전신 박스의 좌측 상단 수평 좌표

이 상체 검출 박스의 좌측 상단 수평 좌표

본 발명의 실시 예들의 제2 측면 내지 본 발명의 실시 예들의 제2 측면의 제8 구현 예 중 어느 하나에 따른 전자 디바이스를 참조하여, 본 발명의 실시 예들의 제2 측면의 제9 구현 예에서,

제3 획득 유닛은 구체적으로: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일함 -; 및 상체 추적 박스를 결정하도록 구성된다 - 여기서 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자임 -.

본 실시 예에 나타낸 제3 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 D11 및 단계 D12를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 복수의 입자가 상체 검출 박스를 중심으로 하여 산란되어, 추적 기간 내에 정확한 상체 추적 박스가 획득될 수 있다. 또한, 상체 추적 박스는 상체 검출 박스를 이용함으로써 획득되어, 추적할 보행자의 다른 자세가 매칭될 수 있어, 추적할 보행자를 정확하게 추적할 수 있다.

본 발명의 실시 예들의 제2 측면의 제8 구현 예를 참조하여, 본 발명의 실시 예들의 제1 측면의 제10 구현 예에서,

제4 획득 유닛은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고 - 여기서

임 -; 및 추적 기간 전신 박스가

인 것으로 결정하도록 구성된다.

본 실시 예에 나타낸 제4 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E11, 단계 E12, 단계 E13, 단계 E14 및 단계 E15를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

가 하체 검출 박스의 좌측 상단 수평 좌표

본 발명의 실시 예들의 제2 측면 내지 본 발명의 실시 예들의 제2 측면의 제10 구현 예 중 어느 하나에 따른 전자 디바이스를 참조하여, 본 발명의 실시 예들의 제2 측면의 제11 구현 예에서, 전자 디바이스는 제5 획득 유닛, 제6 획득 유닛, 제7 획득 유닛 및 제8 획득 유닛을 더 포함한다.

제5 획득 유닛은, 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성되고, 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전에 있다.

본 실시 예에 나타낸 제5 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E21을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제6 획득 유닛은, 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득하도록 구성된다.

본 실시 예에 나타낸 제6 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E22를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제7 획득 유닛은, 검출 기간 내의 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된다.

본 실시 예에 나타낸 제7 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E23을 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

제8 획득 유닛은, 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득하도록 구성된다.

본 실시 예에 나타낸 제8 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 E24를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 발명의 실시 예들의 제2 측면의 제11 구현 예를 참조하여, 본 발명의 실시 예들의 제2 측면의 제12 구현 예에서,

제1 획득 유닛은 구체적으로: 대상 이미지 프레임을 결정하고 - 여기서 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및 대상 이미지 프레임의 전경 영역의 상체 검출 박스를 획득하도록 구성된다.

본 실시 예에 나타낸 제1 획득 유닛은, 본 발명의 실시 예들의 제1 측면에 나타낸 단계 B11 및 단계 B12를 수행하도록 구성된다. 구체적인 실행 과정에 대해, 본 발명의 실시 예들의 제1 측면을 참조할 수 있다. 그 상세한 내용은 설명되지 않는다.

본 실시 예에 나타낸 전자 디바이스를 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임에 대한 전경 영역에서 검출 및 추적될 수 있고, 즉, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정 모두 이미지의 전경 영역에서 실행됨을 알 수 있다. 따라서 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 추적할 보행자를 검색하기 위한 검색 공간이 줄어 들어, 추적할 보행자 추적에 필요한 듀레이션을 줄이고 추적할 보행자 추적 효율성을 향상시킨다.

본 발명의 실시 예들은 보행자 추적 방법 및 전자 디바이스를 제공한다. 상기 방법에 따르면, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스는 검출 기간 내에 획득될 수 있고; 추적할 보행자의 검출 기간 전신 박스는 상체 검출 박스에 기초하여 획득되고; 상체 추적 박스에 대응하는 추적 기간 전신 박스는 검출 기간 전신 박스에 기초하여 추적 기간 내에서 획득된다. 추적할 보행자는 추적 기간 전신 박스를 이용함으로써 추적될 수 있음을 알 수 있다. 검출 기간 전신 박스의 종횡비는 변할 수 있다. 따라서, 추적할 보행자가 검출 기간 내에 비정상적인 자세로 등장하는 경우에도, 본 실시 예에 나타낸 방법을 사용하여 추적할 보행자의 정확한 추적 기간 전신 박스를 여전히 획득할 수 있어, 추적할 보행자가 비정상적인 자세로 등장할 때 추적할 보행자를 추적하기 위한 준비가 여전히 이루어질 수 있다.

도 1은 본 발명에 따른 전자 디바이스의 일 실시 예를 설명하기 위한 개략 구조도이다.
도 2는 본 발명에 따른 프로세서의 일 실시 예를 설명하기 위한 개략 구조도이다.
도 3a 및 도 3b는 본 발명에 따른 보행자 추적 방법에 대한 일 실시 예의 단계들을 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 보행자 추적 방법의 일 실시 예를 설명하기 위한 개략 응용도이다.
도 5는 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 6은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 7은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 8은 본 발명에 따른 보행자 추적 방법의 다른 실시 예를 설명하기 위한 개략 응용도이다.
도 9a 및 도 9b는 본 발명에 따른 보행자 질의 방법에 대한 일 실시 예의 단계들을 설명하기 위한 흐름도이다.
도 10a 및 도 10b는 본 발명에 따른 보행자 질의 방법에 대한 일 실시 예의 실행 단계들을 설명하기 위한 개략도이다.
도 11은 본 발명에 따른 전자 디바이스의 다른 실시 예를 설명하기 위한 개략 구조도이다.

본 발명의 실시 예들은 보행자 추적 방법을 제공한다. 본 발명의 실시 예들에 나타낸 보행자 추적 방법을 보다 잘 이해하기 위해, 먼저 본 발명의 실시 예들에 나타낸 방법을 수행할 수 있는 전자 디바이스의 특정 구조를 상세히 설명한다.

아래에서는 도 1을 참조하여 실시 예들에 나타낸 전자 디바이스의 구체적인 구조가 상세히 설명된다. 도 1은 본 발명에 따른 전자 디바이스의 일 실시 예를 설명하기 위한 개략 구조도이다.

전자 디바이스(100)는 구성 또는 성능에 따라 크게 달라질 수 있으며, 하나 이상의 프로세서(122)를 포함할 수 있다.

프로세서(122)는, 실시 예들에 나타낸 보행자 추적 방법을 수행하기 위한 컴퓨팅 및 이미지 처리 능력을 가질 수 있다면, 본 실시 예로 제한되지 않는다. 선택적으로, 본 실시 예에 도시된 프로세서(122)는 중앙 처리 장치(CPU)일 수 있다.

하나 이상의 저장 매체(130)(예를 들어, 하나 이상의 대규모 저장 디바이스)는 어플리케이션 프로그램(142) 또는 데이터(144)를 저장하도록 구성된다.

저장 매체(130)는 일시적 저장 매체 또는 영구 저장 매체일 수 있다. 저장 매체(130)에 저장된 프로그램은 하나 이상의 모듈(도시되지 않음)을 포함할 수 있으며, 각 모듈은 전자 디바이스에서 일련의 명령 동작을 포함할 수 있다.

또한, 프로세서(122)는 저장 매체(130)와 통신하고, 전자 디바이스(100)의 저장 매체(130)에서 일련의 명령 동작을 수행하도록 구성될 수 있다.

전자 디바이스(100)는 하나 이상의 전원 공급부(126), 하나 이상의 입력/출력 인터페이스(158) 및/또는 Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM 및 FreeBSD^TM와 같은 하나 이상의 운영 체제(141)를 더 포함할 수 있다.

본 발명의 일 구현에서, 전자 디바이스는 이미지 처리 능력 및 컴퓨팅 능력을 갖는 임의의 디바이스일 수 있으며, 서버, 카메라, 모바일 컴퓨터, 태블릿 컴퓨터 등을 포함하지만 이에 제한되지는 않는다.

본 실시 예에 나타낸 전자 디바이스가 실시 예들에 나타낸 보행자 추적 방법을 수행하는 경우, 본 실시 예에 나타낸 입력/출력 인터페이스(158)는 대규모 감시 비디오를 수신하도록 구성될 수 있고, 입력/출력 인터페이스(158)는 검출 과정, 보행자 추적 결과 등을 표시할 수 있다. 프로세서(122)는 보행자 검출을 수행하고 보행자 추적 알고리즘을 실행하도록 구성된다. 저장 매체(130)는 운영 체제, 어플리케이션 프로그램 등을 저장하도록 구성되고, 저장 매체(130)는 보행자 추적 과정의 중간 결과 등을 저장할 수 있다. 실시 예에 나타낸 방법을 수행하는 과정에서, 실시 예에 나타낸 전자 디바이스는 방대한 감시 비디오로부터 추적될 필요가 있는 대상 보행자를 찾을 수 있고, 대상 보행자가 감시 비디오에 등장하는 시간 및 장소와 같은 정보를 제공할 수 있다.

실시 예들에 나타낸 보행자 추적 방법을 구현하도록 구성된 프로세서(122)의 구체적인 구조가 도 2를 참조하여 아래에서 상세히 설명된다.

구체적으로, 프로세서(122)는 메타 데이터 추출 유닛(21) 및 질의 유닛(22)을 포함한다.

더욱 구체적으로, 메타 데이터 추출 유닛(21)은 객체 추출 모듈(211), 특징 추출 모듈(212) 및 인덱스 구성 모듈(213)을 포함한다.

더욱 구체적으로, 질의 유닛(22)은 특징 추출 모듈(221), 특징 융합 모듈(222) 및 인덱싱 및 질의 모듈(223)을 포함한다.

본 실시 예에서, 프로세서(122)는, 도 2에 나타낸 프로세서(122)에 포함된 임의의 유닛에서 임의의 모듈의 기능을 구현하기 위해 저장 매체(130)에 저장된 프로그램을 실행할 수 있다.

아래에서는 도 1 및 도 2에 나타낸 전자 디바이스에 기초하여, 실시 예들에 나타낸 보행자 추적 방법의 구체적인 실행 절차가 도 3a 및 도 3b를 참조하여 상세히 설명된다.

도 3a 및도 3b는 본 발명에 따른 보행자 추적 방법의 일 실시 예의 단계들을 설명하기 위한 흐름도이다.

본 실시 예에 나타낸 보행자 추적 방법의 실행 바디(body)는 전자 디바이스이며, 구체적으로 프로세서(122)의 하나 이상의 모듈, 예를 들어, 객체 추출 모듈(211)일 수 있음을 유의하여야 한다.

본 실시 예에 나타낸 보행자 추적 방법은 다음 단계들을 포함한다.

단계 301: 추적할 비디오를 획득한다.

구체적으로, 본 실시 예에 나타낸 프로세서(122)에 포함된 객체 추출 모듈(211)은 추적할 비디오를 획득하도록 구성된다.

선택적으로, 본 실시 예에 나타낸 전자 디바이스가 카메라를 포함하지 않는 경우, 예를 들어, 전자 디바이스가 서버인 경우, 본 실시 예에 나타낸 전자 디바이스는 입력/출력 인터페이스(158)를 이용하여 복수의 카메라와 통신한다. 카메라는 추적할 보행자를 촬영하여 추적할 비디오를 생성하도록 구성된다. 이에 상응하여, 전자 디바이스는 입력/출력 인터페이스(158)를 이용하여 카메라에 의해 송신된 추적할 비디오를 수신하고, 또한, 프로세서(122)의 객체 추출 모듈(211)은 입력/출력 인터페이스(158)에 의해 수신된 추적할 비디오를 획득한다.

선택적으로, 본 실시 예에 나타낸 전자 디바이스가 카메라를 포함하는 경우, 예를 들어, 전자 디바이스가 비디오 카메라인 경우, 전자 디바이스의 프로세서(122)의 객체 추출 모듈(211)은 전자 디바이스의 카메라에 의해 추적할 비디오 샷을 획득한다.

구체적인 어플리케이션에서, 본 실시 예에 나타낸 추적할 비디오는 대개 대규모 비디오이다.

본 실시 예에서 추적할 비디오를 획득하는 방식은 선택적 예이며, 객체 추출 모듈(211)이 보행자 추적에 사용되는 추적할 비디오를 획득할 수 있다면 제한을 구성하지 않는다는 점을 유의하여야 한다.

단계 302: 대상 이미지 프레임 시퀀스를 획득한다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 대상 이미지 프레임 시퀀스를 획득한다.

더욱 구체적으로, 추적할 비디오를 획득한 후, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오에서 대상 이미지 프레임 시퀀스를 결정한다.

대상 이미지 프레임 시퀀스는 추적할 비디오의 처음 M 개의 이미지 프레임이고, M이 1보다 큰 양의 정수라면, 본 실시 예에서 M의 구체적인 값은 제한되지 않는다.

대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함한다.

단계 303: 추적할 비디오의 배경 영역을 획득한다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 대상 이미지 프레임 시퀀스를 학습하여, 추적할 비디오의 배경 영역을 획득한다. 본 실시 예에 나타낸 추적할 비디오의 배경 영역에 대해서는 도 4를 참조할 수 있다.

선택적으로, 객체 추출 모듈(211)은 구체적으로 다음과 같은 방식으로 추적할 비디오의 배경 영역을 획득할 수 있다: 객체 추출 모듈(211)은 정적 배경 모델을 사용하여 대상 이미지 프레임 시퀀스의 임의의 이미지 프레임으로부터 정지 객체를 획득하고, 정지 객체를 추적할 비디오의 배경 영역으로 결정한다.

본 실시 예에서 추적할 비디오의 배경 영역을 획득하는 것에 대한 설명은 선택적인 예일 뿐이며 제한을 구성하지 않는다는 점을 유의하여야 한다. 예를 들어, 객체 추출 모듈(211)은 대안적으로 객체 추출 모듈(211)이 배경 영역을 획득할 수 있는 경우라면, 프레임 차이(frame difference) 방법, 광학 흐름 장(optical flow field) 방법 등을 사용할 수 있다.

본 실시 예에 나타낸 단계(303)는 선택적 단계임을 유의하여야 한다.

단계 304: 추적할 비디오의 검출 기간 및 추적 기간을 결정한다.

구체적으로, 객체 추출 모듈(211)은 검출 기간(T1) 및 추적 기간(T2)을 결정한다.

선택적으로, 본 실시 예에 나타낸 검출 기간(T1)은 추적 기간(T2)에 포함되고, 검출 기간(T1)의 듀레이션은 추적 기간(T2)의 듀레이션보다 작다.

예를 들어, 추적 기간(T2)의 듀레이션은 10분일 수 있고, 검출 기간(T1)의 듀레이션은 2초이고, 추적 기간(T2)의 듀레이션에 해당하는 10분 내에서 처음 2초는 검출 기간(T1)이다.

선택적으로, 본 실시 예에 나타낸 검출 기간(T1)은 추적 기간(T2)에 포함되지 않을 수 있고, 검출 기간(T1)은 추적 기간(T2) 이전이고, 검출 기간(T1)의 듀레이션은 추적 기간(T2)의 듀레이션보다 작다.

예를 들어, 검출 기간(T1)의 듀레이션은 2초이고, 추적 기간(T2)의 듀레이션은 10분일 수 있으며, 추적 기간(T2)은 검출 기간(T1) 후에 추가로 실행된다.

본 실시 예에서의 검출 기간(T1)의 듀레이션 및 추적 기간(T2)의 듀레이션에 대한 설명은 선택적인 예에 불과하며, 제한을 구성하지 않는다는 것을 유의하여야 한다.

본 실시 예에서, 설명을 위해, 검출 기간(T1)이 추적 기간(T2)에 포함되는 예를 사용한다.

더욱 구체적으로, 본 실시 예에 나타낸 검출 기간(T1)의 시작 프레임은 추적할 비디오의 t번째 프레임이고, t는 M보다 크다. 본 실시 예에서의 대상 이미지 프레임 시퀀스는 검출 기간(T1) 이전임을 알 수 있다.

단계 305: 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득한다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간 내에 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써, 추적할 비디오의 이미지 프레임의 전경 영역을 획득한다.

도 5는 본 실시 예에 나타낸 추적할 비디오의 이미지 프레임의 획득한 전경 영역을 나타낸다. 구체적으로, 도 5의 백색 픽셀은 추적할 비디오의 이미지 프레임의 전경 영역이다.

구체적으로, 추적할 비디오의 배경 영역을 획득할 때, 본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 이미지 프레임의 임의의 영역과 배경 영역 사이의 차이를 획득하여 대상 값을 획득한다. 추적할 비디오의 이미지 프레임의 상이한 영역들이 각각 하나의 대상 값에 대응한다는 것을 알 수 있다.

대상 값이 사전 설정 임계 치 이상이면, 추적할 비디오의 이미지 프레임의 영역이고 대상 값에 대응하는 영역이 모션 영역임을 나타낸다.

본 실시 예에 나타낸 사전 설정 임계 치가 미리 설정되고, 추적할 비디오의 이미지 프레임의 모션 영역이 사전 설정 임계 치에 기초하여 결정될 수 있다면, 사전 설정 임계 치는 본 실시 예로 제한되지 않는다.

모션 영역이 검출되면, 모션 영역은 추적할 비디오의 이미지 프레임의 전경 영역으로 결정된다.

단계 306: 추적할 보행자를 획득한다.

본 실시 예에 나타낸 객체 추출 모듈(211)은 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득한다.

객체 추출 모듈(211)에 의해 검출되는 추적할 보행자의 구체적인 양을 본 실시 예로 제한되지 않는다.

단계 307: 추적할 보행자의 상체 검출 박스를 획득한다.

본 실시 예에 나타낸 추적할 보행자의 상체 검출 박스를 획득하기 위해, 본 실시 예에 나타낸 객체 추출 모듈(211)은 먼저 대상 이미지 프레임을 결정한다.

구체적으로, 본 실시 예에 나타낸 대상 이미지 프레임은 추적할 보행자가 등장하는 이미지 프레임이다.

선택적으로, 본 실시 예에 나타낸 추적할 보행자가 추적할 비디오의 검출 기간(T1) 내의 임의의 이미지 프레임에 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하는 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 다시 말해서, 대상 이미지 프레임은 추적할 보행자가 추적할 비디오의 검출 기간 내에 등장하는 이미지 프레임이다.

선택적으로, 본 실시 예에 나타낸 추적할 보행자가 추적할 비디오의 검출 기간(T1) 내에 연속적인 이미지 프레임들에 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 계속 등장하는 추적할 비디오의 연속 이미지 프레임들에 있는 마지막 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 또는 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 계속 등장하는 추적할 비디오의 연속 이미지 프레임들에 있는 랜덤 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있다. 이것은 본 실시 예로 구체적으로 제한되지 않는다.

선택적으로, 본 실시 예에 나타낸 추적할 보행자가, 추적할 비디오의 검출 기간(T1) 내에 이미지 프레임들에 간격을 두고 등장하는 보행자인 경우, 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 간격을 두고 등장하는 추적할 비디오의 이미지 프레임들에 있는 마지막 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있고, 또는 객체 추출 모듈(211)은 추적할 보행자가 등장하고, 추적할 보행자가 간격을 두고 등장하는 추적할 비디오의 이미지 프레임들에 있는 랜덤 이미지 프레임이 대상 이미지 프레임이라고 결정할 수 있다. 이것은 본 실시 예로 구체적으로 제한되지 않는다.

대상 이미지 프레임을 결정하는 방법에 대한 전술한 설명은 선택적인 예이며, 추적할 보행자가 대상 이미지 프레임에 나타나는 한, 제한을 구성하지 않는다는 점을 유의하여야 한다.

대상 이미지 프레임을 결정할 때, 객체 추출 모듈(211)은 대상 이미지 프레임에서 상체 검출 박스를 획득할 수 있다.

본 실시 예에 나타낸 객체 추출 모듈(211) 상에 제1 검출기가 배치될 수 있고, 제1 검출기는 상체 검출 박스를 검출하도록 구성된다.

구체적으로, 객체 추출 모듈(211)의 제1 검출기는 목표 이미지 프레임의 전경 영역에서 상체 검출 박스를 획득한다.

본 실시 예에 나타낸 객체 추출 모듈(211)은 대상 이미지 프레임의 전경 영역에서 추적할 보행자를 검출할 수 있고, 다시 말해서, 추적할 보행자를 검출하는 과정에서, 객체 추출 모듈(211)은 배경 영역을 검출할 필요가 없어, 보행자 검출 정확도가 향상되는 동시에 보행자 검출에 필요한 시간을 크게 단축할 수 있다.

이하에서는, 객체 추출 모듈(211)이 객체 이미지 프레임의 전경 영역에서 추적할 보행자의 상체 검출 박스를 획득하는 방법을 설명한다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간 내에, 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득한다.

구체적으로, 본 실시 예에 나타낸 상체 검출 박스는

이다.

은 상체 검출 박스의 좌측 상단 수평 좌표이고,

은 상체 검출 박스의 좌측 상단 수직 좌표이고,

은 상체 검출 박스의 우측 하단 수평 좌표이고,

은 상체 검출 박스의 우측 하단 수직 좌표이다.

추적할 보행자를 검출하는 경우, 본 실시 예에 나타낸 객체 추출 모듈(211)은

,

및

를 획득할 수 있다.

객체 추출 모듈(211)에 의해 결정된 대상 이미지 프레임이 도 6에 도시된 예가 사용된다. 본 실시 예에 나타낸 전술한 방법을 사용함으로써, 대상 이미지 프레임에 등장하는 추적할 보행자들이 검출될 수 있고, 추적할 각 보행자의 상체 검출 박스를 획득할 수 있다.

도 6에 나타낸 검출 과정에서, 대상 이미지 프레임의 보행자(601)가 대상 이미지 프레임의 가장자리에 등장하고, 보행자(601)의 전신이 완전히 표시되지 않기 때문에, 본 실시 예에 나타낸 객체 추출 모듈(211)은 보행자(601)의 상체 검출 박스를 획득할 수 없다.

대상 이미지 프레임에서 보행자(602)의 전신과 보행자(603)의 전신 모두가 대상 이미지 프레임에 명확하게 등장하는 경우, 객체 추출 모듈(211)은 보행자(602)의 상체 검출 박스 및 보행자(603)의 상체 검출 박스를 획득할 수 있다.

대상 이미지 프레임에서 영역(604)의 각 보행자가 명확하게 표시되지 않으면, 본 실시 예에 나타낸 객체 추출 모듈(211)은 영역(604)에서 각 보행자의 상체 검출 박스를 획득할 수 없다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 대상 이미지 프레임에 표시된 추적할 보행자의 상체 검출 박스만을 검출한다는 것을 알 수 있다.

구체적으로, 추적할 보행자는 대상 이미지 프레임에 완전히 표시된 보행자이고, 다시 말해서, 추적할 보행자의 상체와 하체는 모두 대상 이미지 프레임에 완전히 표시된다.

더욱 구체적으로, 추적할 보행자는 대상 이미지 프레임에 표시된 영역이 객체 추출 모듈(211)의 사전 설정 임계 치 이상인 보행자이고, 다시 말해서, 대상 이미지 프레임에 표시되는 영역이 사전 설정 임계 치 이상인 추적할 보행자인 경우, 추적할 보행자가 대상 이미지 프레임에 명확하게 표시됨을 나타낸다. 대상 이미지 프레임에서 추적할 보행자가 사전 설정 임계 치보다 작으면, 객체 추출 모듈(211)은 추적할 보행자를 검출할 수 없다.

단계 308: 상체 검출 박스에 기초하여 하체 스캔 영역을 획득한다.

본 실시 예에서, 객체 추출 모듈(211)이 추적할 보행자의 상체 검출 박스를 획득한 후, 객체 추출 모듈(211)은 추적할 보행자의 상체 검출 박스에 기초하여 추적할 보행자의 하체 스캔 영역을 획득할 수 있다.

추적할 보행자의 하체 스캔 영역을 획득하기 위해, 객체 추출 모듈(211)은 제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득할 필요가 있다.

제1 파라미터는

이고,

는 사전 설정 비율이다.

선택적으로, 본 실시 예의

는 메모리 매체(130)의 객체 추출 모듈(211)에 의해 사전 저장되고,

는 인체 검출 박스(배경으로 도시됨)의 종횡비에 기초하여 객체 추출 모듈(211)에 의해 사전 설정될 수 있다. 예를 들어, 인체 검출 박스의 종횡비가 3:7인 것으로 미리 결정된 경우, 객체 설정 모듈(211)은

를 3/7으로 설정하고,

를 메모리 매체(130)에 저장하여, 본 단계를 수행하는 과정에서, 제1 파라미터

를 계산하기 위해 객체 추출 모듈(211)은

를 메모리 매체(130)로부터 추출할 수 있다.

제2 파라미터는

이고, 제3 파라미터는

이고, 제1 파라미터

-

과 동일하다.

객체 추출 모듈(211)이 제1 파라미터, 제2 파라미터 및 제3 파라미터를 획득하면, 객체 추출 모듈(211)은 하체 스캔 영역을 결정할 수 있다.

하체 스캔 영역은

이고,

은 하체 스캔 영역의 좌측 상단 수평 좌표이고,

은 하체 스캔 영역의 좌측 상단 수직 좌표이고,

은 하체 스캔 영역의 우측 하단 수평 좌표이고,

은 하체 스캔 영역의 우측 하단 수직 좌표이다.

구체적으로,

,

및

이다.

더욱 구체적으로,

,

및

는 사전 설정 값이다.

,

및

의 구체적인 값은 본 실시 예로 제한되지 않으며,

,

및

는 경험적 값일 수 있고, 또는 운영 스태프가

,

및

단계 309: 하체 스캔 영역에서 추적할 보행자의 하체 검출 박스가 검출되는지 여부를 결정하고, 추적할 보행자의 하체 검출 박스가 하체 스캔 영역에서 검출되면, 단계 310을 수행하고, 또는 추적할 보행자의 하체 검출 박스가 하체 스캔 영역에서 검출되지 않으면, 단계 313을 수행한다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 하체 스캔 영역에서 하체 검출을 수행하여, 추적할 보행자의 하체 검출 박스가 검출될 수 있는지 여부를 결정한다.

단계 310: 하체 검출 박스를 획득한다.

구체적으로, 하체 검출기는 객체 추출 모듈 211) 상에 배치될 수 있다.

더욱 구체적으로, 하체 스캔 영역에서 하체 검출을 수행할 때, 추적할 보행자의 하체 검출 박스가 획득될 수 있는지를 결정하기 위해, 본 실시 예에 나타낸 객체 추출 모듈(211)의 하체 검출기는, 하체 검출 박스가

임을 결정하고,

은 하체 검출 박스의 좌측 상단 수평 좌표이고,

은 하체 검출 박스의 좌측 상단 수직 좌표이고,

은 하체 검출 박스의 우측 하단 수평 좌표이고,

은 하체 검출 박스의 우측 하단 수직 좌표이다.

단계 311: 검출 기간 전신 박스를 획득한다.

구체적으로, 객체 추출 모듈(211)은 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득한다.

더욱 구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)은 상체 검출 박스와 하체 검출 박스를 조합하여 검출 기간 전신 박스를 획득한다.

검출 기간 전신 박스는

이다.

검출 기간 전신 박스의 좌측 상단 수평 좌표는

이고, 검출 기간 전신 박스의 좌측 상단 수직 좌표는

이고, 검출 기간 전신 박스의 우측 하단 수평 좌표는

이고, 검출 기간 전신 박스의 우측 하단 수직 좌표는

이다.

단계 312: 제1 비율 및 제2 비율을 획득한다.

구체적으로, 검출 기간 전신 박스를 획득 한 후, 본 실시 예에 나타낸 객체 추출 모듈(211)은 검출 기간 전신 박스의 제1 비율을 결정할 수 있다.

제1 비율은 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 비율이고, 제1 비율은

이다.

본 실시 예에 나타낸 객체 추출 모듈(211)은 검출 기간 전신 박스의 제2 비율을 결정한다.

구체적으로, 제2 비율은 상체 검출 박스의 높이 대 검출 기간 전신 박스의 높이의 비율이고, 제2 비율은

이다.

단계 313: 제3 비율을 획득한다.

본 실시 예에서, 하체 스캔 영역에서 하체 검출을 수행하여 객체 추출 모듈(211)이 하체 검출 박스를 획득하지 못한 경우, 객체 추출 모듈(211)은 제3 비율을 획득한다. 제3 비율은, 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이의 비율에 해당하는 사전 설정 비율

이다.

단계 314: 검출 기간 전신 박스를 획득한다.

본 실시 예에서, 하체 스캔 영역에서 하체 검출을 수행하여 객체 추출 모듈(211)이 하체 검출 박스를 획득하지 못한 경우, 객체 추출 모듈(211)은 검출 기간 전신 박스

를 획득한다.

검출 기간 전신 박스의 좌측 상단 수평 좌표는

이고, 검출 기간 전신 박스의 좌측 상단 수직 좌표는

이고, 검출 기간 전신 박스의 우측 하단 수평 좌표는

이고, 검출 기간 전신 박스의 우측 하단 수직 좌표는

이다.

단계 315: 검출 기간 전신 박스의 제4 비율을 결정한다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 제4 비율이 검출 기간 전신 박스의 높이에 대한 상체 검출 박스의 높이의 비율인 것으로 결정한다.

제4 비율은

이다.

단계 312 또는 단계 315가 수행된 후, 본 실시 예에 나타낸 단계 316이 계속하여 수행된다.

단계 316: 상체 추적 박스를 결정한다.

본 실시 예에서, 객체 추출 모듈(211)은 검출 기간(T1) 내에 획득한 검출 기간 전신 박스를 추적 대상으로서 초기화하여, 객체 추출 모듈(211)은, 추적 기간(T2) 내에서, 추적 대상으로서 역할을 하는 추적할 보행자를 추적할 수 있다.

본 실시 예에서, 이전 단계에서 결정된 적어도 하나의 추적할 보행자가 있을 수 있다는 점을 유의하여야 한다. 복수의 추적할 보행자가 있는 경우, 복수의 추적할 보행자 각각은 추적을 위한 추적 대상으로서 사용될 필요가 있다.

예를 들어, 이전 단계에서 결정된 추적할 보행자가 보행자 A, 보행자 B, 보행자 C 및 보행자 D인 경우, 보행자 A는 추적을 위한 후속 단계를 수행하기 위해 추적 대상으로 설정되어야 하고, 보행자 B는 추적을위한 후속 단계를 수행하기 위해 추적 대상으로 설정되어야 하며, 다시 말해서, 추적할 비디오에서 추적할 각 보행자는, 추적을 위한 후속 단계를 수행하기 위해 추적 대상으로 설정될 필요가 있다.

추적할 보행자를 추적할 때, 객체 추출 모듈(211)은 먼저 상체 검출 박스를 결정한다. 객체 추출 모듈(211)은 상체 검출 박스를 중심으로 하여 정규 분할 샘플링을 별도로 수행하고, 다시 말해서, 상체 검출 박스 주위에 복수의 입자를 산란시키고, 복수의 입자에서 상체 추적 박스를 결정한다.

이해를 돕기 위해, 이하에서는 응용 시나리오를 참조하여 설명하도록 한다.

객체 추출 모듈(211)이 추적할 비디오의 검출 기간(T1) 내의 N1 프레임에서 상체 검출 박스를 결정하면, 객체 추출 모듈(211)은 추적할 비디오의 추적 기간(T2) 내에 N2 프레임에서 추적할 보행자를 추적한다. N2 프레임은 추적할 비디오의 추적 기간(T2) 내의 임의의 프레임이다.

추적할 보행자는 추적할 비디오에서 움직이며, N1 프레임에서 추적할 보행자의 위치가 N2 프레임에서 추적할 보행자의 위치와 다르다. 따라서, 객체 추출 모듈(211)이 추적할 보행자를 추적하기 위해, 객체 추출 모듈(211)은 추적할 보행자의 상체 검출 박스 주위에 복수의 입자를 산란시켜 추적할 보행자를 추적할 필요가 있다.

구체적으로, 복수의 입자 중 임의의 하나의 제5 비율은 상체 검출 박스의 제6 비율과 동일하고, 제5 비율은 복수의 입자 중 임의의 하나의 폭 대 높이의 비율이고, 제6 비율은 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율이다.

본 실시 예에 나타낸 방법을 이용함으로써, 상체 검출 박스 주위에 객체 추출 모듈(211)에 의해 산란된 임의의 입자는, 상체 검출 박스와 폭 대 높이의 비율이 동일한 직사각형 박스이다.

객체 추출 모듈(211)은 복수의 입자에서 상체 추적 박스를 결정한다.

구체적으로, 객체 추출 모듈(211)은 복수의 입자 중 상체 검출 상자와 가장 유사한 입자가 상체 추적 박스인 것으로 결정한다.

상체 추적 박스는

이고,

은 상체 추적 박스의 좌측 상단 수평 좌표이고,

은 상체 추적 박스의 좌측 상단 수직 좌표이고,

은 상체 추적 박스의 우측 하단 수평 좌표이고,

은 상체 추적 박스의 우측 하단 수직 좌표이다.

단계 317: 추적할 보행자의 추적 기간 전신 박스를 획득한다.

본 실시 예에서, 객체 추출 모듈(211)은, 검출 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득한다.

이하에서는 객체 추출 모듈(211)이 추적 기간 전신 박스를 구체적으로 획득하는 방법을 상세히 설명한다.

도 7에 나타낸 바와 같이, 객체 추출 모듈(211)이 검출 기간 전신 박스 및 상체 추적 박스를 획득 한 후, 객체 추출 모듈(211)은 상체 검출 박스(701)의 좌측 상단 수평 좌표

가 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표

와 동일한 지 여부를 결정한다.

도 7의 (a)에 나타낸 바와 같이, 객체 추출 모듈(211)이

를 결정한 경우, 객체 추출 모듈(211)은 추적 기간 전신 박스의 좌측 상단 수평 좌표가

인 것으로 결정하고;

객체 추출 모듈(211)은 추적 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고;

객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수평 좌표가

인 것으로 결정하고;

객체 추출 모듈(211)은 추적 기간 전신 박스의 우측 하단 수직 좌표가

인 것으로 결정하고, 여기서

이다.

에 대한 구체적인 설명에 대해서는 이전 단계를 참조할 수 있다. 본 단계에서는 상세한 내용을 설명하지 않는다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 추적 기간 전신 박스가

인 것으로 결정할 수 있다.

도 7에 나타낸 바와 같이, 객체 추출 모듈(211)이 검출 기간 전신 박스 및 상체 추적 박스를 획득한 후, 객체 추출 모듈(211)은 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표

가 하체 검출 박스(703)의 좌측 상단 수평 좌표

와 동일한 지 여부를 결정한다.

도 7의 (b)에 나타낸 바와 같이, 검출 기간 전신 박스(702)의 좌측 상단 수평 좌표

가 하체 검출 박스(703)의 좌측 상단 수평 좌표

와 동일한 경우, 객체 추출 모듈(211)은, 추적 기간 전신 박스의 좌측 상단 수평 좌표가

인 것으로 결정하고;

인 것으로 결정하고, 여기서

이고;

객체 추출 모듈(211)은 추적 기간 전신 박스가

인 것으로 결정한다.

및

본 실시 예에 나타낸 방법을 이용함으로써, 추적할 보행자는, 추적 기간 전신 박스를 이용하여 추적 기간(T) 내에 추적할 비디오에서 추적될 수 있다.

본 발명의 본 실시 예에 나타낸 방법을 더 잘 이해하기 위해, 본 실시 예에 도시된 보행자 추적 방법의 유리한 효과는 도 8에 나타낸 응용 시나리오를 참조하여 아래에서 상세히 설명된다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 추적할 보행자의 상체 검출 박스(801)를 획득한다. 상체 검출 박스(801)를 획득하는 구체적인 과정에 대해서는, 이전 단계를 참조할 수 있다. 본 응용 시나리오에서는 상세한 내용을 설명하지 않는다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 추적할 보행자의 하체 검출 박스(802)를 획득한다. 하체 검출 박스(802)를 획득하는 구체적인 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 검출 기간(T1) 내에서, 도 8에 나타낸 검출 기간 전신 박스(803)를 획득한다. 검출 기간 전신 박스(803)를 획득하는 구체적인 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

검출 기간 전신 박스(803)를 획득한 후, 객체 추출 모듈(211)은 검출 기간 전신 박스(803)의 폭 대 검출 기간 전신 박스(803)의 높이의 비율

을 획득할 수 있고, 상체 검출 박스(801)의 높이 대 검출 기간 전신 박스(803)의 높이의 비율

을 획득할 수 있다.

본 실시 예에 나타낸 방법을 이용함으로써, 검출 기간 전신 박스(803)를 획득하는 과정에서, 객체 추출 모듈(211)에 의해 획득되는 검출 기간 전신 박스(803)는 추적할 보행자의 상체 검출 박스(801) 및 추적할 보행자의 하체 검출 박스(802)를 조합함으로써 획득된다. 객체 추출 모듈(211)에 의해 획득한 검출 기간 전신 박스(803)의 종횡비가 변경될 수 있음을 알 수 있다. 따라서, 추적 기간(T1) 내에 추적할 보행자가 비정상적인 자세로, 예를 들어, 추적할 보행자의 다리가 넓게 열려 있어, 추적할 보행자의 하체에 대한 상체의 비율이 변하는 자세로 등장하는 경우에도, 객체 추출 모듈(211)은 획득한 상체 검출 박스와 획득한 하체 검출 박스를 조합함으로써 추적할 보행자의 정확한 검출 기간 전신 박스(803)를 여전히 획득할 수 있다.

객체 추출 모듈(211)은, 변경될 수 있는 본 실시 예에서 검출 기간 전신 박스(803)의 종횡비에 기초하여 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있어, 검출 기간 전신 박스(803)는 추적할 보행자의 자세의 변화를 정확하게 캡처할 수 있다. 추적할 보행자의 자세의 변화에 관계 없이 정확한 검출 기간 전신 박스(803)가 여전히 획득될 수 있음을 알 수 있다.

객체 추출 모듈(211)은 검출 기간(T2) 내에서 상체 추적 박스(804) 및 추적 기간 전신 박스(805)를 획득할 수 있다. 구체적인 획득 과정에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

본 실시 예에 나타낸 객체 추출 모듈(211)은 추적 기간(T2)에서 여전히

및

을 사용할 수 있어, 변경될 수 있는

및

에 기초하여 보다 정확한 추적 기간 전신 박스(805)를 획득할 수 있다. 이러한 방식으로, 추적할 보행자의 자세가 변하는 경우라도, 추적할 보행자는 추적 기간(T2) 내에서 여전히 정확하게 추적될 수 있다.

보행자를 추적하는 구체적인 과정에서, 본 실시 예에 나타낸 단계 304 내지 본 실시 예에 나타낸 단계 307은 복수 회 동안 수행될 수 있어, 추적할 보행자를 더욱 정확하게 추적할 수 있다. 예를 들어, 객체 추적 모듈(211)이 추적 기간(T2)을 한 번 실행한 후, 객체 추출 모듈(211)은 후속 시간 내에 복수 회 동안 추적 기간(T2)을 반복적으로 실행할 수 있다. 추적 기간(T2)을 실행하는 횟수는 본 실시 예로 제한되지 않는다.

본 실시 예에 나타낸 객체 추출 모듈(211)은 추적 기간(T2)를 복수 회 실행할 수 있기 때문에, 객체 추출 모듈(211)은 검출 결과에 기초하여 복수 회 동안

및

의 구체적인 값들을 갱신할 수 있어, 추적 기간(T2) 내에서 더욱 정확한 추적 기간 전신 박스를 획득할 수 있고, 이에 따라 정확하게 보행자를 추적할 수 있다.

본 실시 예에서 나타낸 방법을 이용함으로써, 추적할 보행자는 추적할 비디오의 이미지 프레임의 전경 영역에서 검출 및 추적될 수 있고, 다시 말해서, 본 실시 예에 나타낸 추적할 보행자에 대한 검출 과정 및 추적 과정은 이미지의 전경 영역에서 실행된다. 따라서, 처리해야 할 이미지 윈도우의 양이 크게 줄어 들고, 다시 말해서, 전자 디바이스에 의해 추적할 보행자를 검색하기 위한 검색 공간이 감소되어, 추적할 보행자를 추적하는데 필요한 듀레이션을 감소시키고, 전자 디바이스에 의해 추적할 보행자를 추적하는 효율을 향상시킨다.

도 1 및 도 2에 나타낸 전자 디바이스에 기초하여, 이하에서는 도 9a, 도 9b 및 도 10을 참조하여 일 실시 예에 따른 보행자 질의 방법을 상세히 설명하도록 한다.

도 9a 및 도 9b는 본 발명에 따른 보행자 질의 방법의 단계들을 설명하기 위한 흐름도이다. 도 10은 본 발명에 따른 보행자 추적 방법의 일 실시 예의 실행 단계들을 설명하기 위한 개략도이다.

본 실시 예에 나타낸 보행자 질의 방법의 각각의 실행 바디에 대한 설명은 선택적인 예이며, 제한을 구성하지 않으며, 다시 말해서, 본 실시 예에 나타낸 각 단계의 실행 바디는 도 2에 나타낸 프로세서(122)의 임의의 모듈일 수 있고, 또는 본 실시 예에 나타낸 각 단계의 실행 바디는 도 2에 나타나지 않은 모듈일 수 있다. 전자 디바이스가 본 실시 예에 나타낸 보행자 질의 방법을 수행할 수 있다면, 이것은 본 실시 예에 특별히 제한되지 않는다.

단계 901: 추적할 비디오를 획득한다.

본 실시 예에 나타낸 단계 901의 구체적인 실행 과정에 대해서는, 도 3a 및 도 3b에 나타낸 단계 301을 참조할 수 있다. 본 실시 예에서는 구체적인 실행 과정을 설명하지 않는다.

단계 902: 추적할 비디오의 추적할 보행자를 검출 및 추적하여 보행자 시퀀스를 획득한다.

본 실시 예에 나타낸 객체 추출 모듈(211)은, 추적할 비디오의 추적할 보행자를 검출 및 추적하도록 구성된다. 구체적인 실행 과정에 대해서는, 이전 실시 예에 나타낸 단계 302 내지 단계 317을 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

구체적으로, 본 실시 예에 나타낸 객체 추출 모듈(211)이 이전 단계에서 추적할 복수의 보행자를 획득한 경우, 객체 추출 모듈(211)은 이전 단계에서 요약함으로써 보행자 시퀀스를 획득한다.

객체 추출 모듈(211)에 의해 획득된 보행자 시퀀스는 복수의 서브 시퀀스를 포함하고, 복수의 서브 시퀀스 중 임의의 하나는 대상 서브 시퀀스이고, 대상 서브 시퀀스는 대상 추적 보행자에 대응하고, 대상 추적 보행자는 이전 단계에서 결정된 추적할 복수의 보행자 중 하나에 대응한다.

본 실시 예에 나타낸 대상 서브 시퀀스는 복수의 이미지 프레임을 포함하고, 복수의 이미지 프레임 중 임의의 하나는 대상 추적 보행자를 포함한다.

대상 서브 시퀀스에 포함된 임의의 이미지 프레임은, 대상 추적 보행자에 대응하고 이전 단계에서 나타낸 추적 기간 전신 박스를 갖는다.

본 실시 예에서 나타낸 보행자 시퀀스는 복수의 서브 시퀀스를 포함하고, 복수의 서브 시퀀스 중 임의의 하나는 복수의 이미지 프레임을 포함하고, 임의의 서브 시퀀스에 포함된 이미지 프레임은, 추적할 보행자의, 서브 시퀀스에 대응하는 추적 기간 전신 박스를 표시한다.

도 10에 나타낸 바와 같이, 전자 디바이스가 카메라를 포함하지 않는 예가 본 실시 예의 설명을 위해 사용된다. 본 실시 예에 나타낸 전자 디바이스는 카메라 클러스터(105)와 통신할 수 있다. 카메라 클러스터(105)는 복수의 카메라를 포함하고, 각각의 카메라는 추적할 비디오를 생성하기 위해 추적할 보행자를 촬영할 수 있어서, 전자 디바이스는 카메라에 의해 송신된 추적할 비디오를 수신할 수 있다.

객체 추출 모듈(211)은 상이한 추적할 보행자에 대해 상이한 서브 시퀀스(1001)를 생성할 수 있고, 서브 시퀀스(1001)는 대상 추적 보행자에 대응하고 대상 추적 보행자가 등장하는 복수의 이미지 프레임을 포함한다.

단계 903: 보행자 시퀀스를 특징 추출 모듈(212)에 송신한다.

본 실시 예에서, 객체 추출 모듈(211)은 보행자 시퀀스를 특징 추출 모듈(212)에 송신한다.

단계 904: 보행자 시퀀스의 특징을 획득한다.

본 실시 예에 나타낸 특징 추출 모듈(212)은 보행자 시퀀스의 특징을 추출하기 위한 입력으로서 보행자 시퀀스를 사용한다.

구체적으로, 특징 추출 모듈(212)은 보행자 시퀀스를 분석하여, 보행자 시퀀스에 포함된 임의의 이미지 프레임 내의 각 픽셀이 특징을 나타내는 지 여부를 검사하여 보행자 시퀀스의 특징을 추출할 수 있다.

구체적으로, 보행자 시퀀스의 특징은 보행자 시퀀스에 포함된 모든 대상 추적 보행자의 특징들의 세트이다.

예를 들어, 보행자 시퀀스가 5 명의 추적할 보행자: A, B, C, D 및 E를 포함하는 경우, 특징 추출 모듈(212)은, 보행자 시퀀스에서 모든 보행자의 특징 추출이 완료될 때까지, 보행자 A에 대한 이미지 프레임에 대한 특징 추출을 수행하여 보행자 A에 대응하는 대상 추적 보행자의 특징 세트를 획득할 수 있고, 보행자 B에 대한 이미지 프레임에 대한 특징 추출을 수행하여 보행자 B에 대응하는 대상 추적 보행자의 특징 세트를 획득할 수 있다.

도 10에 나타낸 바와 같이, 특징 추출 모듈(212)에 의해 생성된 특징 세트(1002)는, 대상 추적 보행자에 대응하는 대상 식별자 ID 및 대상 추적 보행자에 대응하는 복수의 이미지 특징을 포함한다.

대상 추적 보행자가 보행자 A인 예가 사용되고, 대상 추적 보행자 A에 대응하는 특징 세트(1002)는, 대상 추적 보행자 A에 대응하는 대상 식별자 ID 및 대상 추적 보행자 A에 대응하는 복수의 이미지 특징을 포함한다.

본 실시 예에 나타낸 특징 추출 모듈(212)은, 각각의 상이한 대상 추적 보행자와 각각의 상이한 대상 식별자 ID 사이의 대응 및 각각의 상이한 대상 식별자 ID와 각각의 복수의 이미지 특징 사이의 대응을 생성할 수 있음을 알 수 있다.

단계 905: 보행자 시퀀스의 특징을 인덱스 구성 모듈(213)에 송신한다.

본 실시 예에서 나타낸 특징 추출 모듈(212)은 보행자 시퀀스의 획득된 특징을 인덱스 구성 모듈(213)에 송신할 수 있다.

단계 906: 인덱스 리스트를 설정한다.

보행자 시퀀스의 특징을 수신한 후, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은 인덱스 리스트를 설정한다. 인덱스 리스트에 포함된 대응은, 각각의 상이한 대상 추적 보행자와 각각의 상이한 대상 식별자 ID 사이의 대응 및 각각의 상이한 대상 식별자 ID와 각각의 복수의 이미지 특징 사이의 대응을 포함한다. 또한, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은, 인덱스 리스트를 이용하여, 상이한 대상 식별자 ID 및 대응하는 대상 추적 보행자가 추적할 비디오에 등장하는 시간 및 장소와 같은 추가 정보를 더 생성할 수 있다.

단계 907: 인덱스 리스트를 저장 매체(130)에 저장한다.

인덱스 리스트를 생성한 후, 본 실시 예에 나타낸 인덱스 구성 모듈(213)은 인덱스 리스트를 저장 매체(130)에 저장한다.

본 실시 예에 나타낸 단계 901 내지 단계 907에서, 다른 보행자는 추 할 대규모 비디오로 분류하여, 후속 추적 대상 질의를 용이하게 할 수 있다.

추적 대상을 질의해야 하는 경우 다음 단계들이 수행될 수 있다.

단계 908: 추적 대상을 수신한다.

본 실시 예에 나타낸 바와 같이, 이미지 기반 이미지 검색이 구현될 수 있고, 다시 말해서, 추적 대상이 등장하는 이미지는 질의 동안 특징 추출 모듈(221)에 입력될 수 있다.

예로서 도 10이 사용된다. 추적 대상을 질의하기 위해, 추적 대상이 등장하는 이미지(1003)가 특징 추출 모듈(221)에 입력될 수 있다.

단계 909: 추적 대상에 대해 특징 추출을 수행한다.

구체적으로, 본 실시 예에 나타낸 특징 추출 모듈(221)은 추적 대상이 등장하는 이미지를 분석하여, 추적 대상의 특징을 획득할 수 있다. 본 실시 예에 나타낸 방법을 이용함으로써, 추적 대상에 대응하는 복수의 특징을 획득할 수 있다.

단계 910: 추적 대상의 상이한 특징을 융합한다.

본 실시 예에서, 특징 융합 모듈(222)은 추적 대상의 상이한 특징을 융합할 수 있다.

도 10에 나타낸 바와 같이, 특징 융합 모듈(222)은 추적 대상의 상이한 특징을 융합하여 융합된 특징을 획득할 수 있다. 본 실시 예에 나타낸 융합된 특징은 추적 대상에 대응하는 것을 알 수 있다.

단계 911: 융합된 특징을 인덱싱 및 질의 모듈에 송신한다.

단계 912: 추적 대상을 질의한다.

본 실시 예에 나타낸 인덱싱 및 질의 모듈(223)은, 추적 대상에 대응하는 융합된 특징에 기초하여 추적 대상을 질의한다.

구체적으로, 인덱싱 및 질의 모듈(223)은 융합된 특징과, 저장 매체(130)에 저장된 인덱스 리스트를 매칭하여, 융합된 특징에 대응하는 대상 식별자 ID를 검색하여, 인덱싱 및 질의 모듈(223)은, 인덱스 리스트에 기초하여, 추적할 비디오에서 대상 식별자 ID에 대응하는 보행자가 등장하는 시간 및 장소와 같은 임의의 정보를 획득할 수 있다. 본 실시 예에서, 대상 식별자 ID에 대응하는 보행자는 추적 대상에 해당한다.

본 실시 예에 나타낸 방법을 이용함으로써, 대량의 비디오에서 추적 대상이 등장하는 시간 및 장소와 같은 정보를 위해서는 추적 대상이 등장하는 이미지만 수신하면 된다.

본 실시 예에 나타낸 방법의 추적할 보행자를 검출 및 추적함으로써 달성되는 유리한 효과에 대한 설명에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

본 실시 예에 나타낸 방법을 이용함으로써, 추적 대상을 검색하는 과정에서, 추적 대상을 추적할 대규모 비디오에 빠르고 정확하게 배치하여, 추적 대상은 추적 할 대규모 비디오에서 추적 대상이 등장하는 시간 및 장소와 같은 정보를 신속하게 얻을 수 있다.

본 실시 예에서 나타낸 방법의 응용 시나리오는 제한되지 않는다. 예를 들어, 본 방법은 추적 대상과 관련된 정보를 신속하게 획득하기 위해 안전한 도시에서 이미지 기반 이미지 검색을 수행하는 데 적용될 수 있다. 본 방법은 동원 트레일 생성 및 분석, 인구 통계 수집 및 차량 보조 운전에서의 보행자 경고 등에 추가로 적용될 수 있다. 구체적으로, 보행자를 포함하는 비디오가 지능적으로 분석될 필요가 있는 한, 보행자 검출 및 추적은 본 발명의 본 실시 예를 이용하여 보행자의 위치 및 트레일과 같은 정보를 추출하기 위해 수행될 수 있다.

도 1은 물리적 하드웨어의 관점에서 전자 디바이스의 구체적인 구조를 설명한다. 이하에서는 이전 실시 예들에서 나타낸 보행자 추적 방법의 절차를 실행하는 관점에서 도 11을 참조하여 전자 디바이스의 구조를 설명하며, 본 실시 예에 나타낸 전자 디바이스는 이전 실시 예들에서 나타낸 보행자 추적 방법을 수행할 수 있다.

전자 디바이스는 제1 결정 유닛(1101), 제5 획득 유닛(1102), 제6 획득 유닛(1103), 제7 획득 유닛(1104), 제8 획득 유닛(1105), 제1 획득 유닛(1106), 제2 획득 유닛(1107), 제3 획득 유닛(1108) 및 제4 획득 유닛(1109)을 포함한다.

제1 결정 유닛(1101)은 추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된다.

제5 획득 유닛(1102)은 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성되고, 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 대상 이미지 프레임 시퀀스는 검출 기간 이전이다.

제6 획득 유닛(1103)은 대상 이미지 프레임 시퀀스에 기초하여 추적할 비디오의 배경 영역을 획득하도록 구성된다.

제7 획득 유닛(1104)은, 검출 기간 내에 추적할 비디오의 이미지 프레임으로부터 배경 영역을 감산함으로써 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된다.

제8 획득 유닛(1105)은 추적할 비디오의 이미지 프레임의 전경 영역을 검출함으로써 추적할 보행자를 획득하도록 구성된다.

선택적으로, 본 실시 예에 나타낸 제5 획득 유닛(1102) 내지 본 실시 예에 나타낸 제8 획득 유닛(1105)은 선택적 유닛이다. 구체적인 응용에 있어서, 전자 디바이스는 본 실시 예에 나타낸 제5 획득 유닛(1102) 내지 본 실시 예에 나타낸 제8 획득 유닛(1105)을 포함하지 않을 수 있다.

제1 획득 유닛(1106)은, 검출 기간 내에서, 추적할 비디오에 등장하는 추적할 보행자에 대한 상체 검출 박스를 획득하도록 구성되고, 상체 검출 박스는

이고,

은 상체 검출 박스의 좌측 상단 수평 좌표이고,

은 상체 검출 박스의 좌측 상단 수직 좌표이고,

은 상체 검출 박스의 우측 하단 수평 좌표이고,

은 상체 검출 박스의 우측 하단 수직 좌표이다.

선택적으로, 제1 획득 유닛(1106)은 구체적으로: 대상 이미지 프레임을 결정하고 - 여기서 대상 이미지 프레임은, 추적할 보행자가 등장하는 이미지 프레임임 -; 및 대상 이미지 프레임의 전경 영역의 상체 검출 박스를 획득하도록 구성된다.

제2 획득 유닛(1107)은, 상체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된다.

선택적으로, 제2 획득 유닛(1107)은 구체적으로: 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고; 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상체 검출 박스 및 하체 검출 박스에 기초하여 검출 기간 전신 박스를 획득하도록 구성된다.

상체 검출 박스는

이고,

은 상체 검출 박스의 좌측 상단 수평 좌표이고,

은 상체 검출 박스의 좌측 상단 수직 좌표이고,

은 상체 검출 박스의 우측 하단 수평 좌표이고,

은 상체 검출 박스의 우측 하단 수직 좌표이다.

선택적으로, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 제1 파라미터를 결정하고 - 여기서 제1 파라미터는

이고,

임 -; 제3 파라미터를 결정하고 - 여기서 제3 파라미터는

이고, 제1 파라미터

-

선택적으로, 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로, 제1 파라미터, 제2 파라미터 및 제3 파라미터에 기초하여 하체 스캔 영역을 결정하도록 구성되고, 여기서 하체 스캔 영역은

이고,

은 하체 스캔 영역의 좌측 상단 수평 좌표이고,

은 하체 스캔 영역의 좌측 상단 수직 좌표이고,

은 하체 스캔 영역의 우측 하단 수평 좌표이고,

은 하체 스캔 영역의 우측 하단 수직 좌표이고,

,

및

이다.

,

및

는 사전 설정 값이고,

하체 검출 박스는

이고,

은 하체 검출 박스의 좌측 상단 수평 좌표이고,

은 하체 검출 박스의 좌측 상단 수직 좌표이고,

은 하체 검출 박스의 우측 하단 수평 좌표이고,

은 하체 검출 박스의 우측 하단 수직 좌표이다.

선택적으로, 상체 검출 박스와 하체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고; 및 검출 기간 전신 박스가

인 것으로 결정하도록 구성된다.

선택적으로, 상체 검출 박스와 하체 검출 박스에 기초하여 추적할 보행자의 검출 기간 전신 박스를 획득하는 경우, 제2 획득 유닛(1107)은 구체적으로: 하체 검출 박스가, 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는

임 -; 검출 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고; 및 검출 기간 전신 박스가

인 것으로 결정하도록 구성된다.

제3 획득 유닛(1108)은, 추적 기간 내에서, 추적할 비디오에 등장하는 추적할 보행자에 대한 상체 추적 박스를 획득하도록 구성된다.

선택적으로, 제3 획득 유닛(1108)은 구체적으로: 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상체 검출 박스의 폭 대 상체 검출 박스의 높이의 비율과 동일함 -; 및 상체 추적 박스를 결정하도록 구성된다 - 여기서 상체 추적 박스는 복수의 입자 중 상체 검출 박스와 가장 유사한 입자임 -.

제4 획득 유닛(1109)는, 추적 기간 전신 박스에 기초하여, 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하도록 구성되고, 추적 기간 전신 박스는 추적할 보행자를 추적하기 위해 사용된다.

선택적으로, 제4 획득 유닛(1109)은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율

인 것으로 결정하고; 및

및

에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.

선택적으로, 제4 획득 유닛(1109)은 구체적으로: 검출 기간 전신 박스의 폭 대 검출 기간 전신 박스의 높이에 해당하는 비율이

인 것으로 결정하고; 및

및

에 기초하여 추적 기간 전신 박스를 결정하도록 구성된다.

상체 추적 박스는

이고,

은 상체 추적 박스의 좌측 상단 수평 좌표이고,

은 상체 추적 박스의 좌측 상단 수직 좌표이고,

은 상체 추적 박스의 우측 하단 수평 좌표이고,

은 상체 추적 박스의 우측 하단 수직 좌표이다.

선택적으로,

및

에 기초하여 추적 기간 전신 박스를 결정하는 경우, 제4 획득 유닛(1109)은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고 - 여기서

임 -; 및 추적 기간 전신 박스가

인 것으로 결정하도록 구성된다.

선택적으로, 제4 획득 유닛(1109)은 구체적으로: 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서

인 경우, 추적 기간 전신 박스의 좌측 상단 수평 좌표는

임 -; 추적 기간 전신 박스의 좌측 상단 수직 좌표가

인 것으로 결정하고 - 여기서

임 -; 및 추적 기간 전신 박스가

인 것으로 결정하도록 구성된다.

본 실시 예에 나타낸 전자 디바이스에 의해 보행자 추적 방법을 수행하는 구체적인 과정에 대해서는 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세 내용을 설명하지 않는다.

본 실시 예에 나타낸 전자 디바이스에 의해 보행자 추적 방법을 수행함으로써 달성되는 유리한 효과에 대한 설명에 대해서는, 이전 실시 예를 참조할 수 있다. 본 실시 예에서는 상세한 내용을 설명하지 않는다.

편리하고 간단한 설명의 목적으로, 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해서는 전술한 방법 실시 예에서의 대응하는 프로세스를 참조한다는 것이 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있고, 그 세부 사항은 여기서 다시 설명하지 않는다.

본 출원에 제공된 여러 실시 예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해하여야 한다. 예를 들어, 설명된 장치 실시 예는 단지 예일 뿐이다. 예를 들어, 유닛 분할은 단지 논리적 기능 분할일 뿐이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 이용하여 구현될 수 있다. 장치 또는 유닛 사이의 간접 결합 또는 통신 연결은 전자적, 기계적 또는 다른 형태로 구현될 수 있다.

별도의 부분으로 기술된 유닛은 물리적으로 분리될 수 있거나 물리적으로 분리되지 않을 수 있고, 유닛으로서 표시된 부분은 물리적 유닛일 수 있거나 아닐 수 있거나, 한 위치에 위치될 수 있거나, 복수의 네트워크 유닛에 분산될 수 있다. 유닛의 일부 또는 전부는 실시 예의 해결 방안의 목적을 달성하기 위해 실제 요구 사항에 기초하여 선택될 수 있다.

또한, 본 발명의 실시 예에서의 기능 유닛은 하나의 프로세서에 통합될 수 있거나, 또는 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있다.

통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용될 때, 통합 유닛은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술적 해결 방안은 본질적으로, 또는 종래 기술에 기여하는 부분, 또는 기술 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 본 발명의 실시 예에서 설명된 방법의 단계 전부 또는 일부를 수행하도록 컴퓨터 장치(개인용 컴퓨터, 서버, 네트워크 장치 등일 수 있음)에 지시하기 위한 몇몇 명령을 포함한다. 전술한 저장 매체는: USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리 (RAM, Random Access Memory), 자기 디스크 또는 광학 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.

전술한 실시 예는 단지 본 발명의 기술적 해결 방안을 설명하기 위한 것이지 본 발명을 제한하기 위한 것이 아니다. 전술한 실시 예를 참조하여 본 발명을 상세히 설명하였지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자는, 본 발명의 실시 예의 기술적 해결 방안의 범위를 벗어나지 않고, 전술한 실시 예에서 설명된 기술적 솔루션을 여전히 수정하거나 그것의 일부 기술적 특징을 동등하게 대체할 수 있다는 것을 이해하여야 한다.

Claims

추적할 비디오의 검출 기간 및 추적 기간을 결정하는 단계;
상기 검출 기간 내에, 상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계;
상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계;
상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하는 단계; 및
상기 검출 기간 전신 박스와 상기 상체 추적 박스에 기초하여, 추적 기간 전신 박스를 획득하는 단계 - 여기서 상기 추적 기간 전신 박스는 상기 추적할 보행자를 추적하기 위해 사용됨 - 를 포함하는
보행자 추적 방법.
제1항에 있어서,
상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하는 단계 전에,
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계; 및
하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하는 단계를 포함하는 보행자 추적 방법.
제2항에 있어서,
상기 상체 검출 박스는
이고,
은 상기 상체 검출 박스의 좌측 상단 수평 좌표이고,
은 상기 상체 검출 박스의 좌측 상단 수직 좌표이고,
은 상기 상체 검출 박스의 우측 하단 수평 좌표이고,
은 상기 상체 검출 박스의 우측 하단 수직 좌표이고;
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계는:
제1 파라미터를 결정하는 단계 - 여기서 상기 제1 파라미터는
이고,
는 사전 설정 비율임 -;
제2 파라미터를 결정하는 단계 - 여기서 상기 제2 파라미터는
임 -;
제3 파라미터를 결정하는 단계 - 여기서 상기 제3 파라미터는
이고, 상기 제1 파라미터
-
과 동일함 -; 및
상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하는 단계를 포함하는, 보행자 추적 방법.
제3항에 있어서,
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계는:
상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하는 단계 - 여기서 상기 하체 스캔 영역은
이고,
은 상기 하체 스캔 영역의 좌측 상단 수평 좌표이고,
은 상기 하체 스캔 영역의 좌측 상단 수직 좌표이고,
은 상기 하체 스캔 영역의 우측 하단 수평 좌표이고,
은 상기 하체 스캔 영역의 우측 하단 수직 좌표이고,

,
,
및
이고;

,
및
는 사전 설정 값이고,
는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 높이임 - 를 포함하는, 보행자 추적 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 하체 검출 박스는
이고,
은 상기 하체 검출 박스의 좌측 상단 수평 좌표이고,
은 상기 하체 검출 박스의 좌측 상단 수직 좌표이고,
은 상기 하체 검출 박스의 우측 하단 수평 좌표이고,
은 상기 하체 검출 박스의 우측 하단 수직 좌표이고;
상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하는 단계는:
상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하는 단계;
상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하는 단계;
상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하는 단계; 및
상기 검출 기간 전신 박스가
인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
제5항에 있어서,
상기 검출 기간 전신 박스를 결정하는 단계 후에,
상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하는 단계;
상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하는 단계; 및

및
에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계를 더 포함하는 보행자 추적 방법.
제3항 또는 제4항에 있어서,
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계 후에,
상기 하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하는 단계;
상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하는 단계;
상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하는 단계; 및
상기 검출 기간 전신 박스가
인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
제7항에 있어서,
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하는 단계 후에,
상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
을 획득하는 단계를 더 포함하고,
상기 검출 기간 전신 박스를 결정하는 단계 후에,
상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하는 단계; 및

및
에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계를 더 포함하는 보행자 추적 방법.
제6항에 있어서,
상기 상체 추적 박스는
이고,
은 상기 상체 추적 박스의 좌측 상단 수평 좌표이고,
은 상기 상체 추적 박스의 좌측 상단 수직 좌표이고,
은 상기 상체 추적 박스의 우측 하단 수평 좌표이고,
은 상기 상체 추적 박스의 우측 하단 수직 좌표이고;

및
에 기초하여 상기 추적 기간 전신 박스를 결정하는 단계는:
상기 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하는 단계 - 여기서
인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 추적 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하는 단계;
상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하는 단계;
상기 추적 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하는 단계 - 여기서
임 -; 및
상기 추적 기간 전신 박스가
인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하는 단계는:
상기 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키는 단계 - 여기서 상기 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상기 상체 검출 박스의 폭 대 상기 상체 검출 박스의 높이의 비율과 동일함 -; 및
상기 상체 추적 박스를 결정하는 단계 - 여기서 상기 상체 추적 박스는 상기 복수의 입자 중 상기 상체 검출 박스와 가장 유사한 입자임 - 를 포함하는, 보행자 추적 방법.
제9항에 있어서,
상기 검출 기간 전신 박스에 기초하여, 상기 상체 추적 박스에 대응하는 추적 기간 전신 박스를 획득하는 단계는:
상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표를 결정하는 단계 - 여기서
인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 추적 기간 전신 박스의 상기 좌측 상단 수직 좌표가
인 것으로 결정하는 단계;
상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하는 단계;
상기 추적 기간 전신 박스의 상기 우측 하단 수직 좌표가
인 것으로 결정하는 단계 - 여기서
임 -; 및
상기 추적 기간 전신 박스가
인 것으로 결정하는 단계를 포함하는, 보행자 추적 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하는 단계 - 여기서 상기 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 상기 대상 이미지 프레임 시퀀스는 상기 검출 기간 이전에 있음 -;
상기 대상 이미지 프레임 시퀀스에 기초하여 상기 추적할 비디오의 배경 영역을 획득하는 단계;
상기 검출 기간 내의 상기 추적할 비디오의 상기 이미지 프레임으로부터 상기 배경 영역을 감산함으로써 상기 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하는 단계; 및
상기 추적할 비디오의 상기 이미지 프레임의 상기 전경 영역을 검출함으로써 상기 추적할 보행자를 획득하는 단계를 더 포함하는 보행자 추적 방법.
제12항에 있어서,
상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하는 단계는:
대상 이미지 프레임을 결정하는 단계 - 여기서 상기 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및
상기 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득하는 단계를 포함하는 보행자 추적 방법.
추적할 비디오의 검출 기간 및 추적 기간을 결정하도록 구성된 제1 결정 유닛;
상기 검출 기간 내에, 상기 추적할 비디오에 등장하는 추적할 보행자의 상체 검출 박스를 획득하도록 구성된 제1 획득 유닛;
상기 상체 검출 박스에 기초하여 상기 추적할 보행자의 검출 기간 전신 박스를 획득하도록 구성된 제2 획득 유닛;
상기 추적 기간 내에, 상기 추적할 비디오에 등장하는 상기 추적할 보행자의 상체 추적 박스를 획득하도록 구성된 제3 획득 유닛; 및
상기 검출 기간 전신 박스와 상기 상체 추적 박스에 기초하여, 추적 기간 전신 박스를 획득하도록 구성된 제4 획득 유닛 - 여기서 상기 추적 기간 전신 박스는 상기 추적할 보행자를 추적하기 위해 사용됨 - 을 포함하는
전자 디바이스.
제14항에 있어서,
상기 제2 획득 유닛은 구체적으로:
상기 상체 검출 박스에 기초하여 하체 스캔 영역을 획득하고;
하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되는 경우, 상기 상체 검출 박스 및 상기 하체 검출 박스에 기초하여 상기 검출 기간 전신 박스를 획득하도록 구성된, 전자 디바이스.
제15항에 있어서,
상기 상체 검출 박스는
이고,
은 상기 상체 검출 박스의 좌측 상단 수평 좌표이고,
은 상기 상체 검출 박스의 좌측 상단 수직 좌표이고,
은 상기 상체 검출 박스의 우측 하단 수평 좌표이고,
은 상기 상체 검출 박스의 우측 하단 수직 좌표이고;
상기 상체 검출 박스에 기초하여 상기 하체 스캔 영역을 획득하는 경우, 상기 제2 획득 유닛은 구체적으로: 제1 파라미터를 결정하고 - 여기서 상기 제1 파라미터는
이고,
는 사전 설정 비율임 -;
제2 파라미터를 결정하고 - 여기서 상기 제2 파라미터는
임 -;
제3 파라미터를 결정하고 - 여기서 상기 제3 파라미터는
이고, 상기 제1 파라미터
-
과 동일함 -; 및
상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하도록 구성된, 전자 디바이스.
제16항에 있어서,
상기 상체 검출 박스에 기초하여 상기 하체 스캔 영역을 획득하는 경우, 상기 제2 획득 유닛은 구체적으로,
상기 제1 파라미터, 상기 제2 파라미터 및 상기 제3 파라미터에 기초하여 상기 하체 스캔 영역을 결정하도록 구성되는 - 여기서 상기 하체 스캔 영역은
이고,
은 상기 하체 스캔 영역의 좌측 상단 수평 좌표이고,
은 상기 하체 스캔 영역의 좌측 상단 수직 좌표이고,
은 상기 하체 스캔 영역의 우측 하단 수평 좌표이고,
은 상기 하체 스캔 영역의 우측 하단 수직 좌표이고,

,
,
및
이고;

,
및
는 사전 설정 값이고,
는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 폭이고,
는 상기 검출 기간 내의 상기 추적할 비디오 중 임의의 이미지 프레임의 높이임 - 전자 디바이스.
제15항 내지 제17항 중 어느 한 항에 있어서,
상기 하체 검출 박스는
이고,
은 상기 하체 검출 박스의 좌측 상단 수평 좌표이고,
은 상기 하체 검출 박스의 좌측 상단 수직 좌표이고,
은 상기 하체 검출 박스의 우측 하단 수평 좌표이고,
은 상기 하체 검출 박스의 우측 하단 수직 좌표이고;
상기 상체 검출 박스와 상기 하체 검출 박스에 기초하여 상기 추적할 보행자의 상기 검출 기간 전신 박스를 획득하는 경우, 상기 제2 획득 유닛은 구체적으로, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하고;
상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하고;
상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하고; 및
상기 검출 기간 전신 박스가
인 것으로 결정하도록 구성된, 전자 디바이스.
제18항에 있어서,
상기 제4 획득 유닛은 구체적으로:
상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하고;
상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하고; 및

및
에 기초하여 상기 추적 기간 전신 박스를 결정하도록 구성된, 전자 디바이스.
제16항 또는 제17항에 있어서,
상기 상체 검출 박스와 상기 하체 검출 박스에 기초하여 상기 추적할 보행자의 상기 검출 기간 전신 박스를 획득하는 경우, 상기 제2 획득 유닛은 구체적으로:
상기 하체 검출 박스가, 상기 하체 스캔 영역에서 하체 검출을 수행함으로써 획득되지 않는 경우, 상기 검출 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서 상기 검출 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 검출 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하고;
상기 검출 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하고;
상기 검출 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하고; 및
상기 검출 기간 전신 박스가
인 것으로 결정하도록 구성된, 전자 디바이스.
제20항에 있어서,
상기 제4 획득 유닛은 구체적으로:
상기 검출 기간 전신 박스의 폭 대 상기 검출 기간 전신 박스의 높이에 해당하는 사전 설정 비율
을 획득하고;
상기 상체 검출 박스의 높이 대 상기 검출 기간 전신 박스의 높이의 비율이
인 것으로 결정하고; 및

및
에 기초하여 상기 추적 기간 전신 박스를 결정하도록 구성된, 전자 디바이스.
제19항에 있어서,
상기 상체 추적 박스는
이고,
은 상기 상체 추적 박스의 좌측 상단 수평 좌표이고,
은 상기 상체 추적 박스의 좌측 상단 수직 좌표이고,
은 상기 상체 추적 박스의 우측 하단 수평 좌표이고,
은 상기 상체 추적 박스의 우측 하단 수직 좌표이고;

및
에 기초하여 상기 추적 기간 전신 박스를 결정하는 경우, 상기 제4 획득 유닛은 구체적으로:
상기 추적 기간 전신 박스의 좌측 상단 수평 좌표를 결정하고 - 여기서
인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 추적 기간 전신 박스의 좌측 상단 수직 좌표가
인 것으로 결정하고;
상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하고;
상기 추적 기간 전신 박스의 우측 하단 수직 좌표가
인 것으로 결정하고 - 여기서
임 -; 및
상기 추적 기간 전신 박스가
인 것으로 결정하도록 구성된, 전자 디바이스.
제14항 내지 제17항 중 어느 한 항에 있어서,
상기 제3 획득 유닛은 구체적으로:
상기 상체 검출 박스를 중심으로 하여 복수의 입자를 산란시키고 - 여기서 상기 복수의 입자 중 어느 하나의 폭 대 높이의 비율은, 상기 상체 검출 박스의 폭 대 상기 상체 검출 박스의 높이의 비율과 동일함 -; 및
상체 추적 박스를 결정하도록 구성된 - 여기서 상기 상체 추적 박스는 상기 복수의 입자 중 상기 상체 검출 박스와 가장 유사한 입자임 - 전자 디바이스.
제22항에 있어서,
상기 제4 획득 유닛은 구체적으로:
상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표를 결정하고 - 여기서
인 경우, 상기 추적 기간 전신 박스의 상기 좌측 상단 수평 좌표는
임 -;
상기 추적 기간 전신 박스의 상기 좌측 상단 수직 좌표가
인 것으로 결정하고;
상기 추적 기간 전신 박스의 우측 하단 수평 좌표가
인 것으로 결정하고;
상기 추적 기간 전신 박스의 상기 우측 하단 수직 좌표가
인 것으로 결정하고 - 여기서
임 -; 및
상기 추적 기간 전신 박스가
인 것으로 결정하도록 구성된, 전자 디바이스.
제14항 내지 제17항 중 어느 한 항에 있어서,
상기 추적할 비디오의 대상 이미지 프레임 시퀀스를 획득하도록 구성된 제5 획득 유닛 - 여기서 상기 대상 이미지 프레임 시퀀스는 하나 이상의 연속 이미지 프레임을 포함하고, 상기 대상 이미지 프레임 시퀀스는 상기 검출 기간 이전에 있음 -;
상기 대상 이미지 프레임 시퀀스에 기초하여 상기 추적할 비디오의 배경 영역을 획득하도록 구성된 제6 획득 유닛;
상기 검출 기간 내의 상기 추적할 비디오의 상기 이미지 프레임으로부터 상기 배경 영역을 감산함으로써 상기 추적할 비디오의 임의의 이미지 프레임의 전경 영역을 획득하도록 구성된 제7 획득 유닛; 및
상기 추적할 비디오의 상기 이미지 프레임의 상기 전경 영역을 검출함으로써 상기 추적할 보행자를 획득하도록 구성된 제8 획득 유닛을 더 포함하는 전자 디바이스.
제25항에 있어서,
상기 제1 획득 유닛은 구체적으로:
대상 이미지 프레임을 결정하고 - 여기서 상기 대상 이미지 프레임은, 상기 추적할 보행자가 등장하는 이미지 프레임임 -; 및
상기 대상 이미지 프레임의 전경 영역의 상기 상체 검출 박스를 획득하도록 구성된, 전자 디바이스.