KR20230090344A - 군중 행위 검출 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품 - Google Patents

Abstract

본 발명은 군중 행위 검출 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제안한다. 여기서, 상기 방법은, 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계; 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션에 기초하여 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 단계를 포함할 수 있다.

Description

군중 행위 검출 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품

[관련 출원의 교차 인용]

본 특허 출원은 2021년 1월 26일에 제출되고, 출원 번호가 202110106285.7이고, 발명의 명칭이 “군중 행위 검출 방법 및 장치, 전자 기기와 저장 매체”인 중국 특허 출원의 우선권을 주장하는 바, 당해 출원은 인용을 통해 본원에 병합된다.

본 발명은 컴퓨터 기술에 관한 것인 바, 구체적으로 군중 행위 검출 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품에 관한 것이다.

도시화가 진행됨에 따라 군중들은 점점 더 집중되고 있으며, 따라서 군중들 중에서 비정상적인 행위가 발생하였는지 여부 또는 어떤 비정상적인 행위가 발생하였는지를 인식하는 것이 보행자 안전에 대해 매우 중요하다. 만약 군중의 비정상적인 행위를 정확하게 인식하고, 비정상적인 행위에 대해 제지 및 방비를 실행할 수 있으면, 위험 사건의 발생 확률을 감소시킬 수 있다.

예를 들면, 시큐리티 장면에 있어서, 이미지 수집 기기（예를 들면 모니터링 기기）를 통해 보행자가 포함된 목표 이미지 시퀀스（비디오 시퀀스）를 수집할 수 있다. 당해 목표 이미지 시퀀스 중에서 발생하고 있는 보행자 행위가 보행자 집결, 보행자 정체 등 비정상적인 행위에 속한다고 확정되면, 즉시 군중 대피를 배치하여, 예를 들면 스탬피드 또는 군체 악성 사건의 발생을 피할 수 있다. 이로부터 알 수 있다시피, 목표 이미지 시퀀스 중의 군중 행위를 검출하는 방법을 제안하는 것이 시급하다.

이를 감안하여, 본 발명은 적어도 군중 행위 검출 방법을 개시하는 바, 상기 방법은, 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계; 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션에 기초하여 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 단계를 포함한다.

제공된 일부 실시예에서, 상기 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계는, 상기 목표 이미지 시퀀스에 포함된 각각의 이미지에 대해 각각 이미지 처리를 수행하여, 상기 각각의 객체의 각 해당 이미지에서의 위치 정보를 확정하는 단계; 상기 각각의 객체에 대해 객체 추적을 수행함으로써, 추적 결과 및 상기 위치 정보에 기반하여 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계를 포함한다.

제공된 일부 실시예에서, 상기 각각의 객체에 대해 객체 추적을 수행함으로써, 추적 결과 및 상기 위치 정보에 기반하여 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계는, 칼만 필터 알고리즘 또는 객체 검출 모델을 이용하여 상기 각각의 객체에 대해 객체 추적을 수행하는 단계; 추적된 동일한 객체의 해당 이미지에서의 위치 정보에 기반하여 상기 각각의 객체의 위치 변화 정보를 확정하는 단계를 포함한다.

제공된 일부 실시예에서, 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 얻는 단계는, 상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지 내의 객체 위치 정보 및 상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 적어도 하나의 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 적어도 하나의 이미지에 각각 대응하는 맵 특징을 얻는 단계; 상기 적어도 하나의 이미지에 각각 대응하는 맵 특징에 대해 시간 영역 컨볼루션 처리를 수행하고, 상기 시간 영역 컨볼루션 처리를 통해 얻은 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 단계를 포함하되; 여기서, 상기 군중 행위는 보행자 집결, 보행자 분산, 보행자 정체 및 보행자 역류 중 적어도 하나를 포함한다.

제공된 일부 실시예에서, 상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지 내의 객체 위치 정보 및 상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 적어도 하나의 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 적어도 하나의 이미지에 각각 대응하는 맵 특징을 얻는 단계는, 상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여 상기 적어도 하나의 이미지에 각각 대응하는 인접 행렬을 확정하는 단계; 상기 객체 위치 정보에 기반하여 상기 적어도 하나의 이미지에 각각 대응하는 특징 행렬을 확정하는 단계; 상기 인접 행렬과 상기 특징 행렬에 기반하여 상기 공간 그래프 컨볼루션 처리를 수행하여 상기 각각의 이미지에 각각 대응하는 맵 특징을 얻는 단계를 포함한다.

제공된 일부 실시예에서, 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻는 단계 전에, 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계를 더 포함한다.

제공된 일부 실시예에서, 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는, 상기 적어도 하나의 이미지에 포함된 적어도 하나의 객체의 이미지 내에 위치한 영역에 대응하는 이미지 특징을 추출하는 단계 - 상기 이미지 특징은 적어도 하나의 객체가 위치한 위치의 이미지 정보를 나타냄 -; 적어도 하나의 객체에 대응하는 이미지 특징에 기반하여 적어도 하나의 객체 중의 임의의 두 객체 사이의 유사도를 확정하는 단계; 제1 기설정된 임계값에 도달하지 못한 유사도에 대응하는 두 객체를 연결 관계가 있는 두 객체로 확정하는 단계를 포함한다.

제공된 일부 실시예에서, 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는, 상기 적어도 하나의 이미지에 대해 각각 이미지 처리를 수행하여 상기 객체의 적어도 하나의 이미지에서의 위치 정보를 확정하는 단계; 적어도 하나의 객체에 대응하는 위치 정보에 기반하여 적어도 하나의 객체 중 임의의 두 객체 사이의 거리를 확정하는 단계; 상기 거리에 기반하여 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계를 포함한다.

제공된 일부 실시예에서, 상기 거리에 기반하여 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는, 확정된 임의의 두 객체 사이의 거리를 제3 기설정된 임계값과 제4 기설정된 임계값으로 형성된 구간 내에 매핑하는 단계; 매핑 후의 임의의 두 객체 사이의 거리를 상기 임의의 두 객체 사이의 연결 가중치로 확정하는 단계; 상기 임의의 두 객체 사이의 연결 가중치를 통해 상기 임의의 두 객체 사이의 연결 관계를 나타내는 단계를 포함한다.

제공된 일부 실시예에서, 그래프 컨볼루션 분류 모델을 통해 상기 그래프 컨볼루션 처리를 실현하되; 여기서, 상기 그래프 컨볼루션 분류 모델의 훈련 방법은, 훈련 샘플을 생성하는 단계 - 상기 훈련 샘플은 복수의 객체를 포함하는 위치 변화 정보 및 상기 복수의 객체의 위치 변화 정보에 기반한 군중 행위의 라벨링 정보를 포함함 -; 상기 위치 변화 정보 및 상기 군중 행위의 라벨링 정보에 기반하여 기설정된 그래프 컨볼루션 모델에 대해 훈련을 수행하여 상기 그래프 컨볼루션 분류 모델을 얻는 단계를 포함한다.

제공된 일부 실시예에서, 상기 훈련 샘플을 생성하는 단계는, 모션 시뮬레이션 플랫폼에 기반하여 복수의 객체에 대응하는 모션 모드를 설정하는 단계; 상기 모션 모드에 기반하여 적어도 하나의 객체에 대응하는 위치 변화 정보를 확정하는 단계; 상기 적어도 하나의 객체에 대응하는 위치 변화 정보가 나타내는 군중 행위를 확정하는 단계; 상기 위치 변화 정보 및 상기 위치 변화 정보가 나타내는 군중 행위에 기반하여 상기 훈련 샘플을 생성하는 단계를 포함한다.

본 발명은 군중 행위 검출 장치를 더 개시하는 바, 상기 장치는, 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대한 객체 추적 결과에 기반하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하기 위한 위치 변화 정보 확정 모듈; 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션에 기초하여 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하기 위한 군중 행위 검출 모듈을 포함한다.

본 발명은 전자 기기를 더 개시하는 바, 상기 기기는 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리를 포함하되; 여기서, 상기 프로세서는 상기 메모리 내에 저장된 실행 가능한 명령을 호출하여, 전술한 군중 행위 검출 방법을 실현하도록 구성된다.

본 발명은 컴퓨터 판독 가능 저장 매체를 더 개시하는 바, 상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 전술한 군중 행위 검출 방법을 실행하기 위한 것이다.

본 발명은 컴퓨터 프로그램 제품을 더 개시하는 바, 상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 전술한 군중 행위 검출 방법을 실행하도록 한다.

본 발명에 있어서, 목표 이미지 시퀀스 중에 출현된 객체에 대해 객체 추적을 수행하여, 상기 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정한다. 이어서 다시 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻으며, 상기 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정한다. 이로써, 그래프 컨볼루션 원리를 이용하여 목표 이미지 시퀀스로부터 군중 행위의 검출에 유익한 추출 특징을 확정하는 것을 실현하고, 또한 상기 목표 이미지 시퀀스가 나타내는 군중 행위의 정확한 검출을 실현할 수 있다.

도 1은 본 발명에 따른 목표 이미지 시퀀스 분류 방법의 방법 흐름도이다;
도 2는 본 발명에 따른 군중 행위 검출의 흐름 개략도이다;
도 3은 본 발명에 따른 이미지 내의 객체 연결 관계의 확정 방법의 흐름도이다;
도 4는 본 발명에 따른 그래프 컨볼루션 처리의 흐름 개략도이다;
도 5는 본 발명에 따른 분류의 흐름 개략도이다;
도 6은 본 발명에 따른 비디오 시퀀스 분류의 흐름 개략도이다;
도 7은 본 발명에 따른 모델 훈련 방법의 방법 흐름도이다;
도 8은 본 발명에 따른 군중 행위 검출 장치의 구조 개략도이다;
도 9는 본 발명에 따른 전자 기기의 하드웨어의 구조 개략도이다.

예시적인 실시예들이 도면들에서 그 예시들이 표현되어, 이하에서 상세히 설명될 것이다. 다음 설명들이 도면들을 포함할 때, 상이한 도면들에서의 유사한 번호들은 달리 표시되지 않는 한 유사하거나 비슷한 요소들을 지칭한다. 이하의 예시적인 실시예들에서 설명되는 특정 방식은 본 출원에 따른 모든 실시예들을 나타내지는 않는다. 오히려, 이들은 첨부된 청구항들에 전술된 바와 같은 본 출원의 일부 양태들에 따른 장치들 및 방법들의 예들에 불과하다.

본 개시내용에서 사용되는 용어들은 단지 특정 예들을 설명하기 위한 것이며, 본 개시내용을 제한하려는 의도는 아니다. 본 개시내용 및 첨부된 청구항들에서 단수 형태("a", "the" 및 "said")의 용어들은, 문맥상 명확히 달리 지시되지 않는 한, 복수 형태를 포함하도록 또한 의도된다. 또한, 본 명세서에서 사용되는 "및/또는"이라는 용어는 하나 이상의 상관된 열거된 항목들 중 임의의 또는 모든 가능한 조합을 포함한다는 것을 이해해야 한다. 또한, 문맥에 따라, 본 명세서에서 사용되는 바와 같은 단어 "~한 경우(if)"는 "~할 때(when)" 또는 "~할 시(upon)" 또는 "결정에 응답하여"로서 해석될 수 있다는 것을 이해해야 한다.

본 발명은 군중 행위 검출 방법（이하 검출 방법이라 약칭함）을 제안하는 것을 목적으로 한다. 당해 방법은 그래프 컨볼루션 원리를 이용하여 목표 이미지 시퀀스 중에 출현된 각 객체에 대응하는 위치 변화 정보에 기반하여, 상기 목표 이미지 시퀀스 중에서 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 데에 유익한 추출 특징을 얻는다. 이어서 당해 방법은 계속하여 상기 추출 특징에 기반하여 분류를 수행함으로써, 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정한다.

예를 들면, 특수 장면에 있어서, 상기 목표 이미지 시퀀스는 모니터링하여 수집한 비디오 시퀀스일 수 있고; 상기 객체는 상기 목표 이미지 시퀀스 중에 출현된 보행자일 수 있다. 상기 군중 행위의 유형은 보행자 집결, 보행자 정체 및 보행자 분산 등을 포함할 수 있다. 상기 방법을 통해 그래프 컨볼루션 원리를 이용하여 보행자의 비디오 중의 위치 변화 정보에 기반하여 군중 행위의 확정에 유익할 수 있는 추출 특징을 확정할 수 있다. 이어서 다시 상기 추출 특징에 기반하여 분류를 수행함으로써, 당해 비디오 시퀀스 중에서 발생하고 있는 군중 행위를 확정하고, 확정된 군중 행위에 따라 상응하는 배치를 수행하여, 위험 사건의 발생 확률을 감소시킬 수 있다.

도 1을 참조하면, 도 1은 본 발명에서 도시하는 목표 이미지 시퀀스 분류 방법의 방법 흐름도이다.

도 1에 도시된 바와 같이, 상기 방법은 이하의 단계를 포함할 수 있다.

S102, 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정한다.

S104, 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션을 통해 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정한다.

상기 분류 방법은 전자 기기에 적용될 수 있다. 여기서, 상기 전자 기기는 분류 방법에 대응하는 소프트웨어 시스템을 탑재하여 상기 분류 방법을 실행할 수 있다. 상기 전자 기기의 유형은 노트북, 컴퓨터, 서버, 핸드폰, PAD 단말 등일 수 있다. 본 발명은 상기 전자 기기의 구체적인 유형을 특별히 한정하지 않는다.

이해할 수 있다시피, 상기 분류 방법은 단말 기기 또는 서버측 기기만을 통해 단독으로 실행할 수도 있고, 단말 기기 및 서버측 기기를 통해 협조하여 실행할 수도 있다.

예를 들면, 상기 분류 방법은 클라이언트에 집적될 수 있다. 당해 클라이언트가 탑재된 단말 기기는 분류 요청을 수신한 후, 자체 하드웨어 환경을 통해 컴퓨팅 능력을 제공하여 상기 분류 방법을 실행할 수 있다.

또 예를 들면, 상기 분류 방법은 시스템 플랫폼에 집적될 수 있다. 당해 시스템 플랫폼을 탑재한 서버측 기기는 분류 요청을 수신한 후, 자체 하드웨어 환경을 통해 컴퓨팅 능력을 제공하여 상기 분류 방법을 실행할 수 있다.

또 다시 예를 들면, 상기 분류 방법은 목표 이미지 시퀀스를 취득하는 임무와 목표 이미지 시퀀스에 대해 분류를 수행하는 임무와 같은 두 개의 임무로 나뉠 수 있다. 여기서, 취득 임무는 클라이언트에 집적되고 단말 기기에 탑재될 수 있다. 분류 임무는 서버측에 집적되고 서버측 기기에 탑재될 수 있다. 상기 단말 기기는 목표 이미지 시퀀스를 취득한 후 상기 서버측 기기에 분류 요청을 송신할 수 있다. 상기 서버측 기기는 상기 분류 요청을 수신한 후, 상기 요청에 응답하여 상기 목표 이미지 시퀀스에 대해 상기 분류 방법을 실행할 수 있다. 이하 실행 주체가 전자 기기（이하 기기로 약칭함）인 것을 예를 들어 설명한다.

계속하여 도 2를 참조하면, 도 2는 본 발명에서 도시하는 군중 행위 검출의 흐름 개략도이다.

도 2에 도시된 흐름을 수행하기 전에, 먼저 목표 이미지 시퀀스를 취득할 수 있다. 상기 목표 이미지 시퀀스는 복수의 보행자 객체를 포함하는, 군중 행위 검출을 수행할 필요가 있는 이미지 시퀀스를 의미한다. 당해 목표 이미지 시퀀스 중에는 복수 프레임의 이미지가 포함될 수 있다.

일부 예에서, 상기 목표 이미지 시퀀스는 비디오 시퀀스 또는 복수 프레임의 이산 이미지 시퀀스를 포함할 수 있다. 상기 비디오 시퀀스는 N개의 프레임의 연속된 복수의 객체를 포함하는 이미지를 포함하며; 상기 N은 양의 정수이다.

일부 예에서, 상기 목표 이미지 시퀀스를 취득할 때, 상기 기기는 사용자와 상호 작용을 수행함으로써 목표 이미지 시퀀스의 입력을 완성할 수 있다. 예를 들면, 상기 기기는 자체에 탑재된 인터페이스를 통해 사용자에게 처리 대기 목표 이미지 시퀀스를 입력하는 윈도를 제공하여, 사용자로 하여금 목표 이미지 시퀀스를 입력하도록 할 수 있다. 사용자는 당해 윈도에 기반하여 목표 이미지 시퀀스의 입력을 완성할 수 있다.

일부 예에서, 상기 기기를 또한 현장에 배치된 이미지 수집 기기（예를 들면 비디오 모니터링）에 연결함으로써, 상기 이미지 수집 기기로부터 당해 기기에 의해 수집된 목표 이미지 시퀀스를 취득할 수 있다.

목표 이미지 시퀀스를 취득한 후, 계속하여 S102를 실행함으로써, 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정할 수 있다. 상기 객체 추적은 구체적으로 각 프레임의 이미지 내에 출현된 동일한 객체에 대해 추적을 수행하는 것을 의미한다. 객체 추적을 수행할 때, 각 프레임의 이미지 내에 출현된 동일한 객체가 확정되면 객체 추적이 완료된다. 예를 들면, 시큐리티 장면에 있어서, 상기 객체 추적은 보행자 추적이다. 보행자 추적을 수행할 때 각 이미지에 출현된 동일한 보행자를 확정하는 것을 통해 보행자 추적을 실현할 수 있다.

상기 위치 변화 정보는 구체적으로 객체의 목표 이미지 시퀀스에서의 모션 궤적 정보를 나타낼 수 있다. 예를 들면, 특수 장면에 있어서, 보행자에 대해 보행자 추적을 수행하여, 동일한 보행자의 각 프레임의 이미지에서의 위치 정보를 확정함으로써, 당해 보행자의 이미지 시퀀스에서의 모션 궤적을 확정할 수 있다. 이해할 수 있다시피, 상기 위치 변화 정보는 객체의 각 이미지 내의 객체 위치 정보 및 시간 영역 정보를 나타낼 수 있다. 여기서, 상기 객체 위치 정보는 객체 좌표를 나타낼 수 있다. 상기 시간 영역 정보는 객체의 각 위치에 위치할 때의 대응하는 시간 정보를 나타낼 수 있다.

계속하여 도 2를 참조하면, 본 발명에 있어서 취득된 목표 이미지 시퀀스를 객체 추적 유닛에 입력하여 상기 S102를 실행할 수 있다.

상기 객체 추적 유닛은 구체적으로 기기에 의해 실행 가능한 명령을 통해 S1022를 실행함으로써, 객체 위치 예측 모델을 이용하여 상기 각각의 이미지에 대해 각각 위치 예측 처리를 수행하여 상기 각각의 객체의 각 이미지에서의 위치 정보를 확정할 수 있다. 본 단계에 있어서, 객체 위치 예측 모델을 이용하여 상기 각 이미지에 대해 각각 위치 예측 처리를 수행하여, 상기 객체의 각 이미지에서의 위치 정보를 확정할 수 있으며. 여기서, 상기 객체 위치 예측 모델은 일부 객체 위치 정보를 라벨링한 훈련 샘플에 기반하여 훈련하여 얻은 모델을 포함할 수 있다.

이해할 수 있다시피, 상기 객체 위치 예측 모델은 심층 컨볼루션 네트워크에 기반하여 구축된 뉴럴 네트워크 모델일 수 있다. 당해 모델을 사용하여 위치 예측을 수행하기 전에, 객체 위치 정보가 라벨링된 훈련 샘플을 사용하여 당해 위치 예측 모델에 대해, 당해 모델이 수렴할 때까지 감독 훈련을 수행할 수 있다.

상기 위치 정보를 확정한 후, 상기 객체 추적 유닛에서 S1024를 실행함으로써, 상기 위치 정보에 기반하여 상기 객체에 대해 객체 추적을 수행하여, 상기 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정할 수 있다.

본 발명에 있어서, 객체 추적의 방법에 대해 특별히 한정하지 않는 바, 이하 개략적으로 두 가지 객체 추적 방법을 제공한다.

방법 1： S1024를 실행할 때, 칼만 필터 알고리즘을 이용하여 상기 각각의 객체에 대해 객체 추적을 수행하여 상기 각각의 객체의 위치 변화 정보를 확정할 수 있다.

일부 예에서, 상기 각 이미지의 수집 선후 순서에 따라, 첫 번째 프레임의 이미지로부터 시작하여 차례로 인접한 두 프레임의 이미지를 현재 두 프레임의 이미지로 확정하여 이하의 단계를 실행할 수 있는 바, 즉 칼만 필터 알고리즘을 이용하여 현재 두 프레임의 이미지에 포함된 각 객체에 대응하는 위치 정보를 확정하는 단계; 및 헝가리 매칭 알고리즘（이분 그래프 매칭 알고리즘）을 통해 현재 두 프레임의 이미지 중 제1 이미지에 포함된 각 객체에 대응하는 위치 정보를 각각 상기 현재 두 프레임의 이미지 중 제2 이미지에 포함된 각 객체에 대응하는 위치 정보에 매칭하는 단계를 포함한다.

여기서, 상기 매칭 동작을 실행할 때, 상기 제1 이미지에 포함된 각 객체에 대응하는 위치 정보와 상기 제2 이미지에 포함된 각 객체에 대응하는 위치 정보 사이의 거리를 계산할 수 있다. 계산한 거리가 기설정된 기준 임계값 미만이면, 당해 거리에 대응하는 두 위치 정보를 매칭 중의 두 위치 정보로 확정할 수 있다.

상기 매칭 조작의 실행이 완료된 후, 매칭 중의 두 위치 정보에 대응하는 두 객체를 상기 현재 두 프레임의 이미지 내에 출현된 동일한 객체로 확정함으로써, 상기 객체에 대한 객체 추적을 실현할 수 있다.

모든 인접한 이미지에 대해 이상의 단계의 실행을 완료한 후, 추적된 동일한 객체의 각 이미지에서의 위치 정보에 기반하여 상기 객체의 위치 변화 정보를 확정할 수 있다.

상기 방법에서 상기 각 이미지 내에 출현된 동일한 객체를 확정함으로써, 각 이미지 내의 당해 동일한 객체에 대한 추적을 실현할 수 있다. 당해 객체에 대한 객체 추적을 실현한 후, 당해 객체의 각 이미지에서의 위치 정보에 기반하여 당해 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정할 수 있다.

방법 2： S1024를 실행할 때, 객체 검출 모델에 기반하여 상기 각 이미지 내에 출현된 동일한 객체를 확정함으로써, 상기 각각의 객체에 대한 객체 추적을 실현할 수 있다.

상기 객체 검출 모델은 심층 학습 네트워크에 기반하여 구축한 모델을 포함할 수 있다. 예를 들면, 상기 객체 검출 모델은 구체적으로 사전에 훈련된 시맨틱 검출 모델（예를 들면, fast-rcnn, faster-rcnn, mask-rcnn 등 모델）일 수 있다. 당해 검출 모델을 통해 이미지에 포함된 보행자 객체에 대응하는 객체 특징을 검출할 수 있다. 일부 예에서, 상기 객체 특징은 사람 얼굴 특징일 수 있다. 각 이미지에 포함된 객체 특징을 검출한 후, 서로 다른 두 프레임의 이미지에 포함된 객체 특징에 대해 유사도 계산을 수행하고, 유사도가 제2 기준 임계값에 도달한 객체를 동일한 객체로 확정할 수 있다.

예를 들면, 시큐리티 장면에 있어서, 상기 객체 목표는 보행자일 수 있다. 이때 상기 객체 검출 모델을 통해 각 이미지에 포함된 사람 얼굴을 검출할 수 있다. 각 이미지에 포함된 사람 얼굴을 검출한 후, 서로 다른 두 프레임의 이미지에 포함된 사람 얼굴 특징에 대해 유사도 계산을 수행하고, 유사도가 제2 기준 임계값에 도달한 사람 얼굴을 동일한 사람 얼굴로 확정할 수 있다. 동일한 사람 얼굴을 확정한 후 상기 두 프레임의 이미지에 동일한 보행자가 출현된 것으로 확정할 수 있다.

각 프레임의 이미지 내에 출현된 동일한 객체를 확정한 후, 추적된 동일한 객체의 각 이미지에서의 위치 정보에 기반하여 상기 각각의 객체의 위치 변화 정보를 확정할 수 있다.

일부 예에서, 객체에 대응하는 위치 변화 정보를 확정한 후, 3차원 행렬（T*H*W）의 형식을 통해 각 객체에 대응하는 상기 위치 변화 정보를 저장할 수 있다. 여기서, 3차원 행렬의 채널 수량은 목표 이미지 시퀀스에 포함된 이미지 프레임의 수량일 수 있고; 3차원 행렬의 요소는 객체의 당해 채널 번호에 대응하는 이미지 내의 위치 좌표일 수 있다. 이해할 수 있다시피, 이때 상기 3차원 행렬은 상기 목표 이미지 시퀀스 대응하는 특징 행렬로 확정될 수 있다.

이해할 수 있다시피, 상기 위치 변화 정보는 시간 영역 특성을 가지며, 객체의 상기 목표 이미지 시퀀스에서 나타낸 시간 영역 범위 내의 모션 과정 중의 위치 좌표의 변화 상황을 나타낼 수 있다. 목표 이미지 시퀀스 중에 출현된 각 객체에 대응하는 상기 위치 변화 정보에 기반하여 각 객체의 모션 과정을 확정할 수 있는 바, 즉 각 객체가 점차적으로 집결하는지 점차적으로 분산하는지를 확정할 수 있다. 따라서, 당해 위치 변화 정보에 기반하여 군중 행위 검출을 수행하는 것은 가능한 것이다.

계속하여 도 2를 참조하면, 상기 위치 변화 정보를 확정한 후, 계속하여 S104를 실행함으로써, 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션을 통해 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정할 수 있다.

여기서, 우선 S1042를 실행함으로써, 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻을 수 있다.

상기 추출 특징은 구체적으로 그래프 컨볼루션 처리를 수행하여（공간 그래프 컨볼루션과 시간 영역 그래프 컨볼루션을 포함함） 확정된 특징 행렬 또는 특징 벡터를 포함할 수 있다. 이해할 수 있다시피, 상기 추출 특징은 목표 이미지 시퀀스 중의 복수의 보행자 객체의 위치 변화 정보에 기반하여 확정된 것이며, 따라서 상기 추출 특징은 군중 행위를 확정하는 데에 유익하다.

일부 예에서, S1042를 실행하기 전에, 상기 목표 이미지 시퀀스에 포함된 각 이미지 내의 객체 사이의 연결 관계를 확정할 수 있다.

이해할 수 있다시피, 서로 다른 연결 관계 확정 규칙을 사용하여 확정한 연결 관계는 서로 다른 의미를 갖는다. 예를 들면, 두 객체의 이미지 내에 위치한 영역에 대응하는 이미지 특징 사이의 유사도 크기를 통해 확정한 연결 관계는 유사성 관점에서 두 객체 사이의 연관성 정도를 나타낼 수 있다. 다시 예를 들면, 두 객체 사이의 거리 크기를 통해 확정한 연결 관계는 거리 관점에서의 두 객체 사이의 연관성 정도를 나타낸다.

일부 예에서, 상기 각 이미지에 포함된 각 객체의 이미지 내에 위치한 영역에 대응하는 이미지 특징을 추출할 수 있다. 상기 이미지 특징은 각 객체가 위치한 위치의 이미지 정보를 나타낸다. 두 객체의 이미지 특징이 비교적 유사하면, 상기 두 객체가 위치한 위치가 매우 유사한 것을 설명할 수 있는 바, 즉 양자가 위치한 거리가 상대적으로 가깝다는 것을 설명하며, 연결 관계를 가진다.

다음, 각 객체에 대응하는 이미지 특징에 기반하여 각 객체 중의 임의의 두 객체 사이의 유사도를 확정할 수 있다.

일부 예에서, 제1 기설정된 임계값에 도달한 유사도에 대응하는 두 객체를 연결 관계가 있는 두 객체로 확정하는 것을 포함할 수 있다. 여기서, 상기 제1 기설정된 임계값은 경험에 따라 설정된 임계값을 포함한다. 본 발명에 있어서 상기 제1 기설정된 임계값에 대해 특별히 한정하지 않는다.

설명할 필요가 있는 것은, 본 발명은 유사도를 계산하는 방법에 대해서도 특별히 한정하지 않는다. 예를 들면, 상기 유사도를 계산하는 방법은 예를 들면 유클리드 거리, 코사인 거리, 마할라노비스 거리 등 방법일 수 있다. 일부 예에서, 목표 이미지 시퀀스에 대한 분류 정확성을 향상시키기 위하여, 객체 사이의 거리에 기반하여 객체 사이의 연결 관계를 확정할 수 있다.

도 3을 참조하면, 도 3은 본 발명에 따른 연결 관계 확정 방법의 흐름 개략도이다. 도 3에 도시된 바와 같이, S302를 실행함으로써, 상기 각 이미지에 대해 각각 이미지 처리를 수행하여 상기 객체의 각 이미지에서의 위치 정보를 확정할 수 있다. 다음, S304를 실행함으로써, 각 객체에 대응하는 위치 정보에 기반하여 각 객체 중 임의의 두 객체 사이의 거리를 확정할 수 있다.

임의의 두 객체 사이의 거리를 확정한 후, 상기 거리에 기반하여 각 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정할 수 있다. 일부 예에서, 상기 거리에 기반하여 각 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정할 때, 제2 기설정된 임계값에 도달하지 못한 거리에 대응하는 두 객체를 연결 관계가 있는 두 객체로 확정할 수 있다. 여기서, 상기 제2 기설정된 임계값은 경험에 따라 설정된 임계값을 포함한다. 본 발명에 있어서 상기 제2 기설정된 임계값에 대해 특별히 한정하지 않는다.

일부 예에서, 두 객체 사이가 연결 관계를 갖는 것으로 확정되면, 당해 두 객체 사이의 연결 가중치를 1로 설정하고, 그렇지 않으면 당해 두 객체 사이의 연결 가중치를 0으로 설정한다.

상기 연결 관계는 객체 사이의 거리를 통해 확정된 것이므로, 당해 연결 관계에 기반하여 확정된 시공간 그래프는 각 객체 사이의 거리 관계를 나타낼 수 있으며, 시공간 그래프에 대해 그래프 컨볼루션 조작을 수행한 후 확정된 추출 특징도 객체 사이의 거리 정보를 포함할 수 있다. 따라서 당해 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 군중 행위 분류를 수행하면, 보행자 집결, 보행자 분산 또는 보행자 정체와 같은 분류의 정확성을 향상시킬 수 있다.

일부 예에서, 분류 정확성을 더 한층 향상시키기 위하여, 두 객체 사이의 실제 거리에 기반하여 두 객체 사이의 연결 가중치를 확정할 수 있다.

구체적으로, 확정된 임의의 두 객체 사이의 거리를 제3 기설정된 임계값과 제4 기설정된 임계값으로 형성된 구간 내에 매핑할 수 있다. 여기서, 상기 제3 기설정된 임계값과 상기 제4 기설정된 임계값은 경험 임계값이다. 일부 예에서, 상기 제3 기설정된 임계값은 0이고, 상기 제4 기설정된 임계값은 1이다.

상기 매핑을 완료한 후, 매핑 후의 임의의 두 객체 사이의 거리를 상기 임의의 두 객체 사이의 연결 가중치로 확정하고, 상기 임의의 두 객체 사이의 연결 가중치를 통해 상기 임의의 두 객체 사이의 연결 관계를 나타낼 수 있다.

상기 예에서 두 객체의 실제 거리를 통해 두 객체 사이의 연결 관계를 확정하므로, 상기 시공간 그래프는 실제에 더 가까운 거리 정보를 나타내기에, 분류 정확성을 더 한층 향상시킬 수 있다.

상기 목표 이미지 시퀀스에 포함된 각 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정한 후, 계속하여 S104를 실행할 수 있다.

계속하여 도 2를 참조하면, 그래프 컨볼루션 모델을 통해 상기 S1042를 실현할 수 있다.

여기서, 상기 그래프 컨볼루션 모델은 시공간 그래프 컨볼루션 처리 네트워크에 기반하여 구축한 모델일 수 있다. 여기서 상기 시공간 그래프 컨볼루션 네트워크는 적어도 각 프레임의 이미지에 대해 공간 그래프 컨볼루션 처리를 수행하기 위한 공간 그래프 컨볼루션 네트워크（GCN） 및 각 프레임의 이미지에 대응하는 맵 특징에 대해 시간 영역 컨볼루션을 수행하기 위한 시간 영역 컨볼루션 네트워크（TCN）를 포함한다.

도 4를 참조하면, 도 4는 본 발명에 따른 그래프 컨볼루션 처리의 흐름 개략도이다.

도 4에 도시된 바와 같이, 상기 S1042를 실행할 때, 상기 위치 변화 정보를 그래프 컨볼루션 모델에 포함된 GCN에 입력하여 S402를 실행함으로써, 상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 각 이미지 내의 객체 위치 정보 및 상기 각 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 각 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 각 이미지에 각각 대응하는 맵 특징을 얻을 수 있다.

본 단계에 있어서, 상기 각 이미지 내의 객체 사이의 연결 관계에 기반하여 상기 각 이미지에 각각 대응하는 인접 행렬을 확정할 수 있다. 일부 실시예에서, 우선 각 이미지에 대응하는 토폴로지 맵을 생성할 수 있다. 실제 적용에 있어서, 각 이미지에 대해 각 이미지 내의 각 객체를 토폴로지 맵의 꼭짓점 V로 설정하고, 각 객체 사이의 연결 관계에 기반하여 가장자리 E를 확정하여, 각 이미지에 각각 대응하는 토폴로지 맵을 얻을 수 있다.

각 이미지에 대응하는 토폴로지 맵을 생성한 후, 상기 각 이미지에 각각 대응하는 토폴로지 맵에 기반하여, 상기 각 이미지에 각각 대응하는 인접 행렬 A을 확정하고, 상기 객체 위치 정보에 기반하여 상기 각 이미지에 각각 대응하는 특징 행렬

을 확정할 수 있다.

상기 인접 행렬과 상기 특징 행렬을 확정한 후, 상기 인접 행렬과 상기 특징 행렬에 기반하여 상기 공간 그래프 컨볼루션 처리를 수행하여 상기 각각의 이미지에 각각 대응하는 맵 특징을 얻을 수 있다.

본 발명에 있어서 상기 그래프 컨볼루션 공식에 대해 특별히 한정하지 않는다는 것을 설명할 필요가 있다. 일부 예에서,

를 채용할 수 있다. 여기서,

는 자체 루프를 증가시켜 자체의 특징을 유지한다.

는 대각 행렬이다.

는 그래프 컨볼루션 네트워크의 네트워크 매개변수이다(구체적인 훈련 과정은 본 발명의 후속의 내용에 설명되며, 여기서 설명하지 않는다).

는 GCN 중 제l+1 은닉층의 입력인바,

는 제l+1 은닉층의 연산 후의 출력이다.

상기 각 이미지에 각각 대응하는 맵 특징을 얻은 후, 상기 맵 특징을 그래프 컨볼루션 모델에 포함된 TCN에 입력하여 S404를 실행함으로써, 상기 각 이미지에 각각 대응하는 맵 특징에 대해 시간 영역 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻을 수 있다.

본 단계에 있어서, 상기 각 이미지에 각각 대응하는 맵 특징을 상기 위치 변화 정보가 나타내는 시간 영역 정보에 따라 정렬할 수 있다. 이어서 기설정된 1차원 컨볼루션 커널에 기반하여 정렬 후의 각 이미지에 각각 대응하는 맵 특징에 대해 1차원 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻을 수 있다.

계속하여 도 2를 참조하면, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻는 후, 계속하여 S1044를 실행함으로써, 상기 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정할 수 있다.

본 단계에 있어서, 상기 추출 특징을 사전에 훈련된 다중 분류기에 입력하여 분류를 수행함으로써 상기 군중 행위를 얻을 수 있다.

도 5를 참조하면, 도 5는 본 발명에 따른 분류의 흐름 개략도이다.

도 5에 도시된 바와 같이, 상기 다중 분류기는 다운 샘플링 유닛 및 완전 연결 계층을 포함한다. 여기서, 상기 다운 샘플링 유닛은 추출 특징에 대해 처리를 수행하여 대응하는 특징 벡터를 얻을 수 있다. 예를 들면, 상기 다운 샘플링 유닛은 평균 풀링 유닛일 수 있다. 상기 완전 연결 계층은 상기 특징 벡터에 기반하여 분류를 수행하여 각 기설정된 분류 유형에 대응하는 신뢰도 점수를 얻을 수 있다.

계속하여 도 5를 참조하면, S1044를 실행할 때, 상기 추출 특징을 다운 샘플링 유닛에 입력하여 S502를 실행함으로써, 상기 추출 특징에 대해 평균 풀링을 수행하여 대응하는 특징 벡터를 얻을 수 있다. 상기 특징 벡터를 얻은 후 당해 특징 벡터를 완전 연결 계층에 입력하여 S504를 실행함으로써, 당해 특징 벡터에 대해 완전 연결 처리를 수행하여, 각 기설정된 분류 유형에 대응하는 신뢰도 점수를 얻을 수 있다.

각 신뢰도 점수를 얻은 후, 최대 신뢰도 점수에 대응하는 군중 행위 유형을 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위로 확정할 수 있다. 여기서, 상기 군중 행위는 보행자 집결, 보행자 분산, 보행자 정체 및 보행자 역류 중 적어도 하나를 포함한다.

상기 방법에 있어서, 목표 이미지 시퀀스 중에 출현된 객체에 대해 객체 추적을 수행하여, 상기 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정한다. 이어서 다시 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻으며, 상기 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정한다. 이로써, 그래프 컨볼루션 원리를 이용하여 목표 이미지 시퀀스로부터 군중 행위의 검출에 유익한 추출 특징을 확정하는 것을 실현하고, 또한 상기 목표 이미지 시퀀스가 나타내는 군중 행위의 정확한 검출을 실현할 수 있다.

이하, 시큐리티 장면과 결합하여 실시예를 설명한다. 상기 시큐리티 장면에는 일반적으로 모니터링 기기가 설치된다. 당해 모니터링 기기는 일반적으로 비디오 시퀀스를 수집할 수 있다. 이해할 수 있다시피, 시큐리티 장면에 있어서 실제로는 모니터링 기기에 의해 수집된 비디오 시퀀스를 분류한다. 도 6을 참조하면, 도 6은 본 발명에 따른 비디오 시퀀스 분류의 흐름 개략도이다.

목표 비디오 시퀀스를 취득한 후, 좌표 확정 유닛을 통해 S602를 실행함으로써, 상기 목표 비디오 시퀀스에 포함된 각 이미지에 대해 각각 이미지 처리를 수행하여, 비디오 내에 출현된 보행자의 각 이미지에서의 위치 정보를 확정할 수 있다.

상기 위치 정보를 확정한 후, 보행자 추적 유닛을 통해 S604를 실행함으로써, 상기 위치 정보에 기반하여 상기 보행자 객체에 대해 추적을 수행하여, 상기 보행자의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정할 수 있다.

상기 위치 변화 정보를 확정한 후, 그래프 컨볼루션 분류 모델에 포함된 이미지 컨볼루션 모델을 통해 S606을 실행함으로써, 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻을 수 있다.

상기 그래프 컨볼루션 분류 모델은 구체적으로 그래프 컨볼루션 모델과 다중 분류 모델에 기반하여 구축된 분류 모델일 수 있다. 당해 그래프 컨볼루션 분류 모델을 통해, 한편으로는 시공간 그래프에 대해 그래프 컨볼루션 동작을 수행하여, 상기 시공간 그래프 대응하는 추출 특징을 확정할 수 있고; 다른 한편으로는 상기 추출 특징에 기반하여 상기 목표 이미지 시퀀스에 대해 분류 처리를 수행하여 당해 시퀀스의 분류 유형을 확정할 수 있다.

상기 추출 특징을 확정한 후, 상기 그래프 컨볼루션 분류 모델에 포함된 다중 분류 모델을 통해 S608을 실행함으로써, 상기 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정할 수 있다.

상기 방안에 있어서, 우선 그래프 컨볼루션 원리를 이용하여 보행자의 비디오 중의 위치 변화 정보에 기반하여 각 보행자의 비디오 시퀀스 중의 거리 변화 정보를 반영할 수 있는 추출 특징을 확정할 수 있다. 이어서 다시 상기 추출 특징에 기반하여 상기 비디오 시퀀스의 분류 유형을 확정함으로써, 당해 비디오 시퀀스 중에서 발생하고 있는 보행자 행위를 확정하고, 확정된 보행자 행위에 따라 상응하는 배치를 수행하여 위험 사건의 발생 확률을 감소시킬 수 있다.

이상은 본 발명에 따른 이미지 시퀀스 분류 방안의 소개이며, 이하 사용하는 그래프 컨볼루션 분류 모델의 훈련 방법에 대해 소개하기로 한다.

상기 그래프 컨볼루션 분류 모델은 상기 그래프 컨볼루션 처리를 실현하는 데에 사용될 수 있다.

일부 예에서, 상기 그래프 컨볼루션 분류 모델은 그래프 컨볼루션 모델 및 다중 분류 모델을 포함할 수 있다. 여기서, 상기 그래프 컨볼루션 모델은 목표 이미지 시퀀스 중의 각 객체의 위치 변화 정보를 입력으로 이용하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻을 수 있다. 상기 다중 분류 모델은, 상기 추출 특징을 입력으로 이용하여 상기 추출 특징에 대해 분류 처리를 수행하여 상기 목표 이미지 시퀀스가 나타내는 군중 행위를 얻을 수 있다.

이해할 수 있다시피, 그래프 컨볼루션 분류 모델에 대한 훈련은 실제로 상기 그래프 컨볼루션 모델 및 상기 다중 분류 모델에 포함된 모델 매개변수를 확정하는 과정이다.

본 발명은 모델 훈련 방법을 제안한다. 당해 방법은 가상의 훈련 샘플을 구축하는 것을 통해 그래프 컨볼루션 분류 모델에 대해 훈련을 수행함으로써, 실제 샘플이 모자라는 상황에서도 모델 훈련을 실현할 수 있다.

도 7를 참조하면, 도 7은 본 발명에 따른 모델 훈련 방법의 방법 흐름도이다. 도 7에 도시된 바와 같이, 상기 훈련 방법은 훈련 샘플을 생성하는 S702를 포함하되, 여기서 상기 훈련 샘플은 복수의 객체를 포함하는 위치 변화 정보 및 상기 복수의 객체의 위치 변화 정보에 기반한 군중 행위의 라벨링 정보를 구비한다.

본 단계에 있어서, 먼저 S7022를 실행함으로써, 모션 시뮬레이션 플랫폼에 기반하여 비디오 내에 출현된 객체에 대응하는 모션 모드를 설정할 수 있다.

상기 모션 시뮬레이션 플랫폼은 구체적으로 모션 시뮬레이션을 수행할 수 있는 임의의 플랫폼이다. 일부 예에서, 상기 모션 시뮬레이션 플랫폼은 게임 개발 플랫폼일 수 있다.

상기 모션 모드는 속도와 모션 방향을 포함할 수 있다. 상기 모션 모드를 통해 한편으로는 객체의 상기 비디오에 포함된 각 프레임의 이미지에서의 좌표를 확정함으로써, 각 객체의 상기 비디오에서의 위치 변화 정보를 확정할 수 있다. 다른 한편으로는 상기 비디오가 나타내는 군중 행위를 얻을 수 있다. 예를 들면, 시큐리티 장면에 있어서, 각 보행자의 모션 모드가 동일한 방향을 향할 때, 비디오가 나타내는 군중 행위가 보행자 집결인 것으로 확정할 수 있으며; 그렇지 않을 경우에는 비디오가 나타내는 군중 행위가 보행자 분산인 것으로 확정할 수 있다.

각 객체의 모션 모드를 확정한 후, S7024를 실행함으로써, 상기 모션 모드에 기반하여 각 객체에 대응하는 위치 변화 정보를 확정하며, 상기 각 객체에 대응하는 위치 변화 정보가 나타내는 군중 행위를 확정할 수 있다. 여기서 상기 군중 행위는 보행자 집결, 보행자 분산 및 보행자 정체 등을 포함할 수 있다.

상기 위치 변화 정보 및 상기 비디오가 나타내는 군중 행위를 확정한 후, S7026을 실행함으로써, 상기 위치 변화 정보 및 상기 위치 변화 정보가 나타내는 군중 행위에 기반하여 상기 훈련 샘플을 생성할 수 있다.

본 단계에 있어서, one-hot 인코딩 등 방식을 채용하여 위치 변화 정보 및 상기 분류를 인코딩함으로써, 일부 훈련 샘플을 얻을 수 있다. 본 발명은 상기 인코딩의 구체적인 방식을 한정하지 않는다.

상기 훈련 샘플을 얻은 후, 계속하여 S704를 실행함으로써, 기설정된 손실 정보 및 상기 훈련 샘플에 기반하여 당해 모델이 수렴할 때까지 상기 그래프 컨볼루션 분류 모델에 대해 훈련을 수행할 수 있다.

상기 기설정된 손실 정보는 경험에 따라 설정된 손실 정보일 수 있다.

모델을 훈련할 때, 우선 학습률, 훈련 루프 횟수 등과 같은 하이퍼파라미터를 지정할 수 있다. 상기 하이퍼파라미터를 확정한 후, 상기 훈련 샘플에 기반하여 상기 그래프 컨볼루션 분류 모델에 대해（이하 당해 모델로 약칭함） 감독 훈련을 수행할 수 있다.

일 회의 감독 훈련 과정에서, 순방향 전파를 수행하여 당해 모델이 출력하는 계산 결과를 얻을 수 있다. 당해 모델이 출력하는 계산 결과를 얻은 후, 상기 기설정된 손실 정보에 기반하여 실제의 분류 유형과 상기 계산 결과 사이의 오차를 평가할 수 있다. 상기 오차를 얻은 후, 확률적 경사 하강법을 통해 하강 기울기를 확정할 수 있다. 하강 기울기를 확정한 후, 역방향 전파를 통해 당해 모델에 대응하는 모델 매개변수를 업데이트할 수 있다.

다음, 당해 모델이 수렴할 때까지 상기 과정을 반복할 수 있다. 설명해야 할 것은, 상기 모델 수렴 조건은 예를 들면 기설정된 훈련 횟수에 도달한 것 또는 연속 M회 순방향 전파 후 얻은 오차의 변화량이 일정한 임계값 미만인 것 등일 수 있다. 본 발명은 모델 수렴 조건에 대해 특별히 한정하지 않는다.

상기 훈련 방법에 있어서, 훈련 샘플을 사용하여 그래프 컨볼루션 분류 모델에 대해 훈련을 수행함으로써, 훈련 과정에서 실제 훈련 샘플을 필요로 하지 않는다.

일부 예에서, 또한 객체 위치를 확정하기 위한 객체 위치 예측 모델, 객체 추적을 수행하는 객체 추적 모델 및 그래프 컨볼루션 처리와 분류를 수행하기 위한 그래프 컨볼루션 분류 모델에 대해 연합 훈련을 수행할 수 있다.

일부 예에서, 모션 시뮬레이션 플랫폼을 통해 보행자 집결, 보행자 분산 등을 나타내는 비디오를 구축하고, 구축된 비디오에 대해 군중 행위 라벨링을 수행하여 훈련 샘플을 얻을 수 있다.

훈련 샘플을 얻은 후, 훈련 샘플을 상기 객체 위치 예측 모델에 입력하여 제1 계산 결과를 얻을 수 있다. 이어서 상기 제1 계산 결과를 상기 객체 추적 모델에 입력하여 제2 계산 결과를 얻는다. 이어서 다시 상기 제2 계산 결과를 상기 그래프 컨볼루션 분류 모델에 입력하여 비디오가 나타내는 군중 행위에 대한 검출 결과를 얻는다.

검출 결과를 얻은 후, 상기 가상 인식에 대응하는 라벨링 정보에 기반하여 역전파 방식을 이용하여 각 모델의 매개변수의 업데이트를 완성할 수 있다.

상기 예에서, 각 모델에 대한 연합 훈련을 실현하여 훈련 효율을 향상시킬 수 있다.

상기 임의의 실시예에 대응하게, 본 발명은 군중 행위 검출 장치를 더 제안한다.

도 8을 참조하면, 도 8은 본 발명에 따른 군중 행위 검출 장치의 구조 개략도이다.

도 8에 도시된 바와 같이, 상기 장치(80)는 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대한 객체 추적 결과에 기반하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하기 위한 위치 변화 정보 확정 모듈(81); 상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션을 통해 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하기 위한 군중 행위 검출 모듈(82)을 포함한다.

제공된 일부 실시예에서, 상기 위치 변화 정보 확정 모듈(81)은 구체적으로, 상기 목표 이미지 시퀀스에 포함된 각각의 이미지에 대해 각각 이미지 처리를 수행하여, 상기 각각의 객체의 각 이미지에서의 위치 정보를 확정하고; 상기 각각의 객체에 대해 객체 추적을 수행함으로써, 추적 결과 및 상기 위치 정보에 기반하여 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정한다.

제공된 일부 실시예에서, 상기 위치 변화 정보 확정 모듈(81)은 구체적으로, 칼만 필터 알고리즘 또는 객체 검출 모델을 이용하여 상기 각각의 객체에 대해 객체 추적을 수행하고; 추적된 동일한 객체의 각 이미지에서의 위치 정보에 기반하여 상기 각각의 객체의 위치 변화 정보를 확정한다.

제공된 일부 실시예에서, 상기 군중 행위 검출 모듈(82)은 상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 각 이미지 내의 객체 위치 정보 및 상기 각 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 각 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 각 이미지에 각각 대응하는 맵 특징을 얻기 위한 공간 그래프 컨볼루션 모듈; 상기 각 이미지에 각각 대응하는 맵 특징에 대해 시간 영역 컨볼루션 처리를 수행하고, 상기 시간 영역 컨볼루션 처리를 통해 얻은 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하기 위한 군중 행위 확정 모듈을 포함하되; 여기서, 상기 군중 행위는 보행자 집결, 보행자 분산, 보행자 정체 및 보행자 역류 중 적어도 하나를 포함한다.

제공된 일부 실시예에서, 상기 공간 그래프 컨볼루션 처리 모듈은 구체적으로, 상기 각 이미지 내의 객체 사이의 연결 관계에 기반하여 상기 각 이미지에 각각 대응하는 인접 행렬을 확정하고; 상기 객체 위치 정보에 기반하여 상기 각 이미지에 각각 대응하는 특징 행렬을 확정하며; 상기 인접 행렬과 상기 특징 행렬에 기반하여 상기 공간 그래프 컨볼루션 처리를 수행하여 상기 각각의 이미지에 각각 대응하는 맵 특징을 얻는다.

제공된 일부 실시예에서, 상기 장치(80)는 상기 목표 이미지 시퀀스에 포함된 각 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하기 위한 연결 관계 확정 모듈을 더 포함한다.

제공된 일부 실시예에서, 상기 연결 관계 확정 모듈은 구체적으로, 상기 각 이미지에 포함된 각 객체의 이미지 내에 위치한 영역에 대응하는 이미지 특징을 추출하고; 상기 이미지 특징은 각 객체가 위치한 위치의 이미지 정보를 나타내며; 각 객체에 대응하는 이미지 특징에 기반하여 각 객체 중 임의의 두 객체 사이의 유사도를 확정하고; 제1 기설정된 임계값에 도달하지 못한 유사도에 대응하는 두 객체를 연결 관계가 있는 두 객체로 확정한다.

제공된 일부 실시예에서, 상기 연결 관계 확정 모듈은 구체적으로, 상기 각 이미지에 대해 각각 이미지 처리를 수행하여 상기 객체의 각 이미지에서의 위치 정보를 확정하고; 각 객체에 대응하는 위치 정보에 기반하여 각 객체 중 임의의 두 객체 사이의 거리를 확정하며; 상기 거리에 기반하여 각 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정한다.

제공된 일부 실시예에서, 상기 연결 관계 확정 모듈은 구체적으로, 확정된 임의의 두 객체 사이의 거리를 제3 기설정된 임계값과 제4 기설정된 임계값으로 형성된 구간 내에 매핑하고; 매핑 후의 임의의 두 객체 사이의 거리를 상기 임의의 두 객체 사이의 연결 가중치로 확정하며; 상기 임의의 두 객체 사이의 연결 가중치를 통해 상기 임의의 두 객체 사이의 연결 관계를 나타낸다.

제공된 일부 실시예에서, 그래프 컨볼루션 분류 모델을 통해 상기 그래프 컨볼루션 처리를 실현하되; 여기서, 상기 그래프 컨볼루션 분류 모델의 훈련 장치는, 훈련 샘플을 생성하기 위한 생성 모듈 - 상기 훈련 샘플은 복수의 객체를 포함하는 위치 변화 정보 및 상기 복수의 객체의 위치 변화 정보에 기반한 군중 행위의 라벨링 정보를 포함함 -; 및 상기 위치 변화 정보 및 상기 군중 행위의 라벨링 정보에 기반하여 기설정된 그래프 컨볼루션 모델에 대해 훈련을 수행하여 상기 그래프 컨볼루션 분류 모델을 얻기 위한 훈련 모듈을 포함한다.

제공된 일부 실시예에서, 상기 생성 모듈은 구체적으로, 모션 시뮬레이션 플랫폼에 기반하여 복수의 객체에 대응하는 모션 모드를 설정하고; 상기 모션 모드에 기반하여 각 객체에 대응하는 위치 변화 정보를 확정하며; 상기 각 객체에 대응하는 위치 변화 정보가 나타내는 군중 행위를 확정하며; 상기 위치 변화 정보 및 상기 위치 변화 정보가 나타내는 군중 행위에 기반하여 상기 훈련 샘플을 생성한다.

본 발명에 따른 군중 행위 검출 장치의 실시예는 전자 기기에 적용될 수 있다. 이에 따라, 본 발명은 전자 기기를 개시하는 바, 당해 기기는 프로세서 및 프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리를 구비할 수 있다. 여기서, 상기 프로세서는 상기 메모리 내에 저장된 실행 가능한 명령을 호출하여, 상기 임의의 실시예에 나타낸 군중 행위 검출 방법을 실현하도록 구성된다.

도 9를 참조하면, 도 9는 본 발명에 따른 전자 기기의 하드웨어의 구조 개략도이다.

도 9에 도시된 바와 같이, 당해 전자 기기는 명령을 실행하기 위한 프로세서, 네트워크 연결을 수행하기 위한 네트워크 인터페이스, 프로세서를 위해 실행 데이터를 저장하기 위한 메모리 및 군중 행위 검출 장치에 대응하는 명령을 저장하기 위한 비휘발성 메모리를 포함할 수 있다.

여기서, 상기 장치의 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합에 의해 구현될 수 있다. 소프트웨어에 의해 구현되는 것을 예로서 취하면, 장치가 위치하는 전자 디바이스의 프로세서에 의해 비휘발성 저장 컴포넌트로부터의 대응하는 컴퓨터 프로그램 명령어들을 메모리로 판독하고 실행하는 논리 장치를 형성하는 것이다. 하드웨어 관점에서, 하나 이상의 실시예에서, 도 9에 도시된 프로세서, 메모리, 네트워크 인터페이스, 및 비휘발성 저장 컴포넌트에 더하여, 장치가 위치하는 전자 디바이스는 일반적으로 전자 디바이스의 임의의 실제 기능에 기초한 다른 하드웨어를 포함할 수 있으며, 이는 여기서 반복되지 않을 것이다. 이해할 수 있다시피, 처리 속도를 향상시키기 위하여, 군중 행위 검출 장치에 대응하는 명령도 직접 메모리에 저장할 수 있는 바, 여기서 한정하지 않는다.

본 출원은 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는 바, 휘발성 저장 매체 또는 비휘발성 저장 매체일 수 있으며, 상기 컴퓨터 프로그램은 상기 임의의 일 실시예에 기재된 군중 행위 검출 방법을 실현하도록 한다.

본 기술분야의 통상의 기술자는 본 출원의 하나 이상의 예가 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 것을 이해해야 한다. 따라서, 본 출원의 하나 이상의 예는 완전한 하드웨어 예, 완전한 소프트웨어 예, 또는 소프트웨어와 하드웨어를 조합한 예의 형태를 채택할 수 있다. 또한, 본 출원의 하나 이상의 예는 컴퓨터 사용가능 프로그램 코드들을 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체(디스크 스토리지, CD-ROM, 광학 스토리지 등을 포함할 수 있지만 이에 한정되지 않음)를 갖는 컴퓨터 프로그램 제품의 형태일 수 있다.

본 출원에서, "및/또는"은 둘 중 적어도 하나를 갖는 것을 의미한다. 예를 들어, "A 및/또는 B"는 3개의 방식: A, B, 및 "A와 B"를 포함할 수 있다.

본 출원의 다양한 예들은 점진적인 방식으로 설명되고, 다양한 예들 사이의 동일하거나 유사한 부분들은 서로 참조될 수 있고, 각각의 예는 다른 예들과의 차이점들에 초점을 맞춘다. 특히, 데이터 처리 디바이스 예에 대해서는, 기본적으로 본 방법 예와 유사하기 때문에, 설명은 비교적 간단하고, 관련 부분에 대해서는, 본 방법 예의 설명의 일부를 참조할 수 있다.

전술한 것은 본 출원의 특정 예들을 설명하였다. 다른 예들은 첨부된 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 설명된 액션들 또는 단계들은 예들에서와 상이한 순서로 수행될 수 있고, 여전히 원하는 결과들을 달성할 수 있다. 또한, 도면들에 도시된 프로세스들은 원하는 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구하지 않는다. 일부 예들에서, 멀티태스킹 및 병렬 처리가 또한 가능하거나 유리할 수 있다.

본 출원에서 설명된 주제 및 기능적 동작들의 예들은 디지털 전자 회로들, 유형 타입의 컴퓨터 소프트웨어 또는 펌웨어, 본 출원에 개시된 구조들 및 그들의 구조적 등가물들을 포함할 수 있는 컴퓨터 하드웨어, 또는 이들 중 하나 이상에서 구현될 수 있다. 본 출원에서 설명된 주제의 예들은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 디바이스에 의해 실행되거나 데이터 처리 디바이스의 동작을 제어하기 위해 타입의 비일시적 프로그램 캐리어에서 인코딩되는 컴퓨터 프로그램 명령어들 내의 하나 이상의 유닛으로서 구현될 수 있다. 대안적으로 또는 그에 부가하여, 프로그램 명령어들은 정보를 인코딩하고 이를 데이터 처리 장치에 의해 수행되도록 적당한 수신기 디바이스로 송신하기 위해 생성되는, 기계-발생 전기, 광, 또는 전자기 신호와 같은, 인위적으로 발생된 전파 신호로 인코딩될 수 있다. 컴퓨터 저장 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상의 조합일 수 있다.

본 출원에서 설명되는 처리 및 로직 흐름들은 입력 데이터에 따라 동작하고 출력을 생성함으로써 대응하는 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 컴퓨터에 의해 실행될 수 있다. 처리 및 로직 흐름은 또한 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 전용 로직 회로에 의해 실행될 수 있고, 디바이스는 또한 전용 로직 회로로서 구현될 수 있다.

컴퓨터 프로그램을 실행하기에 적합한 컴퓨터는, 예를 들어, 범용 및/또는 특수 타깃 마이크로프로세서, 또는 임의의 다른 타입의 중앙 처리 유닛을 포함할 수 있다. 일반적으로, 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 기본 컴포넌트들은 명령어들을 구현하거나 실행하기 위한 중앙 처리 유닛 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스를 포함할 수 있다. 일반적으로, 컴퓨터는 또한 자기 디스크, 광자기 디스크, 또는 광 디스크 등과 같은, 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함할 것이고, 또는 컴퓨터는 데이터를 수신하거나 데이터를 그것에 전송하거나, 또는 둘 다를 위해 이 대용량 저장 디바이스와 동작적으로 조합될 것이다. 그러나, 컴퓨터는 이러한 장비를 가질 필요는 없다. 또한, 컴퓨터는 몇 개의 예를 들자면, 휴대 전화, PDA(personal digital assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(global positioning system) 수신기, 또는 USB(universal serial bus) 플래시 드라이브와 같은 다른 디바이스에 내장될 수 있다.

컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 모든 형태의 비일시적 메모리, 매체 및 메모리 디바이스들, 예컨대 반도체 메모리 디바이스들(예를 들어, EPROM들, EEPROM들 및 플래시 메모리 디바이스들), 자기 디스크들(예를 들어, 내부 하드 디스크들 또는 이동식 디스크들), 광자기 디스크들, CD ROM들 및 DVD-ROM 디스크들을 포함할 수 있다. 프로세서 및 메모리는 전용 로직 회로에 의해 보충되거나 전용 로직 회로에 통합될 수 있다.

본 출원이 많은 특정 구현 상세들을 포함하지만, 이들은 임의의 개시된 범위 또는 청구된 범위를 제한하는 것으로 해석되어서는 안 되고, 주로 개시된 특정 예들의 특징들을 설명하기 위해 사용된다. 본 출원의 복수의 예에서 설명된 특정 특징들은 또한 단일 예에서 조합하여 구현될 수 있다. 한편, 단일 예에서 설명된 다양한 특징들은 또한 복수의 예에서 개별적으로 또는 임의의 적절한 하위-조합으로 구현될 수 있다. 또한, 특징들이 위에서 설명된 바와 같이 그리고 심지어 원래 청구된 바와 같이 특정 조합들로 기능할 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 제거될 수 있고, 청구된 조합은 하위-조합 또는 하위-조합의 변형을 지칭할 수 있다.

유사하게, 동작들이 도면들에서 특정 순서로 도시되지만, 이는 이러한 동작들이 도시된 특정 순서로 또는 순차적으로 수행될 것을 요구하거나, 모든 예시된 동작들이 원하는 결과를 달성하기 위해 수행될 것을 요구하는 것으로 해석되지 않아야 한다. 일부 경우들에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 예들에서의 다양한 시스템 유닛들 및 컴포넌트들의 분리는 모든 예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 통합되거나, 복수의 소프트웨어 제품들로 패키징될 수 있다는 것을 이해해야 한다.

따라서, 주제의 특정 예들에 대해서 설명했다. 다른 예들은 첨부된 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 언급된 액션들은 상이한 순서로 수행되고 여전히 원하는 결과들을 달성할 수 있다. 또한, 도면들에 도시된 프로세스들은 원하는 결과를 달성하기 위해 도시된 특정 순서 또는 순차적인 순서일 필요는 없다. 일부 구현들에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다.

전술한 것은 본 출원의 하나 이상의 예의 바람직한 예일 뿐이고, 본 출원의 하나 이상의 예를 한정하기 위해 사용되지 않는다. 본 출원의 하나 이상의 예의 사상 및 원리 내의 임의의 수정, 등가의 대체, 개선은 본 출원의 하나 이상의 예의 보호 범위에 포함될 것이다.

Claims (15)

1. 군중 행위 검출 방법으로서,
   복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계;
   상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션을 통해 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
2. 제1항에 있어서,
   상기 복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대해 객체 추적을 수행하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계는,
   상기 목표 이미지 시퀀스에 포함된 각각의 이미지에 대해 각각 이미지 처리를 수행하여, 상기 각각의 객체의 각 해당 이미지에서의 위치 정보를 확정하는 단계;
   상기 각각의 객체에 대해 객체 추적을 수행함으로써, 추적 결과 및 상기 위치 정보에 기반하여 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
3. 제2항에 있어서,
   상기 각각의 객체에 대해 객체 추적을 수행함으로써, 추적 결과 및 상기 위치 정보에 기반하여 상기 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하는 단계는,
   칼만 필터 알고리즘 또는 객체 검출 모델을 이용하여 상기 각각의 객체에 대해 객체 추적을 수행하는 단계;
   추적된 동일한 객체의 해당 이미지에서의 위치 정보에 기반하여 상기 각각의 객체의 위치 변화 정보를 확정하는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 얻는 단계는,
   상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지 내의 객체 위치 정보 및 상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 적어도 하나의 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 적어도 하나의 이미지에 각각 대응하는 맵 특징을 얻는 단계;
   상기 적어도 하나의 이미지에 각각 대응하는 맵 특징에 대해 시간 영역 컨볼루션 처리를 수행하고, 상기 시간 영역 컨볼루션 처리를 통해 얻은 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하는 단계 - 상기 군중 행위는 보행자 집결, 보행자 분산, 보행자 정체 및 보행자 역류 중 적어도 하나를 포함함 -;를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
5. 제4항에 있어서,
   상기 위치 변화 정보가 나타내는 상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지 내의 객체 위치 정보 및 상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여, 상기 적어도 하나의 이미지에 대해 각각 공간 그래프 컨볼루션 처리를 수행하여 적어도 하나의 이미지에 각각 대응하는 맵 특징을 얻는 단계는,
   상기 적어도 하나의 이미지 내의 객체 사이의 연결 관계에 기반하여 상기 적어도 하나의 이미지에 각각 대응하는 인접 행렬을 확정하는 단계;
   상기 객체 위치 정보에 기반하여 상기 적어도 하나의 이미지에 각각 대응하는 특징 행렬을 확정하는 단계;
   상기 인접 행렬과 상기 특징 행렬에 기반하여 상기 공간 그래프 컨볼루션 처리를 수행하여 상기 각각의 이미지에 각각 대응하는 맵 특징을 얻는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하여, 상기 목표 이미지 시퀀스에 대응하는 추출 특징을 얻는 단계 전에,
   상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계를 더 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
7. 제6항에 있어서,
   상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는,
   상기 적어도 하나의 이미지에 포함된 적어도 하나의 객체의 이미지 내에 위치한 영역에 대응하는 이미지 특징을 추출하는 것 - 상기 이미지 특징은 적어도 하나의 객체가 위치한 위치의 이미지 정보를 나타냄 -;
   적어도 하나의 객체에 대응하는 이미지 특징에 기반하여 적어도 하나의 객체 중의 임의의 두 객체 사이의 유사도를 확정하는 단계;
   제1 기설정된 임계값에 도달하지 못한 유사도에 대응하는 두 객체를 연결 관계가 있는 두 객체로 확정하는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
8. 제6항에 있어서,
   상기 목표 이미지 시퀀스에 포함된 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는,
   상기 적어도 하나의 이미지에 대해 각각 이미지 처리를 수행하여 상기 객체의 적어도 하나의 이미지에서의 위치 정보를 확정하는 단계;
   적어도 하나의 객체에 대응하는 위치 정보에 기반하여 적어도 하나의 객체 중 임의의 두 객체 사이의 거리를 확정하는 단계;
   상기 거리에 기반하여 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
9. 제8항에 있어서,
   상기 거리에 기반하여 적어도 하나의 이미지에 포함된 임의의 두 객체 사이의 연결 관계를 확정하는 단계는,
   확정된 임의의 두 객체 사이의 거리를 제3 기설정된 임계값과 제4 기설정된 임계값으로 형성된 구간 내에 매핑하는 단계;
   매핑 후의 임의의 두 객체 사이의 거리를 상기 임의의 두 객체 사이의 연결 가중치로 확정하는 단계;
   상기 임의의 두 객체 사이의 연결 가중치를 통해 상기 임의의 두 객체 사이의 연결 관계를 나타내는 단계를 포함하는
   것을 특징으로 하는 군중 행위 검출 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    그래프 컨볼루션 분류 모델을 통해 상기 그래프 컨볼루션 처리를 실현하고;
    상기 그래프 컨볼루션 분류 모델의 훈련 방법은,
    훈련 샘플을 생성하는 단계 - 상기 훈련 샘플은 복수의 객체를 포함하는 위치 변화 정보 및 상기 복수의 객체의 위치 변화 정보에 기반한 군중 행위의 라벨링 정보를 포함함 -;
    상기 위치 변화 정보 및 상기 군중 행위의 라벨링 정보에 기반하여 기설정된 그래프 컨볼루션 모델에 대해 훈련을 수행하여 상기 그래프 컨볼루션 분류 모델을 얻는 단계를 포함하는
    것을 특징으로 하는 군중 행위 검출 방법.
11. 제10항에 있어서,
    상기 훈련 샘플을 생성하는 단계는,
    모션 시뮬레이션 플랫폼에 기반하여 복수의 가상 객체에 대응하는 모션 모드를 설정하는 단계;
    상기 모션 모드에 기반하여 적어도 하나의 가상 객체에 대응하는 위치 변화 정보를 확정하는 단계;
    상기 적어도 하나의 가상 객체에 대응하는 위치 변화 정보가 나타내는 군중 행위를 확정하는 단계;
    상기 위치 변화 정보 및 상기 위치 변화 정보가 나타내는 군중 행위에 기반하여 상기 훈련 샘플을 생성하는 단계를 포함하는
    것을 특징으로 하는 군중 행위 검출 방법.
12. 군중 행위 검출 장치로서,
    복수의 객체를 포함하는 목표 이미지 시퀀스 중에 출현된 적어도 하나의 객체에 대한 객체 추적 결과에 기반하여, 각각의 객체의 상기 목표 이미지 시퀀스에서의 위치 변화 정보를 확정하기 위한 위치 변화 정보 확정 모듈;
    상기 목표 이미지 시퀀스 중에서 획득한 상기 위치 변화 정보에 기반하여 그래프 컨볼루션 처리를 수행하고, 상기 그래프 컨볼루션에 기초하여 획득한 추출 특징에 기반하여 상기 목표 이미지 시퀀스 중의 복수의 상기 객체에 대응하는 군중 행위를 확정하기 위한 군중 행위 검출 모듈을 포함하는
    것을 특징으로 하는 군중 행위 검출 장치.
13. 전자 기기로서,
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리를 구비하되;
    상기 프로세서는 상기 메모리 내에 저장된 실행 가능한 명령을 호출하여, 제1항 내지 제11항 중 어느 한 항에 따른 군중 행위 검출 방법을 실행하도록 구성된
    것을 특징으로 하는 전자 기기.
14. 컴퓨터 판독 가능 저장 매체로서,
    상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 제1항 내지 제11항 중 어느 한 항에 따른 군중 행위 검출 방법을 실행하기 위한 것인
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
15. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 제1항 내지 제11항 중 어느 한 항에 따른 군중 행위 검출 방법을 실행하도록 하는
    것을 특징으로 하는 컴퓨터 프로그램 제품.

Images