KR20220110743A - 통행 검출 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 - Google Patents

Abstract

본 발명은 통행 검출 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것으로서, 상기 통행 검출 방법은, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하는 단계; 제1 위치 정보 및 제2 위치 정보에 따라, 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하는 단계; 및 적어도 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 검출 결과를 접근 통제 시스템으로 송신하는 단계를 포함한다. 본 발명의 실시예의 통행 검출 방법에 따라, 통행될 대상이 타깃 물품을 반송하는 것이 검출될 때, 검출 결과를 생성할 수 있다. 검출 결과는 접근 통제 시스템을 통과하는 대상이 타깃 물품을 반송하는 것을 나타내기 위한 것이고, 접근 통제 시스템은 타깃 대상과 타깃 물품이 모두 통과한 다음 접근 통제 시스템을 닫을 수 있음으로써, 타깃 물품을 반송하는 대상이 통행에 실패하거나 과실 상해되는 경우를 줄일 수 있다.

Description

통행 검출 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체

관련 출원의 상호 참조

본 발명은 출원번호가 202110118334.9이고 출원일자가 2021년 01월 28일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용을 본 발명에 인용하여 참조로 한다.

본 발명은 컴퓨터 시각 기술 분야에 관한 것으로서, 특히 통행 검출 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.

접근 통제 시스템은 보통 개찰기 등 신원 확인 후 통과시키는 기기를 포함하고, 다양한 지하철, 공항, 정부 기관 등 통행 전에 신원 확인이 필요한 시나리오에 널리 적용된다. 접근 통제 시스템을 사용할 때, 통행인은 보통 개찰기 입구에 서서 확인을 수행하고, 개찰기 문이 열린 다음 한 사람이 빨리 통과하며, 통로 내의 복수 개의 센서는 통행의 상태와 적법성을 판단하여, 게이트를 닫을지 여부 및 경고 여부를 결정할 수 있다.

본 발명은 통행 검출 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다.

본 발명의 일 측면에 따라, 통행 검출 방법을 제공하고, 상기 통행 검출 방법은, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하는 단계 - 상기 검출 비디오는 통행 통로에서 촬영된 비디오임 - ; 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하는 단계; 및 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신하는 단계를 포함한다.

본 발명의 실시예의 통행 검출 방법에 따라, 통행될 대상이 타깃 물품을 반송하는 것이 검출된 경우, 검출 결과를 생성할 수 있다. 상기 검출 결과는 접근 통제 시스템을 통과하고 있는 대상이 타깃 물품을 반송하는 것을 나타내기 위한 것이고, 접근 통제 시스템은 타깃 대상과 이에 반송되는 타깃 물품이 모두 통행 통로를 통과한 다음 접근 통제 시스템을 닫을 수 있음으로써, 타깃 물품을 반송하는 대상이 통행 실패 또는 과실 상해되는 경우를 줄일 수 있다. 또한, 이미지 획득 컴포넌트를 통해 통행 통로의 검출 비디오를 획득하고, 검출 비디오에 대해 처리하여, 검출 결과를 생성함으로써, 접근 통제 시스템의 센서에 크게 의존하지 않을 수 있어서, 접근 통제 시스템 센서의 수량을 줄여, 센서가 차지하는 공간을 줄일 수 있으며, 통행될 대상의 통행 상태를 판단하는 정확성을 향상시킬 수 있다.

이러한 가능한 구현 형태에 있어서, 상기 통행 검출 방법은, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 더 포함하고; 여기서, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는, 상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함한다.

이러한 가능한 구현 형태에 있어서, 상기 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고, 여기서, 상기 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보를 획득하는 단계는, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하는 단계를 포함한다.

이러한 형태를 통해, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 통해 대상이 기설정 위치에 도달하고 검증이 접수되었는지 여부를 정확히 판단하여, 위치 결정의 정확성을 향상시킬 수 있다. 타깃 대상 검증이 통과된 다음 검출 결과를 생성하여, 접근 통제 시스템에 타깃 대상과 타깃 물품이 모두 통과한 다음 닫히도록 프롬프트함으로써, 통과에 실패하는 가능성을 줄일 수 있다.

이러한 가능한 구현 형태에 있어서, 상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함하고, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계는, 비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하는 단계; 및 상기 타깃 대상의 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 포함한다.

이러한 가능한 구현 형태에 있어서, 상기 통행 검출 방법은, 상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하는 단계; 및 상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 저장하는 단계를 더 포함한다.

이런 형태를 통해, 규정 위반 행위에 대해 조사하고, 접근 통제 관리에 근거를 제공하도록, 대상이 접근 통제 시스템에 돌입할 때 규정 위반 행위가 검출되고, 규정 위반 행위의 비디오 기록을 저장할 수 있다.

이러한 가능한 구현 형태에 있어서, 상기 제1 위치 정보는 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함하고, 상기 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함하며, 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하는 단계는, 제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정하는 단계 - 상기 제1 대상은 어느 한 대상임 - 를 포함한다.

이러한 가능한 구현 형태에 있어서, 상기 통행 검출 방법은, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 더 포함한다.

이러한 가능한 구현 형태에 있어서, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계는, 상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 포함한다.

본 발명의 일 측면에 따라, 통행 검출 장치를 제공하고, 상기 통행 검출 장치는 이미지 획득 컴포넌트 및 처리 컴포넌트를 포함하며, 상기 이미지 획득 컴포넌트는, 통행 통로의 검출 비디오를 획득하도록 구성되고; 상기 처리 컴포넌트는, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하며, 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하고, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신하도록 구성된다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트는 또한, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성되고; 여기서, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는, 상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함한다.

가능한 구현 형태에 있어서, 상기 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고, 여기서, 상기 처리 컴포넌트는 구체적으로, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하도록 구성된다.

가능한 구현 형태에 있어서, 상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함한다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트는 또한, 비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하고; 상기 타깃 대상의 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성된다.

가능한 구현 형태에 있어서, 상기 통행 검출 장치는 저장 컴포넌트를 더 포함하고, 상기 처리 컴포넌트는 또한 상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하고; 상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 상기 저장 컴포넌트에 저장하도록 구성된다.

가능한 구현 형태에 있어서, 상기 제1 위치 정보는 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함하고, 상기 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함하며, 상기 처리 컴포넌트는 또한, 제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정 - 상기 제1 대상은 어느 한 대상임 - 하도록 구성된다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트는 또한, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하기 위한 것이다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트는 또한, 상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하도록 구성된다.

본 발명의 일 측면에 따라, 전자 기기를 제공하고, 상기 전자 기기는,

프로세서; 및

프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;

여기서, 상기 프로세서는 상기 통행 검출 방법을 수행하도록 구성된다.

본 발명의 일 측면에 따라, 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 수행될 때 상기 통행 검출 방법을 구현한다.

본 발명의 일 측면에 따라, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 상기 통행 검출 방법을 구현한다.

이해해야 할 것은, 이상의 일반적인 설명 및 아래의 세부적인 설명은 단지 예시적 및 해석적인 것일 뿐, 본 발명을 한정하는 것은 아니다.

아래 참조 도면이 예시적 실시예에 대한 상세한 설명에 따라, 본 발명의 다른 특징 및 측면은 명확해진다.

여기서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술 방안을 설명하기 위한 것이다.
도 1a는 본 발명의 실시예에 따라 도시된 전자 기기의 응용 시나리오 예시도 1이다.
도 1b는 본 발명의 실시예에 따라 도시된 전자 기기의 응용 시나리오 예시도 2이다.
도 2는 본 발명의 실시예에 따른 통행 검출 방법을 도시하는 흐름도 1이다.
도 3은 본 발명의 실시예에 따른 타깃 검출 네트워크를 도시하는 예시도이다.
도 4는 본 발명의 실시예에 따른 동작 인식 네트워크를 도시하는 예시도이다.
도 5는 본 발명의 실시예에 따른 통행 검출 방법을 도시하는 응용 예시도이다.
도 6은 본 발명의 실시예에 따른 통행 검출 방법을 도시하는 흐름도 2이다.
도 7은 본 발명의 실시예에 따른 통행 검출 장치를 도시하는 블록도이다.
도 8은 본 발명의 실시예에 따른 전자 기기를 도시하는 블록도 1이다.
도 9는 본 발명의 실시예에 따른 전자 기기를 도시하는 블록도 2이다.

아래에 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 비록 실시예의 다양한 측면이 도면에서 도시되었지만, 특별히 지적하지 않는 한, 비례대로 제도될 필요는 없다.

여기서 전문적으로 사용되는 "예시적"이란 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 실시예보다 더 우수하거나 좋은 것으로 해석될 필요는 없다.

본 명세서에서 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하는 것이고, 세 가지 관계가 존재할 수 있음을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낼 수 있다. 또한, 본문에서 용어 "적어도 하나"는 복수에서의 어느 하나 또는 복수에서의 적어도 두 개 중의 어느 하나의 조합을 나타내고, 예를 들어, A, B, C에서의 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 더욱 잘 설명하기 위해, 아래의 구체적 실시 형태에서 수많은 구체적 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적 세부 사항이 없더라도, 본 발명은 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 실제의 예에 있어서, 본 발명의 요지가 부각되도록 본 분야의 기술자들이 익숙한 방법, 수단, 구성 요소 및 회로에 대해서는 상세한 설명을 하지 않는다.

본 발명의 실시예에서 제공하는 통행 검출 방법의 실행 주체는 전자 기기일 수 있고, 전자 기기에서의 처리 컴포넌트라고 이해할 수도 있다.

가능한 구현 형태에 있어서, 도 1a에 도시된 전자 기기 응용 시나리오 예시도 1을 참조하면, 전자 기기(10)의 내부에는 처리 컴포넌트(11) 및 이미지 획득 컴포넌트(12)가 포함될 수 있다. 전자 기기(10)는 통행 통로에 설치될 수 있고, 전자 기기(10)는 이미지 획득 컴포넌트(12)를 통해 통행 통로의 검출 비디오를 실시간으로 수집하여, 처리 컴포넌트(11)를 통해 검출 비디오에 대해 검출 처리를 수행함으로써, 검출 결과를 생성할 수 있다. 이렇게, 처리 컴포넌트(11)는 검출 결과를 얻은 다음, 검출 결과를 통행 통로의 접근 통제 시스템(20)에 전송할 수 있다.

설명해야 할 것은, 전자 기기(10)는 유선 또는 무선의 형태를 통해 접근 통제 시스템(20)과 연결될 수 있다. 예시적으로, 전자 기기(10)는 무선 WiFi 네트워크를 통해 접근 통제 시스템(20)과 연결될 수 있고, 전자 기기는 전송선을 통해 접근 통제 시스템과 연결될 수도 있으며, 본 발명의 실시예는 전자 기기(10)와 접근 통제 시스템(20)의 연결 형태에 대해 한정하지 않는다.

다른 가능한 구현 형태에 있어서, 도 1b에 도시된 전자 기기 응용 시나리오 예시도 2를 참조하면, 전자 기기(10)에는 단지 처리 컴포넌트(11)만 포함될 수 있다. 전자 기기(10)는 이미지 획득 컴포넌트가 포함된 이미지 수집 기기(30)와 연결될 수 있고, 예시적으로, 전자 기기(10)는 USB 인터페이스, WiFi 네트워크를 통해 이미지 수집 기기(30)와 연결될 수 있으며, 본 발명의 실시예는 연결 형태에 대해 한정하지 않는다. 상기 이미지 수집 기기(30)는 통행 통로에 설치되어, 통행 통로의 검출 비디오를 수집하기 위한 것일 수 있다.

상기 시나리오에 있어서, 전자 기기(10)의 처리 컴포넌트(11)는 단독적인 이미지 수집 기기(30)가 네트워크를 통해 전송한 검출 비디오를 수신할 수 있고, 전자 기기(10)의 처리 컴포넌트(11)는 수신된 검출 비디오에 대해 분석 처리를 수행하여, 검출 결과를 생성할 수 있다. 이렇게, 전자 기기(10)의 처리 컴포넌트(11)는 검출 결과를 네트워크를 통해 통행 통로의 접근 통제 시스템(20)으로 송신할 수 있다.

도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 통행 검출 방법을 도시하는 흐름도이고, 도 2에 도시된 바와 같이 상기 통행 검출 방법은 하기 단계를 포함한다.

단계 S11에 있어서, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득 - 상기 검출 비디오는 통행 통로에서 촬영된 비디오임 - 한다.

단계 S12에 있어서, 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상에서, 상기 타깃 물품과 매칭되는 타깃 대상을 결정한다.

단계 S13에 있어서, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신한다.

본 발명의 실시예의 통행 검출 방법에 따라, 통행될 대상이 타깃 물품을 반송하는 것이 검출된 경우, 검출 결과를 생성할 수 있다. 상기 검출 결과는 접근 통제 시스템을 통과하고 있는 대상이 타깃 물품을 반송하는 것을 나타내기 위한 것이고, 접근 통제 시스템은 타깃 대상과 이에 반송되는 타깃 물품이 모두 통행 통로를 통과한 다음 접근 통제 시스템을 닫을 수 있음으로써, 타깃 물품을 반송하는 대상이 통행 실패 또는 과실 상해되는 경우를 줄일 수 있다. 또한, 전자 기기는 통행 통로의 검출 비디오를 획득하고, 검출 비디오에 대해 처리하여, 검출 결과를 생성함으로써, 접근 통제 시스템의 센서에 크게 의존하지 않을 수 있어서, 접근 통제 시스템 센서의 수량을 줄여, 센서가 차지하는 공간을 줄일 수 있으며, 통행될 대상의 통행 상태를 판단하는 정확성을 향상시킬 수 있다.

가능한 구현 형태에 있어서, 상기 통행될 대상에서의 일부 또는 전부는 특정된 물품을 반송하거나 또는 특정된 물품을 탑승할 수 있고, 예를 들어, 일부 대상은 유모차, 캐리어 등을 반송할 수 있으며, 또는, 일부 대상은 휠체어 등을 탑승할 수 있다. 이러한 물품은 체적이 비교적 커서, 접근 통제 시스템의 판단 오류가 발생되기 쉽고, 예를 들어, 접근 통제 시스템(예를 들어 개찰기 등)이 닫히는 속도가 비교적 빨라서, 대상 통행 실패를 초래한다. 예를 들어, 대상은 통과했지만, 물품이 통과하지 못했을 때 개찰기가 닫힘으로써, 물품이 통과할 수 없거나, 물품은 통과했지만 대상이 통과하지 못한 경우이다.

가능한 구현 형태에 있어서, 상기 문제를 대상으로 하여, 유모차, 캐리어 등 물품을 반송하는 사람이 통과할 때, 접근 통제 시스템에 예를 들어, 현재 통과 중인 타깃은 두 개이고(즉, 사람 및 물품 두 개의 타깃), 두 개의 타깃이 모두 통과한 다음 닫을 수 있는 것과 같은 것을 프롬프트 할 수 있다.

가능한 구현 형태에 있어서, 상기 검출 비디오는 카메라 등 이미지 획득 컴포넌트를 통해 촬영될 수 있고, 상기 검출 비디오는 통행 통로에서 촬영된 비디오이다. 예시에 있어서, 상기 카메라는 접근 통제 시스템의 위쪽에 설치될 수 있어서, 내려다보는 각도로 상기 검출 비디오를 촬영할 수 있고, 검출 비디오에 있어서, 하나 또는 복수 개의 통행될 대상을 촬영할 수 있으며, 만약 특정된 대상이 캐리어, 유모차 등 타깃 물품을 반송하면, 검출 비디오에서 상기 타깃 물품을 촬영할 수 있다. 처리 컴포넌트는 검출 비디오를 수신하고, 비디오 프레임에 대해 검출 처리를 수행할 수 있으며, 매칭을 통해 타깃 물품을 반송하는 타깃 대상을 결정하고, 타깃 대상이 접근 통제 시스템을 통과할 때, 검출 결과를 생성하여 접근 통제 시스템으로 송신함으로써, 접근 통제 시스템으로 하여금 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫히도록 할 수도 있다.

처리 컴포넌트는 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 결정할 수 있고, 타깃 물품과 매칭되는 타깃 대상을 결정하는 것 수 있으며, 즉 복수 개의 대상에서 타깃 물품을 반송하는 타깃 대상을 결정함으로써, 타깃 대상이 타깃 물품을 반송하여 통행 통로를 통과할 때 검출 결과를 생성하여 접근 통제 시스템으로 송신함으로써, 접근 통제 시스템으로 하여금 타깃 대상과 타깃 물품이 모두 통과한 다음 닫히도록 하여, 통행 실패 및 과실 상해되는 경우의 발생 확률을 줄일 수 있도록 한다.

가능한 구현 형태에 있어서, 처리 컴포넌트는 검출 비디오에 대해 프레임별 검출 또는 프레임 추출 검출을 수행할 수 있다. 예시에 있어서, 처리 자원을 절약하기 위해, 프레임 추출 검출의 형태를 선택할 수 있고, 예를 들어, 2초마다 검출 비디오에 대해 한 번의 프레임 추출 및 검출을 수행할 수 있으며, 본 발명은 프레임 추출의 시간 간격에 대해 한정하지 않는다.

예시에 있어서, 신경 네트워크를 통해 비디오 프레임에 대해 검출을 수행할 수 있고, 예를 들어, 단일 단계의 타깃 검출 네트워크(예를 들어 RetinaNet)를 사용하여 비디오 프레임에서의 대상 및 타깃 물품을 검출할 수 있으며, 예를 들어, 비디오 프레임에서의 대상 및 특정 카테고리의 타깃 물품을 인식하고, 대상이 위치하는 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 결정할 수 있다. 본 발명은 타깃 검출 네트워크의 타입에 대해 한정하지 않는다.

도 3은 본 발명의 실시예에 따른 타깃 검출 네트워크를 도시하는 예시도이고, 도 3에 도시된 바와 같이, RetinaNet를 사용하는 경우, 타깃 검출 네트워크는 특징 추출 네트워크를 포함할 수 있으며, 다중 계층적 특징 추출 네트워크를 통해 비디오 프레임에 대해 특징 추출을 수행할 수 있고, 예를 들어, 특징 추출 네트워크는 MobileNetV2 특징 추출 네트워크일 수 있으며, 상기 특징 추출 네트워크는 경량화된 다중 계층 특징 추출 네트워크이고, 특징 추출 네트워크는 다른 타입을 사용할 수도 있으며, 본 발명은 특징 추출 네트워크의 타입에 대해 한정하지 않는다.

나아가, 특징 추출 네트워크의 각 계층에 의해 추출된 특징을 특징 피라미드의 각 계층에 각각 입력할 수 있고, 예시에 있어서, 특징 피라미드는 4 개의 계층을 포함할 수 있으며, 각 계층은 3 개의 특징 앵커를 포함할 수 있고, 본 발명은 계층 수량과 앵커 수량의 설정에 대해 한정하지 않는다. 예시에 있어서, 특징 피라미드의 각 계층은 모두 두 개의 서브 네트워크를 포함할 수 있고, 하나의 서브 네트워크는 예를 들어, 비디오 프레임에서의 각 대상 및 특정 카테고리의 타깃 물품을 인식할 수 있는 비디오 프레임에서 각 타깃의 카테고리에 대해 인식을 수행하기 위한 카테고리 서브 네트워크이며; 다른 서브 네트워크는 대상 및 타깃 물품의 위치를 판단할 수 있고, 대상 및 타깃 물품을 선택하는 선택 박스를 생성할 수 있는 위치 서브 네트워크이다. 선택 대상의 선택 박스의 위치 정보는 즉 상기 제1 위치 정보이고, 타깃 물품을 선택하는 선택 박스의 위치 정보는 즉 상기 제2 위치 정보이다. 본 발명은 타깃 검출 네트워크의 구조 및 파라미터 설정에 대해 한정하지 않는다.

예시에 있어서, 상기 제1 위치 정보는 상기 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보 및 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함할 수 있고, 여기서, 제1 선택 박스의 위치 정보는 각 대상에 대해 운동 궤적의 추적을 수행하기 위한 것이며, 단계 S11은, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하는 단계를 포함할 수 있다. 예를 들어, 제1 선택 박스의 위치 정보를 통해 대상의 위치 정보를 나타낼 수 있다. 제1 선택 박스의 위치 정보를 사용하여 각 대상의 위치에 대해 추적을 수행할 수 있다.

예시에 있어서, 제2 선택 박스의 위치 정보는 타깃 물품의 제2 위치 정보와 매칭을 수행하여, 타깃 물품과 매칭되는 타깃 대상을 결정하는 것, 즉 복수 개의 대상에서, 타깃 물품을 반송하는 대상을 선택하기 위한 것일 수 있다.

가능한 구현 형태에 있어서, 특정된 비디오 프레임에서 하나 또는 복수 개의 대상이 검출될 수 있고, 여기서 일부 또는 전부 대상이 타깃 물품을 반송할 수 있다. 타깃 물품을 반송하는 타깃 대상을 결정하여, 타깃 대상이 통행 통로의 접근 통제 시스템을 통과할 준비할 때, 검출 결과를 생성할 수 있고, 상기 검출 결과는 상기 대상은 타깃 물품(예를 들어, 캐리어, 유모차 등)을 반송하는 타깃 대상인 것을 나타내기 위한 것이며, 상기 접근 통제 시스템은 상기 검출 결과를 수신하고, 타깃 대상 및 타깃 물품이 모두 접근 통제 시스템을 통과한 다음 닫힘으로써, 통행 실패의 발생 확률을 줄일 수 있다.

가능한 구현 형태에 있어서, 상술한 바와 같이, 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보와 타깃 물품의 제2 위치 정보를 통해 매칭을 수행할 수 있다. 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함할 수 있고, 단계 S12는, 제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정하는 단계 - 상기 제1 대상은 어느 한 대상임 - 를 포함할 수 있다.

예시에 있어서, 제3 선택 박스와 비디오 프레임에서 각 대상의 교집합 대 합집합 비율을 구하는 것을 통해 타깃 물품과 매칭되는 타깃 대상을 결정할 수 있다. 예를 들어, 특정된 대상은 캐리어, 유모차 등 큰 물품을 반송할 수 있고, 이러한 큰 물품은 휴대자의 신체 부위와 가까운 바닥 즉 곁에 놓을 수 있다. 따라서, 휴대자의 신체 부위를 선택하는 제2 선택 박스와 타깃 물품을 선택하는 제3 선택 박스는 비디오 프레임에서 오버랩이 존재할 수 있다. 또한, 타깃 물품은 보통 휴대자 근처에 놓여있고, 다른 사람과 상대적으로 거리가 비교적 멀기에, 따라서, 타깃 물품을 선택하는 제3 선택 박스와 다른 사람의 신체 부위를 선택하는 제2 선택 박스는 보통 오버랩이 없거나 오버랩 부분이 비교적 작다. 따라서, 휴대자의 제2 선택 박스와 제3 선택 박스 사이의 오버랩 부분을 통해 타깃 물품과 매칭되는 타깃 대상을 결정할 수 있다.

예시에 있어서, 제2 선택 박스와 제3 선택 박스 사이의 교집합 대 합집합 비율을 통해 오버랩 부분의 크기를 나타낼 수 있다. 즉, 제2 선택 박스와 제3 선택 박스의 교집합 대 합집합 비율이 비교적 클 때, 오버랩 부분이 비교적 크고, 제2 선택 박스와 제3 선택 박스의 교집합 대 합집합 비율이 비교적 작을 때, 오버랩 부분이 비교적 작으며, 제2 선택 박스와 제3 선택 박스의 교집합 대 합집합 비율이 0일 때, 제2 선택 박스와 제3 선택 박스는 오버랩 부분이 없다. 교집합 대 합집합 비율의 제2 임계값을 설정할 수 있고, 비디오 프레임의 하나 또는 복수 개의 대상의 제2 선택 박스에서, 제3 선택 박스와의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 제2 선택 박스를 결정하며, 상기 선택 박스를 타깃 대상의 제2 선택 박스로 결정할 수 있고, 즉 상기 제2 선택 박스에 의해 선택된 신체 부위는 즉 타깃 대상의 신체 부위이고, 상기 타깃 대상은 즉 상기 타깃 물품과 매칭되는 대상이다. 상기 형태를 통해, 비디오 프레임에서 검출된 각 타깃 물품이 매칭되는 타깃 대상을 결정할 수 있다.

이러한 방법을 통해, 신체 부위를 선택하는 제2 선택 박스와 타깃 물품을 선택하는 제3 선택 박스 사이의 교집합 대 합집합 비율을 통해 타깃 물품과 매칭되는 타깃 대상을 결정하고, 즉 타깃 물품의 휴대자를 정확하게 결정함으로써, 휴대자가 접근 통제 시스템을 통과할 때 검출 결과를 생성하여, 통과 실패의 확률을 낮출 수 있다.

가능한 구현 형태에 있어서, 타깃 물품 및 대상이 검출되고, 타깃 물품과 매칭되는 타깃 대상(즉 휴대자)을 결정한 다음, 각 대상(타깃 대상을 포함)에 대해 궤적 추적을 수행할 수 있으며, 즉 복수 개의 비디오 프레임에서 동일한 대상 및 타깃 물품의 위치 정보 중 적어도 하나를 결정하고, 타깃 물품을 반송하지 않은 대상이 접근 통제 시스템을 통과할 때 정상적으로 검증하며 통과시키고, 타깃 물품을 반송하는 타깃 대상이 접근 통제 시스템을 통과할 때 검증을 수행하여 검출 결과를 생성함으로써, 접근 통제 시스템에 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫히도록 프롬프트 한다.

예시에 있어서, 궤적 추적 과정에 있어서, 검출 비디오에는 복수 개의 대상 및 복수 개의 타깃 물품이 포함될 수 있고, 복수 개의 대상 및 타깃 물품의 운동 궤적에 대해 각각 추적을 수행할 수 있다. 예시에 있어서, 이분 그래프 매칭과 칼만 필터의 다중 타깃 추적 방법을 사용하여, 복수 개의 대상 및 타깃 물품의 위치를 동시에 추적할 수 있다. 예를 들어, 처리 컴포넌트에 의해 처리된 인접한 비디오 프레임(만약 처리 컴포넌트가 검출 비디오에 대해 프레임별 처리하면, 처리된 인접한 비디오 프레임은 즉 검출 비디오의 인접한 비디오 프레임이고; 만약 처리 컴포넌트가 검출 비디오에 대해 프레임 추출 처리하면, 처리된 인접한 비디오 프레임은 즉 추출된 인접한 비디오 프레임이다)에서 대상 및 타깃 물품의 위치 정보 중 적어도 하나 즉 선택 박스를 결정하고, 대상 및 타깃 물품 중 적어도 하나의 매칭을 수행할 수 있으며, 즉 인접한 비디오 프레임에서 선택 박스에 의해 선택된 것은 동일한 대상 및 타깃 물품 중 적어도 하나인 것을 결정한다.

예시에 있어서, 교집합 대 합집합 비율의 형태를 통해 인접한 비디오 프레임에서 선택 박스에 의해 선택된 것은 동일한 대상 및 타깃 물품 중 적어도 하나인 것을 결정할 수 있고, 예를 들어, 특정된 비디오 프레임에 있어서, 타깃 물품을 선택하는 선택 박스는 영역 A에 위치하며, 인접한 비디오 프레임에 있어서, 특정된 타깃 물품의 선택 박스는 영역 B에 위치하고, 만약 영역 A 및 영역 B 사이의 교집합 대 합집합 비율이 기설정된 임계값에 도달하면, 인접한 두 개의 비디오 프레임에서 선택한 것은 동일한 타깃 물품인 것을 결정할 수 있다.

나아가, 타깃 물품이 인접한 두 개의 비디오 프레임에서의 위치를 결정한 다음, 각 타깃 물품 및 대상 중 적어도 하나가 다음 비디오 프레임에서의 위치를 예측할 수 있고, 예를 들어, 칼만 필터 알고리즘을 통해 각 타깃 물품 및 대상 중 적어도 하나가 다음 비디오 프레임에서의 위치를 예측할 수 있으며, 예를 들어, 만약 예측 위치와 실제 위치의 교집합 대 합집합 비율이 예측 임계값보다 크거나 같으면, 인접한 두 개의 비디오 프레임에서 선택한 것은 동일한 대상 및 타깃 물품 중 적어도 하나인 것을 결정할 수 있고, 만약 교집합 대 합집합 비율이 예측 임계값에 도달하지 못하면, 선택한 것은 동일한 대상 및 타깃 물품 중 적어도 하나가 아닐 수 있으며, 이것은 특정된 대상이 줄을 서는 대열에서 이탈되었기 때문일 수 있다. 상기 형태를 통해 비디오에서의 하나 또는 복수 개의 타깃 물품 및 대상 중 적어도 하나를 추적 검출할 수 있다.

가능한 구현 형태에 있어서, 상기 형태를 통해, 각 대상의 위치 및 운동 궤적을 결정하고, 대상이 기설정 위치(예를 들어, 접근 통제 시스템 이전)에 도달했을 때 접근 통제 시스템의 검증 정보를 수신할 수 있다. 예시에 있어서, 대상이 타깃 물품 반송 여부에 관계없이, 접근 통제 시스템을 통과할 때 모두 검증이 필요하고, 예를 들어, 카드 찍기, 코드 찍기, 얼굴 인식, 지문 인식, 홍채 인식 등 형태를 통해 검증을 수행할 수 있으며, 접근 통제 시스템은 검증 통과의 경우에 개찰기를 열어 통과시키고, 만약 검증에 실패하면, 개찰기를 열지 않으며, 검증에 통과되지 않은 대상이 통행하는 것을 제지할 수 있다.

나아가, 상기 통행 검출 방법은, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 더 포함하고; 여기서, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는, 상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함한다. 즉 만약 기설정 위치에 도달한 것이 타깃 대상인 것을 결정하면, 접근 통제 시스템은 마찬가지로 타깃 대상에 대해 검증을 수행하고, 만약 검증에 통과되면, 즉 타깃 대상을 통과시킬 수 있다. 이런 경우에 있어서, 상기 검출 결과를 생성함으로써, 접근 통제 시스템에 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫히도록 프롬프트 한다.

예시에 있어서, 대상이 기설정 위치에 도달했는지 여부를 결정할 때, 대상의 제1 위치 정보를 통해 결정할 수 있다. 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고, 즉 만약 제1 선택 박스가 위치하는 위치가 기설정 위치 내(예를 들어, 접근 통제 시스템 앞의 기설정 영역)에 있거나, 기설정 위치와 비교적 많은 오버랩 영역이 있으면, 대상이 기설정 영역에 도달한 것을 결정할 수 있다.

마찬가지로, 타깃 위치 정보는 즉 타깃 대상의 제1 위치 정보이고, 타깃 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하며, 상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함하고, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계는, 비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하는 단계; 및 상기 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 포함한다. 즉 복수 개의 대상의 위치 정보를 동시에 추적하고, 대상이 타깃 위치에 도달했을 때 접근 통제 시스템의 검증 정보를 수신하는 것을 결정할 수 있으며, 상기 대상은 타깃 물품을 반송하는 타깃 대상일 수 있다. 타깃 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 사용할 수 있고, 제1 선택 박스가 접근 통제 시스템 외의 기설정 영역 내에 있거나 기설정 영역과 비교적 많은 오버랩이 있을 때(교집합 대 합집합 비율이 제1 임계값보다 크거나 같음), 타깃 대상이 기설정 위치에 도달하여, 접근 통제 시스템의 검증을 접수하는 것을 결정할 수 있다. 만약 검증이 통과되면, 검출 결과를 생성할 수 있다.

이러한 형태를 통해, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 통해 대상이 기설정 위치에 도달하고 검증이 접수되었는지 여부를 정확히 판단하여, 위치 결정의 정확성을 향상시킬 수 있다. 타깃 대상 검증이 통과된 다음 검출 결과를 생성하여, 접근 통제 시스템에 타깃 대상과 타깃 물품이 모두 통과한 다음 닫히도록 프롬프트함으로써, 통과에 실패하는 가능성을 줄일 수 있다.

가능한 구현 형태에 있어서, 상기 통행 검출 방법은, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 더 포함한다. 예시에 있어서, 만약 접근 통제 시스템이 통과될 대상에 대한 검증이 통과되면, 접근 통제 시스템(예를 들어, 개찰기 )을 열어 통과시킬 수 있고, 대상이 통과된 다음, 처리 컴포넌트는 통과 기록을 생성할 수 있으며, 예를 들어, 쉬운 조회를 위해 통과된 대상의 특징 정보를 넘버링하고(예를 들어, 대상의 머리 어깨 부위 특징 정보와 일대일로 대응되는 코드), 특징 정보 및 코드를 데이터베이스에 저장할 수 있다.

다른 예시에 있어서, 타깃 대상의 특징 정보에 기반하고, 시간을 통해 통과 기록을 생성하고, 데이터베이스에 저장할 수도 있으며, 본 발명은 통과 기록에 포함된 내용에 대해 한정하지 않는다. 예시에 있어서, 상기 처리 컴포넌트는 저장 컴포넌트와 연결될 수 있고, 상기 데이터베이스는 저장 컴포넌트에 설치되어, 통과 기록을 저장하기 위한 것일 수 있다.

가능한 구현 형태에 있어서, 만약 접근 통제 시스템을 통과하는 대상이 타깃 물품을 반송하는 타깃 대상이면, 접근 통제 시스템은 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫을 수 있고, 타깃 대상 및 타깃 물품이 모두 통과한 다음 통과 기록을 생성할 수 있다. 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계는, 상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 포함한다. 즉 처리 컴포넌트는 타깃 대상 및 타깃 물품이 모두 통행 통로의 접근 통제 시스템을 통과하는 것을 추가로 결정할 수 있고, 즉 통행 실패가 존재하지 않는 경우, 다시 통과 기록을 생성한다.

가능한 구현 형태에 있어서, 위에서 검증에 통과되는 경우를 소개하였지만, 검증에 통과되지 않는 경우도 존재할 수 있고, 만약 특정된 대상이 검증에 통과되지 못한 경우에 접근 통제 시스템에 강제로 돌입하거나, 검증을 거치지 않고 접근 통제 시스템에 강제로 돌입하는 것은 모두 규정 위반 행위로 간주될 수 있다. 상기 규정 위반 행위 외에, 처리 컴포넌트는 다른 기설정 행위에 대해 인식 및 기록을 수행할 수 있다. 예를 들어, 만약 특정된 대상이 위험 물품을 반송하는 것이 인식되면, 상기 행위는 기설정 행위에 속하는 것으로 간주되고, 상기 행위에 대해 기록을 수행할 수 있다. 상기 시스템은 저장 컴포넌트를 더 포함하고, 검출 비디오의 비디오 클립을 저장하기 위한 것이며, 상기 통행 검출 방법은, 상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하는 단계; 및 상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 저장하는 단계를 더 포함한다.

예시에 있어서, 대상이 기설정 위치에 도달한 다음, 접근 통제 시스템은 상기 대상에 대해 검증을 수행할 수 있고, 만약 상기 대상이 검증을 거치지 않고 접근 통제 시스템에 돌입하거나 검증에 통과되지 못한 경우에 여전히 접근 통제 시스템에 돌입하면, 처리 컴포넌트는 상기 행위를 기설정 행위(규정 위반 행위)로 결정할 수 있다.

예시에 있어서, 동작 인식 네트워크를 통해 기설정 행위를 결정할 수 있고, 예를 들어, 검증에 통과되지 못한 경우, 만약 대상의 접근 통제 시스템에 돌입하는 행위가 검출되면, 상기 행위를 기설정 행위로 결정한다. 예를 들어, 기설정 행위에는 접근 통제 시스템의 개찰기를 뛰어넘거나 접근 통제 시스템의 개찰기를 빠져나가는 등 행위가 포함될 수 있고, 본 발명은 기설정 행위의 카테고리에 대해 한정하지 않는다.

도 4는 본 발명의 실시예에 따른 동작 인식 네트워크를 도시하는 예시도이다. 동작 인식 네트워크 검출 비디오에 대해 프레임별로 인식 처리를 수행할 수 있고, 검출 비디오에 대해 프레임 추출을 수행한 다음, 샘플링된 비디오 프레임에 대해 인식 처리를 수행할 수도 있으며, 본 발명은 동작 인식 네트워크에 의해 처리된 비디오 프레임의 수량에 대해 한정하지 않는다. 예시에 있어서, 처리 효율을 향상시키고, 연산 자원 소모를 줄이기 위해, 검출 비디오에 대해 프레임 추출 처리를 수행할 수 있고, 예를 들어, 대상이 검증에 통과되지 못한 것을 결정하는 시각과 대상이 접근 통제 시스템에 돌입하는 시각 사이의 비디오에서 프레임 추출을 수행할 수 있으며, 예를 들어, 8 개의 비디오 프레임을 추출할 수 있거나, 2초마다 하나의 비디오 프레임을 추출할 수 있고, 본 발명은 프레임 추출의 형태에 대해 한정하지 않는다.

예시에 있어서, 동작 인식 네트워크는 추출된 비디오 프레임에 대해 동작 인식 처리를 수행할 수 있고, 예를 들어, 추출된 복수 개의 비디오 프레임에 대해 특징 추출 처리를 수행할 수 있으며, 예를 들어, MobileNetV2 특징 추출 네트워크를 통해 특징 추출 처리를 수행하여, 각 비디오 프레임의 특징 이미지를 획득할 수 있다. 나아가, 동작 인식 네트워크를 통해 각 비디오 프레임의 특징 이미지에 대해 시공간 모델링을 수행하여, 비디오 프레임에서 대상의 동작 타입을 결정할 수 있다. 만약 상기 동작 타입은 규정 위반 행위인 것을 결정하면, 대상이 규정 위반 행위(예를 들어, 접근 통제에 돌입하는 행위) 수행 중인 것을 결정할 수 있다.

예시에 있어서, 이러한 경우에, 처리 컴포넌트는 기설정 행위가 발생된 비디오 클립을 저장할 수 있다. 예를 들어, 상기 저장 컴포넌트에 저장될 수 있다. 예시에 있어서, 동작 인식 처리를 수행할 때 추출된 비디오 프레임을 저장할 수 있거나, 대상이 검증에 통과되지 못한 것을 수신하는 시각과 대상이 접근 통제 시스템을 통과하는 시각 사이의 비디오 클립을 저장할 수 있고, 만약 대상이 검증을 수행하지 않고 접근 통제 시스템에 강제로 돌입하면, 상기 대상의 기설정 행위가 검출된 시각과 상기 대상이 접근 통제 시스템에 돌입하는 시각 사이의 비디오 클립을 저장할 수 있다.

이런 형태를 통해, 규정 위반 행위에 대해 조사하고, 접근 통제 관리에 근거를 제공하도록, 대상이 접근 통제 시스템에 돌입할 때 규정 위반 행위가 검출되고, 규정 위반 행위의 비디오 기록을 저장할 수 있다.

도 5는 본 발명의 실시예에 따른 통행 검출 방법을 도시하는 응용 예시도이고, 도 5에 도시된 바와 같이, 통행 통로의 접근 통제 시스템 앞에는 복수 개의 대상이 줄을 서서 통행 통로를 통과하기를 기다리고 있고, 여기서, 일부 대상은 캐리어 등 타깃 물품을 반송하였다.

도 6에 도시된 흐름 예시도를 참조하면, 도 5에 도시된 응용 시나리오에 있어서, 본 발명의 실시예가 제공하는 통행 검출 방법은 하기 단계를 포함할 수 있다.

단계 1에 있어서, 검출 비디오를 획득한다.

도 5에 도시된 바를 참조하면, 처리 컴포넌트는 카메라를 통해 통행 통로의 검출 비디오를 촬영할 수 있고, 촬영된 검출 비디오에는 줄을 서서 접근 통제 시스템을 통과하는 복수 개의 대상이 포함될 수 있다.

단계 2에 있어서, 검출 비디오에서의 대상을 인식한다.

여기서, 처리 컴포넌트는 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하고, 비디오 프레임의 타깃 물품 및 대상을 결정할 수 있다. 나아가, 타깃 물품을 선택하는 선택 박스와 대상 신체 부위의 선택 박스 사이의 교집합 대 합집합 비율을 통해, 복수 개의 대상에서 타깃 물품과 매칭되는 타깃 대상을 선택하고, 즉 타깃 물품을 반송하는 타깃 대상을 선택할 수 있다.

단계 3에 있어서, 대상의 위치를 추적한다.

가능한 구현 형태에 있어서, 처리 컴포넌트는 검출 비디오의 복수 개의 비디오 프레임을 분석하고, 각 대상의 운동 궤적에 대해 추적을 수행하며, 즉 각 대상의 위치를 실시간으로 획득할 수 있다.

단계 4에 있어서, 대상이 기설정 위치에 도달한 것을 결정할 때, 상기 대상의 검증 정보를 획득한다.

일부 가능한 구현 형태에 있어서, 처리 컴포넌트는 특정된 대상의 머리 어깨 부위의 선택 박스가 접근 통제 시스템 앞의 기설정 위치에 도달했을 때, 접근 통제 시스템에 의해 송신된 상기 타깃 대상을 대상으로 하는 검증 정보를 수신할 수 있다.

단계 5에 있어서, 검증 정보에 기반하여, 대상이 검증에 통과되었는지 여부를 판단한다.

여기서, 처리 컴포넌트는 검증 정보에 따라, 현재의 대상이 검증에 통과되었는지 여부를 판단할 수 있다.

일부 가능한 구현 형태에 있어서, 만약 검증 정보가 현재 대상이 검증에 통과된 것을 나타내면, 단계 6 내지 단계 8을 실행할 수 있다. 만약 현재 대상이 검증에 통과되지 못하면, 단계 9 내지 단계 10을 실행할 수 있다.

단계 6에 있어서, 만약 검증 정보가 대상이 검증에 통과된 것을 나타내면, 대상은 타깃 물품을 반송하는 타깃 대상인지 여부를 판단한다.

이해할 수 있는 것은, 현재 대상이 신원 검증에 통과된 다음, 상기 대상은 특수 그룹인지 여부를 계속 판단할 수 있고, 즉 상기 대상은 타깃 물품을 반송하는 타깃 대상인지 여부를 판단한다.

일부 가능한 구현 형태에 있어서, 만약 현재 대상이 타깃 물품을 반송하는 타깃 대상이면, 단계 7을 실행한다. 그렇지 않은 경우, 단계 8을 실행한다.

단계 7에 있어서, 만약 대상이 타깃 물품을 반송하는 타깃 대상이면, 검출 결과를 생성함으로써, 접근 통제 시스템에 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫히도록 프롬프트 한다.

다시 말하면, 대상이 타깃 물품을 반송하는 타깃 대상인 것이 검출될 때, 검출 결과를 생성할 수 있다. 처리 컴포넌트는 상기 검출 결과를 접근 통제 시스템에 송신하고, 접근 통제 시스템을 통해 안전 주의 경보를 발송함으로써, 이렇게 접근 통제 시스템은 타깃 대상 및 타깃 물품이 모두 통과한 다음 닫힐 수 있다.

일부 가능한 구현 형태에 있어서, 처리 컴포넌트는 상기 대상이 접근 통제 시스템을 통과한 다음, 상기 대상의 통과 기록을 저장할 수 있다.

단계 8에 있어서, 만약 대상이 타깃 물품을 반송하는 타깃 대상이 아니면, 열어서 통과시키도록 접근 통제 시스템에 알린다.

이해할 수 있는 것은, 만약 현재 대상이 특수 그룹이 아니면, 처리 컴포넌트는 정상적으로 열어서 통과시키도록 접근 통제 시스템에 알릴 수 있다.

일부 가능한 구현 형태에 있어서, 처리 컴포넌트는 상기 대상이 접근 통제 시스템을 통과한 다음, 상기 대상의 통과 기록을 저장할 수 있다.

단계 9에 있어서, 만약 검증 정보가 대상이 검증에 통과되지 못한 것을 나타내면, 대상에 규정 위반 행위가 있는지 여부를 인식한다.

단계 10에 있어서, 만약 대상에 규정 위반 행위가 있으면, 접근 통제 시스템에 경고 정보를 출력하고, 상기 규정 위반 행위를 기록하도록 알린다.

가능한 구현 형태에 있어서, 만약 대상이 검증에 통과되지 못하고 여전히 접근 통제 시스템에 돌입하거나, 대상이 아직 검증을 수행하지 않고 접근 통제 시스템에 돌입하면, 처리 컴포넌트는 상기 대상의 규정 위반 행위를 검출하며, 규정 위반 행위가 발생될 때의 비디오 클립을 저장할 수 있다.

본 발명의 실시예의 통행 검출 시스템에 따라, 통행될 대상이 타깃 물품을 반송하는 것이 검출된 경우, 검출 결과를 생성할 수 있다. 상기 검출 결과는 접근 통제 시스템을 지시하여 대상과 이에 반송되는 타깃 물품이 모두 통행 통로를 통과한 다음 접근 통제 시스템을 닫음으로써, 타깃 물품을 반송하는 대상이 통행에 실패하거나 과실 상해되는 경우를 줄이기 위한 것일 수 있고, 기설정 행위에 대해 조사하고, 접근 통제 관리에 근거를 제공하도록, 대상이 접근 통제 시스템에 돌입할 때 기설정 행위(예를 들어 규정 위반 행위)가 검출되고, 기설정 행위의 비디오 기록을 저장할 수 있다. 또한, 상기 통행 검출 방법은 이미지 획득 컴포넌트를 통해 통행 통로의 검출 비디오를 획득하고, 검출 비디오에 대해 처리하여, 검출 결과를 생성함으로써, 접근 통제 시스템의 센서에 크게 의존하지 않을 수 있어서, 접근 통제 시스템 센서의 수량을 줄여, 센서가 차지하는 공간을 줄일 수 있으며, 통행될 대상의 통행 상태를 판단하는 정확성을 향상시킬 수 있다.

가능한 구현 형태에 있어서, 본 발명의 실시예의 전자 기기는 접근 통제 시스템에 통합될 수 있다. 예를 들어, 지하철, 공항, 정부 기관 등 통행 전에 신원 확인이 필요한 시나리오에 있어서, 접근 통제를 통과하는 대상이 수하물 등 물품을 반송할 때, 대상 및 물품이 모두 접근 통제를 통과한 다음 접근 통제를 닫음으로써, 통과 실패 및 과실 상해되는 이벤트 발생 확률을 줄일 수 있다. 대상이 접근 통제 시스템에 돌입하는 등 규정 위반 행위가 발생될 때 규정 위반 행위가 발생될 때의 비디오 클립을 저장하여, 접근 통제 시스템의 관리에 사용될 수도 있다. 본 발명은 상기 통행 검출 방법의 적용 분야에 대해 한정하지 않는다.

도 7은 본 발명의 실시예에 따른 통행 검출 장치를 도시하는 블록도이고, 도 7에 도시된 바와 같이, 상기 통행 검출 장치는 이미지 획득 컴포넌트(11) 및 처리 컴포넌트(12)를 포함하며, 상기 이미지 획득 컴포넌트(11)는, 통행 통로의 검출 비디오를 획득하도록 구성되고; 상기 처리 컴포넌트(12)는, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하며, 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하고, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신하도록 구성된다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트(12)는 또한, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성되고; 여기서, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는, 상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함한다.

가능한 구현 형태에 있어서, 상기 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고, 여기서, 처리 컴포넌트(12)는 구체적으로, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하도록 구성된다.

가능한 구현 형태에 있어서, 상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함한다.

가능한 구현 형태에 있어서, 처리 컴포넌트(12)는 구체적으로, 비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하고; 상기 타깃 대상의 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성된다.

가능한 구현 형태에 있어서, 상기 통행 검출 장치는 저장 컴포넌트를 더 포함하고, 상기 처리 컴포넌트(12)는 또한 상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하고; 상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 상기 저장 컴포넌트에 저장하도록 구성된다.

가능한 구현 형태에 있어서, 상기 제1 위치 정보는 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함하고, 상기 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함하며, 처리 컴포넌트(12)는 또한, 제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정 - 상기 제1 대상은 어느 한 대상임 - 하도록 구성된다.

가능한 구현 형태에 있어서, 상기 처리 컴포넌트(12)는 또한, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하도록 구성된다.

가능한 구현 형태에 있어서, 처리 컴포넌트(12)는 구체적으로, 상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하도록 구성된다.

본 발명에서 언급한 상기 각 방법 실시예는, 원리와 논리를 위반하지 않는 한, 모두 서로 상호적으로 결합되어 결합된 실시예를 형성할 수 있다는 것을 이해할 수 있고, 편폭의 제한으로, 본 발명에서 더 이상 반복하여 설명하지 않는다.

또한, 본 발명은 통행 검출 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하고, 상기 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램은 모두 본 발명에서 제공하는 어느 한 가지 통행 검출 방법을 구현하는데 사용될 수 있으며, 상응한 기술적 방안 및 설명 및 방법 부분을 참조한 상응한 기재는 더 이상 반복하여 설명하지 않는다.

본 분야의 기술자는 구체적인 실시 형태의 상기 방법에 있어서, 각 단계의 기록 순서는 엄격한 수행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정되는 것을 이해할 수 있다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공하는 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 수행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더 이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 수행될 때 상기 통행 검출 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예는 전자 기기를 더 제공하고, 상기 전자 기기는, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 메모리는 상기 통행 검출 방법을 수행하도록 구성된다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 8은 일 예시적 실시예에 따른 전자 기기(800)를 도시하는 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인용 휴대 단말기 등 단말일 수 있다.

도 8을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O)의 인터페이스(812), 센서 컴포넌트(814)및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 보통 디스플레이, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는 상기 통행 검출 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 용이한 인터랙션을 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서의 동작을 위한 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 및 프로그램 가능 읽기 전용 메모리(EEPROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM), 프로그램 가능 읽기 전용 메모리(PROM), 읽기 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스켓 또는 CD와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약 스크린이 터치 패널을 포함하면, 스크린은 사용자에 의해 입력된 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 감지하도록 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치 또는 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호 출력 및 신호 입력 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MIC)을 포함하고, 전자 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 작동 모드일 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

입력/출력(I/O) 인터페이스(812)는 처리 컴포넌트(802) 및 주변 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)에 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800)접촉의 존재 유무, 전자 기기(800)방향 또는 가속/감속 및 전자 기기(800)의 온도 변화도 검출할 수 있다. 센서 컴포넌트(814)는 임의의 물리적 접촉이 없을 경우 근처 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체(CMOS) 또는 전하 결합 장치(CCD) 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800) 및 다른 기기 사이의 유선 또는 무선 방법의 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 예를 들어 와이파이(WiFi), 2세대 이동 통신 기술(2G) 또는 3세대 이동 통신 기술(3G) 또는 이들의 조합과 같은 통신 표준에 기반하는 무선 네트워크에 액세스할 수 있다. 일 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송과 관련된 정보를 수신한다. 일 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 상기 통행 검출 방법을 수행하기 위해, 하나 또는 복수 개의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어는 전자 기기(800)의 프로세서(820)에 의해 수행됨으로써 상기 통행 검출 방법을 완료하도록 한다.

도 9은 일 예시적 실시예에 따른 전자 기기(1900)를 도시하는 블록도이다. 예를 들어, 전자 기기(1900)는 서버로 제공될 수 있다. 도 9를 참조하면, 전자 기기(1900)는 처리 컴포넌트(1922)를 포함하고, 추가로 하나 또는 복수 개의 프로세서 및 메모리(1932)를 대표로 하는 메모리 자원을 포함하며, 예를 들어 애플리케이션 프로그램과 같은 처리 컴포넌트(1922)에 의해 수행될 수 있는 명령어를 저장하기 위한 것이다. 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 수행하여, 상기 통행 검출 방법을 수행하도록 구성된다.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 수행하도록 구성된 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950) 및 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 운영 체제와 같은 메모리(1932)에 저장된 운영 체제에 기반하여 동작될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어는 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 수행됨으로써 상기 통행 검출 방법을 완료하도록 한다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 상기 통행 검출 방법 실시예를 구현하도록 구성된 단계를 실행한다.

본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능 저장 매체에는 프로세서로 하여금 본 발명의 각 측면을 구현하도록 하기 위한 컴퓨터 판독 가능 프로그램 명령어가 탑재되어 있다.

컴퓨터 판독 가능 저장 매체에는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비전면한 리스트)는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 비디오 디스크(DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 홈 내의 돌출된 구조와 같은 기계적으로 인코딩된 기기 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간적인 신호 자체로 해석되지 않는다.

여기서 설명한 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각 컴퓨팅/처리 기기로 다운로드 될 수 있거나, 또는 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드 될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능 저장 매체에 저장하기 위해, 상기 컴퓨터 판독 가능 프로그램 명령어를 전달한다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목적 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 “C” 언어 또는 유사한 프로그래밍 언어와 같은 일반적인 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 수행되거나, 사용자 컴퓨터에서 부분적으로 수행되거나, 독립적인 소프트웨어 패키지로서 수행되거나, 사용자 컴퓨터에서 일부가 수행되고 원격 컴퓨터에서 일부가 수행되거나, 원격 컴퓨터 또는 서버에서 완전히 수행될 수 있다. 원격 컴퓨터와 관련된 상황에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광대역 통신망(WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결)될 수 있다. 일부 실시예에 있어서, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 수행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 본 발명의 다양한 측면을 설명하였다. 흐름도 및 블록도 중 적어도 하나의 각 블록 및 흐름도 및 블록도 중 적어도 하나의 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공될 수 있음으로써, 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 수행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능 프로그램 명령어를 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능 데이터 처리 장치 및 다른 기기 중 적어도 하나가 특정한 방법으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능 프로그램 명령어는 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에 로딩될 수도 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 수행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 복수 개의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 상이한 순서로 발생될 수도 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 실제로 동시에 수행될 수 있고, 때로는 관련 기능에 따라 역순으로 수행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 동작을 실행하는 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이며, 철저하지 않고, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 경우, 많은 수정 및 변경은 본 기술 분야의 통상적인 기술자에게는 자명한 것이다. 본문에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 또는 본 기술분야의 다른 통상적인 기술자가 본문에서 개시된 각 실시예를 이해할 수 있는 것을 목적으로 한다.

Claims (18)

1. 통행 검출 방법으로서,
   검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하는 단계 - 상기 검출 비디오는 통행 통로에서 촬영된 비디오임 - ;
   제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상에서, 상기 타깃 물품과 매칭되는 타깃 대상을 결정하는 단계; 및
   적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신하는 단계를 포함하는 것을 특징으로 하는 통행 검출 방법.
2. 제1항에 있어서,
   상기 통행 검출 방법은,
   상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 더 포함하고;
   적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는,
   상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 통행 검출 방법.
3. 제2항에 있어서,
   상기 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고,
   상기 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보를 획득하는 단계는,
   검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 통행 검출 방법.
4. 제3항에 있어서,
   상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함하고,
   상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계는,
   비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하는 단계; 및
   상기 타깃 대상의 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율(IOU)이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 통행 검출 방법.
5. 제1항에 있어서,
   상기 통행 검출 방법은,
   상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하는 단계; 및
   상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 저장하는 단계를 더 포함하는 것을 특징으로 하는 통행 검출 방법.
6. 제1항에 있어서,
   상기 제1 위치 정보는 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함하고, 상기 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함하며,
   제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하는 단계는,
   제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정하는 단계 - 상기 제1 대상은 어느 한 대상임 - 를 포함하는 것을 특징으로 하는 통행 검출 방법.
7. 제1항에 있어서,
   상기 통행 검출 방법은,
   상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 더 포함하는 것을 특징으로 하는 통행 검출 방법.
8. 제7항에 있어서,
   상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계는,
   상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하는 단계를 포함하는 것을 특징으로 하는 통행 검출 방법.
9. 통행 검출 장치로서,
   통행 통로의 검출 비디오를 획득하도록 구성되는 이미지 획득 컴포넌트; 및
   검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 비디오 프레임에서 통행될 대상의 제1 위치 정보 및 타깃 물품의 제2 위치 정보를 획득하며, 제1 위치 정보 및 제2 위치 정보에 따라, 상기 통행될 대상과 상기 타깃 물품에 대해 매칭을 수행하여, 타깃 물품을 구비하는 타깃 대상을 결정하고, 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하고, 상기 검출 결과를 상기 통행 통로의 접근 통제 시스템으로 송신하도록 구성되는 처리 컴포넌트를 포함하는 것을 특징으로 하는 통행 검출 장치.
10. 제9항에 있어서,
    상기 처리 컴포넌트는 또한, 상기 타깃 위치 정보가 상기 타깃 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성되고; 적어도 상기 타깃 대상의 타깃 위치 정보에 따라 검출 결과를 생성하는 단계는, 상기 검증 정보가 검증 통과인 경우, 상기 검출 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 통행 검출 장치.
11. 제10항에 있어서,
    상기 제1 위치 정보는 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 포함하고,
    상기 처리 컴포넌트는 구체적으로, 검출 비디오의 비디오 프레임에 대해 검출 처리를 수행하여, 대상의 머리 어깨 부위를 선택하는 제1 선택 박스의 위치 정보를 획득하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
12. 제11항에 있어서,
    상기 기설정 위치는 상기 통행 통로의 접근 통제 시스템 외의 기설정 영역을 포함하고,
    상기 처리 컴포넌트는 구체적으로, 비디오 프레임에서 복수 개 대상의 제1 선택 박스의 위치 정보를 결정하고; 상기 타깃 대상의 제1 선택 박스가 상기 기설정 영역 내에 위치하거나, 제1 선택 박스와 상기 기설정 영역의 교집합 대 합집합 비율이 제1 임계값보다 크거나 같은 경우, 상기 접근 통제 시스템의 검증 정보를 수신하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
13. 제9항에 있어서,
    상기 통행 검출 장치는 저장 컴포넌트를 더 포함하고;
    상기 처리 컴포넌트는 또한 상기 제1 위치 정보가 상기 대상이 기설정 위치에 위치하는 것을 지시하는 경우, 상기 대상에 대해 동작 인식 처리를 수행하여, 상기 대상이 기설정 행위를 수행하는지 여부를 결정하고; 상기 대상이 기설정 행위를 수행하는 경우, 상기 검출 비디오에서 상기 기설정 행위를 기록한 비디오 클립을 상기 저장 컴포넌트에 저장하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
14. 제9항에 있어서,
    상기 제1 위치 정보는 상기 대상의 신체 부위를 선택하는 제2 선택 박스의 위치 정보를 포함하고, 상기 제2 위치 정보는 타깃 물품을 선택하는 제3 선택 박스의 위치 정보를 포함하며,
    처리 컴포넌트는 또한, 제1 대상의 제2 선택 박스 및 상기 제3 선택 박스의 교집합 대 합집합 비율이 제2 임계값보다 크거나 같은 경우, 상기 제1 대상을 상기 타깃 물품과 매칭되는 타깃 대상으로 결정 - 상기 제1 대상은 어느 한 대상임 - 하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
15. 제9항에 있어서,
    상기 처리 컴포넌트는 또한, 상기 대상이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
16. 제15항에 있어서,
    상기 처리 컴포넌트는 구체적으로, 상기 타깃 대상 및 상기 타깃 대상과 매칭되는 타깃 물품이 상기 통행 통로를 통과하는 경우, 통과 기록을 생성하도록 구성되는 것을 특징으로 하는 통행 검출 장치.
17. 전자 기기로서,
    프로세서; 및
    프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;
    상기 프로세서는, 제1항 내지 제8항 중 어느 한 항에 따른 통행 검출 방법을 실행하도록 구성되는 것을 특징으로 하는 전자 기기.
18. 컴퓨터 판독 가능 저장 매체로서,
    컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1항 내지 제8항 중 어느 한 항에 따른 통행 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.

Images