KR20210148313A

KR20210148313A - 위반 이벤트 검출 방법 및 장치, 전자 기기 및 저장 매체

Info

Publication number: KR20210148313A
Application number: KR1020217036108A
Authority: KR
Inventors: 유첸 루오; 준 우; 이쿠이 지아오; 지펭 티안; 송시안 유안
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2020-02-18
Filing date: 2021-02-09
Publication date: 2021-12-07
Also published as: TW202133034A; WO2021164644A1; JP2022529300A; CN111310665A

Abstract

본 발명의 실시예는 위반 이벤트 검출 방법 및 장치, 전자 기기 및 저장 매체를 제공하고, 상기 위반 이벤트 검출 방법은, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 처리될 비디오 스트림의 검출 결과를 획득하는 단계; 및 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 검출 결과에 따라, 경고 정보를 생성하는 단계를 포함한다.

Description

위반 이벤트 검출 방법 및 장치, 전자 기기 및 저장 매체

본 발명은 출원 번호가 202010098904.8이고, 출원일이 2020년 2월 18일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 컴퓨터 기술 분야에 관한 것으로, 특히 위반 이벤트 검출 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.

현재 주방 감시 비디오와 같은 감시 비디오 스트림에서의 위반 이벤트에 대한 검출은, 주로 관련 부서에 의존하여 감시 비디오 데이터에 대해 수동으로 조사하여 이루어지기 때문에, 인력 소모가 크고, 동시에 효율이 저하되며 실시간 성능도 매우 낮다.

본 발명의 실시예는 위반 이벤트 검출 방법 및 장치, 전자 기기 및 저장 매체를 제공한다.

본 발명의 실시예의 일 측면에 따르면, 위반 이벤트 검출 방법을 제공하고, 상기 위반 이벤트 검출 방법은, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계; 및 상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계를 포함한다.

본 발명의 실시예에 따른 위반 이벤트 검출 방법은, 기설정된 검출 모드에 따라, 처리될 비디오 프레임에 대해 검출을 수행하여, 처리될 비디오 스트림의 검출 결과를 획득하고, 기설정된 경고 모드에 따라 경고 정보를 생성함으로써, 자동 실시간 검출 및 위반 이벤트 경고를 구현하며, 인건비를 절감하고, 위반 이벤트의 검출 및 경고 효율을 향상시킬 수 있다.

하나의 가능한 구현 방식에 있어서, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하는 단계; 상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하는 단계 - 여기서, 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 및 상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하는 단계를 포함한다.

이러한 방식을 통해, 제1 위반 이벤트의 처리될 비디오 프레임이 처음으로 검출된 후, 후속 처리될 비디오 프레임에 대해 여러 차례의 확인을 수행하여, 오검출의 확률을 줄일 수 있다.

하나의 가능한 구현 방식에 있어서, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계를 포함한다.

이러한 방식을 통해, 현재 시점에서 추출된 처리될 비디오 프레임에 따라, 처리될 비디오 스트림에 위반 이벤트가 존재하는지 여부를 즉시 확인하여, 검출의 감도를 향상할 수 있다.

하나의 가능한 구현 방식에 있어서, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하는 단계; 및 상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하는 단계; 및 상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계는, 상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단하는 단계를 포함하고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

이러한 방식을 통해, 제2 기간 내에 반복되는 경고 정보를 차단하여, 경고 정보의 중복성을 감소하고, 경보 효율을 향상할 수 있다.

하나의 가능한 구현 방식에 있어서, 상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계는, 상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하는 단계를 포함하고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

이러한 방식을 통해, 경고의 강도를 향상하여, 위반자가 되도록 빨리 위반 이벤트를 시정하도록 독촉할 수 있다.

하나의 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은, 기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하는 단계를 더 포함한다.

이러한 방식을 통해, 비디오 프레임의 처리량을 감소하여, 비디오 처리 속도를 향상할 수 있다.

본 발명의 실시예의 일 측면에 따르면, 위반 이벤트 검출 장치를 제공하고, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성된 제1 획득 모듈; 및 상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하도록 구성된 생성 모듈을 포함한다.

하나의 가능한 구현 방식에 있어서, 상기 제1 획득 모듈은, 상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하고; 상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하며 - 여기서, 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하도록 구성된다.

하나의 가능한 구현 방식에 있어서, 상기 제1 획득 모듈은, 상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성된다.

하나의 가능한 구현 방식에 있어서, 상기 제1 획득 모듈은, 상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하고; 상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 구현 방식에 있어서, 상기 제1 획득 모듈은, 복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하고; 상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 구현 방식에 있어서, 상기 제1 획득 모듈은, 처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 구현 방식에 있어서, 상기 생성 모듈은, 상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단하도록 구성되고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

하나의 가능한 구현 방식에 있어서, 상기 생성 모듈은, 상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하도록 구성되고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

하나의 가능한 구현 방식에 있어서, 상기 장치는 또한 기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하도록 구성된 제2 획득 모듈을 포함한다.

본 발명의 실시예의 일 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하는 메모리를 포함하고; 여기서, 상기 프로세서는, 상기 위반 이벤트 검출 방법을 실행하도록 구성된다.

본 발명의 실시예의 일 측면에 따르면, 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터 프로그램 명령어를 저장하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 위반 이벤트 검출 방법을 구현한다.

본 발명의 실시예의 일 측면에 따르면, 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품이 프로그램 명령어를 포함하고, 상기 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 위반 이벤트 검출 방법을 구현한다.

본 발명의 실시예의 일 측면에 따르면, 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 본 발명의 실시예를 구현하기 위한 위반 이벤트 검출 방법을 실행한다.

이해해야 할 것은, 상기의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하기 위한 것은 아니다.

아래에 첨부 도면을 참조하여 예시적 실시예를 상세하게 설명하여, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.

본 명세서에 포함되고 본 명세서의 일부를 구성하는 도면은 본 발명과 일치하는 실시예를 도시하고, 본 명세서와 함께 본 발명의 기술방안을 설명하는데 사용된다.
도 1은 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 1을 도시한다.
도 3은 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 2를 도시한다.
도 4는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 3을 도시한다.
도 5는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 4를 도시한다.
도 6은 본 발명의 실시예에 따른 위반 이벤트 검출 장치의 블록도를 도시한다.
도 7은 본 발명의 실시예에 따른 전자 기기의 블록도를 도시한다.
도 8은 본 발명의 실시예에 따른 전자 기기의 다른 블록도를 도시한다.

이하, 도면을 참조하여 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 부호는 동일하거나 유사한 기능을 갖는 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.

여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 우수하거나 좋은 것으로 해석될 필요는 없다.

본 명세서의 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하되, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 용어 "적어도 하나"는 복수 개 중의 어느 하나 또는 복수 개 중의 적어도 둘의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함함을 나타낼 수 있다.

또한, 본 발명의 실시예를 더 잘 설명하기 위해, 아래의 구체적인 실시형태에서 다수의 구체적인 세부 사항을 제공한다. 당업자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 구현예를 들어, 당업자에게 숙지된 방법, 수단, 요소 및 회로는 본 발명의 실시예의 요지를 강조하기 위해, 상세히 설명되지 않는다.

도 1은 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 흐름도이고, 도 1에 도시된 바와 같이, 상기 위반 이벤트 검출 방법은 아래와 같은 단계를 포함한다.

단계 S11에 있어서, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 행위 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 행위 검출 결과를 획득한다.

단계 S12에 있어서, 상기 처리될 비디오 스트림의 행위 검출 결과가 위반 행위일 경우, 기설정된 경고 모드 및 상기 행위 검출 결과에 따라, 경고 정보를 생성한다.

하나의 가능한 구현 방식에서, 상기 위반 이벤트 검출 방법은 단말 기기 또는 다른 처리 기기에 의해 실행될 수 있으며, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 다른 처리 기기는 서버 또는 클라우드 서버 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.

하나의 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은, 위반 이벤트의 발생을 감소시키며, 감시 효율을 향상하기 위해, 감시 비디오(처리될 비디오 스트림 )에서의 목표 대상의 행위(예를 들어, 위반 동작 행위, 위반 착용 행위 등) 또는 위반 목표 대상(예를 들어, 불법 진입자, 주방으로 진입한 쥐 등)에 대해 검출을 수행하고, 위반 이벤트에 대해 경고를 수행하기 위한 것일 수 있다. 예를 들어, 상기 위반 이벤트 검출 방법은, 직원의 위반을 경고하기 위해, 주방, 식당, 식품 가공 공장, 외식업체 등 장소의 감시 비디오에서의 목표 대상에 대해 행위 검출 처리를 수행하기 위한 것으로, 직원의 자각성을 제공하고, 식품 안전 및 식품 품질을 향상시킬 수 있다.

하나의 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은 전단 검출 기기를 통해 실행될 수 있고, 후단 서비스 기기를 통해 전단 검출 기기의 검출 모드 및 경고 모드에 대해 설정를 수행할 수 있다. 예를 들어, 후단 서비스 기기가 송신한 명령어를 통해 전단 검출 기기의 검출 모드 및 경고 모드를 설정할 수 있다. 또는, 직접 전단 검출 기기의 검출 모드 및 경고 모드에 대해 설정를 수행할 수도 있다. 예를 들어, 전단 검출 기기의 검출 모드 및 경고 모드를 설정한기 위한 명령어 수신 장치(예를 들어, 버튼, 터치 스크린, 리모콘 등)를 제공하거나, 또는 기설정된 모드를 전단 검출 기기에 경화할 수 있다. 본 발명은 검출 모드 및 경고 모드의 설정 방식에 대해 한정하지 않는다.

일부 선택 가능한 예에 있어서, 상기 기설정된 검출 모드는 제1 검출 모드 및 제2 검출 모드 중 적어도 하나를 포함할 수 있고, 제1 검출 모드는 예를 들어, 처리될 비디오 프레임에서 위반 이벤트를 처음으로 검출한 후, 위반 이벤트를 즉시 결정하지 않고, 계속하여 후속 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임에서 위반 이벤트가 여러 차례 결정된 후, 검출될 비디오 스트림의 검출 결과를 위반 이벤트로 결정함으로써, 위반 이벤트의 오경보를 감소할 수 있는 것과 같은 검출 전략을 포함할 수 있다. 제2 검출 모드는 예를 들어, 위반 이벤트가 검출된 후 처리될 비디오 스트림의 행위 검출 결과를 즉시 생성하여, 후속 처리될 비디오 프레임에 대해 여러 차례의 확인을 수행할 필요가 없는 것과 같은 검출 전략을 포함할 수 있다.

일부 선택 가능한 예에 있어서, 상기 기설정된 경고 모드는 제1 경고 모드 및 제2 경고 모드 중 적어도 하나를 포함할 수 있고, 제1 경고 모드는 예를 들어, 위반 이벤트가 처음으로 검출된 후, 경고 정보를 생성하고, 기설정 기간 내에 동일한 위반 이벤트의 경고 정보를 다시 생성하지 않으므로, 동일한 위반 이벤트에 대한 반복 경고를 예방할 수 있는 것과 같은 경고 전략을 포함할 수 있다. 제2 경고 모드는 예를 들어, 매번 위반 에벤트가 검출될 경우마다 경고 정보를 생성하는 것과 같은 경고 전략을 포함할 수 있다.

하나의 가능한 구현 방식에 있어서, 검출 모드 및 경고 모드가 설정 완료된 후, 전단 검출 기기는 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출을 수행할 수 있고, 검출 결과가 위반 이벤트일 경우, 전단 검출 기기는 기설정된 경고 모드에 따라 경고 정보를 생성할 수 있다.

하나의 가능한 구현 방식에 있어서, 단계 S11에 있어서, 전단 검출 기기는 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출을 수행할 수 있다. 일부 선택 가능한 예에 있어서, 전단 검출 기기는 처리될 비디오 스트림의 각 비디오 프레임에 대해 프레임별 검출할 수 있고, 또는 먼저 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하며, 추출된 비디오 프레임에 대해 검출을 수행할 수 있다.

하나의 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은, 기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하는 단계를 더 포함한다. 일부 선택 가능한 예에 있어서, 전단 검출 기기는 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행할 수 있고, 예를 들어, 3 초 간격으로 하나의 비디오 프레임을 추출할 수 있으며, 즉, 3 초 간격으로 하나의 처리될 비디오 프레임을 획득한다. 일부 선택 가능한 예에 있어서, 기설정 주파수 검출 모드에 따라 적응적으로 조정할 수 있고, 검출된 위반 이벤트의 유형에 따라 적응적으로 조정할 수도 있다. 예를 들어, 제1 검출 모드에서의 기설정 주파수는 제2 검출 모드에서의 기설정 주파수보다 낮을 수 있다. 비디오 선명도를 검출하는 기설정 주파수는 위반 행위를 검출하는 기설정 주파수보다 낮을 수 있다. 본 발명의 실시예는 기설정 주파수에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 기설정된 검출 모드에 따라, 처리될 비디오 프레임에 대해 검출을 수행할 수 있다. 예를 들어, 제1 검출 모드에 있어서, 전단 검출 기기가 처리될 비디오 프레임에서 위반 이벤트를 처음으로 검출한 후, 위반 이벤트를 즉시 결정하지 않고, 지속적으로 후속 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행할 수 있으며, 즉, 복수 개의 처리될 비디오 프레임에서 위반 이벤트가 여러 차례 결정된 후, 검출될 비디오 스트림의 검출 결과를 위반 이벤트로 결정하므로, 위반 이벤트의 오경보를 감소할 수 있는 것과 같은 검출 전략을 포함할 수 있다. 예를 들어, 식당, 주방 등 시나리오에 있어서, 위반 이벤트는 직원이 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 웃통을 벗은 것, 흡연하는 것 등을 포함할 수 있고, 여러 차례의 확인 후 다시 위반 이벤트의 검출 모드(즉, 제1 검출 모드)를 확인하여 직원이 우연히 마스크 또는 모자를 벗는 등 동작(예를 들어, 땀을 닦는 동작)으로 인한 오경보를 감소할 수 있다.

하나의 가능한 구현 방식에 있어서, 단계 S11은, 상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하는 단계; 상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하는 단계 - 여기서, 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 및 상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 후단 서비스 기기를 통해 전단 응용 기기의 검출 모드를 제1 검출 모드로 설정할 수 있고, 또는 직접 전단 응용 기기에서 검출 모드를 제1 검출 모드로 설정할 수 있다. 전단 응용 기기는 제1 검출 모드에서 처리될 비디오 프레임에 대해 검출 처리를 수행할 수 있다. 일부 선택 가능한 예에 있어서, 전단 응용 기기는 기설정 주파수(예를 들어, 3 초/회)에 따라, 처리될 비디오 스트림에서 추출된 처리될 비디오 프레임을 하나씩 검출하여, 각 처리될 비디오 프레임의 검출 결과를 획득할 수 있고, 예를 들어, 전단 응용 기기는 현재 시점 t에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점 t의 제1 검출 결과를 획득할 수 있다.

일부 선택 가능한 예에 있어서, 전단 검출 기기가 현재 시점 t의 제1 검출 결과가 제1 위반 이벤트(즉, 현재 시점 t에서 추출된 처리될 비디오 프레임에서의 목표 대상이 위반 행위를 수행하고 있을 수 있음)인 것을 검출하였지만, 오검출의 경우(예를 들어, 직원이 우연히 마스크 또는 모자를 벗는 등 동작(예를 들어, 땀을 닦는 동작) 이 검출되여, 진정한 위반 행위에 속하지 않음)가 존재할 수 있으므로, 전단 검출 기기가 현재 시점 t 후의 복수 개의 비디오 프레임에 대해 검출 처리를 수행하여, 위반 이벤트에 대해 여러 차례의 결정을 수행한다.

하나의 가능한 구현 방식에 있어서, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득할 수 있다. 일부 선택 가능한 예에 있어서, 제1 기설정 기간은 현재 시점 t를 시작 시점으로 하는 기간이고, 예를 들어, 현재 시점 t에서 t+A의 기간(기간은 A임), 제1 기설정 기간에 있어서, 처리될 비디오 스트림에 대해 여러 차례의 프레임 추출을 수행하여, 복수 개의 처리될 비디오 프레임을 획득할 수 있다. 예를 들어, 기간 A가 5분이고, 프레임 추출의 기설정 주파수가 3초/회이면, 제1 기설정 기간 내에 100 개의 비디오 프레임을 추출할 수 있다. 전단 검출 기기는 상기 100 개의 처리될 비디오 프레임에 대해 하나씩 검출 처리를 수행하여, 상기 100 개의 처리될 비디오 프레임의 제2 검출 결과를 획득할 수 있다.

하나의 가능한 구현 방식에 있어서, 제1 기설정 기간 내에 추출된 처리될 비디오 프레임의 제2 검출 결과에 대해 통계를 수행하여, 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수를 결정할 수 있고; 상기 개수가 기설정 개수 임계값보다 클 경우, 위반 이벤트로 확인할 수 있고, 복수 개의 처리될 비디오 프레임에 대한 확인 작업을 통해, 제1 위반 이벤트에 대한 오검출의 확률을 줄일 수 있다. 일부 선택 가능한 예에 있어서, 상기 100 개의 처리될 비디오 프레임에 있어서, 검출 결과가 제1 위반 이벤트인 개수가 50 개(기설정 개수 임계값)보다 크거나 같을 경우, 위반 이벤트로 확인할 수 있고, 본 발명의 실시예는 기설정 개수 임계값에 대해 한정하지 않는다.

일부 선택 가능한 예에 있어서, 시간 임계값을 설정하지 않을 수도 있고, 다음의 프레임 추출로부터 시작하여, 기설정 개수의 처리될 비디오 프레임을 연속적으로 추출할 수 있다. 예를 들어, 100 개의 처리될 비디오 프레임을 추출하고, 이러한 처리될 비디오 프레임에서 제2 검출 결과가 제1 위반 이벤트의 개수를 결정할 수 있으며, 상기 개수가 기설정 개수 임계값보다 크거나 같을 경우, 제1 위반 이벤트로 결정할 수 있다. 본 발명의 실시예는 처리될 비디오 프레임을 추출하는 개수에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 단계 S11는, 상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 후단 서비스 기기를 통해 전단 응용 기기의 검출 모드를 제2 검출 모드로 설정할 수 있고, 또는 직접 전단 응용 기기에서 검출 모드를 제1 검출 모드로 설정할 수 있다. 전단 응용 기기는 제2 검출 모드에서 처리될 비디오 프레임에 대해 검출 처리를 수행할 수 있다.

일부 선택 가능한 예에 있어서, 전단 검출 기기는 위반 이벤트가 검출된 후 처리될 비디오 스트림의 행위 검출 결과를 즉시 생성할 수 있다. 예를 들어, 처리될 비디오 프레임에 대해 검출을 수행할 경우, 특정된 처리될 비디오 프레임에서의 목표 대상이 위반 행위를 수행하고 있는 것이 검출되면, 처리될 비디오 스트림에서의 목표 대상이 위반 행위를 수행하고 있는 것을 즉시 확인할 수 있고, 즉, 처리될 비디오 스트림의 검출 결과를 위반 이벤트로 확인하며, 후속 처리될 비디오 프레임에 대해 여러 차례의 확인을 수행할 필요 없고, 검출의 감도를 향상할 수 있다.

하나의 가능한 구현 방식에 있어서, 처리될 비디오 프레임에 대해 행위 검출을 수행할 경우, 전단 검출 기기는 기설정된 하나 또는 복수의 종류의 위반 이벤트를 검출할 수 있다. 일부 선택 가능한 예에 있어서, 위반 이벤트에 대해 설정를 수행할 수 있다. 예를 들어, 전단 검출 기기가 공공 장소(예를 들어, 쇼핑몰, 학교, 사무실, 오피스빌딩 등)의 감시 비디오의 처리될 비디오 프레임을 검출하기 위한 것일 경우, 위반 이벤트를 흡연, 핸드폰 하는 것 등으로 설정할 수 있다. 전단 검출 기기가 외식 장소(예를 들어, 레스토랑, 주방, 식당, 식품 가공 공장 등) 또는 의료 위생 장소(예를 들어, 병원, 약국, 화학 분석실, 수술실 등)의 감시 비디오의 처리될 비디오 프레임을 검출하기 위한 것일 경우, 위반 이벤트를 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 장갑을 끼지 않은 것, 웃통을 벗은 것 등 위반 착용 행위, 및 해충, 쥐 등 위생 위반 이벤트 등으로 설정할 수 있다. 본 발명의 실시예는 위반 행위의 유형에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 여러 위반 이벤트에 대해 상이한 행위 검출 방법을 사용하여 검출을 수행할 수 있다. 본 발명의 실시예에서 상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하는 단계; 및 상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 행위 검출 결과를 획득하는 단계를 포함한다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 컨볼루션 뉴렬 네트워크 등 방법을 사용하여 처리될 비디오 프레임에서의 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 검출할 수 있으므로, 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행할 수 있다. 일부 선택 가능한 예에 있어서, 목표 대상의 얼굴 영역을 검출할 수 있음으로써, 목표 대상이 모자를 쓰거나 마스크를 착용하였는지 여부를 검출한다.

일부 선택 가능한 예에 있어서, 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 검출할 수 있음으로써, 목표 대상 옷 차림이 규정에 부합되는지 여부를 검출할 수 있다. 예를 들어, 직원이 웃통을 벗었는지 여부, 작업복을 입었는지 여부 등을 검출할 수 있다. 일부 선택 가능한 예에 있어서, 목표 대상의 인체 영역을 검출하고, 인체 영역에서 목표 대상의 동작 및 인체 영역에서 담배 연기가 있는지 여부 등 판단 조건에 따라 목표 대상이 흡연하였는지 여부를 판단할 수 있으며, 나아가, 상기 목표 대상의 얼굴 영역을 검출하여, 상기 목표 대상의 신원 정보를 결정할 수 있다. 본 발명의 실시예는 행위 검출의 방법에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 복수 개의 시점에서 추출된 처리될 비디오 프레임을 사용하여 쥐 또는 해충 등 위생 조건에 영향을 미치는 위반 이벤트가 있는지 여부를 검출한다. 본 발명의 실시예에서 상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 행위 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 행위 검출 결과를 획득하는 단계는, 복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하는 단계; 및 상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함한다.

일부 선택 가능한 예에 있어서, 전단 검출 기기는 조명 조건이 열악(예를 들어, 밤)할 경우, 복수 개의 처리될 비디오 프레임에서의 목표 대상을 비교하므로, 처리될 비디오 프레임에서 쥐, 해충 등 목표 대상이 포함하는지 여부를 판단한다. 예를 들어, 밤에, 주방에 직원이 없고, 다른 물품들은 정지되며, 어느 비디오 프레임에서 어느 목표 대상이 검출되지만, 다른 비디오 프레임에는 상기 목표 대상이 없을 경우, 상기 목표 대상은 쥐, 해충 등 움직이고 있는 목표 대상일 수 있고, 조명 조건이 열악할 경우, 또는 가시광 카메라 또는 적외선 카메라의 하드웨어 조건에 있어서, 움직이는 목표 대상을 검출하는 정밀도를 향상한다. 나아가, 목표 대상이 위치하는 영역에 대해 추가적으로 검출 처리를 수행하여, 목표 대상이 위반 목표 대상인지 여부를 결정한다. 예를 들어, 쥐를 위반 목표 대상으로 설정하고, 카메라에 의해 촬영된 창문 밖에서 날아가는 조류 등을 위반하지 않은 목표 대상으로 설정할 수 잇다. 위반 목표 대상이 검출될 경우, 검출 결과를 위반 이벤트로 결정할 수 있다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 복수 개의 시점에서 추출된 처리될 비디오 프레임을 사용하여 기름, 먼지 등 오염으로 인해 카메라가 흐려지거나 초점 조정으로 인해 이미지가 흐려지는 것 등과 같은 처리될 비디오의 선명도를 검출할 수 있다. 본 발명의 실시예에서 상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는, 처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함한다.

일부 선택 가능한 예에 있어서, 추출된 처리될 비디오 프레임의 선명도를 검출할 수 있다. 예를 들어, 무늬 선명도 등 지표를 검출할 수 있고, 처리될 비디오 프레임의 상기 지표가 지표 임계값보다 낮거나, 또는 제1 기설정 기간 내에 복수 개의 처리될 비디오 프레임의 상기 지표가 지표 임계값보다 낮을 경우, 검출 결과가 카메라가 오염되거나 초점 조정 실수 등과 같은 위반 이벤트인 것을 결정할 수 있다.

하나의 가능한 구현 방식에 있어서, 위반 이벤트는 또한 다양한 이벤트를 포함할 수 있다. 예를 들어, 학생이 수업 시간에서 소곤거리는 것, 시험장에서 커닝하는 것 등 위반 이벤트, 본 발명의 실시예는 위반 이벤트의 유형에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 상기 행위 검출 처리는 병렬로 실행될 수 있고, 여기서의 하나 또는 복수의 종류의 검출 처리를 선택적으로 실행할 수 있다. 예를 들어, 주방의 감시 비디오에 대해 행위 검출 처리를 수행할 경우, 목표 대상이 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 장갑을 끼지 않은 것, 웃통을 벗은 것 등 위반 착용 행위를 검출하는 행위 검출 처리, 및 해충, 쥐 등을 검출하는 위생 위반 이벤트의 검출 처리를 병렬로 실행할 수 있고, 여러 검출 처리 사이는 서로 간섭되지 않는다. 수요에 따라 실행하는 검출 처리를 설정할 수 있고, 예를 들어, 낮에는 해충, 쥐 등 위생 위반 행위의 이벤트 검출 처리를 실행할 필요 없으므로, 상기 검출 처리를 잠시 끌 수 있다. 본 발명의 실시예는 검출 처리의 유형에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 처리될 비디오 스트림에서의 위반 이벤트가 검출될 경우, 기설정된 경고 모드에 따라, 위반 이벤트에 대응되는 경고 정보를 생성할 수 있다. 일부 예를 들어, 후단 서비스 기기를 통해 경고 모드를 설정할 수 있고, 전단 검출 기기에서 직접 설정할 수도 있으며, 본 발명의 실시예는 경고 모드의 설정 방식에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 동일한 위반 이벤트에 대해 반복 경고를 수행하는 것을 예방하기 위해, 전단 검출 기기를 제1 검출 모드로 설정할 수 있고, 단계 S12는 상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단하는 단계를 포함하고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

일부 선택 가능한 예에 있어서, 제2 기설정 기간은 제2 위반 이벤트가 처음으로 검출된 시점 t1을 시작 시점으로 하는 기간(예를 들어, t1을 시작 시점으로 하고, 기간을 30 분으로 하는 기간, 본 발명의 실시예는 제2 기설정 기간의 기간에 대해 한정하지 않음)이다. 경고 모드는 제1 경고 모드로 설정될 수 있고, 상기 경고 모드에서 제2 위반 이벤트가 검출될 경우, 제2 기설정 기간 내에 단지 제2 위반 이벤트에 대해 한 번의 경고 정보를 생성하고, 제2 기설정 기간 내에, 여러 차례의 제2 위반 이벤트가 반복으로 검출될 경우, 반복되는 경고 정보를 차단하며, 단지 제2 위반 이벤트에 대해 한번 경고할 수 있다. 제2 기설정 기간이 끝난 후, 제2 위반 이벤트가 다시 검출될 경우, 경고 정보를 다시 생성하고, 제2 기설정 기간을 다시 시작하며, 이러한 방식으로 계속된다.

하나의 가능한 구현 방식에 있어서, 동일한 위반 이벤트에 대한 경고 정보를 차단하지 않을 수도 있다. 단계 S12는, 상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하는 단계를 포함하고, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

일부 선택 가능한 예에 있어서, 제2 경고 모드에 있어서, 위반 이벤트만 검출되면, 상기 위반 이벤트에 대해 경고 정보를 생성할 수 있고, 상기 경고 정보가 그 전의 경고 정보와 반복되는지 여부와 상관 없다. 경고의 강도를 향상하여, 위반자가 되도록 빨리 위반 이벤트를 시정하도록 독촉할 수 있다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 어느 경고 정보를 생성할지를 자체 정의할 수 있다. 예를 들어, 전단 검출 기기는 모자를 쓰지 않지 않은 것, 마스크를 착용하지 않은 것, 장갑을 끼지 않은 것, 웃통을 벗은 것 등 위반 착용 행위를 검출하는 행위 검출 처리를 수행하지만, 전단 검출 기기는 선택적으로 여기서의 하나 또는 복수의 종류의 위반 이벤트의 경고 정보를 생성할 수 있다. 예를 들어, 전단 검출 기기가 목표 대상 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 장갑을 끼지 않은 것이 검출되었지만, 경고 정보를 생성할 경우, 단지 마스크를 착용하지 않은 경고 정보만 생성할 수 있다. 본 발명의 실시예는 위반 이벤트에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 상기 전단 검출 기기가 경고 정보를 디스플레이할 수 있고, 또는 후단 서비스 모듈을 통해 경고 정보를 디스플레이하기 위해 후단 서비스 모듈에 송신할 수 있다. 예를 들어, 전단 검출 기기는 디스플레이 기기 또는 오디오 기기 등과 연결할 수 있고, 경고 정보는 디스플레이 기기에 송신될 수 있으며, 사용자 인터페이스(User Interface, UI) 디스플레이 인터페이스를 통해 디스플레이하고, 또는 경고 정보에 대응되는 소리 정보를 플레이하기 위해 오디오 기기에 송신할 수 있다. 또는, 전단 검출 기기는 경고 정보를 후단 서비스 모듈에 송신하여, 후단 서비스 모듈이 경고 정보를 디스플레이할 수 있고, 예를 들어, 후단 서비스 모듈은 UI디스플레이 인터페이스 또는 오디오 기기를 통해 경고 정보를 디스플레이할 수 있다. 본 발명의 실시예는 경고 정보의 디스플레이 방식에 대해 한정하지 않는다.

본 발명의 실시예에 따른 위반 이벤트 검출 방법은, 기설정된 검출 모드에 따라, 처리될 비디오 프레임에 대해 검출을 수행하여, 제1 위반 이벤트의 처리될 비디오 프레임이 처음으로 검출된 후, 후속 처리될 비디오 프레임에 대해 여러 차례의 확인을 수행하므로, 검출의 정확률을 향상하고, 오검출의 확률을 줄일 수 있으며, 기설정된 경고 모드에 따라 경고 정보를 생성할 수 있으므로, 제2 기간 내에 반복되는 경고 정보를 차단하므로, 경고 정보의 중복성을 감소하고, 경보 효율을 향상할 수 있다.

도 2는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 1을 도시하고, 도 2에 도시된 바와 같이, 모니터링 카메라는 외식 장소(예를 들어, 레스토랑, 주방, 식당, 식품 가공 공장 등) 또는 의료 위생 장소(예를 들어, 병원, 약국, 화학 실험실, 수술실 등)의 감시 비디오를 수집할 수 있다. 전단 검출 기기는 7:00 - 23:00 사이에 비디오에서의 직원이 위반 행위가 존재하는지 여부를 검출할 수 있다. 상기 비디오에 대해 프레임 추출을 수행할 수 있고, 예를 들어, 프레임 추출 주파수는 3초/회일 수 있으며, 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행할 수 있다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기를 통해 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 웃통을 벗은 것 등 착용 위반 행위에 대해 검출 처리를 수행하고, 쥐 등 야행성 동물에 대한 이벤트 검출 처리를 끌 수 있다. 위반 이벤트가 검출될 경우, 선택적으로 경고 정보를 생성할 수 있다. 예를 들어, 다만 마스크를 착용하지 않은 위반 행위에 대해 경고 정보를 생성하고, 모자를 쓰지 않은 것 및 웃통을 벗는 위반 행위에 대해 경고 정보를 생성하지 않는다.

도 3은 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 2이고, 도 3에 도시된 바와 같이, 전단 검출 기기의 검출 모드를 제1 검출 모드로 설정하고, 전단 검출 기기의 경고 모드를 제1 경고 모드로 설정할 수 있다.

하나의 가능한 구현 방식에 있어서, 전단 검출 기기는 7:00-23:00 사이에, 추출된 처리될 비디오 프레임에 대해 검출을 수행하고, 직원이 모자를 쓰지 않은 것, 마스크를 착용하지 않은 것, 웃통을 벗은 것 등 착용 위반 행위가 존재하는지 여부를 검출하며, 시점 t에서 처리될 비디오 프레임에서 상기 위반 행위가 처음으로 검출될 경우, 오경보의 확률을 줄이기 위해, 제1 기설정 기간 내에(예를 들어, 시점 t로 시작한 5 분 내) 추출된 100 개의 비디오 프레임에 대해 각각 검출 처리를 수행하여, 동일한 위반 행위가 검출되는 처리될 비디오 프레임의 개수가 개수 임계값(예를 들어, 60 개)보다 작은 것이 검출될 경우, 직원이 상기 위반 행위를 수행하지 않은 것으로 간주하고, 반대로, 동일한 위반 행위가 검출되는 처리될 비디오 프레임의 개수가개수 임계값(예를 들어, 60 개)보다 크거나 같은 것이 검출될 경우, 직원이 상기 위반 행위를 수행한 것으로 간주하며, 제1 기설정 기간이 끝날 때, 상기 위반 행위에 대응되는 경고 정보를 생성할 수 있다. 예를 들어, 마스크를 착용하지 않은 것에 관련된 경고 정보를 생성할 수 있다.

하나의 가능한 구현 방식에 있어서, 동일한 위반 이벤트에 대해 반복 경고를 수행하는 것을 감소하기 위해, 마스크를 착용하지 않은 것 에 대응되는 경고 정보를 생성할 경우, 제2 기설정 기간(예를 들어, 30 분)을 시작할 수 있고, 제2 기설정 기간 내에, 동일한 경고 정보를 차단할 수 있으며, 예를 들어, 동일한 직원이 마스크를 착용하지 않은 것이 다시 검출될 경우, 경고 정보를 차단할 수 있고, 30 분 내로 다시 반복 경고하지 않는다. 상기 직원이 다른 위반 행위, 또는 다른 직원이 마스크를 착용하지 않은 것 또는 다른 위반 행위를 수행할 경우, 여전히 경고 정보를 생성할 수 있다. 30 분의 제2 기설정 기간이 끝난 후, 상기 직원이 여전해 마스크를 착용하지 않을 경우, 다시 경고 정보를 생성할 수 있다.

도 4는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 3을 도시하고, 도 4에 도시된 바와 같이, 후단 서비스 기기는 복수 개의 전단 검출 기기의 검출 모드 및 경고 모드를 설정할 수 있고, 전단 검출 기기는 복수 개의 카메라가 수집한 비디오 스트림에 대해 위반 이벤트 검출 처리를 수행할 수 있다. 예를 들어, 후단 서비스 기기는 퍼블릭 클라우드 플랫폼을 포함할 수 있고, 라우터/게이트웨이를 통해 퍼블릭 클라우드 서비스를 호출하여 전단 검출 기기에 대해 설정를 수행할 수 있다.

도 5는 본 발명의 실시예에 따른 위반 이벤트 검출 방법의 응용 모식도 4를 도시하고, 도 5에 도시된 바와 같이, 후단 서비스 기기는 고객 응용 관리 플랫폼을 포함할 수 있고, 고객 응용 관리 플랫폼은 응용 프로그램 인터페이스(Application Program Interface, API)를 통해 전단 검출 기기의 검출 모드 및 경고 모드를 설정할 수 있으며, 프레임 추출 주파수 등 파라미터도 설정할 수 있다. 본 발명은 전단 검출 기기의 설정 방식에 대해 한정하지 않는다.

하나의 가능한 구현 방식에 있어서, 상기 위반 이벤트 검출 방법은 학교 식당의 위반 행위 검출에 사용될 수 있고, 상기 행위 검출 방법을 통해 식당, 주방 등 바닥의 위생 상황에 대해 지속적으로 감시하여, 교사와 학생들의 음식 안전을 확보한다. 또는, 상기 위반 이벤트 검출 방법은 외식업체의 위반 이벤트 검출에 사용될 수 있고, 외식업체의 주방 하수도는 쥐 피해의 중대 재해 지역이며, 기업은 종종 쥐 문제로 인해 고객 기반이 감소 되고, 상기 위반 이벤트 검출 방법은 가시광 또는 적외선 조명에서 쥐의 검출과 인식의 정밀도를 크게 향상할 수 있으며, 직원이 위치한 주방 영역에 대해 위반 이벤트 검출을 수행하여, 위생 상황을 향상할 수 있다. 또는, 상기 위반 이벤트 검출 방법은 식품 가공 공장의 위반 행위 검출에 사용될 수 있고, 식품 가공 공장은 노동 강도가 크고, 직원이 땀을 닦기 위해 모자 또는 마스크를 벗는 잠시의 행위로 인한 잘못된 경보가 발생할 수 있으며, 상기 위반 이벤트 검출 방법은 오경보를 효율적으로 감소하고, 경고 효율을 향상할 수 있다. 또한, 상기 위반 이벤트 검출 방법은 병원, 약국, 제약 공장 등 위생 요구가 비교적 높은 장소에 사용될 수 있고, 또는 오피스빌딩, 공장, 학교 등 장소에 사용될 수 있으며, 직원 또는 학생이 핸드폰 하는 것 등 위반 행위를 검출하고, 또는 학생이 시험 커닝 등 위반 행위를 수행하였는지 여부를 검출할 수 있다. 본 발명의 실시예는 상기 위반 이벤트 검출 방법의 응용 분야에 대해 한정하지 않는다.

이해할 수 있는 것은, 본 발명에서 언급된 상기 각 방법의 실시예는, 원리 논리를 벗어나지 않는 조건 하에서, 모두 서로 결합되어 결합 후의 실시예를 구성할 수 있고, 편폭의 제한으로, 본 발명의 실시예에서는 더이상 설명하지 않는다.

또한, 본 발명의 실시예는 또한 위반 이벤트 검출 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램을 더 제공하고, 상기 분배 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명 실시예에서 제공한 어느 하나의 위반 이벤트 검출 방법을 구현하는데 사용될 수 있으며, 상응하는 기술방안 및 설명 및 참조 방법 부분에 상응하는 기재는, 본 실시예에서는 더이상 반복하여 설명하지 않는다.

당업자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

도 6은 본 발명의 실시예에 따른 위반 이벤트 검출 장치의 블록도를 도시하고, 상기 장치는, 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성된 제1 획득 모듈(11); 및 상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하도록 구성된 생성 모듈(12)을 포함한다.

하나의 가능한 실시예에 있어서, 상기 제1 획득 모듈(11)은, 상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하고; 상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하며 - 여기서, 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하도록 구성된다.

하나의 가능한 실시예에 있어서, 상기 제1 획득 모듈(11)은, 상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성된다.

하나의 가능한 실시예에 있어서, 상기 제1 획득 모듈(11)은, 상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하고; 상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 실시예에 있어서, 상기 제1 획득 모듈(11)은, 복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하고; 상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 실시예에 있어서, 상기 제1 획득 모듈(11)은, 처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성된다.

하나의 가능한 실시예에 있어서, 상기 생성 모듈(12)은, 상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단하도록 구성되고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

하나의 가능한 실시예에 있어서, 상기 생성 모듈(12)은, 상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하도록 구성되고, 여기서, 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트이다.

하나의 가능한 실시예에 있어서, 상기 장치는 또한 기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하도록 구성된 제2 획득 모듈을 포함한다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법의 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법의 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.

본 발명 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 때 상기 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 비휘발성 또는 휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 출원의 실시예는 또한 전자 기기를 제공하며, 프로세서; 및 프로세서 실행 가능 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 방법을 실행하도록 구성된다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 7은 일 예시적 실시예에 따라 도시된 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 운동 기기, 개인 휴대 정보 단말 등 단말일 수 있다.

도 7을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/ O) 인터페이스(812), 센서 컴포넌트(814), 및 통신 컴포넌트(816) 중 하나 또는 복수 개를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화통화, 데이터 통신, 카메라 동작 및 기록 동작과 같은 전자 기기(800)의 전반적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 또는 방법에 사용되는 명령어, 연락처 데이터, 연락처 목록 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read-Only Memory, PROM), 판독 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래쉬 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(Liquid Crystal Display，LCD) 및 터치 패널(Touch Panel，TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시에에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드인 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 전방 카메라 및 후방 카메라는 각각 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(Microphone，MIC)를 포함하고, 전자 기기(800)가 통화 모드, 녹음 모드 및 음성 인식과 같은 동작 모드에 있을 때 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)에 대해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 상기 컴포넌트가 전자 기기(800)에 대한 디스플레이 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있으며, 센서 컴포넌트(814)는 또한, 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와의 접촉의 존재 또는 부재, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체(Complementary Metal-Oxide Semiconductor, CMOS) 또는 전하 결합 소자(Charge Coupled Device, CCD) 이미지 센서와 같은 광센서를 더 포함할 수 있고, 이미징 애플리케이션에 사용되기 위한 것이다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 예시적 실시예에 있어서, 상기 통신 부재(816)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra WideBand, UWB) 기술, 블루투스(BlueTooth, BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit，ASIC), 디지털 신호 프로세서(Digital Signal Processor，DSP), 디지털 신호 처리 장치(DSPD), 프로그래머블 논리 장치(Programmable Logic Device，PLD), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array，FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(600)는 상기 이미지 클러스터링 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.

도 8는 일 예시적 실시예에 따라 도시된 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 8을 참조하면, 전자 기기(1900)는 하나 또는 복수 개의 프로세서를 더 포함하는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행되는 명령어를 저장하기 위한 메모리(1932)로 대표되는 메모리 자원을 포함한다. 메모리(1932)에 저장된 애플리케이션은 하나 또는 하나 이상의 한 세트의 명령어에 각각 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 실행하여, 상기 얼굴 인식 방법을 실행하도록 구성된다.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전력 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것 등과 같은 메모리(1932)에 저장된 것에 기반한 운영 시스템을 조작할 수 있다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.

예시적 실시예에 있어서, 또한 컴퓨터 프로그램을 제공하고, 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 본 발명의 실시예에 따른 위반 이벤트 검출 방법을 구현하기 위한 명령어를 실행한다.

본 출원은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어를 포함한다.

컴퓨터 판독 가능 저장 매체는 명령어 실행 기기에 의해 실행되는 명령어를 유지 및 저장할 수 있는 타입의 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(수없이 많은 리스트)는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read Only Memory, ROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 컴팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory, CD-ROM), 디지털 다기능 디스크(Digital Versatile Disc, DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 그루브의 융기 구조와 같은 기계적으로 인코딩된 기기, 및 상기 임의의 적절한 조합을 포함한다. 본문에서 사용된 컴퓨터 판독 가능 저장 매체는 전파 또는 다른 자유 전파 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스), 또는 전선을 통해 전송되는 전자 신호와 같은 일시적인 신호로 해석되어서는 안된다.

본문에서 설명된 컴퓨터 판독 가능프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/처리 기기로 다운로드 될 수 있거나, 인터넷, 근거리 통신망(LAN), 광역 통신망(WAN) 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능한 프로그램 명령어는 사용자 컴퓨터에서 완전히 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되거나, 독립적인 소프트웨어 패키지로서 실행되거나, 사용자 컴퓨터에서 일부가 실행되고 원격 컴퓨터에서 일부가 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결). 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 프로그램 가능한 논리 어레이 (Programmable Logic Array, PLA)와 같은 전자 회로는 컴퓨터 판독 가능한 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능한 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.

여기서 본 발명의 다양한 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명하였다. 이해해야 할 것은, 흐름도 및 블록도 중 적어도 하나의 각 블록; 흐름도 및 블록도 중 적어도 하나의 각 블록의 조합은, 모두 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다.

이러한 컴퓨터 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공 될 수 있음으로써, 이에 의해 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록, 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 동작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술 분야의 통상의 기술자에게는 명백한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 본 기술 분야의 다른 통상의 기술자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.

Claims

위반 이벤트 검출 방법으로서,
기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계; 및
상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항에 있어서,
상기 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는,
상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하는 단계;
상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하는 단계 - 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 및
상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항에 있어서,
상기 기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는,
상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는,
상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하는 단계; 및
상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는,
복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하는 단계; 및
상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하는 단계는,
처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계는,
상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단하는 단계 - 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트임 -를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하는 단계는,
상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하는 단계 - 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트임 -를 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 위반 이벤트 검출 방법은,
기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하는 단계를 더 포함하는 것을 특징으로 하는 위반 이벤트 검출 방법.
위반 이벤트 검출 장치로서,
기설정된 검출 모드에 따라, 처리될 비디오 스트림의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성된 제1 획득 모듈; 및
상기 처리될 비디오 스트림의 검출 결과가 위반 이벤트일 경우, 기설정된 경고 모드 및 상기 검출 결과에 따라, 경고 정보를 생성하도록 구성된 생성 모듈을 포함하는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항에 있어서,
상기 제1 획득 모듈은, 상기 검출 모드가 제1 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 현재 시점의 제1 검출 결과를 획득하고; 상기 제1 검출 결과가 제1 위반 이벤트일 경우, 제1 기설정 기간 내에 추출된 복수 개의 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 복수 개의 처리될 비디오 프레임의 제2 검출 결과를 각각 획득하며 - 상기 제1 기설정 기간은 상기 현재 시점을 시작 시점으로 하는 기간이고, 상기 제1 위반 이벤트는 임의의 하나의 위반 이벤트임 - ; 및 상기 제2 검출 결과가 제1 위반 이벤트에서의 처리될 비디오 프레임의 개수가 기설정 개수 임계값보다 크거나 같을 경우, 상기 처리될 비디오 스트림의 검출 결과를 제1 위반 이벤트로 결정하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항에 있어서,
상기 제1 획득 모듈은, 상기 검출 모드가 제2 검출 모드로 설정될 경우, 현재 시점에서 추출된 처리될 비디오 프레임에 대해 검출 처리를 수행하여, 상기 처리될 비디오 스트림의 검출 결과를 획득하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은, 상기 처리될 비디오 프레임에서 목표 대상의 얼굴 영역 및 인체 영역 중 적어도 하나를 결정하고; 상기 얼굴 영역 및 인체 영역 중 적어도 하나에 대해 행위 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은, 복수 개의 시점에서 추출된 처리될 비디오 프레임에 대해 움직임 검출 처리를 수행하여, 움직이는 목표 대상이 위치하는 영역을 획득하고; 상기 움직이는 목표 대상이 위치하는 영역에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은, 처리될 비디오 프레임의 선명도에 대해 검출 처리를 수행하여, 상기 검출 결과를 획득하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제15항 중 어느 한 항에 있어서,
상기 생성 모듈은, 상기 경고 모드가 제1 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 첫번째 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성하고, 제2 기설정 기간 내에 상기 제2 위반 이벤트에 대응되는 경고 정보를 차단 - 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트임 -하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제15항 중 어느 한 항에 있어서,
상기 생성 모듈은, 상기 경고 모드가 제2 경고 모드로 설정될 경우, 제2 위반 이벤트에 대응되는 검출 결과에 따라, 상기 제2 위반 이벤트에 대응되는 경고 정보를 생성 - 상기 제2 위반 이벤트는 임의의 하나의 위반 이벤트임 -하도록 구성되는 것을 특징으로 하는 위반 이벤트 검출 장치.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 장치는 또한 기설정 주파수에 따라, 처리될 비디오 스트림에 대해 프레임 추출 처리를 수행하여, 처리될 비디오 프레임을 획득하도록 구성된 제2 획득 모듈을 포함하는 것을 특징으로 하는 위반 이벤트 검출 장치.
전자 기기로서,
프로세서; 및
프로세서가 실행가능한 명령어를 저장하기 위한 메모리를 포함하고,
상기 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 위반 이벤트 검출 방법을 실행하도록 구성되는 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능한 저장 매체로서,
컴퓨터 프로그램 명령어를 저장하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 제1항 내지 제9항 중 어느 한 항에 따른 위반 이벤트 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 위반 이벤트 검출 방법을 구현하기 위해 실행되는 것을 특징으로 하는 컴퓨터 프로그램.