KR20210149088A

KR20210149088A - 대상 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Info

Publication number: KR20210149088A
Application number: KR1020217034510A
Authority: KR
Inventors: 아오 장; 티안유안 두; 페이 왕; 첸 퀴안
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2020-05-29
Filing date: 2020-12-21
Publication date: 2021-12-08
Also published as: JP2022538201A; CN111652114B; CN111652114A; JP7224489B2; WO2021238185A1

Abstract

본 발명은 대상 검출 방법, 장치, 전자 기기, 및 저장 매체를 제공하고, 여기서, 상기 대상 검출방법은, 검출될 캐빈 내 이미지를 획득하는 단계 캐빈 내 인원이 감소될 경우, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하는 단계 및 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계를 포함한다.

Description

대상 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램

관련 출원의 상호 참조

본 출원은 출원 번호가 202010477936.9이고, 출원일이 2020년 5월 29일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 추적 기술 분야에 관한 것으로서, 대상 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램에 관한 것이지만 이에 한정되지 않는다.

차량 네트워크의 발전에 따라, 대중교통 수단은 갈수록 많은 사람들에게 이동의 편의를 제공하게 되고, 승차 환경에서, 승객이나 운전자가 일반적으로 개인 소지품을 휴대하게 되며, 따라서 승차 환경에서 승객이 개인 소지품을 잃어버리는 일이 자주 발생하게 되기에, 승차 환경에서의 물품 분실을 효과적으로 방지하고, 승차 환경에서의 물품 안전 향상하는 것은, 시급히 해결되어야 할 문제이다.

본 발명의 실시예는 적어도 하나의 대상 검출 방안을 제공한다.

본 발명의 실시예는, 대상 검출 방법을 제공하고, 상기 방법은,

검출될 캐빈 내 이미지를 획득하는 단계; 캐빈 내 인원이 감소될 경우, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하는 단계; 및 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계는,

감소된 캐빈 내 인원이 승객인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제1 기설정된 시간을 초과하는 것에 응답하여, 제1 프롬프트 정보를 발송하는 단계; 및 감소된 캐빈 내 인원이 운전자인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제2 기설정된 시간을 초과하는 것에 응답하여, 제2 프롬프트 정보를 발송하는 단계 - 상기 제2 프롬프트 정보는 운전자에게 물건이 남아 있음을 알리는데 사용됨 - 를 포함한다.

본 발명의 일부 실시예에 있어서, 감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 상기 검출될 캐빈 내에 검출될 대상이 존재하는 것이 결정된 후, 프롬프트 정보를 발송하기전, 상기 대상 검출 방법은,

상기 검출될 대상이 상기 캐빈에서의 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정하는 단계 - 상기 검출될 대상의 귀속 인원은 운전자 및 승객 중 적어도 하나임 - 를 더 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 단계는,

상기 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻는 단계 - 각 채널에 대응되는 제1 특징맵은, 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵임 -; 각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵을 특징 정보 융합하여, 제2 특징맵을 얻는 단계; 및 상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하는 단계를 포함한다.

각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻는 단계는,

특징 정보 융합을 진행한 복수 개 제1 특징맵에 대해, 상기 복수 개 제1 특징맵에 대응되는 가중치 매트릭스를 결정하는 단계; 및 상기 가중치 매트릭스에 기반하여, 상기 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 각 융합 특징 정보를 포함한 제2 특징맵을 얻는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하는 단계는,

상기 융합된 제2 특징맵에 기반하여, 설정된 개수의 후보 영역을 결정하는 단계 - 각 후보 영역은 설정된 개수의 특징점을 포함함 - ; 각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하는 단계 - 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 상기 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용됨 - ; 및 각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 상기 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별하는 단계 - 상기 검출 영역은 상기 검출될 대상이 상기 검출될 캐빈 내 이미지에서의 위치를 라벨링 하기 위해 사용됨 - ;를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지를 획득하는 단계는,

검출될 캐빈 내 비디오 스트림을 획득하는 단계; 및 상기 검출될 캐빈 내 비디오 스트림이 포함한 연속적인 복수 개 프레임 캐빈 내 이미지에서, 검출될 캐빈 내 이미지를 간격 추출하는 단계를 포함한다.

상기 검출될 캐빈 내 비디오 스트림에서의 각 캐빈 내 이미지를 상기 추적될 이미지로 사용함으로써, 각 첫 번째 프레임이 아닌 추적될 이미지에 대해, 상기 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서의 상기 검출될 대상의 위치 정보 및 상기 첫 번째 프레임이 아닌 추적될 이미지에 기반하여, 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정하는 단계; 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인지 여부를 결정하는 단계; 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상을 검출한 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하는 단계; 및 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상을 검출한 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하는 단계를 더 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 단계는 신경 네트워크에 의해 실행되고;

상기 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를 이용하여 훈련하여 얻는다.

본 발명의 실시예는, 대상 검출 장치를 더 제공하고, 상기 장치는,

검출될 캐빈 내 이미지를 획득하도록 구성된 이미지 획득 모듈; 캐빈 내 인원이 감소될 경우, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하도록 구성된 이미지 검출 모듈; 및 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하도록 구성된 프롬프트 모듈을 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하도록 구성된 상기 프롬프트 모듈은, 또한,

본 발명의 일부 실시예에 있어서, 감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 이미지 검출 모듈이 상기 검출될 캐빈 내에 검출될 대상이 존재하는 것을 결정한 후, 프롬프트 정보를 발송하기전, 상기 이미지 검출 모듈은,

상기 검출될 대상이 상기 캐빈에서의 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정하는 단계; - 상기 검출될 대상의 귀속 인원은 운전자 및 승객 중 적어도 하나임 - 를 더 포함한다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하도록 구성된, 상기 이미지 검출 모듈은, 또한,

상기 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻고; - 각 채널에 대응되는 제1 특징맵은, 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵임 - ;

각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻으며;

상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하도록 구성된다.

각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻도록 구성된, 상기 이미지 검출 모델은,

특징 정보 융합을 진행한 복수 개 제1 특징맵에 대해, 상기 복수 개 제1 특징맵에 대응되는 가중치 매트릭스를 결정하고,

상기 가중치 매트릭스에 기반하여, 상기 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 각 융합 특징 정보를 포함한 제2 특징맵을 얻도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하도록 구성된 이미지 검출 모듈은, 또한,

상기 융합된 제2 특징맵에 기반하여, 설정된 개수의 후보 영역을 결정하고 - 각 후보 영역은 설정된 개수의 특징점을 포함함 - ;

각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하며 - 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 상기 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용됨 -;

각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 상기 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별하도록 구성 - 상기 검출 영역은 상기 검출될 대상이 상기 검출될 캐빈 내 이미지에서의 위치를 라벨링 하기 위해 사용됨 - 된다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지를 획득하도록 구성된, 상기 이미지 획득 모델은,

검출될 캐빈 내 비디오 스트림을 획득하고;

상기 검출될 캐빈 내 비디오 스트림이 포함한 연속적인 복수 개 프레임 캐빈 내 이미지에서, 검출될 캐빈 내 이미지를 간격 추출하여 얻도록 구성된다.

상기 검출될 캐빈 내 비디오 스트림에서의 각 캐빈 내 이미지를 상기 추적될 이미지로 사용함으로써, 각 첫 번째 프레임이 아닌 추적될 이미지에 대해, 상기 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서의 상기 검출될 대상의 위치 정보 및 상기 첫 번째 프레임이 아닌 추적될 이미지에 기반하여, 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정하고;

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인지 여부를 결정하고;

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하고;

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하도록 더 구성된다.

본 발명의 일부 실시예에 있어서, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 것은 신경 네트워크에 의해 실행되고;

상기 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를 이용하여 훈련하여 얻었다.

본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 어느 한 대상 검출 방법을 실행한다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 어느 한 대상 검출 방법을 실행한다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함한 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 상기 어느 한 대상 검출 방법을 구현하기 위한 것이다.

본 발명의 실시예에서, 캐빈 시나리오에서 남은 물품을 검출하는 방식을 제공하고, 검출될 캐빈 내 이미지를 획득하는 것을 통해, 캐빈 내 인원이 감소될 경우, 획득된 캐빈 내 이미지에 대해 타깃 검출을 진행할 수 있음으로써, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부에 대해 결정할 수 있고, 예시적으로, 상기 검출될 대상이 캐빈 내 인원이 분실한 물품일 수 있고, 이로써 캐빈 내 인원이 분실한 물품이 검출될 경우, 프롬프트를 진행할 수 있고, 승차 환경에서의 물품 분실 확률을 줄이고, 승차 환경에서 물품의 안전성을 향상시킬 수 있다.

본 발명의 상기 목적 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.

본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술방안을 설명하기 위한 것이다.
이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 대상 검출 방법의 흐름 모식도이다.
도 2는 본 발명의 실시예에서 제공한 검출될 대상에 대해 검출을 진행하는 방법 흐름도이다.
도 3은 본 발명의 실시예에서 제공한 검출될 캐빈 내 이미지에서 검출될 대상의 검출 영역을 결정하는 방법 흐름도이다.
도 4는 본 발명의 실시예에서 제공한 검출될 대상에 대해 추적을 진행하는 방법 흐름도이다.
도 5는 본 발명의 실시예에서 제공한 신경 네트워크의 타깃 검출 네트워크의 훈련방법의 흐름도이다.
도 6은 본 발명의 실시예에서 제공한 신경 네트워크의 타깃 검출 네트워크의 훈련방법의 다른 흐름도이다.
도 7은 본 발명의 실시예에서 제공한 대상 검출 장치의 구조 모식도이다.
도 8은 본 발명의 실시예에서 제공한 전자 기기의 예시도이다.

본 발명의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐임은 자명한 것이다.

일반적으로 이 곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다.

따라서, 아래 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다.

본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.

유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 정의 및 해석을 추가적으로 진행할 필요가 없다.

일부 공공장소의 경우, 물품을 분실하는 현상이 자주 발생하고, 예를 들어 승차 환경에서, 승객이 개인 물품을 분실하는 경우가 종종 발생하며, 일반적으로 승객은 물품을 분실한후, 생각이 나서야 잃어 버린 물품을 찾기 위해 다시 돌아오고, 이 과정은 비교적 오래 걸리고, 비교적 번걸롭기 때문에, 승차환경에서의 물품 분실을 효과적으로 방지하고, 승차 환경에서의 물품 안전을 향상하는 것은, 본 발명의 실시예에서 해결해야 할 문제이다.

상기 연구에 기반하여, 본 발명의 실시예에서, 캐빈 시나리오에서 남은 물품을 검출하는 방식을 제공하고, 검출될 캐빈 내 이미지를 획득하는 것을 통해, 캐빈 내 인원이 감소될 경우, 획득된 캐빈 내 이미지에 대해 타깃 검출을 진행할 수 있음으로써, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부에 대해 결정할 수 있고, 예시적으로, 상기 검출될 대상이 캐빈 내 인원이 분실한 물품일 수 있고, 이로써 캐빈 내 인원이 분실한 물품이 검출될 경우, 프롬프트를 진행할 수 있고, 승차 환경에서의 물품 분실 확률을 줄이고, 승차 환경에서 물품의 안전성을 향상시킬 수 있다.

본 발명의 실시예의 이해를 돕기 위해, 먼저 본 발명의 실시예가 공개한 대상 검출 방법에 대해 상세히 소개하고, 본 발명의 실시예에서 제공한 타깃 검출 방법의 실행 주체는 일반적으로 일정한 계산 능력을 가진 컴퓨터 기기이고, 상기 컴퓨터 기기는 단말 기기 또는 서버 또는 기타 처리 기기이며 단말 기기는 사용자 기기(User Equipment，UE), 모바일 기기, 사용자 단말 등이 될수 있다.

일부 가능한 구현 방식에 있어서, 상기 대상 검출 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.

도 1에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 대상 검출 방법의 흐름도이고, 상기 방법은 단계 S101 내지 단계 103을 포함한다.

단계 S101에 있어서, 검출될 캐빈 내 이미지를 획득한다.

여기서, 상기 캐빈은 택시 캐빈, 기차 캐빈 또는 비행기 캐빈 등 대중 교통 수단의 캐빈일 수 있고; 검출될 캐빈 내 이미지는 캐빈 내 고정 위치에 설치된 이미지 수집 기기에 따라 촬영하여 얻은 검출될 캐빈 내 이미지일 수 있다.

단계 S102에 있어서, 캐빈 내 인원이 감소될 경우, 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정한다.

예시적으로, 획득된 검출될 캐빈 내 이미지에 따라 캐빈 내 인원 증가 여부 및 인원 감소 여부를 모니터링 할 수 있고, 캐빈 내 인원이 감소된 것이 검출 될 경우, 획득된 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행할 수 있고, 예를 들어 캐빈 내 감소된 인원의 분실 물품이 계속하여 존재하는지 여부에 대해 검출 할 수 있다.

예시적으로, 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 것은, 미리 설치된 승객 또는 운전자가 쉽게 분실하는 물품을 검출하기 위함이고, 예를 들어, 휴대폰, 지갑, 핸드백, 여행 가방 등 물품이다.

단계 S103에 있어서, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송한다.

예시적으로, 캐빈 내에 인원 감소가 존재할 경우, 인원이 캐빈을 떠난 것이 검출 될 경우, 캐빈 내에 캐빈 인원의 분실된 물품이 여전히 존재하는 것이 검출될 경우, 프롬프트를 진행하여, 캐빈을 떠난 인원에 대해 프로프트를 진행할 수 있다.

본 발명의 실시예에서, 캐빈 시나리오에서 남은 물품을 검출하는 방식을 제공하고, 검출될 캐빈 내 이미지를 획득하는 것을 통해, 이로써 캐빈 내 인원이 감소될 경우, 획득된 캐빈 내 이미지에 대해 타깃 검출을 진행할 수 있음으로써, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부에 대해 결정할 수 있고, 예시적으로, 상기 검출될 대상이 캐빈 내 인원이 분실한 물품일 수 있고, 이로써 캐빈 내 인원이 분실한 물품이 검출될 경우, 프롬프트를 진행할 수 있고, 승차 환경에서의 물품 분실 확률을 줄이고, 승차 환경에서 물품의 안전성을 향상시킬 수 있다.

상기 단계 S103에 있어서, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계는,

감소된 객실내 인원이 승객인 경우, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제1 기설정된 시간을 초과하는 것에 응답하여, 제1 프롬프트 정보를 발송하는 단계 - 제1 프롬프트 정보는 승객 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - ;

감소된 객실내 인원이 운전자인 경우, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제2 기설정된 시간을 초과하는 것에 응답하여, 제2 프롬프트 정보를 발송하는 단계 - 제2 프롬프트 정보는 운전자 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - ;를 포함한다.

예시적으로, 여기서의 제1 기설정된 시간 및 제2 기설정된 시간은 같을 수도 있고, 다를 수도 있으며, 운전자가 짧은 시간 동안만 캐빈을 떠날 수 있다는 점을 고려하여, 여기서의 제2 기설정된 시간은 제1 기설정된 시간보다 클 수 있다.

예시적으로, 제1 프롬프트 정보 및 제2 프롬프트 정보는 모두 언어로 방송될 수 있으며, 여기서 제1 프롬프트 정보는 승객 또는 운전자를 프롬프트 하기 위해 사용되고, 제2 프롬프트 정보는 운전자를 프롬프트 하기 위해 사용된다.

이로부터 알다 싶이, 본 발명의 실시예에서, 다른 유형의 캐빈 내 인원에 대해, 캐빈 내에 분실된 물품이 존재하는 것이 검출될 경우, 각각 프롬프트를 진행함으로써, 승차의 안전을 향상시킨다.

본 발명의 일부 실시예에 있어서, 감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 검출될 캐빈 내에 검출될 대상이 존재하는 것이 결정된 후, 프롬프트 정보를 발송하기전, 대상 검출 방법은,

검출될 대상이 상기 캐빈에서의 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정하는 단계 - 상기 검출될 대상의 귀속 인원은 운전자 및 승객 중 적어도 하나임 - ;

획득된 검출될 캐빈 내 이미지에 따라, 각 캐빈 내 인원이 캐빈 내에서의 위치, 및 상기 캐빈 내 인원에 대응되는 검출될 물품을 결정할 수 있고, 이로써 검출될 대상과 위치의 연관 관계, 및 위치와 캐빈 내 인원간의 연관 관계를 구축할 수 있고, 다음 추가적으로 검출될 대상이 캐빈 내 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정할 수 있다. 검출될 대상의 귀속 인원이 결정된 후 귀속 인원에 따라 상응되는 프롬프트 정보를 발송하는 단계를 더 포함한다.

이로부터 알다 싶이, 본 발명의 실시예에서, 검출될 대상이 캐빈에서의 위치에 기반하여, 검출될 대상의 귀속 인원을 결정할 수 있음으로써, 향후 분류 프롬프트를 진행하기에 편리하다.

일 실시 방식에 있어서, 상기 단계 S102에 있어서, 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행할 경우, 도 2에 도시된 바를 참조하면, 아래와 같은 단계 S201 내지 단계 S203을 포함할 수 있고, 여기서:

단계 S201에 있어서, 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻고; 여기서 각 채널에 대응되는 제1 특징맵은, 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵이다.

검출될 캐빈 내 이미지에 대해 특징 추출을 진행하는 것은, 미리 훈련된 특징 추출 네트워크를 통해 특징 추출을 진행하여, 복수 개 기설정된 채널에 대응되는 제1 특징맵을 얻고, 여기서 각 채널은 승차 캐빈 내 이미지의 이미지 특징 카테고리로 이해될 수 있고, 예를 들어 검출될 캐빈 내 이미지에 대해 특징 추출을 진행한 후, 세개의 채널에 각각 대응되는 제1 특징맵을 얻을 수 있고, 여기서 첫 번째 채널은 검출될 캐빈 내 이미지의 텍스처 특징에 대응될수 있고, 두 번째 채널은 검출될 캐빈 내 이미지의 컬러 특징에 대응될수 있고, 세번째 채널은 검출될 캐빈 내 이미지의 사이즈 특징에 대응될수 있으며, 이로써 검출될 캐빈 내 이미지가 각 이미지 특징 카테고리 하의 특성맵을 얻을수 있다.

검출될 대상 및 캐빈 내 배경을 명확하게 구분하기 위해, 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 제1 특징맵을 얻는 과정에서, 각 채널에 대응되는 제1 특징맵에서 검출될 대상을 나타내는 특징 정보 및 캐빈 내 배경을 나타내는 특징 정보에 대해 구분 처리를 진행하고, 예를 들어 검출될 대상을 나타내는 특징 정보에 대해 강화 처리를 할 수 있고, 캐빈 내 배경을 나타내는 특징 정보에 대해 약화 처리를 할 수 있으며, 또는, 검출될 대상을 나타내는 특징 정보에만 강화 처리를 할 수 있고, 또는, 캐빈 내 배경을 나타내는 특징 정보에 대해 약화 처리를 할 수 있음으로써, 얻은 각 제1 특징맵이 나타내는 검출될 대상의 특징 정보의 강도로 하여금 캐빈 내 배경의 특징 정보의 강도보다 크도록 한다.

단계 S202에 있어서, 각 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻는다.

각 채널은 검출될 캐빈 내 이미지가 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징 정보를 나타내는 경향이 있기 때문에, 특징 정보가 더욱 완전한 특징맵을 얻기 위해, 여기서 각 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 복수 종 이미지 특징 카테고리를 포함한 제2 특징맵을 얻을 수 있다.

여기서 각 채널에 대응되는 제1 특징맵에서의 특징 정보는 상기 채널에 대응되는 제1 특징맵에서의 특징 데이터를 통해 표시될 수 있고, 특징 정보 융합은 각 제1 특징맵에서의 특징 데이터 융합을 통해, 융합된 제2 특징맵을 얻는 것을 가리킨다.

제1 특징맵에 기반하여 특징 정보 융합을 진행하여, 제2 특징맵을 얻는 상세한 과정은 아래에서 구체적인 실시예의 형식으로 상세히 설명한다.

단계 S203에 있어서, 융합된 제2 특징맵에 기반하여, 검출될 캐빈 내 이미지에서의 검출될 대상을 검출한다.

여기서, 융합된 제2 특징맵에 기반하여, 검출될 캐빈 내 이미지에서의 검출될 대상을 검출하는 과정은, 미리 훈련된 신경 네트워크에서의 타깃 검출 네트워크에 기반하여, 검출될 캐빈 내 이미지에서의 검출될 대상에 대해 검출을 진행하고, 융합된 제2 특징맵을 상기 미리 훈련된 신경 네트워크에서의 타깃 검출 네트워크에 입력하여, 검출될 캐빈 내 이미지에서의 검출될 대상에 대해 검출을 완성하는 것일 수 있다.

여기서 검출될 캐빈 내 이미지에서의 검출될 대상은 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 가리킬수 있고, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 것이 결정된 경우, 검출될 대상이 상기 검출될 캐빈 내 이미지에서의 위치 정보를 결정한다.

본 발명의 실시예에서, 특징 추출을 통해 얻은 제1 특징맵은 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵이며, 즉 각 제1 특징맵에 포함된 검출될 대상의 특징 정보는 검출될 대상이 아닌 특징 정보에 비해 강화 처리가 진행된 것이고, 이로써 특징 정보를 통해 검출될 대상 및 검출될 캐빈 내 이미지에서의 배경 영역을 명확히 구분하고; 다음 각 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행함으로써, 특징 정보가 더욱 전면적인 검출될 대상을 얻고, 다음 이러한 제2 특징맵에 기반하여 검출될 캐빈 내 이미지에서 검출될 대상에 대한 검출을 완성하고, 검출될 캐빈 내 이미지에서의 검출될 대상을 정확하게 검출할 수 있다.

단계 S202에 있어서, 각 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻는 단계는,

(1)특징 정보 융합을 진행한 복수 개 제1 특징맵에 대해, 복수 개 제1 특징맵에 대응되는 가중치 매트릭스를 결정하는 단계; 및

(2)가중치 매트릭스에 기반하여, 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 각 융합 특징 정보를 포함한 제2 특징맵을 얻는 단계를 포함할 수 있다.

일부 실시예에서, 검출될 캐빈 내 이미지에 대해 특징 추출을 진행한 후, 크기가 h*w*c의 제1 특징맵을 얻고, 여기서 c는 제1 특징맵의 개수를 표시하고, 검출될 캐빈 내 이미지에 특징 추출을 진행한 후 얻은 채널 개수이고, 각 채널은 한개의 제1 특징맵에 대응되고, h*w는 각 제1 특징맵의 크기를 표시하고, 각 제1 특징맵은 h*w개 특징점에 대응되는 특징 데이터를 포함한다.

여기서 복수 개 제1 특징맵에 대해 특징 정보 융합을 진행하는 것을 통해, 얻은 융합된 제2 특징맵의 크기도 h*w*c이고, 각 채널은 한개의 제2 특징맵에 대응되고, 각 제2 특징맵의 크기는 h*w이고, 제2 특징맵에서 어느 한 특징점에 대응되는 특징 데이터는 각 채널에 대응되는 제1 특징 맵과 제2 특징맵에서 상기 어느 한 특징점과 같은 위치의 특징점에 대응되는 특징 데이터를 융합하는 것을 통해 얻었고, 구체적인 융합방식은 아래와 같다.

가중치 매트릭스는 c개 채널에 각각 대응되는 가중 벡터를 포함하고, 각 채널에 대응되는 가중 벡터에서의 가중값은 각 제1 특징맵에서의 특징 데이터가 상기 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시한다.

예를 들어, c가 3일 경우, 검출될 캐빈 내 이미지에 대해 특징 추출을 진행한 후, 3개의 채널에 대응되는 제1 특징맵을 얻고, 즉 3개의 제1 특징맵을 얻고, 각 제1 특징맵은 h*w개 특징점에 대응되는 특징 데이터를 포함하고, 이 h*w개 특징 데이터는 h*w차원의 특징 벡터를 구성할 수 있고, 특징 벡터에서의 각 특징 데이터는, 제1 특징맵에서 각 특징점에 대응되는 특징 데이터이다.

이로써, 각 채널에 대응되는 제1 특징맵의 특징 벡터 및 상기 제1 특징맵이 상기 채널의 제2 특징맵을 구성할 경우에 대응되는 가중값을 결정한 후, 상기 채널에 대응되는 가중치 매트릭스에 따라, 각 채널에 대응되는 제1 특징맵에서의 특징 데이터에 대해 가중 합산을 진행하여, 얻은 상기 채널에 대응되는 제2 특징맵에서의 특징 데이터이다.

이로부터 알다 싶이, 본 발명의 실시예에서, 검출될 대상이 포함한 특징 정보를 풍부하게 하는 것을 통하고, 및 캐빈 내 이미지에서 검출될 대상 및 배경 영역의 구분도를 증가함으로써, 더욱 풍부하고 배경 영역의 구분도가 비교적 큰 특징 정보에 기반하여, 상기 검출될 캐빈 내 이미지에, 검출될 대상의 존재여부, 및 검출될 대상의 위치 정보를 정학하게 결정할 수 있다.

아래 일 실시예에서, 각 채널에 대응되는 제1 특징맵에 융합을 진행하는 것을 통해 융합된 제2 특징맵을 얻는 방법을 설명한다.

검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 3개의 채널에 대응되는 제1 특징맵을 얻고, 각 제1 특징맵의 크기는 h*w이고, 각 제1 특징맵은 h*w개 특징 데이터를 포함하고, 각 제1 특징맵에 대응되는 특징 벡터가 구성한 특징 행렬은：

이라고 가정하고;

여기서,

는 첫 번째 채널에 대응되는 제1 특징맵의 특징 벡터를 표시하기 위해 사용되고 ;

은 첫 번째 채널에 대응되는 제1 특징맵에서 첫 번째 특징점의 특징 데이터를 표시하고,

는 첫 번째 채널에 대응되는 제1 특징맵에서 두 번째 특징점의 특징 데이터를 표시하고;

는 첫 번째 채널에 대응되는 제1 특징맵에서 h*w 번째 특징점의 특징 데이터 표시하며;

는 두 번째 채널에 대응되는 제1 특징맵의 특징 벡터를 표시하기 위해 사용될 수 있고 ;

은 두 번째 채널에 대응되는 제1 특징맵에서 첫 번째 특징점의 특징 데이터를 표시하고,

는 두 번째 채널에 대응되는 제1 특징맵에서 두 번째 특징점의 특징 데이터를 표시하고;

는 두 번째 채널에 대응되는 제1 특징맵에서 h*w 번째 특징점의 특징 데이터 표시하며;

는 세 번째 채널에 대응되는 제1 특징맵의 특징 벡터를 표시하기 위해 사용될 수 있고 ;

은 세 번째 채널에 대응되는 제1 특징맵에서 첫 번째 특징점의 특징 데이터를 표시하고,

는 세 번째 채널에 대응되는 제1 특징맵에서 두 번째 특징점의 특징 데이터를 표시하고;

세 번째 채널에 대응되는 제1 특징맵에서 h*w 번째 특징점의 특징 데이터 표시한다.

3개 제1 특징맵에 대응되는 가중치 매트릭스가,

이라고 가정하고;

여기서,

는 첫 번째 채널에 대응되는 제2 특징맵이 결정된 경우, 다른 제1 특징맵에 각각 대응되는 가중 벡터를 표시하고,

은 첫 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 첫 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

는 두 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 첫 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

은 세 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 첫 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시한다.

여기서,

는 두 번째 채널에 대응되는 제2 특징맵이 결정된 경우, 다른 제1 특징맵에 각각 대응되는 가중 벡터를 표시하고,

은 첫 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 두 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

는 두 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 두 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

은 세 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 두 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시한다.

여기서,

는 세 번째 채널에 대응되는 제2 특징맵이 결정된 경우, 다른 제1 특징맵에 각각 대응되는 가중 벡터를 표시하고,

은 첫 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 세 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

는 두 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 세 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시하고;

은 세 번째 채널에 대응되는 제1 특징맵에서 각 특징 데이터가 세 번째 채널에 대응되는 제2 특징맵을 결정할 경우의 가중값을 표시한다.

일부 실시예에서, 가중치 매트릭스에 기반하여, 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 첫 번째 채널에 대응되는 제2 특징맵을 결정할 경우, 아래 공식(1)에 따라 결정할 수 있다.

(1)

여기서, 첫 번째 채널에 대응되는 제2 특징맵에서 첫 번째 특징점의 특징 데이터는

이고; 첫 번째 채널에 대응되는 제2 특징맵에서 두 번째 특징점의 특징 데이터는

이고; 첫 번째 채널에 대응되는 제2 특징맵에서 h*w 번째 특징점의 특징 데이터는

이다.

마찬가지로, 같은 방식에 따라 두 번째 채널에 대응되는 제2 특징맵 및 세 번째 채널에 대응되는 제2 특징맵을 결정할 수 있다.

상기 융합된 제2 특징맵을 결정하는 방식은, 제1 특징맵에 대응되는 가중치 매트릭스를 결정하는 것을 통해, 각 채널에 대응되는 제2 특징맵을 얻고, 이로써 각 제2 특징맵은 모두 복수 개 채널에 대응되는 이미지 특징 카테고리 하의 특징을 융합을 진행하는 것을 통해 얻은 것이고, 검출될 캐빈 내 이미지에 검출될 대상이 포함될 경우, 융합된 제2 특징맵은 검출될 대상이 더욱 풍부한 특징 정보를 포함할 수 있고, 제1 특징맵에서 검출 대상의 특징에 대해 강화 처리를 진행했기때문에, 제1 특징맵에 기반하여 얻은 융합된 제2 특징맵에서 검출될 대상의 특징 정보 및 배경 영역의 특징 정보 간의 구분도가 비교적 큼으로써, 이후 더욱 풍부하고 배경 영역 구분도가 비교적 큰 특징 정보에 기반하여, 상기 검출될 캐빈 내 이미지에서, 검출될 대상의 존재 여부, 및 검출될 대상의 위치 정보를 정확하게 결정할 수 있다.

융합된 제2 특징맵을 얻은 후, 융합된 제2 특징맵에 따라 검출될 캐빈 내 이미지에서의 검출될 대상을 검출할 수 있고, 일부 실시예에서, 융합된 제2 특징맵에 기반하여, 검출될 캐빈 내 이미지에서의 검출될 대상을 검출할 경우, 도 3에 도시된 바와 같이, 아래와 같은 단계 S301 내지 단계 S303을 포함할 수 있다.

단계 S301에 있어서, 융합된 제2 특징맵에 기반하여, 설정된 개수의 후보 영역을 결정하고, 각 후보 영역은 설정된 개수의 특징점을 포함한다.

여기서 후보 영역은 검출될 대상을 포함한 것일수 있는 영역을 가리키고, 여기서 후보 영역의 개수 및 각 후보 영역에서 포함된 특징점의 설정된 개수는 미리 훈련된 신경 네트워크에서의 후보 영역 추출 네트워크로 결정할 수 있다.

일부 실시예에서, 후보 영역의 설정된 개수는 타깃 검출 네트워크의 테스트 정확도에 기반하여 고려하고, 예를 들어 네트워크의 훈련과정에서, 대량의 검출될 샘플 이미지에 각각 대응되는 융합된 제2 샘플 특징맵에 대해, 계속하여 후보 영역의 개수를 조정하고, 다음 테스트 과정에서, 훈련의 타깃 검출 네트워크에 대해 테스트를 진행하고, 다른 후보 영역에 대응되는 테스트 정확도를 통해, 후보 영역의 설정된 개수를 결정한다.

여기서 각 후보 영역이 포함한 설정된 개수는, 타깃 검출 네트워크의 테스트 속도 및 테스트 정확도에 기반하여 종합적으로 고려하여 사전 결정할 수 있고, 예를 들어 네트워크의 훈련 과정에서, 먼저 후보 영역의 개수가 변하지 않는 것을 유지하고, 계속하여 각 후보 영역이 포함한 특징점의 개수를 조정하며, 다음 테스트 과정에서, 타깃 검출 네트워크에 대해 테스트를 진행하여, 테스트 속도 및 테스트 정확도를 종합적으로 고려하여, 각 후보 영역이 포함한 특징점의 설정된 개수를 결정한다.

단계 S302에 있어서, 각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하며; 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용된다.

각 후보 영역에 포함된 특징점은 모두 대응되는 특징 데이터가 있고, 이러한 특징 데이터에 따라, 상기 후보 영역에 포함한 검출될 대상의 신뢰 가능한 정도를 결정할 수 있고, 예시적으로, 각 후보 영역에 대응되는 신뢰도는, 미리 훈련된 신경 네트워크에서의 타깃 검출 네트워크를 통해 결정할 수 있고, 상기 후보 영역에서의 특징 데이터를 미리 훈련된 신경 네트워크에서의 타깃 검출 네트워크에 입력하여, 상기 후보 영역에 대응되는 신뢰도를 얻을 수 있다.

단계 S303에 있어서, 각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별하도록 구성되고 검출 영역은 검출될 대상이 검출될 캐빈 내 이미지에서의 위치를 라벨링 하기 위해 사용된다.

일부 실시예에서, 각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별할 경우, 여기서 먼저 설정된 개수의 후보 영역에서 신뢰도가 배열되기 전의 설정된 개수의 타깃 후보 영역을 선별하고, 다음 기설정된 신뢰도의 임계값 및 다른 후보 영역 간의 중첩 영역에 기반하여, 검출될 대상에 대응되는 검출 영역을 더 결정한다.

예를 들어, 대응되는 신뢰도가 상기 신뢰도의 임계값보다 높은 타깃 후보 영역을 검출될 대상에 대응되는 검출 영역으로 사용할 확률이 높다고 간주하고, 후보 영역간에 중첩되는 후보 영역이 존재하는 경우를 종합적으로 고려하면, 중첩이 발생한 후보 영역의 중첩 면적이 설정된 면적 임계값보다 큰 경우, 중첩이 발생한 후보 영역이 포함한 검출될 대상은 같은 검출될 대상일 수 있음을 설명하고, 상기 고려에 기반하여, 추가적으로 타깃 후보 영역에서 타깃 대상에 대응되는 검출 영역을 선택하고, 예를 들어, 타깃 후보 영역에서 신뢰도가 신뢰도 임계값보다 높은 타깃 후보 영역을 보류하고, 중첩 영역이 발생한 타깃 후보 영역에서 신뢰도가 제일 높은 타깃 후보 영역을 보류하고, 검출될 대상에 대응되는 검출 영역을 얻는다.

이상의 설정된 개수의 후보 영역에서 신뢰도가 배열되기 전의 설정된 개수의 타깃 후보 영역을 선별을 실행하는 과정은, 타깃 검출 네트워크에 따라 결정할 수 있고, 구체적으로는 타깃 검출 네트워크의 테스트 속도 및 테스트 정확도에 기반하여 종합적으로 고려하여 미리 결정할 수 있고, 예를 들어 네트워크 훈련 과정에서, 계속하여 타깃 후보 영역의 개수를 조정하고, 다음 테스트 과정에서, 타깃 검출 네트워크에 대해 테스트를 진행하며, 테스트 속도 및 테스트 정확도를 종합적으로 고려하여, 여기서의 타깃후보 영역의 설정된 개수를 결정한다.

물론, 여기서의 각 후보 영역에 대응되는 신뢰도는 모두 설정된 임계값보다 작고, 상기 검출될 캐빈 내 이미지에는 검출될 대상이 존재하지 않는다는 것을 설명할 수 있고, 상기 상황은 본 발명의 실시예에서 상세히 설명하지 않는다.

상기 단계 S301 내지 단계 S303에 따라 검출될 캐빈 내 이미지에서 검출될 대상을 포함한 검출 영역을 획득할 수 있고, 검출될 대상이 검출될 캐빈 내 이미지에서의 위치를 얻을 수 있고, 여기서 융합된 제2 특징맵을 통해 후보 영역을 결정하고, 이는 융합된 제2 특징맵이 포함한 검출될 대상의 특징 정보와 배경 영역의 특징 정보의 구분도가 비교적 크고, 포함한 검출될 대상의 특징 정보가 더욱 풍부함으로써, 상기 융합된 제2 특징맵에 기반하여, 검출 영역에서 검출될 대상 위치를 표시하는 후보 영역 및 각 후보 영역의 신뢰도를 정확히 얻을 수 있고, 또한 여기서 후보 영역의 중첩 영역이 검출될 대상이 존재 가능한 위치 정보를 추가적으로 선별하는 것을 고려하는 것을 통해, 상기 검출될 캐빈 내 이미지에 검출될 대상 및 검출될 대상의 위치 정보가 존재하는지 여부를 정확히 얻을 수 있다는 것을 제기하였다.

이는 본 발명 실시예서 제기한 대상 검출 방법이 많은 응용 시나리오에서, 계속하여 검출될 캐빈 내 이미지를 획득해야 하고, 검출될 캐빈 내 이미지에 검출을 진행해야 하기 때문이고, 예를 들어 교통 운송 시나리오 하의 분실된 물품에 대해 검출을 진행할 경우, 차량 내에 이미지 컬렉션 부품을 설치하는 것을 통할 수 있고, 예를 들어 차량 내에 카메라를 설치하고, 상기 카메라를 설정된 위치를 향하게 하여 촬영을 진행하게 하고, 이때, 아래의 단계에 따라 검출될 캐빈 내 이미지를 획득할 수 있다.

단계 (1)에 있어서, 검출될 캐빈 내 비디오 스트림을 획득한다.

단계 (2)에 있어서, 검출될 캐빈 내 비디오 스트림이 포함한 연속적인 복수 개 프레임 캐빈 내 이미지에서, 검출될 캐빈 내 이미지를 간격 추출하여 얻는다.

예시적으로, 교통 운송 시나리오 하의 분실된 물품에 대해 검출을 진행할 경우, 여기서의 검출될 캐빈 내 비디오 스트림은 이미지 컬렉션 부품이 차량 내의 설정된 위치에서 촬영한 비디오 스트림일 수 있고, 매초 수집한 비디오 스트림은 연속적인 복수 개 프레임 캐빈 내 이미지를 포함할 수 있고, 인접한 두 프레임 이미지 간의 시간 간격이 비교적 짧기에, 따라서 인접한 두 프레임의 캐빈 내 이미지의 유사도가 비교적 높고, 검출 효율을 향상시키기 위해, 여기서 연속적인 복수 개 프레임 캐빈 내 이미지에서 간격 추출을 진행하는 것을 제기하고, 상기 제기한 검출될 캐빈 내 이미지를 얻고, 예를 들어, 특정된 시간 내에 얻은 검출될 캐빈 내 비디오 스트림에는 1000프레임 이미지를 포함하고, 매 간격 프레임에 따라 한번씩 추출을 하여, 500프레임 검출될 캐빈 내 이미지를 얻을 수 있고, 여기서 이러한 500 프레임 검출될 캐빈 내 이미지에 대해 검출을 진행하여, 캐빈 내 분실된 물품에 대해 검출을 진행하는 목적을 완성할 수 있다.

여기서 간격 방식에 따라 검출될 캐빈 내 이미지를 추출하고, 검출될 캐빈 내 비디오 스트림에서 검출을 진행해야 할 검출될 캐빈 내 이미지를 얻고, 검출 효율을 향상시킬 수 있다.

다른 실시 방식에 있어서, 상기 단계102에 있어서, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행할 경우, 검출될 대상이 매 프레임 캐빈 내 이미지에서의 위치 정보에 대해 추적을 진행하고, 도 4에 도시된 바와 같이, 아래와 같은 단계 S401 내지 단계 S404을 더 포함할 수 있다.

단계 S401에 있어서, 검출될 캐빈 내 비디오 스트림에서의 각 캐빈 내 이미지를 상기 추적될 이미지로 사용함으로써, 각 첫 번째 프레임이 아닌 추적될 이미지에 대해, 상기 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서의 검출될 대상의 위치 정보 및 상기 첫 번째 프레임이 아닌 추적될 이미지에 기반하여, 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정한다.

검출될 대상에 대해 추적을 진행할 경우, 검출될 캐빈 내 비디오 스트림에서의 제2 프레임의 캐빈 내 이미지부터 시작하여, 차례로 검출될 대상에 대해 추적을 진행할 수 있고, 제1 프레임의 캐빈 내 이미지에서 검출될 대상의 위치 정보는 상기 타깃 검출 방식을 통해 결정할 수 있고, 예를 들어 상기 방식에 따라, 간격 추출된 캐빈 내 이미지에 대해 대상 검출을 진행하고, 검출될 대상이 간격 추출한 캐빈 내 이미지에서의 위치 정보를 각각 결정하고, 예시적으로, 예를 들어 제1 프레임의 캐빈 내 이미지, 제3 프레임 캐빈 내 이미지, 제5프레임 캐빈 내 이미지 등 단수 개 프레임 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 검출될 대상이 제2 프레임의 캐빈 내 이미지에서의 위치 정보를 추적할 경우, 제1 프레임의 캐빈 내 이미지에서의 검출될 대상의 위치 정보 및 상기 제2 프레임의 캐빈 내 이미지에 기반하여, 검출될 대상이 제2 프레임의 캐빈 내 이미지에서의 예측 위치 정보를 결정할 수 있다.

구체적으로 검출될 대상에 대해 추적을 진행할 경우, 미리 훈련된 신경 네트워크에서의 타깃 추적 네트워크에 기반하여 추적을 진행할 수 있고, 예를 들어 제1 프레임의 추적될 이미지 및 제2 프레임의 추적될 이미지에 대해, 검출될 대상이 상기 제1 프레임의 추적될 이미지에서의 검출 영역, 및 상기 검출 영역에 포함된 특징점의 특징 데이터에 따라, 여기서의 검출 영역은 대응되는 좌표 정보를 갖고 있고, 상기 검출 영역, 상기 검출 영역에 포함된 특징점의 특징 데이터 및 제2 프레임의 추적될 이미지를 타깃 추적 네트워크에 입력하면, 검출될 대상이 제1 프레임의 추적될 이미지에서의 검출 영역에 대응되는 좌표 정보에 기반하여, 제2 프레임의 추적될 이미지에 상기 좌표 정보에 대응되는 부분 영역내에서 상기 검출 영역에 포함된 특징점의 특징 데이터의 유사도가 임계값을 초과하는 검출 영역의 존재하는지 여부를 찾을 수 있고, 존재하는 경우, 제2 프레임의 추적될 이미지가 제1 프레임의의 추적될 이미지에서의 검출될 대상을 포함한다는 것을 결정할 수 있고, 제1 프레임의 추적될 이미지에서의 검출될 대상이 제2 프레임의 추적될 이미지에서의 위치 정보를 얻을 수 있고, 검출될 대상에 대한 추적을 완성한다.

물론, 제2 프레임의 추적될 이미지에서 상기 좌표 정보에 대응되는 부분 영역내에 상기 검출 영역에 포함된 특징점의 특징 데이터의 유사도가 임계값을 초과하는 검출 영역이 존재하지 않을 경우, 제2 프레임의 추적될 이미지는 제1 프레임의 추적될 이미지에서의 검출될 대상을 포함하지 않는다고 설명할 수 있고, 상기 검출될 대상이 위치 이동이 발생했다는 것을 결정할 수 있다.

단계 S402에 있어서, 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인지 여부를 결정한다.

상기 첫 번째 프레임이 아닌 추적될 이미지에 포함된 검출될 대상의 예측 위치 정보를 얻은 후, 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보에 기반하여, 상기 검출될 대상이 다음 프레임의 추적될 이미지에서의 위치 정보를 예측한다.

이에 앞서, 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상의 검출될 캐빈 내 이미지를 검출하는지 여부를 먼저 결정하여, 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보에 기반하여 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보에 대해 수정을 진행하는지 여부를 고려하기 편리함으로써, 수정된 위치 정보에 기반하여, 검출될 대상이 다음 프레임의 추적될 이미지에서의 위치를 추적한다.

단계 S403에 있어서, 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용한다. 상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용한다.

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하고, 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보에 대한 수정을 완성하고, 향후 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보에 기반하여, 상기 검출될 대상에 대해 추적을 진행할 경우, 더욱 정확할 수 있다.

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 이때 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보에 기반하여, 상기 검출될 대상이 다음 프레임의 추적될 이미지에서의 위치에 대해 계속하여 추적을 진행할 수 있고, 상기 방식은 매 순간 검출될 대상이 캐빈 내의 위치를 추정할 수 있음으로써, 추적 효율을 향상시킨다.

본 발명의 실시예에서, 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서 검출될 대상의 위치 정보에 기반하여, 상기 첫 번째 프레임이 아닌 추적될 이미지에 대해 추적을 진행하여, 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정할 수 있고, 추적 과정에서, 검출된 위치 정보에 기반하여, 예측 위치 정보를 조정할 수 있고, 이로써, 검출될 대상에 대한 추적의 효율 및 정확도를 향상시킬 수 있다.

일 실시 방식에 있어서, 본 발명 실시예에서 제기한 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 것은 신경 네트워크에 의해 실행되고, 여기서의 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플이미지를 이용하여 훈련하여 얻는다.

예시적으로, 신경 네트워크에서 타깃 검출을 진행하는 네트워크는 아래 방식에 따라 훈련하여 얻을 수 있고, 도 5에 도시된 바와 같이, 구체적으로 단계 S501 내지 단계 505를 포함한다.

단계 S501에 있어서, 검출될 캐빈 내 샘플 이미지를 획득한다.

여기서의 검출될 캐빈 내 샘플 이미지는 검출될 샘플 대상을 포함한 캐빈 내 샘플 이미지를 포함하고, 양의 샘플 이미지로 기록할 수 있고, 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를, 음의 샘플 이미지로 기록할 수 있다.

차량 내 시나리오 하의 물품 검출을 고려할 경우, 분실된 물품이 캐빈 내 샘플 이미지에서의 모양은 여러가지 색 블록일 수 있고, 예를 들어 휴대폰, 여행가방 등은 직사각형 색 블록을 통해 표시할 수 있고, 물컵은 원주형 색 블록을 통해 표시할 수 있으며, 신경 네트워크로 하여금 검출될 대상, 차량 내 배경, 안장, 창문 등 배경을 더욱 잘 식별하도록 하기 위해, 여기서 캐빈 내 샘플 이미지에 일부 검출될 물품이 아닌 랜덤 색 블록을 추가하여, 검출될 대상이 아님을 표시할 수 있고, 신경 네트워크를 훈련하는 것을 통해 계속하여 실제 검출될 대상 및 실제가 아닌 랜덤 색 블록 및 차량 내 배경에 대해 구분을 진행함으로써, 정확도가 비교적 높은 신경 네트워크를 얻는다.

단계 S502에 있어서, 검출될 캐빈 내 샘플 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 샘플 특징맵을 얻고; 여기서 각 채널에 대응되는 제1 샘플 특징맵은, 검출될 샘플 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 샘플 특징맵이다.

여기서 검출될 샘플 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 샘플 특징맵을 얻는 과정은, 전술한 바와 같이 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻는 과정과 유사하기에, 이에 대해 더이상 반복하여 설명하지 않는다.

단계 S503에 있어서, 각 채널에 대해, 상기 채널에 대응되는 제1 샘플 특징맵 및 다른 채널에 각각 대응되는 제1 샘플 특징맵에 특징 정보 융합을 진행하여, 융합된 제2 샘플 특징맵을 얻는다.

여기서 제1 샘플 특징맵에 기반하여, 융합된 제2 샘플 특징맵을 얻는 과정은, 전술한 바와 같이 제1 특징맵에 기반하여, 융합된 제2 특징맵을 얻는 과정과 유사하기에, 이에 대해 더이상 반복하여 설명하지 않는다.

단계 S504에 있어서, 융합된 제2 샘플 특징맵에 기반하여, 검출될 캐빈 내 샘플 이미지에서의 검출될 샘플 대상을 예측한다.

여기서 융합된 제2 샘플 특징맵에 기반하여, 캐빈 내 샘플 이미지에서의 검출될 샘플 대상을 미리 보존하고, 전술한 바와 같이 융합된 제2 특징맵에 기반하여, 검출될 캐빈 내 이미지에서의 검출될 대상을 검출하는 과정과 유사하기에, 이에 대해 더이상 반복하여 설명하지 않는다.

단계 S505에 있어서, 예측된 검출될 캐빈 내 샘플 이미지에서의 검출될 샘플 대상, 검출될 샘플을 포함한 검출될 캐빈 내 샘플 이미지와 검출될 샘플을 포함하지 않은 검출될 캐빈 내 샘플 이미지에 기반하여, 신경 네트워크에서의 네트워크 매개 변수 값에 대해 조정을 진행한다.

여기서 예측된 검출될 캐빈 내 샘플 이미지에서의 검출될 샘플 대상의 위치 정보, 검출될 샘플을 포함한 검출될 캐빈 내 샘플 이미지와 검출될 샘플을 포함하지 않은 검출될 캐빈 내 샘플 이미지를 통해, 예측된 검출될 캐빈 내 샘플 이미지에서의 검출될 샘플 대상의 위치 정보의 손실값을 결정하고, 손실값을 통해 신경 네트워크에서의 네트워크 매개 변수 값에 대해 조정을 진행하고, 여러 번의 훈련을 거친 후, 예를 들어 손실값으로 하여금 설정된 임계값보다 작도록 할 경우, 훈련을 멈출 수 있음으로써, 훈련이 완성된 신경 네트워크를 얻을 수 있다.

또한, 전술한 바와 같이 검출될 이미지에 대해 추적을 진행할 경우, 본 발명의 실시예는 신경 네트워크에서의 타깃 추적 네트워크에 대해 훈련을 진행하는 과정을 더 포함할 수 있고, 여기서 검출될 샘플 대상을 통해, 검출될 샘플 대상을 포함한 추적될 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 추적될 샘플 이미지를 훈련하여 얻을 수 있다.

여기서의 검출될 샘플 대상은 추적을 진행해야 할 샘플 대상을 가리킬 수 있고, 예를 들어 차량 내 시나리오 하의 물품 검출의 경우, 여기서의 검출될 샘플 대상은 각종 차량 내 시나리오 하의 승객 물품이 될 수 있다.

예시적으로, 네트워크에서 타깃 추적 네트워크는 아래 방식에 따라 훈련하여 얻을 수 있고, 도 6에 도시된 바와 같이, 구체적으로 단계 S601 내지 단계 603을 포함한다.

단계 S601에 있어서, 추적될 샘플 이미지 및 검출될 샘플 대상에 대응되는 검출될 샘플 대상 정보를 획득한다.

여기서의 추적될 샘플 이미지는 검출될 샘플 대상에 대해 추적을 진행해야 할 샘플 이미지를 가리킬 수 있고, 여기서의 추적될 샘플 이미지는 검출될 샘플 대상을 포함한 양의 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 음의 샘플 이미지를 포함할 수 있다.

신경 네트워크에서의 타깃 추적 네트워크에 대해 훈련을 진행할 경우, 검출될 샘플 대상의 검출 영역 이미지 및 추적될 샘플 이미지를 동시에 입력하여 신경 네트워크를 진행할 수 있고, 상기 검출될 샘플 대상의 검출 영역 이미지는 검출될 샘플 대상에 대응되는 검출될 샘플 대상 정보를 포함하고, 검출될 대상의 검출 영역, 및 상기 검출 영역에 포함된 특징점의 특징 데이터를 포함할 수 있다.

물론, 캐빈 내 시나리오 하의 물품 검출의 경우, 신경 네트워크로 하여금 검출될 대상, 차량 내 배경, 안장, 창문 등 배경을 더욱 잘 식별하도록 하기 위해, 여기서 추적될 샘플 이미지에 일부 검출될 대상이 아닌 랜덤 색 블록을 추가하여, 검출될 대상이 아님을 표시할 수 있고, 신경 네트워크를 훈련하는 것을 통해 계속하여 실제 검출될 대상 및 실제가 아닌 랜덤 색 블록 및 차량 내 배경에 대해 구분을 진행함으로써, 정확하게 타깃 추적을 진행하는 신경네트워크를 얻는다.

단계 S601에 있어서, 검출될 샘플 대상 정보 및 추적될 샘플 이미지에 기반하여, 검출될 샘플 대상이 샘플 이미지에서의 위치에 대해 추적을 진행하고, 검출될 샘플 대상이 샘플 이미지에서의 위치 정보를 예측한다.

구체적으로, 같은 영역의 연속적으로 획득된 샘플 이미지에서의 검출될 샘플 대상에 대해 추적을 진행할 경우, 먼저 검출될 샘플 대상 정보에서 검출될 샘플 대상에 대응되는 검출 영역에 기반하여, 상기 검출될 샘플 대상이 추적될 샘플 이미지에서의 부분 영역을 결정하고, 여기서의 부분 영역과 검출될 샘플 대상에 대응되는 검출 영역이 가까움으로써, 부분 영역에서 특징 데이터에 기반하여 검출될 샘플 대상을 알아냄으로써, 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치 정보를 예측할 수 있다.

단계 S603에 있어서, 예측된 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치 정보, 검출될 샘플 대상을 포함한 추적될 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 추적될 샘플 이미지에 기반하여, 신경 네트워크에서의 네트워크 매개 변수 값에 대해 조정을 진행한다.

여기서 예측된 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치 정보, 검출될 샘플 대상을 포함한 추적될 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 추적될 샘플 이미지를 통해, 추적될 샘플 이미지에서의 검출될 샘플 대상의 위치 정보의 손실값을 결정하고, 여러 번의 훈련을 거친 후, 손실값을 통해 신경 네트워크에서의 네트워크 매개 변수 값에 대해 조정을 진행하고, 예를 들어 손실값으로 하여금 설정된 임계값보다 작도록 경우, 훈련을 멈출 수 있음으로써, 신경 네트워크의 타깃 추적 네트워크를 얻을 수 있다.

본 발명 실시예에서 제공한 신경 네트워크의 타깃 추적 네트워크의 훈련 과정은, 추적될 샘플 이미지 및 검출될 샘플 대상에 대응되는 검출될 샘플 대상 정보를 획득하는 것을 통해, 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치에 대해 추적을 진행함으로써, 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치를 빨리 결정하고, 다음 예측된 검출될 샘플 대상이 추적될 샘플 이미지에서의 위치 정보, 검출될 샘플 대상을 포함한 추적될 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 추적될 샘플 이미지를 통해, 신경 네트워크의 네트워크 매개 변수 값에 대해 조정을 진행하는 것을 통해, 정확도가 비교적 높은 신경 네트워크를 얻음으로써, 상기 정확도가 비교적 높은 신경 네트워크에 기반하여 검출될 대상에 대해 정확한 추적을 진행할 수 있다.

당업자는 구체적인 실시 형태의 상기 방법에서, 각 단계의 기록 순서가 엄격한 실행 순서를 의미하지 않으며 실시 과정에서 어떠한 제한도 구성하지 않고, 각 단계의 구체적인 실행 순서는 기능 및 가능한 내부 놀리에 따라 결정하는 것으로 이해할 수 있다.

동일한 기술적 사상에 기반하여, 본 발명의 실시예는 대상 검출 방법에 대응되는 대상 검출 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리가 본 발명의 실시예에 따른 대상 검출 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복되는 부분은 더이상 반복하여 설명하지 않는다.

도 7에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 대상 검출 장치(700)의 예시도로서, 상기 검출 장치(700)는 이미지 획득 모듈(701), 이미지 검출 모듈(702), 프롬프트 모듈(703) 를 포함한다.

이미지 획득 모듈(701)은 검출될 캐빈 내 이미지를 획득하고;

이미지 검출 모듈(702)은 캐빈 내 인원이 감소될 경우, 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하고;

프롬프트 모듈(703), 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 경우에 응답하여, 프롬프트 정보를 발송하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 프롬프트 모듈(703)은 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하도록 구성되고 상기 프롬프트 모듈(703)은 또한,

감소된 캐빈 내 인원이 승객인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제1 기설정된 시간을 초과하는 것에 응답하여, 제1 프롬프트 정보를 발송하는 단계; 및 감소된 캐빈 내 인원이 운전자인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제2 기설정된 시간을 초과하는 것에 응답하여, 제2 프롬프트 정보를 발송하는 단계 - 상기 제2 프롬프트 정보는 운전자에게 물건이 남아 있음을 알리는 데 사용됨 - 를 포함한다.

본 발명의 일부 실시예에 있어서, 감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 이미지 검출 모듈(702)이 상기 검출될 캐빈 내에 검출될 대상이 존재하는 것을 결정한 후, 프롬프트 정보를 발송하기전, 상기 이미지 검출 모듈(702)은,

본 발명의 일부 실시예에 있어서, 상기 이미지 검출 모듈(702)은 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하도록 구성되고, 상기 이미지 검출 모듈(702)은 또한,

본 발명의 일부 실시예에서, 상기 이미지 검출 모델(702)은, 각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻도록 구성되고, 상기 이미지 검출 모델(702)은 또한,

본 발명의 일부 실시예에 있어서, 이미지 검출 모듈(702)은, 상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하도록 구성되고 이미지 검출 모듈(702)은 또한,

각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하며; - 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 상기 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용됨 -;

본 발명의 일부 실시예에 있어서, 상기 이미지 획득 모델(701)은, 상기 검출될 캐빈 내 이미지를 획득하도록 구성되고, 상기 이미지 획득 모델(701)은 또한,

검출될 캐빈 내 비디오 스트림을 획득하고;

본 발명의 일부 실시예에 있어서, 상기 이미지 검출 모듈(702)은, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하도록 구성된, 상기 이미지 검출 모듈(702)은 또한,

상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하도록 구성된다.

본 발명의 일부 실시예에 있어서, 대상 검출 장치는 신경 네트워크 훈련 모듈(704)를 더 포함하고, 신경 네트워크 훈련 모듈(704)는,

검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 신경 네트워크를 훈련하고, 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를 이용하여 훈련하여 얻도록 구성된다.

도 1에서의 대상 검출 방법에 대응하여, 본 발명의 실시예는 전자 기기(800)를 더 제공하고, 도 8에 도시된 바와 같이, 본 발명의 실시예에서 제공한 전자 기기(800) 구조 예시도이고, 상기 전자 기기(800)는,

프로세서(81), 메모리(82), 및 버스(83)를 포함하고; 메모리(82)는 실행 명령어를 저장하도록 구성되고, 내부 저장소(821) 및 외부 메모리(822)를 포함하며; 여기서 내부 저장소(821)는 내부 메모리로도 지칭되고, 프로세서(81)에서의 연산 데이터, 및 하드웨어 등 외부 메모리(822)와 교환되는 데이터를 잠시 저장하고, 프로세서(81)는 내부 저장소(821)를 통해 외부 메모리(822)와 데이터 교환을 진행하도록 구성되며, 상기 전자 기기(800)가 작동되는 경우, 프로세서(81)와 메모리(82) 사이는 버스(83)를 통해 통신하고, 프로세서(81)로 하여금 상기 방법 실시예의 어느 한 대상 검출 방법을 실행하도록 한다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실시예에서의 어느 한 대상 검출 방법을 실행한다.

여기서, 상기 컴퓨터 판독 가능한 저장 매체는 휘발성 컴퓨터 판독 가능한 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예에서 제공한 대상 검출 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 기록된 컴퓨터 판독 가능한 저장 매체를 포함하며, 프로그램 코드에 포함된 명령어는 상기 방법 실시예의 임으의 대상 검출 방법을 실행하는데 사용될 수 있으며, 구체저으로 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터프로그램이 프로세서에 의해 실행될 때 상기 실시예의 어느 한 방법을 구현한다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다.

하나의 선택적인 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.

본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 구체적인 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다.

본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다.

전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다.

또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다.

실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다.

이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다.

전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.

마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 발명의 구체적인 실시형태일 뿐이고, 본 발명의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 발명의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 어느 한 본 기술분야의 공지된 기술자가 본 발명에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 발명의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다.

따라서, 본 발명의 보호 범위는 상기 특허 청구 범위의 보호 범위를 기준으로 해야 한다.

산업상 이용 가능성

본 발명의 실시예는 대상 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램을 제공하고, 여기서, 상기 대상 검출방법은, 검출될 캐빈 내 이미지를 획득하는 단계 캐빈 내 인원이 감소될 경우, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하는 단계 및 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계를 포함한다. 이로써 캐빈 내 인원인 분실한 물품이 존재하는 것이 검출될 경우, 상응한 프롬프트를 진행할 수 있음으로써, 승차 환경에서의 물품 분실 확률을 줄이고, 승차 환경에서 물품의 안전성을 향상시킬 수 있다.

Claims

대상 검출 방법으로서,
검출될 캐빈 내 이미지를 획득하는 단계;
캐빈 내 인원이 감소될 경우, 상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하는 단계; 및
상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계를 포함하는 것을 특징으로 하는 대상 검출 방법.
제 1항에 있어서,
상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하는 단계는,
감소된 객실내 인원이 승객인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제1 기설정된 시간을 초과하는 것에 응답하여, 제1 프롬프트 정보를 발송하는 단계 - 상기 제1 프롬프트 정보는 승객 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - ; 및
감소된 객실내 인원이 운전자인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제2 기설정된 시간을 초과하는 것에 응답하여, 제2 프롬프트 정보를 발송하는 단계 - 상기 제2 프롬프트 정보는 운전자 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - ;를 포함하는 것을 특징으로 하는 대상 검출 방법.
제 1항 또는 제 2항에 있어서,
감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 상기 검출될 캐빈 내에 검출될 대상이 존재하는 것이 결정된 후, 프롬프트 정보를 발송하기전, 상기 대상 검출 방법은,
상기 검출될 대상이 상기 캐빈에서의 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정하는 단계 - 상기 검출될 대상의 귀속 인원은 운전자 및 승객 중 적어도 하나임 - 를 더 포함하는 것을 특징으로 하는 대상 검출 방법.
제 1항 내지 제 3항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 단계는,
상기 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻는 단계; - 각 채널에 대응되는 제1 특징맵은, 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵임 - ;
각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻는 단계; 및
상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하는 단계를 포함하는 것을 특징으로 하는 대상 검출 방법.
제 4항에 있어서,
각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻는 단계는,
특징 정보 융합을 진행한 복수 개 제1 특징맵에 대해, 상기 복수 개 제1 특징맵에 대응되는 가중치 매트릭스를 결정하는 단계; 및
상기 가중치 매트릭스에 기반하여, 상기 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 각 융합 특징 정보를 포함한 제2 특징맵을 얻는 단계를 포함하는 것을 특징으로 하는 대상 검출 방법.
제 4항에 있어서,
상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하는 단계는,
상기 융합된 제2 특징맵에 기반하여, 설정된 개수의 후보 영역을 결정하는 단계 - 각 후보 영역은 설정된 개수의 특징점을 포함함 - ;
각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하는 단계; - 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 상기 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용됨 -; 및
각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 상기 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별하는 단계를 - 상기 검출 영역은 상기 검출될 대상이 상기 검출될 캐빈 내 이미지에서의 위치를 라벨링 하기 위해 사용됨 - 포함하는 것을 특징으로 하는 대상 검출 방법.
제 1항에 있어서,
상기 검출될 캐빈 내 이미지를 획득하는 단계는,
검출될 캐빈 내 비디오 스트림을 획득하는 단계; 및
상기 검출될 캐빈 내 비디오 스트림이 포함한 연속적인 복수 개 프레임 캐빈 내 이미지에서, 검출될 캐빈 내 이미지를 간격 추출하여 얻는 단계를 포함하는 것을 특징으로 하는 대상 검출 방법.
제 7항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 단계는,
상기 검출될 캐빈 내 비디오 스트림에서의 각 캐빈 내 이미지를 상기 추적될 이미지로 사용함으로써, 각 첫 번째 프레임이 아닌 추적될 이미지에 대해, 상기 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서의 상기 검출될 대상의 위치 정보 및 상기 첫 번째 프레임이 아닌 추적될 이미지에 기반하여, 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정하는 단계;
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인지 여부를 결정하는 단계;
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하는 단계; 및
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하는 단계를 더 포함하는 것을 특징으로 하는 대상 검출 방법.
제 1항 내지 제 8항 중 어느 한 항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 것은 신경 네트워크에 의해 실행되고,
상기 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를 이용하여 훈련하여 얻는 것을 특징으로 하는 대상 검출 방법.
대상 검출 장치로서,
검출될 캐빈 내 이미지를 획득하도록 구성된 이미지 획득 모듈;
캐빈 내 인원이 감소될 경우, 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하여, 검출될 캐빈 내 이미지에 검출될 대상이 존재하는지 여부를 결정하도록 구성된 이미지 획득 모듈 ;
검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 경우에 응답하여, 프롬프트 정보를 발송하도록 구성된 이미지 획득 모듈을 포함하는 것을 특징으로 하는 대상 검출 장치.
제 10항에 있어서,
상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 기설정된 시간을 초과하는 것에 응답하여, 프롬프트 정보를 발송하도록 구성된 상기 프롬프트 모듈은 또한,
감소된 객실내 인원이 승객인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제1 기설정된 시간을 초과하는 것에 응답하여, 제1 프롬프트 정보를 발송하고 - 상기 제1 프롬프트 정보는 승객 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - ;
감소된 객실내 인원이 운전자인 경우, 상기 검출될 캐빈 내 이미지에 검출될 대상이 존재하는 상태의 지속 시간이 제2 기설정된 시간을 초과하는 것에 응답하여, 제2 프롬프트 정보를 발송하도록 구성 - 상기 제2 프롬프트 정보는 운전자 물품이 남아 있음을 프롬프트 하기 위해 사용됨 - 되는 것을 특징으로 하는 대상 검출 장치.
제 10항 또는 제 11항에 있어서,
감소된 캐빈 내 인원이 운전자 및 승객 중 적어도 하나이고, 이미지 검출 모듈이 상기 검출될 캐빈 내에 검출될 대상이 존재하는 것을 결정한 후, 프롬프트 정보를 발송하기전, 상기 이미지 검출 모듈은 또한,
상기 검출될 대상이 상기 캐빈에서의 위치에 따라, 상기 검출될 대상의 귀속 인원을 결정도록 구성되는 - 상기 검출될 대상의 귀속 인원은 운전자 및 승객 중 적어도 하나임 - 것을 특징으로 하는 대상 검출 장치.
제 10항 내지 제 12항 중 어느 한 항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하도록 구성된, 상기 이미지 검출 모듈은, 또한,
상기 검출될 캐빈 내 이미지에 대해 특징 추출을 진행하여, 복수 개 채널에서 각 채널에 대응되는 제1 특징맵을 얻고 - 각 채널에 대응되는 제1 특징맵은, 검출될 대상의 상기 채널에 대응되는 이미지 특징 카테고리 하의 특징이 강화 처리된 특징맵임 - ;
각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻으며;
상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하도록 구성되는 것을 특징으로 하는 대상 검출 장치.
제 13항에 있어서,
각 상기 채널에 대해, 상기 채널에 대응되는 제1 특징맵 및 다른 채널에 각각 대응되는 제1 특징맵에 대해 특징 정보 융합을 진행하여, 융합된 제2 특징맵을 얻도록 구성된, 상기 이미지 검출 모델은,
특징 정보 융합을 진행한 복수 개 제1 특징맵에 대해, 상기 복수 개 제1 특징맵에 대응되는 가중치 매트릭스를 결정하고,
상기 가중치 매트릭스에 기반하여, 상기 복수 개 제1 특징맵의 특징 정보에 대해 가중 합산을 진행하여, 각 융합 특징 정보를 포함한 제2 특징맵을 얻도록 구성되는 것을 특징으로 하는 대상 검출 장치.
제 13항에 있어서,
상기 융합된 제2 특징맵에 기반하여, 상기 검출될 캐빈 내 이미지에서의 상기 검출될 대상을 검출하도록 구성된 이미지 검출 모듈은, 또한,
상기 융합된 제2 특징맵에 기반하여, 설정된 개수의 후보 영역을 결정하고 - 각 후보 영역은 설정된 개수의 특징점을 포함함 - ;
각 후보 영역이 포함한 특징점의 특징 데이터에 기반하여, 상기 후보 영역에 대응되는 신뢰도를 결정하며; - 각 후보 영역에 대응되는 신뢰도는 상기 후보 영역에서 상기 검출될 대상을 포함한 신뢰 가능한 정도를 나타내기 위해 사용됨 -;
각 후보 영역에 대응되는 신뢰도 및 다른 후보 영역 간의 중첩 영역에 기반하여, 상기 설정된 개수의 후보 영역에서 검출될 대상에 대응되는 검출 영역을 선별하도록 구성되는 - 상기 검출 영역은 상기 검출될 대상이 상기 검출될 캐빈 내 이미지에서의 위치를 라벨링 하기 위해 사용됨 - 것을 특징으로 하는 대상 검출 장치.
제 10항에 있어서,
상기 검출될 캐빈 내 이미지를 획득하도록 구성된, 상기 이미지 획득 모델은,
검출될 캐빈 내 비디오 스트림을 획득하고;
상기 검출될 캐빈 내 비디오 스트림이 포함한 연속적인 복수 개 프레임 캐빈 내 이미지에서, 검출될 캐빈 내 이미지를 간격 추출하여 얻도록 구성되는 것을 특징으로 하는 대상 검출 장치.
제 16항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하도록 구성된, 상기 이미지 검출 모듈은 또한,
상기 검출될 캐빈 내 비디오 스트림에서의 각 캐빈 내 이미지를 상기 추적될 이미지로 사용함으로써, 각 첫 번째 프레임이 아닌 추적될 이미지에 대해, 상기 첫 번째 프레임이 아닌 추적될 이미지의 이전 프레임의 추적될 이미지에서의 상기 검출될 대상의 위치 정보 및 상기 첫 번째 프레임이 아닌 추적될 이미지에 기반하여, 상기 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 예측 위치 정보를 결정하고;
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인지 여부를 결정하고;
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지인 것으로 결정될 경우, 검출된 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하고;
상기 첫 번째 프레임이 아닌 추적될 이미지가 검출될 대상이 검출된 검출될 캐빈 내 이미지가 아닌 것으로 결정될 경우, 결정된 예측 위치 정보를 검출될 대상이 상기 첫 번째 프레임이 아닌 추적될 이미지에서의 위치 정보로 사용하도록 구성되는 것을 특징으로 하는 대상 검출 장치.
제 10항 내지 제 17항 중 어느 한 항에 있어서,
상기 검출될 캐빈 내 이미지에 대해 타깃 검출을 진행하는 것은 신경 네트워크에 의해 실행되고;
상기 신경 네트워크는 검출될 샘플 대상을 포함한 캐빈 내 샘플 이미지 및 검출될 샘플 대상을 포함하지 않은 캐빈 내 샘플 이미지를 이용하여 훈련하여 얻는 것을 특징으로 하는 대상 검출 장치.
전자 기기로서,
프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1항 내지 제9항 중 어느 한 항에 따른 대상 검출 방법을 실행하는 전자 기기.
컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 대상 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 대상 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.