KR20210142177A - 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리 - Google Patents

Abstract

본 발명은 어린이 상태 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 메모리를 제공하였다. 본 발명은 먼저 캐빈 내의 목표 이미지를 획득하고; 다음, 상기 목표 이미지에서의 어린이를 식별하며; 상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정하며; 마지막에, 상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않은 경우, 경보를 발송한다.

Description

어린이 상태 검출 방법 및 장치, 전자 기기, 메모리

관련 출원의 상호 참조

본 발명은 출원 번호가 202010239259.7이고, 출원일이 2020년 3월 30일인 중국 특허 출원에 기반하여 제출한 것이며, 상기 중국 특허 출원의 우선권을 주장하고, 상기 중국 특허 출원의 모든 내용은 인용 형태로 본 발명에 병합된다.

본 발명은 컴퓨터 시각 기술 분야에 관한 것으로서, 특히 어린이 상태 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 메모리에 관한 것이다.

현재 자동차 전자 업계 발전이 신속하며, 이는 사람들의 승차에 편리하고 편안한 캐빈 환경을 제공하였다. 캐빈 스마트화, 안전화는 현단계 자동차 업계 발전의 중요한 방향이다.

어린이는 신체 발육 등 측면의 제한으로 인해, 승차 위험이 비교적 크다. 차량 탑재 시스템의 안전 감지 측면은, 현재 어린이 승차 안전성에 대해 효과적으로 식별 및 경보를 진행할 수 없기에, 어린이 승차에 안전 측면 문제가 존재하는 것을 초래한다.

이를 감안하여, 본 발명은 적어도 하나의 어린이 상태 검출 방법 및 장치를 제공한다.

제1 측면, 본 발명에서 제공한 어린이 상태 검출 방법은,

캐빈 내의 목표 이미지 획득한 것;

상기 목표 이미지에서의 어린이를 식별한 것;

상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정한 것; 및

상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않을 경우, 경보를 송신하는 것을 포함한다.

본 측면에서, 캐빈 내 어린이 및 어린이 위치의 식별을 통하여, 캐빈 내의 어린이가 뒷좌석에 위치하는지 여부를 판정하고, 어린이가 뒷좌석에 위치하지 않을 경우, 경보를 송신하며, 어린이가 승차 시 안전 상태를 식별하는 정확도를 효과적으로 향상하고, 어린이 승차의 안전성을 높이는데 유리하다.

한 가지 가능한 실시 형태에 있어서, 상기 어린이 상태 검출 방법은,

상기 어린이의 위치 정보 및 상기 목표 이미지에서의 안전 좌석의 위치 정보에 기반하여, 상기 어린이가 안전 좌석 위치 여부를 결정한 것; 및

상기 어린이가 안전 좌석에 위치하지 않을 경우, 상기 캐빈의 이동 속도가 기설정 값보다 큰 것에 응답하여, 경보를 송신하는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 어린이 상태 검출 방법은,

상기 목표 이미지에서의 안전 좌석에 대해 식별을 진행한 것; 및

캐빈 내에 안전 좌석이 없는 것이 결정될 경우, 상기 캐빈의 이동 속도가 기설정 값보다 큰 것에 응답하여, 경보를 송신하는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 목표 이미지에서의 어린이를 식별하는 것은,

상기 어린이의 상태 특징 정보를 식별한 것; 및

상기 상태 특징 정보에 기반하여, 상기 캐빈 내의 캐빈 환경을 조절하는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 목표 이미지에서 어린이를 식별하는 것은,

상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정한 것; 하나의 대상의 대상 정보는 상기 대상의 중심 포인트 정보 및 상기 대상의 중심 포인트에 대응되는 대상 타입 정보를 포함한 것; 및

결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정하는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 목표 이미지에 기반하여, 상기 목표 이미지에서 각 대상의 대상 정보를 결정하는 것은,

상기 목표 이미지에 대해 특징 추출을 진행하며, 상기 목표 이미지에 대응되는 제1 특징 맵을 얻는 것;

상기 제1 특징 맵의 제1 기설정된 채널에서, 상기 제1 특징 맵에서 각 특징 포인트를 대상의 중심 포인트로 사용하는 응답 값을 획득한 것;

상기 제1 특징 맵을 복수 개의 서브 영역으로 분할하고, 각 서브 영역 내 최대의 응답 값 및 최대의 응답 값에 대응한 특징 포인트를 결정한 것; 및

최대의 응답 값이 기설정된 임계값보다 큰 목표 특징 포인트를 대상의 중심 포인트으로 사용하고, 상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여 대상의 중심 포인트의 위치 정보를 결정하는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 대상의 중심 포인트 정보는 대상의 중심 포인트의 길이 정보 및 너비 정보를 포함하며; 상기 목표 이미지에 기반하여, 상기 목표 이미지에서 포함한 각 대상의 대상 정보를 경정하는 것는,

상기 제1 특징 맵의 제2 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응되는 대상의 중심 포인트의 길이 정보를 획득한 것; 및

상기 제1 특징 맵의 제3 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스가 대응한 위치에서, 상기 목표 특징 포인트에 대응한 대상의 중심 포인트의 너비 정보를 획득한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 목표 이미지에 기반하여, 상기 목표 이미지에서 포함한 각 대상의 대상 정보를 결정하는 것은,

상기 목표 이미지에 대해 특징 추출을 진행하며, 상기 목표 이미지에 대응되는 제2 특징 맵을 얻는 것;

상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여, 상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스를 결정하는 것; 및

상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응한 대상 타입 정보를 획득한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 대상은 안면 및 인체를 포함한 것;

상기 결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서 어린이를 결정하는 것은,

각 인체의 중심 포인트에 대응되는 위치 오프셋 정보에 기반하여, 각 인체와 서로 매칭되는 안면의 중심 포인트의 예측 위치 정보를 각각 결정한 것; 동일한 사람에 속하는 인체 및 안면은 서로 매칭되고;

결정한 예측 위치 정보 및 각 안면의 중심 포인트의 위치 정보에 기반하여, 각 인체에 매칭되는 안면을 결정한 것; 및

매칭 성공한 인체 및 안면에 대해서, 매칭 성공한 인체의 중심 포인트에 대응한 대상 타입 정보 및 안면의 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 상기 매칭 성공한 인체 및 안면이 속하는 사람이 어린이 인지 여부를 결정한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 어린이 상태 검출 방법은,

매칭 성공하지 않은 인체에 대해서, 상기 인체의 중심 포인트에 대응되는 대상 타입 정보를 이용하여 상기 인체의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정한 것; 및

매칭 성공하지 않은 안면에 대해서, 상기 안면의 중심 포인트에 대응한 대상 타입 정보를 이용하여, 상기 안면의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 상태 특징 정보는 어린이의 수면 상태 특징 정보를 포함하며;

상기 어린이의 상태 특징 정보를 식별하는 것은,

상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취한 것;

상기 안면 서브 이미지에 기반하여, 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보를 결정한 것; 및

어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정하는 것은,

연속적인 멀티프레임의 상기 목표 이미지에 대응되는 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 상기 어린이의 눈을 감은 누적 시간을 결정한 것;

상기 눈을 감은 누적 시간이 기설정된 임계값 보다 클 때, 상기 수면 상태 특징 정보를 수면 상태로 결정한 것; 및

상기 눈을 감은 누적 시간이 기설정된 임계값 보다 작거나 같을 때, 상기 수면 상태 특징 정보를 비수면 상태로 결정한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 상태 특징 정보는 어린이의 정서 상태 특징 정보를 포함하며;

상기 어린이의 상태 특징 정보를 식별하는 것은,

상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취한 것;

상기 안면 서브 이미지가 대표하는 안면의 적어도 두개 기관에서 각 기관의 액션을 식별한 것; 및

식별한 상기 각 기관의 액션에 기반하여, 상기 안면 서브 이미지가 대표하는 안면의 정서 상태 특징 정보를 결정한 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 안면의 기관의 액션은,

눈살을 찌푸리는 것, 눈을 부릅뜨는 것, 입꼬리가 올라가는 것, 윗 입술을 올리는 것, 입꼬리가 내려가는 것, 입을 벌리는 것을 포함한다.

한 가지 가능한 실시 형태에 있어서, 상기 안면 서브 이미지가 대표하는 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 단계는 액션 식별을 수행하기 위한 신경 네트워크에 의해 실행되고, 액션 식별을 수행하기 위한 신경 네트워크는 백본 네트워크 및 적어도 두 개의 분류 브랜치 네트워크를 포함하고, 각 분류 브랜치 네트워크는 안면에서의 기관의 액션을 식별하기 위한 것이며;

상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 것은,

백본 네트워크를 이용하여 상기 안면 서브 이미지에 대해 특징 추출을 진행하여, 상기 안면 서브 이미지의 특징 맵를 얻는 것;

각 분류 브랜치 네트워크를 각각 이용하여 상기 안면 서브 이미지의 특징 맵에 따라 액션 식별을 진행하여, 각 분류 브랜치 네트워크가 식별 가능한 액션의 발생 확률을 얻는 것; 및

발생 확률이 기설정된 확률보다 큰 액션을 상기 안면 서브 이미지가 대표한 안면의 기관의 액션으로 결정하는 것을 포함한다.

제2 측면, 본 발명은 제공한 어린이 상태 검출 장치는,

캐빈 내의 목표 이미지를 획득하도록 구성된 이미지 획득 모듈;

상기 목표 이미지에서의 어린이를 식별하도록 구성된 어린이 식별 모듈;

상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내 뒷좌석에 위치하는지 여부를 결정하도록 구성된 위치 판정 모듈; 및

상기 어린이가 캐빈 내의 뒷좌석에 없는 경우, 경보를 발송하도록 구성된 경보 모듈을 포함한다.

제3 측면, 본 발명이 제공한 전자 기기는, 프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서 실행 가능한 기계 판독 가능 명령어가 저장되고, 전자 기기가 작업 시, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능 명령어는 상기 프로세서에 의해 실행되어 상술한 어린이 상태 검출 방법을 실행한다

제4측면, 본 발명은 컴퓨터 판독 가능 메모리를 제공하고, 상기 컴퓨터 판독 가능 메모리에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 위와 같은 상기 어린이 상태 검출 방법을 실행한다.

본 발명은 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작업할 때, 상기 전자 기기에서의 프로세서는 하나 혹은 복수 개의 실시예에서의 서버가 상술한 방법을 구현하도록 한다.

본 발명의 상기 장치, 전자 기기, 및 컴퓨터 판독 가능 메모리는, 본 발명에서 상기 방법의 임의의 측면 또는 임의의 측면의 임의의 실시 형태의 기술 특징과 실질적으로 동일하거나 또는 유사한 기술 특징을 포함하므로, 상기 장치, 전자 기기, 및 컴퓨터 판독 가능 메모리의 효과에 관한 서술은, 상기 방법 내용의 효과에 대한 서술을 참조할 수 있으며, 여기서 더 이상 반복하여 설명하지 않는다.

본 발명 실시 예의 기술 방안을 보다 명확하게 설명하기 위하여, 실시 예에서 사용해야 할 도면을 간단하게 소개하며, 아래 도면은 본 발명의 일부 실시 예를 예시하는 것을 응당 이해하고, 따라서 범위 내의 한정으로 볼 수 없으며, 본 분야의 통상적인 기술자로서, 창조성 노동을 들이지 않는 전제하에서, 도면에 따라 다른 관련된 도면을 획득할 수 있다.
도 1은 본 발명 실시예에 따른 어린이 상태 검출 방법의 흐름도이다.
도 2은 본 발명 실시예에 따른 다른 어린이 상태 검출 방법에서 목표 이미지에서 각 대상의 대상 정보를 결정하는 흐름도이다.
도 3은 본 발명 실시예에 따른 다른 어린이 상태 검출 방법에서 대상 타입 정보를 결정하는 흐름도이다.
도 4은 본 발명 실시예에 따른 다른 어린이 상태 검출 방법에서 어린이의 정서 상태 특징 정보를 결정하는 흐름도이다.
도 5은 본 발명 실시예에 따른 어린이 상태 검출 장치의 구조 예시도이다.
도 6은 본 발명 실시예에 따른 전자 기기의 구조 예시도이다.

본 발명 실시예의 목적, 기술 방안 및 장점을 더욱더 명확하게 하기 위하여, 아래에 본 발명 실시예에서의 도면을 결합하여, 본 발명 실시예서의 기술 방안을 명확하고, 완정한 서술을 진행하며, 본 발명에서 도면은 설명 및 서술의 목적으로만 사용되고, 본 발명의 보호 범위를 한정하는데 사용되지 않은 것을 이해할 것이다. 또한, 예시성의 도면은 실물의 비율로 렌더링 하지 않은 것을 응당 이해해야 한다. 본 발명에서 사용된 흐름도는 본 발명의 일부 실시예에 따라 구현한 동작을 도시한 것이다. 흐름도의 동작은 순서대로 구현하지 않아도 가능하며, 비논리적인 상하문 관계의 단계는 순서를 뒤집거나 또는 동시에 실시가 가능한 것을 응당 이해해야 한다. 이 외에, 본 분야 기술 인원은 본 발명 내용의 지도하에, 흐름도에 하나 또는 복수 개의 다른 동작을 첨가 가능하고, 흐름도에서 하나 또는 복수 개의 동작을 제거 가능 할 수있다.

또한, 서술한 실시예는 다만 본 발명 일부분 실시예이며, 전부의 실시예는 아니다. 통상적으로 도면에서 서술 및 도시된 본 발명 실시예의 조립체는 상이한 구성으로 배치 및 설계가 가능하다. 따라서, 아래 도면에서 제공한 본 발명 실시예의 상세 서술은 본 발명의 요구 보호 범위에서 제한한것이 아니라, 다만 본 발명의 선정한 실시예를 표시한다. 본 발명의 실시예에 기반하여, 본 분야 기술 인원이 창조성 노동을 하지 않은 전제하에서 획득한 모든 다른 실시예는, 모두 본 발명의 보호에 범위에 속한다.

설명이 필요한 것은, 본 발명 실시예에서 사용되는 용어“포함” 은, 그후 성명한 특징의 존재를 지적하는 데 사용되기 위한 것이며, 하지만 다른의 특징이 추가되는 것을 배제하지 않는다.

본 발명은 어린이 상태 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 메모리를 제공하였다. 본 발명은 캐빈 내의 어린이 및 어린이 위치의 식별을 통하여, 캐빈 내의 어린이가 뒷좌석에 위치하는지 여부를 판정하며, 어린이가 뒷좌석에 위치하지 않을 경우, 경보를 송신하여, 어린이가 승차할 시 안전 상태 식별의 정확도를 효과적으로 향상하며, 어린이 승차의 안전성을 향상하는데 유리하다.

아래에는 실시예가 본 발명의 어린이 상태 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 메모리를 통하여 설명을 진행한다.

본 발명 실시예는 어린이 상태 검출 방법을 제공하며, 상기 방법은 어린이 상태 및 단말 기기 또는 서버 등에 대해 안정성 검출을 진행하는데 응용되기 위한것이다. 도 1에 도시된 바와 같이, 본 발명 실시예에서 제공한 어린이 상태 검출 방법은 다음과 같은 단계를 포함한다.

단계 S110에 있어서, 캐빈 내의 목표 이미지를 획득하다.

여기서, 목표 이미지에서 어린이가 포함될 가능성이 있으며, 어린이가 포함되지 않을 가능성도 있으며, 상기 이미지는 어린이 상태 및 안전성에 대해 검출을 진행하는 단말 기기가 촬영한 것일 수 있고, 다른 촬영 기기로 촬영 후 상기 어린이 상태 및 안전성에 대해 검출을 진행하는 단말 기기 또는 서버에 전송한 것일 수도 있다.

단계 S120에 있어서, 상기 목표 이미지에서의 어린이를 식별한다.

여기서, 목표 이미지에서 어린이를 식별하는 것은, 목표 이미지에서의 각 대상에서 그중의 어린이를 선별하는 것 및 어린이의 위치 정보를 결정하는 것을 포함한다.

목표 이미지에서의 어린이를 식별할 때, 먼저 상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정한다. 하나의 대상의 대상 정보는 상기 대상의 중심 포인트 정보 및 상기 대상의 중심 포인트에 대응되는 대상 타입 정보를 포함한다. 다음, 결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정한다.

상기 대상 타입 정보는 어린이 타입, 뒷좌석 타입, 안전 좌석 타입, 성인 타입 등을 포함하며; 중심 포인트 정보는 대응한 대상의 중심 포인트의 위치 정보를 포함할 수도 있다. 실시할 때, 결정한 중심 포인트가 대응한 대상 타입 정보를 이용하여, 목표 이미지에서의 각 대상에서 어린이를 선별하며, 다음, 어린이에 속하는 중심 포인트 정보를 이용하여 어린이의 위치 정보를 결정한다.

본 단계에서, 대상의 중심 포인트 및 중심 포인트에 대응되는 대상 타입 정보의 식별 및 결정을 통하여, 목표 이미지에서의 어린이를 정확하게 결정하며, 목표 이미지에서 어린이 식별 정확도를 향상하였다.

단계 S130에 있어서, 상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정한다.

여기서, 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 판단하기 전에, 먼저 목표 이미지에서의 뒷좌석을 식별하고, 뒷좌석의 위치 정보를 결정하여야 한다.

목표 이미지에서의 뒷자석을 식별 및 뒷좌석의 위치 정보를 결정하는 방법은, 상기 목표 이미지에서 어린이를 식별하고, 어린이의 위치 정보를 결정하는 방법과 동일하다. 즉, 결정한 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 목표 이미지에서의 각 대상에서 뒷자석을 선별하며, 다음, 뒷좌석에 속하는 중심 포인트 정보를 이용하여 뒷좌석의 위치 정보를 결정한다.

어린이의 위치 정보 및 뒷좌석의 위치 정보를 결정한 후, 두개의 위치 정보를 이용하여, 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정할 수 있다.

단계 S140에 있어서, 상기 어린이가 캐빈 내의 뒷좌석 위치하지 않은 경우, 경보를 송신한다.

여기서, 앞에서의 판단을 통하여, 어린이가 뒷좌석에 위치하지 않은 것이 결정될 때, 어린이의 승차 상태는 안전하지 않으며, 이때 기사 또는 다른 승객 등에게 경보를 송신하여, 어린이가 캐빈 내의 위치를 바로 잡아주며, 어린이 승차의 안전성을 향상한다.

더 나아가 어린이가 승차 과정에서의 안전성을 향상하기 위하여, 어린이는 마땅히 뒷좌석에 위치하여야 하며, 마땅히 안전 좌석에 위치하여야 하며, 따라서, 상기 어린이 상태 검출 방법은 더 나아가,

상기 어린이의 위치 정보 및 상기 목표 이미지에서의 안전 좌석의 위치 정보에 기반하여, 상기 어린이가 안전 좌석에 위치하는지 여부를 결정하며; 상기 어린이가 안전 좌석에 위치하지 않을 경우, 상기 캐빈의 이동 속도가 기설정된 값보다 큰 것에 응답하여, 경보를 송신하는 단계를 포함한다.

상기 단계를 실행하기 전에, 먼저 목표 이미지에서의 안전 좌석을 식별하고, 캐빈 내에 안전 좌석이 있는 경우, 안전 좌석의 위치 정보를 결정한다.

목표 이미지에서의 안전 좌석을 식별하고 및 안전 좌석의 위치 정보 결정하는 방법은, 상기 목표 이미지에서의 어린이를 식별하며, 어린이의 위치 정보를 결정하는 방법과 동일하다. 즉, 결정한 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 목표 이미지에서의 각 대상에서 안전 좌석를 선별하며, 다음, 안전 좌석에 속하는 중심 포인트 정보를 이용하여 안전 좌석의 위치 정보를 결정한다.

어린이의 위치 정보 및 안전 좌석의 위치 정보를 결정한 다음, 두개 위치 정보를 이용하여, 어린이가 캐빈 내의 안전 좌석에 위치하는지 여부를 결정한다.

만약 식별을 통하여, 캐빈 내에 안전 좌석이 없는것이 결정되면, 상기 캐빈의 이동속도가 기설정된 값보다 큰것에 응답하여, 경보를 송신한다. 더 나아가 어린이 승차 장면에서, 캐빈 내에 안전 좌석이 없는 경우, 제때에 경보를 송신하여, 어린이 승차의 안전성을 향상한다.

상기 어린이가 안전 좌석에 위치하지 않고, 캐빈의 이동 속도가 기설정된 값보다 클 때, 경보를 송신하며, 더 나아가 어린이 승차 시 안전 상태 식별의 정확도를 향상하며, 어린이 승차의 안전성을 향상한다.

상기 실시예에 있어서, 대상 정보에 따라 어린이, 뒷좌석, 안전 좌석 등에 대해 식별 및 포지셔닝을 진행한다. 상기 대상은 안면, 인체, 뒷좌석, 안전 좌석 등 일수 있다.

또한, 도 2에 도시된 바와 같이, 일부 실시예에 있어서, 다음과 같은 단계를 이용하여 목표 이미지에서 각 대상의 대상 정보를 결정할 수 있다.

단계 S210에 있어서, 상기 목표 이미지에 대해 특징 추출을 진행하며, 상기 목표 이미지에 대응되는 제1 특징 맵을 얻을 수 있다.

여기서, 먼저 목표 이미지를 하나의 신경 네트워크에 입렵하여 이미지에 대해 특징 추출을 진행하며, 예컨대, 목표 이미지를 백본(backbone) 네트워크인 신경 네트워크에 입력하여 이미지에 대해 특징 추출를 진행하여, 하나의 초기 특징 맵을 얻는다. 다음 상기 초기 특징 맵을 하나의 대상 정보에 대해 추출을 진행하기 위한 신경 네트워크에 입력하여, 상기 제1 특징 맵을 얻는다.

실시할 때, 상기 목표 이미지는 하나의 사이즈가 640*480 픽셀의 이미지 일수도 있으며, 백본 처리 경과 후 80*60*C인 초기 특징 맵을 얻을 수 있다. C는 채널 수량을 표시한다. 초기 특징 맵은 대상 정보에 대해 추출을 진행하기 위한 신경 네트워크의 처리를 경과한 후, 하나의 80*60*3 인 제1 특징 맵을 얻을 수 있다.

단계 S220에 있어서, 상기 제1 특징 맵의 제1 기설정된 채널에서, 상기 제1 특징 맵에서 각 특징 포인트를 대상의 중심 포인트으로 사용하는 응답 값을 획득한다.

여기서, 제1 기설정된 채널은 제1 특징 맵에서의 제0 채널 일수 있으며, 상기 채널은 대상의 중심 포인트의 채널이며, 상기 채널에서의 응답 값은 각 특징 포인트가 대상의 중심 포인트로 사용되는 가능성을 표시할 수 있다.

제1 기설정된 채널에서 각 특징 포인트에 대응한 응답 값을 획득한 후, sigmoid 활성화 함수를 이용하여 응답 값을 0내지 1사이로 전환한다.

단계 S230에 있어서, 상기 제1 특징 맵을 복수 개의 서브 영역으로 분할하고, 각 서브 영역 내 최대의 응답 값 및 최대의 응답 값에 대응한 특징 포인트를 결정한다.

여기서, 특징 맵에 대해 3*3의 보폭이 1인 맥스 풀링 max pooling 동작을 진행하며, 3*3내의 최대 응답 값 및 제1 특징 맵에서의 위치 인덱스를 획득한다. 60*80개 최대의 응답 값 및 그에 대응한 위치 인덱스를 획득한다.

다음, 동일한 위치 인덱스를 합병하여, N개 최대의 응답 값, 각 최대의 응답 값에 대응한 위치 인덱스 및 각 최대의 응답 값에 대응한 특징 포인트를 얻을 수 있다.

단계 S240에 있어서, 최대의 응답값이 기설정된 임계값보다 큰 목표 특징 포인트를 대상의 중심 포인트로 사용하고, 상기 목표 특징 포인트가 제1 특징 맵 위에서의 위치 인덱스에 기반하여 대상의 중심 포인트의 위치 정보를 결정한다.

여기서, 미리 임계값 thrd을 설정할 수 있고, 최대의 응답 값이 thrd보다 클 때, 특징 포인트를 대상의 중심 포인트로 판정한다.

상기와 같이, 특징 맵에서의 응답 값에 대해 맥스 풀링 처리를 진행하여, 국부 범위내에서 대상의 중심 포인트로 될 수 있는 가능성이 제일 높은 특징 포인트를 찾음으로써, 중심 포인트를 결정하는 정확도를 효과적으로 향상할 수 있다.

상기와 같이, 대상의 중심 포인트 및 중심 포인트의 위치 정보를 중심 포인트 정보로 사용한다. 일부 실시예에 있어서, 중심 포인트 정보는 대상의 중심 포인트의 길이 정보 및 너비 정보를 포함할 수도 있다. 이때, 다음과 같은 단계를 이용하여 중심 포인트의 길이 정보 및 너비 정보를 결정한다.

즉, 상기 제1 특징 맵의 제2 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응한 대상의 중심 포인트의 길이 정보를 획득한다. 상기 제1 특징 맵의 제3 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응되는 대상의 중심 포인트의 너비 정보를 획득한다.

상기 제2 기설정된 채널은 제1 특징 맵에서의 제1 채널이 될수도 있으며, 제3 기설정된 채널은 제1 특징 맵에서의 제2 채널도 될수있다. 상기 단계는 제1 특징 맵에서의 제1 채널에서, 중심 포인트에 대응되는 위치에서 중심 포인트의 길이 정보를 획득하고, 제1 특징 맵에서의 제2채널에서, 중심 포인트에 대응되는 위치에서 중심 포인트의 너비 정보를 획득한다.

상기에서 대상의 중심 포인트를 결정한 후, 중심 포인트의 위치 인덱스를 이용하여, 특징 맵의 다른 기설정된 채널에서 대상의 중심 포인트의 길이 정보 및 너비 정보를 정확하게 획득한다.

대상은 안면, 인체, 뒷좌석, 안전 좌석 등이 될 수 있기 때문에, 실시할 때, 상이한 신경 네트워크를 이용하여 상이한 대상에 대응한 제1 특징 맵을 결정하여야 하며, 다음, 상이한 제1 특징 맵에 기반하여 상이한 대상의 중심 포인트, 각 중심 포인트의 위치 정보, 각 중심 포인트의 길이 정보 및 각 중심 포인트의 너비 정보를 결정하여야 한다.

위에서의 진술에서 알다시피, 대상 정보는 대상의 중심 포인트에 대응되는 대상 타입 정보를 포함하며, 일부 실시예에 있어서, 도 3에 도시된 바와 같이, 다음과 같은 단계를 이용하여 대상 타입 정보를 결정할 수 있다.

단계 S310에 있어서, 상기 목표 이미지에 대해 특징 추출을 진행하며, 상기 목표 이미지에 대응되는 제2 특징 맵을 얻을수 있다.

여기서, 목표 이미지를 하나의 신경 네크워크에 입력하여 이미지에 대해 특징 추출을 진행할 수도 있으며, 예컨대, 목표 이미지를 백본 신경 네트워크에 입력하여 이미지에 대해 특징 추출을 진행하며, 하나의 초기 특징 맵을 얻을 수 있으며, 다음 상기 초기 특징 맵을 대상 타입에 대해 식별을 진행하는 신경 네트워크에 입력하고 처리하여, 제2 특징 맵을 얻고, 상기 제2 특징 맵에 기반하여 각 대상의 중심 포인트에 대응되는 대상 타입 정보를 결정할 수 있다. 상기 제2 특징 맵은 하나의 80*60*2인 특징 맵이 될수 도 있다.

어린이에 대해 식별하는 응용 장면에서, 제2 특징 맵에서 각 특징 포인트는 대응한 하나의 2차원의 특징 벡터가 있으며, 대상의 중심 포인트에 대응되는 상기 제2 특징 맵에서의 특징 포인트의 2차원 특징 벡터에 대해 분류 처리를 진행하여, 분류 결과를 얻을 수 있으며, 한가지 분류 결과는 어린이를 대표하며, 다른 한가지 분류 결과는 다른의 경우를 대표하는 경우, 상기 분류 결과에 기반하여 중심 포인트 대상의 대상 타입 정보가 어린이인지 여부를 결정할 수 있다. 어린이에 식별을 진행하는 응용 장면에서, 상기 대상은 인체 또는 안면일 수도 있다.

안전 좌석에 대해 식별을 진행하는 응용 장면에서, 제2 특징 맵에서 각 특징 포인트는 대응한 하나의 2차원의 특징 벡터가 있으며, 대상의 중심 포인트에 대응되는 상기 제2 특징 맵에서의 특징 포인트의 2차원 특징 벡터에 대해 분류 처리를 진행하여, 분류 결과를 얻을 수 있으며, 한가지 분류 결과는 안전 좌석을 대표하며, 다른 한가지 분류 결과는 다른 것을 대표하는 경우, 상기 분류 결과에 기반하여 중심 포인트 대상의 대상 타입 정보가 안전 좌석인지 여부를 결정할 수 있다.

물론, 동일한 방법을 이용하여, 뒷좌석 등에 대해 식별을 진행할 수도 있다.

대상은 안면, 인체, 뒷좌석, 안전 좌석 등 될수 도 있기 때문에, 실시할 때, 상이한 신경 네트워크를 이용하여 상이한 대상에 대응한 제2 특징 맵을 결정하며, 다음, 상이한 제2 특징 맵을 기반하여 상이한 대상의 대상 타입 정보를 결정한다.

단계 S320에 있어서, 상기 목표 특징 포인트는 제1 특징 맵의 위치 인덱스에 기반하여, 상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스를 결정한다.

여기서, 목표 특징 포인트는 즉 대상의 중심 포인트이다. 목표 특징 포인트는 기설정된 임계값보다 큰 최대 응답 값에 대응되는 특징 포인트이다.

단계 S330에 있어서, 상기 목표 특징 포인트가 상기 제2 특징 맵의 위치 인덱스에 대응하는 위치에서, 상기 목표 특징 포인트에 대응되는 대상 타입 정보를 획득한다.

상기에서 대상의 중심 포인트를 결정한 후, 중심 포인트의 위치 인덱스를 이용하여, 대상의 중심 포인트에 대응되는 대상 타입 정보를 정확하게 획득한다.

어린이에 대해 식별을 진행하는 응용 장면에서, 각 대상의 중심 포인트에 대응되는 대상 타입 정보를 결정한 후, 다음과 같은 단계를 이용하여 목표 이미지중에서 어린이를 식별한다.

단계 1, 각 인체의 중심 포인트에 대응되는 위치 오프셋 정보에 기반하여, 각 인체에 서로 매칭되는 안면의 중심 포인트의 예측 위치 정보를 각각 결정하며; 동일한 사람에 속하는 인체 및 안면은 서로 매칭된다.

이 단계를 실행하기 전에, 먼저 각 인체의 중심 포인트와 동일한 사람에 속하는 안면 중심 포인트의 위치 오프셋 정보를 결정하며, 다음, 위치 오프셋 정보를 이용하여 예측 위치 정보를 결정한다.

상기 위치 오프셋 정보를 결정할 때, 먼저 목표 이미지를 하나의 신경 네트워크에 입력하여 이미지에 대해 특징 추출을 진행하며, 예컨대, 목표 이미지를 백본인 신경 네트워크에 입력하여 이미지에 대해 특징 추출을 진행하며, 하나의 초기 특징 맵을 얻는다. 다음 상기 초기 특징 맵을 하나의 상기 위치 오프셋 정보를 결정하는 신경 네트워크에 입력하여, 하나의 특징 맵을 얻으며, 상기 특징 맵에 기반하여 각 인체의 중심 포인트에 대응한 위치 오프셋 정보를 결정한다.

실시할 때, 초기 특징 맵이 상기 위치 오프셋 정보를 결정하기 위한 신경 네트워크의 처리를 거친 후, 하나의 80*60*2인 특징 맵을 얻는다.

단계 2, 결정한 예측 위치 정보 및 각 안면의 중심 포인트의 위치 정보에 기반하여, 각 인체에 서로 매칭되는 안면을 결정한다.

여기서, 예측 위치 정보에 대응한 위치와 제일 접근한 중심 포인트의 위치에 대응한 안면을, 인체와 서로 매칭된 안면으로 사용한다.

단계 3, 매칭 성공한 인체 및 안면에 대해서, 매칭 성공한 인체의 중심 포인트에 대응되는 대상 타입 정보 및 안면의 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 상기 매칭 성공한 인체 및 안면이 속하는 사람이 어린이 인지 여부를 결정한다.

여기서, 매칭 성공한 인체의 중심 포인트에 대응되는 대상 타입 정보가 대응한 인체가 속하는 사람이 어린이임을 나타내고 또는 안면의 중심 포인트에 대응되는 대상 타입 정보가 대응한 안면이 속하는 사람이 어린이임을 나타내면, 상기 매칭 성공한 인체 및 안면이 속하는 사람이 어린이임을 결정한다.

상기 인체의 중심 포인트에 대응한 위치 오프셋 정보를 이용하여, 각 인체가 서로 매칭된 안면의 중심 포인트의 예측 위치 정보를 결정하며, 예측 위치 정보를 이용하여 각 인체에 서로 매칭된 안면을 결정한다. 매칭 성공한 인체 및 안면을 이용하여 어린이를 식별하고, 식별의 정확도를 향상한다.

가리는 등 원인 때문에, 매칭 성공하지 않은 인체 또는 안면이 있을 수 있고, 이때, 매칭 성공하지 않은 인체에 대해서, 상기 인체의 중심 포인트 대응한 대상 타입 정보를 이용하여 상기 인체의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정한다. 상기 인체의 중심 포인트에 대응되는 대상 타입 정보가 어린이를 나타내는 경우, 상기 인체가 속하는 사람이 어린이임을 결정한다.

매칭 성공하지 않은 안면에 대해서, 상기 안면의 중심 포인트에 대응한 대상 타입 정보를 이용하여, 상기 안면의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정한다. 상기 안면의 중심 포인트에 대응되는 대상 타입 정보가 어린이를 나타내는 경우, 상기 인체가 속하는 사람이 어린이임을 결정한다.

상기 매칭 성공하지 않은 인체 또는 안면에 대해서, 자신의 중심 포인트에 대응되는 대상 타입 정보를 이용하여 비교적 정확하게 어린이에 대해 식별을 진행할 수 있다.

어린이 승차 과정에서의 안전성 문제를 개선하는 동시에, 어린이의 상태 특징 정보를 식별하는 것을 통하여, 상태 특징 정보에 기반하여, 상기 캐빈 내의 캐빈 환경을 조절하며, 어린이들에게 더욱 편안하고 및 안전한 승차 환경를 제공한다.

상기 상태 특징 정보는 수면 상태 특징 정보, 정서 상태 특징 정보 등을 포함할 수 있다. 정서 상태 특징 정보는 기쁨, 울음, 평정 등을 포함할 수 있다.

상기 상태 특징 정보를 결정한 후, 상기 캐빈 내의 캐빈 환경을 조절하는 것은, 상기 상태 특징 정보가 어린이가 수면 상태인 것을 나타낼 경우, 등불을 부드러운 상태로 조절하며, 또는 자장가 등을 틀어주며; 상기 상태 특징 정보가 어린이가 기뻐하는 정서 상태인 것을 나타낼 경우, 틀어줄 음악을 유쾌한 타입으로 설정하고; 상기 상태 특징 정보가 어린이가 울고 있는 정서 상태인 것을 나타낼 경우, 틀어줄 음악을 달래는 타입의 음악으로 설정한다.

일부 실시예에 있어서, 다음과 같은 단계를 이용하여 어린이가 수면상태인지 여부를 결정한다.

단계 1, 상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취한다.

여기서, 위에서 실시예를 이용하여 안면의 중심 포인트 및 안면 중심 포인트의 길이 정보 및 너비 정보를 결정하여, 목표 이미지에서 어린이의 안면 서브 이미지를 절취한다.

안면 서브 이미지를 이용하여 수면 상태에 대해 식별을 진행하는 이미지의 사이즈 및 픽셀 수량을 감소할 수 있으며, 즉 수면 상태에 대해 식별을 진행하는 데이터 처리량을 낮출수 있으며, 수면 상태를 식별하는 효율을 향상한다.

단계 2, 상기 안면 서브 이미지에 기반하여, 어린이의 왼쪽 눈을 감은 상태 정보 및 오른쪽 눈을 감은 상태 정보를 결정한다.

여기서, 왼쪽 눈을 뜨거나 감은 상태 정보는 왼쪽 눈이 보이지 않으며, 왼쪽 눈이 보이며 눈을 뜨며, 왼쪽 눈이 보이며 눈을 감은 것을 포함한다. 오른쪽 눈을 뜨거나 감은 상태 정보는 오른쪽 눈이 보이지 않으며, 오른쪽 눈이 보이며 눈을 뜨며, 오른쪽 눈이 보이며 눈을 감은 것을 포함한다.

실시할 때, 안면 서브 이미지를 하나의 훈련된 신경 네트워크에 입력하며, 상기 신경 네트워크가 처리를 거치면, 9종류의 좌우 눈의 상태 정보를 출력할 수 있다.

상기 신경 네트워크는 두층의 풀리 커넥티드 레이어로 구성될 수 있고, 상기 신경 네트워크의 입력은 안면 서브 이미지에 대해 이미지 특징 추출을 진행하여 얻은 특징 맵이다. 제1계층 풀리 커넥티드 레이어는 입력한 특징 맵을 K4 차원 특징 벡터러 전환하며, 제2층 풀리 커넥티드 레이어는 K4 차원 특징 벡터를 9차원 벡터로 전전화여 출력하며, 다음 분류 소프트 맥스(softmax) 처리를 진행하고, 소프트 맥스가 출력한 점수가 가장 큰 차원에 대응한 상태 정보가 즉 마지막 예측한 상태 정보이다.

단계 3, 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정한다.

여기서, 다음과 같은 하위 단계를 이용하여 구현한다.

연속 멀티 프레임은 상기 목표 이미지에 대응되는 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 상기 어린이의 눈을 감은 누적 시간을 결정하며; 상기 눈을 감은 누적 시간이 기설정된 임계값보다 클 때, 상기 수면 상태 특징 정보는 수면 상태임을 결정하며; 상기 눈을 감은 누적 시간이 기설정된 임계값보다 작거나 또는 같을 때, 상기 수면 상태 특징 정보는 비 수면 상태임을 결정한다.

상기, 어린이 왼쪽 눈 및 오른쪽 눈을 뜨거나 감은 상태 정보를 결합하여 어린이의 눈을 감은 누적 시간을 결정하며, 어린이의 눈을 감은 누적 시간과 기설정된 임계값의 관계을 이용하여, 어린이가 수면 상태인지 여부를 정확하게 결정할 수 있다.

위에서의 서술에서 알다시피, 상태 특징 정보는 어린이의 정서 상태 특징 정보도 포함하며, 도 4에 도시된 바와 같이, 다음과 같은 단계를 이용하여 상기 어린이의 정서 상태 특징 정보를 식별한다.

단계S410에 있어서, 상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취한다.

여기서, 위에서 실시예를 이용하여 안면의 중심 포인트 및 안면의 중심 포인트 길이 정보 및 너비 정보를 결정하여, 목표 이미지에서 어린이의 안면 서브 이미지를 절취한다.

안면 서브 이미지를 이용하여 정서 상태에 대해 식별을 진행하기 위한 이미지의 사이즈 및 픽셀 수량을 감소하고, 즉 정서 상태에 대해 식별을 진행하는 데이터 처리량을 낯출수 있으며, 정서 상태를 식별하는 효율을 향상한다.

단계 S420에 있어서, 상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별한다.

여기서, 안면 기관의 액션은, 눈살을 찌푸리는 것, 눈을 부릅뜨는 것, 입꼬리가 올라가는 것, 윗 입술을 올리는 것, 입꼬리가 내려가는 것, 입을 벌리는 것을 포함한다.

안면 서브 이미지를 훈련된 신경 네트워크에 입력하고 안면의 기관 액션에 대해 식별을 진행하기 전에, 신경 네트워크가 액션을 식별하는 효율 및 정밀도를 향상하기 위하여, 한 가지 가능한 실시 형태에 있어서, 먼저 안면 서브 이미지를 이미지에 대해 예비 처리를 진행하며, 처리 후의 안면 서브 이미지를 얻으며; 상기 이미지 예비 처리는 안면 서브 이미지에 대해 관건 정보 증강 처리를 진행하기 위한 것이며; 처리 후의 안면 서브 이미지를 훈련된 신경 네트워크에 입력하여 액션 식별을 진행한다.

단계 S430에 있어서, 식별한 상기 각 기관의 액션에 기반하여, 상기 안면 서브 이미지가 대표한 안면의 정서 상태 특징 정보를 결정한다.

여기서, 정서 상태 특징 정보와 기관의 액션 사이에는 일정한 대응 관계가 있으며, 예시적으로, 기관의 액션은 입꼬리가 올라갈 때, 대응한 정서 상태 특징 정보는 기쁨이고, 기관의 액션은 눈을 크게뜨고 입을 벌릴 때, 대응한 정서 상태 특징은 경악이다.

실시 과정에서, 식별한 기관의 액션에 기반하여, 안면의 정서 상태 특징 정보를 결정할 때, 식별한 안면의 각 기관의 액션, 사전에 설치한 액션과 정서 상태 특징 정보 사이의 대응 관계에 기반하여, 안면 서브 이미지가 대표한 안면의 정서 상태 특징 정보를 결정한다.

상기 단계 420에서, 안면 서브 이미지에 대해 이미지 예비 처리를 진행할 때, 다음과 같은 단계를 이용하여 진행한다. 안면 서브 이미지에서 키 포인트의 위치 정보를 결정하며; 키 포인트의 위치 정보에 기반하여, 안면 서브 이미지를 아핀 변환 진행하여, 안면 서브 이미지에 대응한 바로된 후 이미지를 얻으며; 바로된 후 이미지를 정규화 처리 진행하며, 처리 후의 안면 서브 이미지를 얻는다.

안면 서브 이미지에서의 키 포인트는 예컨대 눈초리, 입가, 미간, 눈썹 꼬리, 코 등이 포함될 수 있으며, 실시예서, 안면 서브 이미지에서의 키 포인트는 수요에 따라 설치되며; 키 포인트의 위치 정보는 키 포인트가 안면 서브 이미지에서의 위치 좌표일 수도 있다.

상기 키 포인트의 위치 정보에 기반하여, 안면 서브 이미지를 아핀 변환 진행할 때, 먼저 키 포인트의 위치 정보, 미리 저장한 목표 키 포인트의 기설정된 위치 정보에 기반하여, 변환 매트릭스를 결정하며, 변환 매트릭스는 안면 서브 이미지에서 각 키 포인트의 위치 정보와, 상기 키 포인트에 매칭된 목표 키 포인트의 기설정된 위치 정보 사이의 변환 관계를 표시하기 위한 것이며, 변환 매트릭스에 기반하여, 안면 서브 이미지에 대해 아핀 변환을 진행한다.

키 포인트의 위치 정보, 미리 저장한 목표 키 포인트의 기설정된 위치 정보에 기반하여, 변환 매트릭스를 결정할 때, 아래 공식(1)에 따라 계산을 진행한다.

여기서 x’, y’는 미리 저장한 목표 키 포인트의 횡종좌표를 표시하며, x, y는 키 포인트의 횡종좌표를 표시하며,

는 변환 매트릭스를 표시한다.

변환 매트릭스에 기반하여, 안면 서브 이미지에 대해 아핀 변환을 진행할 때, 먼저 안면 서브 이미지에서 각 픽셀점의 좌표를 결정하며, 안면 서브 이미지에서 각 픽셀점의 좌표를 상기 공식에 대입하여, 각 픽셀점에 대응한 변환 후의 좌표를 결정하며, 각 픽셀점의 대응한 변환 후의 좌표에 기반하여, 안면 서브 이미지에 대응한 바로 된 후 이미지를 결정한다.

안면 서브 이미지에 아핀 변환을 진행하는 것을 통해, 안면 서브 이미지에서 상이한 방향의 안면 서브 이미지를 정면 방향으로 향한 안면 서브 이미지 전환하며, 안면 서브 이미지에 대응한 바로된 후 이미지에 기반하여 액션 식별을 진행하며, 액션 식별의 정밀도를 향상할 수 있다.

키 포인트의 위치 정보에 기반하여, 안면 서브 이미지에 대해 아핀 변환을 진행하며, 안면 서브 이미지가 대응한 바로된 후 이미지가 된 후, 키 포인트의 위치 정보에 기반하여, 바로된 후의 이미지에 잘라내기를 진행하며, 잘라낸 후 이미지를 얻고, 잘라낸 후 이미지를 정규화 처리를 진행한다.

상기에서, 먼저 안면 기관의 액션을 식별하고, 식별한 액션에 기반하여, 안면에 대응한 표정 상태를 결정하며, 안면 기관의 액션과 안면의 표정 상태 사이의 관계는 객관적으로 존재하기 때문에, 이런 형태에 기반하여, 사용자가 안면 서브 이미지에 대해 표정 상태의 주관 정의를 진행하는 것을 수요하지 않으며, 또한, 안면 기관의 액션은 일부 특정된 안면 특징에 집중할 수 있기 때문에, 안면 서브 이미지에 대해 기관의 액션을 식별을 진행하는 것은, 직접 표정 자태를 식별 진행하는 것보다, 정확성을 많이 향상 시킬 수 있으며, 따라서, 본 실시 형태는 안면 표정의 식별 정밀도를 향상하였다.

일부 실시예에 있어서, 상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 단계를 식별하며, 동작 식별을 수행하기 위한 신경 네트워크에 의해 실행되며, 상기 동작 식별을 수행하기 위한 신경 네트워크는 백본 네트워크 및 적어도 두 개의 분류의 브랜치 네트워크를 포함하고, 각 분류 브랜치 네트워크는 얼굴에서의 하나의 기관의 한 타입의 액션을 식별하기 위한 것이다.

상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 단계는 아래와 같은 단계를 포함한다.

단계1, 백본 네트워크를 이용하여 상기 안면 서브 이미지에 대해 특징 추출을 진행하여, 상기 안면 서브 이미지의 특징 맵을 얻는다.

단계2, 각 분류 브랜치 네트워크를 각각 이용하여 상기 안면 서브 이미지의 특징 맵에 따라 액션 식별을 진행하며, 각 분류 브랜치 네트워크가 식별 가능한 액션의 발생 확률을 얻는다.

단계3, 발생 확률이 기설정된 확률보다 큰 액션을 상기 안면 서브 이미지가 대표한 안면의 기관의 액션으로 결정한다.

안면 서브 이미지가 대표한 안면에 복수 개 기관의 액션이 포함될 때, 상기 방법을 통하여, 동시에 안면 서브 이미지에 대응한 복수 개의 기관 액션을 식별할 수 있으며, 또한, 여기서 각 분류 브랜치 네트워크를 사용하여 대응한 기관의 액션을 각각 식별하며, 각 분류 브랜치 네트워크를 훈련할 때, 특정된 기관의 액션에 대응한 이미지 특징에 집중할 수 있으므로, 이런 형태는 훈련된 분류 브랜치 네트워크의 식별 정밀도가 더욱 높을 수 있으며, 정서 상태를 식별할때 정확도를 더 높일 수 있다.

상기 어린이 상태 검출 방법에 대응하여, 본 발명은 어린이 상태 검출 장치를 제공하였으며, 상기 장치는 어린이 상태 및 안전성을 식별하는 단말 기기 또는 서버에 응용되며, 각 모듈은 상기 방법에서 동일한 방법 단계 및 동일한 유익 효과를 얻으것을 구현하며, 따라서 동일한 부분에 대해서, 본 발명 더 이상 반복하여 진행하지 않는다.

도 5에 도시된 바와 같이, 본 발명이 제공한 어린이 상태 검출 장치는,

캐빈 내의 목표 이미지를 획득하도록 구성되는 이미지 획득 모듈(510);

상기 목표 이미지에서의 어린이를 식별하도록 구성되는 어린이 식별 모듈(520);

상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내 뒷좌석에 위치하는지 여부를 결정하도록 구성되는 위치 판정 모듈(530);

상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않을때, 경보를 송신하도록 구성되는 경보 모듈(540)을 포함한다.

일부 실시예에 있어서, 상기 위치 판정 모듈(530)은, 상기 어린이의 위치 정보 및 상기 목표 이미지에서의 안전 좌석의 위치 정보에 기반하여, 상기 어린이가 안전 좌석에 위치하는지 여부를 결정하며;

경보 모듈(540)은 상기 어린이가 안전 좌석우에 위치하지 않으며, 상기 캐빈의 이동 속도가 기설정 값보다 큰것에 응답하여, 경보를 송신한다.

일부 실시예에 있어서, 상기 어린이 상태 검출 장치는, 상기 목표 이미지에서의 안전 좌석에 대해 식별을 진행하도록 구성된 안전 좌석 식별 모듈(520); 및

캐빈 내 안전 좌석이 없는 경우가 결정될 때, 상기 캐빈의 이동 속도 기설정 값보다 큰 것에 응답하며, 경보를 송신하도록 구성된 상기 경보 모듈(540)을 더 포함한다.

일부 실시예에 있어서, 상기 어린이 식별모듈(520)구성은,

상기 어린이의 상태 특징 정보를 식별하며;

상기 상태 특징 정보에 기반하여, 상기 캐빈 내의 캐빈 환경을 조절한다.

일부 실시예에 있어서, 상기 어린이 식별 모듈(520)은 상기 목표 이미지에서의 어린이를 식별할때,

상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정하며; 하나의 대상의 대상 정보는 상기 대상의 중심 포인트 정보 및 상기 대상의 대응한 대상 타입 정보를 포함하며;

결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정하도록 구성된다.

일부 실시예에 있어서, 상기 어린이 식별 모듈(520)은 상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정할때,

상기 목표 이미지에 대해 특징 추출을 진행하여, 상기 목표 이미지에 대응되는 제1 특징 맵을 얻으며;

상기 제1 특징 맵의 제1 기설정된 채널에서, 상기 제1 특징 맵에서 각 특징 포인트를 대상의 중심점으로 사용하는 응답값을 획득하며;

상기 제1 특징 맵을 복수 개의 서브 영역으로 분할할 때, 각 서브 영역 내 최대의 응답 값 및 최대의 응답 값에 대응한 특징 포인트를 결정하며;

최대의 응답 값이 기설정된 임계값보다 큰 목표 특징 포인트를 대상의 중심 포인트으로 사용하고, 상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여 대상의 중심 포인트의 위치 정보를 결정하도록 구성된다.

일부 실시예에 있어서, 상기 대상의 중심 포인트 정보는 대상의 중심 포인트의 길이 정보 및 너비 정보를 포함하며; 상기 어린이 식별 모듈(520)은,

상기 제1 특징 맵의 제2 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응되는 대상의 중심 포인트의 길이 정보를 획득하며;

상기 제1 특징 맵의 제3 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스가 대응한 위치에서, 상기 목표 특징 포인트의 대응한 대상의 중심 포인트의 너비 정보를 획득하도록 구성된다.

일부 실시예에 있어서, 상기 어린이 식별 모듈(520)은 상기 목표 이미지에 기반하여, 상기 목표 이미지에서 포함한 각 대상의 대상 정보를 결정할 때,

상기 목표 이미지에 대해 특징 추출을 진행하며, 상기 목표 이미지에 대응되는 제2 특징 맵을 얻으며;

상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여, 상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스를 결정하며;

상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응한 대상 타입 정보를 획득하도록 구성된다.

일부 실시예에 있어서, 상기 대상은 안면 및 인체를 포함하며;

상기 어린이 식별 모듈(520)은 결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정할 때, 각 인체의 중심 포인트에 대응한 위치 오프셋 정보에 기반하여, 각 인체와 서로 매칭된 안면 중심 포인트의 예측 위치 정보를 각각 결정하고; 동일한 사람에 속하는 인체 및 안면은 서로 매칭되며;

결정한 예측 위치 정보 및 각 안면 중심 포인트의 위치 정보에 기반하여, 각 인체에 매칭된 안면을 결정하며;

매칭 성공한 인체 및 안면에 대해서, 매칭 성공한 인체의 중심 포인트에 대응한 대상 타입 정보 및 안면의 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 상기 매칭 성공한 인체 및 안면이 속하는 사람이 어린이 인지 여부를 결정하도록 구성된다.

일부 실시예에 있어서, 상기 어린이 식별 모듈(520)은,

매칭 성공하지 않은 인체에 대해서, 상기 인체의 중심 포인트에 대응되는 대상 타입 정보를 이용하여 상기 인체의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정하며;

매칭 성공하지 않은 안면에 대해서, 상기 안면의 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 상기 안면의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정하도록 구성된다.

일부 실시예에 있어서, 상기 상태 특징 정보는 어린이의 수면 상태 특징 정보를 포함하며;

상기 어린이 식별 모듈(520)은 상기 어린이의 상태 특징 정보를 식별할때,

상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취하며;

상기 안면 서브 이미지에 기반하여, 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보를 결정하며;

어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정하도록 구성된다.

일부 실시예에 있어서, 상기 어린이 식별 모듈(520)은 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정하며,

연속적인 멀티프레임의 상기 목표 이미지에 대응되는 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 상기 어린이의 눈을 감은 누적 시간을 결정하며;

상기 눈을 감은 누적 시간이 기설정된 임계값 보다 클 때, 상기 수면 상태 특징 정보를 수면상태로 결정하며;

상기 눈을 감은 누적 시간이 기설정된 임계값 보다 작거나 같을 때, 상기 수면 상태 특징 정보를 비 수면 상태로 결정하도록 구성된다.

일부 실시예에 있어서, 상기 상태 특징 정보는 어린이의 정서 상태 특징 정보를 포함하며;

상기 어린이 식별 모듈(520)은 상기 어린이의 상태 특징 정보를 식별할 때,

상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취하며;

상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하며;

식별한 상기 각 기관의 액션에 기반하여, 상기 안면 서브 이미지가 대표한 안면의 정서 상태 특징 정보를 결정하도록 구성된다.

일부 실시예에 있어서, 안면의 기관의 액션은,

눈살을 찌푸리는 것, 눈을 부릅뜨는 것, 입꼬리가 올라가는 것, 윗 입술을 올리는 것, 입꼬리가 내려가는 것, 입을 벌리는 것을 포함한다.

일부 실시예에 있어서, 상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 실별하는 단계는 동작 식별을 수행하기 위한 신경 네트워크에 의해 실행되며, 동작 식별을 수행하기 위한 신경 네트워크는 백본 네트워크 및 적어도 두 개의 분류 브랜치 네트워크를 포함하고, 각 분류 브랜치 네트워크는 얼굴에서의 기관의 액션을 식별하기 위한 것이며;

상기 안면 서브 이미지가 대표한 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 것은,

백본 네트워크를 이용하여 상기 안면 서브 이미지에 대해 특징 추출을 진행하여, 상기 안면 서브 이미지의 특징 맵을 얻으며;

각 분류 브랜치 네트워크를 각각 이용하여 상기 안면 서브 이미지의 특징 맵에 따라 액션 식별을 진행하며, 각 분류 브랜치 네트워크가 식별 가능한 액션의 발생 확률을 얻을 수 있으며;

발생 확률이 기설정된 확률보다 큰 액션을 상기 안면 서브 이미지가 대표한 안면의 기관의 액션으로 결정한 것을 포함한다.

본 발명 실시예는 전자 기기를 공개하며, 도 6에 도시된 바와 같이, 프로세서(601), 메모리(602) 및 버스(603)를 포함하며, 상기 메모리(602)는 프로세서(601) 실행 가능한 기계 판독 가능 명령어를 저장하고, 전자 기기가 작업할 때, 상기 프로세서(601)와 상기 메모리(602) 사이는 버스(603)를 통하여 통신한다.

상기 기계 판독 가능 명령어가 상기 프로세서(601) 의해 실행될 때 어린이 상태 검출 방법의 실행 단계는,

캐빈 내의 목표 이미지를 획득하며;

상기 목표 이미지에서의 어린이를 식별;

상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정;

상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않을 경우, 경보를 송신하는 것을 포함한다.

그외, 기계 판독 가능 명령은 프로세서(601)가 실행할 때, 상기 방법이 부분적 서술의 임의의 실시 형태에서의 방법 내용을 실행하며, 여기서 더 이상 반복하지 않는다.

이 외에, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실시예에서 방법 단계를 실행한다.

본 발명의 실시예에서 상기 방법 및 장치에 대응한 컴퓨터 프로그램 제품을 제공하며, 프로그램 코드를 저장한 컴퓨터 판독 가능 메모리를 포함하며, 상기 프로그램 코드가 포함한 명령어는 앞에서 방법 실시예에서의 방법 단계를 실행하기 위한 것이며, 방법 실시예를 참조하여 구현할 수 있으며, 여기서 더 이상 반복하지 않는다.

위에서 각 실시예에 대한 서술은 각 실시예 사이의 차이점을 강조하는 경향이 있으며, 동일하거나 또는 유사한 부분은 서로 참조할 수 있으며, 간결함을 위해서, 본문에서 더 이상 반복하여 설명하지 않는다.

본 분야의 기술 인원은 서술의 편리 및 간결함을 위해, 상기 서술의 시스템 및 장치의 액션 과정에서, 방법 실시예에서의 대응되는 과정을 참고할 수 있으며, 본 발명에서 더 이상 반복하여 설명하지 않는다. 본 발명에서 제공한 몇개 실시예에 있어서, 개시된 시스템, 장치 및 방법, 다른 형태로 구현될 수 있음을 마땅히 이해해야 한다. 위에서 서술한 장치 실시예는 다만 예시적인 것이며, 예컨대, 상기 모듈의 할당은, 다만 논리적 기능 할당이며, 실제 구현 시 다른 할당 형태가 있을수 있으며, 예컨대, 복수 개의 모듈 또는 조립체가 다른 시스템에 결합 또는 통합될 수 있으며, 또는 일부 특징이 무시되거나, 실행되지 않을수 있다. 또한, 나타내거나 또는 논의된 상호 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 통신 인터페이스를 통하여 실현되며, 장치 또 는 모듈의 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른의 형태일 수 있다.

상기 분리 부재로서 설명된 모듈은 물리적으로 분리된 것이거나 아닐 수 있고, 모듈로서 나타낸 부재는 물리적 부재거나 아닐수 도 있고, 즉 한곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다.

상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안은 본질적으로 또는 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기 (개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, USB 디스크, 모바일 하드 디스크, ROM, RAM, 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

이상의 설명은 다만 본 발명의 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않으며, 본 출원이 속하는 기술 분야의 통상의 기술자가 본 발명에서 개시된 기술적 범위 내에 있으면, 쉽게 변화 또는 교체를 생각할 수 있으며, 모두 본 발명의 보호 범위 내에 속한다. 따라서, 본 발명의 보호 범위는 청구범위의 보호 범위를 기준으로 해야 한다.

산업상 이용 가능성

본 발명은 캐빈 내의 어린이 및 어린이 위치의 식별을 통하여, 캐빈 내의 어린이가 뒷좌석에 위치하는지 여부를 판정하며, 어린이가 뒷좌석우에 위치하지 않을 경우, 경보를 송신함으로써, 어린이가 승차할때 안전 상태 식별의 정확도를 효과적으로 향상하며, 어린이 승차의 안전성을 향상하는데 유리하다.

Claims (19)

1. 어린이 상태 검출 방법으로서,
   캐빈 내의 목표 이미지를 획득하는 단계;
   상기 목표 이미지에서의 어린이을 식별하는 단계;
   상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내의 뒷좌석에 위치하는지 여부를 결정하는 단계; 및
   상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않을 경우, 경보를 발송하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
2. 제1항에 있어서,
   상기 어린이 상태 검출 방법은,
   상기 어린이의 위치 정보 및 상기 목표 이미지에서의 안전 좌석의 위치 정보에 기반하여, 상기 어린이가 안전 좌석에 위치하는지 여부를 결정하는 단계; 및
   상기 어린이가 안전 좌석에 위치하지 않을 경우, 상기 캐빈의 이동 속도가 기설정 값보다 큰 것에 응답하여, 경보를 송신하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
3. 제1항에 있어서,
   상기 어린이 상태 검출 방법은,
   상기 목표 이미지에서의 안전 좌석에 대해 식별을 진행하는 단계; 및
   캐빈 내에 안전 좌석이 없는 것이 결정될 경우, 상기 캐빈의 이동 속도가 기설정 값보다 큰 것에 응답하여, 경보를 송신하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
4. 제1항에 있어서,
   상기 목표 이미지에서의 어린이를 식별하는 단계는,
   상기 어린이의 상태 특징 정보를 식별하는 단계; 및
   상기 상태 특징 정보에 기반하여, 상기 캐빈 내의 캐빈 환경을 조절하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
5. 제1항에 있어서,
   상기 목표 이미지에서의 어린이를 식별하는 단계는,
   상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정하는 단계 - 하나의 대상의 대상 정보는 상기 대상의 중심 포인트 정보 및 상기 대상의 중심 포인트에 대응되는 대상 타입 정보를 포함함 - ; 및
   결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
6. 제5항에 있어서,
   상기 목표 이미지에 기반하여, 상기 목표 이미지에서의 각 대상의 대상 정보를 결정하는 단계는,
   상기 목표 이미지에 대해 특징 추출을 진행하여, 상기 목표 이미지에 대응되는 제1 특징 맵을 얻는 단계;
   상기 제1 특징 맵의 제1 기설정된 채널에서, 상기 제1 특징 맵에서 각 특징 포인트를 대상의 중심 포인트로 사용하는 응답 값을 획득하는 단계;
   상기 제1 특징 맵을 복수 개의 서브 영역으로 분할하고, 각 서브 영역 내 최대의 응답 값 및 최대의 응답 값에 대응한 특징 포인트를 결정하는 단계; 및
   최대의 응답 값이 기설정된 임계값보다 큰 목표 특징 포인트를 대상의 중심 포인트으로 사용하고, 상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여 대상의 중심 포인트의 위치 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
7. 제6항에 있어서,
   상기 대상의 중심 포인트 정보는 대상의 중심 포인트의 길이 정보 및 너비 정보를 포함하며; 상기 목표 이미지에 기반하여, 상기 목표 이미지에서 포함한 각각의 대상의 대상 정보를 결정하는 단계는,
   상기 제1 특징 맵의 제2 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응한 위치에서, 상기 목표 특징 포인트에 대응되는 대상의 중심 포인트의 길이 정보를 획득하는 단계; 및
   상기 제1 특징 맵의 제3 기설정된 채널에서, 상기 목표 특징 포인트의 위치 인덱스에 대응되는 위치에서, 상기 목표 특징 포인트에 대응되는 대상의 중심 포인트의 너비 정보 획득하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
8. 제6항에 있어서,
   상기 목표 이미지에 기반하여, 상기 목표 이미지에서 포함한 각 대상의 대상 정보를 결정하는 단계는,
   상기 목표 이미지에 대해 특징 추출 진행하여, 상기 목표 이미지에 대응되는 제2 특징 맵을 얻는 단계;
   상기 목표 특징 포인트가 제1 특징 맵에서의 위치 인덱스에 기반하여, 상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스를 결정하는 단계; 및
   상기 목표 특징 포인트가 상기 제2 특징 맵에서의 위치 인덱스에 대응되는 위치에서, 상기 목표 특징 포인트에 대응되는 대상 타입 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
9. 제5항 내지 제8항 중 어느 한 항에 있어서,
   상기 대상은 안면 및 인체를 포함하며,
   결정한 각 대상의 대상 정보에 기반하여, 상기 목표 이미지에서의 어린이를 결정하는 단계는,
   각 인체의 중심 포인트에 대응되는 위치 오프셋 정보에 기반하여, 각 인체와 서로 매칭되는 안면의 중심 포인트의 예측 위치 정보를 각각 결정하는 단계 - 동일한 사람에 속하는 인체 및 안면은 서로 매칭됨 - ;
   결정한 예측 위치 정보 및 각 안면의 중심 포인트의 위치 정보에 기반하여, 각 인체에 매칭되는 안면을 결정하는 단계; 및
   매칭 성공한 인체 및 안면에 대해서, 매칭 성공한 인체의 중심 포인트에 대응한 대상 타입 정보 및 안면의 중심 포인트에 대응되는 대상 타입 정보를 이용하여, 상기 매칭 성공한 인체 및 안면이 속하는 사람이 어린이인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
10. 제9항에 있어서,
    매칭 성공하지 않은 인체에 대해서, 상기 인체의 중심 포인트에 대응되는 대상 타입 정보를 이용하여 상기 인체의 중심 포인트에 속하는 사람이 어린이인지 여부를 결정하는 단계; 및
    매칭 성공하지 않은 안면에 대해서, 상기 안면의 중심 포인트에 대응한 대상 타입 정보를 이용하여, 상기 안면의 중심 포인트가 속하는 사람이 어린이인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
11. 제4항에 있어서,
    상기 상태 특징 정보는 어린이의 수면 상태 특징 정보를 포함하며;
    상기 어린이의 상태 특징 정보를 식별하는 단계는,
    상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취하는 단계;
    상기 안면 서브 이미지에 기반하여, 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보를 결정하는 단계; 및
    어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
12. 제11항에 있어서,
    상기 어린이의 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태정보에 기반하여, 어린이의 수면 상태 특징 정보를 결정하는 단계는,
    연속적인 멀티프레임의 상기 목표 이미지에 대응되는 왼쪽 눈을 뜨거나 감은 상태 정보 및 오른쪽 눈을 뜨거나 감은 상태 정보에 기반하여, 상기 어린이의 눈을 감은 누적 시간을 결정하는 단계;
    상기 눈을 감은 누적 시간이 기설정된 임계값 보다 클 때, 상기 수면 상태 특징 정보를 수면 상태로 결정하는 단계; 및
    상기 눈을 감은 누적 시간이 기설정된 임계값 보다 작거나 같을 때, 상기 수면 상태 특징 정보를 비수면 상태로 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
13. 제4항에 있어서,
    상기 상태 특징 정보는 어린이의 정서 상태 특징 정보를 포함하고;
    상기 어린이의 상태 특징 정보를 식별하는 단계는,
    상기 목표 이미지에서 어린이의 안면 서브 이미지를 절취하는 단계;
    상기 안면 서브 이미지가 대표하는 안면의 적어도 두개 기관에서 각 기관의 액션을 식별하는 단계;
    식별한 상기 각 기관의 액션에 기반하여, 상기 안면 서브 이미지가 대표하는 안면의 정서 상태 특징 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
14. 제13항에 있어서,
    안면의 기관의 액션은,
    눈살을 찌푸리는 것, 눈을 부릅뜨는 것, 입꼬리가 올라가는 것, 윗 입술을 올리는 것, 입꼬리가 내려가는 것, 입을 벌리는 것을 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
15. 제11항 또는 제12항에 있어서,
    상기 안면 서브 이미지가 대표하는 안면의 적어도 두개 기관에서 각 기관 액션을 식별하는 단계는, 동작 식별을 수행하기 위한 신경 네트워크에 의해 실행되고, 동작 식별을 수행하기 위한 신경 네트워크는 백본 네트워크 및 적어도 두 개의 분류 브랜치 네트워크를 포함하고, 각 분류 브랜치 네트워크는 얼굴에서의 하나의 기관의 한 타입의 액션을 식별하기 위한 것이며;
    상기 안면 서브 이미지가 대표하는 안면의 적어도 두개 기관에서 각 기관의 액션를 식별하는 단계는,
    백본 네트워크를 이용하여 상기 안면 서브 이미지에 대해 특징 추출을 진행하여, 상기 안면 서브 이미지의 특징 맵을 얻는 단계;
    각 분류 브랜치 네트워크를 각각 이용하여 상기 안면 서브 이미지의 특징 맵에 따라 액션 식별을 진행하며, 각 분류 브랜치 네트워크가 식별가능한 액션의 발생 확률을 얻는 단계; 및
    발생 확률이 기설정된 확률보다 큰 액션을 상기 안면 서브 이미지가 대표하는 안면의 기관의 액션으로 결정하는 단계를 포함하는 것을 특징으로 하는 어린이 상태 검출 방법.
16. 어린이 상태 검출 장치로서,
    캐빈 내의 목표 이미지를 획득하도록 구성되는 이미지 획득 모듈;
    상기 목표 이미지에서의 어린이를 식별하도록 구성되는 어린이 식별 모듈;
    상기 어린이의 위치 정보에 기반하여, 상기 어린이가 캐빈 내 뒷좌석에 위치하는지 여부를 결정하도록 구성되는 위치 판정 모듈; 및
    상기 어린이가 캐빈 내의 뒷좌석에 위치하지 않는 경우, 경보를 발송하도록 구성된 경보 모듈을 포함하는 것을 특징으로 하는 어린이 상태 검출 장치.
17. 전자 기기는,
    프로세서, 메로리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서 실행 가능한 기계 판독 가능 명령어가 저장되고, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 프로세서는 상기 기계 판독 가능 명령어를 실행하여, 제1항 내지 제15항 중 어느 한 항에 따른 어린이 상태 검출 방법을 실행하는 것을 특징으로 하는 전자 기기.
18. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제15항 중 어느 한 항에 따른 어린이 상태 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
19. 컴퓨터 프로그램 제품으로서,
    컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제15항 중 어느 한 항에 따른 어린이 상태 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.

Images