KR20220041901A

KR20220041901A - 자동차 캐빈 내 이미지 처리

Info

Publication number: KR20220041901A
Application number: KR1020227006965A
Authority: KR
Inventors: 양핑 우; 쑹야 러우; 페이 왕
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-10-22
Filing date: 2020-07-02
Publication date: 2022-04-01
Also published as: CN114821546A; US20220245966A1; CN110781799B; WO2021077796A1; CN110781799A; JP2022535375A

Abstract

본 발명은 자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하는 단계; 상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 상기 자동차 캐빈 내 이미지 중 하나 이상의 안면에 대응하는 안면 검출 박스를 획득하는 단계; 및 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는 자동차 캐빈 내 이미지 처리 방법을 제공한다.

Description

자동차 캐빈 내 이미지 처리

[관련 출원의 상호 참조]

본 발명은 2019년 10월 22일에 제출되고, 출원 번호가 201911008608.8인 중국특허출원의 우선권을 주장하고, 해당 출원의 모든 내용은 참조로서 본문에 인용된다.

[기술분야]

본 발명은 컴퓨터 기술분야에 관한 것이고, 특히 자동차 캐빈 내 이미지 처리 방법 및 장치에 관한 것이다.

과학 기술이 발달함에 따라 차량은 기존의 기계 도구에서 정보 기능 및 엔터테인먼트 기능을 갖춘 교통 도구로 점차 발전하고 있다. 최근에는 차량 정보가 네트워크를 통해 연결되고, 비디오 감시를 통해 차량 모니터링 영상을 가져올 수 있지만, 자동차 캐빈 내 인원 정보는 네트워크를 통해 연결되지 않고 있으며, 비디오 감시 영상을 통해 차량 정보를 찾아도 차량의 자동차 캐빈 인원 정보를 파악할 수 없다.

본 발명은 자동차 캐빈 내 이미지 처리 방법 및 장치를 제공한다.

제1 양태에 따르면, 본 발명은 자동차 캐빈 내 이미지 처리 방법을 제공하고, 상기 방법은,

자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하는 단계;

상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 상기 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득하는 단계; 및

각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함한다.

상기 자동차 캐빈 내 이미지 처리 방법은, 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 적어도 하나의 안면의 안면 검출 박스를 획득한 후, 안면 검출 박스에 기반하여 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정함으로써 안면 특징을 추출할 필요가 없으므로, 연산 복잡도를 줄이는데 유리하고, 자동차 캐빈 내 이미지를 통해 자동차 캐빈 인원의 신원 속성 정보 및 위치 정보를 획득하는 효율을 효과적으로 향상시킨다.

제2 양태에 따르면, 본 발명은 자동차 캐빈 내 이미지 처리 장치를 제공하고, 상기 장치는,

자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하는 획득 모듈;

상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 상기 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득하는 검출 모듈; 및

각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 결정 모듈을 포함한다.

제3 양태에 따르면, 본 발명은 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램은 하드웨어에 의해 실행되어 제1 양태에 따른 방법을 구현하도록 한다.

제4 양태에 따르면, 본 발명은 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품이 컴퓨터에 의해 판독되고 실행될 경우, 제1 양태에 따른 방법을 구현하도록 한다.

제5 양태에 따르면, 본 발명은 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 이는 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 실행되어 제1 양태에 따른 방법을 구현한다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위하여 이하 본 발명의 실시예에서 사용되는 첨부 도면을 간단히 설명한다. 아래에서 설명되는 도면은 본 발명의 일부 실시예일뿐 당업자는 창조적 노력을 필요로 하지 않고 이러한 도면으로부터 다른 도면을 얻을 수 있을 것이다.
도 1은 본 발명에서 제공되는 자동차 캐빈 내 이미지 처리 방법의 흐름 모식도이다.
도 2는 본 발명에서 제공되는 안면 검출 박스 및 이미지 좌표계의 모식도이다.
도 3은 본 발명에서 제공되는 가능한 자동차 캐빈 인원의 신원 속성 및 위치의 모식도이다.
도 4는 본 발명에서 제공되는 제1 기설정 영역 및 제2 기설정 영역의 모식도이다.
도 5는 본 발명에서 제공되는 안면 검출 박스 및/또는 검출 결과의 디스플레이 모식도이다.
도 6은 본 발명에서 제공되는 안면 검출 박스 및/또는 검출 결과의 디스플레이 제어 모식도이다.
도 7은 본 발명에서 제공되는 자동차 캐빈 내 이미지 처리 장치의 구조 모식도이다.
도 8은 본 발명에서 제공되는 다른 자동차 캐빈 내 이미지 처리 장치의 구조 모식도이다.
도 9는 본 발명에서 제공되는 또 다른 자동차 캐빈 내 이미지 처리 장치의 구조 모식도이다.

이하, 본 발명의 실시예에 따른 첨부 도면을 참조하여 본 발명의 실시예에 따른 기술적 해결수단을 명확하고 완전하게 설명하되 설명된 실시예는 본 발명의 일부 실시예일뿐 전체 실시예가 아님은 분명하다. 당업자가 창조적 노력 없이 획득한 모든 다른 실시예들은 전부 본 발명의 보호 범위 내에 속한다.

본 명세서 및 첨부된 청구범위에서 사용될 때 "포함" 및 "포괄"이라는 용어는 설명된 특징, 전체, 단계, 동작, 요소 및/또는 구성요소의 존재를 나타내지만, 하나 이상의 다른 특징, 전체, 단계, 동작, 요소, 구성요소 및/또는 이들의 집합의 존재 또는 추가를 배제하지 않는다.

또한, 본 명세서에서 사용한 용어는 단지 특정 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 이해해야 한다. 본 명세서 및 첨부된 청구

범위에서 사용된 바와 같이, 문맥상 명백하게 달리 나타내지 않는 한, 단수 형태 "일", "하나의" 및 "당해"는 복수 형태를 포함하는 것으로 의도된다.

또한, 본 명세서 및 첨부된 청구범위에서 사용된 "및/또는"이라는 용어는 관련되게 나열된 항목 중 하나 이상의 임의의 조합 및 모든 가능한 조합을 나타내고 이러한 조합을 포함한다는 것을 추가로 이해해야 한다.

우선, 도 1은 본 발명에서 제공되는 자동차 캐빈 내 이미지 처리 방법의 흐름 모식도이고, 아래와 같은 단계 S101내지 S103을 포함할 수 있다.

S101: 자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득한다.

가능한 일 예시에서, 차량의 자동차 캐빈 내에 설치된 상기 촬영 기기는 자동차 캐빈 내 정보를 실시간으로 수집하고, 자동차 캐빈 내 이미지를 촬영하여 획득하며, 획득된 자동차 캐빈 내 이미지는 사진 정보(수집 시각이 연속되는 여러 장의 사진)일 수 있고, 또는 비디오 정보(예를 들어 10s와 같은 일정 시간의 비디오) 등일 수 있으며, 여기서 구체적으로 한정하지 않는다. 자동차 캐빈 내 이미지 처리 장치는 상기 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하고, 이는 실시간으로 획득하거나 기설정 시간 간격으로 획득할 수 있으며, 여기서 구체적으로 한정하지 않는다.

실제 응용에서, 상기 촬영 기기는 아날로그 카메라 또는 스마트 카메라 등일 수 있는바, 예를 들면 적외선 카메라와 같이 야간 투시 거리가 멀고, 은폐성이 강하며 성능이 안정적인 등 장점을 가지고 있어, 낮과 밤에 모두 자동차 캐빈 내 이미지 정보를 정상적으로 수집하여 자동차 캐빈 내 이미지를 획득하도록 보장할 수 있다. 상기 자동차 캐빈은 5인승 자동차 캐빈 또는 7인승 자동차 캐빈일 수 있고, 자동차 캐빈은 좌측 운전 자동차 캐빈 또는 우측 운전 자동차 캐빈일 수 있으며, 여기서 구체적으로 한정하지 않는다.

S102: 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득한다.

여기서, 안면 검출을 수행하는 자동차 캐빈 내 이미지는 하나 이상의 안면을 포함할 수 있고, 하나 이상의 안면에 대응하는 자동차 캐빈 인원은 자동차 캐빈 전열 좌석 영역에 앉아 있는 인원 또는 자동차 캐빈 후열 좌석 영역에 앉아 있는 인원일 수 있으며, 자동차 캐빈 인원의 얼굴에는 장식품이 있을 수 있고, 자동차 캐빈 인원은 남성 또는 여성 등일 수 있으며, 여기서 구체적으로 한정하지 않는다. 자동차 캐빈 인원의 얼굴 정보는 다양한 가능성이 존재하므로, 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지 중 안면의 정보도 정면 얼굴 또는 일정 각도로 편향된 측면 얼굴, 어른의 얼굴 또는 어린이의 얼굴 등일 수 있고, 여기서 구체적으로 한정하지 않는다.

가능한 일 예시에서, 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하기 전에, 차종 및/또는 실제 수요에 따라 촬영 기기의 위치를 설정할 수 있으며, 자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지는 상기 자동차 캐빈 인원이 자동차 캐빈의 전열 좌석 영역, 중간 열 좌석 영역 또는 후열 좌석 영역에 앉아 있는지 여부에 상관없이 자동차 캐빈 인원의 안면 이미지를 최대한 포함해야 하므로, 자동차 캐빈 내 촬영 기기의 위치를 미리 결정해야 한다. 본 발명에서, 촬영 기기는 상기 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈는 자동차 캐빈 내에서 차량 뒤쪽을 향할 수 있으며, 예를 들어, 자동차 캐빈 내 백미러에 설치하거나 자동차 캐빈 내 내비게이터에 설치하거나, 또는 자동차 캐빈 앞부분의 스크린 근처에 설치할 수 있고, 여기서 구체적으로 한정하지 않는다.

상기 해결수단으로부터 알 수 있는 바, 촬영 기기를 상기 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 설치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하도록 함으로써, 자동차 캐빈 내 자동차 캐빈 인원 정보를 전면적으로 수집하는데 유리하고, 후속적인 안면 검출을 위해 준비한다.

촬영 기기에 의해 획득된 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하기 전에, 불균일한 조명과 상이한 각도로 인한 악영향을 제거하기 위해 이미지에 대해 전처리를 수행할 수도 있다. 예를 들어, 우선, 입력된 자동차 캐빈 내 이미지에 대해 Haar 특징 캐스케이드 분류기를 이용하여 안면을 검출하고, 눈 위치를 결정하여, 두 눈 사이의 거리 및 두 눈의 기울기 각도를 얻으며; 다음, 상기 각도를 이용하여 2차원 아핀 변환을 수행하고, 안면을 회전하여, 상이한 각도로 인한 영향을 해소하며, 그 다음, 히스토그램 균등화(histogram equalization)를 이용하여 밝기를 정규화하고, 평활화(smoothing) 처리를 통해 노이즈를 제거하여, 안면 조명이 균일한 효과를 달성한다. 상기 전처리를 거쳐 안면 특성이 상대적으로 통일된 자동차 캐빈 내 이미지를 획득하여, 후속적인 안면 검출 작업을 위해 준비한다.

가능한 일 예시에서, 안면 검출 알고리즘을 통해 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 자동차 캐빈 내 이미지의 안면 영역을 포함하는 안면 검출 박스를 획득할 수 있다. 여기서, 안면 검출 박스는 안면의 위치를 나타내고, 안면 검출 박스는 구형 박스일 수 있으며, 안면 검출 박스의 위치 정보는 안면 검출 박스의 길이와 폭, 및 안면 검출 박스 중 임의의 꼭짓점이 이미지 좌표계에서의 좌표를 포함한다. 예를 들어, 자동차 캐빈 내 이미지에 4명의 사람이 포함될 경우, 4개의 구형 박스를 획득할 수 있고, 이 4명의 안면 영역을 각각 박스로 결정할 수 있다. 여기서, 안면 검출 알고리즘은 오픈 페이스 알고리즘(OpenFace), 타깃 검출 알고리즘(deformable partmodel, DMP), 캐스케이드 콘볼루션 신경망 알고리즘(cascade cnn), 덴스박스 알고리즘(densebox) 등일 수 있고, 본 발명은 안면 검출 알고리즘에 대해 구체적으로 한정하지 않는다.

도 2는 본 발명에서 제공되는 안면 검출 박스 및 이미지 좌표계의 모식도이고, 예를 들어, 도 2에서, 자동차 캐빈 내 이미지에 하나의 안면이 포함되고, 상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 이미지 좌표계 xoy에서의 안면 검출 박스 a, b, c, d의 좌표를 획득한다.

S103: 적어도 하나의 안면의 안면 검출 박스에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정한다.

여기서, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원을 운전자, 승객, 전열 좌석 영역 인원, 후열 좌석 영역 인원, 중간 열 좌석 영역 인원, 운전석 영역 인원, 조수석 영역 인원, 비-운전석 영역 인원 중 적어도 하나의 신원 속성으로 결정하고; 상기 자동차 캐빈 내 전열 좌석 영역, 후열 좌석 영역, 중간 열 좌석 영역, 운전석 영역, 조수석 영역, 비-운전석 영역 중 적어도 하나에서 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정한다.

도 3은 본 발명의 실시예에서 제공되는 가능한 자동차 캐빈 인원의 신원 속성 및 위치의 모식도이다. 도 3에서, 자동차 캐빈 내 이미지에 디스플레이되는 안면 영역을 포함한 5개의 구형 박스는 자동차 캐빈 내 이미지를 검출하여 획득한 안면 검출 박스 1, 안면 검출 박스 2, 안면 검출 박스 3, 안면 검출 박스 4, 안면 검출 박스 5이다. 도 3으로부터 알 수 있는 바, 안면 검출 박스 1, 안면 검출 박스 2의 면적은 안면 검출 박스 3, 안면 검출 박스 4, 안면 검출 박스 5의 면적보다 크고, 다시 말하면, 자동차 캐빈 내 이미지에서 안면 검출 박스 1 및 안면 검출 박스 2의 면적이 차지하는 비율도 자동차 캐빈 내 이미지에서 안면 검출 박스 3, 안면 검출 박스 4, 안면 검출 박스 5의 면적이 차지하는 비율보다 크다. 이 밖에, 도 3으로부터 더 알 수 있는 바, 안면 검출 박스 1 및 안면 검출 박스 2는 자동차 캐빈 내 이미지에서 좌우 양측에 가까운 위치에 위치하고, 안면 검출 박스 3, 안면 검출 박스 4 및 안면 검출 박스 5는 자동차 캐빈 내 이미지에서 중간 영역에 가까운 위치에 위치한다.

따라서, 본 발명에서, 안면 검출 박스의 차이에 따라, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수 있다. 도 3에 도시된 바와 같이, 안면 검출 박스 1, 안면 검출 박스 2, 안면 검출 박스 3, 안면 검출 박스 4, 안면 검출 박스 5의 차이에 따라, 안면 검출 박스 1에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자(Driver)로 결정하고, 자동차 캐빈 내 안면 검출 박스 1에 대응하는 자동차 캐빈 인원의 위치를 전열 좌석 영역의 운전석 영역으로 결정할 수 있다. 또한 안면 검출 박스 2에 대응하는 자동차 캐빈 인원의 신원 속성을 승객(Passenger)으로 결정하고, 자동차 캐빈 내에서의 안면 검출 박스 2에 대응하는 자동차 캐빈 인원의 위치를 전열 좌석 영역의 조수석 영역으로 결정할 수 있다. 또한 안면 검출 박스 3, 안면 검출 박스 4 및 안면 검출 박스 5에 대응하는 자동차 캐빈 인원의 신원 속성을 승객(Passenger)으로 결정하고, 자동차 캐빈 내 안면 검출 박스 3, 안면 검출 박스 4 및 안면 검출 박스 5에 대응하는 자동차 캐빈 인원의 자동차 캐빈 내에서의 위치를 후열 좌석 영역, 즉 비운전석 영역으로 결정할 수 있다.

아래에서 단계 S103에서 기술된 적어도 하나의 안면의 안면 검출 박스에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 과정을 상세하게 설명한다.

가능한 일 예시에서, 적어도 하나의 안면의 안면 검출 박스에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는 다음과 같은 단계를 포함할 수 있다.

A1: 안면 검출 박스의 면적 정보를 결정한다.

가능한 일 예시에서, 상기 단계 S102를 통해 자동차 캐빈 내 이미지 중 적어도 하나의 안면을 포함하는 안면 검출 박스를 획득할 수 있는바, 즉 안면 검출 박스의 위치 정보를 획득할 수 있으며, 예를 들어 상기 안면 검출 박스의 4개의 꼭짓점 a, b, c, d의 좌표에 따라, 안면 검출 박스의 위치 정보를 획득한 후 안면 검출 박스의 면적 정보를 획득할 수 있다. 여기서, 안면 검출 박스의 면적 정보는 안면 검출 박스의 면적, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율 중 적어도 하나를 포함한다.

A2: 임의의 안면 검출 박스에 대해, 안면 검출 박스의 면적 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정한다.

가능한 일 예시에서, 안면 검출 박스의 면적 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 것은, 기설정 면적 임계값 정보와 안면 검출 박스의 면적 정보를 비교한 후, 비교 결과에 따라 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 것일 수 있다. 여기서, 기설정 면적 임계값 정보는 기설정 면적 임계값, 또는, 기설정 면적이 차지하는 비율 임계값을 포함한다.

가능한 일 예시에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 기설정 면적 임계값 정보와 안면 검출 박스의 면적 정보의 비교 결과에 따라 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하며, 이는 다음과 같은 하나 이상의 경우를 포함한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 작고 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

여기서 제1 기설정 임계값이 1.5이고, 기설정 면적 임계값이 3 cm²인 경우를 예로 들면, 안면 검출 박스의 면적을 2.4 cm²로 가정할 경우, 기설정 면적 임계값 및 안면 검출 박스의 면적의 비율은 1.25로서, 제1 기설정 임계값 1.5보다 작으므로, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하고, 및/또는, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정할 수 있다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 크거나 같고 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

여기서 계속하여 제1 기설정 임계값이 1.5이고, 기설정 면적 임계값이 3 cm²인 경우를 예로 들면, 안면 검출 박스의 면적을 1.6 cm²로 가정할 경우, 기설정 면적 임계값 및 안면 검출 박스의 면적의 비율은 1.875로서, 제1 기설정 임계값 1.5보다 크므로, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 및/또는, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정할 수 있다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제2 기설정 임계값보다 작고 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제2 기설정 임계값보다 크거나 같고 제3 기설정 임계값보다 작으며 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 중간 열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 중간 열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제3 기설정 임계값보다 크거나 같고 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 과정은, 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 과정과 유사하므로, 여기서 더 이상 예를 들지 않는다.

상기 예에서 기설정 임계값이 1.5, 기설정 안면 면적이 3 cm², 및 검출된 안면 검출 박스의 면적이 2.4 cm² 및 1.6 cm² 인 것 등은 본 발명의 실시예의 일 예시로 당업자가 본 발명을 이해하도록 하기 위한 것일 뿐, 본 발명의 실시예를 한정하는 것으로 간주되어서는 안된다. 다른 가능한 실시형태에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 기설정 면적 임계값 정보 중 기설정 면적이 차지하는 비율 임계값과 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비교 결과에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수도 있으며, 이는 다음과 같은 하나 이상의 경우를 포함한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 작고 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 크거나 같고 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제5 기설정 임계값보다 작고 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제5 기설정 임계값보다 크거나 같고 제6 기설정 임계값보다 작으며 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 자동차 캐빈 내 중간 열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 중간 열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제6 기설정 임계값보다 크거나 같고 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 자동차 캐빈 내 후열 좌석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

여기서, 기설정 면적 임계값 정보와 안면 검출 박스의 면적 정보의 비교 결과에 따라 자동차 캐빈 인원의 신원 속성 및/또는 위치를 결정하기 전에, 기설정 면적 임계값 정보 및 제1 기설정 임계값, 제2 기설정 임계값 등 기설정 임계값의 크기를 미리 결정해야 하고, 여기서, 기설정 면적 임계값 정보 및 제1 기설정 임계값, 제2 기설정 임계값 등 기설정 임계값의 결정은 모두 촬영 기기의 설치 위치와 관련이 있으므로, 안면 검출을 수행하는 자동차 캐빈 내 이미지는 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지이고, 나아가, 촬영 기기의 촬영 화면의 가로 방향 중앙 위치는 자동차 캐빈 내 2개의 전열 좌석의 중간 위치 부근에 위치할 수 있으며, 촬영 화면의 수직 방향은 자동차 캐빈 인원의 안면이 최대한 이미지 중앙에 가깝도록 한다. 촬영 기기의 위치 설정을 완료한 후, 기설정 면적 임계값 정보, 제1 기설정 임계값 및 제2 기설정 임계값 등 기설정 임계값을 결정할 수 있다.

여기서, 기설정 면적 임계값은 기설정 운전자 안면 면적으로 이해할 수 있고, 상기 기설정 면적 임계값은 사전 저장된 안면의 면적일 수 있는 바, 예를 들면 사전 합성된 안면의 면적 또는 사전 설정된 안면의 면적 등이다.

여기서 기설정 면적 임계값을 사전 설정된 안면의 면적으로 예를 들면, 운전자가 차량의 운전석 영역에 앉도록 미리 선택할 수 있고, 자동차 캐빈 내 이미지 중 기설정 운전자의 안면 검출 박스를 선택하며, 상기 기설정 운전자 안면 검출 박스는 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여 획득한 안면 검출 박스일 수 있으며, 마우스 또는 키보드 등을 통해 명령을 입력하여 선택한 자동차 캐빈 내 이미지에서 상기 기설정 운전자 안면 영역을 포함하는 안면 검출 박스일 수도 있고, 상기 안면 검출 박스는 좌표 정보를 가지고 있으며, 안면 검출 박스의 좌표 정보에 따라 안면 검출 박스의 길이 및 폭을 계산할 수 있으므로, 이미지 내의 기설정 운전자의 안면 면적, 즉 기설정 면적 임계값을 추가로 산출할 수 있다. 다음, 기설정 면적 임계값에 따라 기설정 면적이 차지하는 비율 임계값, 즉 기설정 면적 임계값과 자동차 캐빈 내 이미지 면적의 비율을 산출할 수 있다.

기설정 면적 임계값 및 기설정 면적이 차지하는 비율 임계값을 획득한 후, 상기 기설정 면적 임계값 및 기설정 면적이 차지하는 비율 임계값을 구성 파일에 저장한 다음, 구성 파일에 제1 기설정 임계값, 제2 기설정 임계값 등 기설정 임계값을 구성할 수 있다.

구체적으로, 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 제1 기설정 임계값만 구성하면 되고, 여기서, 제1 기설정 임계값은 기설정된 전열 좌석 및 후열 좌석 안면 면적의 비율을 나타내며; 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 제2 기설정 임계값 및 제3 기설정 임계값을 구성해야 하고, 여기서, 제2 기설정 임계값은 기설정된 전열 좌석 및 중간 열 좌석 안면 면적의 비율을 나타내며, 제3 기설정 임계값은 기설정된 전열 좌석 및 후열 좌석 안면 면적의 비율을 나타낸다. 상이한 종류의 차량에서, 촬영 기기와 자동차 캐빈 전열 좌석 및 후열 좌석의 거리가 같을 수 있으므로, 제1 기설정 임계값 및 제3 기설정 임계값이 같을 수 있고, 여기서 구체적으로 한정하지 않는다. 제4 기설정 임계값, 제5 기설정 임계값 및 제6 기설정 임계값의 구성 상황은 제1 기설정 임계값, 제2 기설정 임계값 및 제3 기설정 임계값의 구성 과정과 유사하므로, 여기서 더 이상 반복 설명하지 않는다.

실제 응용에서, 사전 선택된 운전자는 하나일 수 있고, 다수일 수도 있으며, 여기서 구체적으로 한정하지 않는다. 사전 선택된 운전자가 하나일 경우, 산출된 이미지 중의 기설정 운전자 안면 면적은 기설정 면적 임계값이고; 사전 선택된 운전자가 다수일 경우, 산출된 다수의 기설정 운전자 안면 면적의 평균값이 기설정 면적 임계값이며, 다른 계산 방법을 통해 기설정 면적 임계값을 얻을 수도 있고, 여기서 구체적으로 한정하지 않는다.

상기 해결수단으로부터 알 수 있는바, 본 발명은 안면 검출 기술을 통해 안면 검출 박스의 면적 정보를 검출한 후, 기설정 면적 임계값 정보와 안면 검출 박스의 면적 정보의 비교 결과에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 자동차 캐빈 내 전열 좌석 인원, 중간 열 좌석 인원 또는 후열 좌석 인원으로 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 자동차 캐빈 내 전열 좌석 영역, 자동차 캐빈 내 중간 열 좌석 영역 또는 자동차 캐빈 내 후열 좌석 영역으로 결정할 수 있는바, 이는 기존의 인위적으로 비디오 감시를 분석하여 정보를 획득하는 방식이 아니고, 안면 특징을 추출할 필요도 없으므로, 연산 복잡도를 줄이는데 유리하고, 인력, 물력 및 시간 등을 효과적으로 절약하고, 작업 효율을 향상시킨다.

가능한 일 예시에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 임의의 안면 검출 박스에 대해, 안면 검출 박스의 상대적 위치 정보에 따라 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수도 있다. 상기 결정 방식은 다음과 같은 하나 이상의 경우를 포함한다.

안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

안면 검출 박스의 상대적 위치가 제2 기설정 영역 내에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 조수석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖 및 제2 기설정 영역 밖에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 비운전석 영역 인원으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

여기서, 제1 기설정 영역과 제2 기설정 영역의 결정도 촬영 기기의 설치 위치와 관련이 있으므로, 촬영 기기의 위치를 미리 결정해야 한다. 실제 응용에서, 상이한 종류의 차량에 대해, 자동차 캐빈의 운전석 영역은 자동차 캐빈 전열 좌석의 왼쪽 좌석 또는 오른쪽 좌석일 수 있다. 따라서 상이한 종류의 차량에 따라 촬영 기기의 위치를 조정해야 하고, 일반적으로, 촬영 기기는 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하며, 예를 들어, 촬영 기기의 촬영 화면의 가로 방향 중앙 위치는 자동차 캐빈 내 2개의 전열 좌석 중간 위치 부근에 위치할 수 있고, 촬영 화면의 수직방향은 자동차 캐빈 인원의 안면이 최대한 이미지 중앙에 가깝도록 한다. 자동차 캐빈에서 촬영 기기의 위치 설정을 완료하면, 제1 기설정 영역과 제2 기설정 영역을 추가로 결정할 수 있다.

상기 해결수단으로부터 알 수 있는 바, 본 발명은 안면 검출 기술을 통해 안면 검출 박스의 상대적 위치 정보를 검출한 후, 안면 검출 박스의 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전석 영역 인원, 조수석 영역 인원 또는 비운전석 영역 인원으로 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 운전석 영역, 조수석 영역 또는 비운전석 영역으로 결정할 수 있는데, 이는 기존의 인위적으로 비디오 감시(video surveillance)를 분석하여 정보를 획득하는 방식이 아니고, 안면 특징을 추출할 필요도 없으므로, 연산 복잡도를 줄이는데 유리하고, 인력, 물력 및 시간 등을 효과적으로 절약하고, 작업 효율을 향상시킨다.

가능한 일 예시에서, 제1 기설정 영역과 제2 기설정 영역을 결정하는 과정은 다음과 같을 수 있다.

B1: 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스의 위치 정보를 결정하고, 자동차 캐빈 내 이미지에서 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스를 디스플레이할 수 있다.

여기서, 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스의 위치 정보를 결정하는 것은, 예를 들어 운전자가 차량에 앉은 운전석 영역을 미리 선택하고, 부조종사가 차량에 앉은 조수석 영역을 미리 선택하며, 이어서 자동차 캐빈 내 이미지에서 기설정 운전자 안면 및 기설정 부조종사 안면을 디스플레이하고, 그 다음, 자동차 캐빈 내 이미지에서 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스를 선택하는 것일 수 있다. 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스는 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여 획득한 안면 검출 박스일 수 있고, 마우스 또는 키보드를 통해 자동차 캐빈 내 스크린에 명령을 입력하여 선택한 자동차 캐빈 내 이미지 중 기설정 운전자 및 기설정 부조종사의 안면 검출 박스일 수도 있다. 여기서, 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스는 모두 좌표를 갖는 안면 검출 박스다.

B2: 기설정 운전자 안면 검출 박스의 위치 및 기설정 부조종사 안면 검출 박스의 위치에 따라 제1 기설정 영역 및 제2 기설정 영역의 디스플레이 제어를 수행하고, 제1 기설정 영역 및 제2 기설정 영역의 위치 정보를 구성 파일에 저장한다.

자동차 캐빈에 설치된 스크린에 디스플레이된 상기 기설정 운전자 안면 검출 박스의 위치 및 기설정 부조종사 안면 검출 박스의 위치에 따라, 스크린에 명령을 입력하여 제1 기설정 영역 및 제2 기설정 영역을 결정하고, 제1 기설정 영역 및 제2 기설정 영역의 위치 정보를 구성 파일에 저장할 수 있다.

도 4는 본 발명에서 제공되는 제1 기설정 영역 및 제2 기설정 영역의 모식도이고, 도 4는 제1 기설정 영역 및 제2 기설정 영역의 위치를 디스플레이한다. 도 4로부터 알 수 있는 바, 제1 기설정 영역의 면적은 운전자 안면 검출 박스의 면적보다 크고, 제2 기설정 영역의 면적은 부조종사 안면 검출 박스의 면적보다 크다. 이해할 수 있는 것은, 상기 도 4는 하나의 예시일 뿐이며, 실제 응용에서, 제1 기설정 영역 및 제2 기설정 영역의 면적은 더 크거나 더 작을 수 있고, 제1 기설정 영역 및 제2 기설정 영역의 위치는 다른 위치일 수도 있으며, 여기서 구체적으로 한정하지 않는다.

가능한 일 예시에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 임의의 안면 검출 박스에 대해, 안면 검출 박스의 면적 정보 및 자동차 캐빈 내 이미지에서 안면 검출 박스의 상대적 위치 정보에 따라 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수도 있으며, 이는 다음과 같은 하나 이상의 경우를 포함한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 작고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 작고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적 임계값과 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 크거나 같고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

가능한 일 예시에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 임의의 안면 검출 박스에 대해, 안면 검출 박스의 면적 정보 및 자동차 캐빈 내 이미지에서 이의 상대적 위치 정보에 따라, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수도 있으며, 이는 다음과 같은 하나 이상의 경우를 포함한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 작고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 작고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

기설정 면적이 차지하는 비율 임계값과, 자동차 캐빈 내 이미지에서 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 크거나 같고, 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 안면 검출 박스에 대응하는 자동차 캐빈 인원이 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 조작 중 하나 또는 둘을 수행한다.

상기 해결수단으로부터 알 수 있는 바, 본 발명은 안면 검출 기술을 통해 안면 검출 박스의 면적 정보 및 그 상대적 위치 정보를 검출한 후, 안면 검출 박스의 면적 정보 및 그 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자 또는 승객으로 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 운전석 영역, 조수석 영역 또는 비운전석 영역으로 결정할 수 있는데, 이는 기존의 인위적으로 비디오 감시를 분석하여 정보를 획득하는 방식이 아니고, 안면 특징을 추출할 필요도 없으므로, 연산 복잡도를 줄이는데 유리하고, 인력, 물력 및 시간 등을 효과적으로 절약하고, 작업 효율을 향상시킨다.

가능한 일 예시에서, 자동차 캐빈 내 이미지에 포함된 적어도 하나의 안면의 안면 검출 박스를 획득한 후, 자동차 캐빈 내 이미지에서 각 안면 검출 박스에 대응하는 이미지 영역에 대해 각각 특징 추출을 수행하고, 추출된 특징에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성을 결정하며, 여기서, 안면 속성은 성별, 연령, 기분 상태, 마스크 착용 여부, 안경 착용 여부, 흡연 여부, 어린이인지 여부 등을 포함할 수 있다. 실제 응용에서, 추출된 안면 속성 특징을 저장할 수도 있어, 추후 동일한 자동차 캐빈 인원의 안면에 대해 안면 검출을 수행할 경우, 검색 속도를 높일 수 있다.

예를 들어, 콘볼루션 신경망을 사용하여 자동차 캐빈 내 이미지에서 각 안면 검출 박스에 대응하는 이미지 영역에 대해 특징 추출을 수행할 수 있으며, 여기서, 콘볼루션 신경망은 2개의 콘볼루션 계층만 있는 작은 네트워크와 같이 간단한 구조의 네트워크일 수 있으므로, 자동차 캐빈 내 이미지에서 사람의 안면 면적 및 안면 영역을 효과적이고 정확하게 검출할 수 있고, 콘볼루션 신경망은, 자동차 캐빈 내 이미지에서 사람의 연령 및 표정 등 미세한 안면 속성을 검출하기 위한 10개의 콘볼루션 계층이 있는 복잡한 네트워크일 수도 있으며, 여기서 구체적으로 한정하지 않는다. 이 밖에, 콘볼루션 신경망은 잔차 신경망(Residual Network, ResNet), VGG 네트워크(VGG Network, VGGNet) 등일 수 있으며, 여기서 구체적으로 한정하지 않는다.

이로부터 알 수 있는 바, 본 발명은 또한 자동차 캐빈 내 이미지에서 각 안면 검출 박스에 대응하는 이미지 영역에 대해 각각 특징 추출을 수행하고, 추출된 특징에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성을 결정할 수 있으며, 비디오 감시의 가치를 충분히 발굴하여, 자동차 캐빈 내 이미지를 통해 자동차 캐빈 인원의 안면 속성 정보를 파악하는 효율을 효과적으로 향상시킨다.

가능한 일 예시에서, 자동차 캐빈에 설치된 스크린을 통해 자동차 캐빈 내 이미지를 디스플레이하고, 상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행할 경우 자동차 캐빈 내 이미지에 안면 검출 박스 및/또는 검출 결과를 디스플레이할 수 있다, 여기서, 검출 결과는 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성, 위치, 안면 속성 등을 포함할 수 있다. 도 5는 가능한 안면 검출 박스 및/또는 검출 결과의 디스플레이 모식도이다. 도 5는 안면 검출 박스 및 검출 결과 중의 신원 속성, 위치, 기분 상태, 성별 및 연령을 디스플레이한다. 이해할 수 있는 것은, 상기 도 5는 하나의 예시일 뿐이며, 실제 응용에서, 디스플레이된 검출 결과는 기타 또는 더 많을 수도 있으며, 여기서 구체적으로 한정하지 않는다.

나아가, 자동차 캐빈에 설치된 스크린을 통해 안면 검출 박스 및/또는 검출 결과의 디스플레이 설정 정보를 획득하고, 디스플레이 설정 정보에 따라 자동차 캐빈 내 이미지에서 안면 검출 박스 및/또는 검출 결과의 디스플레이 제어를 수행할 수도 있다. 도 6은 가능한 안면 검출 박스 및/또는 검출 결과의 디스플레이 제어 모식도이다. 도 6은 안면 검출 박스, 성별 및 위치의 디스플레이 제어를 디스플레이하고, 여기서, 성별 및 안면 검출 박스는 디스플레이 상태에 있으며, 위치는 비디스플레이(non-display) 상태에 있다. 이해할 수 있는 것은, 상기 도 6은 하나의 예시일 뿐이며, 실제 응용에서, 디스플레이 제어는 안면 검출 박스 및/또는 기타 검출 결과의 디스플레이 제어일 수도 있고, 여기서 구체적으로 한정하지 않는다.

이로부터 알 수 있는 바, 본 발명은 자동차 캐빈에 설치된 스크린에 디스플레이된 자동차 캐빈 내 이미지에서 안면 검출 박스 및/또는 검출 결과를 디스플레이할 수 있고, 자동차 캐빈 내 이미지에서 자동차 캐빈 인원의 위치를 신속하게 결정할 수 있으며, 자동차 캐빈 인원의 정보를 파악하고, 모니터링 비디오에 대해 주관적인 분석을 진행할 필요가 없다. 아울러, 디스플레이 설정 정보에 따라 자동차 캐빈 내 이미지에서 안면 검출 박스 및/또는 검출 결과의 디스플레이 제어를 수행할 수도 있어, 사용자의 인터랙션 체험을 최적화 한다.

가능한 일 예시에서, 각각의 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성에 따라, 광고 정보를 결정한 다음, 자동차 캐빈에 설치된 스크린을 통해 광고 정보를 디스플레이할 수 있다.

예를 들어, 광고 정보를 상이한 사람들의 연령, 성별 등 속성 특징에 따라 미리 분류하고, 상이한 사람의 연령, 성별 등 속성 특징에 대응하는 광고 푸시 리스트를 생성한 다음, 각각의 안면 검출 박스에 대응하는 자동차 캐빈 인원의 성별 또는 연령 속성 등 안면 속성에 따라 이와 매칭되는 광고 정보를 스크리닝하고 매칭 정도에 따라 스크리닝된 광고 정보를 정렬하고 순서에 따라 재생할 수 있으며, 여기서, 매칭 정도는 성별의 관련도 또는 연령의 관련도에 따라 정렬되도록 설정할 수 있다. 예를 들어, 남성의 경우 자동차, 부동산, 게임 등 타입의 광고를 푸시할 수 있고, 여성의 경우 음식, 미용, 의류 등 타입의 광고 등을 푸시할 수 있다. 이 밖에, 광고 푸시 리스트 중의 광고 정보를 주기적으로 업데이트할 수도 있다.

가능한 일 예시에서, 각각의 안면 검출 박스에 대응하는 적어도 하나의 자동차 캐빈 인원의 기분 상태에 따라, 소정 프롬프트 정보를 결정한 후, 자동차 캐빈에 설치된 스크린을 통해 상기 소정 프롬프트 정보를 디스플레이 및/또는 재생할 수도 있다.

예를 들어, 자동차 캐빈 내 이미지 처리 장치에 의해 각각의 안면 검출 박스에 대응하는 적어도 하나의 자동차 캐빈 인원의 기분 상태가 상심, 분노, 고통, 울음 등 기분이 검출될 경우, 상기 기분 상태와 매칭되는 소정 프롬프트 메시지를 스크리닝하고, 자동차 캐빈에 설치된 스크린에 디스플레이 및 재생할 수 있다. 예를 들어, 어린이가 우는 기분일 경우 어린이 프로그램 또는 동요 등을 재생할 수 있고, 여성이 분노하는 기분일 경우 잔잔한 음악 등을 재생할 수 있다. 이 밖에, 소정 프롬프트 메시지를 주기적으로 업데이트할 수도 있다.

가능한 일 예시에서, 자동차 캐빈 내 이미지에 대해 안면 검출을 수행한 검출 결과를 서버로 송신할 수도 있어, 관련 부서 또는 직원이 동영상을 수동으로 조회할 필요 없이 자동차 캐빈 인원의 상세한 정보를 빠르게 파악하도록 도움을 준다. 예를 들어, 검출 결과를 차량 탑재 네트워크를 통해 실시간으로 경찰서 차량 감시 시스템 단말에 송신할 수 있어, 차량의 도난을 방지할 수 있다.

보다시피, 본 발명의 실시예의 해결방안에서, 안면 검출 기술을 통해 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지 중의 안면을 검출하여, 안면 검출 박스를 획득함으로써, 안면 검출 박스의 면적 정보 및 상대적 위치 정보를 결정하고, 안면 검출 박스의 면적 정보 및/또는 상대적 위치 정보에 따라, 운전자, 승객, 전열 좌석 영역 인원, 후열 좌석 영역 인원 등 신원과 같은 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하며, 또한 운전석 영역, 비운전석 영역, 전열 좌석 영역, 중간 열 좌석 영역 등 위치와 같은 자동차 캐빈 내 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수 있다. 이로부터 알 수 있는 바, 본 발명은 안면 특징을 추출할 필요가 없이, 자동차 캐빈 내 비디오 감시 시스템의 효과적인 정보를 충분히 발굴함으로써, 자동차 캐빈 내 이미지를 통해 자동차 캐빈 인원 신원 속성 정보 및 위치 정보를 파악하는 효율을 크게 향상시킨다. 아울러, 본 발명은 또한 검출된 안면 검출 박스 및/또는 안면 속성 등 검출 결과에 대해 디스플레이 제어를 수행하고, 검출 결과를 이용하여 사용자에게 더 많은 고품질의 서비스를 제공하여, 자동차 캐빈 내 비디오 감시 시스템의 이용 가치를 충분히 발휘할 수 있다.

앞에서 본 발명의 실시예의 자동차 캐빈 내 이미지 처리 방법을 상세히 설명하고, 동일한 발명 구상에 기초하여, 아래에 계속하여 본 발명의 실시예의 자동차 캐빈 내 이미지 처리 장치를 제공한다.

도 7은 본 발명에서 제공되는 자동차 캐빈 내 이미지 처리 장치(700)의 구조 모식도이고, 상기 장치는 적어도 획득 모듈(710), 검출 모듈(720), 결정 모듈(730)을 포함한다. 여기서, 획득 모듈(710)은, 자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득한다.

검출 모듈(720)은, 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 자동차 캐빈 내 이미지에 포함된 적어도 하나의 안면의 안면 검출 박스를 획득한다.

결정 모듈(730)은, 적어도 하나의 안면의 안면 검출 박스에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정한다.

가능한 일 예시에서, 자동차 캐빈 내 이미지가 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향하는 촬영 기기에 의해 촬영된 이미지인 전제하에, 결정 모듈(730)은 구체적으로 기설정 면적 임계값 정보와 안면 검출 박스의 면적 정보를 비교하는 바, 기설정 면적 임계값 정보는 기설정 면적 임계값, 또는, 기설정 면적이 차지하는 비율 임계값을 포함하며; 비교 결과 및 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정한다.

가능한 일 예시에서, 촬영 기기는 자동차 캐빈 내 백미러에 설치되고 렌즈가 차량 뒤쪽 방향을 향한 적외선 카메라이다.

가능한 일 예시에서, 본 발명의 실시예에서 제공되는 자동차 캐빈 내 이미지 처리 장치(700)는 특징 추출 모듈(740), 디스플레이 모듈(750), 디스플레이 제어 모듈(760)을 더 포함할 수 있다. 여기서,

특징 추출 모듈(740)은, 자동차 캐빈 내 이미지에서 각 안면 검출 박스에 대응하는 이미지 영역에 대해 각각 특징 추출을 수행한다.

특징 추출 모듈(740)에 의해 특징이 추출된 후, 결정 모듈(730)을 사용하여 추출된 특징에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성을 결정한다.

디스플레이 모듈(750)은, 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스의 위치 정보를 결정하고, 자동차 캐빈 내 이미지에 기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스를 디스플레이한다.

디스플레이 제어 모듈(760)은, 기설정 운전자 안면 검출 박스의 위치 및 기설정 부조종사 안면 검출 박스의 위치에 따라 제1 기설정 영역 및 제2 기설정 영역의 디스플레이 제어를 수행하고, 제1 기설정 영역 및 제2 기설정 영역의 위치 정보를 구성 파일에 저장한다.

가능한 일 예시에서, 본 발명의 실시예에서 제공되는 자동차 캐빈 내 이미지 처리 장치(700)는 자동차 캐빈 내 이미지에 대해 안면 검출을 수행한 검출 결과를 서버로 송신하는 송신 모듈(770)을 더 포함할 수 있다.

상기 자동차 캐빈 내 이미지 처리 장치의 각 기능 모듈은 상기 방법 실시예에서 설명된 방법을 구현하는데 사용될 수 있고, 상세한 내용은 도 1 내지 도 6 및 상응한 방법 실시예의 관련 내용의 설명을 참조할 수 있으며, 명세서의 간결함을 위해, 여기서 반복 설명하지 않는다.

상기 해결수단은 자동차 캐빈 내 이미지를 검출하여 안면 검출 박스를 획득하고, 안면 검출 박스의 면적 정보 및/또는 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정할 수 있음으로써, 자동차 캐빈 내 이미지를 통해 자동차 캐빈 인원 정보를 파악하는 효율을 효과적으로 향상시키고, 자동차 캐빈 내 모니터링 시스템의 이용 가치를 향상시킨다.

본 발명의 자동차 캐빈 내 이미지 처리 장치(700)는 단일 컴퓨팅 노드에서 구현될 수 있고, 클라우드 컴퓨팅 인프라스트럭처 상에서 구현될 수도 있으며, 여기서 구체적으로 한정하지 않는다. 이하, 단일 컴퓨팅 노드 및 클라우드 컴퓨팅 인프라스트럭처에서 자동차 캐빈 내 이미지 처리 장치(700)를 구현하는 방법을 각각 소개할 것이다.

도 8을 참조하면, 본 발명은 다른 실시형태의 자동차 캐빈 내 이미지 처리 장치의 구조 모식도를 제공하고, 본 실시형태의 자동차 캐빈 내 이미지 처리 장치는 도 8에 도시된 바와 같은 컴퓨팅 노드(800)에서 구현될 수 있으며, 상기 장치는 적어도 프로세서(810), 통신 인터페이스(820) 및 메모리(830)를 포함하고, 여기서, 프로세서(810), 통신 인터페이스(820) 및 메모리(830)는 버스(840)를 통해 커플링된다. 여기서,

프로세서(810)는 메모리(830) 중의 프로그램 코드를 호출하여, 도 7 중의 획득 모듈(710), 검출 모듈(720), 결정 모듈(730), 특징 추출 모듈(740), 디스플레이 모듈(750), 디스플레이 제어 모듈(760), 송신 모듈(770)을 실행한다. 실제 응용에서, 프로세서(810)는 하나 이상의 범용 프로세서를 포함할 수 있고, 여기서, 범용 프로세서는 중앙 처리 장치(Central Processing Unit, CPU), 마이크로프로세서, 마이크로 컨트롤러, 메인 프로세서, 컨트롤러 및 ASIC(Application Specific Integrated Circuit, 응용 주문형 집적회로) 등을 포함하며 전자 명령을 처리할 수 있는 임의의 타입의 기기일 수 있다. 프로세서(810)는 메모리(830)에 저장된 프로그램 코드를 판독하고, 통신 인터페이스(820)와 협력하여 본 발명의 상기 실시예에서 자동차 캐빈 인원 위치 검출 장치(400)에 의해 구현되는 방법의 일부 또는 전부 단계를 수행한다.

통신 인터페이스(820)는 기타 컴퓨팅 노드 또는 장치와 통신하기 위한 유선 인터페이스(예를 들어 이더넷 인터페이스)일 수 있다. 통신 인터페이스(820)가 유선 인터페이스일 경우, 통신 인터페이스(820)는 RAAS 프로토콜, 원격 함수 호출(Remote Function Call, RFC) 프로토콜, 단순 객체 접근 프로토콜(Simple Object Access Protocol, SOAP) 프로토콜, 간이 망 관리 프로토콜(Simple Network Management Protocol, SNMP) 프로토콜, 공통 객체 요구 매개자 구조(Common Object Request Broker Architecture, CORBA) 프로토콜 및 분산형 프로토콜 등과 같은 TCP/IP 기반 프로토콜 패밀리를 사용할 수 있다.

메모리(830)에는 프로그램 코드 및 프로그램 데이터가 저장될 수 있다. 여기서, 프로그램 코드는 이미지 획득 모듈(710)의 코드, 검출 모듈(720)의 코드, 결정 모듈(730)의 코드, 특징 추출 모듈(740)의 코드, 디스플레이 모듈(750)의 코드, 디스플레이 제어 모듈(760)의 코드, 송신 모듈(770)의 코드를 포함한다. 프로그램 데이터는 검출된 안면 검출 박스, 안면 검출 박스의 면적 정보, 안면 검출 박스의 상대적 위치 정보 및 안면 검출 박스에 대응하는 안면 속성 등을 포함한다. 실제 응용에서, 메모리(830)는 랜덤 액세스 메모리(Random Access Memory, RAM)와 같은 휘발성 메모리(Volatile Memory)를 포함할 수 있고; 메모리는 판독 전용 메모리(Read-Only Memory, ROM), 플래시 메모리(Flash Memory), 하드 디스크(Hard Disk Drive, HDD) 또는 솔리드 스테이트 드라이브(Solid-State Drive, SSD) 메모리와 같은 비휘발성 메모리(Non-Volatile Memory)를 포함할 수도 있으며, 상술한 유형의 메모리의 조합을 포함할 수도 있다.

도 9를 참조하면, 본 발명은 다른 실시형태의 자동차 캐빈 내 이미지 처리 장치의 구조 모식도를 제공하고, 본 실시형태의 자동차 캐빈 내 이미지 처리 장치는 클라우드 서비스 클러스터와 같은 컴퓨팅 기기 클러스터(900)에서 구현될 수 있으며, 상기 장치는 적어도 하나의 컴퓨팅 노드(910) 및 적어도 하나의 스토리지 노드(920)를 포함한다. 여기서,

컴퓨팅 노드(910)는 하나 이상의 프로세서(911), 통신 인터페이스(912) 및 메모리(913)를 포함하고, 프로세서(911), 통신 인터페이스(912) 및 메모리(913) 사이는 버스(914)를 통해 연결될 수 있다.

프로세서(911)는 하나 이상의 범용 프로세서를 포함하고, 메모리(913) 중의 프로그램 코드를 호출하여, 도 7 중의 획득 모듈(710), 검출 모듈(720), 결정 모듈(730), 특징 추출 모듈(740), 디스플레이 모듈(750), 디스플레이 제어 모듈(760), 송신 모듈(770)을 실행한다. 여기서, 범용 프로세서는 중앙 처리 장치(Central Processing Unit, CPU), 마이크로프로세서, 마이크로 컨트롤러, 메인 프로세서, 컨트롤러 및 ASIC(Application Specific Integrated Circuit, 응용 주문형 집적회로) 등을 포함하는 전자 명령을 처리할 수 있는 임의의 타입의 기기일 수 있다. 이는 컴퓨팅 노드(910)에만 사용되는 전용 프로세서일 수 있거나 기타 컴퓨팅 노드(910)와 공유할 수 있다. 프로세서(911)는 메모리(913)에 저장된 프로그램 코드를 판독하고, 통신 인터페이스(912)와 협력하여 본 발명의 상기 실시예에서 자동차 캐빈 인원 위치 검출 장치(400)에 의해 구현되는 방법의 일부 또는 전부 단계를 수행한다.

통신 인터페이스(912)는 기타 컴퓨팅 노드 또는 사용자와 통신하기 위한 유선 인터페이스(예를 들어 이더넷 인터페이스)일 수 있다. 통신 인터페이스(912)가 유선 인터페이스일 경우, 통신 인터페이스(912)는 RAAS 프로토콜, 원격 함수 호출(Remote Function Call, RFC) 프로토콜, 단순 객체 접근 프로토콜(Simple Object Access Protocol, SOAP) 프로토콜, 간이 망 관리 프로토콜(Simple Network Management Protocol, SNMP) 프로토콜, 공통 객체 요구 매개자 구조(Common Object Request Broker Architecture, CORBA) 프로토콜 및 분산형 프로토콜 등과 같은 TCP/IP 기반 프로토콜 패밀리를 사용할 수 있다.

메모리(913)는 랜덤 액세스 메모리(Random Access Memory, RAM)와 같은 휘발성 메모리(Volatile Memory)를 포함할 수 있고; 메모리는 판독 전용 메모리(Read-Only Memory, ROM), 플래시 메모리(Flash Memory), 하드 디스크(Hard Disk Drive, HDD) 또는 솔리드 스테이트 드라이브(Solid-State Drive, SSD) 메모리와 같은 비휘발성 메모리(Non-Volatile Memory)를 포함할 수도 있으며, 상술한 유형의 메모리의 조합을 포함할 수도 있다.

스토리지 노드(920)는 하나 이상의 스토리지 컨트롤러(921), 메모리 어레이(922)를 포함한다. 여기서, 스토리지 컨트롤러(921) 및 메모리 어레이(922) 사이는 버스(923)를 통해 연결될 수 있다.

스토리지 컨트롤러(921)는 하나 이상의 범용 프로세서를 포함하고, 여기서, 범용 프로세서는 CPU, 마이크로프로세서, 마이크로 컨트롤러, 메인 프로세서, 컨트롤러 및 ASIC 등을 포함하는 전자 명령을 처리할 수 있는 임의의 타입의 기기일 수 있다. 이는 단일 스토리지 노드(920)에만 사용되는 전용 프로세서일 수 있거나 컴퓨팅 노드（910） 또는 기타 스토리지 노드(920)와 공유할 수 있다. 이해할 수 있는 것은, 본 실시예에서, 각각의 스토리지 노드는 하나의 스토리지 컨트롤러를 포함하고, 다른 실시예에서, 다수의 스토리지 노드가 하나의 스토리지 컨트롤러를 공유할 수도 있으며, 여기서 구체적으로 한정하지 않는다.

메모리 어레이(922)는 다수의 메모리를 포함할 수 있다. 메모리는 ROM, 플래시 메모리, HDD 또는 SSD 메모리와 같은 비휘발성 메모리일 수 있으며 상술한 유형의 메모리의 조합을 포함할 수도 있다. 예를 들어, 메모리 어레이는 다수의 HDD 또는 다수의 SDD로 이루어진 것일 수 있고, 또는, 메모리 어레이는 HDD 및 SDD로 이루어진 것일 수 있다. 여기서, 다수의 메모리는 스토리지 컨트롤러(921)의 도움으로 상이한 방식으로 조합되어 메모리 그룹을 형성함으로써, 단일 메모리보다 더 높은 저장 성능을 제공하고 데이터 백업 기술을 제공한다. 선택적으로, 메모리 어레이(922)는 하나 이상의 데이터 센터를 포함할 수 있다. 다수의 데이터 센터는 동일한 위치에 설정될 수 있거나, 각각 상이한 위치에 설정될 수 있고, 여기서 구체적으로 한정하지 않는다. 메모리 어레이(922)에는 프로그램 코드 및 프로그램 데이터가 저장될 수 있다. 여기서, 프로그램 코드는 이미지 획득 모듈(710)의 코드, 검출 모듈(720)의 코드, 결정 모듈(730)의 코드, 특징 추출 모듈(740)의 코드, 디스플레이 모듈(750)의 코드, 디스플레이 제어 모듈(760)의 코드, 송신 모듈(770)의 코드를 포함한다. 프로그램 데이터는 검출된 안면 검출 박스, 안면 검출 박스의 면적 정보, 안면 검출 박스의 상대적 위치 정보 및 안면 검출 박스에 대응하는 안면 속성 등을 포함한다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하며, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 하드웨어(예를 들어 프로세서 등)에 의해 실행되어, 본 발명의 실시예에서 자동차 캐빈 내 이미지 처리 장치에 의해 구현되는 임의의 방법의 일부 또는 전부 단계를 수행한다.

본 발명의 실시예는 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 프로그램 제품이 컴퓨터에 의해 판독되고 실행될 경우, 자동차 캐빈 내 이미지 처리 장치가 본 발명의 실시예에 따른 자동차 캐빈 내 이미지 처리 방법의 일부 또는 전부 단계를 수행하도록 한다.

당업자는 본문에 개시된 실시예와 관련하여 설명된 각 예시의 유닛 및 알고리즘 단계가 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 전체적으로 또는 부분적으로 구현될 수 있음을 인식할 수 있다. 소프트웨어로 구현할 경우 컴퓨터 프로그램 제품의 형태로 전체적으로 또는 부분적으로 구현될 수 있다. 상기 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령을 포함한다. 컴퓨터 프로그램 명령이 컴퓨터에 로딩되어 실행될 때, 본 발명의 실시예에서 설명된 프로세스 또는 기능이 전체적으로 또는 부분적으로 생성된다. 상기 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 기타 프로그램 가능 장치일 수 있다. 상기 컴퓨터 명령은 컴퓨터 판독 가능한 저장 매체에 저장되거나, 하나의 컴퓨터 판독 가능한 저장 매체에서 다른 컴퓨터 판독 가능한 저장 매체로 전송될 수 있으며, 예를 들어, 상기 컴퓨터 명령은 유선(예를 들어: 동축 케이블, 광섬유, 디지털 가입자 회선) 또는 무선(예를 들어: 적외선, 무선, 마이크로파 등) 방식을 통해 하나의 웹사이트, 컴퓨터, 서버 또는 데이터 센터로부터 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터가 액세스할 수 있는 임의의 사용 가능한 매체, 또는 하나 이상의 사용 가능한 매체가 통합된 서버 또는 데이터 센터와 같은 데이터 저장 기기일 수 있다. 상기 사용 가능한 매체는 자기 매체(예를 들어: 플로피 디스크, 저장 디스크, 자기 테이프), 광학 매체(예를 들어: DVD), 또는 반도체 매체(예를 들어: 솔리드 스테이트 디스크(Solid State Disk，SSD)) 등일 수 있다. 상기 실시예에서, 각 실시예에 대한 설명은 나름대로의 치중점이 있으며, 어느 실시예에서 구체적으로 설명되지 않은 부분에 대해서는 다른 실시예의 관련된 설명을 참조할 수 있다.

본 발명에서 제공된 몇 개의 실시예에서, 개시된 장치는 다른 방식으로 실현될 수 있음을 이해해야 할 것이다. 예를 들면, 이상에서 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 구현 시 다른 구획 방식이 있을 수 있으며, 예를 들면 다수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 집적될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 기재 또는 토론된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접 커플링 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형식일 수도 있다.

이상에서 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 것일 수 있고, 유닛으로 디스플레이된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 실현할 수 있다.

이밖에, 본 발명의 각 실시예의 각 기능 유닛은 하나의 프로세싱 유닛에 집적될 수 있거나, 각 유닛이 별도로 물리적으로 존재할 수 있거나, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수 있다. 상기 집적된 유닛은 하드웨어 또는 소프트웨어 기능 유닛의 형식으로 구현될 수 있다.

상기 집적된 유닛이 만약 소프트웨어 기능 유닛의 형식으로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 상기 기술적 해결수단의 전체 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 약간의 명령을 포함하여 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전체 또는 일부 단계를 수행하도록 할 수 있다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.

상술한 내용은 본 발명의 구체적인 실시형태일 뿐 본 발명의 보호범위는 이에 한정되지 않으며, 당업자가 본 발명에서 개시된 기술범위 내에서 용이하게 생각해낸 수정 또는 대체는 모두 본 발명의 보호범위에 포함되어야 할 것이다. 따라서 본 발명의 보호범위는 청구범위의 보호범위를 기준으로 한다.

Claims

자동차 캐빈 내 이미지 처리 방법에 있어서,
자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하는 단계;
상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 상기 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득하는 단계; 및
각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항에 있어서,
상기 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하는 단계는,
각 안면 검출 박스에 대응하는 자동차 캐빈 인원을 운전자, 승객, 전열 좌석 영역 인원, 후열 좌석 영역 인원, 중간 열 좌석 영역 인원, 운전석 영역 인원, 조수석 영역 인원, 비운전석 영역 인원 중 적어도 하나의 신원 속성으로 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 또는 제2항에 있어서,
상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 자동차 캐빈 내 전열 좌석 영역, 후열 좌석 영역, 중간 열 좌석 영역, 운전석 영역, 조수석 영역, 비운전석 영역 중 적어도 하나에서 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 안면 검출 박스의 면적 정보를 결정하는 단계 - 상기 면적 정보는 상기 안면 검출 박스의 면적, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율 중 적어도 하나를 포함함 -; 및
임의의 안면 검출 박스에 대해, 상기 안면 검출 박스의 면적 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제4항에 있어서,
상기 자동차 캐빈 내 이미지는, 상기 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향한 상기 촬영 기기에 의해 촬영된 이미지이며;
임의의 안면 검출 박스에 대해, 상기 안면 검출 박스의 면적 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
기설정 면적 임계값 정보와 상기 안면 검출 박스의 면적 정보를 비교하는 단계 - 상기 기설정 면적 임계값 정보는 기설정 면적 임계값, 또는, 기설정 면적이 차지하는 비율 임계값을 포함함 -; 및
비교 결과에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제5항에 있어서,
상기 비교 결과에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 작고, 상기 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 상기 제1 기설정 임계값보다 크거나 같고, 상기 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 제2 기설정 임계값보다 작고, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 상기 제2 기설정 임계값보다 크거나 같고 제3 기설정 임계값보다 작으며, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 중간 열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 중간 열 좌석 영역에 있는 것으로 결정하는 단계; 및
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 상기 제3 기설정 임계값보다 크거나 같고, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 단계 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제5항에 있어서,
상기 비교 결과에 따라 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 작고, 상기 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 상기 제4 기설정 임계값보다 크거나 같고, 상기 자동차 캐빈이 전열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 제5 기설정 임계값보다 작고, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 전열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 전열 좌석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 상기 제5 기설정 임계값보다 크거나 같고 제6 기설정 임계값보다 작으며, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 중간 열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 중간 열 좌석 영역에 있는 것으로 결정하는 단계; 및
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 상기 제6 기설정 임계값보다 크거나 같고, 상기 자동차 캐빈이 전열 좌석, 중간 열 좌석 및 후열 좌석의 자동차 캐빈일 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 후열 좌석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈 내 후열 좌석 영역에 있는 것으로 결정하는 단계 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 상대적 위치 정보를 결정하는 단계; 및
임의의 안면 검출 박스에 대해, 상기 안면 검출 박스의 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제8항에 있어서,
상기 자동차 캐빈 내 이미지는, 상기 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향한 상기 촬영 기기에 의해 촬영된 이미지이며;
상기 안면 검출 박스의 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 단계;
상기 안면 검출 박스의 상대적 위치가 제2 기설정 영역 내에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 조수석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 단계; 및
상기 안면 검출 박스의 상대적 위치가 상기 제1 기설정 영역 밖 및 상기 제2 기설정 영역 밖에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 비운전석 영역 인원으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 단계 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나 및/또는 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 안면 검출 박스의 면적 정보 및 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 상대적 위치 정보를 결정하되, 상기 면적 정보는 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율 중 적어도 하나를 포함하는 단계; 및
상기 안면 검출 박스의 면적 정보 및 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제10항에 있어서,
상기 자동차 캐빈 내 이미지는, 상기 자동차 캐빈 내에서 차량 앞쪽에 가까운 위치에 위치하고 렌즈가 자동차 캐빈 내에서 차량 뒤쪽을 향한 상기 촬영 기기에 의해 촬영된 이미지이며;
상기 안면 검출 박스의 면적 정보 및 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
기설정 면적 임계값 정보와 상기 안면 검출 박스의 면적 정보를 비교하는 단계 - 상기 기설정 면적 임계값 정보는 기설정 면적 임계값, 또는, 기설정 면적이 차지하는 비율 임계값을 포함함 -; 및
비교 결과 및 상기 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제11항에 있어서,
임의의 안면 검출 박스에 대해, 비교 결과 및 상기 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 제1 기설정 임계값보다 작고, 상기 안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 상기 제1 기설정 임계값보다 작고, 상기 안면 검출 박스의 상대적 위치가 상기 제1 기설정 영역 밖에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 단계; 및
상기 기설정 면적 임계값과 상기 안면 검출 박스의 면적의 비율이 상기 제1 기설정 임계값보다 크거나 같고, 상기 안면 검출 박스의 상대적 위치가 상기 제1 기설정 영역 밖에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 단계 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제11항에 있어서,
임의의 안면 검출 박스에 대해, 비교 결과 및 상기 상대적 위치 정보에 따라, 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 단계는,
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 제4 기설정 임계값보다 작고, 상기 안면 검출 박스의 상대적 위치가 제1 기설정 영역 내에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 운전자로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 운전석 영역에 있는 것으로 결정하는 단계;
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 상기 제4 기설정 임계값보다 작고, 상기 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 조수석 영역에 있는 것으로 결정하는 단계; 및
상기 기설정 면적이 차지하는 비율 임계값과, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스의 면적이 차지하는 비율의 비율이 상기 제4 기설정 임계값보다 크거나 같고, 상기 안면 검출 박스의 상대적 위치가 제1 기설정 영역 밖에 위치할 경우, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 승객으로 결정하거나, 및/또는, 상기 안면 검출 박스에 대응하는 자동차 캐빈 인원이 상기 자동차 캐빈의 비운전석 영역에 있는 것으로 결정하는 단계 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 촬영 기기는, 상기 자동차 캐빈 내 백미러에 설치되고 렌즈가 차량 뒤쪽 방향을 향한 적외선 카메라인
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
기설정 운전자 안면 검출 박스 및 기설정 부조종사 안면 검출 박스의 위치 정보를 결정하고, 상기 자동차 캐빈 내 이미지에 상기 기설정 운전자 안면 검출 박스 및 상기 기설정 부조종사 안면 검출 박스를 디스플레이하는 단계;
상기 기설정 운전자 안면 검출 박스의 위치 및 상기 기설정 부조종사 안면 검출 박스의 위치에 따라 상기 제1 기설정 영역 및 상기 제2 기설정 영역의 디스플레이 제어를 수행하고, 상기 제1 기설정 영역 및 상기 제2 기설정 영역의 위치 정보를 구성 파일에 저장하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득한 후,
상기 자동차 캐빈 내 이미지 중 각 상기 안면 검출 박스에 대응하는 이미지 영역에 대해 각각 특징 추출을 수행하는 단계; 및
추출된 특징에 따라 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성을 결정하는 단계를 더 포함하되, 상기 안면 속성은 성별, 연령, 기분 상태, 마스크 착용 여부, 안경 착용 여부, 흡연 여부, 어린이인지 여부 중 적어도 하나를 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제16항 중 어느 한 항에 있어서,
상기 자동차 캐빈에 설치된 스크린을 통해 상기 자동차 캐빈 내 이미지를 디스플레이하고, 상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행할 경우 상기 자동차 캐빈 내 이미지에 상기 안면 검출 박스 및/또는 검출 결과를 디스플레이하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제17항 중 어느 한 항에 있어서,
상기 안면 검출 박스 및/또는 검출 결과의 디스플레이 설정 정보를 획득하는 단계; 및
상기 디스플레이 설정 정보에 따라, 상기 자동차 캐빈 내 이미지에서 상기 안면 검출 박스 및/또는 검출 결과의 디스플레이 제어를 수행하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제18항 중 어느 한 항에 있어서,
각각의 안면 검출 박스에 대응하는 자동차 캐빈 인원의 안면 속성에 따라, 광고 정보를 결정하는 단계; 및
상기 자동차 캐빈에 설치된 스크린을 통해 상기 광고 정보를 디스플레이하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제19항 중 어느 한 항에 있어서,
각각의 안면 검출 박스에 대응하는 자동차 캐빈 인원의 기분 상태에 따라, 소정 프롬프트 정보를 결정하는 단계; 및
상기 자동차 캐빈에 설치된 스크린을 통해 상기 소정 프롬프트 정보를 디스플레이 및/또는 재생하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
제1항 내지 제20항 중 어느 한 항에 있어서,
상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행한 검출 결과를 서버로 송신하는 단계를 더 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 방법.
자동차 캐빈 내 이미지 처리 장치에 있어서,
상기 자동차 캐빈 내에 설치된 촬영 기기에 의해 수집된 자동차 캐빈 내 이미지를 획득하는 획득 모듈;
상기 자동차 캐빈 내 이미지에 대해 안면 검출을 수행하여, 상기 자동차 캐빈 내 이미지 중 적어도 하나의 안면에 대응하는 안면 검출 박스를 획득하는 검출 모듈; 및
각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 신원 속성을 결정하거나, 및/또는, 상기 자동차 캐빈 내에서의 각 안면 검출 박스에 대응하는 자동차 캐빈 인원의 위치를 결정하는 결정 모듈을 포함하는
것을 특징으로 하는 자동차 캐빈 내 이미지 처리 장치.
컴퓨터 판독 가능 저장 매체에 있어서,
컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 하드웨어에 의해 실행되어 제1항 내지 제21항 중 어느 한 항에 따른 방법을 구현하도록 하는
것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램 제품에 있어서,
상기 컴퓨터 프로그램 제품이 컴퓨터에 의해 판독되고 실행될 경우, 제1항 내지 제21항 중 어느 한 항에 따른 방법을 구현하는
것을 특징으로 하는 컴퓨터 프로그램 제품.
컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 실행되어 제1항 내지 제21항 중 어느 한 항에 따른 방법을 구현하는
것을 특징으로 하는 컴퓨터 프로그램.