KR102597068B1

KR102597068B1 - 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법

Info

Publication number: KR102597068B1
Application number: KR1020210157964A
Authority: KR
Inventors: 강현욱; 유내원; 김병욱; 김나경
Original assignee: 전남대학교 산학협력단
Priority date: 2021-11-16
Filing date: 2021-11-16
Publication date: 2023-10-31
Also published as: WO2023090618A1; KR20230071593A

Abstract

인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치가 개시된다. 차량 장치는, 카메라, 학습된 인공 신경망 모델이 저장된 메모리 및, 카메라를 통해 획득된 운전자 촬영 영상을 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하고, 운전자의 시선 데이터에 기초하여 운전자의 주시 상태를 판단하고, 운전자의 주시 상태에 대응되는 피드백을 제공하는 프로세서를 포함한다. 여기서, 인공 신경망 모델은, 학습용 운전자 영상를 입력 데이터로 하고, 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델이며, 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 학습용 운전자 영상에 대응되는 운전자 눈동자의 좌표 및 방향 벡터에 기초하여 획득될 수 있다.

Description

인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법 { Vehicle device for determining a driver's gaze state using artificial intelligence and control method thereof }

본 개시는 차량 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법에 관한 것이다.

도로교통공단 조사에 따르면 고속도로 교통사고 사망자 10명 중 6~7명이 졸음 운전 및 전방 주시 태만으로 인하여 발생되는 것으로 확인되었다.

특히, 운전자의 전방주시 태만에 의한 사고는 운전 중 스마트 폰 사용, 영상 시청, 네비게이션 조작 하는 행위, 음식물 섭취, 흡연, 졸음 등으로 인해 운전에 집중하지 못한 원인으로 발생한 것으로 확인되었다.

운전자가 2초 동안 전방주시를 태만히 한 채 100 km/h로 주행할 경우 자동차의 이동거리가 약 55m 이상으로 눈을 가만히 감고 운전하는 것과 같이 위험한 대형사고로 이어질 수 있다.

특히, 대형 트럭 운전사와 같은 대형차 운전자의 전방주시 태만 및 졸음 운전을 할 경우, 운전자 이외에도 많은 사람들의 인명을 사상시킬 수 있는 위험이 존재한다.

따라서 운전 중 운전자의 시선에 따른 전방주시에 대한 판단 할 수 있는 기술이 요구된다.

본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적은, 인공 신경망 모델을 이용하여 운전자의 시선 데이터를 획득하고, 이에 기초하여 운전자의 전방 주시 상태를 판단하고, 이에 대응되는 피드백을 제공하는 차량 장치 및 그 제어 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 차량 장치는, 카메라, 학습된 인공 신경망 모델이 저장된 메모리 및, 상기 카메라를 통해 획득된 운전자 촬영 영상을 상기 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하고, 상기 운전자의 시선 데이터에 기초하여 상기 운전자의 주시 상태를 판단하고, 상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 프로세서를 포함하며, 상기 인공 신경망 모델은, 학습용 운전자 영상를 입력 데이터로 하고, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델이며, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 좌표 및 방향 벡터에 기초하여 획득될 수 있다.

또한, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 3차원 절대 좌표 및 3차원 방향 벡터에 기초하여 획득되며, 상기 인공 신경망 모델로부터 출력되는 상기 운전자의 시선 데이터는, 상기 운전자의 눈동자에 대응되는 3차원 시선 좌표일 수 있다.

또한, 상기 프로세서는, 운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하고, 상기 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하고, 상기 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출하고, 상기 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하고, 상기 눈동자의 3차원 절대 좌표 및 상기 눈동자의 방향 벡터에 기초하여 상기 학습용 운전자 영상에 대응되는 시선 데이터를 획득할 수 있다.

또한, 상기 프로세서는, 상기 차량 장치의 주행 데이터를 획득하고, 상기 차량 장치의 주행 데이터에 기초하여 상기 운전자의 주시 상태에 대응되는 피드백을 제공하며, 상기 차량 장치의 주행 데이터는, 차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함할 수 있다.

또한, 상기 프로세서는, 상기 운전자의 시선 데이터 및 추가 정보에 기초하여 상기 운전자의 주시 상태를 판단하고, 상기 추가 정보는, 운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함할 수 있다.

한편, 일 실시 예에 따른 차량 장치의 제어 방법은, 카메라를 통해 획득된 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하는 단계, 상기 운전자의 시선 데이터에 기초하여 상기 운전자의 주시 상태를 판단하는 단계 및, 상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 단계를 포함하며, 상기 인공 신경망 모델은, 학습용 운전자 영상를 입력 데이터로 하고, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델이며, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 좌표 및 방향 벡터에 기초하여 획득될 수 있다.

또한, 운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하는 단계, 상기 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하는 단계, 상기 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출하는 단계, 상기 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하는 단계 및, 상기 눈동자의 3차원 절대 좌표 및 상기 눈동자의 방향 벡터에 기초하여 상기 학습용 운전자 영상에 대응되는 시선 데이터를 획득하는 단계를 포함할 수 있다.

또한, 상기 차량 장치의 주행 데이터를 획득하는 단계를 더 포함하며, 상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 단계는, 상기 차량 장치의 주행 데이터에 기초하여 상기 운전자의 주시 상태에 대응되는 피드백을 제공하며, 상기 차량 장치의 주행 데이터는, 차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함할 수 있다.

또한, 상기 운전자의 주시 상태를 판단하는 단계는, 상기 운전자의 시선 데이터 및 추가 정보에 기초하여 상기 운전자의 주시 상태를 판단하며, 상기 추가 정보는, 운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함할 수 있다.

상술한 다양한 실시 예에 따르면, 인공 신경망 모델을 이용하여 운전자의 시선 방향은 물론 시선 초점까지 추적할 수 있게 된다. 이에 따라 운전자의 3차원 시선 좌표를 정확히 획득함으로써, 운전자의 부주의 상태 뿐만 아니라 운전자의 졸음 및 응급 상황 상황 발생 시 신속한 차량 제어를 통하여 응급 상황 대처가 가능하게 된다.

도 1은 본 개시의 일 실시 예에 따른 차량 장치의 구성을 나타내는 블럭도이다.
도 2a 및 도 2b는 일 실시 예에 따른 인공 신경망 모델의 학습 방법을 설명하기 위한 도면들이다.
도 3 내지 도 6은 일 실시 예에 따른 학습 데이터 획득 방법을 설명하기 위한 도면들이다.
도 7은 일 실시 예에 따라 학습된 인공 신경망 모델의 동작을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 효과를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 차량 장치의 일 구현 예를 나타내는 도면이다.
도 10은 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.

도 1은 본 개시의 일 실시 예에 따른 차량 장치의 구성을 나타내는 블럭도이다.

도 1에 따르면 차량 장치(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.

카메라(110)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(110)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다. 예를 들어, 카메라(110)는 일반 카메라, 스테레오 카메라, 뎁스 카메라 등으로 구현될 수 있다.

일 예에 따라 카메라(110)는 차량 장치(100) 내에서 운전자의 얼굴을 촬영할 수 있는 위치에 배치되어 운전자의 얼굴을 촬영한 영상을 획득할 수 있다. 일 예에 따라 카메라(110)는 차량 장치(100) 내 대시 보드 상에 배치될 수 있다.

메모리(120)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 차량 장치(100)에 임베디드된 메모리 형태로 구현되거나, 차량 장치(100)와 통신 가능한(또는 탈부착 가능한) 메모리 형태로 구현될 수도 있다. 예를 들어, 차량 장치(100)의 구동을 위한 데이터의 경우 차량 장치(100)에 임베디드된 메모리에 저장되고, 차량 장치(100)의 확장 기능을 위한 데이터의 경우 차량 장치(100)와 통신 가능한 메모리에 저장될 수 있다. 한편, 차량 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 차량 장치(100)와 통신 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

일 예에 따라 메모리(120)는 차량 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.

다른 예에 따라 메모리(120)는 차량 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다. 차량 장치(100'는 차량 장치(100) 및 프로세서(130)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 애플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. 예를 들어, 메모리(120)는 일 실시 예에 따라 시선 데이터에 기초하여 주시 상태를 판단하기 위한 정보, 운전자의 주시 상태에 대응되는 피드백 정보 등을 저장할 수 있다.

다른 예에 따라, 메모리(120)는 복수의 레이어를 포함하는 인공 신경망 모델(또는 인공 지능 모델)에 관한 정보를 저장할 수 있다. 여기서, 인공 신경망 모델에 관한 정보를 저장한다는 것은 인공 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 인공 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(120)는 일 실시 예에 따라 운전자의 시선 데이터를 출력하도록 학습된 인공 신경망 모델에 대한 정보를 저장할 수 있다. 다만, 프로세서(130)가 인공 신경망 모델 전용 하드웨어로 구현되는 경우, 인공 신경망 모델에 관한 정보는 프로세서(130) 내부 메모리에 저장될 수도 있다.

다만, 다른 실시 예에 따르면, 인공 신경망 모델은 서버와 같은 외부 장치에 저장될 수 있고, 차량 장치(100)는 운전자 촬영 영상을 외부 장치로 전송하여 외부 장치로부터 운전자의 시선 데이터를 획득하는 것도 가능하다.

일 실시 예에 따르면, 메모리(120)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(120)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.

프로세서(130)는 카메라(110) 및 메모리(120)와 전기적으로 연결되어 차량 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(130)는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 본 개시의 다양한 실시 예에 따른 차량 장치(100)의 동작을 수행할 수 있다.

일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

또한, 일 실시 예에 따른 인공 신경망 모델을 실행하기 위한 프로세서(130)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(130)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공 신경망 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(130)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 신경망 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.

일 실시 예에 따라 프로세서(130)는 학습된 인공 신경망 모델을 이용하여 운전자의 시선 데이터를 획득할 수 있다. 일 예에 따라 인공 신경망 모델은 CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

프로세서(130)는 카메라(110)를 통해 실시간으로 획득된 운전자 촬영 영상을 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하고, 운전자의 시선 데이터에 기초하여 운전자의 주시 상태를 판단할 수 있다. 여기서, 운전자의 시선 데이터는 운전자의 눈동자에 대응되는 3차원 시선 좌표를 포함할 수 있다. 여기서, 3차원 시선 좌표는 깊이 방향(원근)을 포함한 좌표일 수 있다. 일 예에 따라 운전자 촬영 영상은 운전자의 정면 전신, 얼굴 및 기타 환경 등이 포함된 영상일 수 있다.

여기서, 인공 신경망 모델은, 학습용 운전자 영상를 입력 데이터로 하고, 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델일 수 있다.

이 경우, 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 학습용 운전자 영상에 대응되는 운전자 눈동자의 좌표 및 방향 벡터에 기초하여 획득될 수 있다.

일 예에 따라 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 학습용 운전자 영상에 대응되는 운전자 눈동자의 3차원 절대 좌표 및 3차원 방향 벡터에 기초하여 획득될 수 있다. 이에 따라 인공 신경망 모델은 운전자 촬영 영상이 입력되면, 운전자의 눈동자에 대응되는 3차원 시선 좌표를 출력할 수 있다.

이어서, 프로세서(130)는 운전자 촬영 영상을 인공 신경망 모델에 입력하여 획득된 운전자의 시선 데이터에 기초하여 운전자의 주시 상태를 판단할 수 있다. 일 예에 따라, 운전자의 3차원 시선 좌표에 기초하여 운전자가 전방 주시 상태인지, 비주시 상태(또는 부주의 상태)인지 판단할 수 있다. 예를 들어, 운전자의 비주시 상태(또는 부주의 상태)에 대응되는 학습용 운전자 영상에 기초하여 획득된 시선 데이터와 일치하는 경우 운전자가 비주시 상태(또는 부주의 상태)인 것으로 식별할 수 있다.

이 후, 프로세서(130)는 운전자의 주시 상태에 대응되는 피드백을 제공할 수 있다. 이 경우, 프로세서(130)는 차량 장치(100)의 주행 데이터에 기초하여 운전자의 주시 상태에 대응되는 피드백을 제공할 수 있다. 여기서, 차량 장치의 주행 데이터는, 차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함할 수 있다.

일 예에 따라 프로세서(130)는 운전자가 정면 비주시 상태라고 판단되면, 운전자에게 경고 알람을 제공하거나, 자율 주행 모드로 전환할 수 있다.

일 예로, 프로세서(130)는 경고 알람 제공 후, 운전자의 주시 상태가 회복되지 않는 것으로 판단되면 자율 주행 모드로 전환할 수 있다.

다른 예로, 프로세서(130)는 운전자의 주시 상태의 레벨에 따라 경고 알람 만을 제공하거나, 또는 경고 알람과 동시에 바로 자율 주행 모드로 전환하는 것도 가능하다.

다른 예로, 프로세서(130)는 차량의 속도가 임계 값 이상인 경우 경고 알람과 동시에 차량의 주행 속도를 제어할 수 있다. 이 경우, 프로세서(130)는 전자제어유닛(Electronic Control Unit:ECU)을 이용하여 차량의 주행 속도를 제어할 수 있다.

한편, 경고 알람은 소리 알람, 햅틱 알람, 시각적 알람(예를 들어 강한 조명 등) 등과 같이 다양한 형태로 제공될 수 있다. 예를 들어, 스피커(카오디오, AV 시스템, 네비게이션 또는 텔레매틱스 단말기의 스피커)를 통해 사람의 음성 또는 기 설정된 알람 소리를 출력하여 소리 알람을 제공할 수 있다. 예를 들어, 운전석 시트 또는 핸들에 설치된 진동 장치를 통해 햅틱 알람을 제공할 수 있다. 예를 들어, 차량 내부에 설치된 LED 조명등을 점등하여 시각적 알람을 제공할 수 있다.

한편, 프로세서(130)는 운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하고, 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하고, 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출할 수 있다. 이어서, 프로세서(130)는 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하고, 눈동자의 3차원 절대 좌표 및 눈동자의 방향 벡터에 기초하여 학습용 운전자 영상에 대응되는 시선 데이터를 획득할 수 있다.

이하에서는 학습용 데이터를 획득하는 방법 및 인공 신경망 모델의 학습 방법에 대해 자세히 설명하도록 한다.

도 2a 및 도 2b는 일 실시 예에 따른 인공 신경망 모델의 학습 방법을 설명하기 위한 도면들이다.

일 실시 예에 따르면, 인공 신경망 모델(10)은 입력 훈련 데이터 및 출력 훈련 데이터 쌍에 기초하여 학습되거나, 입력 훈련 데이터에 기초하여 학습될 수 있다. 여기서, 인공 신경망 모델이 학습된다는 것은, 기본 인공 신경망 모델(예를 들어 임의의 랜덤한 파라미터를 포함하는 인공 신경망 모델)이 학습 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 신경망 모델이 만들어짐을 의미한다. 이러한 학습은 차량 장치(100)를 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다.

학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다. 다만, 이는 지도 학습의 경우를 예를 든 것이며, 출력 데이터를 이용하지 않고 입력 데이터 만을 입력하여 인공 신경망 모델을 학습시키는 비지도 학습에 기초하여 인공 신경망 모델을 학습시킬 수 있음은 물론이다.

예를 들어, 인공 신경망 모델은 Input layer, Hidden layer, Out layer, 활성화 함수(f)로 구성될 수 있다.

여기서, 활성화 함수(f)는 선형, 시그모이드(sigmoid) 또는 쌍곡탄젠트 함스(tanh), ReLU(Rectified Linear Unit) 함수 등으로 구현 가능하다. 예를 들어, Hidden layer와 Out layer의 활성화 함수는 각각 sigmoid 및 ReLU로 구현될 수 있으나, 이에 한정되는 것은 아니다.

일 예에 따라 학습 데이터는 무작위로 혼합되어 인공 신경망 모델의 학습에 이용될 수 있다. 다만, 학습 데이터의 일부는 인공 신경망 모델의 검증에 이용될 수도 있다. 예를 들어, 학습 데이터의 80%는 훈련에 이용되고, 나머지 20%는 검증에 이용될 수 있다.

일 예에 따라 인공 신경망 모델의 학습은 서버 등과 같은 외부 장치에서 수행될 수 있다. 다만, 차량 장치(100) 자체에서 인공 신경망 모델의 학습이 수행되는 것도 가능하다. 이하에서는 설명의 편의를 위하여 차량 장치(100)의 프로세서(130)가 인공 신경망 모델의 학습을 수행하는 실시 예를 상정하여 설명하도록 한다.

일 실시 예에 따라 프로세서(130)는 학습용 운전자 영상(또는 학습용 운전자 얼굴 영상) 각각에 대해 시선 데이터를 맵핑하여 인공 신경망 모델을 학습시킬 수 있다. 여기서, 맵핑이란 도 2a에 도시된 바와 같이 입력 훈련 데이터(학습용 운전자 영상) 및 출력 훈련 데이터(시선 데이터) 쌍을 의미할 수도 있으나, 도 2b에 도시된 바와 같이 라벨링된 입력 훈련 데이터(학습용 운전자 영상-시선 데이터)를 의미할 수도 있다.

이하에서는 학습에 이용되는 학습용 운전자 영상 및 시선 데이터를 맵핑하는 방법에 대해 설명하도록 한다. 설명의 편의를 위하여 프로세서(130)가 주체인 것으로 설명하였지만, 인공 신경망 모델의 학습 및/또는 학습에 이용되는 훈련 데이터 획득은 외부 장치에서 수행될 수 있음은 물론이다.

일 예에 따라, 프로세서(130)는 카메라(110)를 통해 촬영된 학습용 운전자 촬영 영상에서 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출 방법으로는 종래의 다양한 방식이 이용될 수 있다. 구체적으로, 직접 인식 방법과 통계를 이용한 방법이 이용될 수 있다. 직접 인식 방법은, 얼굴 영상의 윤곽 피부색 및 구성요소의 크기나 서로 간의 거리 등의 물리적인 특징을 이용한 규칙을 만들고 그 규칙에 따라 비교, 검사 및 측정한다. 통계를 이용한 방법은, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있다. 즉, 입력된 얼굴이 가지고 있는 고유의 특징들을 데이터화하여 준비된 대량의 데이터 베이스(얼굴과 그 외의 사물의 형체들)과 비교 분석하는 방법이다. 특히, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있는데 MLP(Multi Layer Perceptron)와 SVM (Support Vector Machine)와 같은 방식이 이용될 수 있다. 또는, 얼굴 모델링(face modeling) 기술을 통해 촬영 영상으로부터 안구 영상을 식별한다. 이때, 얼굴 모델링 기술은 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 하나가 이용될 수 있다. 이와 같은 방식으로 식별된 얼굴 영역은 후술하는 바와 같이 운전자의 얼굴 특징점의 픽셀 좌표를 획득하는데 이용될 수 있다.

도 3 내지 도 6은 일 실시 예에 따른 학습 데이터 획득 방법을 설명하기 위한 도면들이다.

도 3은 일 실시 예에 따른 운전 모사 환경을 설명하기 위한 도면이다.

일 예에 따라 운전 모사 환경을 구축하고 운전 모사 환경에서 주행 중 발생하는 영상 데이터를 획득하여 인공 신경망 모델의 학습에 이용할 수 있다. 운전 모사 환경에는 IR camera, Normal camera, Depth camera와 같은 영상 데이터 획득을 위한 카메라 모듈이 이용될 수 있다. 일 예에 따라 차량 대시 보드 위에 부착된 카메라 모듈을 통해서 운전자의 영상 데이터 취득할 수 있다. 운전자의 영상 데이터는 운전자의 정면 전신, 얼굴 및 기타 환경 등이 포함된 영상일 수 있다.

또한, 일 예에 따라 운전자의 부주의 상황에 대응되는 학습용 운전자 영상 데이터를 획득하기 위하여 운전자의 부주의 상황을 가정하여 운전자에게 작업 부하를 부여할 수 있다. 예를 들어, 운전자는 운전 중 핸드폰에서 출력되는 연산문제(산수 계산) 풀이를 진행하고 운전자는 연산문제 풀이 과정에서 차량 속도(100 km/h) 및 차선을 유지하도록 할 수 있다. 또한, 주행 코스에 숙달되지 못하도록 지속적으로 곡선이 있는 주행 조건을 부여할 수 있다. 또한, 작업 부하 level에 따른 운전자 주행 데이터 및 산수 계산 정확도 취득할 수 있다.

일 실시 예에 따르면, 운전자 영상 데이터로부터 시선 데이터를 추출하기 위하여 운전자 눈동자의 3차원 절대 좌표와 운전자 눈동자 3차원 벡터가 요구된다.

이에 따라, 프로세서(130)는 도 4에 도시된 바와 같이 운전자 촬영 영상에서 상술한 바와 같이 얼굴 영역을 식별하고, 식별된 얼굴 영역에서 운전자의 얼굴 특징점의 픽셀 좌표를 획득할 수 있다.

일 예에 따라 프로세서(130)는 딥러닝 모델 중 하나인 Convolutional experts constrained local model (CE-CLM)을 활용하여 68개의 운전자의 얼굴 특징점의 픽셀 좌표를 추출할 수 있다. 다만 픽셀 좌표 추출을 위한 딥러닝 모델의 타입 및 특징점의 개수 등은 일 예를 든 것이며, 이에 한정되지 않음은 물론이다.

또한, 프로세서(130)는 운전자 눈동자의 3차원 벡터를 계산하기 위해, 일 예에 따라 Constrained local neural filed landmark detector을 운전자 영상 데이터에 적용하여 벡터 값을 획득할 수 있다.

또한, 프로세서(130)는 도 5에 도시된 바와 같이 추출한 운전자 눈동자의 픽셀 좌표를 운전자 눈동자의 3차원 절대 좌표로 재구성할 수 있다. 일 예로, 운전자 눈동자의 픽셀 좌표를 3차원 절대 좌표로 재구성하기 위해서 카메라의 내부(K) 파라미터 및 외부(R|t) 파라미터를 통한 좌표계 변환을 수행할 수 있다. 일 예로, 내부 파라미터(Internal parameters)는 초점 거리(focal length), 주점(principal point), 비대칭계수(skew coefficient)를 포함할 수 있다. 외부 파라미터(External parameters)는 카메라의 방향(회전(rotation) 및 평행 이동(translation))을 나타낼 수 있다.

하기의 수학식 1은 카메라의 내부(K) 파라미터의 일 예시를, 수학식 2는 카메라의 외부 (R|t) 파라미터의 일 예시를 나타낸다.

여기서, fx, fy는 초점거리(focal length), cx, cy는 주점(principal point), skew(skew_c)는 비대칭계수(skew coefficient)를 나타낸다.

구체적으로, 프로세서(130)는 도 6에 도시된 바와 같이 내부 파라미터를 이용하여 픽셀 좌표를 카메라 좌표계로, 외부 파라미터를 이용하여 카메라 좌표계를 절대 좌표계로 변환하여 운전자의 눈동자 픽셀 좌표를 절대 좌표계로 산출할 수 있다.

카메라의 내부 파라미터는 픽셀 좌표계 및 카메라 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 카메라의 초점 거리, aspect ratio, 중심점 등 카메라 자체의 고유 파라미터를 의미한다.

카메라의 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 두 좌표계 사이의 회전(rotation) 및 평행 이동(translation) 변환으로 표현된다. 카메라 외부 파라미터는 카메라 고유의 파라미터가 아니기 때문에 카메라를 어떤 위치에 어떤 방향으로 설치했는지에 따라 달라지고 또한 절대 좌표계를 어떻게 정의했느냐에 따라서 달라질 수 있다.

하기의 수학식 3은 픽셀 좌표계를 카메라 좌표계로 변환하는 수식을, 수학식 4는 카메라 좌표계를 절대 좌표계로 변환하는 수식을 나타낸다.

여기서, u, v는 픽셀 좌표, DOP는 단위 픽셀 당 길이(cm/pixel), width는 픽셀 너비(pixel width는), height는 픽셀 높이(pixel height)를 나타낸다.

여기서, Px는 카메라의 x축 절대 좌표, Py는 카메라의 y축 절대 좌표, Pz는 카메라의 z축 절대 좌표, θ는 카메라 기울기를 나타낸다.

상술한 방식으로 획득한 운전자 눈동자의 3차원 절대 좌표와 눈동자의 방향 벡터를 통해서 운전자의 영상 데이터로부터 시선 데이터를 추출할 수 있다. 이와 같이 추출된 시선 데이터는 운전자의 영상 데이터(또는 운전자의 얼굴 데이터)에 라벨링되어 인공 신경망 모델의 학습에 이용될 수 있다.

도 7은 일 실시 예에 따라 학습된 인공 신경망 모델의 동작을 설명하기 위한 도면이다.

도 7에 도시된 바와 같이 학습된 인공 신경망 모델(10')은, 운전자 촬영 영상이 입력되면, 시선 데이터를 출력할 수 있다. 여기서, 시선 데이터는 3차원 절대 표가 될 수 있다.

일 예에 따라 학습된 인공 신경망 모델(10')은 복수의 시선 데이터 각각에 대응되는 확률 값을 출력할 수 있다. 예를 들어 프로세서(130)는 학습된 인공 신경망 모델(10')로부터 출력되는 복수의 시선 데이터 각각에 대응되는 확률 값에 기초하여 운전자의 시선 데이터를 획득할 수 있다.

이 경우, 인공 신경망 모델(10')의 출력 부분은 softmax 처리가 가능하도록 구현될 수 있다. 여기서, softmax 는 입력받은 값을 0 ~ 1 사이 값으로 모두 정규화하며 출력 값들의 총합을 항상 1로 만드는 함수로, 각 class 별, 예를 들어 시선 데이터 a, 시선 데이터 b 등에 대응되는 확률 값을 출력하는 기능을 할 수 있다. 경우에 따라 인공 신경망 모델(10')의 출력 부분은 Argmax 처리가 가능하도록 구현될 수 있다. Argmax 는 다수의 label 중에서 가장 가능성 높은 것을 선택해 주는 함수로, 여기에서는 각 class 별 확률 값을 확률 값 중 가장 큰 값을 가지는 비율을 선택해 주는 기능을 할 수 있다. 즉, 인공 신경망 모델(10')은 각각의 출력 부분이 Argmax 처리되어 있는 경우, 가장 높은 확률 값을 가지는 상태 정보(예를 들어 시선 데이터 a) 만이 출력될 수 있게 된다.

다만, 인공 신경망 모델(10')은 운전자의 주시 상태에 대한 정보를 출력하도록 학습되어, 운전자 촬영 영상이 입력되면, 운전자의 주시 상태에 대한 정보를 출력할 수도 있다. 이 경우, 인공 신경망 모델(10')은 운전자 촬영 영상이 입력되면, 운전자의 시선 데이터를 출력하는 제1 인공 신경망 모델 및 제1 인공 신경망 모델로부터 운전자의 시선 데이터를 입력받아 운전자의 주시 상태 정보를 출력하는 제2 인공 신경망 모델을 포함하도록 구현되는 것도 가능하다.

한편, 다른 실시 예에 따르면, 운전자 촬영 영상 뿐 아니라 추가 정보가 운전자의 주시 상태 판단에 이용될 수 있다.

일 예에 따라 인공 신경망 모델로부터 획득된 시선 데이터 및 추가 정보에 기초하여 운전자의 주시 상태를 판단할 수 있다. 여기서, 추가 정보는, 운전 환경 정보(예를 들어, 날씨 정보, 온도 정보, 습도 정보 등), 운전자 프로필 정보(성별, 나이 등) 등 다양한 정보가 될 수 있다.

다른 예에 따라 운전자 촬영 영상과 함께 추가 정보가 인공 신경망 모델(10')로 입력되고 해당 정보가 시선 데이터를 출력하는데 이용될 수도 있다. 다만, 이러한 추가 정보가 적용되는 경우 인공 신경망 모델(10')의 학습에 해당 추가 정보가 이용되어야 함은 물론이다.

도 8은 일 실시 예에 따른 운전자의 주시 상태 판단을 위한 실 적용 예 및 효과를 설명하기 위한 도면이다.

일 실시 예에 따르면, 운전자 시선 좌표를 통한 운전 주시 판단을 위해 시선 분산 비율과 최대 시선 분산 시간을 활용할 수 있다. 시선 분산은 운전 중 운전자의 시선이 시뮬레이터 화면을 벗어난 상태를, 최대 시선 분산 시간은 시선이 시뮬레이터 화면을 벗어난 최대 시간을 의미할 수 있다. 예를 들어, 운전자가 수 초(예를 들어, 2초) 동안 전방 주시를 태만히 한 채 기설정된 속도(예를 들어, 100 km/h)로 주행할 경우 차량의 이동 거리가 예를 들어, 약 55m 이상이므로, 2초 이상 전방 주시 태만 시 운전자에게 경고 및 차량 제어를 수행할 수 있다.

도 8에 도시된 바와 같이 운전자의 부주의 상태시, 운전자의 차량 데이터 결과를 통해 운전자가 운전에 제대로 관여하지 못하는 것을 확인할 수 있다. 따라서, 운전자에게 딥러닝 기반 실시간 부주시 판단 기술이 필요하며 이를 통해 차량 사고를 감소시킬 수 있게 된다.

도 9는 일 실시 예에 따른 차량 장치의 일 구현 예를 나타내는 도면이다.

도 9에 따르면, 차량 장치(100')는 카메라(110), 메모리(120), 프로세서(130), 디스플레이(140), 스피커(150), 사용자 인터페이스(160), 및 통신 인터페이스(170)를 포함한다. 도 9에 도시된 구성 중 도 1에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

디스플레이(140)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다. 또한, 디스플레이(140)는 터치 스크린을 내장하고 있어, 손가락 또는 펜(예를 들어, 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다.

스피커(150)는 프로세서(130)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다. 일 예에 따라, 프로세서(130)는 본 개시의 다양한 실시 예에 따른 경고 알림을 출력하도록 스피커(150)를 제어할 수 있다.

통신 인터페이스(160)는 다양한 외부 장치와 통신을 수행하기 위한 구성으로 무선 통신 모듈, 예를 들어, Wi-Fi 모듈, 블루투스 모듈 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 통신 인터페이스(160)는 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격, 적외선 통신(IrDA, infrared Data Association) 기술 등에 따라 통신을 수행할 수도 있다. 그 밖에 다양한 유선 통신 인터페이스(예를 들어 USB 단자)를 포함할 수 있다.

사용자 인터페이스(170)는 다양한 사용자 명령을 입력받기 위한 구성으로, 전자 장치(100')의 구현 예에 따라 버튼, 터치 패드, 휠 등으로 구현 가능하다.

한편, 차량 장치(100')는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 예를 들어, 본 개시의 다양한 실시 예와 관련된 사용자 음성 명령이 마이크(미도시)를 통해 수신될 수 있다.

도 10은 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.

도 10에 도시된 차량 장치의 제어 방법에 따르면, 카메라를 통해 획득된 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득한다(S1010).

이어서, 운전자의 시선 데이터에 기초하여 운전자의 주시 상태를 판단한다(S1020).

이 후, 운전자의 주시 상태에 대응되는 피드백을 제공한다(S1030).

여기서, 인공 신경망 모델은, 학습용 운전자 영상를 입력 데이터로 하고, 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델일 수 있다. 또한, 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 학습용 운전자 영상에 대응되는 운전자 눈동자의 좌표 및 방향 벡터에 기초하여 획득될 수 있다.

또한, 학습용 운전자 영상 각각에 대응되는 시선 데이터는, 학습용 운전자 영상에 대응되는 운전자 눈동자의 3차원 절대 좌표 및 3차원 방향 벡터에 기초하여 획득될 수 있다. 또한, 인공 신경망 모델로부터 출력되는 운전자의 시선 데이터는, 운전자의 눈동자에 대응되는 3차원 시선 좌표일 수 있다.

또한, 제어 방법은, 운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하는 단계, 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하는 단계, 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출하는 단계, 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하는 단계 및, 동자의 3차원 절대 좌표 및 눈동자의 방향 벡터에 기초하여 학습용 운전자 영상에 대응되는 시선 데이터를 획득하는 단계를 포함할 수 있다.

또한, 차량 장치의 주행 데이터를 획득하는 단계를 더 포함하며, S1030 단계에서는, 차량 장치의 주행 데이터에 기초하여 운전자의 주시 상태에 대응되는 피드백을 제공할 수 있다. 여기서, 차량 장치의 주행 데이터는, 차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함할 수 있다.

또한, 운전자의 주시 상태를 판단하는 단계는, 운전자의 시선 데이터 및 추가 정보에 기초하여 운전자의 주시 상태를 판단하며, 추가 정보는, 운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함할 수 있다.

또한, 경우에 따라 운전자의 뇌파(EEG)를 측정하는 EEG 센서, 운전자의 안구 전도(EOG)를 측정하는 EOG 센서 및 운전자의 광용적맥파(PPG)를 측정하는 PPG 센서 등을 이용하여 운전자의 주시 상태 판단에 보조 지표로 활용할 수도 있다.

또한, 상술한 실시 예에서는 주시 상태를 식별하는 경우만 설명하였지만, 경우에 따라서는 운전자 영상에 기초하여 운전자의 주시 상태 뿐 아니라, 다양한 상태 예를 들어, 긴장, 피로, 또는 스트레스 상태 등을 인공 신경망 모델을 통해 학습하고 이에 기초하여 대응되는 맞춤형 피드백을 제공하는 것도 가능하다.

상술한 다양한 실시 예에 따르면, 인공 신경망 모델을 이용하여 운전자의 시선 방향은 물론 시선 초점까지 추적할 수 있게 된다. 이에 따라 운전자의 시선 좌표를 정확히 획득함으로써, 운전자의 부주의 상태 뿐만 아니라 운전자의 졸음 및 응급상황(쓰러짐, 심정지 등) 상황 발생 시 신속한 차량 제어를 통하여 응급 상황 대처가 가능하게 된다. 또한, 자율 주행 자동차에서 자 율주행에서 수동 운전으로 운전자에게 제어권이 이양되었을 경우, 운전자의 시선 좌표를 정확하게 구할 수 있으며, 이를 통해서 운전자의 상태(졸음, 전방주시 태만, 도로 응시, 주의 산만, 운전자 없음 등)의 정확한 판단 및 정보 제공이 가능하게 된다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 차량 장치 110: 카메라
120: 메모리 130: 프로세서

Claims

카메라;
학습된 인공 신경망 모델이 저장된 메모리; 및
상기 카메라를 통해 획득된 운전자 촬영 영상을 상기 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하고,
상기 운전자의 시선 데이터에 기초하여 상기 운전자의 주시 상태를 판단하고,
상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 프로세서;를 포함하며,
상기 인공 신경망 모델은,
학습용 운전자 영상를 입력 데이터로 하고, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델이며,
상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는,
상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 픽셀 좌표 및 방향 벡터에 기초하여 획득되고,
상기 카메라의 내부 파라미터를 이용하여 픽셀 좌표를 카메라 좌표계로, 상기 카메라의 외부 파라미터를 이용하여 상기 카메라 좌표계를 절대 좌표계로 변환하여 상기 운전자 눈동자의 픽셀 좌표를 상기 절대 좌표계로 산출하며,
여기서 상기 카메라의 내부 파라미터는 픽셀 좌표계 및 상기 카메라 좌표계 사이의 변환 관계를 설명하는 파라미터로서 다음 [식 1]과 같이 표시되고, 상기 카메라의 외부 파라미터는 상기 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서 다음 [식 2]와 같이 표시되는

[식 1] , 여기서, u, v는 픽셀 좌표, DOP는 단위 픽셀 당 길이(cm/pixel), width는 픽셀 너비(pixel width), height는 픽셀 높이(pixel height)를 나타내고,
[식 2] , 여기서, Px는 카메라의 x축 절대 좌표, Py는 카메라의 y축 절대 좌표, Pz는 카메라의 z축 절대 좌표, θ는 카메라 기울기를 나타내는, 차량 장치.
제1항에 있어서,
상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는,
상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 3차원 절대 좌표 및 3차원 방향 벡터에 기초하여 획득되며,
상기 인공 신경망 모델로부터 출력되는 상기 운전자의 시선 데이터는,
상기 운전자의 눈동자에 대응되는 3차원 시선 좌표인, 차량 장치.
제1항에 있어서,
상기 프로세서는,
운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하고,
상기 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하고,
상기 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출하고,
상기 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하고,
상기 눈동자의 3차원 절대 좌표 및 상기 눈동자의 방향 벡터에 기초하여 상기 학습용 운전자 영상에 대응되는 시선 데이터를 획득하는, 차량 장치.
제1항에 있어서,
상기 프로세서는,
상기 차량 장치의 주행 데이터를 획득하고,
상기 차량 장치의 주행 데이터에 기초하여 상기 운전자의 주시 상태에 대응되는 피드백을 제공하며,
상기 차량 장치의 주행 데이터는,
차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함하는, 차량 장치.
제1항에 있어서,
상기 프로세서는,
상기 운전자의 시선 데이터 및 추가 정보에 기초하여 상기 운전자의 주시 상태를 판단하고,
상기 추가 정보는,
운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함하는, 차량 장치.
차량 장치의 제어 방법에 있어서,
카메라를 통해 획득된 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 운전자의 시선 데이터를 획득하는 단계;
상기 운전자의 시선 데이터에 기초하여 상기 운전자의 주시 상태를 판단하는 단계; 및
상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 단계;를 포함하며,
상기 인공 신경망 모델은,
학습용 운전자 영상를 입력 데이터로 하고, 상기 학습용 운전자 영상 각각에 대응되는 시선 데이터를 출력 데이터로 하여 학습된 모델이며,
상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는,
상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 픽셀 좌표 및 방향 벡터에 기초하여 획득되고,
상기 카메라의 내부 파라미터를 이용하여 픽셀 좌표를 카메라 좌표계로, 상기 카메라의 외부 파라미터를 이용하여 상기 카메라 좌표계를 절대 좌표계로 변환하여 상기 운전자 눈동자의 픽셀 좌표를 상기 절대 좌표계로 산출하며,
여기서 상기 카메라의 내부 파라미터는 픽셀 좌표계 및 상기 카메라 좌표계 사이의 변환 관계를 설명하는 파라미터로서 다음 [식 1]과 같이 표시되고, 상기 카메라의 외부 파라미터는 상기 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서 다음 [식 2]와 같이 표시되는

[식 1] , 여기서, u, v는 픽셀 좌표, DOP는 단위 픽셀 당 길이(cm/pixel), width는 픽셀 너비(pixel width), height는 픽셀 높이(pixel height)를 나타내고,
[식 2] , 여기서, Px는 카메라의 x축 절대 좌표, Py는 카메라의 y축 절대 좌표, Pz는 카메라의 z축 절대 좌표, θ는 카메라 기울기를 나타내는, 제어 방법.
제6항에 있어서,
상기 학습용 운전자 영상 각각에 대응되는 시선 데이터는,
상기 학습용 운전자 영상에 대응되는 운전자 눈동자의 3차원 절대 좌표 및 3차원 방향 벡터에 기초하여 획득되며,
상기 인공 신경망 모델로부터 출력되는 상기 운전자의 시선 데이터는,
상기 운전자의 눈동자에 대응되는 3차원 시선 좌표인, 제어 방법.
제6항에 있어서,
운전자의 부주의 상태에 대응되는 학습용 운전자 영상을 획득하는 단계;
상기 학습용 운전자 영상에서 운전자의 얼굴 특징점의 픽셀 좌표 및 운전자 눈동자의 방향 벡터를 추출하는 단계
상기 얼굴 특징점의 픽셀 좌표에 기초하여 눈동자의 픽셀 좌표를 추출하는 단계;
상기 눈동자의 픽셀 좌표를 3차원 절대 좌표로 변환하는 단계; 및
상기 눈동자의 3차원 절대 좌표 및 상기 눈동자의 방향 벡터에 기초하여 상기 학습용 운전자 영상에 대응되는 시선 데이터를 획득하는 단계;를 포함하는, 제어 방법.
제6항에 있어서,
상기 차량 장치의 주행 데이터를 획득하는 단계;를 더 포함하며,
상기 운전자의 주시 상태에 대응되는 피드백을 제공하는 단계는,
상기 차량 장치의 주행 데이터에 기초하여 상기 운전자의 주시 상태에 대응되는 피드백을 제공하며,
상기 차량 장치의 주행 데이터는,
차량 속도 데이터 및 차선 중심에서 이격 거리 정보를 포함하는, 제어 방법.
제6항에 있어서,
상기 운전자의 주시 상태를 판단하는 단계는,
상기 운전자의 시선 데이터 및 추가 정보에 기초하여 상기 운전자의 주시 상태를 판단하며,
상기 추가 정보는,
운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함하는, 제어 방법.