KR20150076627A

KR20150076627A - 차량 운전 학습 시스템 및 방법

Info

Publication number: KR20150076627A
Application number: KR1020130165059A
Authority: KR
Inventors: 김진우; 한우용
Original assignee: 한국전자통신연구원
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2015-07-07
Also published as: US9485474B2; US20150189241A1

Abstract

본 발명은 차량 운전 학습 기술에 관한 것으로, 차량의 내부 천정에 장착되어 운전자의 코의 돌출위치를 검출하는 제1 카메라와, 상기 차량의 내부 전방에 장착되어 운전자의 코의 정면위치를 검출하는 제2 카메라와, 상기 돌출위치에 대응하는 영상과 상기 정면위치에 대응하는 영상을 실시간 보정하여 운전자의 시선 정보를 검출하며, 검출되는 상기 시선 정보를 분석하여 운전 학습 데이터베이스로 저장하는 운전자 상태정보 처리부를 포함할 수 있다.

Description

차량 운전 학습 시스템 및 방법{SYSTEM AND METHOD FOR LEARNING DRIVING INFORMATION IN VEHICLE}

본 발명은 차량 운전 학습 기술에 관한 것으로, 특히 차량용 증강현실, 운전자 상태 등을 실시간 분석하여 운전자와 차량간의 상호작용 학습 환경을 제공하는데 적합한 차량 운전 학습 기술에 관한 것이다.

최근의 차량 인포테인먼트(infortainment) 시장에서는 다양한 정보를 차량 내에 제공하는 기술들을 선보이고 있는데, 예컨대 운전 편의성 및 안전성을 제공하기 위한 음성인식, 제스처 인식, 증강현실, 디지털 클러스터, HUD(Head-Up Display) 등을 조합한 멀티모달 인터페이스(multi-modal interface) 기반 정보 조작 기술에 대한 연구가 활발히 진행 중이다.

그러나, 안정성을 위주로 하는 차량의 특성상 운전자는 간단한 동작으로 제한적인 명령을 할 수밖에 없고, 이는 운전자에게 있어서 필요충분 조건의 피드백을 주지 못하는 것이 현실이다. 또한, 각각의 인터페이스는 상호작용을 통해 운전자의 특성을 학습하여 발전하는 방식 보다는 모든 운전자를 기준으로 적용되고 있다.

이는 운전자 맞춤형 시스템과 운전 보조 시스템, 나아가 자율주행 시스템에 있어서 운전자의 특성과 습관을 모니터링하고 이를 보정해 주는 방식으로 보완할 수 있기 때문에 많은 연구가 필요하다.

한국공개특허 2012-0075672호, 시선방향 검출을 이용한 안전운전 유도 시스템 및 그 방법, 2012.07.09 공개

본 발명은 운전자의 시선을 추적하고, 시선추적 결과와 동작 결과에 대한 데이터를 학습하여 등록된 운전자에 따라 다른 패턴을 분석하여 맞춤형 멀티모달 인터페이스를 제공하고자 한다.

또한, 본 발명은 사전에 시선을 추적하여 차량 내/외부에 대한 모델링 과정을 거친 후 시선에 따른 음성과 제스처 인식에 따른 차량 내 증강현실 기반의 정보를 표시하고 운전 패턴에 따른 안전성을 파악함으로써, 업데이트 가능한 멀티모달 인터페이스 기반 운전자 상태 인식 기술을 제공하고자 한다.

구체적으로, 본 발명은 운전자의 음성에 의해 시스템을 활성화(시작)하고, 차량 전방의 카메라를 운전자(음성 발원지)의 방향으로 회전 및 이동시켜 운전자의 얼굴, 눈, 입 모양, 시선 등을 검출 및 추적할 수 있으며, 차량 내의 부가적인 보조 수단 및 시스템 콜 기능으로 활용될 수 있다.

본 발명의 실시예에 의하면, 차량의 내부 천정에 장착되어 운전자의 코의 돌출위치를 검출하는 제1 카메라와, 상기 차량의 내부 전방에 장착되어 운전자의 코의 정면위치를 검출하는 제2 카메라와, 상기 돌출위치에 대응하는 영상과 상기 정면위치에 대응하는 영상을 실시간 보정하여 운전자의 시선 정보를 검출하며, 검출되는 상기 시선 정보를 분석하여 운전 학습 데이터베이스로 저장하는 운전자 상태정보 처리부를 포함하는 차량 운전 학습 시스템을 제공할 수 있다.

여기서, 상기 제1 카메라는, 회전 및 이동이 가능한 것을 특징으로 할 수 있다.

또한, 상기 제1 카메라는, 뎁스 센서(depth sensor)를 포함할 수 있다.

또한, 상기 운전자 상태정보 처리부는, 상기 운전 학습 데이터베이스를 갱신 처리하는 것을 특징으로 할 수 있다.

또한, 상기 차량 운전 학습 시스템은, 상기 차량에 탑승하는 운전자의 음성을 인식하고, 인식되는 음성정보를 상기 운전자 상태정보 처리부로 제공하는 음성 인식부를 더 포함할 수 있다.

또한, 상기 차량 운전 학습 시스템은, 상기 운전자 상태정보 처리부의 상태정보 처리 결과에 따라 상기 제1 카메라와 제2 카메라의 동작을 보정하는 카메라 제어부를 더 포함할 수 있다.

또한, 상기 차량 운전 학습 시스템은, 상기 운전자 상태정보 처리부로 사용자 인터페이스 정보를 입력하거나, 상기 운전자 상태정보 처리부로부터 사용자 인터페이스 처리 결과를 피드백 받는 차량 사용자 인터페이스부를 더 포함할 수 있다.

또한, 상기 차량 사용자 인터페이스부는, 멀티모달 인터페이스 기반인 것을 특징으로 할 수 있다.

또한, 상기 차량 운전 학습 시스템은, 상기 운전 학습 데이터베이스의 운전 학습 데이터를 외부 차량과 송수신할 수 있는 네트워크를 더 포함할 수 있다.

본 발명의 실시예에 의하면, 제1 카메라와 제2 카메라를 통해 촬영되는 영상을 이용한 차량 운전 학습 시스템의 차량 운전 학습 방법에 있어서, 차량 내부의 운전자가 감지되면 상기 운전자의 음성을 인식하는 과정과, 상기 제1 카메라 및 제2 카메라를 통해 상기 운전자의 얼굴 영상을 인식하는 과정과, 상기 제1 카메라 및 제2 카메라 간의 상호 위치를 계산하는 과정과, 상기 제1 카메라 및 제2 카메라를 이동 및 회전시켜 상기 운전자의 음성 및 얼굴 위치를 검출하는 과정과, 상기 운전자의 시선을 추적하여 차량 운전 학습 데이터를 구축하는 과정을 포함하는 차량 운전 학습 방법을 제공할 수 있다.

여기서, 상기 얼굴 영상을 인식하는 과정은, 상기 제1 카메라 및 제2 카메라의 영상을 임시 저장한 후 운전자 정보를 인식하는 과정과, 상기 운전자 정보를 기반으로 상기 차량의 내부에 탑승한 운전자가 기 등록된 운전자인지를 판단하는 과정과, 상기 기 등록된 운전자이면 상기 차량의 내부에 탑승한 운전자를 운전자 정보로 등록하는 과정과, 상기 기 등록된 운전자가 아니면 신규 운전자 정보로 등록하는 과정을 포함할 수 있다.

또한, 상기 제1 카메라는, 상기 차량의 내부 천정에 장착되어 운전자의 코의 돌출위치를 검출하는 것을 특징으로 할 수 있다.

또한, 상기 제2 카메라는, 상기 차량의 내부 전방에 장착되어 운전자의 코의 정면위치를 검출하는 것을 특징으로 할 수 있다.

또한, 상기 차량 운전 학습 데이터를 구축하는 과정은, 상기 차량 내부의 운전자의 시선을 인식하여 사용자 정보를 검출하는 과정과, 검출되는 상기 사용자 정보로부터 차량 운전 학습 데이터를 저장하는 과정을 포함할 수 있다.

또한, 상기 차량 운전 학습 데이터를 구축하는 과정은, 검출되는 상기 사용자 정보에 따라 상기 운전자의 음성 명령어 또는 제스처 명령 또는 시선 정보 중 적어도 하나 이상을 조합하는 과정을 포함할 수 있다.

또한, 상기 차량 운전 학습 데이터를 구축하는 과정은, 상기 차량 운전 학습 데이터를 실시간 갱신하는 과정과, 실시간 갱신되는 차량 운전 학습 데이터를 학습 데이터에 피드백 처리하는 과정을 포함할 수 있다.

기존의 차량 인터페이스는 멀티미디어 조작을 위해 각각의 개체에 운전자의 시선을 고정시켜야 했고, 이는 운전 집중력을 떨어뜨릴 수 있다. 본 발명에서는, 운전자의 음성명령이나 간단한 제스처를 통해 다양한 멀티미디어 개체를 차량의 전방 유리창에 지능적으로 디스플레이 하고자 하며, 이를 위해 효율적인 UX(User Experience)를 제공하기 위한 학습 데이터 구축이 필수적으로 요구된다. 다시 말해서, 운전자의 시선은 전방을 향하고 곁눈질이나 시야에 방해 받지 않는 범위 내에서 직관적으로 운전석에 근접한 개체를 조작할 수 있어야 하고, 위험을 감지하여 주행 보조 시스템을 구동하기 위해서 운전자의 시선에 따른 운전 습관 및 인터페이스에 대한 정보를 실시간으로 분석하여 상호 보완할 필요가 있다. 이는 방대한 인포테인먼트(infortainment)를 주행 중에 안전하고 쉽게 효율적으로 조작할 수 있는 환경을 제공하며 그 활용폭은 크게 확대될 것이다. 또한, 본 발명의 사용자 인터페이스를 사용하여 운전자뿐만 아니라 보조석에서도 운전자와 상호 연계성을 가지고 정보를 공유하며 제공할 수 있다. 나아가 현재 차량용 증강현실, 제스처 인식, 음성인식 등이 상호 보완적인 UX로 구성될 수 있고 운전자에 따른 맞춤형 UX를 제공함으로써 운전자가 가장 보기 쉬운 장소로 각종 정보를 디스플레이 함과 동시에 직관적이고 효율적으로 제어 가능하다. 이는 미래의 차세대 지능형 무인 자동차와 인간이 상호 보완관계를 유지하며, 차량과 가장 가까운 인간형 의사소통의 핵심 도구를 구축하는데 있어서 지능형 UX로 발전될 가능성이 높을 것으로 예상된다.

도 1은 본 발명의 실시예에 따른 차량 운전 학습 시스템에 대한 블록도,
도 2는 본 발명의 실시예에 따른 차량 운전 학습 시스템의 운전자 얼굴 위치 정보를 추출하기 위한 다중 카메라 보정 관계를 설명하기 위한 개념도,
도 3은 본 발명의 실시예에 따른 차량 운전 학습 방법을 예시적으로 설명하는 흐름도,
도 4는 도 3의 음성 및 얼굴 영상 인식 과정(S102)의 상세 흐름도,
도 5는 도 3의 학습 데이터 구축 과정(S112)의 상세 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 발명은 차량 내에 두 대의 카메라를 운전자와 마주보도록 배치하고, 이들 카메라를 통해 운전자의 시선 등을 추적하여 얼굴 정보를 검출하며, 검출되는 얼굴 정보와 운전자의 음성 및 제스처 정보를 맞춤형 학습 데이터로 저장하는 차량 운전 학습 기술에 관한 것이다.

구체적으로, 뎁스 센서(depth sensor)를 포함하는 제1 카메라를 통해 운전자의 머리 위에서 코의 돌출위치를 검출하여 운전자의 전방 주시 방향을 추적하고, 이와 동시에 제2 카메라를 통해 운전자의 얼굴 중 코의 정면위치를 검출하며, 제1 카메라의 돌출위치 정보와 제2 카메라의 정면위치 정보를 실시간 보정하여 운전자의 시선 정보를 정확히 파악하고자 한다.

또한, 운전자의 시선에 따라 인포테인먼트 시스템 및 증강현실 상의 정보를 표시 및 조작함에 있어서, 음성이나 제스처를 인식할 때 운전자의 시선 정보를 분석하여 운전 학습 DB로 저장하고, 운전 학습 DB의 지속적인 갱신을 통해 보다 강인한 운전자 인식 환경을 구현할 수 있는 학습 시스템을 제안하고자 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따라 운전자의 상태정보를 관리하기 위한 차량 운전 학습 시스템에 대한 블록도로서, 제1 카메라(100/1), 제2 카메라(100/2), 영상 인식부(102), 음성 인식부(104), 운전자 상태정보 처리부(106), 카메라 제어부(108), 운전학습 DB(110), 차량 사용자 인터페이스(User Interface, 이하 UI라 함)부(112) 등을 포함할 수 있다.

도시한 바와 같이, 제1 카메라(100/1)는 운전자의 머리 위에서 운전자 코의 돌출위치를 촬영하며, 제2 카메라(100/2)는 운전자의 정면에서 운전자 코의 정면위치를 촬영하는 역할을 한다.

영상 인식부(102)는 제1 카메라(100/1) 및 제2 카메라(100/2)를 통해 촬영되는 영상정보를 인식하고, 인식되는 영상정보를 운전자 상태정보 처리부(106)로 제공하는 역할을 한다.

음성 인식부(104)는 차량 내 운전자의 음성을 인식하고, 인식되는 음성정보를 운전자 상태정보 처리부(106)로 제공하는 역할을 한다.

운전자 상태정보 처리부(106)는 영상 인식부(102)로부터 제공되는 영상정보 중 코의 돌출위치를 검출하여 운전자의 전방 시선을 추적하고, 운전자 코의 정면위치를 검출하며, 돌출위치 정보와 정면위치 정보를 실시간 보정하여 운전자의 시선 정보를 파악하는 역할을 할 수 있다. 운전자 상태정보 처리부(106)를 통해 처리되는 시선정보, 보정정보 등은 운전 학습 DB(110)에 운전 학습 데이터로 저장되며, 저장되는 운전 학습 데이터는 실시간 갱신되어 실시간 학습 데이터로 활용될 수 있다.

이와 함께, 운전자 상태정보 처리부(106)는 음성 인식부(104)로부터 제공되는 음성정보를 처리하여 운전 학습 DB(110)에 저장할 수 있다.

또한, 운전자 상태정보 처리부(106)는 영상정보 및 음성정보를 토대로 한 상태정보 처리 결과를 카메라 제어부(108)로 제공하여 카메라 제어부(108)가 제1 카메라(100/1) 및 제2 카메라(100/2)를 제어할 수 있게 한다.

또한, 운전자 상태정보 처리부(106)는 차량 UI부(112)와 연결되며, 차량 UI부(112)로부터 사용자 명령(예를 들어, 음성 및 제스처 기반의 멀티모달 인터페이스(multi-modal interface) 명령)을 수신할 수 있다.

또한, 운전자 상태정보 처리부(106)는 네트워크(114)와 연결되며, 외부 운전 학습 데이터를 수신하여 운전 학습 DB(110)에 저장하거나, 운전 학습 DB(110)에 저장된 운전 학습 데이터를 네트워크(114)를 통해 송신할 수 있다.

카메라 제어부(108)는 운전자 상태정보 처리부(106)의 상태정보 처리 결과에 따라 제1 카메라(100/1) 및 제2 카메라(100/2)를 제어하는 역할을 할 수 있다. 구체적으로, 카메라 제어부(1080는, 운전자 상태정보 처리부(106)의 상태정보 처리 결과에 따라 제1 카메라(100/1) 및 제2 카메라(100/2)의 동작을 실시간 보정할 수 있다. 이때, 제1 카메라(100/1)와 제2 카메라(100/2) 각각의 보정은 소프트웨어적으로 차량 내 고정된 입자점 센서 등을 기준으로 구현될 수 있으며, 제1 카메라(100/1)와 제2 카메라(100/2) 간의 보정은 하드웨어적으로 구현될 수 있다.

운전 학습 DB(110)는 운전자 상태정보 처리부(106)에서 처리되는 영상정보와 음성정보를 학습 데이터로 저장 및 갱신하는 역할을 하며, 필요에 따라 저장된 영상정보 및 음성정보를 운전자 상태정보 처리부(106)로 피드백(feedback) 할 수도 있다.

차량 UI부(112)는, 예컨대 멀티모달 인터페이스 기반의 조작 기술이 적용될 수 있으며, 운전자 상태정보 처리부(106)로 멀티모달 UI 정보(예를 들어, 제스처, 음성 콜 등)를 입력하거나, 운전자 상태정보 처리부(106)로부터 멀티모달 UI 처리 결과를 피드백 받을 수 있다.

네트워크(114)는, 예를 들어 무선 네트워크일 수 있으며, 다른 차량 운전 학습 시스템, 즉 다른 차량에 탑재된 차량 운전 학습 시스템과 운전 학습 데이터를 송수신할 수 있게 하여 운전 학습 데이터를 공유하고 보완할 수 있게 한다.

상술한 바와 같은 차량 운전 학습 시스템은, 기본적으로 운전자 상태 및 우선순위를 관리하고, 집중도를 분산시키며, 운전자의 음성(멀티모달 인터페이스) 및 영상(제스처 인식 연상)을 동기화하는 역할을 할 수 있다.

이때, 제1 카메라(100/1) 및 제2 카메라(100/2)와 운전자 상태정보 처리부(106)를 통해 수행되는 차량 운전 학습을 위한 다중 카메라 보정을 도 2를 참조하면서 보다 구체적으로 설명하기로 한다.

도 2에 도시한 바와 같이, 제1 카메라(100/1)는 차량 내부 천정, 예를 들어 운전석 상단 천정에 장착되어 회전 및 이동이 가능하며, 뎁스 센서(depth sensor)를 포함할 수 있다. 이러한 제1 카메라(100/1)는 운전자의 머리 위에서 뎁스 맵(depth map)을 추출하여 운전자의 코의 돌출위치를 검출할 수 있다. 즉, 코의 위치는 P(O) 방향으로 가장 돌출된 부분의 뎁스 맵을 추출하여 파악된 위치 정보일 수 있다.

제2 카메라(100/2)는 차량의 전방에 장착되어 운전자의 얼굴 중 코의 정면위치를 검출할 수 있다.

즉, 본 발명의 실시예에서는 제1 카메라(100/1)의 돌출위치 정보와 제2 카메라(100/2)의 정면위치 정보를 비교 정합 및 실시간 보정하여 운전자의 시선 정보를 정확히 파악하고자 한다. 여기서, 제1 카메라(100/1)는 차량 정면 방향으로 차량 내부를 모델링하기 위한 것이고, 제2 카메라(100/2)는 운전자에 대해 모델링을 하기 위한 것이다.

제1 카메라(100/1)의 경우, 운전자의 머리 위치를 뎁스 센서로부터 들어온 뎁스 맵의 최적화 된(즉, 가장 가까운 지점) 지점으로 파악을 하여 위치 조정 및 회전을 한다. 추가적으로, 운전자의 좌석 위치를 고려하여 운전자의 평소 운전 습관 중 등받이 및 머리받이 등으로부터 떨어진 거리와 차량 속도, 외부 환경, 주행, 보조 환경 등에 따른 학습 데이터를 추출할 수 있다.

본 발명의 실시예에서는, 제1 카메라(100/1)에서 모델링 된 사전 데이터와 운전자 시선이 머무는 시간, 시선의 방향, 입력된 운전자의 음성, 제스처 인식과의 관계 등을 데이터로 구축하여 학습 시스템에 도입할 수 있다.

이하, 상술한 구성과 함께, 본 발명의 실시예에 따른 차량 운전 학습 방법을 도 3 내지 도 5의 흐름도를 참조하여 보다 상세히 설명하기로 한다.

먼저, 도 3은 본 발명의 실시예에 따른 차량 운전 학습 방법의 전체 흐름도이다.

도 3에 도시한 바와 같이, 제1 카메라(100/1)와 제2 카메라(100/2)에 의해 차량 내 운전자가 감지되면(S100), 차량 운전 학습 시스템의 영상 인식부(102)는 운전자의 영상, 특히 얼굴 영상을 인식하고, 음성 인식부(104)는 운전자의 음성을 인식한다(S102).

이와 같은 음성 및 얼굴 영상 인식 과정을 도 4를 참조하여 구체적으로 설명하기로 한다.

도 4에 도시한 바와 같이, 차량 운전 학습 시스템은 제1 카메라(100/1)를 통해 촬영되는 영상과, 제2 카메라(100/2)를 통해 촬영되는 영상을 각각 임시 저장하고, 임시 저장되는 제1 카메라(100/1) 및 제2 카메라(100/2)의 영상을 영상 인식부(102)로 제공한다(S200).

영상 인식부(102)에서는 해당 영상을 인식한 후, 그 인식 결과를 운전자 상태정보 처리부(106)로 제공한다(S202). 이와 함께, 음성 인식부(104)는 운전자의 음성 인식 결과를 운전자 상태정보 처리부(106)로 제공할 수 있다.

운전자 상태정보 처리부(106)는 영상 인식부(102)의 영상 인식 결과와 음성 인식부(104)의 음성 인식 결과를 토대로 현재 차량 내에 탑승한 운전자가 사전 등록된 운전자인지를 판단할 수 있다(S204).

단계(S204)의 판단 결과, 사전 등록된 운전자로 판단되면, 운전자 상태정보 처리부(106)는 해당 운전자를 운전자 정보로 등록하여 후속되는 차량 운전 학습 과정을 진행할 수 있게 한다.

반면, 단계(S204)의 판단 결과, 사전 등록된 운전자가 아닌 것으로 판단되면, 운전자 상태정보 처리부(106)는 현재 차량 내에 탑승한 운전자를 신규 운전자 정보로 추가 등록할 수 있다(S208).

한편, 단계(S102)에서 해당 운전자가 선택되는 경우에, 운전자 상태정보 처리부(106)는 제1 카메라(100/1)와 제2 카메라(100/2) 간의 상호 위치를 계산할 수 있다(S104).

운전자 상태정보 처리부(106)에 의해 계산된 위치정보는 카메라 제어부(108)로 제공될 수 있으며, 카메라 제어부(108)는 해당 위치정보에 따라 제1 카메라(100/1)와 제2 카메라(100/2)를 구동 제어한다. 예컨대, 제1 카메라(100/1)와 제2 카메라(100/2)는 카메라 제어부(108)의 제어하에 운전자의 위치(음성이 발생된 방향 벡터 성분을 기준으로 한 위치)로 회전 또는 이동 처리될 수 있다(S106).

이후, 운전자 상태정보 처리부(106)는 운전자의 얼굴에 대한 위치정보를 기준으로 제2 카메라(100/2)를 통해 획득되는 운전자의 얼굴을 검출할 수 있다(S108).

이러한 운전자 얼굴 검출 결과에 따라 운전자 상태정보 처리부(106)는 제2 카메라(100/2)를 통해 운전자의 눈을 검출한 후 운전자의 시선을 추적하는 과정을 거친다(S110).

이와 같은 운전자의 시선을 추적하는 기법은, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 용이하게 알 수 있는 바, 구체적인 설명은 생략하기로 한다. 본 발명의 구현하고자 하는 바는, 시선 추적 자체에 있는 것이 아니라, 기존의 시선 인식을 보다 정확하게 하기 위함이며, 제1 카메라(100/1)와 제2 카메라(100/2)의 상호 관계를 통해 오류를 최소화하기 위함이다. 이는 도 2에서 설명한 바와 같다.

구동 방식은 운전자가 차량에 탑승 후 음성 혹은 얼굴이 카메라 영역에 들어 왔을 때, 사전에 등록된 사용자인지 판단을 한 후 그렇지 않으면 새로운 사용자로 등록을 하는 절차를 거친다. 최초로 운전자의 얼굴과 음성이 입력되면 사용자 검증에 사용함과 동시에 음성의 발아 위치와 운전자의 위치를 파악하기 위한 단계로 진입한다. 그 단계의 첫 번째는 CAM1과 CAM2간의 위치를 상호 계산하고 CAM1과 CAM2는 운전자의 위치(음성이 발생된 방향 벡터 성분을 기준)로 카메라를 회전한다. 이 후에 얼굴에 대한 위치 정보를 기준으로 CAM2로 운전자의 얼굴을 검출하고 눈을 검출 후 추적하여 운전자의 시선을 추적하는 과정을 거친다. 이 때, 운전자의 시선을 추적하는 방법은 본 발명에서 언급하지 않는다.

본 발명에서 제시한 방식은 기존의 시선인식을 보다 정확하게 하기 위해서 CAM1과 CAM2의 상호 관계성을 추가하여 오류를 줄이기 위함이다. 이는 도 2에서 설명한 바 있다.

운전자의 시선 추적이 완료되면, 본 발명의 실시예에 따라 학습 데이터 구축 과정을 진행할 수 있다(S112).

도 5는 이러한 학습 데이터 구축 과정(S112)의 상세 흐름도이다.

도 5에 도시한 바와 같이, 운전자의 시선이 추적되면, 차량 상태정보 처리부(106)는 운전자의 시선을 인식하고 사용자 정보를 검출하는 과정을 수행한다(S300).

이러한 과정을 거쳐 운전자의 음성 명령어와 제스처 명령이 조합될 수 있다(S302).

이후, 운전자의 시선, 음성, 제스처 등으로부터 데이터를 학습하고, 이로부터 차량 운전 학습 데이터를 구축할 수 있다(S304)(S306).

학습 데이터는 실시간으로 갱신될 수 있으며, 갱신되는 학습 데이터는 다시 인식 및 검출 과정(S300)으로 피드백 됨으로써, 운전자로 하여금 맞춤형 인식 엔진을 발전시키는 시스템으로 구축될 수 있다.

이상 설명한 바와 같은 본 발명의 실시예에 의하면, 운전자의 시선을 추적하고, 시선추적 결과와 동작 결과에 대한 데이터를 학습하여 등록된 운전자에 따라 다른 패턴을 분석하여 맞춤형 멀티모달 인터페이스를 제공하고자 한다. 또한, 본 발명은 사전에 시선을 추적하여 차량 내/외부에 대한 모델링 과정을 거친 후 시선에 따른 음성과 제스처 인식에 따른 차량 내 증강현실 기반의 정보를 표시하고 운전 패턴에 따른 안전성을 파악함으로써, 업데이트 가능한 멀티모달 인터페이스 기반 운전자 상태 인식 기술을 제공하고자 한다. 구체적으로, 본 발명은 운전자의 음성에 의해 시스템을 활성화(시작)하고, 차량 전방의 카메라를 운전자(음성 발원지)의 방향으로 회전 및 이동시켜 운전자의 얼굴, 눈, 입 모양, 시선 등을 검출 및 추적할 수 있으며, 차량 내의 부가적인 보조 수단 및 시스템 콜 기능으로 활용될 수 있다.

100/1: 제1 카메라
100/2: 제2 카메라
102: 영상 인식부
104: 음성 인식부
106: 운전자 상태정보 처리부
108: 카메라 제어부
110: 운전 학습 DB
112: 차량 UI부
114: 네트워크

Claims

차량의 내부 천정에 장착되어 운전자의 코의 돌출위치를 검출하는 제1 카메라와,
상기 차량의 내부 전방에 장착되어 운전자의 코의 정면위치를 검출하는 제2 카메라와,
상기 돌출위치에 대응하는 영상과 상기 정면위치에 대응하는 영상을 실시간 보정하여 운전자의 시선 정보를 검출하며, 검출되는 상기 시선 정보를 분석하여 운전 학습 데이터베이스로 저장하는 운전자 상태정보 처리부
를 포함하는 차량 운전 학습 시스템.
제 1 항에 있어서,
상기 제1 카메라는, 회전 및 이동이 가능한 것을 특징으로 하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 제1 카메라는, 뎁스 센서(depth sensor)를 포함하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 운전자 상태정보 처리부는,
상기 운전 학습 데이터베이스를 갱신 처리하는 것을 특징으로 하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 차량 운전 학습 시스템은,
상기 차량에 탑승하는 운전자의 음성을 인식하고, 인식되는 음성정보를 상기 운전자 상태정보 처리부로 제공하는 음성 인식부를 더 포함하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 차량 운전 학습 시스템은,
상기 운전자 상태정보 처리부의 상태정보 처리 결과에 따라 상기 제1 카메라와 제2 카메라의 동작을 보정하는 카메라 제어부를 더 포함하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 차량 운전 학습 시스템은,
상기 운전자 상태정보 처리부로 사용자 인터페이스 정보를 입력하거나, 상기 운전자 상태정보 처리부로부터 사용자 인터페이스 처리 결과를 피드백 받는 차량 사용자 인터페이스부를 더 포함하는
차량 운전 학습 시스템.
제 7 항에 있어서,
상기 차량 사용자 인터페이스부는, 멀티모달 인터페이스 기반인 것을 특징으로 하는
차량 운전 학습 시스템.
제 1 항에 있어서,
상기 차량 운전 학습 시스템은,
상기 운전 학습 데이터베이스의 운전 학습 데이터를 외부 차량과 송수신할 수 있는 네트워크를 더 포함하는
차량 운전 학습 시스템.
제1 카메라와 제2 카메라를 통해 촬영되는 영상을 이용한 차량 운전 학습 시스템의 차량 운전 학습 방법에 있어서,
차량 내부의 운전자가 감지되면 상기 운전자의 음성을 인식하는 과정과,
상기 제1 카메라 및 제2 카메라를 통해 상기 운전자의 얼굴 영상을 인식하는 과정과,
상기 제1 카메라 및 제2 카메라 간의 상호 위치를 계산하는 과정과,
상기 제1 카메라 및 제2 카메라를 이동 및 회전시켜 상기 운전자의 음성 및 얼굴 위치를 검출하는 과정과,
상기 운전자의 시선을 추적하여 차량 운전 학습 데이터를 구축하는 과정을 포함하는
차량 운전 학습 방법.
제 10 항에 있어서,
상기 얼굴 영상을 인식하는 과정은,
상기 제1 카메라 및 제2 카메라의 영상을 임시 저장한 후 운전자 정보를 인식하는 과정과,
상기 운전자 정보를 기반으로 상기 차량의 내부에 탑승한 운전자가 기 등록된 운전자인지를 판단하는 과정과,
상기 기 등록된 운전자이면 상기 차량의 내부에 탑승한 운전자를 운전자 정보로 등록하는 과정과,
상기 기 등록된 운전자가 아니면 신규 운전자 정보로 등록하는 과정을 포함하는
차량 운전 학습 방법.
제 10 항에 있어서,
상기 제1 카메라는,
상기 차량의 내부 천정에 장착되어 운전자의 코의 돌출위치를 검출하는 것을 특징으로 하는
차량 운전 학습 방법.
제 10 항에 있어서,
상기 제2 카메라는,
상기 차량의 내부 전방에 장착되어 운전자의 코의 정면위치를 검출하는 것을 특징으로 하는
차량 운전 학습 방법.
제 10 항에 있어서,
상기 차량 운전 학습 데이터를 구축하는 과정은,
상기 차량 내부의 운전자의 시선을 인식하여 사용자 정보를 검출하는 과정과,
검출되는 상기 사용자 정보로부터 차량 운전 학습 데이터를 저장하는 과정을 포함하는
차량 운전 학습 방법.
제 14 항에 있어서,
상기 차량 운전 학습 데이터를 구축하는 과정은,
검출되는 상기 사용자 정보에 따라 상기 운전자의 음성 명령어 또는 제스처 명령 또는 시선 정보 중 적어도 하나 이상을 조합하는 과정을 포함하는
차량 운전 학습 방법.
제 10 항에 있어서,
상기 차량 운전 학습 데이터를 구축하는 과정은,
상기 차량 운전 학습 데이터를 실시간 갱신하는 과정과,
실시간 갱신되는 차량 운전 학습 데이터를 학습 데이터에 피드백 처리하는 과정을 포함하는
차량 운전 학습 방법.