KR20130079229A

KR20130079229A - 머리 동작 검출 장치

Info

Publication number: KR20130079229A
Application number: KR1020120151953A
Authority: KR
Inventors: 아쯔시 시무라
Original assignee: 가부시키가이샤 덴소
Priority date: 2011-12-26
Filing date: 2012-12-24
Publication date: 2013-07-10
Also published as: KR101438288B1; JP2013132371A; US20130163825A1; DE102012112624A1

Abstract

피험자의 머리 동작을 더 신뢰할 수 있게 검출할 수 있는 머리 동작 검출 장치(1). 장치(1)에 있어서, 화상 캡처 유닛(3)이 피험자의 얼굴 화상을 캡처한다. 궤적 획득 유닛(111)이 화상 캡처 유닛(3)에 의해 캡처된 일련의 얼굴 화상으로부터 시간에 따른 피험자의 얼굴 특징점의 궤적을 획득한다. 저장 유닛(17)이 피험자에 의해 이루어진 특정 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징을 저장한다. 머리 동작 검출 유닛(117)이 저장 유닛(17)에 미리 저장된 궤적의 일련의 특징과 궤적 획득 유닛(111)에 의해 획득된 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여 피험자에 의해 이루어진 특정 머리 동작을 검출한다.

Description

머리 동작 검출 장치{HEAD MOVEMENT DETECTION APPARATUS}

본 발명은 피험자의 머리 동작을 검출하는 머리 동작 검출 장치에 관한 것이다.

일본특허 제3627468호에 개시된 것과 같은 알려진 머리 동작 검출 장치는, 피험자의 얼굴 화상, 즉 얼굴을 포함하는 화상을 미리 정해진 시간 간격마다 반복적으로 캡처하고, 캡처된 얼굴 화상에 나타나는 특정 얼굴 특징점의 위치로부터 후속하는 캡처된 얼굴 화상에 나타나는 얼굴 특징점의 위치까지의 변위에 기초하여 피험자의 머리 동작을 검출한다.

상기 개시된 장치는 얼굴 특징점의 변위를 고정된 임계값과 비교하고, 그것들 사이의 미리 정해진 관계(불균등)가 충족된다고 판정되는 경우, 피험자에 의해 머리 동작이 이루어졌다고 판정한다. 그러나, 머리 동작은 사람마다 상당히 차이가 있을 수 있다. 그러므로, 고정된 임계값은 실제 머리 동작을 놓치거나, 실제 머리 동작이 없는데도 피험자에 의해 머리 동작이 이루어졌다고 잘못 판정하게 할 수 있다.

그러므로, 상술한 점을 고려하여, 피험자의 머리 동작을 더욱 신뢰할 수 있게 검출할 수 있는 머리 동작 검출 장치를 갖는 것이 바람직하다.

본 발명의 예시적인 실시형태에 따르면, 피험자의 얼굴 화상을 캡처하는 화상 캡처 유닛, 화상 캡처 유닛에 의해 캡처된 일련의 얼굴 화상으로부터 시간에 따른 피험자의 얼굴 특징점의 궤적을 획득하는 궤적 획득 유닛, 피험자에 의해 이루어진 특정 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징을 저장하는 저장 유닛 - 궤적은 피험자에 의해 이루어진 특정 머리 동작 동안 화상 캡처 유닛에 의해 캡처된 일련의 얼굴 화상으로부터 궤적 획득 유닛에 의해 획득됨 -, 및 저장 유닛에 미리 저장된 궤적의 일련의 특징과 궤적 획득 유닛에 의해 획득된 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여 피험자에 의해 이루어진 특정 머리 동작을 검출하는 머리 동작 검출 유닛을 포함하는 머리 동작 검출 장치가 제공된다.

이러한 구성에 의해, 머리 동작(예를 들어, 머리 끄덕임 또는 흔들림 동작)이 사람마다 다르더라도, 피험자에 의해 특정 머리 동작이 이루어졌는지의 여부를 더욱 신뢰할 수 있게 판정할 수 있다.

바람직하게는, 특정 머리 동작이 왕복 머리 동작인 경우, 피험자에 의해 이루어진 왕복 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징은, 궤적의 수직 진폭, 수평 진폭 및 왕복 동작의 기간 중 적어도 하나이다.

이는 피험자에 의해 특정 머리 동작이 이루어졌는지의 여부의 더욱 신뢰할 수 있는 판정으로 이어진다.

바람직하게는, 장치가 차량에 장착되고 피험자가 차량의 운전자인 경우, 장치는, 궤적 획득 유닛에 의해 획득된 운전자의 얼굴 특징점의 궤적에 포함된 차량의 거동으로 인한 진동 요소를 추정하는 진동 요소 추정 유닛, 및 운전자의 얼굴 특징점의 무노이즈 궤적을 획득하기 위해 궤적 획득 유닛에 의해 획득된 운전자의 얼굴 특징점의 궤적으로부터 진동 요소 추정 유닛에 의해 추정된 진동 요소를 빼는 진동 요소 제거 유닛을 더 포함한다. 장치에서, 머리 동작 검출 유닛은 저장 유닛에 미리 저장된 궤적의 일련의 특징과 진동 요소 제거 유닛에 의해 획득된 운전자의 얼굴 특징점의 무노이즈 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여 운전자에 의해 이루어진 특정 머리 동작을 검출한다.

이는 차량의 거동에 의해 유발되는 진동 효과를 감소시킬 수 있고, 특정 머리 동작이 운전자에 의해 이루어졌는지의 여부의 더욱 신뢰할 수 있는 판정으로 이어진다.

도 1a는 본 발명의 일 실시형태에 따른 머리 동작 검출 장치의 개략적인 블록도를 나타낸다.
도 1b는 머리 동작 검출 장치의 머리 동작 검출기의 개략적인 블록도를 나타낸다.
도 1c는 실시형태에 대한 일 변형예에 따른 머리 동작 검출 장치의 머리 동작 검출기의 개략적인 블록도를 나타낸다.
도 2는 차량의 승객실에서의 머리 동작 검출 장치의 예시적인 설치를 나타낸다.
도 3은 개인 데이터베이스 생성 프로세스의 순서도를 나타낸다.
도 4는 운전자의 예시적인 얼굴 화상을 나타낸다.
도 5a는 머리 끄덕임 동작 동안 캡처된 얼굴 화상으로부터 획득된 운전자의 눈의 궤적의 수직 요소를 나타낸다.
도 5b는 머리 끄덕임 동작 동안 캡처된 얼굴 화상으로부터 획득된 운전자의 눈의 궤적의 수평 요소를 나타낸다.
도 5c는 머리 흔들림 동작 동안 캡처된 얼굴 화상으로부터 획득된 운전자의 눈의 궤적의 수직 요소를 나타낸다.
도 5d는 머리 흔들림 동작 동안 캡처된 얼굴 화상으로부터 획득된 운전자의 눈의 궤적의 수평 성분을 나타낸다.
도 6은 머리 동작 검출 장치에서 실행된 머리 동작 검출 프로세스에 대한 순서도를 나타낸다.
도 7a는 궤적이 차량의 거동으로 인한 진동 요소 및 운전자의 머리 동작으로 인한 요소를 포함할 때, 시간의 흐름에 따른 운전자의 눈의 (수직 방향의) 궤적을 나타낸다.
도 7b는 도 7a의 궤적에 포함된 차량의 거동으로 인한 진동 요소를 나타낸다.
도 7c는 도 7a의 궤적에 포함된 운전자의 머리 동작으로 인한 요소를 나타낸다.
도 8은 예시적인 디스플레이 화상을 나타낸다.

본 발명을 첨부의 도면을 참조하여 이하에서 더 자세하게 설명할 것이다. 전체적으로 유사한 도면부호는 유사한 구성요소를 나타낸다.

1. 하드웨어 구성

이제, 도 1a, 도 1b 및 도 2를 참조하여 본 발명의 일 실시형태에 따른 머리 동작 검출 장치를 설명한다. 도 1a는 머리 동작 검출 장치(1)의 개략적인 블록도를 나타낸다. 도 1b는 머리 동작 검출 장치(1)의 머리 동작 검출기의 개략적인 블록도를 나타낸다. 도 2는 차량의 승객실에서의 머리 동작 검출 장치(1)의 예시적인 설치를 나타낸다.

머리 동작 검출 장치(1)는 차량에 장착되며 카메라(화상 캡처 유닛)(3), A/D 컨버터(5), 화상 메모리(7), 특징점 검출기(9), 머리 동작 검출기(11), 정보 디스플레이 컨트롤러(13), 정보 디스플레이(15), 개인 데이터베이스를 저장하는 제1 메모리(저장 유닛)(17), 정보 데이터베이스를 저장하는 제2 메모리(19), 매뉴얼 스위치(21), 차속 센서(23), 가속도계(25), 요율(yaw rate) 센서(27), 시트 압력 센서(29), 중앙 컨트롤러(31), 조명 컨트롤러(33), 및 조명기(35)를 포함한다.

도 2에 도시된 바와 같이, 카메라(3)는 운전자(피험자)의 얼굴을 포함하는 화상, 즉 얼굴 화상을 캡처하기 위해 차량의 승객실에 배치된다. A/D 컨버터(5)는 카메라(3)에 의해 캡처된 얼굴 화상의 화상 데이터를 아날로그 디지털 변환하고, 변환된 얼굴 화상 데이터를 화상 메모리(7)에 저장한다. 특징점 검출기(9)는 잘 알려진 화상 분석 기술 중 하나를 이용하여 화상 메모리(7)에 저장된 얼굴 화상 데이터로부터 운전자의 왼쪽 또는 오른쪽 눈(얼굴 특징점)을 검출한다. 머리 운동 검출기(11)는 특징점 검출기(9)에 의해 검출된 운전자의 눈의 궤적에 기초하여 운전자의 머리 운동을 검출한다. 궤적은 미리 정해진 시간 간격으로 캡처된 각각의 얼굴 화상에 나타나는 운전자의 눈의 일련의 위치를 연결하는 경로이다. 이 머리 동작 검출 프로세스는 이후에 자세히 설명한다. 정보 디스플레이 컨트롤러(13)는 머리 동작 검출기(11)의 검출에 응답하여 정보 디스플레이(15)를 제어한다. 정보 디스플레이(15)는 재구성된 화상을 표시할 수 있고, 내비게이션 시스템(36)의 디스플레이(15a) 또는 헤드업 디스플레이(HUD)(15b) 또는 이들의 조합일 수 있다.

메모리(17)는 개인 데이터베이스(이후에 설명함)를 저장한다. 메모리(17)는 개인 인증(이후에 설명함)을 위해 사용되는 각각의 사용자의 얼굴 패턴, 즉 얼굴 특징점의 패턴을 저장한다. 메모리(19)는 정보 디스플레이(15)에 표시될 정보(아이콘과 같은 디스플레이 화상)를 저장한다.

매뉴얼 스위치(21)는 운전자에 의해 조작될 수 있다. 차속 센서(23), 가속도계(25), 요율 센서(27), 시트 압력 센서(29)는 각각 차량의 속도, 차량의 가속도, 차량의 요율, 운전자에 의해 운전자의 시트(38)에 가해지는 압력을 검출한다. 중앙 컨트롤러(31)는 매뉴얼 스위치(21)에 제공된 입력, 및 차속 센서(23), 가속도계(25), 요율 센서(27) 및 시트 압력 센서(29)의 검출된 값에 응답하여 다양한 제어 프로세스를 실행한다. 조명 컨트롤러(33)는 조명기(35)의 휘도를 제어한다. 조명기(35)는 도 2에 도시된 바와 같이 운전자의 얼굴을 조명하도록 배치된다.

도 1b를 참조하면, 머리 동작 검출기(11)는 궤적 획득 유닛(궤적 획득 수단)(111), 진동 요소 추정 유닛(진동 요소 추정 수단)(113), 진동 요소 제거 유닛(진동 요소 제거 수단)(115), 머리 동작 검출 유닛(머리 동작 검출 수단)(117), 및 설정 유닛(설정 수단)(119)을 포함한다.

궤적 획득 유닛(111)은 카메라(3)를 사용하여 미리 정해진 시간 간격으로 캡처되는 일련의 얼굴 화상으로부터, 시간에 따른 특징점 검출기(9)에 의해 검출된 운전자의 눈(얼굴 특징점)의 궤적을 획득한다. 궤적은 각각의 얼굴 화상의 운전자의 눈의 일련의 위치를 연결하는 경로이다.

진동 요소 추정 유닛(113)은 궤적 획득 유닛(111)에 의해 획득된 운전자의 눈의 궤적에 포함된 차량의 거동으로 인한 진동 요소를 산출 또는 추정한다.

진동 요소 제거 유닛(115)은 무노이즈 궤적을 산출하기 위해 궤적 획득 유닛(111)에 의해 획득된 궤적으로부터 진동요소 추정 유닛(113)에 의해 추정된 차량의 거동으로 인한 진동 요소(노이즈임)를 뺀다. 즉, 궤적 획득 유닛(111)에 의해 획득된 궤적으로부터 진동 요소를 뺌으로써 무노이즈 궤적이 획득된다.

머리 동작 검출 유닛(117)은, 제1 메모리(17)에 미리 저장되는 운전자에 의해 이루어진 특정 머리 운동 동안의 궤적의 일련의 특징(이후에 설명함)과 진동 요소 제거 유닛(115)에 의해 산출된 무노이즈 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여, 운전자(피험자)에 의해 이루어진 머리 끄덕임 동작 또는 머리 흔들림 동작 등과 같은 특정 머리 동작을 검출한다. 무노이즈 궤적의 일련의 특징이 운전자에 특정되는 궤적 특징(이후에 설명함)의 범위 내에 있는 경우[제1 메모리(17)에 미리 저장되는 특정 머리 동작 동안의 운전자의 눈의 궤적의 일련의 특징과 무노이즈 궤적의 일련의 특징 사이에 더 높은 대응의 정도가 존재함을 의미함], 머리 동작 검출 유닛(117)은 운전자에 의해 특정 머리 동작이 이루어졌다고 판정한다.

설정 유닛(119)은, 운전자에 의해 이루어진 특정 머리 동작을 검출하기 위한 운전자에 특정되는 궤적 특징의 범위를, 제1 메모리(17)에 미리 저장되는 운전자에 의해 이루어진 특정 머리 동작 동안의 얼굴 특징점의 궤적의 일련의 특징의 함수로서 규정한다.

2. 머리 동작 검출 장치에서 실행되는 프로세스

(1) 개인 데이터베이스 생성

이제, 도 3, 도 4, 도 5a 내지 도 5d를 참조하여 개인 데이터베이스 생성 프로세스를 설명한다. 도 3은 머리 동작 검출 장치(1)에서 실행되는 개인 데이터베이스 생성 프로세스에 대한 순서도를 나타낸다. 도 4는 개인 데이터베이스 생성 프로세스를 설명하기 위해 사용되는 운전자의 예시적인 얼굴 화상을 나타낸다. 도 5a 및 도 5b는 머리 끄덕임 동작 동안 캡처된 얼굴 화상으로부터 획득된 시간에 따른 운전자의 눈의 궤적의 수직 및 수평 요소를 각각 나타낸다. 도 5c 및 도 5d는 머리 흔들림 동작 동안 캡처된 얼굴 화상으로부터 획득된 시간에 따른 운전자의 눈의 궤적의 수직 및 수평 요소를 각각 나타낸다.

개인 데이터베이스 생성 프로세스는 차량이 정지되어 있고 엔진이 정지되어 있을 때 중앙 컨트롤러(31)의 제어하에 실행된다. 일단 미리 정해진 입력이 운전자에 의해 매뉴얼 스위치(21)에 제공되거나, 운전자가 시트 압력 센서(29) 또는 카메라(3) 등에 의해 감지되면, 개인 데이터베이스 생성 프로세스가 시작된다.

도 3을 참조하면, 스텝 S10에서, 운전자의 얼굴 화상이 카메라(3)에 의해 캡처된다. 운전자의 얼굴 화상은, 도 4에 도시된 바와 같이, 운전자의 얼굴(37)을 포함한다. 후속하여, 얼굴 특징점[눈(39), 코(41), 입(43) 등]의 패턴이 특징점 검출기(9)에 의해 운전자의 캡처된 얼굴 화상으로부터 획득된다. 획득된 특징점 패턴은 메모리(개인 데이터베이스)(17)에 미리 저장된 각각의 사용자의 특징점 패턴과 비교된다. 획득된 특징점 패턴에 부합하는 미리 저장된 특징점 패턴 중 하나가 선택된다. 운전자는 선택된 특징점 패턴을 갖는 사용자로 인식될 수 있다.

스텝 S20에서, "개인 데이터베이스를 생성하길 원하십니까?"와 같은 메시지가 디스플레이(15a)에 표시된다. 스텝 S20에서 상기 메시지를 표시한 후 미리 정해진 기간 이내에 응답 "예"에 대응하는 입력이 매뉴얼 스위치(21)에 제공되면, 그때 프로세스는 스텝 S30으로 진행된다. 스텝 S20에서 상기 메시지를 표시한 후 미리 정해진 기간 이내에 응답 "아니오"에 대응하는 입력이 매뉴얼 스위치(21)에 제공되거나 아무 입력도 제공되지 않으면, 그때 프로세스는 종료된다.

스텝 S30에서, "머리를 끄덕여 주세요"와 같은 메시지가 디스플레이(15a)에 표시된다.

스텝 S40에서는, 스텝 S30에서 상기 메시지를 표시한 후 제1 미리 정해진 기간에 걸쳐, 운전자의 얼굴 화상을 카메라(3)를 사용하여 제1 미리 정해진 시간 간격마다 반복적으로 캡처한다. 제1 미리 정해진 기간은 제1 미리 정해진 기간(이후에 설명함)에 걸쳐 운전자의 눈의 궤적의 화상 분석을 할 수 있을 만큼 짧게 설정된다.

스텝 S50에서, "머리를 흔들어 주세요"와 같은 메시지가 디스플레이(15a)에 표시된다.

스텝 S60에서는, 스텝 S50에서 메시지를 표시한 후 제2 미리 정해지 기간에 걸쳐, 운전자의 얼굴 화상을 카메라(3)를 사용하여 제2 미리 정해진 시간 간격마다 반복적으로 캡처한다. 각각의 제2 미리 정해진 시간 간격은 제2 미리 정해진 기간(이후에 설명함)에 걸쳐 운전자의 눈의 궤적의 화상 분석을 할 수 있을 만큼 짧게 설정된다.

제1 및 제2 시간 간격은 서로 같거나 서로 다를 수 있다. 제1 및 제2 기간은 서로 같거나 서로 다를 수 있다.

스텝 S70에서는, 스텝 S40에서 캡처된 각각의 얼굴 화상에 나타나는 운전자의 눈의 일련의 위치를 연결하는 경로인, 제1 미리 정해진 기간에 걸친 운전자의 눈의 궤적이 획득된다. 도 5a 및 도 5b는 머리 끄덕임 동작 동안의 운전자의 눈의 궤적의 수직 및 수평 요소를 각각 나타낸다. 도 5a의 수직축은 수직 위치를 나타내고, 도 5a의 수평축은 시간을 나타낸다. 도 5b의 수직축은 수평 위치를 나타내고, 도 5b의 수평축은 시간을 나타낸다.

도 5a에 도시된 바와 같이, 운전자의 눈의 수직 위치(Y-방향)는 시간(t)에 걸쳐 큰 진폭으로 왕복한다. 도 5b에 도시된 바와 같이, 운전자의 눈의 수평 위치(X-방향)는 시간(t)에 걸쳐 작은 진폭으로 왕복한다. 스텝 S70에서, 시간에 따른 운전자의 눈의 궤적 이외에, 궤적의 수직 진폭(ΔY1), 수평 진폭(ΔX1), 수직 왕복 동작의 기간(ΔT1)이 획득된다.

스텝 S80에서는, 스텝 S60에서 캡처된 각각의 얼굴 화상에 나타나는 운전자의 눈의 일련의 위치를 연결하는 경로인, 제2 미리 정해진 기간에 걸친 운전자의 눈의 궤적이 획득된다. 도 5c 및 도 5d는 머리 흔들림 동작 동안의 운전자의 눈의 궤적의 수직 및 수평 요소를 각각 나타낸다. 도 5c의 수직축은 수직 위치를 나타내고, 도 5c의 수평축은 시간을 나타낸다. 도 5d의 수직축은 수평 위치를 나타내고, 도 5d의 수평축은 시간을 나타낸다.

도 5d에 도시된 바와 같이, 운전자의 눈의 수평 위치(X-방향)는 시간(t)에 걸쳐 큰 진폭으로 왕복한다. 도 5c에 도시된 바와 같이, 운전자의 눈의 수직 위치(Y-방향)는 시간(t)에 걸쳐 작은 진폭으로 왕복한다. 스텝 S80에서, 시간에 따른 운전자의 눈의 궤적 이외에, 궤적의 수직 진폭(ΔY2), 수평 진폭(ΔX2), 수평 왕복 동작의 기간(ΔT2)이 획득된다.

스텝 S90에서는, 스텝 S70에서 획득된 머리 끄덕임 동작에 대한 운전자의 눈의 궤적, 수직 진폭(ΔY1), 수평 진폭(ΔX1), 및 수직 왕복 동작의 기간(ΔT1)이 스텝 S10에서 인증된 개인과 관련하여 메모리(17)에 저장된다. 스텝 S80에서 획득된 머리 흔들림 동작에 대한 운전자의 눈의 궤적, 수직 진폭(ΔY2), 수평 진폭(ΔX2), 및 수평 왕복 동작의 기간(ΔT2)도 스텝 S10에서 인증된 개인과 관련하여 메모리(17)에 저장된다.

(2) 머리 동작 검출

이제, 도 6 내지 도 8을 참조하여, 머리 동작 검출 장치(1)에서 실행되는 머리 동작 검출 프로세서를 설명한다. 도 6은 머리 동작 검출 프로세스에 대한 순서도를 나타낸다. 도 7a 내지 도 7c는 진동 요소 제거 프로세서(이후에 설명함)가 어떻게 실행되는지를 나타낸다. 도 8은 예시적인 디스플레이 화상을 나타낸다. 머리 동작 검출 프로세서 또한 중앙 컨트롤러(31)의 제어하에 실행된다.

도 6을 참조하면, 스텝 S110에서는, 스텝 S40 또는 S60에서 처럼, 제3 미리 정해진 기간에 걸쳐 운전자의 얼굴 화상이 카메라(3)를 사용하여 제3 미리 정해진 시간 간격마다 반복적으로 캡처된다. 제3 미리 정해진 시간 간격은 제1 또는 제2 미리 정해진 시간 간격과 같거나 다를 수 있다. 제3 미리 정해진 기간은 제1 또는 제2 미리 정해진 기간과 같거나 다를 수 있다.

스텝 S120에서는, 스텝 S110에서 캡처된 각각의 얼굴 화상에 나타나는 운전자의 눈의 일련의 위치를 연결하는 경로인, 제3 미리 정해진 기간에 걸친 운전자의 눈의 궤적이 획득된다.

스텝 S130에서, 제3 미리 정해진 시간 동안의 차량의 거동으로 인한 진동 요소가, 예를 들어 가속도계(25) 및 시트 압력 센서(29)의 검출된 값을 이용하여 추정된다. 대안적으로, 진동 요소는 운전자에 의해 머리 동작이 이루어지지 않을 때 검출된 운전자의 눈의 떨림(blur) 폭 및 속도를 이용하여 추정될 수 있다.

스텝 S140에서는, 스텝 S130에서 추정된 진동 요소를 스텝 S120에서 획득된 궤적으로부터 뺀다. 일반적으로, 도 7a에 도시된 바와 같은 스텝 S120에서 획득된 궤적은, 도 7c에 도시된 바와 같은 운전자의 머리 동작으로 인한 요소 및 도 7b에 도시된 바와 같은 차량의 거동으로 인한 진동 요소(노이즈)를 포함한다. 그러므로, 운전자의 머리 동작으로 인한 요소(이하, 무노이즈 궤적이라고도 함)는 스텝 S120에서 획득된 궤적으로부터 차량의 거동으로 인한 진동 요소를 뺌으로써 획득될 수 있다.

스텝 S150에서는, 스텝 S140에서 획득된 무노이즈 궤적에 기초하여, 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떠한 동작도 이루어지지 않았는지의 여부가 판정된다.

이를 위해, 먼저, 운전자의 개인 데이터베이스가 메모리(17)로부터 판독된다. 상기와 같이, 개인 데이터베이스는 머리 끄덕임 동작 동안의 운전자의 눈의 궤적의 수직 진폭(ΔY1), 수평 진폭(ΔX1), 및 수직 왕복 동작의 기간(ΔT1)을 포함한다. 개인 데이터베이스는 머리 흔들림 동작 동안의 운전자의 눈의 수직 진폭(ΔY2), 수평 진폭(ΔX2), 및 수평 왕복 동작의 기간(ΔT2)을 더 포함한다.

머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떠한 동작도 이루어지지 않았는지의 여부의 판정의 기초가 되는 임계값(TY1, TX1, TT1, TY2, TX2 및 TT2)은 다음과 같이 메모리(17)에 저장된 수직 진폭(ΔY1), 수평 진폭(ΔX1), 수직 왕복 동작의 기간(ΔT1), 수직 진폭(ΔY2), 수평 진폭(ΔX2), 및 수평 왕복 동작의 기간(ΔT2)을 이용하여 산출된다.

TY1=(ΔY1)×α,

TX1=(ΔX1)×β,

TT1=(ΔT1)×γ,

TY2=(ΔY2)×β,

TX2=(ΔX2)×α,

TT2=(ΔT2)×γ,

여기서, α(알파)=0.5, β(베타)=2, γ(감마)=1.5.

후속하여, 수직 진폭(ΔY), 수평 진폭(ΔX), 및 왕복 동작의 기간(ΔT)(즉, 무노이즈 궤적의 일련의 특징)이 스텝 S140에서 획득된 무노이즈 궤적, 즉 스텝 S120에서 획득된 궤적으로부터 차량의 거동으로 인한 진동 요소를 뺌으로써 획득되는 운전자의 머리 동작으로 인한 요소로부터 산출된다.

다음의 부등식 (1) 내지 (3)이 모두 충족되는 경우, 즉 스텝 S140에서 획득된 무노이즈 궤적의 수직 진폭(ΔY), 수평 진폭(ΔX), 및 왕복 동작의 기간(ΔT)이 3차원 범위인 부등식 (1) 내지 (3)에 의해 규정된 궤적 특징의 제1 범위 내에 있는 경우[제1 메모리(17)에 미리 저장되는 머리 끄덕임 동작 동안의 운전자의 눈의 궤적의 일련의 특징과 무노이즈 궤적의 일련의 특징 사이에서 더 높은 대응의 정도가 나타나는 것을 의미함], 운전자에 의해 머리 끄덕임 동작이 이루어졌다고 판정한다. 다음의 부등식 (4) 내지 (6)이 모두 충족되는 경우, 즉 스텝 S140에서 획득된 무노이즈 궤적의 수직 진폭(ΔY), 수평 진폭(ΔX), 및 왕복 동작의 기간(ΔT)이 3차원 범위인 부등식 (4) 내지 (6)에 의해 규정된 궤적 특징의 제2 범위 내에 있는 경우[제1 메모리(17)에 미리 저장되는 머리 흔들림 동작 동안의 운전자의 눈의 궤적의 일련의 특징과 무노이즈 궤적의 일련의 특징 사이에서 더 높은 대응의 정도가 나타나는 것을 의미함], 운전자에 의해 머리 흔들림 동작이 이루어졌다고 판정한다. 위의 어느 것도 충족되지 않는 경우, 운전자에 의해 머리 끄덕임 동작이나 머리 흔들림 동작 중 어느 것도 이루어지지 않았다고 판정한다.

ΔY＞TY1 (1)

ΔX＜TX1 (2)

ΔT＜TT1 (3)

ΔY＜TY2 (4)

ΔX＞TX2 (5)

ΔT＜TT2 (6)

스텝 S150에서 운전자에 의해 머리 끄덕임 동작이 이루어졌다고 판정되는 경우, 내비게이션 시스템(36)의 디스플레이(15a)에서 커서 등에 의해 이미 선택된 항목이 실행될 것이다. 예를 들어, 도 8에 도시된 바와 같이, 커서에 의해 항목 "내비게이션"이 이미 선택되었고, 이 항목이 실행될 것이다. 스텝 S150에서 운전자에 의해 머리 흔들림 동작이 이루어졌다고 판정되는 경우, 내비게이션 시스템(36)의 디스플레이(15a)에서 커서 등이 한 항목으로부터 다음 항목으로 이동할 것이고, 다음 항목이 선택될 것이다. 예를 들어, 도 8에 도시된 바와 같이, 커서가 항목 "내비게이션"으로부터 항목 "음악"으로 이동할 것이고, 항목 "음악"이 선택될 것이다. 스텝 S150에서 운전자에 의해 머리 끄덕임 동작이나 머리 흔들림 동작 중 어느 것도 이루어지지 않았다고 판정되는 경우, 아무것도 발생하지 않는다.

3. 몇몇 이점

(ⅰ) 머리 동작 검출 장치(1)에 있어서, 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부의 판정의 기초가 되는 임계값(TY1, TX1, TT1, TY2, TX2, TT2)은 시간에 따른 운전자의 눈의 실제 궤적으로부터 산출된다. 그러므로, 머리 동작이 사람마다 다르더라도, 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부를 신뢰할 수 있게 판정할 수 있다.

(ⅱ) 머리 동작 검출 장치(1)에 있어서, 무노이즈 궤적, 즉 시간에 따른 운전자의 눈의 궤적으로부터 차량의 거동으로 인한 진동 요소를 뺌으로써 획득되는 머리 동작으로 인한 요소에 기초하여, 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부가 판정된다. 이는 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부의 더 신뢰할 수 있는 판정으로 이어진다.

4. 몇몇 변형예

이제, 본 발명의 사상 및 범위 내에서 강구될 수 있는 상기 실시형태의 몇몇 변형예를 설명한다.

상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 운전자의 머리 동작을 판정하기 위해 시간에 따른 운전자의 눈의 궤적이 획득된다. 대안적으로, 운전자의 머리 동작을 판정하기 위해 시간에 따른 다른 얼굴 특징점(예를 들어, 코, 입, 왼쪽 또는 오른쪽 귀 등)의 궤적이 획득될 수 있다.

상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부가 판정된다. 대안적으로, 운전자에 의해 머리 끄덕임 동작이 이루어졌는지 또는 이루어지지 않았는지의 여부만이 판정되거나, 운전자에 의해 머리 흔들림 동작이 이루어졌는지 또는 이루어지지 않았는지의 여부만이 판정될 수 있다.

또한, 상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 내비게이션 시스템(36)은 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부의 판정에 응답하여 제어된다. 대안적으로, 내비게이션 시스템(36) 이외의 장치가 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부의 판정에 응답하여 제어될 수 있다.

상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 임계값(TY1 및 TX2)을 산출하기 위해 사용된 계수(α)는 0.5이고, 임계값(TX1 및 TY2)을 산출하기 위해 사용된 계수(β)는 2이고, 임계값(TT1 및 TT2)을 산출하기 위해 사용된 계수(γ)는 1.5이다. 대안적으로, 계수 α, β 및 γ는 각각 0.5 이외의 값, 2 이외의 값, 및 1.5 이외의 값으로 설정될 수 있다.

상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 개인 데이터베이스는 머리 끄덕임 동작 동안의 운전자의 눈의 궤적의 수직 진폭(ΔY1), 수평 진폭(ΔX1), 및 수직 왕복 동작의 기간(ΔT1)을 포함한다. 개인 데이터베이스는 머리 흔들림 동작 동안의 운전자의 눈의 궤적의 수직 진폭(ΔY2), 수평 진폭(ΔX2), 및 수평 왕복 동작의 기간(ΔT2)을 더 포함한다. 대안적으로, 개인 데이터베이스는 머리 끄덕임 동작 동안의 운전자의 눈의 궤적 및 머리 흔들림 동작 동안의 운전자의 눈의 궤적을 포함할 수 있다. 이러한 대안적인 실시형태에서는, 개인 데이터베이스에 미리 저장된 각각의 사용자의 머리 끄덕임 동작에 대한 궤적 및 머리 흔들림 동작에 대한 궤적 각각과 스텝 S140에서 획득된 궤적을 비교함으로써 운전자에 의해 머리 끄덕임 동작, 머리 흔들림 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부가 판정될 수 있다.

상기 실시형태의 머리 동작 검출 장치(1)에 있어서, 도 1b를 참조하여 위에서 설명한 바와 같은 머리 동작 검출기(11)는 궤적 획득 유닛(111), 진동 요소 추정 유닛(113), 진동 요소 제거 유닛(115), 머리 동작 검출 유닛(117), 및 설정 유닛(119)을 포함한다. 대안적으로, 예를 들어, 차량 거동으로 인한 진동 요소가 무시될 수 있거나 또는 머리 동작 검출 유닛(117)이 운전자에 의해 이루어진 (머리 끄덕임 또는 흔들림 동작과 같은) 특정 머리 동작을 검출하는 것을 방해하지 않을 수 있을 경우에는, 진동 요소 제거 유닛(115)은 제거될 수 있다. 이러한 실시형태에서는, 도 1c에 도시된 바와 같이, 머리 동작 검출기(11)는 궤적 획득 유닛(111), 머리 동작 검출 유닛(117) 및 설정 유닛(설정 수단)(119)만을 포함할 수 있다.

전술한 설명 및 관련 도면에 나타난 교시의 이점을 갖는 본 발명의 많은 변형예 및 다른 실시형태가 당업자에게는 생각날 것이다. 그러므로, 본 발명은 개시된 특정 실시형태로 제한되지 않으며, 첨부된 청구범위 내에 변형예 및 다른 실시형태가 포함된다는 점이 이해될 것이다. 특정 용어가 채용되었지만, 단지 포괄적이고 서술적인 의미로 사용된 것이며, 제한을 위한 것은 아니다.

Claims

피험자의 얼굴 화상을 캡처하는 화상 캡처 유닛(3),
화상 캡처 유닛(3)에 의해 캡처된 일련의 얼굴 화상으로부터 시간에 따른 피험자의 얼굴 특징점의 궤적을 획득하는 궤적 획득 유닛(111),
피험자에 의해 이루어진 특정 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징을 저장하는 저장 유닛(17) - 궤적은 피험자에 의해 이루어진 특정 머리 동작 동안 화상 캡처 유닛(3)에 의해 캡처된 일련의 얼굴 화상으로부터 궤적 획득 유닛(111)에 의해 획득됨 -, 및
저장 유닛(17)에 미리 저장된 궤적의 일련의 특징과 궤적 획득 유닛(111)에 의해 획득된 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여 피험자에 의해 이루어진 특정 머리 동작을 검출하는 머리 동작 검출 유닛(117)을 포함하는, 머리 동작 검출 장치(1).
제1항에 있어서,
상기 피험자에 의해 이루어진 특정 머리 동작을 검출하기 위한 피험자에 특정되는 궤적 특징의 범위를, 상기 저장 유닛(17)에 미리 저장된 피험자의 얼굴 특징점의 궤적의 일련의 특징의 함수로서 규정하는 설정 유닛(119)을 더 포함하고,
상기 머리 동작 검출 유닛(117)은, 궤적 획득 유닛(111)에 의해 획득된 피험자의 얼굴 특징점의 궤적의 대응하는 일련의 특징이 설정 유닛(119)에 의해 규정된 궤적 특징의 범위 내에 있는지의 여부를 판정하고, 궤적의 대응하는 일련의 특징이 설정 유닛(119)에 의해 규정된 궤적 특징의 범위 내에 있다고 판정될 때, 피험자에 의해 특정 머리 동작이 이루어졌다고 판정하는, 머리 동작 검출 장치(1).
제1항 또는 제2항에 있어서,
상기 피험자의 얼굴 특징점은 피험자의 얼굴의 왼쪽 눈, 오른쪽 눈, 왼쪽 귀, 오른쪽 귀, 코, 및 입으로 구성되는 그룹으로부터 선택되는, 머리 동작 검출 장치(1).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 특정 머리 동작은 왕복 머리 동작이고,
상기 피험자에 의해 이루어진 왕복 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징은 궤적의 수직 진폭(ΔY), 수평 진폭(ΔX), 및 왕복 동작의 기간(ΔT) 중 적어도 하나인, 머리 동작 검출 장치(1).
제4항에 있어서,
상기 특정 머리 동작은 머리 끄덕임 동작이고,
상기 피험자에 의해 이루어진 머리 끄덕임 동작 동안의 얼굴 특징점의 궤적의 일련의 특징은 궤적의 수직 진폭(ΔY1), 수평 진폭(ΔX1), 및 수직 왕복 동작의 기간(ΔT1)인, 머리 동작 검출 장치(1).
제4항에 있어서,
상기 특정 머리 동작은 머리 흔들림 동작이고,
상기 피험자에 의해 이루어진 머리 흔들림 동작 동안의 얼굴 특징점의 궤적의 일련의 특징은 궤적의 수직 진폭(ΔY2), 수평 진폭(ΔX2), 및 수평 왕복 동작의 기간(ΔT2)인, 머리 동작 검출 장치(1).
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 머리 동작 검출 장치(1)는 차량에 장착되고, 상기 피험자는 차량의 운전자이고, 상기 머리 동작 검출 장치(1)는,
상기 궤적 회득 유닛(111)에 의해 획득된 운전자의 얼굴 특징점의 궤적에 포함된 차량의 거동에 의한 진동 요소를 추정하는 진동 요소 추정 유닛(113); 및
상기 운전자의 얼굴 특징점의 무노이즈 궤적을 획득하기 위해 궤적 획득 유닛(111)에 의해 획득된 운전자의 얼굴 특징점의 궤적으로부터 진동 요소 추정 유닛(113)에 의해 추정된 진동 요소를 빼는 진동 요소 제거 유닛(115)을 더 포함하고,
상기 머리 동작 검출 유닛(117)은, 저장 유닛(17)에 미리 저장된 궤적의 일련의 특징과 진동 요소 제거 유닛(115)에 의해 획득된 운전자의 얼굴 특징점의 무노이즈 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여 운전자에 의해 이루어진 특정 머리 동작을 검출하는, 머리 동작 검출 장치(1).
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 저장 유닛(17)은, 복수의 피험자 각각에 대해, 피험자에 의해 이루어진 특정 머리 동작 동안의 피험자의 얼굴 특징점의 궤적의 일련의 특징을 저장하고,
상기 머리 동작 검출 유닛(117)은, 복수의 피험자 중 하나를 인식하고, 복수의 피험자 각각에 대해, 저장 유닛(17)에 미리 저장되는 피험자에 의해 이루어진 특정 머리 동작 동안의 얼굴 특징점의 궤적의 일련의 특징과 궤적 획득 유닛(111)에 의해 획득된 피험자의 얼굴 특징점의 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여, 동일 피험자에 의해 이루어진 특정 머리 동작을 검출하는, 머리 동작 검출 장치(1).
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 특정 머리 동작은 제1 특정 머리 동작이고,
상기 저장 유닛(17)은, 피험자에 의해 이루어진 제1 특정 머리 동작 동안의 피험자의 얼굴 특징점의 제1 궤적의 일련의 특징 및 피험자에 의해 이루어진 제2 특정 머리 동작 동안의 피험자의 얼굴 특징점의 제2 궤적의 일련의 특징을 저장하고,
상기 머리 동작 검출 유닛(117)은, 저장 유닛(17)에 미리 저장되는 제1 궤적의 일련의 특징과 궤적 획득 유닛(111)에 의해 획득된 궤적의 대응하는 일련의 특징 사이의 대응의 정도, 및 저장 유닛(17)에 미리 저장되는 제2 궤적의 일련의 특징과 궤적 획득 유닛(111)에 의해 획득된 궤적의 대응하는 일련의 특징 사이의 대응의 정도에 기초하여, 운전자에 의해 제1 머리 동작, 제2 머리 동작이 이루어졌는지 또는 어떤 것도 이루어지지 않았는지의 여부를 판정하는, 머리 동작 검출 장치(1).
제9항에 있어서,
상기 제1 특정 머리 동작은 머리 끄덕임 동작이고, 제2 특정 머리 동작은 머리 흔들림 동작인, 머리 동작 검출 장치(1).
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 화상 캡처 유닛(3)에 의해 캡처된 각각의 얼굴 화상에서 피험자의 얼굴 특징점을 검출하는 특징점 검출기(9)를 더 포함하는, 머리 동작 검출 장치(1).
제1항에 있어서, 상기 얼굴 특징점의 궤적의 일련의 특징은 궤적 그 자체를 포함하는, 머리 동작 검출 장치(1).