KR20180072519A

KR20180072519A - 각막 반사 검출을 이용한 운전자 상태 모니터링

Info

Publication number: KR20180072519A
Application number: KR1020170117744A
Authority: KR
Inventors: 나세리안 모하마드; 아디비 사산
Original assignee: 현대자동차주식회사; 기아자동차주식회사
Priority date: 2016-12-21
Filing date: 2017-09-14
Publication date: 2018-06-29
Also published as: US20180173975A1; CN108216251A; CN108216251B; DE102017211005A1; US10346697B2; KR102335325B1

Abstract

방법은, 차량에 설치된 광 센서를 이용하여 상기 차량의 운전자의 눈(eye)에서 반사되는 광 정보를 감지하는 단계; 상기 감지된 광 정보에 기반하여 복수의 눈 파라미터를, 상기 차량에 구비된 제어 유닛에 의해, 측정하는 단계; 상기 복수의 눈 파라미터에 따라, 상기 운전자의 운전 상태를 알려주는 위험 스코어(endangerment score)를 계산하는 단계; 상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를, 상기 제어 유닛에 의해, 판단하는 단계; 및 상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를, 상기 제어 유닛에 의해, 실행하는 단계를 포함한다.

Description

각막 반사 검출을 이용한 운전자 상태 모니터링{DRIVER STATE MONITORING USING CORNEAL REFLECTION DETECTION}

본 개시는 일반적으로 차량의 운전자의 상태를 모니터링하는 것에 관한 것이고, 보다 상세하게는 각막 반사 검출을 이용한 운전자 상태 모니터링에 관한 것이다.

주변의 교통 상황과 도로 전방에 집중하는 운전자의 능력에 영향을 미치는 주의 분산(distractions)에 기인하여 많은 차량 사고들이 발생된다. 예를 들어, 목적지를 찾고 있거나, 휴대폰을 보거나, 또는 승객과 이야기하고 있는 동안에 운전자의 초점이 분산될 수 있다. 더욱이, 운전자가 다른 생각에 잠겨(daydreaming) 있다면 운전자의 눈은 도로로부터 벗어날 수 있거나, 또는 운전자가 졸게 된다면 운전자의 눈은 완전히 감길 수 있다.

운전자 주의 분산을 방지하기 위한 시도로서, 일부 차량들은 운전자의 눈을 모니터링하는 장치를 채택한다. 그러나, 언제 운전자의 주의 분산의 수준이 문제가 되는지를 정확히 측정(gauge)하는 것은 어려울 수 있다. 예를 들어, 매우 밀집된 지역에서, 밤에, 고속으로, 꼬불꼬불한 도로 상에서 운전하는 등과 같은 경우에, 요구되는 집중력의 수준은 상승할 수 있다. 예를 들어, 운전자의 고유한 행동 이력을 알지 못한 상태에서, 차량 내의 운전자의 동작 분석은 더욱 복잡할 수 있다.

본 개시는 차량에 설치된 광 센서를 이용하여 운전자의 눈 동작(eye activity)을 추적하기 위한 기법들을 제공한다. 상기 추적된 눈 동작이 상기 운전자가 전방의 도로에 적절하게 집중하고 있지 않다는 것을 알려주면, 안전한 운전 습관을 만들어내도록 상기 운전자를 훈련시키고 바로잡는 시정 조치(corrective action)가 취해질 수 있다. 상기 운전자가 적정한 정도의 집중도를 나타내고 있는지 여부를 판단하기 위해 복수의 눈 파라미터들이 측정될 수 있다. 예를 들어, 운전자의 각막이 상기 전방의 도로 또는 다가오는 교통 상황의 방향과 정렬되지 않거나, (운전자가 다른 생각에 잠겨 있는 것을 알려주는) 각막이 너무 정적이거나, 또는 (상기 운전자의 주의가 분산되고 있는 것을 알려주는) 너무 급하게 움직이거나, 또는 상기 운전자의 눈꺼풀이 긴 시간 주기 동안 닫혀있기 때문에 상기 각막이 평소보다 덜 검출된다면, 적정한 운전 집중도가 결여된 것으로 판단될 수 있다. 또한, 위에서 설명된 파라미터들 또는 다른 파라미터들을 설명하는 위험 스코어(endangerment score)가 계산될 수 있고, 상기 계산된 위험 스코어는 상기 운전자의 주의 분산의 정도가 불안전한 수준에 도달하였는지 여부를 판단하기 위해 위험 임계와 비교될 수 있다.

본 개시의 실시예에 따르면, 방법은 차량에 설치된 광 센서를 이용하여 상기 차량의 운전자의 눈(eye)에서 반사되는 광 정보를 감지하는 단계; 상기 감지된 광 정보에 기반하여 복수의 눈 파라미터를 측정하는 단계; 상기 복수의 눈 파라미터에 따라, 상기 운전자의 운전 상태를 알려주는 위험 스코어(endangerment score)를 계산하는 단계; 상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하는 단계; 및 상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를 실행하는 단계를 포함한다.

상기 광 센서는 상기 차량의 후방 뷰 미러에 설치될 수 있다. 상기 광 센서에 광원이 결합될 수 있다.

상기 복수의 눈 파라미터들의 측정은, 예를 들어 상기 감지된 광 정보에 기반하여 상기 차량의 앞에 있는 도로와 상기 운전자의 시야(gaze)의 정렬을 알려주는 시야 정렬을 측정하는 단계를 포함할 수 있다. 상기 시야 정렬의 측정은, 상기 차량의 전방의 상기 도로에서 상기 운전자의 상기 시선이 미리 정의된 허용 가능한 양을 초과하여 벗어나는지 여부를 판단하는 단계를 포함할 수 있다.

상기 복수의 눈 파라미터들의 측정은, 예를 들어 상기 감지된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 각막의 정적(stillness)을 알려주는 각막 정적을, 상기 제어 유닛에 의해, 측정하는 단계를 포함할 수 있다. 상기 각막 정적의 측정은 상기 시간 주기 동안에 상기 운전자의 상기 각막의 움직임의 횟수를 판단하는 단계를 포함할 수 있다.

상기 복수의 눈 파라미터들의 측정은, 예를 들어 상기 감지된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 눈꺼풀의 닫힘양(closure amount)을 알려주는 눈꺼풀 닫힘을, 상기 제어 유닛에 의해, 측정하는 단계를 더 포함 할 수 있다. 상기 눈꺼풀 닫힘의 측정은 상기 시간 주기 동안에 상기 운전자의 상기 눈꺼풀이 닫히는 시간의 최대량을 판단하는 단계를 포함 할 수 있다.

상기 복수의 눈 파라미터들의 측정은, 예를 들어 상기 차량의 현재 속력을 판단하는 단계; 및 상기 차량의 상기 판단된 현재 속력에 더 기반하여 상기 복수의 눈 파라미터들을 측정하는 단계를 더 포함할 수 있다.

상기 위험 스코어의 계산은, 상기 감지된 광 정보에 기반하여 상기 차량의 전방의 도로와 상기 운전자의 시선의 정렬을 알려주는 시선 정렬을 측정하는 단계; 상기 감지된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 각막의 정적을 알려주는 각막 정적을 측정하는 단계; 상기 감지된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 눈꺼풀의 닫힘양을 알려주는 눈꺼풀 닫힘을 측정하는 단계; 및 상기 측정된 시선 정렬, 각막 정적, 및 눈꺼풀 닫힘을 이용하여 상기 위험 스코어를 계산하는 단계를 포함할 수 있다.

또한, 상기 방법은 원하는 감도에 따라 상기 위험 임계를 제어하는 단계를 더 포함할 수 있다. 이러한 절차에 따라, 상기 방법은 운전 방향, 운전 속력, 하루 중 시간, 운전 기간, 주행 기점, 주행 목적지, 상기 차량의 승객들의 수, 상기 차량의 노이즈 량, 및 이동 장치 사용으로 이루어진 그룹에서 선택된 하나 이상의 인자들에 따라 실시간으로 상기 위험 임계를 조정하는 단계를 더 포함할 수 있다. 상기 방법은 이전에 설정된 위험 임계를, 상기 제어 유닛에 의해, 판단하는 단계; 및 상기 이전에 설정된 위험 임계에 기반하여 상기 위험 임계를 설정하는 단계를 더 포함할 수 있다.

상기 방법은 상기 감지된 광 정보에서 노이즈를 제거하기 위하여 상기 감지된 광 정보에 필터를 적용하는 단계를 더 포함할 수 있다.

상기 시정 조치의 상기 실행은, 예를 들어 시각적, 청각적, 또는 유형적 경고 표시기를 상기 운전자에게 제공하는 단계를 포함할 수 있다.

상기 시정 조치의 실행은, 예를 들어 상기 차량의 속력을 감소시키는 단계를 더 포함할 수 있다.

상기 시정 조치의 실행은, 예를 들어 상기 차량의 상기 속력을 감소시킨 이후에 상기 계산된 위험 스코어가 상기 위험 임계를 계속하여 초과하는지 여부를 판단하는 단계; 및 상기 계산된 위험 스코어가 상기 위험 임계를 계속하여 초과하는 경우, 상기 차량의 상기 속력을 더 감소키는 단계를 더 포함할 수 있다.

또한, 본 개시의 실시예에 따르면, 시스템은 차량의 운전자의 눈(eye)에서 반사되는 광 정보를 감지하도록 구성된 상기 차량에 설치된 광 센서; 및 상기 차량에 설치되고, 상기 감지된 광 정보에 기반하여 복수의 눈 파라미터들을 측정하고; 상기 복수의 눈 파라미터들에 따라 상기 운전자의 운전 상태를 알려주는 위험 스코어(endangerment score)를 계산하고; 상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하고; 그리고 상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를 실행하도록 구성되는 제어 유닛을 포함한다.

또한, 본 개시의 실시예에 따르면, 차량에 설치된 제어 유닛에 의해 실행 가능한 프로그램 명령들을 포함하는 일시적이지 않은 컴퓨터 판독가능 매체에 있어서, 실행되는 경우에 상기 프로그램 명령들은 상기 제어 유닛으로 하여금, 상기 차량에 설치된 광 센서에 의해 감지된 상기 차량의 운전자의 눈(eye)에서 반사되는 광 정보에 기반하여 복수의 눈 파라미터들을 측정하고; 상기 복수의 눈 파라미터들에 따라 상기 운전자의 운전 상태를 알려주는 위험 스코어를 계산하고; 상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하고; 그리고 상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를 실행하도록 한다.

본 개시의 실시예들에 따르면, 도로 전방 또는 주변의 교통 상황에 대한 운전자의 집중력 결여에 기인하여 발생하는 충돌 확률을 감소시킬 수 있다.

또한, 본 개시의 실시예들에 따르면, 안전한 운전 습관들을 교정하고 훈련시킬 수 있다.

본 명세서의 실시예들은 유사한 부호들이 동일하거나 기능적으로 유사한 구성요소들을 표시하는 첨부한 도면들과 연대하여 하기 설명을 참조함으로써 더 잘 이해될 수 있을 것이다.
도 1a 및 도 1b는 눈 동작을 추적하기 위한 예시적인 광 센서 시스템을 나타낸다.
도 2는 운전자의 눈 움직임의 예시적인 도시를 나타낸다.
도 3a 및 도 3b는 각막 반사 검출을 이용하여 운전자 상태를 모니터링하기 위한 예시적인 단순화된 절차를 나타낸다.
도 4는 운전자가 불안전한 방식으로 운전하고 있다는 판단에 응답하여 시정 조치를 실행하기 위한 예시적인 단순화된 절차를 나타낸다.
위에서 참조된 도면들은 반드시 축척에 맞추어 도시된 것은 아니고, 본 개시의 기본 원리를 예시하는 다양한 선호되는 특징들의 다소 단순화된 표현을 제시하는 것으로 이해되어야 한다. 예를 들어, 특정 치수, 방향, 위치, 및 형상을 포함하는 본 개시의 특정 설계 특징들은 특정하게 의도된 애플리케이션 및 사용 환경에 의해 부분적으로 결정될 것이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예들이 상세하게 설명될 것이다. 당해 기술분야에서 통상의 지식을 가진 자가 이해하는 바와 같이, 설명된 실시예들은 본 개시의 사상 또는 범위를 벗어남이 없이, 다양한 상이한 방식으로 수정될 수 있다. 또한, 명세서 전반에 걸쳐, 유사한 도면 부호들은 유사한 구성요소들을 지칭한다.

본 명세서에서 사용된 용어는 오직 특정 실시예들을 설명하기 위한 목적뿐이고, 본 개시를 한정하는 것으로 의도되는 것은 아니다. 본 명세서에서 사용되는 바와 같이, 단수 형태는, 문맥상 명시적으로 달리 표시하지 않는 한, 복수 형태들을 또한 포함하는 것으로 의도된다. 본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"이라는 용어는 명시된 특징들, 정수들, 단계들, 작동들, 구성요소들 및/또는 컴포넌트들의 존재를 나타내지만, 하나 이상의 다른 특징들, 정수들, 단계들, 작동들, 구성요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지는 않음을 또한 이해하여야 할 것이다. 본 명세서에 사용되는 바와 같이, "및/또는" 이라는 용어는 연관되어 나열된 항목들 중 임의의 하나 또는 모든 조합들을 포함한다.

본 명세서에서 사용되는 "차량(vehicle)," "차량의(vehicular)," "자동차(car)," 또는 다른 유사한 용어는 일반적으로 스포츠 유틸리티 차량(sports utility vehilces: SUVs)을 포함하는 승용차들, 버스, 트럭, 다양한 상용 차량, 다양한 보트 및 배를 포함하는 선박, 항공기 등을 포함하고, 하이브리드 자동차, 전기 자동차, 하이브리드 전기 자동차, 수소 동력 차량 및 다른 대체 연료(예를 들어, 석유 이외의 자원들로부터 얻어지는 연료) 차량을 포함하는 것으로 이해된다. 본 명세서에서 언급되는 바와 같이, 하이브리드 자동차는 둘 이상의 동력원들, 일례로 가솔린 동력 및 전기 동력을 모두 갖는 차량이다.

또한, 아래의 방법들 또는 이들의 양상들 중 하나 이상은 적어도 하나의 제어 유닛에 의해 실행될 수 있다. "제어 유닛"이라는 용어는 메모리 및 프로세서를 포함하는 하드웨어 장치를 지칭할 수 있다. 메모리는 프로그램 명령들을 저장하도록 구성되고, 프로세서는 아래에서 더욱 자세히 설명되는 하나 이상의 프로세스들을 수행하기 위한 프로그램 명령들을 실행하도록 특별히 프로그래밍 된다. 더욱이, 아래의 방법들은 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해되는 바와 같이, 하나 이상의 다른 컴포넌트들과 함께 제어 유닛을 포함하는 장치에 의해 실행될 수 있음이 이해된다.

또한, 본 개시의 제어 유닛은 프로세서, 컨트롤러 등에 의해 실행되는 실행 가능한 프로그램 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서 구체화될 수 있다. 컴퓨터 판독가능 매체의 예들은 ROM, RAM, 컴팩트 디스크(CD) ROM들, 자기 테이프, 플로피 디스크, 플래시 드라이브, 스마트 카드, 및 광학 데이터 기억 장치를 포함하지만, 이에 한정되는 것은 아니다. 컴퓨터 판독가능 기록 매체는 컴퓨터 네트워크 전반에 걸쳐 분산되어 프로그램 명령들이 예를 들어, 텔레매틱스 서버 또는 컨트롤러 영역 네트워크(CAN)에 의하여 분산 형태로 저장되거나 또는 실행될 수 있다.

이제 본 개시의 실시예를 참조하면, 개시된 기법들은 운전자의 눈 동작(eye activity)을 추적하기 위하여 차량에 설치된 광 센서를 활용한다. 광 센서에 의해 획득된 정보를 이용하여, 운전자가 적정량의 집중도를 나타내고 있는지 여부를 판단하기 위해 복수의 눈 파라미터들이 측정된다. 측정된 눈 파라미터들은, 일례로 (한정되지 않고) 차량의 전방의 도로와 운전자의 시선의 정렬을 알려주는 시선 정렬, 시간 주기 동안에 운전자의 각막의 정적(stillness)을 알려주는 각막 정적, 시간 주기 동안에 운전자의 눈꺼풀의 닫힘량을 알려주는 눈꺼풀 닫힘 등을 포함할 수 있다. 측정된 파라미터들을 설명하는 위험 스코어가 운전자의 조심성을 동반하는 위험의 수준을 정량화하기 위해 계산될 수 있다. 계산된 위험 스코어는 운전자의 주의 분산의 수준이 불안전한 수준에 도달하였는지 여부를 판단하기 위해 위험 임계와 비교될 수 있다. 또한, 위험 스코어가 (원하는 감도에 따라 제어되는) 위험 임계를 초과하여 운전자가 전방의 도로에 적정하게 집중하고 있지 않음을 알려주면, 안전한 운행 습관을 만들어내도록 운전자를 훈련시키고 바로잡는 시정 조치(corrective action)가 취해질 수 있다.

도 1a 및 도 1b는 눈 동작을 추적하기 위한 예시적인 광 센서 시스템을 나타낸다. 도 1a에 도시된 바와 같이, 광 센서(100)가 차량에 설치될 수 있다. 광 센서(100)는 임의 적절한 방식으로 차량의 실내에 구현될 수 있다. 예를 들어, 광 센서(100)는 차량의 후방 뷰 미러(110)(예를 들어, 도 1a 참조), 윈드쉴드, 또는 계기판 위 등에 설치될 수 있다. 광 센서(100)는 후방 뷰 미러(110), 윈드쉴드, 계기판 등의 외부에 설치되거나 또는 내부에 통합될 수 있다.

광 센서(100)는 (본 명세서에서 "광 정보"로 지칭되는) 광을 획득/검출하고 광을 전자 신호들로 변환하는 데에 적합한 비디오 카메라, 적외선 카메라, 또는 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해되는 바와 같은, 다른 특수 설계된 광 센서와 같은 임의의 센서일 수 있다. 이러한 관점에서, 당해 기술분야에서 널리 알려진 각막 반사 기법들은 광 센서(100)가 설치된 차량의 운전자의 눈 동작을 검출하는데 채택될 수 있다. 특히, 광 센서(100)는 도 1b에 도시된 바와 같이, 운전자의 각막으로부터 반사되는 광(즉, "광 정보")를 검출할 수 있다. 운전자의 각막에서 반사되는 광은, 예를 들어 광 센서(100)에 결합된 광원(도시되지 않음), 차량 내부에 배치되는 광원, 차량의 외부 환경, 및 이와 유사한 것으로부터 발산(emit)될 수 있다.

위에서 설명한 바와 같이, 광 반사 기법들을 이용하여, 광 센서(100)는 운전자의 각막에서 반사되는 광을 검출하고, 처리를 위하여 제어 유닛(도시되지 않음)으로 이러한 정보를 끊임없이 전송할 수 있으므로, 각막의 위치와 운동이 실시간으로 계속적으로 추적되는 것을 가능하게 한다. 예를 들어, 도 2는 광 센서(100)에 의해 추적된 차량 전방의 도로/환경에 대한 운전자의 눈 움직임의 예시적인 도시를 나타낸다. 예를 들어, 차량과 관련된 움직임에 기인하여 과도한 노이즈가 존재하는 경우에, 당해 기술분야에서 통상의 지식의 가진 자에 의해 이해되는 바와 같이, 이러한 노이즈를 제거하기 위해 검출된 광 정보에 칼만 필터, 저대역 필터, 또는 이와 유사한 것과 같은 하나 이상의 필터, 또는 다른 신호 조정들이 적용될 수 있다.

다양한 눈 파라미터들을 측정하기 위해 광 센서(100)에 의해 검출된 광 정보가 제어 유닛에 의해 활용될 수 있다. 예를 들어, 운전자의 시선이 도로 전방 및/또는 다가오는 교통 상황(traffic)과 비정렬(misalign)되는지 여부를 검출하기 위해, 차량의 전방의 도로와 운전자의 시선의 정렬을 알려주는 시선 정렬이 측정될 수 있다. 특히, 검출된 광 정보를 이용하여 차량의 전방의 도로에서 운전자의 시선이 미리 정의된 허용 가능한 량(예를 들어, 5 내지 30도)을 넘어서 벗어나는지 여부가 판단될 수 있다. 다른 예로서, 운전자가 다른 생각에 잠겨 있는 것을 알려주는 운전자의 눈이 너무 정적인지 여부 또는 운전자가 주의 분산되었음을 알려주는 운전자의 눈이 너무 빠르게 움직이는지 여부를 검출하기 위해 미리 정의된 시간 주기 동안에 운전자의 각막의 정적을 알려주는 각막 정적이 측정될 수 있다. 이를 위해, 검출된 광 정보를 이용하여 미리 정의된 시간 주기 동안에 운전자의 각막의 움직임의 횟수가 판단될 수 있다. 또 다른 예로서, 미리 정의된 시간 주기 동안에 운전자의 눈꺼풀의 닫힘량을 알려주는 눈꺼풀 닫힘이 운전자가 졸리는지 여부를 검출하기 위해 측정될 수 있다. 이를 위해, 미리 정의된 시간 주기 동안에 운전자의 눈꺼풀이 닫힌 최대 시간은 검출된 광 정보를 이용하여 판단될 수 있다(예를 들어, 각막이 일시적으로 검출되지 않는 경우, 눈꺼풀이 일부 또는 완전히 닫혔다고 유추될 수 있다). 임의의 개수 및/또는 유형의 눈 파라미터들이 광 센서(100)에 의해 검출된 광 정보에 기반하여 측정될 수 있고, 이에 따라 위에 설명된 파라미터들은 단지 예시의 목적으로 제공된다고 이해되어야 할 것이다.

일단 운전자의 눈(들)의 동작을 알려주는 복수의 눈 파라미터들이 측정되었다면, 운전자가 주의 분산되어 도로 전방 및/또는 주변의 교통 상황에 적절한 주의를 기울이는데 실패하였는지 여부를 확인하기 위해 측정된 파라미터들이 활용될 수 있다. 이를 위해, 운전자의 운전 상태 - 즉, 주의 결여에 기인하는 운전자의 위험의 정도 - 를 정량화하는 위험 스코어가 측정된 파라미터들에 기반하여 계산될 수 있다. 일부 경우들에서, 위험 스코어의 계산은 차량의 현재 속력뿐만 아니라 측정된 눈 파라미터들에 의존할 수 있다.

위에 나열된 세 개의 눈 파라미터들이 광 센서(100)에 의해 검출된 광 정보에 따라 측정되는 예시적인 경우에, 위험 스코어(

)가 아래의 수학식 1에 따라 계산될 수 있다.

수학식 1에 표시된 바와 같이, 위험 스코어(

)의 계산은 세 개의 눈 파라미터들(또는 인덱스들), 즉 시선 정렬(

), 각막 정적(

), 및 눈꺼풀 닫힘(

)에 기초할 수 있다. 예시의 목적만을 위해 제공된 하나의 한정되지 않는 예시적인 구현에서, 각각의 인덱스는 각각의 파라미터와 연관된 위험의 수준을 반영하는 0과 3 사이의 "스코어"를 받을 수 있고, 여기서 낮은 스코어는 낮은 정도의 주의 분산과 이에 따른 위험을 알려주고, 반면에 높은 스코어는 높은 정도의 주의 분산과 이에 따른 위험을 알려준다. 아래에 제공된 예시적인 계산들을 통해 이러한 예시적인 구현이 참조될 수 있다.

위에서 주목한 바와 같이, 위험 스코어(

)의 계산은 차량의 현재 속도에 더 종속적일 수 있다. 달리 말하면, 측정된 눈 파라미터들은 차량의 속력에 대하여 해석될 수 있다. 예를 들어, 운전자의 눈이 추적되고 위험 스코어(

)가 계산되는 동안의 시간 주기(T)는 차량의 속력에 직접적으로 종속될 수 있고, 여기서, 시간 주기(T)는 (시간 당 마일(mph) 단위로) 180/속력과 같다. 즉, 매 180 / 속력 (mph) 초마다 위험 스코어(

)가 수학식 1에 따라 계산될 수 있다. 예를 들어, 30 mph로 주행하는 차량에 대해, T = 6초이다. 60 mph로 주행하는 차량에 대해, T = 3초이다. 따라서, 차량의 속력이 증가함에 따라, 눈 추적 주기(T)는 감소된다.

수학식 1을 다시 참조하면, 위험 스코어(

)의 계산에 관련된 첫 번째 인덱스는 도로 전방 또는 다가오는 교통 상황으로부터의 미리 정의된 허용 가능한 양의 편차(각도(-))로 정규화되는 운전자의 시선 각도의 변화(variations)의 합의 비율인 시선 정렬 인덱스(

)이다. 예를 들어, 미리 정의된 량의 편차는 10도일 수 있다(이러한 양은 단지 예시적이고 시스템의 원하는 감도에 따라 변할 수 있다). 따라서, 도로 전방 또는 다가오는 교통 상황에 대한 운전자의 시선 각도의 편차가 결코 10도보다 크지 않으면, 상기 인덱스는 작을 것이다(예를 들어, 1 이하). 그러나, 도로 전방으로부터의 운전자의 시선 각도의 편차가 미리 정의된 허용 가능한 양을 초과하기 시작함에 따라 시선 정렬 인덱스(

)는 증가한다(예를 들어, 2 또는 3). 예를 들어, 정렬 인덱스(

)가 아래의 수학식 2에 따라 계산될 수 있다.

=

위험 스코어(

)의 계산에 관련된 두 번째 인덱스는, 예를 들어 다른 생각에 잠겨 있는 상태를 측정하는 각막 정적 인덱스(

)이다. 각막 정적 인덱스(

)는 단위 시간 당 눈동자/각막 움직임의 횟수와 차량 속력의 함수이다. 예를 들어, 각막 안정 인덱스(

)는 아래의 수학식 3에 따라 계산될 수 있다.

=

수학식 3에 따라, 단지 1 또는 0의 각막 움직임이 주어진 시간 주기 동안 검출된 경우(예를 들어, 깊은 다른 생각에 잠겨 있는 상태)에서, 이러한 인덱스의 값은 높을 것이다(예를 들어, 3). 2 또는 3의 각막 움직임이 주어진 시간 주기 동안 검출된다면, 이러한 인덱스의 값은 감소될 것이다(예를 들어, 2). 한편, 4 이상의 각막 움직임이 주어진 시간 주기 동안 검출된다면, 이러한 인덱스의 값은 보다 더 감소한다(예를 들어, 1 이하). 특히, 주어진 시간 주기 동안 높은 횟수의 눈 움직임을 나타내는 매우 낮은 각막 정적 인덱스(

)는 운전자의 주의가 분산됨을 알려줄 수 있다. 이것은 검출된 눈 운동의 횟수가 안전하지 않은 것으로 간주되는 미리 정의된 횟수를 초과하는 경우, 예를 들어 각막 안정 인덱스(

)에 높은(즉, 양호하지 않은(poor)) 스코어를 할당함으로써 해결될 수 있다.

위험 스코어(

)의 계산에 관련된 세 번째 인덱스는 운전자의 수면/졸림을 추적하는 눈꺼풀 닫힘 인덱스(

)이고, 눈꺼풀 닫힘 인덱스(

)는 차량 속력의 함수이다. 예를 들어, 눈꺼풀 닫힘 인덱스(

)는 아래의 수학식 4에 따라서 계산될 수 있다.

=

예로서, 차량이 30 mph의 속력에서 주행하고 있는 경우에, 트래킹 주기(T)는 6초(180 / 30 mph = 6 초)이다. 수학식 4에 따라서, 운전자가 충분히 주의하고 있고, 6초 주기 동안 운전자의 눈꺼풀이 최대 0.5초(15 / 30 mph = 0.5 초) 동안 닫힌다면, 인덱스는 작을 것이다(예를 들어, 1 이하). 6초 주기 동안 운전자의 눈꺼풀이 최대 0.5 초(15 / 30 mph = 0.5 초) 내지 1 초(30 / 30 mph = 1.0 초) 동안 닫힌다면, 인덱스는 증가할 것이다 (예를 들어, 2). 6초 주기 동안 운전자의 눈꺼풀이 최대 1초(30 / 30 mph = 1.0 초) 이상 동안 닫힌다면, 인덱스는 높을 것이다(예를 들어, 3).

한편, 차량이 60 mph의 속력으로 주행하고 있다면, 트래킹 주기(T)는 3초(180 / 60 mph = 3초)로 감소된다. 따라서, 차량의 속력이 증가함에 따라 주기(T)는 감소된다. 이와 유사하게, 차량 속력이 증가함에 따라 눈꺼풀 닫힘 기준들이 변경된다. 예를 들어, 60 mph로 주행하는 차량에 대해, 3초 주기 동안에 운전자의 눈꺼풀이 최대 0.25 초(15 / 60 mph = 0.25 초)동안만 닫힌다면, 눈꺼풀 닫힘 인덱스(

)는 작을 것이다(예를 들어 1 이하).

위에 설명된 위험 스코어 계산들은 전적으로 예시의 목적으로 제공되고, 본 개시의 범위가 이에 한정되는 것이 아니라고 이해되어야 한다. 즉, 위에 설명된 위험 스코어 계산들은 단지 복수의 측정된 눈 파라미터들에 따라 운전자의 운전 상태를 알려주는 위험 스코어를 구성하기 위한 하나의 가능한 방법을 나타낸다.

일단 운전자의 운전 상태를 알려주는 위험 스코어가 계산되면, 운전자가 안전하지 않는 방식(예를 들어, 주의가 분산되거나, 졸거나, 다른 생각에 잠겨 있는 등)으로 차량을 운행하고 있는지 여부를 판단하기 위해 상기 스코어는 위험 임계와 비교될 수 있다. 보다 상세히, 계산된 위험 스코어가 위험 임계를 초과하는 경우에 운전자가 안전하지 않은 방식으로 차량을 운행하고 있다고 판단될 수 있다. 운전자가 안전하지 않는 방식으로 차량을 운행하고 있다는 판단에 응답하여, 아래에서 좀더 구체적으로 설명되는 바와 같은 시정 조치가 실행될 수 있다.

가능한 위험 스코어의 범위를 반영하여 위험 임계가 설정될 수 있다. 하나의 한정되지 않는 예시로서, 위험 임계가 0.2 * 최대 가능한 위험 스코어와 같도록 설정될 수 있다. 더욱이, 원하는 감도의 수준에 따라 위험 임계가 제어될 수 있다. 예를 들어, 위험 임계를 낮춤으로써, 운전자가 불안전하게 운전하고 있다는 것을 발견할 확률을 높여 위험 검출 감도를 증가시킨다. 반대로, 위험 임계를 높임으로써, 운전자가 불안전하게 운전하고 있다는 것을 발견할 확률을 낮춰 위험 검출 감도를 감소시킨다.

환경 또는 전후 사정 상태들에 따라 위험 임계가 실시간으로 변경될 수 있다. 예를 들어, 차량이 60 mph로 커브 도로 상에서 운행하고 있는 경우와 비교하여 차량이 20 mph로 직선으로 운행하고 있는 경우에 임계는 서로 다를 수 있다. 운전 방향, 운전 속력, 하루 중 시간, 운전 기간, 주행 기점, 주행 목적지, 차량의 승객들의 수, 차량의 노이즈 량, 및 이동 장치 사용 등과 같은 다른 요소들이 위험 임계에 영향을 미칠 수 있다. 또한, 이전에 설정된 위험 임계의 이력이 위험 임계를 설정하기 위해 호출되고 활용될 수 있다. 일 예시로서, 위험 임계는 가장 최근의 이전에 설정된 위험 임계와 같도록 초기화될 수 있다.

계산된 위험 스코어가 위험 임계를 초과하면, 시정 조치가 실행될 수 있다. 예를 들어, 경고 표시기가 사용자에게 제공될 수 있다. 경고 표시기는 하루 중 시간, 차량의 노이즈 수준에 따라 시각적 또는 청각적일 수 있다. 경고 표시기는 자극(nudge) 또는 "스틱 쉐이커(stick shaker)"와 같이, 유형적, 즉, 물리적 핑(physical ping)일 수 있다.

또한, 위험 스코어가 위험 임계를 초과한다는 판단에 응답하여 차량의 속력이 자동으로 감소될 수 있다. 일부 경우들에서, 운전자가 불안전하게 운전하고 있다는 것을 알려주는 경고 표시기를 수신하고, 계산된 위험 스코어에 따라 불안전하게 운전하는 것을 계속하여 상기 경고 표시기를 무시하는 운전자에 대해 차량 속력의 감소가 적용(predicate)될 수 있다. 더욱이, 불안전하게 운전하는 것을 계속하여 속력의 감소 및 경고 표시기에 의해 제공되는 경고들을 운전자가 계속하여 무시하면, 차량 속력은 더욱 감소될 수 있다. 달리 말하면, 차량의 속력이 최초로 감소된 이후에 계산된 위험 스코어가 위험 임계를 계속하여 초과하면, 차량의 속력은 두 번째로 감소될 수 있다. 안전한 운전 습관들을 연습하도록 운전자를 교정하고 나아가 훈련시키도록 이러한 시정 조치들이 동작할 수 있다.

도 3a 및 도 3b는 각막 반사 검출을 이용하여 운전자 상태를 모니터링하기 위한 예시적인 단순화된 절차를 나타낸다. 절차(300)는 단계(310)에서 시작하고, 단계(315)로 계속될 수 있고, 본 명세서에서 더 자세히 설명되는 바와 같이, 차량에 설치된 광 센서를 이용하여 차량의 운전자의 눈에서 반사되는 광 정보가 검출되고, 검출된 광 정보에 기반하여 복수의 눈 파라미터들이 측정되고, 측정된 파라미터들에 따라 위험 스코어가 계산되고, 그리고 계산된 위험 스코어가 위험 임계를 초과한다는 판단에 응답하여 시정 조치가 실행된다.

단계(315)에서, 시스템 초기 시에, 입력 데이터가 수집될 수 있다. 예를 들어, 도 1a 및 도 1b에 도시된 바와 같이, 운전자의 각막에서 반사되는 광이 차량에 설치된 광 센서(100)에 의해 검출될 수 있다. 검출된 광 정보는 전기 신호들로 변환되고 처리를 위해 제어 유닛으로 전송될 수 있다. 또한, 차량의 속력이 판단될 수 있고 위험 스코어의 계산을 위한 부가적인 입력으로서 이용될 수 있다.

단계(320)에서, 검출된 광 정보를 이용하여 복수의 눈 파라미터들이 측정될 수 있다. 예를 들어, 단계(325)에서 도시된 바와 같이, 운전자의 시선이 도로 전방 및/또는 다가오는 교통 상황과 각도상에서 비 정렬되는지 여부를 검출하기 위해, 차량의 전방의 도로와 운전자의 시선의 정렬을 알려주는 시선 정렬(

)이 측정될 수 있다. 특히, 검출된 광 정보를 이용하여 차량의 전방의 도로에서 운전자의 시선이 미리 정의된 허용 가능한 양(예를 들어, 5 내지 30도)을 넘어 벗어나지 여부가 판단될 수 있다. 다른 예로서, 운전자가 다른 생각에 잠겨 있는 것을 알려주는 운전자의 눈이 너무 정적인지 여부 또는 운전자가 주의 분산됨을 알려주는 운전자의 눈이 너무 빠르게 움직이는지 여부를 검출하기 위해 미리 정의된 시간 주기 동안에 운전자의 각막의 정적을 알려주는 각막 정적이 측정될 수 있다. 이를 위해, 검출된 광 정보를 이용하여 미리 정의된 시간 주기 동안에 운전자의 각막의 움직임의 횟수가 판단될 수 있다. 또 다른 예로서, 미리 정의된 시간 주기 동안에 운전자의 눈꺼풀의 닫힘양을 알려주는 눈꺼풀 닫힘(

)이 운전자가 졸리는지 여부를 검출하기 위해 측정될 수 있다. 이를 위해, 미리 정의된 시간 주기 동안에 운전자의 눈꺼풀이 닫힌 최대 시간은 검출된 광 정보를 이용하여 판단될 수 있다(예를 들어, 각막이 일시적으로 검출되지 않는 경우, 눈꺼풀이 일부 또는 완전히 닫혔다고 유추될 수 있다). 임의의 개수 및/또는 임의의 유형의 눈 파라미터들이 광 센서(100)에 의해 검출된 광 정보에 기반하여 측정될 수 있으므로, 위에 설명된 파라미터들은 단지 예시의 목적으로 제공된다고 이해되어야 한다.

단계(330)에서, 측정된 눈 파라미터들에 기반하여 위험 스코어가 계산될 수 있다. 예를 들어, 단계 335에 도시된 바와 같이, 아래의 수학식 1에 따라 위험 스코어(

)가 계산될 수 있다.

위험 스코어(

)의 계산은 단계(325)에서 측정된 세 개의 눈 파라미터들(또는 "인덱스들"), 즉 시선 정렬(

), 각막 정적(

), 및 눈꺼풀 닫힘(

)에 종속적일 수 있다. 단지 예시의 목적을 위해 제공된 하나의 한정되지 않는 예시적인 구현에서, 각각의 인덱스는 "스코어"를 받을 수 있고, 위험 스코어(

)는 각각의 스코어의 곱과 같다. 예를 들어, 낮은 스코어는 낮은 정도의 주의 분산과 이에 따른 위험을 알려줄 수 있고, 반면에 높은 스코어는 높은 정도의 주의 분산과 이에 따른 위험을 알려줄 수 있다.

단계(340)에서, 부가 입력 데이터는 위험 임계를 계산하는 목적으로 수집될 수 있다(단계 345). 위에서 설명된 바와 같이, 가능한 위험 스코어의 범위를 반영하여 위험 임계가 설정될 수 있다. 하나의 한정되지 않는 예시로서, 위험 임계가 0.2 * 최대 가능한 위험 스코어와 같도록 설정될 수 있다. 더욱이, 원하는 감도의 수준에 따라 위험 임계가 제어될 수 있다. 단계(340)에서 검출된 환경 또는 전후 사정 상태들에 따라 위험 임계가 또한 실시간으로 변경될 수 있다. 예를 들어, 운전 방향, 운전 속력, 하루 중 시간, 운전 기간, 주행 기점, 주행 목적지, 차량의 승객들의 수, 차량의 노이즈 량, 및 이동 장치 사용 등과 같은 요소들 (입력 데이터)에 따라 임계가 변경될 수 있다.

단계(350)에서, 계산된 위험 스코어(

)가 위험 임계와 비교될 수 있다. 위험 스코어(

)가 위험 임계를 초과하면, (예를 들어, 주의 결여에 기인하여) 운전자가 불안전하게 운전하고 있다고 판단될 수 있고, 안전한 운전 습관들을 채택하도록 운전자를 교정하고 나아가 훈련시키기 위해 시정 조치가 실행될 수 있다(단계355). 위험 스코어(

)가 위험 임계를 초과하지 않는다면, 절차(300)는 이전의 단계로 복귀되어 위험 스코어 및/또는 위험 임계를 재계산할 수 있다.

절차(300)는 예시적으로 단계(355)에서 종료된다. 부수적인 절차들과 파라미터들뿐만 아니라, 절차(300)의 단계들이 수행될 수 있는 기법들이 본 명세서에서 상세하게 설명된다.

도 3a 및 도 3b에서 도시된 단계들은 단지 설명을 위한 예시들이고, 특정 다른 단계들이 원하는 바대로 포함되거나 또는 배제될 수 있다. 또한, 단계들의 특정 순서가 도시되는 반면에, 이러한 순서는 단지 예시적이고, 단계들의 임의의 적절한 배치가 본 명세서의 실시예들의 범위에서 벗어나지 않는 범위 내에서 활용될 수 있다. 또한, 설명된 단계들은 본 청구항들의 범위에 따라 임의의 적절한 방식으로 수정될 수 있다.

도 4는 운전자가 불안전한 방식으로 운전하고 있다는 판단에 응답하여 시정 조치를 실행하기 위한 예시적인 단순화된 절차를 나타낸다. 절차(400)는 단계(410)에서 시작할 수 있고, 단계(415)로 계속될 수 있으며, 본 명세서에서 더 자세히 설명되는 바와 같이, 운전자로부터 얻어진 응답 및 특히 운전자가 경고 신호들에 주의를 기울이는지 여부에 종속하여 일련의 시정 조치들이 수행될 수 있다

단계(410)에서, 계산된 위험 스코어(

)가 위험 임계와 비교될 수 있다. 위험 스코어(

)가 위험 임계를 초과하면, (예를 들어, 주의 결여에 기인하여) 운전자가 불안전하게 운전하고 있다고 판단될 수 있고, 안전한 운전 습관들을 채택하도록 운전자를 교정하고 나아가 훈련시키기 위해 초기 시정 조치가 실행될 수 있다(단계415).

단계(415)에서, 계산된 위험 스코어가 위험 임계를 초과한다는 판단에 응답하여 초기 시정 조치가 실행될 수 있다. 예를 들어, 운전자에게 제공되는 초기 시정 조치는 경고 표시기를 포함할 수 있다. 경고 표시기는 하루 중 시간, 차량의 노이즈 수준 등에 따라 시각적 또는 청각적일 수 있다. 경고 표시기는 자극(nudge) 또는 "스틱 쉐이커(stick shaker)"와 같이 유형적, 즉 물리적 핑(physical ping)일 수 있다.

단계(415)에서 운전자에게 경고 표시기를 제공한 이후에, 운전자가 자신의 운전 상태를 변경하였는지 여부(예를 들어, 운전자가 주의가 덜 분산되거나, 더 주의를 기울이거나, 더 집중하고 있는 지 여부 등)를 검증하기 위해, 계산된 위험 스코어(

)가 위험 임계(단계 420)와 다시 비교될 수 있다. 계산된 위험 스코어가 더 이상 위험 임계를 초과하지 않는다면, 이는 운전자가 자신의 운전 습관을 변경하여 단계(410)에서 제공되는 경고 표시기에 적절하게 응답하였다는 것을 의미하고, 절차(400)는 단계(410)로 복귀될 수 있다. 반면에, 단계(420)에서 계산된 위험 스코어가 여전히 위험 임계를 초과하면, 이는 단계(415)에서 제공된 경고 표시기를 운전자가 무시하였음을 의미하고, 차량의 속력이 자동으로 감소될 수 있다(단계 425). 일 예로서, 차량 속력은 5%, 10% 등과 같이 제1 량만큼 감소될 수 있다. 차량 속력의 자동 감소를 통해 운전자에게 자신의 운전 습관이 불안전하다는 것을 알려주어야 한다.

단계(425)에서 제1 량만큼 차량의 속력을 감소시킨 이후에, 운전자가 자신의 운전 습관을 변경하였는지 여부(예를 들어, 운전자가 주의가 덜 분산되거나, 더 주의를 기울이거나, 더 집중하고 있는 지 여부 등)를 검증하기 위해, 계산된 위험 스코어(

)가 위험 임계와 다시 한번 비교될 수 있다(단계 430). 계산된 위험 스코어가 더 이상 위험 임계를 초과하지 않는다면, 이는 운전자가 자신의 운전 습관을 변경하여 단계(425)에서 수행되는 차량 속력의 감소에 적절하게 응답하였다는 것을 의미하고, 절차(400)는 단계(410)로 복귀될 수 있다.

반면에, 단계(430)에서 계산된 위험 스코어가 여전히 위험 임계를 초과하면, 이는 단계(425)에서 수행된 시정 조치를 운전자가 무시하였음을 의미하고, 차량의 속력이 두 번째로 자동으로 감소될 수 있다(단계 435). 일 예로서, 차량 속력은 15%, 20% 등과 같이 제2 량만큼 감소될 수 있고, 이는 단계(425)의 제1 량보다 더 크다. 후속되는 차량 속력의 자동 감소를 통해 운전자에게 자신의 습관이 불안전하다는 것을 더 알려주어야 한다. 위에서 설명된 바와 같이, 안전한 운전 습관들을 교정하고 나아가 훈련하도록 이러한 시정 조치들이 동작할 수 있다.

절차(400)는 예시적으로 단계(435)에서 종료된다. 부수적인 절차들과 파라미터들뿐만 아니라, 절차(400)의 단계들이 수행될 수 있는 기법들이 본 명세서에서 상세하게 설명된다.

도 4에서 도시된 단계들은 단지 설명을 위한 예시들이고, 특정 다른 단계들이 원하는 바대로 포함되거나 또는 배제될 수 있다. 또한, 단계들의 특정 순서가 도시되는 반면에, 이러한 순서는 단지 예시적이고, 단계들의 임의의 적절한 배치가 본 명세서의 실시예들의 범위에서 벗어남이 없이 활용될 수 있다. 또한, 설명된 단계들은 본 청구항들의 범위에 따라 임의의 적절한 방식으로 수정될 수 있다.

따라서, 운전 습관들을 다루고 도로 전방 또는 주변의 교통 상황에 대한 운전자의 집중력 결여에 기인하여 발생하는 충돌 확률을 감소시키는 기법들이 본 명세서에서 설명된다. 본 명세서에서 설명된 시스템은 주어진 운전자의 정상 운전 패턴에 시스템 그 자체를 동적으로 적응(adapt)시킨다. 위험 스코어 및/또는 위험 임계를 계산하는 경우에 문화적, 사회적, 및 지형적 종속성이 또한 효과를 발휘할 수 있다. 이러한 효과는 차량 사고의 감소와 주행 안전의 상승이다. 또한, 운전자는 그들 각각의 운전 상태들에 더 큰 주의를 기울이도록 훈련될 수 있으며, 그렇지 않으면 차량 속력의 자동 감소와 같은 시정 조치들이 실행될 것이다.

각막 반사 검출을 이용하여 운전자 상태 모니터링을 제공하는 예시적인 실시예들이 도시되고 설명되었지만, 본 개시의 실시예들의 사상과 범위 내에서 다양한 다른 적응들과 수정들이 이루어질 수 있다. 예를 들어, 각막 반사 기법들이 눈 추적의 목적으로 본 명세서에서 주로 언급되었지만, 청구된 실시예들은 또한 다른 눈 추적 기법들에 적용 가능하다. 따라서, 본 개시의 실시예들은 본 청구항들의 범위에 따라 적절한 방식으로 수정될 수 있다.

위의 설명은 본 개시의 실시예들에 초점을 맞추고 있다. 그러나, 실시예들의 이점들의 일부 또는 전부를 달성하면서, 다른 변형들과 수정들이 설명된 실시예들에 이루어질 수 있다는 것은 분명할 것이다. 따라서, 이러한 설명은 단지 예시의 목적으로 이루어진 것이고 본 개시의 실시예들의 범위를 한정하는 것은 아니다. 따라서, 본 개시의 실시예들의 진정한 사상과 범위 내에서 실현되는 것으로서 이러한 변형들과 수정들을 커버하는 것이 첨부된 청구항들의 목적이다.

Claims

방법에 있어서,
차량에 설치된 광 센서를 이용하여 상기 차량의 운전자의 눈(eye)에서 반사되는 광 정보를 검출하는 단계;
상기 검출된 광 정보에 기반하여, 상기 차량에 구비된 제어 유닛에 의해, 복수의 눈 파라미터들을 측정하는 단계;
상기 복수의 눈 파라미터들에 따라 상기 운전자의 운전 상태를 알려주는 위험 스코어(endangerment score)를 계산하는 단계;
상기 제어 유닛에 의해 상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하는 단계; 및
상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여, 상기 제어 유닛에 의해 시정 조치(corrective action)가 수행되는 단계;
를 포함하는 방법.
제1 항에 있어서,
상기 광 센서는 상기 차량의 후방 뷰 미러에 설치되는 방법.
제2 항에 있어서,
광원은 상기 광 센서에 결합되는 방법.
제1 항에 있어서,
상기 복수의 눈 파라미터들의 측정은, 상기 제어 유닛에 의해, 상기 검출된 광 정보에 기반하여 상기 차량의 앞에 있는 도로와 상기 운전자의 시야(gaze)의 정렬을 알려주는 시야 정렬을 측정하는 단계를 포함하는 방법.
제4 항에 있어서,
상기 시야 정렬의 측정은, 제어 유닛에 의하여, 상기 차량의 전방의 상기 도로로부터 상기 운전자의 상기 시선이 미리 정의된 허용 가능한 양을 초과하여 벗어나는지 여부를 판단하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 복수의 눈 파라미터들의 측정은, 상기 제어 유닛에 의해, 상기 검출된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 각막의 정적(stillness)을 알려주는 각막 정적을 측정하는 단계를 포함하는 방법.
제6 항에 있어서,
상기 각막 정적의 측정은, 상기 제어 유닛에 의해, 상기 시간 주기 동안에 상기 운전자의 상기 각막의 움직임의 횟수를 판단하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 복수의 눈 파라미터들의 측정은, 상기 제어 유닛에 의해, 상기 검출된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 눈꺼풀의 닫힘양(closure amount)을 알려주는 눈꺼풀 닫힘을 측정하는 단계를 포함하는 방법.
제8 항에 있어서,
상기 눈꺼풀 닫힘의 측정은, 상기 제어 유닛에 의해, 상기 시간 주기 동안에 상기 운전자의 상기 눈꺼풀이 닫힌 시간의 최대량을 판단하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 위험 스코어의 계산은,
상기 검출된 광 정보에 기반하여 상기 차량의 전방의 도로와 상기 운전자의 시선의 정렬을 알려주는 시선 정렬을, 상기 제어 유닛에 의해, 측정하는 단계;
상기 검출된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 각막의 정적을 알려주는 각막 정적을, 상기 제어 유닛에 의해, 측정하는 단계;
상기 검출된 광 정보에 기반하여 시간 주기 동안에 상기 운전자의 눈꺼풀의 닫힘양을 알려주는 눈꺼풀 닫힘을, 상기 제어 유닛에 의해, 측정하는 단계; 및
상기 측정된 시선 정렬, 각막 정적, 및 눈꺼풀 닫힘을 이용하여 상기 위험 스코어를, 상기 제어 유닛에 의해, 계산하는 단계;
를 포함하는 방법.
제1 항에 있어서,
원하는 감도에 따라 상기 위계 임계를, 상기 제어 유닛에 의해, 제어하는 단계를 더 포함하는 방법.
제1 항에 있어서,
운전 방향, 운전 속력, 하루 중 시간, 운전 기간, 주행 기점, 주행 목적지, 상기 차량의 승객들의 수, 상기 차량의 노이즈 량, 및 이동 장치 사용으로 이루어진 그룹에서 선택된 하나 이상의 인자들에 따라 실시간으로 상기 위험 임계를, 상기 제어 유닛에 의해, 조정하는 단계를 더 포함하는 방법.
제1 항에 있어서,
이전에 설정된 위험 임계를, 상기 제어 유닛에 의해, 판단하는 단계; 및
상기 이전에 설정된 위험 임계에 기반하여 상기 위험 임계를, 상기 제어 유닛에 의해, 설정하는 단계;
를 더 포함하는 방법.
제1 항에 있어서,
상기 검출된 광 정보에서 노이즈를 제거하기 위하여 상기 검출된 광 정보에 필터를, 상기 제어 유닛에 의해, 적용하는 단계를 더 포함하는 방법.
제1 항에 있어서,
상기 복수의 눈 파라미터들의 측정은,
상기 차량의 현재 속력을, 상기 제어 유닛에 의해, 판단하는 단계; 및
상기 판단된 차량의 현재 속력에 더 기반하여 상기 복수의 눈 파라미터들을, 상기 제어 유닛에 의해, 측정하는 단계;
를 포함하는 방법.
제1 항에 있어서,
상기 시정 조치의 실행은 시각적, 청각적, 또는 유형적 경고 표시기를 상기 운전자에게 제공하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 시정 조치의 실행은 상기 차량의 속력을, 상기 제어 유닛에 의해, 감소시키는 단계를 포함하는 방법.
제16 항에 있어서,
상기 시정 조치의 실행은,
상기 차량의 상기 속력을 감소시킨 이후에 상기 계산된 위험 스코어가 상기 위험 임계를 계속하여 초과하는지 여부를, 상기 제어 유닛에 의해, 판단하는 단계; 및
상기 계산된 위험 스코어가 상기 위험 임계를 계속하여 초과하는 경우, 상기 차량의 상기 속력을, 상기 제어 유닛에 의해, 더 감소키는 단계;
를 포함하는 방법.
시스템에 있어서,
차량의 운전자의 눈(eye)에서 반사되는 광 정보를 검출하도록 구성된 상기 차량에 설치된 광 센서; 및
상기 차량에 설치되는 제어 유닛;
을 포함하고, 상기 제어 유닛은:
상기 검출된 광 정보에 기반하여 복수의 눈 파라미터들을 측정하고;
상기 복수의 눈 파라미터들에 따라, 상기 운전자의 운전 상태를 알려주는 위험 스코어(endangerment score)를 계산하고;
상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하고; 그리고
상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를 실행하도록 구성된 시스템.
차량에 설치된 제어 유닛에 의해 실행 가능한 프로그램 명령들을 포함하는 일시적이지 않은 컴퓨터 판독가능 매체에 있어서, 실행되는 경우에 상기 프로그램 명령들은 상기 제어 유닛으로 하여금,
상기 차량에 설치된 광 센서에 의해 검출된 상기 차량의 운전자의 눈(eye)에서 반사되는 광 정보에 기반하여 복수의 눈 파라미터들을 측정하고;
상기 복수의 눈 파라미터들에 따라 상기 운전자의 운전 상태를 알려주는 위험 스코어를 계산하고;
상기 계산된 위험 스코어가 위험 임계를 초과하는지 여부를 판단하고; 그리고
상기 계산된 위험 스코어가 상기 위험 임계를 초과한다는 판단에 응답하여 시정 조치(corrective action)를 실행하도록 하는 일시적이지 않은 컴퓨터 판독가능 매체.