KR102141638B1 - 운전자 시선 방향 검출 장치 - Google Patents

운전자 시선 방향 검출 장치 Download PDF

Info

Publication number
KR102141638B1
KR102141638B1 KR1020160067709A KR20160067709A KR102141638B1 KR 102141638 B1 KR102141638 B1 KR 102141638B1 KR 1020160067709 A KR1020160067709 A KR 1020160067709A KR 20160067709 A KR20160067709 A KR 20160067709A KR 102141638 B1 KR102141638 B1 KR 102141638B1
Authority
KR
South Korea
Prior art keywords
driver
gaze direction
wavelength band
unit
gaze
Prior art date
Application number
KR1020160067709A
Other languages
English (en)
Other versions
KR20170135573A (ko
Inventor
박광범
전혜영
최훈
Original Assignee
전자부품연구원
주식회사 한컴로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원, 주식회사 한컴로보틱스 filed Critical 전자부품연구원
Priority to KR1020160067709A priority Critical patent/KR102141638B1/ko
Publication of KR20170135573A publication Critical patent/KR20170135573A/ko
Application granted granted Critical
Publication of KR102141638B1 publication Critical patent/KR102141638B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 실시예에 따르면 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부; 상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부; 상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및 상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하는 운전자 시선 방향 검출 장치를 제공한다.

Description

운전자 시선 방향 검출 장치{APPARATUS FOR DETECTING OF DRIVER GAZE DIRECTION}
본 발명의 일실시예는 운전자 시선 방향 검출 장치에 관한 것으로 더욱 상세하게는 차량에 장착되는 운전자 시선 방향 검출 장치에 관한 것이다.
최근 급격한 IT 기술의 발전은 자동차 산업에도 많은 영향을 미치고 있으며, 다양한 IT 기술이 차량에 접목되고 있는 실정이다.
또한, 차량 운행에 있어서의 안전을 보장하기 위한 다양한 안전 운행 보조 기능이 차량에 탑재되고 있다.
이러한 추세에 따라 운전자가 바라보는 방향을 판단하기 위하여 카메라를 이용하여 운전자의 눈동자를 검출하고 눈동자의 방향을 파악함으로써 운전자가 바라보는 시선을 검출하는 방식이 연구 개발 되고 있다. 이와 같이 눈동자를 검출하여 운전자의 시선을 판단하는 방식은 안경, 선글라스, 마스크 등을 착용한 경우 눈동자 검출의 확률이 낮아지거나 오류가 발생할 수 있다. 또한, 운전자의 얼굴이 정면을 바라보고 있지 않은 경우에는 눈동자의 일부가 가려지게 되어 잘못된 결과를 출력한다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 운전자 안면에 착용된 물체에 상관없이 정확한 운전자의 시선 방향을 검출할 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
또한, 운전자의 얼굴 방향, 회전, 움직임에 따른 오류없이 정확한 운전자의 시선 방향을 검출할 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
또한, 운전자의 시선 방향에 따른 위험 정도를 감지하여 경고 신호를 출력하거나 차량을 자동으로 제동시킬 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
본 발명의 실시예에 따르면 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부; 상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부; 상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및 상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하는 운전자 시선 방향 검출 장치를 제공한다.
상기 제1카메라부는 상기 제1파장 대역을 통과시키는 밴드 패스 필터를 더 포함하여 구성될 수 있다.
상기 운전자의 눈동자 영역에 상기 제1파장 대역과 상이한 제2파장 대역의 빛을 조사하는 조명부를 더 포함하여 구성될 수 있다.
상기 제2카메라부는 상기 제2파장 대역을 통과시키는 밴드 패스 필터를 더 포함하여 구성될 수 있다.
상기 제1파장 대역은 적외선 영역일 수 있다.
상기 패턴 발생부는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사할 수 있다.
상기 제어부는 상기 제1영상 데이터에서 제1파장 대역의 패턴을 감지하고, 상기 패턴의 변형 정도를 분석하여 상기 운전자의 안면 방향을 검출할 수 있다.
상기 제어부는 상기 제2영상 데이터에서 동공의 위치를 분석하여 상기 운전자의 눈동자 방향을 검출할 수 있다.
상기 패턴 발생부 및 상기 제1카메라부 중 적어도 하나는 상기 운전자 안면을 트래킹 할 수 있다.
상기 조명부 및 상기 제2카메라부 중 적어도 하나는 상기 운전자 눈동자 영역을 트래킹 할 수 있다.
상기 제어부의 제어에 따라 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하여 구성될 수 있다.
상기 제어부의 제어에 따라 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하여 구성될 수 있다.
상기 제어부는 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다.
상기 제어부는 상기 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다.
본 발명인 운전자 시선 방향 검출 장치는 운전자 안면에 착용된 물체에 상관없이 정확한 운전자의 시선 방향을 검출할 수 있다.
또한, 운전자의 얼굴 방향, 회전, 움직임에 따른 오류없이 정확한 운전자의 시선 방향을 검출할 수 있다.
또한, 운전자의 시선 방향에 따른 위험 정도를 감지하여 경고 신호를 출력하거나 차량을 자동으로 제동시킬 수 있다.
도1은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 구성도이고,
도2 내지 도5는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이고,
도6내지 도7은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 구성도이고, 도2는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이다.
도1 및 도2를 참조하면, 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 패턴 발생부(10), 제1카메라부(20), 조명부(30), 제2카메라부(40), 제어부(50) 및 경고부(60)를 포함하여 구성될 수 있다. 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 차량 내부에 장착되어 차량 제어 시스템과 연동될 수 있다. 예를 들어 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 차량 제어 시스템으로부터 차량 센서 데이터, 주행 정보, 운전석 설정 정보 등을 읽어 들여 사용할 수 있으며, 차량을 제어하기 위한 명령을 출력하여 차량을 제어할 수 있다.
패턴 발생부(10)는 차량 내에 설치되어 운전자(1)의 안면에 제1파장 대역의 패턴광을 조사할 수 있다. 패턴 발생부(10)는 레이저 다이오드, LED 등이 모듈 형태의 광원으로 소형화 되어 차량 계기판 또는 센터페시아에 장착될 수 있다.
패턴 발생부(10)는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사할 수 있다. 그러나 이에 한정되지 않고, 패턴광은 실선, 점선 및 마크 중 적어도 하나를 포함하여 구성될 수 있으며, 다양한 모양의 패턴을 포함하는 개념일 수 있다. 패턴광은 2차원 패턴으로 구성될 수 있으며 사람의 얼굴 크기와 유사한 영역 내에서 패턴의 왜곡 또는 변형을 검출할 수 있는 간격으로 마크, 실선, 점선 등이 배열되어 있다.
패턴 발생부(10)는 비가시광선 파장 대역의 빛을 운전자(1)의 안면으로 조사할 수 있으며, 예를 들면 적외선 파장 대역의 광을 운전자(1)의 안면으로 조사할 수 있다. 패턴 발생부(10)는 차량 제어 시스템으로부터 수신한 운전석 설정 정보에 따라 운전석의 높이를 판단하여 운전자(1)의 안면 위치로 예측되는 방향으로 패턴광을 조사할 수 있다.
패턴 발생부(10)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 패턴 발생부(10)의 동작 여부를 결정할 수 있다. 패턴 발생부(10)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 안면을 트래킹 하며 패턴광을 조사할 수 있다.
다음으로, 제1카메라부(20)는 패턴광이 투영된 운전자(1)의 안면을 촬영하여 제1영상 데이터를 생성할 수 있다. 제1카메라부(20)는 제1파장 대역을 통과시키는 밴드 패스 필터를 포함하여 구성될 수 있다. 제1카메라부의 렌즈(21)는 패턴 발생부의 광원(11)이 지향하는 방향과 동일한 방향을 지향하면서 운전자(1)의 안면을 촬영하여 제1영상 데이터를 생성한다. 이 때 제1카메라부(20)는 제1파장 대역 이외의 빛은 차단함으로써 운전자(1) 얼굴에 투영된 패턴광에 대한 영상 데이터를 생성할 수 있다. 즉, 제1카메라부(20)가 생성하는 제1영상 데이터는 운전자의 안면에 투영된 패턴광 이미지 또는 영상을 의미할 수 있다. 패턴 발생부(10)에서 조사된 2차원 패턴광은 운전자 안면 윤곽에 따라 변형됨으로써 3차원 형상을 가지게 된다.
제1카메라부(20)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 제1카메라부(20)의 동작 여부를 결정할 수 있다. 제1카메라부(20)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자의 안면을 트래킹하며 촬영할 수 있다.
다음으로, 조명부(30)는 운전자(1)의 눈동자 영역에 제1파장 대역과 상이한 제2파장 대역의 빛을 조사할 수 있다. 조명부(30)는 차량 내에 설치되어 운전자(1)의 안면에 제2파장 대역의 빛을 조사할 수 있다. 조명부(30)는 레이저 다이오드, LED 등이 모듈 형태의 광원으로 소형화 되어 차량 계기판 또는 센터페시아에 장착될 수 있다.
제2파장 대역의 빛은 가시광선을 포함할 수 있으며, 조명부(30)는 눈의 피로를 최소화하는 파장 대역의 빛을 운전자(1)의 눈동자 영역으로 조사할 수 있다. 또한, 조명부(30)는 주변 조도에 따라 상이한 밝기의 빛을 조사할 수 있으며 자연광에 의하여 제2영상 데이터에서 눈동자 영역이 용이하게 검출 가능한 경우에는 동작하지 않을 수도 있다.
조명부(30)는 차량 제어 시스템으로부터 수신한 운전석 설정 정보에 따라 운전석의 높이를 판단하여 운전자(1)의 눈동자 영역으로 예측되는 방향으로 빛을 조사할 수 있다. 조명부(30)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 눈동자 영역을 트래킹하며 빛을 조사할 수 있다.
조명부(30)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 조명부(30)의 동작 여부를 결정할 수 있다.
다음으로, 제2카메라부(40)는 운전자(1)의 눈동자 영역을 촬영하여 제2영상 데이터를 생성할 수 있다. 제2카메라부(40)는 제2파장 대역의 빛을 통과시키는 밴드 패스 필터를 포함하여 구성될 수 있다. 제2카메라부의 렌즈(41)는 조명부의 광원(31)이 지향하는 방향과 동일한 방향을 지향하면서 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성한다. 이 때 제2카메라부(40)는 제2파장 대역 이외의 빛은 차단함으로써 패턴 발생부(10)에서 조사한 패턴광의 영향을 받지 않고 운전자(1)의 눈동자 영역을 선명하게 촬영할 수 있다.
제2카메라부(40)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 제2카메라부(40)의 동작 여부를 결정할 수 있다. 제2카메라부(40)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 눈동자 영역을 트래킹하며 촬영할 수 있다.
제어부(50)는 제1영상 데이터를 이용하여 운전자(1)의 안면 방향을 검출하고, 제2영상 데이터를 이용하여 운전자(1)의 눈동자 방향을 검출하며, 운전자(1)의 안면 방향 및 눈동자 방향을 조합하여 운전자(1)의 시선 방향을 산출할 수 있다.
도3 내지 도4는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이다.
도3을 참고하면, 제어부는 제1영상 데이터(12)에서 제1파장 대역의 패턴을 감지하고, 패턴의 변형 정도를 분석하여 운전자(1)의 안면 방향을 검출할 수 있다. 2차원 평면 형태의 격자 구조를 가지는 패턴광은 운전자(1)의 안면에 투영되면 운전자의 안면 구조, 눈, 코, 입 등에 의하여 변형 또는 왜곡된 3차원 형태를 가지게 된다. 제어부는 패턴광을 구성하는 격자선의 변형 또는 왜곡 정도를 분석함으로써 운전자의 눈, 코, 입의 위치를 파악하게 되고 이를 통하여 운전자(1)의 안면 방향을 검출하게 된다. 패턴광의 변형 또는 왜곡 정도는 운전자(1)의 안면 방향에 따라 상이하게 되므로 제어부는 제1영상 데이터(12)의 변형 또는 왜곡 정도를 분석함으로써 운전자(1)의 안면이 향하고 있는 방향을 검출할 수 있다.
도4를 참고하면, 제어부는 제2영상 데이터(22)에서 동공(3)의 위치를 분석하여 운전자(1)의 눈동자 방향을 검출할 수 있다. 제어부는 원의 기하학적 특성을 이용하여 동공(3)의 중심과 반경을 검출할 수 있으며, 예를 들면 제2영상 데이터에서 수리 형태학 연산을 통해 동공의 원형 윤곽 후보점들을 추출한 후, 원형 윤곽 상의 네 점을 이용하여 두 개의 선분을 구하고 이 두 선분의 수직이등분선들 간의 교차점을 원의 중심으로 삼음으로써 동공(3)의 중심과 반경을 검출할 수 있다. 제어부는 동공(3)의 반경과 중심을 검출함으로써 눈동자 영역의 일부가 가려져 있어도 동공(3)의 위치를 검출할 수 있다.
또는 제어부는 제2영상 데이터(22)에서 명암 대비를 통하여 동공(3)의 위치를 분석할 수 있다. 즉, 제어부는 홍채 영역과 동공 영역을 구분하여 대비 명암이 높게 나타나는 영역을 동공(3)의 위치로 분석하여 운전자의 눈동자 방향을 검출할 수 있다.
도5를 참고하면, 제어부는 안면방향과 눈동자 방향을 조합하여 운전자의 시선 방향을 산출한다. 운전자의 코를 기준으로 양분하는 기준선을 중심으로 하여 오른쪽 방향을 양의 방향으로, 왼쪽 방향을 음의 방향으로 정의했을 때 운전자의 시선 방향은 안면방향의 각도와 눈동자 방향의 각도의 합산값이 된다.
제어부는 하기 수학식 1에 따라 운전자의 시선 방향을 검출할 수 있다.
[수학식 1]
Figure 112016052623414-pat00001
즉, 운전자의 시선 방향은 운전자의 안면이 지향하고 있는 방향에서 눈동자의 움직임을 고려한 것으로 운전자가 보고 있는 방향을 정확하게 검출하기 위한 것이다. 예를 들어 운전자의 안면은 정면을 향하고 있지만 눈동자는 오른쪽을 바라보고 있거나, 운전자의 안면은 오른쪽을 향하고 눈동자는 왼쪽을 향하는 경우 등에 있어서, 운전자의 안면 방향 또는 눈동자 방향의 검출만으로는 정확한 운전자의 시선을 검출할 수 없다. 따라서, 본 발명의 실시예에서는 운전자의 안면 방향과 눈동자의 방향을 조합함으로써 정확한 운전자의 시선 방향을 검출할 수 있다.
다시 도1을 참조하면, 경고부(60)는 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력할 수 있다. 전방 주시 범위는 주행 시 전방 시야 확보가 가능한 임계 범위를 의미할 수 있으며 경고부(60)는 제어부(50)의 제어에 따라 운전자의 시선 방향이 전방 주시 범위를 벗어난 경우에는 시각적 또는 청각적 경고 신호를 외부로 출력할 수 있다.
또는 경고부(60)는 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력할 수 있다. 제어부(50)는 경고부(50)를 제어하여 운전자의 시선 방향이 전방 주시 범위를 벗어나 있는 시간이 길어지는 경우에 시각적 또는 청각적 경고 신호를 외부로 출력할 수 있다. 이 때 임계 시간은 주행 상태에 따라 달라질 수 있으며 예를 들면 주행속도에 따라 상이하게 설정될 수 있다.
또는 제어부는 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다. 차량 제동신호는 차량 제어 시스템을 통하여 차량 제동 장치를 동작시키게 된다. 이 때 제어부는 경고 신호를 출력하기 위한 임계 시간과 차량 제동신호를 출력하기 위한 임계시간을 상이하게 설정할 수 있다.
또는 제어부는 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다. 제어부는 차량 제어 시스템으로부터 물체 감지 정보를 수신할 수 있다.
도6내지 도7은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작 순서도이다.
도6을 참고하면, 제어부는 시선 방향이 전방 주시 범위 내에 있는지를 지속적으로 판단한다(S601).
제어부는 시선 방향이 전방 주시 범위를 벗어나 있는 경우 1차 경고신호를 출력한다. 1차 경고 신호는 예를 들면 청각적 신호일 수 있다(S602).
다음으로, 제어부는 시선 방향이 제1임계 시간 동안 전방 주시 범위를 벗어나 있는 경우 2차 경고신호를 출력한다. 2차 경고 신호는 1차 경고 신호보다 크기가 강한 청각적 신호 일 수 있으며, 시각적 신호가 함께 출력될 수 있다(S603~604).
다음으로, 제어부는 시선 방향이 제2임계 시간 동안 전방 주시 범위를 벗어나 있는 경우 차량 제동 신호를 출력한다. 제2임계 시간은 제1임계 시간보다 길게 설정되어 있으며, 차량 주행 정보에 따라 자동으로 변경 설정될 수 있다(S605~606).
즉, 차량 주행 중에 운전자의 시선 방향이 전방 주시 범위를 벗어난 시간대에 따라 1차 경고 신호, 2차 경고 신호를 순차적으로 출력하며 사고 위험이 있다고 판단되는 시간에 이르는 경우에는 자동으로 차량 제동 신호를 출력하여 차량을 멈추도록 할 수 있다.
도7을 참고하면, 제어부는 시선 방향이 전방 주시 범위를 벗어나 있는 경우 경고신호를 출력한다. 경고 신호는 예를 들면 청각적 신호일 수 있다(S701~702).
다음으로, 제어부는 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 상태에서, 시선 방향이 지속적으로 기 설정된 전방 주시 범위를 벗어나 있다면 차량 제동신호를 출력할 수 있다(S703~704).
즉, 차량 주행 중에 운전자의 시선 방향이 전방 주시 범위를 벗어난 경우 1차적으로 경고 신호를 출력하며, 이 상태에서 전방에 물체가 감지된 경우에는 자동으로 차량 제동 신호를 출력하여 차량을 멈추도록 할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
10: 패턴 발생부
20: 제1카메라부
30: 조명부
40: 제2카메라부
50: 제어부
60: 경고부

Claims (14)

  1. 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부;
    상기 운전자의 눈동자 영역에 상기 제1파장 대역과 상이한 제2파장 대역의 빛을 조사하는 조명부;
    상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부;
    상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및
    상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하며,
    상기 제1파장 대역은 적외선 파장 대역이고, 상기 제2파장 대역은 가시광선 파장 대역이며,
    상기 제1파장 대역과 상기 제2파장 대역은 상이한 파장 대역을 가지며,
    상기 제1카메라부는 적외선 파장 대역을 통과시키는 밴드 패스 필터를 포함하여 상기 운전자의 안면에 투영된 적외선 대역의 패턴광에 대한 이미지 또는 영상을 촬영하고,
    상기 제2카메라부는 가시광선 파장 대역을 통과시키는 밴드 패스 필터를 포함하여 상기 패턴광을 제외한 상기 운전자의 눈동자 영역의 이미지 또는 영상을 촬영하는 운전자 시선 방향 검출 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 패턴 발생부는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사하는 운전자 시선 방향 검출 장치.
  7. 제1항에 있어서,
    상기 제어부는 상기 제1영상 데이터에서 제1파장 대역의 패턴을 감지하고, 상기 패턴의 변형 정도를 분석하여 상기 운전자의 안면 방향을 검출하는 운전자 시선 방향 검출 장치.
  8. 제1항에 있어서,
    상기 제어부는 상기 제2영상 데이터에서 동공의 위치를 분석하여 상기 운전자의 눈동자 방향을 검출하는 운전자 시선 방향 검출 장치.
  9. 제1항에 있어서,
    상기 패턴 발생부 및 상기 제1카메라부 중 적어도 하나는 상기 운전자 안면을 트래킹하는 운전자 시선 방향 검출 장치.
  10. 제1항에 있어서,
    상기 조명부 및 상기 제2카메라부 중 적어도 하나는 상기 운전자 눈동자 영역을 트래킹하는 운전자 시선 방향 검출 장치.
  11. 제1항에 있어서,
    상기 제어부의 제어에 따라 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하는 운전자 시선 방향 검출 장치.
  12. 제1항에 있어서,
    상기 제어부의 제어에 따라 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하는 운전자 시선 방향 검출 장치.
  13. 제1항에 있어서,
    상기 제어부는 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력하는 운전자 시선 방향 검출 장치.
  14. 제1항에 있어서,
    상기 제어부는 상기 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력하는 운전자 시선 방향 검출 장치.
KR1020160067709A 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치 KR102141638B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067709A KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067709A KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Publications (2)

Publication Number Publication Date
KR20170135573A KR20170135573A (ko) 2017-12-08
KR102141638B1 true KR102141638B1 (ko) 2020-08-06

Family

ID=60920282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067709A KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Country Status (1)

Country Link
KR (1) KR102141638B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122916B2 (ja) * 2018-09-13 2022-08-22 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに記憶媒体
CN109969195B (zh) * 2019-03-25 2024-02-27 陕西科技大学 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
US20220292749A1 (en) * 2019-09-11 2022-09-15 3M Innovative Properties Company Scene content and attention system
KR102407081B1 (ko) * 2019-11-26 2022-06-13 한국전자통신연구원 운전자 활성도 검출 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2007072630A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2007293818A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2009266086A (ja) * 2008-04-28 2009-11-12 Omron Corp 視線検出装置および方法、並びに、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2007072630A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2007293818A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2009266086A (ja) * 2008-04-28 2009-11-12 Omron Corp 視線検出装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
KR20170135573A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
US10796171B2 (en) Object recognition apparatus, object recognition method, and object recognition program
KR102141638B1 (ko) 운전자 시선 방향 검출 장치
JP4879189B2 (ja) 安全走行支援装置
JP5592441B2 (ja) 配光制御装置
US9405982B2 (en) Driver gaze detection system
US7771049B2 (en) Method and apparatus for detecting sight line vector
CN104573623B (zh) 人脸检测装置、方法
US11810452B2 (en) Notifying device and notifying system
CN106458083B (zh) 车辆前照灯控制装置
US7370970B2 (en) Eyeglass detection method
WO2017090319A1 (ja) 視線方向検出装置、及び視線方向検出システム
US10223577B2 (en) Face image processing apparatus
US10621418B2 (en) Passenger detection device, passenger detection system, and passenger detection method
EP3633558A1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
JP6433383B2 (ja) 投光装置
JP2017187955A (ja) 視線誘導装置
KR101739519B1 (ko) Hud 정보가 최적의 위치에 표시되도록 하는 장치
JPH0796768A (ja) 前方注視度検知装置
Bergasa et al. Visual monitoring of driver inattention
US10984262B2 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
KR20160056189A (ko) 보행자 검출 경보 장치 및 방법
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム
JP2988235B2 (ja) 車両用視線方向検出装置
JP2010026657A (ja) 運転者状態検出装置
JP2005284797A (ja) 走行安全装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right