KR102038371B1 - 운전자의 눈 위치 검출 장치 및 방법 - Google Patents

운전자의 눈 위치 검출 장치 및 방법 Download PDF

Info

Publication number
KR102038371B1
KR102038371B1 KR1020170123088A KR20170123088A KR102038371B1 KR 102038371 B1 KR102038371 B1 KR 102038371B1 KR 1020170123088 A KR1020170123088 A KR 1020170123088A KR 20170123088 A KR20170123088 A KR 20170123088A KR 102038371 B1 KR102038371 B1 KR 102038371B1
Authority
KR
South Korea
Prior art keywords
light
driver
wavelength
eye
image
Prior art date
Application number
KR1020170123088A
Other languages
English (en)
Other versions
KR20170133289A (ko
Inventor
강세진
강도영
윤한로
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020170123088A priority Critical patent/KR102038371B1/ko
Publication of KR20170133289A publication Critical patent/KR20170133289A/ko
Application granted granted Critical
Publication of KR102038371B1 publication Critical patent/KR102038371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G06K9/00248—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자의 눈 위치 검출 장치 및 방법이 제공된다. 눈 위치 검출 장치는, 외부로 미리 지정된 파장의 광을 조사하는 광 조사부; 외부 영상을 촬영하여 영상 정보를 생성하는 카메라부; 및 상기 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자의 중심 위치에 관한 검출 결과 정보를 생성하는 영상 해석부를 포함한다.

Description

운전자의 눈 위치 검출 장치 및 방법{Driver eye detecting device and method thereof}
본 발명은 운전자의 눈 위치 검출 장치 및 방법에 관한 것이다.
차량의 운행에 따른 교통사고 사망자를 최대한 줄이기 위해 다양한 기술이 개발되고 있으며, 일 예로 운전자의 얼굴 영상을 촬영하여 졸음 운전 여부를 판별하고 졸음 운전으로 감지된 경우 음향을 출력하거나 진동을 발생시켜 운전자의 주의를 환기시키는 발명도 개발되고 있다.
특히, 한국공개특허 제2007-0031558호(운전자의 눈 위치 검출 방법)에 운전자의 전방에 부착된 카메라를 이용하여 운전자의 얼굴 부위를 촬영하고, 촬영된 영상에서 얼굴과 눈의 위치를 검출하고 졸음 운전 여부를 판단하는 기술적 사상이 개시되어 있다.
그러나, 이와 같은 종래기술은 운전자가 안경을 착용한 경우, 안경의 반사광이 실제 감시하고자 하는 대상의 신호와 섞이면서 눈이나 눈동자의 위치 및 상태를 감지하기 어려운 문제가 있었다.
특히, 도 1의 (a)에 도시된 바와 같이, 안경 유리면에서 거울반사(specular reflection)가 일어나는 경우에는, 거울반사되어 카메라에 유입된 빛이 감지 대상에 따른 신호보다 오히려 큰 값을 가지는 문제점도 있었다. 이 경우, 안경 유리 표면에서 거울반사되는 광의 크기와 유리 내부에서 난반사되는 신호의 크기 차이에 의해 안경 내부가 보이거나(도 1의 (b) 참조), 보이지 않게 되는 미러 효과(도 1의 (c) 참조)가 발생된다.
그러나 운전자가 착용한 안경으로 인해 운전자의 눈의 위치 및 상태가 판별되지 않는다면 졸음 상태의 운전자에게 알람을 수행할 수 없어 차량의 운행 사고를 방지할 수 없는 문제점이 있다.
한국공개특허 제2007-0031558호(운전자의 눈 위치 검출 방법)
본 발명은 안경 착용자인 경우에도 운전자의 눈 및 눈동자의 위치를 정확히 검출할 수 있고, 이를 통해 졸음 운전 여부를 정확히 판단할 수 있도록 하는 운전자의 눈 위치 검출 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 태양광에 의해 안경 유리 표면에서 거울반사된 영상에 따른 영향을 저감하는 눈 위치 검출 장치에 있어서, 외부로 미리 지정된 파장의 광을 조사하는 광 조사부; 외부 영상을 촬영하여 영상 정보를 생성하는 카메라부; 및 상기 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자의 중심 위치에 관한 검출 결과 정보를 생성하는 영상 해석부를 포함하되, 상기 미리 지정된 파장의 광은 910nm 내지 990nm인 파장 대역의 광을 포함하고, 상기 카메라부는 상기 조사된 광의 910nm 내지 990nm인 파장대역 중 미리 지정된 파장 대역만을 통과시키는 대역 패스 필터를 구비하여, 상기 조사된 광에 상응하는 상기 영상 정보를 생성하는 것을 특징으로 하는, 눈 위치 검출 장치가 제공된다.
상기 미리 지정된 파장의 광은 피크 파장이 950nm이고, 센트로이드(centroid) 파장은 940nm인 광일 수 있다.
상기 카메라부는, 빛을 유입받는 렌즈; 상기 렌즈의 후단에 위치된 상기 대역 패스 필터를 통과한 빛을 수광하여 상응하는 영상 신호를 출력하는 이미지 센서; 및 상기 영상 신호에 상응하는 영상 정보를 생성하는 신호 처리부를 포함할 수 있다.
상기 카메라부는 피사체에 해당되는 사용자가 착용한 안경에 의해 상기 광 조사부가 조사한 광이 거울반사되어 유입되는 위치 이외의 위치로 설치 위치가 지정될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 안경 착용자인 경우에도 운전자의 눈 및 눈동자의 위치를 정확히 검출할 수 있고, 이를 통해 졸음 운전 여부를 정확히 판단할 수 있도록 하는 효과가 있다.
도 1은 안경에 의한 거울 반사를 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 눈 위치 검출 장치의 블록 구성도.
도 3a는 본 발명의 일 실시예에 따른 카메라부의 블록 구성도.
도 3b는 본 발명의 일 실시예에 따른 영상 해석부의 블록 구성도.
도 4a는 태양광의 스펙트럼을 나타낸 도면.
도 4b는 본 발명의 일 실시예에 따른 광 조사부의 조사광 밴드폭(bandwidth)와 대역 패스 필터의 반치폭간의 관계를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 눈 위치 검출 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 눈 위치 검출 장치의 블록 구성도이고, 도 3a는 본 발명의 일 실시예에 따른 카메라부의 블록 구성도이다. 도 3b는 본 발명의 일 실시예에 따른 영상 해석부의 블록 구성도이고, 도 4a는 태양광의 스펙트럼을 나타낸 도면이다.
도 2를 참조하면, 눈 위치 검출 장치(200)는 광 조사부(210), 카메라부(220), 영상 해석부(230) 및 제어부(240)를 포함할 수 있다. 눈 위치 검출 장치(200)는 운전자의 얼굴 영상을 효과적으로 확보할 수 있도록 차량 내의 적절한 위치(예를 들어 룸미러 주변 위치, 대쉬보드의 일측 등)에 장착될 수 있다.
광 조사부(210)는 미리 지정된 파장 대역의 광을 외부로 조사한다. 광 조사부(210)가 조사하는 미리 지정된 파장 대역의 광은, 도 4b의 (a)에 예시된 바와 같이 파장 범위가 910nm 내지 990nm 이내인 파장 대역의 광이 포함될 수 있고, 이때 피크 파장은 950nm이며 센트로이드(centroid) 파장(즉, 그래프의 넓이를 반으로 나누는 무게중심에 해당되는 파장)은 940nm로 지정된 광일 수 있다.
다만 본 실시예에서는 편의상 광 조사부(210)에서 조사되는 광을 940nm광으로 지칭하고, 후술되는 대역 패스 필터(224, 도 3a 참조)가 선택적으로 통과시키는 특정 파장 대역을 940nm 대역으로 지칭하기로 한다.
도 4a에 도시된 바와 같이, 태양광 스펙트럼 중 940nm 대역의 광 스펙트럼은 대기의 H2O에 의해 많은 흡수가 이루어져, 태양광에 의한 940nm 대역의 광 신호의 크기가 상대적으로 적음을 알 수 있다.
따라서 본 실시예에 따른 눈 위치 검출 장치(200)는 940nm광을 조사하는 광 조사부(210)를 구비함으로써, 태양광 및 태양광(주변광 등 포함)에 의해 생성된 피사체 이미지가 안경 유리 표면에서 거울반사되어 카메라부(220)로 입력되더라도 카메라부(220)에 구비된 대역 패스 필터(224)에 의해 940nm 대역의 광 이외의 광이 제거됨으로써 반사광 신호에 따른 영향이 최소화되는 특징이 있다.
카메라부(220)는 사용자의 얼굴을 포함하는 영역의 영상 정보를 생성한다. 카메라부(220)의 설치 위치는 광 조사부(210)에서 조사된 빛이 안경 등에 의해 거울 반사되는 반사각의 위치 이외의 위치로 지정될 수 있을 것이다.
도 3a를 참조하면, 카메라부(220)는 렌즈(222), 대역 패스 필터(224), 이미지 센서(226) 및 신호 처리부(228)를 포함할 수 있다.
즉, 카메라부(220)는 렌즈(222)를 통해 유입되는 빛이 대역 패스 필터(224)를 통과된 후 이미지 센서(226)의 각 픽셀에 전하량으로 축적되며, 이미지 센서(226)에서 출력되는 영상 신호는 신호 처리부(228)에 의해 영상 정보로 처리되고, 신호 처리부(228)에 의해 처리된 영상 정보는 영상 해석부(230)로 제공된다. 신호 처리부(228)는 예를 들어 이미지 시그널 프로세서(ISP, Image signal Processor)일 수 있다.
도 4b의 (a)에는 본 실시예에 따른 광 조사부(210)의 조사광이 파장(λ)에 따른 상대적인 빛의 세기(Iσεμ)에 관한 그래프가 도시되어 있다. 본 실시예에서 940nm광으로 지칭되는 광 조사부(210)의 조사광은 파장 범위가 910nm 내지 990nm 이내인 파장 대역의 광을 포함하고, 피크 파장은 950nm이며 센트로이드(centroid) 파장은 940nm인 광일 수 있다.
이는, 태양광에 의한 940nm 대역의 광 신호의 크기가 상대적으로 적기 때문에, 해당 대역의 광을 조사하는 광 조사부(210)를 활용함으로써 태양광에 의해 안경 유리 표면에서 거울반사된 영상에 따른 영향을 충분히 저감할 수 있기 때문이다.
이를 위해, 피크 파장인 950nm의 빛의 세기의 50%에 해당되는 밴드폭(bandwidth)를 A라고 정의하면, 도 4b의 (b)에 예시된 바와 같이 대역 패스 필터(224)의 반치폭(FWHM, Full Width Half Maximum) B는 A와 실질적으로 같은 크기를 가지도록 설정될 수 있다.
만일 B가 A에 비해 지나치게 크다면, 940nm 대역 이외의 광도 이미지 센서(226)로 유입되므로 태양광량이 가장 적은 940nm 대역을 선택한 의미가 없어진다. 또한 만일 B가 A에 비해 지나치게 작다면 적절한 파장 대역의 빛이 유입될 수는 있으나, 유입되는 빛의 양이 지나치게 작아 이미지 센서(226)가 적절히 동작되지 않는다. 따라서 A와 B는 실질적으로 같은 크기, 즉 동일한 크기이거나 미리 지정된 오차범위 내의 차이를 가지는 크기로 각각 지정될 필요가 있다.
다시 도 3a를 참조하면, 카메라부(220)는 유입되는 빛을 필터링하기 위해 대역 패스 필터(224)가 구비된다는 차이점 이외에는 기존의 렌즈, 이미지 센서 및 신호 처리부를 구비하는 카메라부의 구성과 동일하므로 이에 대한 구체적인 설명은 생략한다.
도 3b를 참조하면, 영상 해석부(230)는 얼굴 검출부(232), 눈 영역 검출부(234) 및 눈동자 검출부(236)를 포함할 수 있다.
얼굴 검출부(232)는 카메라부(220)로부터 입력되는 영상 정보에서 얼굴 영역을 검출한다. 얼굴 영역의 검출을 위해 예를 들어 복수의 Harr 분류기를 조합하여 사용하는 아다부스트(Adaboost) 알고리즘이 이용될 수 있다. 다른 예로서, 피부 색상으로 미리 지정된 색상 범위의 영역을 얼굴 영역으로 검출할 수도 있을 것이다. 물론 이외에도 영상 정보에서 얼굴 영역 검출을 위한 다양한 검출 기법이 더 이용될 수도 있음은 당연하다.
눈 영역 검출부(234)는 얼굴 검출부(232)에서 검출된 얼굴 영역 내에서 눈 영역을 검출한다. 얼굴 검출부(232)에 검출된 얼굴 영역에서 눈이 위치하는 눈 영역의 범위는 예를 들어 차량 내부에서 착석한 운전자의 얼굴 위치와 카메라부(220)의 설치 각도를 고려하여 예를 들어 검출된 얼굴 영역의 상부 30%영역 등으로 미리 지정될 수도 있다. 또한 눈 영역 검출부(234)는 기존의 처리시 눈동자 검출부(236)에 의해 눈동자가 존재한 영역으로 주로 인식되는 영역에 대한 학습 결과에 의해 눈 영역을 지정할 수도 있을 것이다.
눈동자 검출부(236)는 검출된 눈 영역에서 눈동자의 중심을 검출한다. 눈동자의 중심은 예를 들어 동공 영역의 그레이 레벨이 주위 영역보다 낮은 특징을 이용하는 적응적 임계치 추정 방법을 이용하여 눈 영역 내에서 눈동자의 중심을 검출할 수 있다. 다른 예로서, 계층적 KLT 특징 추적 알고리즘을 이용하여 모션 벡터를 검색하고, 검색된 모션 벡터를 이용하여 눈동자의 정확한 중심 좌표를 추출하는 방법 등도 이용될 수 있다.
전술한 과정을 통해 카메라부(220)에 의해 촬영된 운전자의 얼굴 모습이 정면이거나, 정면이 아닌 상황에서도 얼굴 영역, 눈 영역 및 눈동자의 존재와 위치가 정확하게 검출될 수 있다.
영상 해석부(230)는 얼굴 영역 정보, 눈 영역 정보, 눈동자의 중심위치 정보 중 하나 이상을 검출 결과로서 제어부(240)로 제공한다.
제어부(240)는 눈동자 중심위치 정보가 미리 지정된 시간(예를 들어 0.5초) 이상 지속적으로 영상 해석부(230)로부터 입력되지 않으면(예를 들어, 눈을 감아 눈동자가 검출되지 않는 상태가 지속되면) 운전자가 졸고 있는 상태인 것으로 인식할 수 있다. 운전자가 졸고 있는 상태로 인식되면, 제어부(240)는 스피커(도시되지 않음)를 통해 음향을 출력하도록 제어하거나, 운전자가 잡고있는 핸들에 진동을 발생시키도록 제어하는 등의 방법으로 운전자의 주의를 환기시켜줄 수 있다.
또한 제어부(240)는 광 조사부(210), 카메라부(220) 및 영상 해석부(230)의 동작을 제어할 수 있다.
전술한 바와 같이, 본 실시예에 따른 눈 위치 검출 장치(200)는 난반사되는 감지대상 표면의 신호가 외부에서 입사되고 유리면에서 거울반사되는 빛의 크기보다 크게 구현할 수 있으며, 안경 등 유리매질에 의해 거울반사되어 입사되는 빛에 관계없이 감지대상의 위치 및 상태를 효과적으로 확인할 수 있도록 하는 특징이 있다.
도 5는 본 발명의 일 실시예에 따른 눈 위치 검출 방법을 나타낸 순서도이다.
도 5를 참조하면, 단계 510에서 광 조사부(210)는 운전자를 향해 940nm광을 조사한다. 광 조사부(210)가 미리 지정된 광 조사 주기에 따라 온/오프되도록 제어부(240)에 의해 제어될 수 있다.
단계 520에서 대역 패스 필터(224)를 구비한 카메라부(220)는 렌즈(222)를 통해 유입되는 광 신호 중 대역 패스 필터(224)에 의해 필터링된 광 신호에 따른 영상 정보를 생성한다.
또한 영상 해석부(230)는 카메라부(220)에 의해 생성된 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자를 검출하고, 얼굴 영역 정보, 눈 영역 정보 및 눈동자의 중심 위치 정보를 각각 생성한다.
단계 530에서 제어부(240)는 단계 520에서 생성된 눈동자 중심위치 정보가 예를 들어 미리 지정된 시간(예를 들어 0.5초) 이상 지속적으로 영상 해석부(230)로부터 입력되지 않는지 여부 등에 의해 운전자가 졸음 상태인지 여부를 판단한다.
만일 운전자가 졸고 있는 상태로 판단되면, 제어부(240)는 단계 540에서 운전자의 주의를 환기시키기 위해 미리 지정된 알람 처리를 수행한다. 알람 처리는 예를 들어 스피커(도시되지 않음)를 통해 음향을 출력하거나, 운전자가 잡고있는 핸들에 진동을 발생시키는 등의 처리일 수 있다.
이제까지 차량에 탑승한 운전자를 대상으로 운전자의 눈 영역 및 눈동자를 검출하여 졸음 운전 방지를 수행하는 실시예를 중심으로 설명하였으나, 본 발명에 따른 눈 위치 검출 장치 및 방법은 홍채 인식 등과 같이 눈동자의 위치를 검출할 필요가 있는 다양한 분야에 제한없이 적용될 수 있음은 당연하다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200 : 눈 위치 검출 장치 210 : 광 조사부
220 : 카메라부 222 : 렌즈
224 : 대역 패스 필터 226 : 이미지 센서
228 : 신호 처리부 230 : 영상 해석부
232 : 얼굴 검출부 234 : 눈 영역 검출부
236 : 눈동자 검출부 240 : 제어부

Claims (5)

  1. 차량에 탑승한 운전자의 안경 유리 표면에서 반사된 태양광에 따른 영향을 저감하는 눈 위치 검출 장치에 있어서,
    상기 태양광 중 대기에 흡수되어 상기 운전자의 안경 유리 표면에 도달하는 광의 크기가 적은 파장의 광을 조사하는 광 조사부;
    대역 패스 필터를 이용하여 상기 광 조사부에서 조사된 파장의 광만을 통과시켜서 영상 정보를 생성하고, 상기 광 조사부에서 조사된 파장의 광 이외의 파장의 광을 제거하여 상기 운전자의 안경 유리 표면에서 반사된 태양광의 영향을 저감하는 카메라부; 및
    상기 영상 정보를 해석하여 눈동자 위치를 검출하는 영상 해석부;를 포함하되,
    상기 카메라부는 상기 운전자의 안경 유리 표면에서 반사된 태양광의 영향을 저감하기 위하여 상기 안경 유리 표면에서 반사된 태양광의 반사각 이외의 차량 위치에 설치되는 것
    을 특징으로 하는 눈 위치 검출 장치.
  2. 제1항에 있어서,
    상기 광 조사부는 940nm의 센트로이드 파장의 광을 조사하는 것
    을 특징으로 하는 눈 위치 검출 장치.
  3. 제1항에 있어서,
    상기 눈동자 위치 정보가 미리 지정된 시간 이상 영상 해석부로 입력되지 않으면, 상기 운전자가 졸고 있는 상태로 인식하여 상기 운전자의 주위를 환기시키는 동작을 수행하도록 제어하는 제어부;를 더 포함하는 것
    을 특징으로 하는 눈 위치 검출 장치.
  4. 삭제
  5. 삭제
KR1020170123088A 2017-09-25 2017-09-25 운전자의 눈 위치 검출 장치 및 방법 KR102038371B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170123088A KR102038371B1 (ko) 2017-09-25 2017-09-25 운전자의 눈 위치 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170123088A KR102038371B1 (ko) 2017-09-25 2017-09-25 운전자의 눈 위치 검출 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064189 Division 2016-05-25 2016-05-25

Publications (2)

Publication Number Publication Date
KR20170133289A KR20170133289A (ko) 2017-12-05
KR102038371B1 true KR102038371B1 (ko) 2019-11-26

Family

ID=60921104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123088A KR102038371B1 (ko) 2017-09-25 2017-09-25 운전자의 눈 위치 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102038371B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101163772B1 (ko) * 2005-05-31 2012-07-06 주식회사 팬택 사용자의 눈동자 위치를 추적하는 휴대 단말기 및 그 방법
KR100716370B1 (ko) 2005-09-15 2007-05-11 현대자동차주식회사 운전자의 눈 위치 검출 방법
KR101360412B1 (ko) * 2008-09-11 2014-02-27 포항공과대학교 산학협력단 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
KR101645084B1 (ko) * 2014-06-10 2016-08-02 아이리텍 잉크 실외 및 실내에서 홍채인식이 가능한 손 부착형 웨어러블 장치

Also Published As

Publication number Publication date
KR20170133289A (ko) 2017-12-05

Similar Documents

Publication Publication Date Title
US8102417B2 (en) Eye closure recognition system and method
US10521683B2 (en) Glare reduction
US7370970B2 (en) Eyeglass detection method
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP4899059B2 (ja) 眠気検知装置
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JP2009136551A (ja) 車両用顔特徴量検出装置及び顔特徴量検出方法
EP2060993B1 (en) An awareness detection system and method
US20200169678A1 (en) Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
US7091867B2 (en) Wavelength selectivity enabling subject monitoring outside the subject's field of view
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
KR20140107880A (ko) 졸음 운전 방지 시스템 및 그 방법
JP4313717B2 (ja) 視線検出装置
JP2007004448A (ja) 視線検出装置
JP2006096316A (ja) 監視装置
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법
JP5206190B2 (ja) ドライバー監視装置
KR102288753B1 (ko) 운전자 모니터링 장치 및 방법
JP4973613B2 (ja) 運転者状態検出装置
JP7342746B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP7149749B2 (ja) 運転支援装置、及び運転支援方法
JP2013114290A (ja) 安全支援装置、及び、安全支援方法
US11256939B2 (en) Methods, systems and computer program products for eye based spoof detection
JP5144412B2 (ja) 車両用物体判定装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20170925

Patent event code: PA01071R01D

Filing date: 20160525

Application number text: 1020160064189

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180528

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20170925

Comment text: Divisional Application of Patent

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190528

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191023

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191024

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191024

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221020

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231010

Start annual number: 5

End annual number: 5