KR20170133289A - Driver eye detecting device and method thereof - Google Patents

Driver eye detecting device and method thereof Download PDF

Info

Publication number
KR20170133289A
KR20170133289A KR1020170123088A KR20170123088A KR20170133289A KR 20170133289 A KR20170133289 A KR 20170133289A KR 1020170123088 A KR1020170123088 A KR 1020170123088A KR 20170123088 A KR20170123088 A KR 20170123088A KR 20170133289 A KR20170133289 A KR 20170133289A
Authority
KR
South Korea
Prior art keywords
light
image
driver
unit
eye
Prior art date
Application number
KR1020170123088A
Other languages
Korean (ko)
Other versions
KR102038371B1 (en
Inventor
강세진
강도영
윤한로
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020170123088A priority Critical patent/KR102038371B1/en
Publication of KR20170133289A publication Critical patent/KR20170133289A/en
Application granted granted Critical
Publication of KR102038371B1 publication Critical patent/KR102038371B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G06K9/00248—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Provided are an apparatus and a method for detecting eye positions of a driver. The apparatus for detecting eye positions comprises: a light irradiation part emitting light having a predetermined wavelength to the outside; a camera part photographing an external image to generate image information; and an image analysis part generating detection result information on a face area, an eye area, and center positions of pupils in the image information. Therefore, positions of eyes and pupils of the driver can be accurately detected even when the driver wear glasses, thereby accurately determining whether the driver drives while dozing.

Description

운전자의 눈 위치 검출 장치 및 방법{Driver eye detecting device and method thereof}Field of the Invention [0001] The present invention relates to a driver's eye position detecting apparatus and method,

본 발명은 운전자의 눈 위치 검출 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for detecting an eye position of a driver.

차량의 운행에 따른 교통사고 사망자를 최대한 줄이기 위해 다양한 기술이 개발되고 있으며, 일 예로 운전자의 얼굴 영상을 촬영하여 졸음 운전 여부를 판별하고 졸음 운전으로 감지된 경우 음향을 출력하거나 진동을 발생시켜 운전자의 주의를 환기시키는 발명도 개발되고 있다.A variety of techniques have been developed to reduce the number of traffic accident deaths caused by vehicle driving. For example, the face image of the driver is photographed to determine whether or not the driver is drowsy. In the case of drowsiness driving, Inventions that attract attention are being developed.

특히, 한국공개특허 제2007-0031558호(운전자의 눈 위치 검출 방법)에 운전자의 전방에 부착된 카메라를 이용하여 운전자의 얼굴 부위를 촬영하고, 촬영된 영상에서 얼굴과 눈의 위치를 검출하고 졸음 운전 여부를 판단하는 기술적 사상이 개시되어 있다.In particular, in Korean Patent Publication No. 2007-0031558 (driver's eye position detection method), a face image of a driver is photographed using a camera attached to the front of a driver, the position of a face and eyes is detected in the photographed image, A technical idea for judging whether or not the vehicle is running is disclosed.

그러나, 이와 같은 종래기술은 운전자가 안경을 착용한 경우, 안경의 반사광이 실제 감시하고자 하는 대상의 신호와 섞이면서 눈이나 눈동자의 위치 및 상태를 감지하기 어려운 문제가 있었다. However, in such a conventional technique, when the driver wears glasses, there is a problem that the reflected light of the glasses is mixed with a signal of an object to be actually monitored, so that it is difficult to detect the position and state of eyes or eyes.

특히, 도 1의 (a)에 도시된 바와 같이, 안경 유리면에서 거울반사(specular reflection)가 일어나는 경우에는, 거울반사되어 카메라에 유입된 빛이 감지 대상에 따른 신호보다 오히려 큰 값을 가지는 문제점도 있었다. 이 경우, 안경 유리 표면에서 거울반사되는 광의 크기와 유리 내부에서 난반사되는 신호의 크기 차이에 의해 안경 내부가 보이거나(도 1의 (b) 참조), 보이지 않게 되는 미러 효과(도 1의 (c) 참조)가 발생된다. Particularly, as shown in FIG. 1 (a), when specular reflection occurs on the glass surface of a spectacle lens, there is a problem that the light reflected by the mirror reflects a larger value than a signal depending on the object to be sensed there was. In this case, a mirror effect (see (c) in FIG. 1) in which the inside of the glasses is visible (see FIG. 1 (b)) due to the difference between the size of the mirror- ) Is generated.

그러나 운전자가 착용한 안경으로 인해 운전자의 눈의 위치 및 상태가 판별되지 않는다면 졸음 상태의 운전자에게 알람을 수행할 수 없어 차량의 운행 사고를 방지할 수 없는 문제점이 있다.However, if the position and state of the driver's eyes can not be determined due to the glasses worn by the driver, the alarm can not be performed to the driver in the drowsy state, which can not prevent the driving accident of the vehicle.

한국공개특허 제2007-0031558호(운전자의 눈 위치 검출 방법)Korean Patent Publication No. 2007-0031558 (driver's eye position detection method)

본 발명은 안경 착용자인 경우에도 운전자의 눈 및 눈동자의 위치를 정확히 검출할 수 있고, 이를 통해 졸음 운전 여부를 정확히 판단할 수 있도록 하는 운전자의 눈 위치 검출 장치 및 방법을 제공하기 위한 것이다.An object of the present invention is to provide an apparatus and method for detecting an eye position of a driver which can accurately detect a position of a driver's eyes and a pupil,

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will become readily apparent from the following description.

본 발명의 일 측면에 따르면, 태양광에 의해 안경 유리 표면에서 거울반사된 영상에 따른 영향을 저감하는 눈 위치 검출 장치에 있어서, 외부로 미리 지정된 파장의 광을 조사하는 광 조사부; 외부 영상을 촬영하여 영상 정보를 생성하는 카메라부; 및 상기 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자의 중심 위치에 관한 검출 결과 정보를 생성하는 영상 해석부를 포함하되, 상기 미리 지정된 파장의 광은 910nm 내지 990nm인 파장 대역의 광을 포함하고, 상기 카메라부는 상기 조사된 광의 910nm 내지 990nm인 파장대역 중 미리 지정된 파장 대역만을 통과시키는 대역 패스 필터를 구비하여, 상기 조사된 광에 상응하는 상기 영상 정보를 생성하는 것을 특징으로 하는, 눈 위치 검출 장치가 제공된다. According to an aspect of the present invention, there is provided an eye position detecting apparatus for reducing an influence of a mirror-reflected image on a glass surface of a glass by sunlight, the apparatus comprising: a light irradiating unit for irradiating light of a predetermined wavelength to the outside; A camera unit for photographing an external image to generate image information; And an image analyzer for generating detection result information on a face region, an eye region, and a center position of the pupil in the image information, wherein the predetermined wavelength light includes light in a wavelength band of 910 nm to 990 nm, Pass filter for passing only a predetermined wavelength band of the wavelength band of 910 nm to 990 nm of the irradiated light to generate the image information corresponding to the irradiated light, do.

상기 미리 지정된 파장의 광은 피크 파장이 950nm이고, 센트로이드(centroid) 파장은 940nm인 광일 수 있다.The light of the predetermined wavelength may be a light having a peak wavelength of 950 nm and a centroid wavelength of 940 nm.

상기 카메라부는, 빛을 유입받는 렌즈; 상기 렌즈의 후단에 위치된 상기 대역 패스 필터를 통과한 빛을 수광하여 상응하는 영상 신호를 출력하는 이미지 센서; 및 상기 영상 신호에 상응하는 영상 정보를 생성하는 신호 처리부를 포함할 수 있다.The camera unit includes: a lens for receiving light; An image sensor for receiving light passing through the bandpass filter positioned at a rear end of the lens and outputting a corresponding image signal; And a signal processor for generating image information corresponding to the image signal.

상기 카메라부는 피사체에 해당되는 사용자가 착용한 안경에 의해 상기 광 조사부가 조사한 광이 거울반사되어 유입되는 위치 이외의 위치로 설치 위치가 지정될 수 있다.The camera unit can be set to a position other than the position where the light irradiated by the light irradiating unit is mirror-reflected by the user's eyeglasses worn by the user.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 안경 착용자인 경우에도 운전자의 눈 및 눈동자의 위치를 정확히 검출할 수 있고, 이를 통해 졸음 운전 여부를 정확히 판단할 수 있도록 하는 효과가 있다.According to the embodiment of the present invention, even in the case of a wearer wearing glasses, it is possible to accurately detect the positions of the eyes and eyes of the driver, and thereby, it is possible to accurately determine whether or not the driver is drowsy.

도 1은 안경에 의한 거울 반사를 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 눈 위치 검출 장치의 블록 구성도.
도 3a는 본 발명의 일 실시예에 따른 카메라부의 블록 구성도.
도 3b는 본 발명의 일 실시예에 따른 영상 해석부의 블록 구성도.
도 4a는 태양광의 스펙트럼을 나타낸 도면.
도 4b는 본 발명의 일 실시예에 따른 광 조사부의 조사광 밴드폭(bandwidth)와 대역 패스 필터의 반치폭간의 관계를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 눈 위치 검출 방법을 나타낸 순서도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a view for explaining mirror reflection by spectacles; Fig.
2 is a block diagram of an eye position detection apparatus according to an embodiment of the present invention;
FIG. 3A is a block diagram of a camera unit according to an embodiment of the present invention; FIG.
3B is a block diagram of an image analyzing unit according to an embodiment of the present invention.
4A is a view showing a spectrum of sunlight;
FIG. 4B is a diagram for explaining a relationship between an irradiated light bandwidth of a light irradiating unit and a half-width of a band pass filter according to an embodiment of the present invention; FIG.
5 is a flowchart illustrating an eye position detection method according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.It is to be understood that the components of the embodiments described with reference to the drawings are not limited to the embodiments and may be embodied in other embodiments without departing from the spirit of the invention. It is to be understood that although the description is omitted, multiple embodiments may be implemented again in one integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 2는 본 발명의 일 실시예에 따른 눈 위치 검출 장치의 블록 구성도이고, 도 3a는 본 발명의 일 실시예에 따른 카메라부의 블록 구성도이다. 도 3b는 본 발명의 일 실시예에 따른 영상 해석부의 블록 구성도이고, 도 4a는 태양광의 스펙트럼을 나타낸 도면이다.FIG. 2 is a block diagram of an eye position detecting apparatus according to an embodiment of the present invention, and FIG. 3A is a block diagram of a camera unit according to an embodiment of the present invention. FIG. 3B is a block diagram of an image analyzing unit according to an embodiment of the present invention, and FIG. 4A is a diagram showing a spectrum of sunlight.

도 2를 참조하면, 눈 위치 검출 장치(200)는 광 조사부(210), 카메라부(220), 영상 해석부(230) 및 제어부(240)를 포함할 수 있다. 눈 위치 검출 장치(200)는 운전자의 얼굴 영상을 효과적으로 확보할 수 있도록 차량 내의 적절한 위치(예를 들어 룸미러 주변 위치, 대쉬보드의 일측 등)에 장착될 수 있다.2, the eye position detection apparatus 200 may include a light irradiation unit 210, a camera unit 220, an image analysis unit 230, and a control unit 240. The eye position detecting apparatus 200 can be mounted at a proper position in the vehicle (for example, at a position near a room mirror, a side of a dashboard, or the like) so as to effectively secure a face image of a driver.

광 조사부(210)는 미리 지정된 파장 대역의 광을 외부로 조사한다. 광 조사부(210)가 조사하는 미리 지정된 파장 대역의 광은, 도 4b의 (a)에 예시된 바와 같이 파장 범위가 910nm 내지 990nm 이내인 파장 대역의 광이 포함될 수 있고, 이때 피크 파장은 950nm이며 센트로이드(centroid) 파장(즉, 그래프의 넓이를 반으로 나누는 무게중심에 해당되는 파장)은 940nm로 지정된 광일 수 있다. The light irradiation unit 210 irradiates light of a predetermined wavelength band to the outside. The light of the predetermined wavelength band irradiated by the light irradiating unit 210 may include light of a wavelength band within a wavelength range of 910 nm to 990 nm as illustrated in Fig. 4 (b), wherein the peak wavelength is 950 nm The centroid wavelength (ie, the wavelength corresponding to the center of gravity, which divides the width of the graph in half), can be a light designated at 940 nm.

다만 본 실시예에서는 편의상 광 조사부(210)에서 조사되는 광을 940nm광으로 지칭하고, 후술되는 대역 패스 필터(224, 도 3a 참조)가 선택적으로 통과시키는 특정 파장 대역을 940nm 대역으로 지칭하기로 한다. However, in the present embodiment, the light emitted from the light irradiating unit 210 is referred to as 940 nm light for convenience, and a specific wavelength band selectively passed by the band pass filter 224 (see FIG. 3A) described later is referred to as a 940 nm band .

도 4a에 도시된 바와 같이, 태양광 스펙트럼 중 940nm 대역의 광 스펙트럼은 대기의 H2O에 의해 많은 흡수가 이루어져, 태양광에 의한 940nm 대역의 광 신호의 크기가 상대적으로 적음을 알 수 있다. As shown in FIG. 4A, the optical spectrum of the 940 nm band in the solar spectrum is much absorbed by H2O in the atmosphere, and the optical signal in the 940 nm band due to sunlight is relatively small.

따라서 본 실시예에 따른 눈 위치 검출 장치(200)는 940nm광을 조사하는 광 조사부(210)를 구비함으로써, 태양광 및 태양광(주변광 등 포함)에 의해 생성된 피사체 이미지가 안경 유리 표면에서 거울반사되어 카메라부(220)로 입력되더라도 카메라부(220)에 구비된 대역 패스 필터(224)에 의해 940nm 대역의 광 이외의 광이 제거됨으로써 반사광 신호에 따른 영향이 최소화되는 특징이 있다.Therefore, the eye position detecting apparatus 200 according to the present embodiment includes the light irradiating unit 210 for irradiating light of 940 nm, so that the subject image generated by sunlight and sunlight (including ambient light, etc.) Even if the reflected light is inputted to the camera unit 220, light other than the light in the 940 nm band is removed by the bandpass filter 224 provided in the camera unit 220, thereby minimizing the influence of the reflected light signal.

카메라부(220)는 사용자의 얼굴을 포함하는 영역의 영상 정보를 생성한다. 카메라부(220)의 설치 위치는 광 조사부(210)에서 조사된 빛이 안경 등에 의해 거울 반사되는 반사각의 위치 이외의 위치로 지정될 수 있을 것이다. The camera unit 220 generates image information of an area including a user's face. The installation position of the camera unit 220 may be designated to a position other than the reflection angle position where the light irradiated from the light irradiation unit 210 is mirror-reflected by glasses or the like.

도 3a를 참조하면, 카메라부(220)는 렌즈(222), 대역 패스 필터(224), 이미지 센서(226) 및 신호 처리부(228)를 포함할 수 있다. 3A, the camera unit 220 may include a lens 222, a band pass filter 224, an image sensor 226, and a signal processing unit 228.

즉, 카메라부(220)는 렌즈(222)를 통해 유입되는 빛이 대역 패스 필터(224)를 통과된 후 이미지 센서(226)의 각 픽셀에 전하량으로 축적되며, 이미지 센서(226)에서 출력되는 영상 신호는 신호 처리부(228)에 의해 영상 정보로 처리되고, 신호 처리부(228)에 의해 처리된 영상 정보는 영상 해석부(230)로 제공된다. 신호 처리부(228)는 예를 들어 이미지 시그널 프로세서(ISP, Image signal Processor)일 수 있다. That is, the camera unit 220 accumulates charge in each pixel of the image sensor 226 after the light passing through the lens 222 passes through the band pass filter 224, and is output from the image sensor 226 The video signal is processed by the signal processor 228 as video information and the video information processed by the signal processor 228 is provided to the video analyzer 230. The signal processing unit 228 may be, for example, an image signal processor (ISP).

도 4b의 (a)에는 본 실시예에 따른 광 조사부(210)의 조사광이 파장(λ)에 따른 상대적인 빛의 세기(Iσεμ)에 관한 그래프가 도시되어 있다. 본 실시예에서 940nm광으로 지칭되는 광 조사부(210)의 조사광은 파장 범위가 910nm 내지 990nm 이내인 파장 대역의 광을 포함하고, 피크 파장은 950nm이며 센트로이드(centroid) 파장은 940nm인 광일 수 있다. 4A is a graph showing a relative intensity (I? E) of light irradiated by the light irradiating unit 210 according to the present embodiment along the wavelength ?. In this embodiment, the irradiated light of the light irradiating unit 210, which is referred to as 940 nm light, includes light having a wavelength range of 910 nm to 990 nm, the peak wavelength is 950 nm, and the centroid wavelength is 940 nm. have.

이는, 태양광에 의한 940nm 대역의 광 신호의 크기가 상대적으로 적기 때문에, 해당 대역의 광을 조사하는 광 조사부(210)를 활용함으로써 태양광에 의해 안경 유리 표면에서 거울반사된 영상에 따른 영향을 충분히 저감할 수 있기 때문이다.Since the size of the optical signal in the 940 nm band due to sunlight is relatively small, the influence of the mirror reflected image on the glass surface of the glass by the sunlight is utilized by utilizing the light irradiation unit 210 for irradiating the light of the corresponding band This can be sufficiently reduced.

이를 위해, 피크 파장인 950nm의 빛의 세기의 50%에 해당되는 밴드폭(bandwidth)를 A라고 정의하면, 도 4b의 (b)에 예시된 바와 같이 대역 패스 필터(224)의 반치폭(FWHM, Full Width Half Maximum) B는 A와 실질적으로 같은 크기를 가지도록 설정될 수 있다. For this, if the bandwidth corresponding to 50% of the intensity of the light having the peak wavelength of 950 nm is defined as A, the half width FWHM of the bandpass filter 224, as illustrated in (b) Full Width Half Maximum) B can be set to have substantially the same size as A.

만일 B가 A에 비해 지나치게 크다면, 940nm 대역 이외의 광도 이미지 센서(226)로 유입되므로 태양광량이 가장 적은 940nm 대역을 선택한 의미가 없어진다. 또한 만일 B가 A에 비해 지나치게 작다면 적절한 파장 대역의 빛이 유입될 수는 있으나, 유입되는 빛의 양이 지나치게 작아 이미지 센서(226)가 적절히 동작되지 않는다. 따라서 A와 B는 실질적으로 같은 크기, 즉 동일한 크기이거나 미리 지정된 오차범위 내의 차이를 가지는 크기로 각각 지정될 필요가 있다. If B is excessively large compared to A, the light is introduced into the luminous intensity image sensor 226 other than the 940 nm band, so that the 940 nm band having the smallest amount of solar light is not selected. Also, if B is too small compared to A, light of an appropriate wavelength band may be introduced, but the amount of light to be introduced is too small to properly operate the image sensor 226. Thus, A and B need to be assigned to sizes that are substantially the same size, that is, the same size, or a difference having a difference within a predetermined error range, respectively.

다시 도 3a를 참조하면, 카메라부(220)는 유입되는 빛을 필터링하기 위해 대역 패스 필터(224)가 구비된다는 차이점 이외에는 기존의 렌즈, 이미지 센서 및 신호 처리부를 구비하는 카메라부의 구성과 동일하므로 이에 대한 구체적인 설명은 생략한다. Referring to FIG. 3A again, the camera unit 220 has the same configuration as that of a camera unit including a conventional lens, an image sensor, and a signal processing unit, except that a bandpass filter 224 is provided to filter incoming light. A detailed description thereof will be omitted.

도 3b를 참조하면, 영상 해석부(230)는 얼굴 검출부(232), 눈 영역 검출부(234) 및 눈동자 검출부(236)를 포함할 수 있다.3B, the image analyzing unit 230 may include a face detecting unit 232, an eye region detecting unit 234, and a pupil detecting unit 236. [

얼굴 검출부(232)는 카메라부(220)로부터 입력되는 영상 정보에서 얼굴 영역을 검출한다. 얼굴 영역의 검출을 위해 예를 들어 복수의 Harr 분류기를 조합하여 사용하는 아다부스트(Adaboost) 알고리즘이 이용될 수 있다. 다른 예로서, 피부 색상으로 미리 지정된 색상 범위의 영역을 얼굴 영역으로 검출할 수도 있을 것이다. 물론 이외에도 영상 정보에서 얼굴 영역 검출을 위한 다양한 검출 기법이 더 이용될 수도 있음은 당연하다. The face detection unit 232 detects the face area from the image information input from the camera unit 220. An Adaboost algorithm can be used for detecting a face region, for example, using a plurality of Harr classifiers in combination. As another example, an area of a color range predetermined in skin color may be detected as a face area. Of course, it goes without saying that various detection techniques for detecting face regions in image information may also be used.

눈 영역 검출부(234)는 얼굴 검출부(232)에서 검출된 얼굴 영역 내에서 눈 영역을 검출한다. 얼굴 검출부(232)에 검출된 얼굴 영역에서 눈이 위치하는 눈 영역의 범위는 예를 들어 차량 내부에서 착석한 운전자의 얼굴 위치와 카메라부(220)의 설치 각도를 고려하여 예를 들어 검출된 얼굴 영역의 상부 30%영역 등으로 미리 지정될 수도 있다. 또한 눈 영역 검출부(234)는 기존의 처리시 눈동자 검출부(236)에 의해 눈동자가 존재한 영역으로 주로 인식되는 영역에 대한 학습 결과에 의해 눈 영역을 지정할 수도 있을 것이다. The eye region detecting unit 234 detects the eye region within the face region detected by the face detecting unit 232. [ The range of the eye region in which the eyes are located in the face region detected by the face detecting unit 232 may be determined by taking into consideration, for example, the face position of the driver seated in the vehicle and the installation angle of the camera unit 220, The upper 30% area of the area, or the like. In addition, the eye region detection unit 234 may designate the eye region based on the learning result of the region mainly recognized as the region in which the pupil exists by the eye pupil detection unit 236 in the conventional processing.

눈동자 검출부(236)는 검출된 눈 영역에서 눈동자의 중심을 검출한다. 눈동자의 중심은 예를 들어 동공 영역의 그레이 레벨이 주위 영역보다 낮은 특징을 이용하는 적응적 임계치 추정 방법을 이용하여 눈 영역 내에서 눈동자의 중심을 검출할 수 있다. 다른 예로서, 계층적 KLT 특징 추적 알고리즘을 이용하여 모션 벡터를 검색하고, 검색된 모션 벡터를 이용하여 눈동자의 정확한 중심 좌표를 추출하는 방법 등도 이용될 수 있다.The pupil detection section 236 detects the center of the pupil in the detected eye region. The center of the pupil can detect the center of the pupil in the eye region using, for example, an adaptive threshold estimation method using the feature that the gray level of the pupil region is lower than the surrounding region. As another example, a method of retrieving a motion vector using a hierarchical KLT feature tracking algorithm and extracting the exact center coordinates of the pupil using the retrieved motion vector can be used.

전술한 과정을 통해 카메라부(220)에 의해 촬영된 운전자의 얼굴 모습이 정면이거나, 정면이 아닌 상황에서도 얼굴 영역, 눈 영역 및 눈동자의 존재와 위치가 정확하게 검출될 수 있다.The presence and the position of the face region, the eye region, and the pupils can be accurately detected even in a situation where the face of the driver photographed by the camera unit 220 is frontal or non-frontal.

영상 해석부(230)는 얼굴 영역 정보, 눈 영역 정보, 눈동자의 중심위치 정보 중 하나 이상을 검출 결과로서 제어부(240)로 제공한다.The image analyzing unit 230 provides at least one of face region information, eye region information, and pupil center position information to the control unit 240 as a detection result.

제어부(240)는 눈동자 중심위치 정보가 미리 지정된 시간(예를 들어 0.5초) 이상 지속적으로 영상 해석부(230)로부터 입력되지 않으면(예를 들어, 눈을 감아 눈동자가 검출되지 않는 상태가 지속되면) 운전자가 졸고 있는 상태인 것으로 인식할 수 있다. 운전자가 졸고 있는 상태로 인식되면, 제어부(240)는 스피커(도시되지 않음)를 통해 음향을 출력하도록 제어하거나, 운전자가 잡고있는 핸들에 진동을 발생시키도록 제어하는 등의 방법으로 운전자의 주의를 환기시켜줄 수 있다. If the control unit 240 does not continuously input the pupil center position information from the image analyzing unit 230 for a predetermined time (for example, 0.5 second) (for example, if the eyes are closed and the pupil is not detected) ) It can be recognized that the driver is sleeping. When the driver is recognized as being in a drowsy state, the control unit 240 controls the driver to output sound through a speaker (not shown), or to control the driver to generate vibration in the handle You can ventilate.

또한 제어부(240)는 광 조사부(210), 카메라부(220) 및 영상 해석부(230)의 동작을 제어할 수 있다.The control unit 240 may control operations of the light irradiation unit 210, the camera unit 220, and the image analysis unit 230.

전술한 바와 같이, 본 실시예에 따른 눈 위치 검출 장치(200)는 난반사되는 감지대상 표면의 신호가 외부에서 입사되고 유리면에서 거울반사되는 빛의 크기보다 크게 구현할 수 있으며, 안경 등 유리매질에 의해 거울반사되어 입사되는 빛에 관계없이 감지대상의 위치 및 상태를 효과적으로 확인할 수 있도록 하는 특징이 있다. As described above, the eye position detecting apparatus 200 according to the present embodiment can implement a signal of a surface to be detected that is irregularly reflected, which is incident from the outside and is mirror-reflected from the glass surface, The position and state of the object to be sensed can be effectively confirmed regardless of the light reflected by the mirror.

도 5는 본 발명의 일 실시예에 따른 눈 위치 검출 방법을 나타낸 순서도이다.5 is a flowchart illustrating an eye position detection method according to an embodiment of the present invention.

도 5를 참조하면, 단계 510에서 광 조사부(210)는 운전자를 향해 940nm광을 조사한다. 광 조사부(210)가 미리 지정된 광 조사 주기에 따라 온/오프되도록 제어부(240)에 의해 제어될 수 있다. Referring to FIG. 5, in step 510, the light irradiating unit 210 irradiates 940 nm light toward the driver. The control unit 240 can control the light irradiation unit 210 to be turned on / off according to a predetermined irradiation period.

단계 520에서 대역 패스 필터(224)를 구비한 카메라부(220)는 렌즈(222)를 통해 유입되는 광 신호 중 대역 패스 필터(224)에 의해 필터링된 광 신호에 따른 영상 정보를 생성한다. The camera unit 220 having the band pass filter 224 generates image information according to the optical signal filtered by the band pass filter 224 among the optical signals inputted through the lens 222 in step 520.

또한 영상 해석부(230)는 카메라부(220)에 의해 생성된 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자를 검출하고, 얼굴 영역 정보, 눈 영역 정보 및 눈동자의 중심 위치 정보를 각각 생성한다. The image analyzing unit 230 detects a face region, an eye region, and a pupil from the image information generated by the camera unit 220, and generates face region information, eye region information, and pupil center position information, respectively.

단계 530에서 제어부(240)는 단계 520에서 생성된 눈동자 중심위치 정보가 예를 들어 미리 지정된 시간(예를 들어 0.5초) 이상 지속적으로 영상 해석부(230)로부터 입력되지 않는지 여부 등에 의해 운전자가 졸음 상태인지 여부를 판단한다.In step 530, the control unit 240 determines whether the pupil center position information generated in step 520 is continuously input from the image analysis unit 230 for a predetermined time (for example, 0.5 seconds) State.

만일 운전자가 졸고 있는 상태로 판단되면, 제어부(240)는 단계 540에서 운전자의 주의를 환기시키기 위해 미리 지정된 알람 처리를 수행한다. 알람 처리는 예를 들어 스피커(도시되지 않음)를 통해 음향을 출력하거나, 운전자가 잡고있는 핸들에 진동을 발생시키는 등의 처리일 수 있다.If it is determined that the driver is sleeping, the controller 240 performs a predetermined alarm process in step 540 to call the driver's attention. The alarm process may be, for example, a process of outputting sound through a speaker (not shown), or generating a vibration in a handle held by a driver.

이제까지 차량에 탑승한 운전자를 대상으로 운전자의 눈 영역 및 눈동자를 검출하여 졸음 운전 방지를 수행하는 실시예를 중심으로 설명하였으나, 본 발명에 따른 눈 위치 검출 장치 및 방법은 홍채 인식 등과 같이 눈동자의 위치를 검출할 필요가 있는 다양한 분야에 제한없이 적용될 수 있음은 당연하다.The present invention has been described with respect to an embodiment in which drowsiness driving prevention is performed by detecting a driver's eye region and pupil of a driver who has boarded a vehicle, The present invention is not limited thereto.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the present invention can be changed.

200 : 눈 위치 검출 장치 210 : 광 조사부
220 : 카메라부 222 : 렌즈
224 : 대역 패스 필터 226 : 이미지 센서
228 : 신호 처리부 230 : 영상 해석부
232 : 얼굴 검출부 234 : 눈 영역 검출부
236 : 눈동자 검출부 240 : 제어부200: eye position detecting device 210:
220: camera part 222: lens
224: Bandpass filter 226: Image sensor
228: Signal processing unit 230:
232: face detecting unit 234: eye area detecting unit
236: pupil detection unit 240:

Claims (4)

태양광에 의해 안경 유리 표면에서 거울반사된 영상에 따른 영향을 저감하는 눈 위치 검출 장치에 있어서,
외부로 미리 지정된 파장의 광을 조사하는 광 조사부;
외부 영상을 촬영하여 영상 정보를 생성하는 카메라부; 및
상기 영상 정보에서 얼굴 영역, 눈 영역 및 눈동자의 중심 위치에 관한 검출 결과 정보를 생성하는 영상 해석부를 포함하되,
상기 미리 지정된 파장의 광은 910nm 내지 990nm인 파장 대역의 광을 포함하고,
상기 카메라부는 상기 조사된 광의 910nm 내지 990nm인 파장대역 중 미리 지정된 파장 대역만을 통과시키는 대역 패스 필터를 구비하여, 상기 조사된 광에 상응하는 상기 영상 정보를 생성하는 것을 특징으로 하는, 눈 위치 검출 장치.
An eye position detecting apparatus for reducing the influence of a mirror reflected image on a spectacle glass surface by sunlight,
A light irradiation unit for irradiating light of a predetermined wavelength to the outside;
A camera unit for photographing an external image to generate image information; And
And an image analyzing unit for generating detection result information on the face region, the eye region, and the center position of the pupil in the image information,
Wherein the light of the predetermined wavelength includes light of a wavelength band of 910 nm to 990 nm,
Wherein the camera unit includes a bandpass filter for passing only a predetermined wavelength band of a wavelength band of 910 nm to 990 nm of the irradiated light to generate the image information corresponding to the irradiated light, .
제1항에 있어서,
상기 미리 지정된 파장의 광은 940nm의 센트로이드(centroid) 파장을 가지는 광인 것을 특징으로 하는, 눈 위치 검출 장치.
The method according to claim 1,
Wherein the light of the predetermined wavelength is light having a centroid wavelength of 940 nm.
제1항에 있어서,
상기 카메라부는,
빛을 유입받는 렌즈;
상기 렌즈의 후단에 위치된 상기 대역 패스 필터를 통과한 빛을 수광하여 상응하는 영상 신호를 출력하는 이미지 센서; 및
상기 영상 신호에 상응하는 영상 정보를 생성하는 신호 처리부를 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
The method according to claim 1,
The camera unit includes:
A lens for receiving light;
An image sensor for receiving light passing through the bandpass filter positioned at a rear end of the lens and outputting a corresponding image signal; And
And a signal processor for generating image information corresponding to the image signal.
제1항에 있어서,
상기 카메라부는 피사체에 해당되는 사용자가 착용한 안경에 의해 상기 광 조사부가 조사한 광이 거울반사되어 유입되는 위치 이외의 위치로 설치 위치가 지정되는 것을 특징으로 하는 눈 위치 검출 장치.The method according to claim 1,
Wherein the camera position is set to a position other than a position where the light irradiated by the light irradiating unit is mirror-reflected by the user's eyeglasses worn by the user.
KR1020170123088A 2017-09-25 2017-09-25 Driver eye detecting device and method thereof KR102038371B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170123088A KR102038371B1 (en) 2017-09-25 2017-09-25 Driver eye detecting device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170123088A KR102038371B1 (en) 2017-09-25 2017-09-25 Driver eye detecting device and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064189 Division 2016-05-25 2016-05-25

Publications (2)

Publication Number Publication Date
KR20170133289A true KR20170133289A (en) 2017-12-05
KR102038371B1 KR102038371B1 (en) 2019-11-26

Family

ID=60921104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123088A KR102038371B1 (en) 2017-09-25 2017-09-25 Driver eye detecting device and method thereof

Country Status (1)

Country Link
KR (1) KR102038371B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060124204A (en) * 2005-05-31 2006-12-05 주식회사 팬택 Portable device for tracking pupil position of user`s eye and method therefor
KR20070031558A (en) 2005-09-15 2007-03-20 현대자동차주식회사 Driver eye detecting method
KR20100030991A (en) * 2008-09-11 2010-03-19 현대자동차주식회사 A system for monitoring loose/droway driver using head moving information
KR20150141326A (en) * 2014-06-10 2015-12-18 아이리텍 잉크 Hand attached -type wearable device for iris recognition in outdoors and/or indoors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060124204A (en) * 2005-05-31 2006-12-05 주식회사 팬택 Portable device for tracking pupil position of user`s eye and method therefor
KR20070031558A (en) 2005-09-15 2007-03-20 현대자동차주식회사 Driver eye detecting method
KR20100030991A (en) * 2008-09-11 2010-03-19 현대자동차주식회사 A system for monitoring loose/droway driver using head moving information
KR20150141326A (en) * 2014-06-10 2015-12-18 아이리텍 잉크 Hand attached -type wearable device for iris recognition in outdoors and/or indoors

Also Published As

Publication number Publication date
KR102038371B1 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
JP5109922B2 (en) Driver monitoring device and program for driver monitoring device
US8102417B2 (en) Eye closure recognition system and method
JP6442942B2 (en) Driver status determination device
US20060140502A1 (en) Active visor system for eliminating glare in field-of-vision from mobile and transient light sources and reflective surfaces
JP4899059B2 (en) Sleepiness detection device
KR20180086511A (en) Portable eye tracking device
US20200169678A1 (en) Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
CN109044363A (en) Driver Fatigue Detection based on head pose and eye movement
JP2002352229A (en) Face region detector
JP2021501517A (en) Systems and methods for improving the signal-to-noise ratio in object tracking under low illumination conditions
US20180314092A1 (en) Vehicle Mounted Virtual Visor System and Method Thereof
JP2007004448A (en) Line-of-sight detecting apparatus
EP2060993B1 (en) An awareness detection system and method
KR20200092739A (en) Driver status monitor method and apparatus
Zhao et al. Robust eye detection under active infrared illumination
JP4313717B2 (en) Gaze detection device
JP6971582B2 (en) Status detector, status detection method, and program
JP6747493B2 (en) Driver status determination device
KR20150138470A (en) Display screen controlling apparatus in mobile terminal and method thereof
KR20170133289A (en) Driver eye detecting device and method thereof
KR20190044818A (en) Apparatus for monitoring driver and method thereof
JP6689470B1 (en) Information processing apparatus, program, and information processing method
US20200221000A1 (en) Camera system, vehicle and method for configuring light source of camera system
KR102072910B1 (en) A drowsiness detection method using the drowsiness detection apparatus
US11256939B2 (en) Methods, systems and computer program products for eye based spoof detection

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant