KR101032726B1 - 눈 상태 검출방법 - Google Patents

눈 상태 검출방법 Download PDF

Info

Publication number
KR101032726B1
KR101032726B1 KR1020090082055A KR20090082055A KR101032726B1 KR 101032726 B1 KR101032726 B1 KR 101032726B1 KR 1020090082055 A KR1020090082055 A KR 1020090082055A KR 20090082055 A KR20090082055 A KR 20090082055A KR 101032726 B1 KR101032726 B1 KR 101032726B1
Authority
KR
South Korea
Prior art keywords
eye
image
histogram
state detection
region
Prior art date
Application number
KR1020090082055A
Other languages
English (en)
Other versions
KR20110024169A (ko
Inventor
찬드라 비잘완 디팍
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020090082055A priority Critical patent/KR101032726B1/ko
Priority to PCT/KR2010/005934 priority patent/WO2011028023A2/en
Priority to US13/393,675 priority patent/US20120230553A1/en
Priority to JP2012527821A priority patent/JP2013504114A/ja
Publication of KR20110024169A publication Critical patent/KR20110024169A/ko
Application granted granted Critical
Publication of KR101032726B1 publication Critical patent/KR101032726B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 방법에 관한 것이다. 상기 눈 상태 검출방법은 (a) 상기 연속 영상으로부터 정지된 초기 영상을 입력하는 단계, (b) 상기 정지된 초기 영상으로부터 얼굴영역을 검출하는 단계, (c) 상기 얼굴영역으로부터 눈영역을 검출하는 단계, (d) 상기 눈영역으로부터 자동적인 임계치를 설정하여 이미지를 분할하고 분할된 구역의 경계점들을 획득하여 상기 경계점들에 가장 적합하게 일치시킨 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계, 및 (e) 상기 단계(d)에서 눈 닫힘으로 예비판별된 경우, 미리 설정된 회수만큼 상기 단계(a) 내지 상기 단계(d)를 반복하여 계산된 눈 닫힘 시간이 미리 설정된 임계치 시간보다 크면 눈 닫힘으로 판별하고, 크지 않으면 눈 깜박임으로 판별하는 단계를 포함한다.
연속 영상, 눈 상태, 검출, 자동적인 임계치, 경계점, 타원

Description

눈 상태 검출방법{eye state detection method}
본 발명은 눈 상태를 눈 열림, 눈 닫힘 및 눈 깜박임으로 검출하는 방법 및 그 장치에 관한 것이다.
졸음 운전을 방지하는 운전자 모니터링 시스템, 눈 운동을 이용한 컴퓨터 게임 및 사진 촬영을 위한 카메라 등 눈 상태 검출이 요구되는 분야는 다양하다. 종래 눈 상태 검출은 능동적 적외선 기반 접근법(Active infrared (IR) based approaches) 및 가시 스펙트럼/특징-기반 접근법(Visible spectrum/Feature-based approaches) 두가지 범주로 분류될 수 있었다. 가시 스펙트럼/특징-기반 접근법은 템플릿(template)기반법, 생김새(appearance)기반법 및 특징(feature)기반법으로 분류된다. 근적외선기반법들(NIR based methods)은 실용적이고 광학상 스펙트럼법들(Visual spectrum methods)을 추구하는데 중요하다.
템플릿(template)기반법은 눈 형태에 기반하여 고안되었으며, 템플릿매칭은 눈 이미지를 검출하기 위해 이용된다. 이러한 방법은 전체 얼굴을 눈 템플릿과 픽셀끼리 매칭해야만 한다. 또한, 입력 얼굴 이미지에 대한 눈의 크기를 모르기 때문 에 다른 크기의 눈 템플릿과 매칭과정을 여러번 반복해야만 한다. 따라서, 눈을 정확하게 검출할 수 있지만 시간이 많이 소요되는 단점이 있다. 생김새(appearance)기반법은 광도 상황에 기반하여 눈을 검출한다. 이러한 방법은 통상 다른 얼굴 경향 및 다른 조명 조건하에서 다른 주제들의 눈을 나타내며 대량의 조작 데이터를 수집해야 하는 번거로움이 있다. 특징(feature)기반법은 눈 주위의 몇몇 구별되는 특징들을 식별하기 위해 눈의 특징을 조사한다. 이러한 방법들은 효율적이지만 높은 대조성을 갖지 않는 이미지들에 대해 정확성이 부족한, 예를 들어 눈과 눈썹을 혼동할 수 있는 단점이 있다.
이미지기반한 눈 검출 접근법은 얼굴의 나머지로부터 생김새 및 형태에서 눈의 차이점을 개발하여 눈을 위치시킨다. 검은 눈동자, 하얀 공막, 원형 홍채, 눈 모퉁이, 눈 형태 등과 같은 눈의 특별한 특징은 인간 눈과 다른 물체를 구분하기 위해 이용된다. 이러한 방법은 효율성이나 정확성이 부족하여 실효성이 없는 단점이 있다.
본 발명은 실시간으로 높은 정확성과 효율성을 가지고 눈 상태를 판별할 수 있는 방법을 제공한다.
본 발명의 일 실시예에 따른 눈 상태 검출방법은 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 방법에 있어서, (a) 상기 연속 영상으로부터 정지된 초기 영상을 입력하는 단계, (b) 상기 정지된 초기 영상으로부터 얼굴영역을 검출하는 단계, (c) 상기 얼굴영역으로부터 눈영역을 검출하는 단계, (d) 상기 눈영역으로부터 자동적인 임계치를 설정하여 이미지를 분할하고 분할된 구역의 경계점들을 획득하여 상기 경계점들에 가장 적합하게 일치시킨 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계, 및 (e) 상기 단계(d)에서 눈 닫힘으로 예비판별된 경우, 미리 설정된 회수만큼 상기 단계(a) 내지 상기 단계(d)를 반복하여 계산된 눈 닫힘 시간이 미리 설정된 임계치 시간보다 크면 눈 닫힘으로 판별하고, 크지 않으면 눈 깜박임으로 판별하는 단계를 포함한다.
본 발명의 일 실시예에 따른 눈 상태 검출장치는 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 장치에 있어서, 상기 연속 영상을 촬영하는 카메라부, 및 상기 연속 영상으로부터 본 발명의 일 실시예에 따른 눈 상태 검출방법에 따라 눈 상태 검출을 수행하여 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 판별하는 신호처리부를 포함한다.
본 발명의 다른 실시예에 따른 눈 상태 검출방법은 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 방법에 있어서, (a) 상기 연속 영상으로부터 정지된 초기 영상을 입력하는 단계, (b) 상기 정지된 초기 영상으로부터 얼굴영역 및 눈영역을 검출하는 단계, (c) 상기 검출된 눈영역을 로그 가버(Log Gabor) 필터링하는 단계, (d) 상기 눈영역으로 자동적인 임계치 를 설정하는 단계, (e) 상기 눈영역의 이진화된 이미지를 분할하고 분할된 구역의 경계점을 획득하는 단계, (f) 상기 경계점들에 가장 적합한 타원을 일치시키는 단계, 및 (g) 상기 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계, 및 (h) 상기 단계(g)에서 눈 닫힘으로 예비판별된 경우, 미리 설정된 회수만큼 상기 단계(a) 내지 상기 단계(g)를 반복하여 계산된 눈 닫힘 시간이 미리 설정된 임계치 시간보다 크면 눈 닫힘으로 판별하고, 크지 않으면 눈 깜박임으로 판별하는 단계를 포함한다.
본 실시예에 따른 눈 상태 검출방법은 높은 정확성과 효율성을 가지고 실시간으로 눈 상태를 판별할 수 있다. 실시간 눈추적을 위한 눈 상태 검출, 운전자 모니터링 시스템, 스크린을 통해 네비게이트하고 다른 아이템을 선택하는 마우스 포인터와 같이, 눈을 포인팅 기구로 이용하는 눈 이동에 기반한 정보 디스플레이 시스템, 눈 운동을 이용한 컴퓨터 게임 및 눈 깜박임을 검출할 수 있는 사진기 등에 응용할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발 명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 다양한 눈상태를 보여주는 이미지이다. 본 실시예는 도 1에 나타난 바와 같은 다양한 눈상태를 눈 열림, 눈 닫힘 및 눈 깜박임 상태로 판별할 수 있다.
도 2는 본 실시예에 따른 눈 상태 검출방법을 나타내는 순서도이다.
연속 영상에서 정지된 초기 영상을 입력한다(S110). 이러한 정지된 초기 영상은 그레이(grey) 영상일 수 있다.
그런 다음, 정지된 초기 영상으로부터 얼굴영역을 검출한다(S120). 여기서, 얼굴영역의 검출은 얼굴 경계의 좌표를 획득함으로써 수행될 수 있다. 얼굴영역 검출은 haar기반한 얼굴 검출법(haar based face detection) 또는 템플릿 매칭법 등 다양한 방법을 이용할 수 있다. 예를 들어, 템플릿 매칭법을 이용하는 경우, 입력된 초기 영상과 다중 스케일 템플릿으로 템플릿 매칭 연산을 수행한다. 입력된 초 기 영상과 다중 스케일 템플릿으로 템플릿 매칭 연산을 수행한 후, 얼굴 이미지 위치를 출력한다. 여기서, 다중 스케일 템플릿은 10개의 동일하지 않은 크기의 평균 얼굴 템플릿이다. 얼굴 템플릿의 수는 상기 외에도 다양할 수 있다.
도 3은 본 실시예에 따라 얼굴영역을 검출한 결과를 나타내는 도면이다.
다시 도 2를 참조하면, 얼굴영역으로부터 눈영역을 검출한다(S130). 여기서, 눈영역의 검출은 눈 경계의 좌표를 획득함으로써 수행될 수 있다. 눈영역은 눈을 나타내는 정확한 영역이 아닌 눈을 중심으로 상하 좌우로 여유가 있는 영역을 말한다. 이러한 눈영역은 눈 기하학(eye geometry)을 이용하여 검출할 수 있다. 예를 들어, 통상적으로 얼굴의 가로 길이를 X, 세로 길이를 Y라고 할 때, 왼쪽 눈의 위치는 (1/4X, 1/5Y)가 되고 오른쪽 눈의 위치는 (3/16X, 1/5Y)가 된다. 이러한 위치를 중심으로 여유있게 설정된 영역으로 눈영역을 검출할 수 있다.
도 4는 본 실시예에 따라 눈영역을 검출하는 알고리즘의 일 예를 나타내는 도면이고, 도 5는 본 실시예에 따라 눈영역을 검출한 결과를 나타내는 도면이다.
그런 다음, 눈 닫힘과 눈 열림을 예비판별한다(S140). 여기서, 눈 닫힘과 눈 열림의 예비판별은 눈 닫힘과 눈 열림을 판별하여 눈 열림으로 판별되는 경우는 눈 상태를 눈 열림으로 최종판단하고, 눈 닫힘으로 판별되는 경우는 다시 눈 닫힘인지 눈 깜박임인지 판별해야 하므로 눈 닫힘으로 예비판별하고나서 다시 눈 닫힘 또는 눈 깜박임을 판별하는 단계로 넘어가는 것을 말한다. S140는 이하에서 상세히 설명하기로 한다. S140에서 눈 열림 상태로 판별될 수 있다(S190). S140에서 눈 닫힘 상태로 판별된다면, 설정된 회수만큼 S110 내지 S140를 반복한다(S150). 설정된 회 수만큼 S110 내지 S140를 반복한 후, 눈 닫힘으로 판별되는 시간이 설정된 임계치 시간(ms)보다 큰지를 판단한다(S160). 눈 닫힘으로 판별되는 시간이 설정된 임계치 시간(ms)보다 크다면, 눈 닫힘 상태로 판별한다(S170). 눈 닫힘으로 판별되는 시간이 설정된 임계치 시간(ms)보다 크지 않다면, 눈 깜박임(eye blink) 상태로 판별한다(S180).
여기서, 반복되는 단계는 본 실시예에서는 S110 내지 S140이지만, S110 에서 이하 설명되는 S141~S147 중 어느 하나의 단계까지 반복될 수도 있다. 예를 들어, S110 내지 이하 설명되는 S145까지 설정된 회수만큼 반복할 수 있다.
이하에서, 눈 닫힘과 눈 열림을 판별하는 S140를 상세히 설명한다.
도 6은 본 실시예에 따라 눈 개폐 판별단계를 나타내는 순서도이다. 먼저, S130에 따라 획득된 눈영역을 자른다(S141). ISP(Image Signal Processor)의 이미지 크롭핑 기능을 이용하여 수행할 수 있다. 도 7은 본 실시예에 따라 크롭핑된 눈영역을 보여주는 도면이다.
그런 다음, 잘라진 눈영역을 리사이즈(resize)한다(S142). 예를 들면, 눈영역을 80×60로 리사이즈한다. 도 8은 본 실시예에 따라 80×60로 리사이즈된 눈영역을 나타내는 도면이다.
다음으로, 리사이즈된 눈영역을 필터링한다(S143). 예를 들어, 콘볼루션(convolution)을 이용하여 로그 가버(Log Gabor) 필터링한다. 선형 주파수 스케일상에 로그 가버 함수는 다음 수학식 1과 같은 이동 함수이다.
Figure 112009053855931-pat00001
여기서, w0는 필터 중심 주파수이다.
일정한 형태 비 필터를 얻기 위하여, 용어 k/w0는 다양한 w0에 대해서 일정하게 유지될 수 있다. 예를 들어, 0.74의 k/w0는 대략 한 옥타브(octave)의 필터 대역폭일 것이고, 0.55의 k/w0는 대략 두 옥타브(octave)의 필터 대역폭일 것이며, 0.41의 k/w0는 대략 세 옥타브(octave)의 필터 대역폭일 것이다. 도 9는 본 실시예에 이용된 콘볼루션을 위한 로그 가버 커널을 나타내고, 도 10은 본 실시예에 따라 필터링된 눈영역을 나타내는 도면이다.
본 실시예에서 콘볼루션(convolution)을 이용한 필터링은 다음 수학식 2를 이용하여 수행할 수 있다.
Figure 112009053855931-pat00002
여기서, h는 콘볼루션 커널 매트릭스, m 및 n은 콘볼루션 커널 매트릭스 차원, I'(x,y)는 새로운 이미지 및 I(x,y)는 입력 이미지를 나타낸다.
그런 다음, 자동적인(automatic) 임계치 설정을 한다(S144).
이하에서, 자동적인(automatic) 임계치 설정단계인 S144를 상세히 설명한다. 도 11은 본 실시예에 따라 자동적인(automatic) 임계치 설정단계를 나타내는 순서도이다.
도 11을 참조하면, 눈영역의 2D 히스토그램을 계산한다(S144-1). 여기서, 히스토그램은 이미지내에서 다른 이미지 픽셀 주파수들의 통계적 표현이다. 2D 히스토그램은 다른 광원 수준을 가진 상응하는 픽셀들의 수를 나타낸다. 이미지 히스토그램은 원본 이미지에서 정확한 광원 강도를 가진 얼마나 많은 픽셀이 있는지를 나타낼 수 있다. 본 실시예에 적용되는 이미지가 크기면에서 다양할 수 있기 때문에, 히스토그램 값을 저장하기 위하여 일차원 정수 배열을 이용할 수 있다. 2D 히스토그램 계산은 이미지 픽셀내 루프 및 인덱스 256 요소 정수 배열을 이용하여 수행할 수 있다. 여기서, 배열의 수는 상기 외에도 다양할 수 있음은 당업자에게 자명할 것이다. 다음은 본 실시예에 따라 2D 히스토그램을 계산하는 일 예를 나타내는 알고리즘이다.
Figure 112009053855931-pat00003
여기서, pucGrey[usIndexX]는 2D 이미지 휘도에 대한 정보를 보유하는 바이트 배열이고, gssHistogramGray[0]는 2D 이미지 히스토그램을 보유하는 256 요소 정수 배열이다.
그런 다음, 2D 히스토그램을 정규화한다(S144-2). 즉, 히스토그램 256 요소 정수 배열내 저장된 2D 히스토그램을 정규화한다. 정규화된 히스토그램은 다른 픽셀 값들의 확률 분포를 나타낸다. 정규화과정은 각 하나의 히스토그램 256 배열 요소를 이미지내의 전체 픽셀수로 나눠서 수행될 수 있다. 다음은 본 실시예에 따라 2D 히스토그램을 정규화하는 일 예를 나타내는 알고리즘이다.
Figure 112009053855931-pat00004
그런 다음, 2D 히스토그램 엔트로피(entropy)를 계산한다(S144-3) 여기서, 엔트로피는 불확실성(uncertanity)의 평균값을 나타내는 수치이다.
도 12는 본 실시예에 따라 2D 히스토그램 엔트로피를 계산하는 알고리즘의 일 예를 나타내는 도면이다. 도 12을 참조하면, 2D 히스토그램 엔트로피 함수를 수행한 후, 이미지 엔트로피는 2D 256 요소 이중 정확성 배열 gdEntropyGrey[k]내 보유된다. 이러한 함수는 어떤 픽셀들이 이미지 내 대부분의 정보 용량을 가지고 있는지 결정하는데 이용될 수 있다.
그런 다음, 2단계(2nd stage)의 최대 엔트로피 값 인덱스를 획득한다(S144-4). 다음으로, 2단계의 최대 엔트로피 값에 기반한 자동적인 임계치를 설정한다(S144-5). 2D 히스토그램 엔트로피(entropy)값을 계산한 후, 최대값을 검출한 다 음 이를 기반한 임계값을 획득할 수 있다. 검출된 최대값을 중심으로 미리 설정된 퍼센트내로 임계값을 획득할 수 있다.
여기서, 다단계(multistage) 2D 엔트로피 함수가 이용될 수도 있다. 다단계 엔트로피 함수는 반복의 수 및 파트 A 및 B에 의한 히스토그램 분할에서 단일 단계와 다를 수 있다. 예를 들어, 4 단계 엔트로피 함수는 4 층상에 자동적으로 임계값 입력 이미지에 대한 확률을 제공할 수 있다. 히스토그램 내에 선택된 지역에 걸쳐 엔트로피 최대값 계산을 이용하여 수회 히스토그램을 분할하는 것이 요구된다. 일차 엔트로피 최대값을 계산한 후, 0과 일차 최대지점 사이의 엔트로피 최대값을 계산한 다음, 일차 최대값과 히스토그램의 255 요소 사이의 엔트로피 최대 지점을 계산할 수 있다.
또한, 임계값 이미지상에 히스토그램 균등화(equalization)를 이용할 수도 있다. '히스토그램 균등화'는 모든 작은 히스토그램 컬럼을 하나로 그룹핑하는 간단한 과정이다. 이러한 그룹핑 후, 히스토그램 변화에 관한 이미지 픽셀 치환을 수행할 수 있다. 2D 히스토그램 균등화를 위해서 히스토그램 평균값을 계산할 수 있다. 그 후, 루프를 만들고 포지션 0 부터 255까지 모든 히스토그램 컬럼을 체크하고 해당 히스토그램 컬럼이 평균값을 초과하는 글로벌 히스토그램 평균값 보다 작은지 체크한다. 그 경우라면 다음 컬럼으로 넘어가서 이 값을 ac 일차값으로 다룬다. 추가하는 모든 포지션은 그레이 수준 치환 후보로서 마킹된다. 다음 컬럼이 평균값 보다 더 큰 값을 갖는다면 그 값에 일차값을 추가하지 않고 다음 컬럼으로 넘어간다. 도 13은 본 실시예에 따라 자동적인 임계치 설정 전 및 후의 결과를 보여 주는 도면이다.
다시 도 6을 참조하면, 이진화된 이미지를 분할하고 분할된 각 구역의 경계점을 획득한다(S145). 이진화된 이미지 분할은 다음과 같이 수행될 수 있다. 먼저, 사용하지 않을 이미지의 부분을 초기화한다. 그런 다음, 4개의 연결된 성분을 이용하여 이미지를 분할한다. 분할된 것을 라벨링하고 구역 ID를 고정한다. 그런 다음, 구역 사이즈를 계산하고, 사이즈 순으로 구역들에 대해 새로운 ID들을 계산한다. 다음으로, 중심과 주변 박스들을 계산하고, 구역 에지 점들을 계산한다. 도 14는 본 실시예에 따라 이진화된 이미지 분할 및 분할된 각 구역의 경계점 획득단계를 수행한 결과를 보여주는 도면이다.
그런 다음, 각 구역의 경계점들에 타원을 일치시킨다(S146) 즉, 경계점들의 세트에 가장 잘 일치되는 타원을 계산한다. 예를 들어, 6개 경계점들을 이용하여 가장 잘 일치되는 타원을 계산할 수 있다. 도 15는 본 실시예에 따라 각 구역의 경계점들에 타원을 일치시킨 단계를 수행한 결과를 보여주는 도면이다.
그런 다음, 획득된 타원으로 눈의 계폐상태를 판별한다(S147). 예컨대, 타원의 원형도 또는 면적을 계산하여 눈의 계폐상태를 판별할 수 있다. 타원의 면적으로 눈의 계폐상태를 판별하는 경우, 눈 닫힘으로 판별하는 타원의 면적의 범위를 설정할 수 있다. 예를 들어, 타원의 면적이 5㎟ 에서 30㎟ 내인 경우 눈 닫힘으로 판별할 수 있다. 또한, 눈과 눈꺼풀의 기하학에 기인하여 눈닫힘을 판별할 수도 있다.
도 16은 본 실시예에 따라 눈의 계폐상태를 판별하는 일 예를 나타내는 알고 리즘이다.
도 17은 본 실시예에 따른 눈 상태 검출장치를 나타내는 블록도이다.
도 17을 참조하면, 눈 상태 검출장치는 카메라부(110), 메모리(120), 신호처리부(130) 및 제어부(140)를 포함한다. 카메라부(110)는 연속 영상을 촬영하여 촬영된 이미지를 메모리(120)에 출력한다. 메모리(120)는 촬영된 이미지를 입력받아 저장한다. 신호처리부(130)는 메모리(120)에 저장된 디지털 이미지에 대하여 본 실시예에 따라 눈 상태 검출을 수행하여 눈 닫힘, 눈 깜박임 또는 눈 열림으로 눈 상태를 판단하여 그 결과를 메모리(120) 또는 제어부(140)에 출력한다. 제어부(140)는 눈 상태 판단 결과에 따라 제어가 필요한 모듈에 제어신호를 출력한다. 여기서, 제어부(140)는 도시된 바와 다르게 없을 수도 있다. 제어부(140)가 없는 경우는, 신호처리부(130)는 판단된 눈 상태를 외부로 출력한다.
예를 들어, 눈 상태 검출장치가 운전자 모니터링 시스템의 경보발생부에 연결된 경우, 신호처리부(130)에서 피사체가 눈 닫힘으로 판단된 경우, 제어부(140)는 경보발생부에 경보음을 발생하는 신호를 보낼 수 있다. 또 다른 예로, 눈 상태 검출장치가 카메라에 연결된 경우, 신호처리부(130)에서 피사체가 눈 깜박임으로 판단된 경우, 제어부(140)는 최적의 촬영 시점을 포착할 수 있도록 제어신호를 카메라에 보낼 수 있다.
본 실시예에서 보여준 알고리즘은 본 실시예를 구현하기 위해 다양하게 표현될 수 있는 알고리즘의 일 예에 불과하며, 이러한 일 예와 다른 알고리즘도 본 실 시예를 구현할 수 있음은 당업자에게 자명할 것이다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 배열들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.
이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.
도 1은 다양한 눈상태를 보여주는 이미지이다.
도 2는 본 실시예에 따른 눈 상태 검출방법을 나타내는 순서도이다.
도 3은 본 실시예에 따라 얼굴영역을 검출한 결과를 나타내는 도면이다.
도 4는 본 실시예에 따라 눈영역을 검출하는 알고리즘의 일 예를 나타내는 도면이다.
도 5는 본 실시예에 따라 눈영역을 검출한 결과를 나타내는 도면이다.
도 6은 본 실시예에 따라 눈 개폐 판별단계를 나타내는 순서도이다.
도 7은 본 실시예에 따라 크롭핑된 눈영역을 보여주는 도면이다.
도 8은 본 실시예에 따라 80×60로 리사이즈된 눈영역을 나타내는 도면이다.
도 9는 본 실시예에 이용된 콘볼루션을 위한 로그 가버 커널을 나타내는 도면이다.
도 10은 본 실시예에 따라 필터링된 눈영역을 나타내는 도면이다.
도 11은 본 실시예에 따라 자동적인(automatic) 임계치 설정단계를 나타내는 순서도이다.
도 12는 본 실시예에 따라 2D 히스토그램 엔트로피를 계산하는 알고리즘의 일 예를 나타내는 도면이다.
도 13은 본 실시예에 따라 자동적인 임계치 설정 전 및 후의 결과를 보여주는 도면이다.
도 14는 본 실시예에 따라 이진화된 이미지 분할 및 분할된 각 구역의 경계 점 획득단계를 수행한 결과를 보여주는 도면이다.
도 15는 본 실시예에 따라 각 구역의 경계점들에 타원을 일치시킨 단계를 수행한 결과를 보여주는 도면이다.
도 16은 본 실시예에 따라 눈의 계폐상태를 판별하는 일 예를 나타내는 알고리즘이다.
도 17은 본 실시예에 따른 눈 상태 검출장치를 나타내는 블록도이다.
<도면 주요 부분에 대한 부호의 설명>
110: 카메라부 120: 메모리
130: 신호처리부 140: 제어부

Claims (29)

  1. 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 방법에 있어서,
    (a) 상기 연속 영상으로부터 정지된 초기 영상을 입력하는 단계;
    (b) 상기 정지된 초기 영상으로부터 얼굴영역을 검출하는 단계;
    (c) 상기 얼굴영역으로부터 눈영역을 검출하는 단계;
    (d) 상기 눈영역으로부터 자동적인 임계치를 설정하여 이미지를 분할하고 분할된 구역의 경계점들을 획득하여 상기 경계점들에 가장 적합하게 일치시킨 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계; 및
    (e) 상기 단계(d)에서 눈 닫힘으로 예비판별된 경우, 미리 설정된 회수만큼 상기 단계(a) 내지 상기 단계(d)를 반복하여 계산된 눈 닫힘 시간이 미리 설정된 임계치 시간보다 크면 눈 닫힘으로 판별하고, 크지 않으면 눈 깜박임으로 판별하는 단계를 포함하며,
    상기 단계(d)는,
    (d-1) 상기 눈영역을 필터링하는 단계;
    (d-2) 상기 눈영역으로 상기 자동적인 임계치를 설정하는 단계;
    (d-3) 상기 눈영역의 이진화된 이미지를 분할하고 분할된 구역의 경계점을 획득하는 단계;
    (d-4) 상기 경계점들에 가장 적합한 타원을 일치시키는 단계; 및
    (d-5) 상기 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계를 포함하며,
    상기 단계(d-2)는,
    (dd-1) 상기 눈영역의 이미지내 다른 이미지 픽셀 주파수들의 통계적 표현인 2D 히스토그램을 계산하는 단계;
    (dd-2) 상기 2D 히스토그램을 다른 픽셀 값들의 확률 분포로 정규화하는 단계;
    (dd-3) 상기 정규화된 2D 히스토그램으로부터 불확실성(uncertanity)의 평균값을 나타내는 수치인 엔트로피(entropy)를 계산하는 단계;
    (dd-4) 2단계(2nd stage)의 최대 엔트로피 값 인덱스를 획득하는 단계; 및
    (dd-5) 2단계의 최대 엔트로피 값에 기반한 상기 자동적인 임계치를 설정하는 단계를 포함하는 눈 상태 검출방법.
  2. 제 1 항에 있어서,
    상기 단계(b)는 haar기반한 얼굴 검출법(haar based face detection) 또는 템플릿 매칭법을 이용하여 얼굴영역을 검출하는 눈 상태 검출방법.
  3. 제 1 항에 있어서,
    상기 단계(c)는 눈 기하학(eye geometry)을 이용하여 눈영역을 검출하는 눈 상태 검출방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 단계(d-1) 전에 상기 눈영역을 크롭(crop)하고 리사이즈(resize)하는 단계를 더 포함하는 눈 상태 검출방법.
  6. 제 1 항에 있어서,
    상기 단계(d-1)는
    콘볼루션(convolution)을 이용하여 로그 가버(Log Gabor) 필터링하는 눈 상태 검출방법.
  7. 제 6 항에 있어서,
    상기 콘볼루션(convolution)을 이용한 로그 가버(Log Gabor) 필터링은 다음
    Figure 112009053855931-pat00005
    을 이용하는 눈 상태 검출방법.
    여기서, h는 콘볼루션 커널 매트릭스, m 및 n은 콘볼루션 커널 매트릭스 차원, I'(x,y)는 새로운 이미지 및 I(x,y)는 입력 이미지임.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 단계(dd-2)는 각 하나의 히스토그램 요소를 이미지내의 전체 픽셀수로 나눠서 정규화하는 눈 상태 검출방법.
  10. 제 1 항에 있어서,
    상기 단계(dd-1)에서 계산된 2D 히스토그램을 저장하기 위하여 일차원 정수 배열을 이용하는 눈 상태 검출방법.
  11. 제 1 항에 있어서,
    상기 단계(dd-5)는
    상기 검출된 최대 엔트로피 값을 중심으로 미리 설정된 퍼센트내로 임계값을 획득하는 눈 상태 검출방법.
  12. 제 1 항에 있어서,
    상기 단계(dd-3) 다음으로
    모든 작은 히스토그램 컬럼을 하나로 그룹핑하는 히스토그램 균등화(equalization)를 수행하는 눈 상태 검출방법.
  13. 제 1 항에 있어서,
    상기 단계(d-4)에서
    적어도 6개의 경계점들을 이용하여 가장 적합한 타원을 일치시키는 눈 상태 검출방법.
  14. 제 1 항에 있어서,
    상기 단계(d-5)에서 상기 타원의 원형도 또는 면적을 이용하여 눈 열림과 눈 닫힘를 예비판별하는 눈 상태 검출방법.
  15. 제 1 항에 있어서,
    상기 정지된 초기 영상은 그레이(grey)영상인 눈 상태 검출방법.
  16. 제 1 항 내지 제 3 항, 제 5 항 내지 제 7 항, 제 9 항 내지 제 15 항 중 어느 한 항에 기재된 눈 상태 검출방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
  17. 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 장치에 있어서,
    상기 연속 영상을 촬영하는 카메라부; 및
    상기 연속 영상으로부터 제 1 항 내지 제 3 항, 제 5 항 내지 제 7 항, 제 9 항 내지 제 15 항 중 어느 한 항에 기재된 눈 상태 검출방법에 따라 눈 상태 검출을 수행하여 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 판별하는 신호처리부를 포함하는 눈 상태 검출장치.
  18. 얼굴을 포함한 연속 영상으로부터 눈 열림, 눈 닫힘 및 눈 깜박임으로 눈 상태를 검출하는 방법에 있어서,
    (a) 상기 연속 영상으로부터 정지된 초기 영상을 입력하는 단계;
    (b) 상기 정지된 초기 영상으로부터 얼굴영역 및 눈영역을 검출하는 단계;
    (c) 상기 검출된 눈영역을 로그 가버(Log Gabor) 필터링하는 단계;
    (d) 상기 눈영역으로 자동적인 임계치를 설정하는 단계;
    (e) 상기 눈영역의 이진화된 이미지를 분할하고 분할된 구역의 경계점을 획득하는 단계;
    (f) 상기 경계점들에 가장 적합한 타원을 일치시키는 단계; 및
    (g) 상기 타원을 이용하여 눈 열림과 눈 닫힘을 예비판별하는 단계; 및
    (h) 상기 단계(g)에서 눈 닫힘으로 예비판별된 경우, 미리 설정된 회수만큼 상기 단계(a) 내지 상기 단계(g)를 반복하여 계산된 눈 닫힘 시간이 미리 설정된 임계치 시간보다 크면 눈 닫힘으로 판별하고, 크지 않으면 눈 깜박임으로 판별하는 단계를 포함하며,
    상기 단계(d)는,
    (d-1) 상기 눈영역의 이미지내 다른 이미지 픽셀 주파수들의 통계적 표현인 2D 히스토그램을 계산하는 단계;
    (d-2) 상기 2D 히스토그램을 다른 픽셀 값들의 확률 분포로 정규화하는 단계;
    (d-3) 상기 정규화된 2D 히스토그램으로부터 불확실성(uncertanity)의 평균값을 나타내는 수치인 엔트로피(entropy)를 계산하는 단계;
    (d-4) 2단계(2nd stage)의 최대 엔트로피 값 인덱스를 획득하는 단계; 및
    (d-5) 2단계의 최대 엔트로피 값에 기반한 상기 자동적인 임계치를 설정하는 단계를 포함하는 눈 상태 검출방법.
  19. 제 18 항에 있어서,
    상기 단계(c)는
    콘볼루션(convolution)을 이용하여 로그 가버(Log Gabor) 필터링하는 눈 상태 검출방법.
  20. 제 19 항에 있어서,
    상기 콘볼루션(convolution)을 이용한 로그 가버(Log Gabor) 필터링은 다음
    Figure 112009053855931-pat00006
    을 이용하는 눈 상태 검출방법.
    여기서, h는 콘볼루션 커널 매트릭스, m 및 n은 콘볼루션 커널 매트릭스 차원, I'(x,y)는 새로운 이미지 및 I(x,y)는 입력 이미지임.
  21. 삭제
  22. 제 18 항에 있어서,
    상기 단계(d-2)는 각 하나의 히스토그램 요소를 이미지내의 전체 픽셀수로 나눠서 정규화하는 눈 상태 검출방법.
  23. 제 18 항에 있어서,
    상기 단계(d-1)에서 계산된 2D 히스토그램을 저장하기 위하여 일차원 정수 배열을 이용하는 눈 상태 검출방법.
  24. 제 18 항에 있어서,
    상기 단계(d-5)는
    상기 검출된 최대 엔트로피 값을 중심으로 미리 설정된 퍼센트내로 임계값을 획득하는 눈 상태 검출방법.
  25. 제 18 항에 있어서,
    상기 단계(d-3)다음으로
    모든 작은 히스토그램 컬럼을 하나로 그룹핑하는 히스토그램 균등화(equalization)를 수행하는 눈 상태 검출방법.
  26. 제 18 항에 있어서,
    상기 단계(f)에서
    적어도 6개의 경계점들을 이용하여 가장 적합한 타원을 일치시키는 눈 상태 검출방법.
  27. 제 18 항에 있어서,
    상기 단계(g)에서 상기 타원의 원형도 또는 면적을 이용하여 눈 열림과 눈 닫힘를 예비판별하는 눈 상태 검출방법.
  28. 제 18 항에 있어서,
    상기 정지된 초기 영상은 그레이(grey)영상인 눈 상태 검출방법.
  29. 제 18 항 내지 제 20 항, 제 22 항 내지 제 28 항 중 어느 한 항에 기재된 눈 상태 검출방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
KR1020090082055A 2009-09-01 2009-09-01 눈 상태 검출방법 KR101032726B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090082055A KR101032726B1 (ko) 2009-09-01 2009-09-01 눈 상태 검출방법
PCT/KR2010/005934 WO2011028023A2 (en) 2009-09-01 2010-09-01 Apparatus and method for detecting eye state
US13/393,675 US20120230553A1 (en) 2009-09-01 2010-09-01 Apparatus and method for detecting eye state
JP2012527821A JP2013504114A (ja) 2009-09-01 2010-09-01 目状態検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090082055A KR101032726B1 (ko) 2009-09-01 2009-09-01 눈 상태 검출방법

Publications (2)

Publication Number Publication Date
KR20110024169A KR20110024169A (ko) 2011-03-09
KR101032726B1 true KR101032726B1 (ko) 2011-05-06

Family

ID=43649778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090082055A KR101032726B1 (ko) 2009-09-01 2009-09-01 눈 상태 검출방법

Country Status (4)

Country Link
US (1) US20120230553A1 (ko)
JP (1) JP2013504114A (ko)
KR (1) KR101032726B1 (ko)
WO (1) WO2011028023A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959756A (zh) * 2017-11-30 2018-04-24 西安科锐盛创新科技有限公司 睡眠自动关闭电子设备的系统及其方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5864910B2 (ja) * 2010-07-16 2016-02-17 キヤノン株式会社 画像取得装置及び制御方法
JP2013043044A (ja) * 2011-08-26 2013-03-04 Canon Inc 瞬目計測装置、方法、及びプログラム
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
WO2013109941A2 (en) 2012-01-19 2013-07-25 Vid Scale, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
EP4201304A1 (en) * 2012-10-24 2023-06-28 Nidek Co., Ltd. Ophthalmic analysis apparatus
US9305225B2 (en) 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
CN105022981B (zh) * 2014-04-18 2019-08-16 中兴通讯股份有限公司 一种检测人眼健康状态的方法、装置及移动终端
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
US9465981B2 (en) 2014-05-09 2016-10-11 Barron Associates, Inc. System and method for communication
US9782069B2 (en) * 2014-11-06 2017-10-10 International Business Machines Corporation Correcting systematic calibration errors in eye tracking data
KR101672946B1 (ko) * 2015-03-06 2016-11-17 동국대학교 산학협력단 눈 개폐 분류 장치 및 방법
CN105631439B (zh) * 2016-02-18 2019-11-08 北京旷视科技有限公司 人脸图像处理方法和装置
CN106778611A (zh) * 2016-12-16 2017-05-31 天津牧瞳星科技有限公司 一种在线追踪眨眼活动的方法
WO2018120662A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种拍照方法，拍照装置和终端
CN110263693A (zh) * 2019-06-13 2019-09-20 苏州元联传感技术有限公司 结合帧间差分与贝叶斯分类器的车辆行人检测识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262447A (ja) 2007-04-13 2008-10-30 Fujifilm Corp 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
KR102292008B1 (ko) * 2017-02-15 2021-08-23 캐논 가부시끼가이샤 광 주사 장치 및 화상 형성 장치
KR102492522B1 (ko) * 2019-09-10 2023-01-27 삼성전자주식회사 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5375177A (en) * 1991-09-27 1994-12-20 E. I. Du Pont De Nemours And Company Method of identifying and characterizing a valid object by color
JP3063504B2 (ja) * 1993-12-22 2000-07-12 日産自動車株式会社 画像データの特徴量検出装置
JP3379247B2 (ja) * 1994-11-17 2003-02-24 トヨタ自動車株式会社 居眠り警報装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6895103B2 (en) * 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
JP2004199386A (ja) * 2002-12-18 2004-07-15 Oki Electric Ind Co Ltd 顔画像合成装置および顔画像の瞬き検出方法
JP4107087B2 (ja) * 2003-01-09 2008-06-25 日産自動車株式会社 開閉眼判定装置
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP2007509334A (ja) * 2003-10-21 2007-04-12 ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー レーザマイクロ切開におけるレーザ切断線の自動生成方法
KR100566272B1 (ko) * 2003-11-11 2006-03-30 삼성전자주식회사 졸음운전 경고 시스템
KR100617777B1 (ko) * 2004-01-26 2006-08-28 삼성전자주식회사 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
EP1842152B1 (en) * 2005-01-26 2011-01-05 Honeywell International Inc. A distance iris recognition system
JP4594176B2 (ja) * 2005-06-22 2010-12-08 三菱電機株式会社 画像処理装置及び入退室管理システム
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
US7715598B2 (en) * 2006-07-25 2010-05-11 Arsoft, Inc. Method for detecting facial expressions of a portrait photo by an image capturing electronic device
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262447A (ja) 2007-04-13 2008-10-30 Fujifilm Corp 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
KR102292008B1 (ko) * 2017-02-15 2021-08-23 캐논 가부시끼가이샤 광 주사 장치 및 화상 형성 장치
KR102492522B1 (ko) * 2019-09-10 2023-01-27 삼성전자주식회사 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
민지홍, 김정철, 홍기천, "눈 검출 및 눈동자 추적 기반을 통한 졸음운전 경보 시스템 구현", 한국퍼지및지능시스템학회, 2005년도 추계학술대회 학술발표 논문집 제15권 제2호, pp. 249-252, 2005.*
주영훈, 김진규, 나인호, "지능형 졸음 운전 경고 시스템", 한국지능시스템학회 논문지 제18권 제2호, pp. 223-229, 2008.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959756A (zh) * 2017-11-30 2018-04-24 西安科锐盛创新科技有限公司 睡眠自动关闭电子设备的系统及其方法
CN107959756B (zh) * 2017-11-30 2020-09-18 深圳市普斯美医疗科技有限公司 睡眠自动关闭电子设备的系统及其方法

Also Published As

Publication number Publication date
WO2011028023A3 (en) 2011-07-07
US20120230553A1 (en) 2012-09-13
KR20110024169A (ko) 2011-03-09
JP2013504114A (ja) 2013-02-04
WO2011028023A2 (en) 2011-03-10

Similar Documents

Publication Publication Date Title
KR101032726B1 (ko) 눈 상태 검출방법
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
CN111127425B (zh) 基于视网膜眼底图像的目标检测定位方法和装置
US10032287B2 (en) System and method for assessing wound
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN108171158B (zh) 活体检测方法、装置、电子设备及存储介质
Lee et al. Vasir: an open-source research platform for advanced iris recognition technologies
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
US9704024B2 (en) Object discriminating apparatus and method
JP2007188504A (ja) 画像中の画素強度をフィルタリングする方法
JP2005190400A (ja) 顔画像検出方法及び顔画像検出システム並びに顔画像検出プログラム
CN116912541A (zh) 模型训练及图像检测方法、装置、电子设备及存储介质
Hsu Automatic pedestrian detection in partially occluded single image
Bhattacharyya et al. IRIS texture analysis and feature extraction for biometric pattern recognition
Sun et al. Iris anti-spoofing
US11690569B2 (en) Blood vessel detecting apparatus and image-based blood vessel detecting method
JP2008009745A (ja) 顔検出装置
Truong et al. A study on visual saliency detection in infrared images using Boolean map approach
JP2014199505A (ja) 画像認識装置、画像認識方法及びプログラム
Kosala et al. MSER-Vertical Sobel for Vehicle Logo Detection
KR102257998B1 (ko) 세포 계수 장치 및 방법
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
Jang et al. Exposed body component-based harmful image detection in ubiquitous sensor data
Suriyal Quantitative Analysis of Strabismus Using Image Processing
Cui et al. Robust textural features for real time face recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150305

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 9