KR20140106926A - 동공 검출 장치 및 동공 검출 방법 - Google Patents

동공 검출 장치 및 동공 검출 방법 Download PDF

Info

Publication number
KR20140106926A
KR20140106926A KR1020130021236A KR20130021236A KR20140106926A KR 20140106926 A KR20140106926 A KR 20140106926A KR 1020130021236 A KR1020130021236 A KR 1020130021236A KR 20130021236 A KR20130021236 A KR 20130021236A KR 20140106926 A KR20140106926 A KR 20140106926A
Authority
KR
South Korea
Prior art keywords
image
pupil
distortion
long axis
unit
Prior art date
Application number
KR1020130021236A
Other languages
English (en)
Other versions
KR102013275B1 (ko
Inventor
이인재
이희경
차지훈
박강령
이현창
조철우
권수영
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020130021236A priority Critical patent/KR102013275B1/ko
Publication of KR20140106926A publication Critical patent/KR20140106926A/ko
Application granted granted Critical
Publication of KR102013275B1 publication Critical patent/KR102013275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

실시예에 따른 동공 검출 장치는 제1 영상에 컨벡스 헐(convex hull) 처리하고 장축을 탐색하여 탐색된 장축을 기준으로 상하/좌우 영역을 분할한 후 두 영역에 대해 장축 중심에서 동공 경계선까지 유클리디언 거리의 합을 구하고, 이 거리값을 이용하여 눈꺼풀에 의해 동공이 왜곡되었는지를 판단하는 왜곡 판단부, 및 눈꺼풀에 의해 동공이 왜곡된 경우, 탐색된 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부, 상기 보정 영상(혹은 제 1영상)과 제2 영상을 비교하여 차분 영상을 생성하고, 차분 영상을 타원 근사 처리하는 제2 왜곡 보정부를 포함한다.

Description

동공 검출 장치 및 동공 검출 방법 {APPARATUS AND METHOD FOR DETECT PUPIL}
실시예들은 시선 추적을 위한 동공 검출 장치 및 동공 검출 방법에 관한 것이다.
시선 추적이란 사용자의 시선이 어느 곳을 응시하고 있는지를 파악하는 방법이다. 이 시선 추적의 장점으로는 기존의 마우스 작동 방법 프로토콜과 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치의 역할을 할 수 있다는 편의성, 가상현실 환경에서 사용자의 시선 방향에 따라 뷰(view) 화면을 조정함으로써 제공하는 몰입 등이 있을 수 있다.
시선 추적을 위해서는 사용자의 동공을 정확히 검출하는 것이 필요하다. 그러나, 각막에 반사된 광이 동공에 겹쳐지거나 눈꺼풀에 의해 동공이 많이 가려질 경우, 동공이 왜곡되어 동공을 정확하게 검출하는 것이 어렵다.
실시예들은 시선 추적시, 눈 영상에서 동공이 왜곡되더라도 왜곡을 보정하여 동공을 정확하게 검출할 수 있는 동공 검출 장치 및 동공 검출 방법을 제공하기 위한 것이다.
실시예에 따른 동공 검출 장치는 눈 영상을 히스토그램 스트레칭하는 히스토그램 처리부, 상기 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성하는 제1 영상 생성부, 상기 눈 영상을 이진화 및 모폴로지 처리하여 상기 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성하는 제2 영상 생성부, 상기 제1 영상에서 컨벡스 헐(convex hull) 처리한 후 상기 동공의 경계선을 이용하여 가로/세로 방향으로 장축을 탐색하고, 상기 장축을 기준으로 상하/좌우 영역으로 분할한 후, 상기 상하/좌우 영역에 대하여 상기 동공의 경계선에서 상기 장축 중심까지의 유클리디언 거리의 합을 산출하는 거리값 산출부, 상기 장축의 중심과 상기 상하/좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 상기 동공이 왜곡되었는지를 판단하는 왜곡 판단부, 상기 눈꺼풀에 의해 상기 동공이 왜곡된 경우, 상기 상하/좌우 영역 중 상기 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 상기 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부, 및 상기 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 상기 제1 왜곡 보정부를 통하여 생성된 영상과 상기 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 제2 왜곡 보정부를 포함하고, 상기 제2 왜곡 보정부는 상기 눈꺼풀의 왜곡으로 인한 보정이 되지 않은 경우, 상기 제1 영상과 상기 제2 영상으로부터 상기 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정한다.
실시예들에 따른 동공 검출 장치 및 동공 검출 방법은 동공을 이용한 시선 추적시, 각막 반사광 및 눈거풀에 의해 동공이 왜곡되더라도 동공의 왜곡을 보정하여 동공을 정확하게 검출할 수 있다. 동공을 정확하게 검출함으로써, 사용자의 시선을 정확하게 추적할 수 있다.
도 1은 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 2는 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 3은 실시예에 따른 동공 경계선 내에서 거리값 산출 방식을 설명하기 위한 도면이다.
도 4는 실시예에 따른 동공 검출 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성을 나타낸다.
도 1은 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 1에 도시된 동공 검출 장치(100)는 동공을 이용한 시선 추적시, 각막 반사광 및 눈꺼풀에 의해 동공이 왜곡되더라도 동공의 왜곡을 보정하여 동공을 검출할 수 있다.
동공 검출 장치(100)는 히스토그램 처리부(110), 제1 영상 생성부(120), 제2 영상 생성부(130), 거리값 산출부(140), 왜곡 판단부(150), 제1 왜곡 보정부(160) 및 제2 왜곡 보정부(170)를 포함한다.
동공 검출 장치(100)는 사용자의 눈을 촬영한 눈 영상을 외부로부터 수신할 수 있으며, 또는, 눈 영상을 촬영/생성하기 위한 카메라 모듈의 구성을 포함할 수도 있다.
히스토그램 처리부(110)는 눈 영상을 히스토그램 스트레칭(histogram stretching)한다. 히스토그램은 영상 내 특정 밝기값을 갖는 화소의 발생 빈도수를 나타내는 것이며, 히스토그램 스트레칭은 한쪽으로 치우쳐 있는 화소의 발생 빈도수를 0 내지 255로까지 균일하게 분포되도록 처리하는 것이다. 히스토그램 스트레칭에 따라 눈 영상은 그 밝기가 보다 넓은 영역의 명암 분포를 가질 수 있게 된다.
제1 영상 생성부(120)는 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성한다. 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 동공 영역은 흰색으로 표시되고, 동공을 제외한 영역은 검정색으로 표시될 수 있다. 이 같이 이진화 및 모폴로지 처리된 눈 영상에서 동공의 경계선이 검출된 제1 영상을 생성할 수 있다. 동공의 경계선은 캐니 엣지(canny edge) 검출 방법에 의해 검출될 수 있다.
제2 영상 생성부(130)는 눈 영상을 이진화 및 모폴로지 처리하여 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성한다. 제2 영상 생성부(130)는 히스토그램 스트레칭되지 않은 눈 영상을 이진화 및 모폴로지 처리한다. 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 광에 의해 반사된 각막 반사광 영역은 흰색으로 표시되고, 각막 반사광 영역 제외한 영역은 검정색으로 표시될 수 있다.
거리값 산출부(140)는 컨벡스 헐(convex hull) 처리한 후 동공의 경계선을 이용하여 가로/세로 방향으로 장축을 탐색하고, 장축을 기준으로 상하/좌우 영역으로 분할한 후, 상하/좌우 영역에 대하여 동공의 경계선에서 장축 중심까지의 유클리디언 거리의 합을 산출한다. 유클리디안 거리는 아래의 수학식 1을 이용하여 산출할 수 있다.
Figure pat00001
수학식 1에서, (x1, y1)은 장축의 중심 좌표값이며, (x2, y2)는 이진화로 검출된 동공의 경계선들에 대한 값이 될 수 있다.
예를 들어, 동공 검출 장치는 사용자가 선 자세로 검진을 받을 경우, 가로 방향으로 장축을 탐색할 수 있으며, 탐색된 장축을 기준으로 눈 영상을 상하 영역으로 분할 할 수 있다. 또한, 동공 검출 장치는 사용자가 누운 자세로 검진을 받을 경우, 세로 방향으로 장축을 탐색할 수 있으며, 탐색된 장축을 기준으로 눈 영상을 좌우 영역으로 분할 할 수 있다. 본 발명에서는 상하/좌우 영역으로 눈 영상을 분할 하여 동공을 검출하는 방법을 제공할 수 있으나, 설명의 용이함을 위하여 눈 영상을 상하 영역으로 분할하여 동공을 검출하는 방법을 대표적인 예로 들어 설명하도록 한다.
예를 들어, 거리값 산출부(140)는 장축을 기준으로 동공을 상하 영역으로 분할하는 경우, 동공의 경계선에서 상측 영역을 이루는 각 점들과 장축의 중심 간의 거리값을 합산하여 상측 영역에 대한 제1 거리값과, 동공의 경계선에서 하측 영역을 이루는 각 점들과 장축의 중심 간의 거리값을 합산하여 하측 영역에 대한 제2 거리값을 산출할 수 있다.
왜곡 판단부(150)는 장축의 중심과 상기 상하/좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 동공이 왜곡되었는지를 판단한다. 예를 들어, 왜곡 판단부(150)는 상측 영역에 대한 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 특정 값(threshold) 이상의 음수(-)가 산출될 경우, 눈꺼풀에 의해 동공이 왜곡된 것으로 판단한다. 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 음수(-)가 산출된다는 것은, 동공의 상측 영역이 왜곡 또는 손상된 것을 의미한다. 또한, 눈꺼풀의 경우, 동공의 상측에 주로 왜곡을 발생시킬 수 있다.
제1 왜곡 보정부(160)는 눈꺼풀에 의해 동공이 왜곡된 경우, 상하/좌우 영역 중 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 장축 중심을 기준으로 원점 대칭한다.
또한, 동공 검출 장치는 얼굴 기울임 정도를 판단하여 얼굴이 45도 이하로 약간만 기울어진 경우, 상하로 영역을 나누어 위 영역에 대해 눈꺼풀 왜곡 여부를 판단하고, 45도 이상 기울어져 눕다시피 할 경우 좌우로 영역을 나누어 왼쪽 혹은 오른쪽 기울어진 방향에 따라 좌 영역 혹은 우 영역에 대해 눈꺼풀 왜곡 여부를 판단할 수도 있다.
눈 영상은 눈꺼풀에 의한 왜곡을 보정하더라도 동공에서 각막 반사광에 의한 왜곡이 포함되어 있을 수 있다. 눈 영상에 각막반사광에 의한 왜곡이 포함될 경우, 동공 검출 장치는 눈 영상을 눈꺼풀 왜곡을 보정하더라도 정확한 동공 검출이 어려울 수 있으므로 각막반사광에 의한 왜곡을 보정하는 과정이 필요할 수 있다. 제2 왜곡 보정부(170)는 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 제1 왜곡 보정부(160)를 통하여 생성된 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리함으로써 각막반사광으로 인한 왜곡을 보정할 수 있다.
이와 같이 제2 왜곡 처리부(170)는 각막반사광에 의한 왜곡을 보정하여 동공을 검출할 수 있으며, 이 동공으로부터 동공을 검출할 수 있다.
도 2는 실시예에 따른 동공 검출 방식을 설명하기 위한 도면이다.
도 2는 눈 영상에 눈꺼풀 가림 및 각막 반사광이 포함되어 동공이 왜곡된 경우, 왜곡 보정을 통해 동공을 검출하기 위한 방식을 설명하기 위한 것이다.
눈 영상(210)은 눈꺼풀에 의해 눈의 일부가 가려질 수 있고, 하얀 점으로 표시된 각막 반사광을 포함할 수도 있다. 이러한 눈꺼풀 가림 현상 및 각막 반사광으로 인한 왜곡을 보정하기 위하여 눈 영상을 다음과 같은 방식으로 처리할 수 있다.
먼저, 동공 검출 장치는 눈 영상을 히스토그램 스트레칭한 후(220), 이진화/모폴로지 처리한다(230). 동공 검출 장치는 이진화/모폴로지 처리된 눈 영상에서 캐니 엣지 검출을 이용하여 동공의 경계선이 검출된 제1 영상(240)을 검출한다. 이 과정에서 동공 검출 장치는 동공의 경계선을 라벨링할 수 있다.
동공 검출 장치는 눈 영상을 히스토그램 스트레칭 하지 않고, 이진화 및 모폴로지 처리하여 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상(270)을 생성한다.
동공 검출 장치는 제1 영상에서 동공의 경계선을 이용하여 장축을 탐색한다. 탐색된 장축을 기준으로 동공을 상하 영역으로 분할하고(250), 장축의 중심과 상기 상하 영역의 경계선 간의 거리값을 산출한다(260). 거리값 산출 과정은 도 3을 이용하여 구체적으로 설명한다.
도 3은 실시예에 따른 동공 경계선 내에서 거리값 산출 방식을 설명하기 위한 도면이다.
도 3을 참조하면, 동공 검출 장치는 눈 영상(310)에서 동공 경계선(311)이 검출되면, 이 동공 경계선(311)에서 장축(311a)을 탐색하고, 장축(311a)을 기준으로 동공 경계선을 상하/좌우 영역으로 분할할 수 있다.
예를 들어, 동공 검출 장치는 동공의 경계선(311)에서 상측 영역을 이루는 각 점들과 장축(311a)의 중심 간의 거리값을 합산하여 상측 영역에 대한 제1 거리값과, 동공의 경계선(311)에서 하측 영역을 이루는 각 점들과 장축(311a)의 중심 간의 거리값을 합산하여 하측 영역에 대한 제2 거리값을 산출할 수 있다.
눈 영상은 산출된 거리값을 이용하여 눈꺼풀 왜곡이 존재한다고 판단되면 보정이 이루어질 수 있다. 왜곡 판단은 눈 영상(210)에서 눈꺼풀에 의해 동공이 왜곡되었는지를 판단하는 것으로, 상측 영역에 대한 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 특정값(threshold) 이상의 음수(-)가 산출될 경우, 눈꺼풀에 의해 동공이 왜곡된 것으로 판단될 수 있다.
동공 검출 장치는 눈꺼풀에 의해 동공이 왜곡된 경우, 탐색된 장축을 기준으로 나뉜 상하/좌우 영역 중 동공 경계선에서 유클리디안 거리가 먼 영역을 탐색할 수 있다. 그리고, 동공 검출 장치는 탐색된 장축의 중심을 기준으로 원점 대칭할 수 있다(260). 이로써 동공 검출 장치는 눈꺼풀 왜곡을 보정한 눈 영상을 생성할 수 있다.
동공에서 눈꺼풀 왜곡을 보정하더라도 각막반사광에 의한 왜곡이 포함되어 있을 수 있다. 각막반사광에 의한 왜곡이 포함될 경우, 눈꺼풀 왜곡을 보정하더라도 정확한 동공 검출이 어려울 수 있으므로 각막반사광에 의한 왜곡을 보정하는 과정이 필요할 수 있다.
동공 검출 장치는 각막반사광으로 인한 왜곡을 보정하기 위하여 눈꺼풀 왜곡 보정 영상(260) 및 제2 영상(270)을 비교하여 차분 영상(280)을 생성하고, 상기 차분 영상(280)을 타원 매칭하여 각막 반사광 왜곡을 보정한 눈 영상(290)을 생성할 수 있다.
동공 검출 장치는 눈꺼풀의 왜곡이 존재하지 않아 눈꺼풀 왜곡 보정이 수행되지 않은 경우, 제1 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리할 수 있다.
도 4는 실시예에 따른 동공 검출 방식을 설명하기 위한 도면이다.
도 4는 실시예에 따른 동공 검출 방법은 도 1에 도시된 동공 검출 장치(100)에 의해 실행될 수 있다.
동공을 포함하는 눈 영상이 외부로부터 수신되거나, 동공 검출 장치에 구비된 카메라 모듈에 의해 생성될 경우, 이 눈 영상에 포함된 각막 반사광 또는 눈꺼풀에 의한 왜곡을 보정하여 동공을 검출할 수 있다.
동공 검출 장치는 눈 영상이 입력되면(410 단계), 눈 영상을 히스토그램 스트레칭한다(420 단계).
동공 검출 장치는 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리를 통해 제1 영상을 생성한다. 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 동공 영역은 흰색으로 표시되고, 동공을 제외한 영역은 검정색으로 표시될 수 있다. 이 과정에서, 캐니 엣지(canny edge) 검출 방법에 의해 동공의 경계선을 검출할 수 있으며, 동공과 동공을 제외한 영역을 라벨링하여 제1 영상을 생성할 수 있다(430 단계).
동공 검출 장치는 동공 경계선에서 상하/좌우 영역에 대한 거리값을 산출한다(440 단계).
동공 검출 장치는 410 단계에서 입력된 눈 영상을 이진화 및 모폴로지 처리하여 제2 영상을 생성한다(450 단계). 제2 영상은 광에 의해 반사된 각막 반사광 영역이 표시된 영상일 수 있다.
동공 검출 장치는 눈꺼풀에 의해 동공 영상이 왜곡 되었는지 여부를 판단하고(460 단계), 왜곡 현상이 있는 경우 눈꺼풀에 의한 왜곡을 보정한다(470 단계).
동공 검출 장치는 각막 반사광에 의한 왜곡을 보정한다(480 단계). 구체적으로, 동공 검출 장치는 눈꺼풀 왜곡이 보정된 영상과 제2 영상을 비교하거나 제1 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 생성된 차분 영상을 타원 근사 처리하여 동공 중심을 검출한다(490 단계).
도 4에 도시된 동공 검출 방법에 따르면, 동공의 왜곡을 보정하여 동공을 정확하게 검출할 수 있다. 따라서, 사용자의 시선을 용이하고 정확하게 추적할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 동공 검출 장치
110: 히스토그램 처리부
120: 제1 영상 생성부
130: 제2 영상 생성부
140: 거리값 산출부
150: 왜곡 판단부
160: 제1 왜곡 보정부
170: 제2 왜곡 보정부

Claims (1)

  1. 눈 영상을 히스토그램 스트레칭하는 히스토그램 처리부;
    상기 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성하는 제1 영상 생성부;
    상기 눈 영상을 이진화 및 모폴로지 처리하여 상기 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성하는 제2 영상 생성부;
    상기 제1 영상에서 컨벡스 헐(convex hull) 처리한 후 상기 동공의 경계선을 이용하여 가로/세로 방향으로 장축을 탐색하고, 상기 장축을 기준으로 상하/좌우 영역으로 분할한 후, 상기 상하/좌우 영역에 대하여 상기 동공의 경계선에서 상기 장축 중심까지의 유클리디언 거리의 합을 산출하는 거리값 산출부;
    상기 장축의 중심과 상기 상하/좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 상기 동공이 왜곡되었는지를 판단하는 왜곡 판단부; 및
    상기 눈꺼풀에 의해 상기 동공이 왜곡된 경우, 상기 상하/좌우 영역 중 상기 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 상기 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부; 및
    상기 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 상기 제1 왜곡 보정부를 통하여 생성된 영상과 상기 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 제2 왜곡 보정부
    를 포함하고,
    상기 제2 왜곡 보정부는 상기 눈꺼풀의 왜곡으로 인한 보정이 되지 않은 경우, 상기 제1 영상과 상기 제2 영상으로부터 상기 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 동공 검출 장치.
KR1020130021236A 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법 KR102013275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Publications (2)

Publication Number Publication Date
KR20140106926A true KR20140106926A (ko) 2014-09-04
KR102013275B1 KR102013275B1 (ko) 2019-08-23

Family

ID=51755029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Country Status (1)

Country Link
KR (1) KR102013275B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018080575A1 (en) * 2016-09-12 2018-05-03 Elc Management Llc System and method for correcting color of digital image based on the human sclera and pupil
WO2018207959A1 (ko) * 2017-05-11 2018-11-15 주식회사 룩시드랩스 이미지 처리 장치 및 방법
KR20190089632A (ko) * 2018-01-23 2019-07-31 (주)파트론 동공 인식 장치
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025610A (ko) * 2006-09-18 2008-03-21 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
JP2009254525A (ja) * 2008-04-15 2009-11-05 Calsonic Kansei Corp 瞳孔検知方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025610A (ko) * 2006-09-18 2008-03-21 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
JP2009254525A (ja) * 2008-04-15 2009-11-05 Calsonic Kansei Corp 瞳孔検知方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel approach to video-based pupil tracking *
홍체 분할을 위한 기하학적 고속 동공 검출 방법 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018080575A1 (en) * 2016-09-12 2018-05-03 Elc Management Llc System and method for correcting color of digital image based on the human sclera and pupil
WO2018207959A1 (ko) * 2017-05-11 2018-11-15 주식회사 룩시드랩스 이미지 처리 장치 및 방법
KR20190089632A (ko) * 2018-01-23 2019-07-31 (주)파트론 동공 인식 장치
WO2019146906A1 (ko) * 2018-01-23 2019-08-01 주식회사 파트론 동공 인식 장치
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법

Also Published As

Publication number Publication date
KR102013275B1 (ko) 2019-08-23

Similar Documents

Publication Publication Date Title
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
Chen et al. A highly accurate and computationally efficient approach for unconstrained iris segmentation
JP2017182739A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
US8659751B2 (en) External light glare assessment device, line of sight detection device and external light glare assessment method
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
EP4049637A1 (en) Iris registration method and system
KR102013275B1 (ko) 동공 검출 장치 및 동공 검출 방법
US9020199B2 (en) Eyelid detection device, eyelid detection method, and recording medium
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
KR20160115663A (ko) 화상 처리 장치 및 화상 처리 방법
Drakopoulos et al. Eye tracking interaction on unmodified mobile VR headsets using the selfie camera
EP2564351B1 (en) Method, apparatus and computer program product for compensating eye color defects
US20170243061A1 (en) Detection system and detection method
WO2022110917A1 (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN109614858B (zh) 一种瞳孔中心的检测方法和装置
KR20120049605A (ko) 동공 중심 검출 장치 및 방법
JP2018088236A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN104408409A (zh) 一种适用于散光镜片环境下的瞳孔定位方法
KR20090099349A (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
KR101276792B1 (ko) 눈 검출 장치 및 방법
US10617294B1 (en) System and method for determining the spherical power of eyes based on measured refractive error
Valentina et al. Iris localization using circular hough transform and horizontal projection folding

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right