KR102013275B1 - 동공 검출 장치 및 동공 검출 방법 - Google Patents

동공 검출 장치 및 동공 검출 방법 Download PDF

Info

Publication number
KR102013275B1
KR102013275B1 KR1020130021236A KR20130021236A KR102013275B1 KR 102013275 B1 KR102013275 B1 KR 102013275B1 KR 1020130021236 A KR1020130021236 A KR 1020130021236A KR 20130021236 A KR20130021236 A KR 20130021236A KR 102013275 B1 KR102013275 B1 KR 102013275B1
Authority
KR
South Korea
Prior art keywords
pupil
image
distortion
region
long axis
Prior art date
Application number
KR1020130021236A
Other languages
English (en)
Other versions
KR20140106926A (ko
Inventor
이인재
이희경
차지훈
박강령
이현창
조철우
권수영
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020130021236A priority Critical patent/KR102013275B1/ko
Publication of KR20140106926A publication Critical patent/KR20140106926A/ko
Application granted granted Critical
Publication of KR102013275B1 publication Critical patent/KR102013275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

실시예에 따른 동공 검출 장치는 제1 영상에 컨벡스 헐(convex hull) 처리하고 장축을 탐색하여 탐색된 장축을 기준으로 상하/좌우 영역을 분할한 후 두 영역에 대해 장축 중심에서 동공 경계선까지 유클리디언 거리의 합을 구하고, 이 거리값을 이용하여 눈꺼풀에 의해 동공이 왜곡되었는지를 판단하는 왜곡 판단부, 및 눈꺼풀에 의해 동공이 왜곡된 경우, 탐색된 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부, 상기 보정 영상(혹은 제 1영상)과 제2 영상을 비교하여 차분 영상을 생성하고, 차분 영상을 타원 근사 처리하는 제2 왜곡 보정부를 포함한다.

Description

동공 검출 장치 및 동공 검출 방법 {APPARATUS AND METHOD FOR DETECT PUPIL}
실시예들은 시선 추적을 위한 동공 검출 장치 및 동공 검출 방법에 관한 것이다.
시선 추적이란 사용자의 시선이 어느 곳을 응시하고 있는지를 파악하는 방법이다. 이 시선 추적의 장점으로는 기존의 마우스 작동 방법 프로토콜과 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치의 역할을 할 수 있다는 편의성, 가상현실 환경에서 사용자의 시선 방향에 따라 뷰(view) 화면을 조정함으로써 제공하는 몰입 등이 있을 수 있다.
시선 추적을 위해서는 사용자의 동공을 정확히 검출하는 것이 필요하다. 그러나, 각막에 반사된 광이 동공에 겹쳐지거나 눈꺼풀에 의해 동공이 많이 가려질 경우, 동공이 왜곡되어 동공을 정확하게 검출하는 것이 어렵다.
실시예들은 시선 추적시, 눈 영상에서 동공이 왜곡되더라도 왜곡을 보정하여 동공을 정확하게 검출할 수 있는 동공 검출 장치 및 동공 검출 방법을 제공하기 위한 것이다.
실시예에 따른 동공 검출 장치는 눈 영상을 히스토그램 스트레칭하는 히스토그램 처리부, 상기 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성하는 제1 영상 생성부, 상기 눈 영상을 이진화 및 모폴로지 처리하여 상기 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성하는 제2 영상 생성부, 상기 제1 영상에서 컨벡스 헐(convex hull) 처리한 후 상기 동공의 경계선을 이용하여 가로/세로 방향으로 장축을 탐색하고, 상기 장축을 기준으로 상하/좌우 영역으로 분할한 후, 상기 상하/좌우 영역에 대하여 상기 동공의 경계선에서 상기 장축 중심까지의 유클리디언 거리의 합을 산출하는 거리값 산출부, 상기 장축의 중심과 상기 상하/좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 상기 동공이 왜곡되었는지를 판단하는 왜곡 판단부, 상기 눈꺼풀에 의해 상기 동공이 왜곡된 경우, 상기 상하/좌우 영역 중 상기 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 상기 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부, 및 상기 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 상기 제1 왜곡 보정부를 통하여 생성된 영상과 상기 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 제2 왜곡 보정부를 포함하고, 상기 제2 왜곡 보정부는 상기 눈꺼풀의 왜곡으로 인한 보정이 되지 않은 경우, 상기 제1 영상과 상기 제2 영상으로부터 상기 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정한다.
실시예들에 따른 동공 검출 장치 및 동공 검출 방법은 동공을 이용한 시선 추적시, 각막 반사광 및 눈거풀에 의해 동공이 왜곡되더라도 동공의 왜곡을 보정하여 동공을 정확하게 검출할 수 있다. 동공을 정확하게 검출함으로써, 사용자의 시선을 정확하게 추적할 수 있다.
도 1은 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 2는 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 3은 실시예에 따른 동공 경계선 내에서 거리값 산출 방식을 설명하기 위한 도면이다.
도 4는 실시예에 따른 동공 검출 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성을 나타낸다.
도 1은 실시예에 따른 동공 검출 장치의 구조를 나타내는 블록도이다.
도 1에 도시된 동공 검출 장치(100)는 동공을 이용한 시선 추적시, 각막 반사광 및 눈꺼풀에 의해 동공이 왜곡되더라도 동공의 왜곡을 보정하여 동공을 검출할 수 있다.
동공 검출 장치(100)는 히스토그램 처리부(110), 제1 영상 생성부(120), 제2 영상 생성부(130), 거리값 산출부(140), 왜곡 판단부(150), 제1 왜곡 보정부(160) 및 제2 왜곡 보정부(170)를 포함한다.
동공 검출 장치(100)는 사용자의 눈을 촬영한 눈 영상을 외부로부터 수신할 수 있으며, 또는, 눈 영상을 촬영/생성하기 위한 카메라 모듈의 구성을 포함할 수도 있다.
히스토그램 처리부(110)는 눈 영상을 히스토그램 스트레칭(histogram stretching)한다. 히스토그램은 영상 내 특정 밝기값을 갖는 화소의 발생 빈도수를 나타내는 것이며, 히스토그램 스트레칭은 한쪽으로 치우쳐 있는 화소의 발생 빈도수를 0 내지 255로까지 균일하게 분포되도록 처리하는 것이다. 히스토그램 스트레칭에 따라 눈 영상은 그 밝기가 보다 넓은 영역의 명암 분포를 가질 수 있게 된다.
제1 영상 생성부(120)는 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성한다. 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 동공 영역은 흰색으로 표시되고, 동공을 제외한 영역은 검정색으로 표시될 수 있다. 이 같이 이진화 및 모폴로지 처리된 눈 영상에서 동공의 경계선이 검출된 제1 영상을 생성할 수 있다. 동공의 경계선은 캐니 엣지(canny edge) 검출 방법에 의해 검출될 수 있다.
제2 영상 생성부(130)는 눈 영상을 이진화 및 모폴로지 처리하여 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성한다. 제2 영상 생성부(130)는 히스토그램 스트레칭되지 않은 눈 영상을 이진화 및 모폴로지 처리한다. 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 광에 의해 반사된 각막 반사광 영역은 흰색으로 표시되고, 각막 반사광 영역 제외한 영역은 검정색으로 표시될 수 있다.
거리값 산출부(140)는 컨벡스 헐(convex hull) 처리한 후 동공의 경계선을 이용하여 가로/세로 방향으로 장축을 탐색하고, 장축을 기준으로 상하/좌우 영역으로 분할한 후, 상하/좌우 영역에 대하여 동공의 경계선에서 장축 중심까지의 유클리디언 거리의 합을 산출한다. 유클리디안 거리는 아래의 수학식 1을 이용하여 산출할 수 있다.
Figure 112013017683429-pat00001
수학식 1에서, (x1, y1)은 장축의 중심 좌표값이며, (x2, y2)는 이진화로 검출된 동공의 경계선들에 대한 값이 될 수 있다.
예를 들어, 동공 검출 장치는 사용자가 선 자세로 검진을 받을 경우, 가로 방향으로 장축을 탐색할 수 있으며, 탐색된 장축을 기준으로 눈 영상을 상하 영역으로 분할 할 수 있다. 또한, 동공 검출 장치는 사용자가 누운 자세로 검진을 받을 경우, 세로 방향으로 장축을 탐색할 수 있으며, 탐색된 장축을 기준으로 눈 영상을 좌우 영역으로 분할 할 수 있다. 본 발명에서는 상하/좌우 영역으로 눈 영상을 분할 하여 동공을 검출하는 방법을 제공할 수 있으나, 설명의 용이함을 위하여 눈 영상을 상하 영역으로 분할하여 동공을 검출하는 방법을 대표적인 예로 들어 설명하도록 한다.
예를 들어, 거리값 산출부(140)는 장축을 기준으로 동공을 상하 영역으로 분할하는 경우, 동공의 경계선에서 상측 영역을 이루는 각 점들과 장축의 중심 간의 거리값을 합산하여 상측 영역에 대한 제1 거리값과, 동공의 경계선에서 하측 영역을 이루는 각 점들과 장축의 중심 간의 거리값을 합산하여 하측 영역에 대한 제2 거리값을 산출할 수 있다.
왜곡 판단부(150)는 장축의 중심과 상기 상하/좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 동공이 왜곡되었는지를 판단한다. 예를 들어, 왜곡 판단부(150)는 상측 영역에 대한 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 특정 값(threshold) 이상의 음수(-)가 산출될 경우, 눈꺼풀에 의해 동공이 왜곡된 것으로 판단한다. 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 음수(-)가 산출된다는 것은, 동공의 상측 영역이 왜곡 또는 손상된 것을 의미한다. 또한, 눈꺼풀의 경우, 동공의 상측에 주로 왜곡을 발생시킬 수 있다.
제1 왜곡 보정부(160)는 눈꺼풀에 의해 동공이 왜곡된 경우, 상하/좌우 영역 중 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 장축 중심을 기준으로 원점 대칭한다.
또한, 동공 검출 장치는 얼굴 기울임 정도를 판단하여 얼굴이 45도 이하로 약간만 기울어진 경우, 상하로 영역을 나누어 위 영역에 대해 눈꺼풀 왜곡 여부를 판단하고, 45도 이상 기울어져 눕다시피 할 경우 좌우로 영역을 나누어 왼쪽 혹은 오른쪽 기울어진 방향에 따라 좌 영역 혹은 우 영역에 대해 눈꺼풀 왜곡 여부를 판단할 수도 있다.
눈 영상은 눈꺼풀에 의한 왜곡을 보정하더라도 동공에서 각막 반사광에 의한 왜곡이 포함되어 있을 수 있다. 눈 영상에 각막반사광에 의한 왜곡이 포함될 경우, 동공 검출 장치는 눈 영상을 눈꺼풀 왜곡을 보정하더라도 정확한 동공 검출이 어려울 수 있으므로 각막반사광에 의한 왜곡을 보정하는 과정이 필요할 수 있다. 제2 왜곡 보정부(170)는 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 제1 왜곡 보정부(160)를 통하여 생성된 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리함으로써 각막반사광으로 인한 왜곡을 보정할 수 있다.
이와 같이 제2 왜곡 처리부(170)는 각막반사광에 의한 왜곡을 보정하여 동공을 검출할 수 있으며, 이 동공으로부터 동공을 검출할 수 있다.
도 2는 실시예에 따른 동공 검출 방식을 설명하기 위한 도면이다.
도 2는 눈 영상에 눈꺼풀 가림 및 각막 반사광이 포함되어 동공이 왜곡된 경우, 왜곡 보정을 통해 동공을 검출하기 위한 방식을 설명하기 위한 것이다.
눈 영상(210)은 눈꺼풀에 의해 눈의 일부가 가려질 수 있고, 하얀 점으로 표시된 각막 반사광을 포함할 수도 있다. 이러한 눈꺼풀 가림 현상 및 각막 반사광으로 인한 왜곡을 보정하기 위하여 눈 영상을 다음과 같은 방식으로 처리할 수 있다.
먼저, 동공 검출 장치는 눈 영상을 히스토그램 스트레칭한 후(220), 이진화/모폴로지 처리한다(230). 동공 검출 장치는 이진화/모폴로지 처리된 눈 영상에서 캐니 엣지 검출을 이용하여 동공의 경계선이 검출된 제1 영상(240)을 검출한다. 이 과정에서 동공 검출 장치는 동공의 경계선을 라벨링할 수 있다.
동공 검출 장치는 눈 영상을 히스토그램 스트레칭 하지 않고, 이진화 및 모폴로지 처리하여 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상(270)을 생성한다.
동공 검출 장치는 제1 영상에서 동공의 경계선을 이용하여 장축을 탐색한다. 탐색된 장축을 기준으로 동공을 상하 영역으로 분할하고(250), 장축의 중심과 상기 상하 영역의 경계선 간의 거리값을 산출한다(260). 거리값 산출 과정은 도 3을 이용하여 구체적으로 설명한다.
도 3은 실시예에 따른 동공 경계선 내에서 거리값 산출 방식을 설명하기 위한 도면이다.
도 3을 참조하면, 동공 검출 장치는 눈 영상(310)에서 동공 경계선(311)이 검출되면, 이 동공 경계선(311)에서 장축(311a)을 탐색하고, 장축(311a)을 기준으로 동공 경계선을 상하/좌우 영역으로 분할할 수 있다.
예를 들어, 동공 검출 장치는 동공의 경계선(311)에서 상측 영역을 이루는 각 점들과 장축(311a)의 중심 간의 거리값을 합산하여 상측 영역에 대한 제1 거리값과, 동공의 경계선(311)에서 하측 영역을 이루는 각 점들과 장축(311a)의 중심 간의 거리값을 합산하여 하측 영역에 대한 제2 거리값을 산출할 수 있다.
눈 영상은 산출된 거리값을 이용하여 눈꺼풀 왜곡이 존재한다고 판단되면 보정이 이루어질 수 있다. 왜곡 판단은 눈 영상(210)에서 눈꺼풀에 의해 동공이 왜곡되었는지를 판단하는 것으로, 상측 영역에 대한 제1 거리값에서 하측 영역에 대한 제2 거리값을 차분하여 특정값(threshold) 이상의 음수(-)가 산출될 경우, 눈꺼풀에 의해 동공이 왜곡된 것으로 판단될 수 있다.
동공 검출 장치는 눈꺼풀에 의해 동공이 왜곡된 경우, 탐색된 장축을 기준으로 나뉜 상하/좌우 영역 중 동공 경계선에서 유클리디안 거리가 먼 영역을 탐색할 수 있다. 그리고, 동공 검출 장치는 탐색된 장축의 중심을 기준으로 원점 대칭할 수 있다(260). 이로써 동공 검출 장치는 눈꺼풀 왜곡을 보정한 눈 영상을 생성할 수 있다.
동공에서 눈꺼풀 왜곡을 보정하더라도 각막반사광에 의한 왜곡이 포함되어 있을 수 있다. 각막반사광에 의한 왜곡이 포함될 경우, 눈꺼풀 왜곡을 보정하더라도 정확한 동공 검출이 어려울 수 있으므로 각막반사광에 의한 왜곡을 보정하는 과정이 필요할 수 있다.
동공 검출 장치는 각막반사광으로 인한 왜곡을 보정하기 위하여 눈꺼풀 왜곡 보정 영상(260) 및 제2 영상(270)을 비교하여 차분 영상(280)을 생성하고, 상기 차분 영상(280)을 타원 매칭하여 각막 반사광 왜곡을 보정한 눈 영상(290)을 생성할 수 있다.
동공 검출 장치는 눈꺼풀의 왜곡이 존재하지 않아 눈꺼풀 왜곡 보정이 수행되지 않은 경우, 제1 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리할 수 있다.
도 4는 실시예에 따른 동공 검출 방식을 설명하기 위한 도면이다.
도 4는 실시예에 따른 동공 검출 방법은 도 1에 도시된 동공 검출 장치(100)에 의해 실행될 수 있다.
동공을 포함하는 눈 영상이 외부로부터 수신되거나, 동공 검출 장치에 구비된 카메라 모듈에 의해 생성될 경우, 이 눈 영상에 포함된 각막 반사광 또는 눈꺼풀에 의한 왜곡을 보정하여 동공을 검출할 수 있다.
동공 검출 장치는 눈 영상이 입력되면(410 단계), 눈 영상을 히스토그램 스트레칭한다(420 단계).
동공 검출 장치는 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리를 통해 제1 영상을 생성한다. 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지 처리하면, 눈 영상에서 동공 영역은 흰색으로 표시되고, 동공을 제외한 영역은 검정색으로 표시될 수 있다. 이 과정에서, 캐니 엣지(canny edge) 검출 방법에 의해 동공의 경계선을 검출할 수 있으며, 동공과 동공을 제외한 영역을 라벨링하여 제1 영상을 생성할 수 있다(430 단계).
동공 검출 장치는 동공 경계선에서 상하/좌우 영역에 대한 거리값을 산출한다(440 단계).
동공 검출 장치는 410 단계에서 입력된 눈 영상을 이진화 및 모폴로지 처리하여 제2 영상을 생성한다(450 단계). 제2 영상은 광에 의해 반사된 각막 반사광 영역이 표시된 영상일 수 있다.
동공 검출 장치는 눈꺼풀에 의해 동공 영상이 왜곡 되었는지 여부를 판단하고(460 단계), 왜곡 현상이 있는 경우 눈꺼풀에 의한 왜곡을 보정한다(470 단계).
동공 검출 장치는 각막 반사광에 의한 왜곡을 보정한다(480 단계). 구체적으로, 동공 검출 장치는 눈꺼풀 왜곡이 보정된 영상과 제2 영상을 비교하거나 제1 영상과 제2 영상을 비교하여 차분 영상을 생성하고, 생성된 차분 영상을 타원 근사 처리하여 동공 중심을 검출한다(490 단계).
도 4에 도시된 동공 검출 방법에 따르면, 동공의 왜곡을 보정하여 동공을 정확하게 검출할 수 있다. 따라서, 사용자의 시선을 용이하고 정확하게 추적할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 동공 검출 장치
110: 히스토그램 처리부
120: 제1 영상 생성부
130: 제2 영상 생성부
140: 거리값 산출부
150: 왜곡 판단부
160: 제1 왜곡 보정부
170: 제2 왜곡 보정부

Claims (1)

  1. 눈 영상을 히스토그램 스트레칭하는 히스토그램 처리부;
    상기 히스토그램 스트레칭된 눈 영상을 이진화 및 모폴로지(mopology) 처리하고 동공의 경계선이 검출된 제1 영상을 생성하는 제1 영상 생성부;
    상기 눈 영상을 이진화 및 모폴로지 처리하여 상기 눈 영상에 포함된 각막 반사광 영역을 추출한 제2 영상을 생성하는 제2 영상 생성부;
    상기 제1 영상에서 컨벡스 헐(convex hull) 처리한 후 상기 동공의 경계선을 이용하여 가로 방향, 또는 세로 방향으로 장축을 탐색하고, 상기 장축을 기준으로 동공의 상측 영역과 하측 영역을 포함하는 상하 영역, 또는 동공의 좌측 영역과 우측 영역을 포함하는 좌우 영역 중 하나로 분할한 후, 상기 상측 영역과 상기 하측 영역, 또는 상기 좌측 영역과 상기 우측 영역 각각에 대하여 영역에 포함된 상기 동공의 경계선에서 상기 장축 중심까지의 유클리디언 거리의 합을 산출하는 거리값 산출부;
    상기 장축의 중심과 상기 상하 영역, 또는 좌우 영역의 경계선 간의 거리값을 이용하여 눈꺼풀에 의해 상기 동공이 왜곡되었는지를 판단하는 왜곡 판단부; 및
    상기 눈꺼풀에 의해 상기 동공이 왜곡된 경우, 상기 상측 영역과 상기 하측 영역, 또는 상기 좌측 영역과 상기 우측 영역 중 상기 유클리디언 거리의 합이 가장 먼 영역을 찾아 해당 영역을 상기 장축 중심을 기준으로 원점 대칭하는 제1 왜곡 보정부; 및
    상기 눈꺼풀의 왜곡으로 인한 보정이 수행된 경우, 상기 제1 왜곡 보정부를 통하여 생성된 영상과 상기 제2 영상을 비교하여 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 제2 왜곡 보정부
    를 포함하고,
    상기 제2 왜곡 보정부는 상기 눈꺼풀의 왜곡으로 인한 보정이 되지 않은 경우, 상기 제1 영상과 상기 제2 영상으로부터 상기 차분 영상을 생성하고, 상기 차분 영상을 타원 근사 처리하여 각막반사광으로 인한 왜곡을 보정하는 동공 검출 장치.
KR1020130021236A 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법 KR102013275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Publications (2)

Publication Number Publication Date
KR20140106926A KR20140106926A (ko) 2014-09-04
KR102013275B1 true KR102013275B1 (ko) 2019-08-23

Family

ID=51755029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021236A KR102013275B1 (ko) 2013-02-27 2013-02-27 동공 검출 장치 및 동공 검출 방법

Country Status (1)

Country Link
KR (1) KR102013275B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854991B1 (ko) * 2016-09-12 2018-05-08 에스테 로우더, 인코포레이티드 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템
WO2018207959A1 (ko) * 2017-05-11 2018-11-15 주식회사 룩시드랩스 이미지 처리 장치 및 방법
KR102037779B1 (ko) * 2018-01-23 2019-10-29 (주)파트론 동공 인식 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009254525A (ja) 2008-04-15 2009-11-05 Calsonic Kansei Corp 瞳孔検知方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009254525A (ja) 2008-04-15 2009-11-05 Calsonic Kansei Corp 瞳孔検知方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel approach to video-based pupil tracking
홍체 분할을 위한 기하학적 고속 동공 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법

Also Published As

Publication number Publication date
KR20140106926A (ko) 2014-09-04

Similar Documents

Publication Publication Date Title
KR101950562B1 (ko) 시선 추적
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
US7916904B2 (en) Face region detecting device, method, and computer readable recording medium
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
JP2017182739A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US8659751B2 (en) External light glare assessment device, line of sight detection device and external light glare assessment method
KR102013275B1 (ko) 동공 검출 장치 및 동공 검출 방법
JP5728080B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
US10521659B2 (en) Image processing device, image processing method, and image processing program
EP3073415B1 (en) Image processing apparatus and image processing method
US20160103485A1 (en) Apparatus and method for tracking gaze of glasses wearer
Giachetti et al. Multiresolution localization and segmentation of the optical disc in fundus images using inpainted background and vessel information
JP2018088236A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2018109824A (ja) 電子制御装置、電子制御システムおよび電子制御方法
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
US9390325B2 (en) Apparatus for recognizing iris and operating method thereof
US10617294B1 (en) System and method for determining the spherical power of eyes based on measured refractive error
KR101276792B1 (ko) 눈 검출 장치 및 방법
KR20140093189A (ko) 얼굴 회전에 강인한 얼굴 추적 방법 및 장치
Valentina et al. Iris localization using circular hough transform and horizontal projection folding
Matveev et al. Iris segmentation system based on approximate feature detection with subsequent refinements
Zhang et al. Shading Surface Estimation Using Piecewise Polynomials for Binarizing Unevenly Illuminated Document Images
JP4852454B2 (ja) 目傾き検出装置及びプログラム
CN116630371A (zh) 瞳孔运动追踪方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right