KR20230052648A - method for detection pupil by using a visual-light camera and system using the method - Google Patents
method for detection pupil by using a visual-light camera and system using the method Download PDFInfo
- Publication number
- KR20230052648A KR20230052648A KR1020210135935A KR20210135935A KR20230052648A KR 20230052648 A KR20230052648 A KR 20230052648A KR 1020210135935 A KR1020210135935 A KR 1020210135935A KR 20210135935 A KR20210135935 A KR 20210135935A KR 20230052648 A KR20230052648 A KR 20230052648A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pupil
- region
- face
- detection method
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101100284774 Mus musculus Hpx gene Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
Description
본 개시는 동공 검출 방법 및 이를 적용하는 시스템에 관한 것으로, 상세하게는 RGB 가시광선 카메라를 이용한 동공 검출 방법 및 이를 적용하는 시스템에 관한 것이다.The present disclosure relates to a pupil detection method and a system to which the same is applied, and more particularly, to a pupil detection method using an RGB visible ray camera and a system to which the same is applied.
사람의 시선 정보는 그 개인이 어디에 집중하는지 판단하기 위한 객관적인 지표로써 마케팅, 게임, AR(Augmented Reality). VR(Virtual Reality), HCI(Human-Computer Interaction) 등 다양한 분야에서 시장 조사, 콘텐츠 개발, 인터페이스 개발 등의 다양한 목적으로 폭넓게 이용되고 있다. A person's gaze information is an objective index to determine where the individual focuses, and is used in marketing, games, and AR (Augmented Reality). It is widely used for various purposes such as market research, content development, and interface development in various fields such as VR (Virtual Reality) and HCI (Human-Computer Interaction).
일반적으로 사용되는 가시광선 또는 RGB 카메라로서 소형의 웹 카메라를 통해 사람의 시선 정보를 추출하는 기술은 비대면 환경에서도 많은 사람들의 시선 정보를 추출할 수 있고 시선 추적 기술을 상용화하는데 적합하여 많은 관심을 받고 있다. As a commonly used visible ray or RGB camera, the technology of extracting human gaze information through a small web camera can extract the gaze information of many people even in a non-face-to-face environment and is suitable for commercializing eye tracking technology, so it has attracted a lot of attention. are receiving
기존의 동공 움직임 검출 방법은 적외선(IR) 카메라 등의 특수 카메라가 이용되었다. 이러한 방법은 일반적인 RGB 카메라를 적용할 수 없는 문제가 있어서, RGB 카메라를 탑재하는 PC 또는 스마트폰과 같은 휴대용 기기에는 적용될 수 없다. In the conventional pupil movement detection method, a special camera such as an infrared (IR) camera was used. This method has a problem that a general RGB camera cannot be applied, and thus cannot be applied to portable devices such as PCs or smart phones equipped with RGB cameras.
따라서, 일반적인 용도로 널리 사용되는 RGB 카메라를 이용하여 동공을 정확하게 검출하는 방법에 대한 연구가 요구된다.Therefore, research on a method of accurately detecting a pupil using an RGB camera widely used for general purposes is required.
본 개시는 가시광선 카메라를 이용하여 동공을 정밀하게 검출 및 추적할 수 있는 방법과 시스템을 제안한다.The present disclosure proposes a method and system capable of precisely detecting and tracking a pupil using a visible ray camera.
본 개시는 얼굴 검출 및 얼굴 특징점 검출을 기반으로 동공의 중심 좌표를 근거리는 물론이고 원거리에서도 정확하게 추론하여 높은 정밀도의 동공 움직임을 검출할 수 있는 방법 및 시스템을 제안한다.The present disclosure proposes a method and system capable of detecting pupil movement with high precision by accurately inferring the center coordinates of the pupil at a near distance as well as at a long distance based on face detection and facial feature point detection.
본 개시에 따른 동공 검출 방법:은Pupil detection method according to the present disclosure: Silver
카메라를 이용해 피험자의 안면을 촬영하여 얼굴 이미지를 획득하는 단계;obtaining a face image by photographing the subject's face using a camera;
영상 처리부에 의해 상기 얼굴 이미지로부터 좌우 눈의 얼굴 특징점(landmark)를 검출하는 단계;detecting facial landmarks of the left and right eyes from the face image by an image processing unit;
분석부에 의해 상기 좌우 눈의 얼굴 특징점을 이용해 좌우 눈의 중심 좌표를 추출하는 단계;extracting central coordinates of the left and right eyes using facial feature points of the left and right eyes by an analysis unit;
좌우 눈의 중심 좌표로 부터 좌우 눈 중심 간의 거리를 산출하고, 상기 눈 중심간 거리에 기초하여 상기 좌우 눈과 좌우 눈 양측의 얼굴 측면 부분이 포함되는 얼굴 영역의 기준 얼굴 이미지를 선택하는 단계;calculating a distance between the centers of the left and right eyes from center coordinates of the left and right eyes, and selecting a reference face image of a face region including side parts of the face of both the left and right eyes based on the center-to-eye distance;
상기 기준 얼굴 이미지로 부터 좌우 눈의 얼굴 특징점을 검출하여 관심 영역(ROI)인 눈 영역을 추출하는 단계;extracting an eye region as a region of interest (ROI) by detecting facial feature points of the left and right eyes from the reference face image;
상기 눈 영역에 대한 원형 검출 방법에 의해 상기 눈 영역에서 양측 동공을 검출하는 단계; 그리고detecting both pupils in the eye region by a circular detection method for the eye region; and
상기 양측 동공의 중심 좌표를 추출하는 단계;를 포함한다.and extracting center coordinates of the pupils of both sides.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 얼굴 이미지 선택 단계에서, 상기 양측 동공 중심 좌표를 이용해 안면의 기울기 각(θ)이 계산되고, In the face image selection step, an inclination angle θ of the face is calculated using the center coordinates of the pupils of both sides,
상기 기울기 각에 따라 상기 얼굴 이미지를 회전시켜 상기 얼굴 영역을 정렬하는 얼굴 이미지 정렬 단계;가 더 포함될 수 있다.A face image aligning step of aligning the face region by rotating the face image according to the inclination angle may be further included.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 기준 얼굴 이미지는 상기 눈 중심 간의 거리에 기초하여 기설정된 크기의 영상으로 스케일링하여 기준 얼굴 이미지를 소정 크기의 이미지로 변환한 후, 상기 관심 영역(ROI)이 추출될 수 있다.The reference face image may be scaled to an image of a predetermined size based on the distance between eye centers to convert the reference face image into an image of a predetermined size, and then the region of interest (ROI) may be extracted.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 기준 얼굴 이미지는 A:B:A 비율(A, B는 서로 같거나 다른 양의 수)로 수직 방향과 수평 방향으로 3분할되어 전체적으로 격자상으로 9분할된 단위 영역을 포함하며,The reference face image includes a unit area that is divided into 3 vertical and horizontal directions at an A:B:A ratio (A and B are equal or different positive numbers) and is divided into 9 units in a grid pattern as a whole,
상기 격자상 9분할된 단위 영역 중, 정중앙의 중심 영역의 상부 양측의 두 코너의 좌표 또는 중심 영역의 안쪽에 상기 양측 눈의 중심이 위치될 수 있다.Among the unit areas divided into nine parts on the grid, the centers of both eyes may be located at coordinates of two corners on both sides of the top of the center area at the center or inside the center area.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 기준 얼굴 이미지는 수직 수평 방향으로 각각 1:1:1로 9분할되어 9분할된 단위 영역이 동일한 크기의 정사각 구조를 가질 수 있다.The reference face image may be divided into 9 parts in a 1:1:1 ratio in the vertical and horizontal directions, so that the 9 divided unit areas may have a square structure having the same size.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 동공 검출 방법은 상기 눈 중심 간의 거리에 기초한 스케일링 팩터를 구하여, 상기 기준 얼굴 이미지는 상기 스케일링 팩터를 이용하여 기설정된 크기의 영상으로 스케일링하여 기준 얼굴 이미지를 소정 크기의 이미지로 변환할 수 있다.The pupil detection method obtains a scaling factor based on the distance between eye centers, and converts the reference face image into an image of a predetermined size by scaling the reference face image into an image of a predetermined size using the scaling factor.
하나 또는 그 이상의 실시 예에 따르면, According to one or more embodiments,
상기 동공의 검출에는 Hough Circle 검출 방법이 적용될 수 있다.A Hough Circle detection method may be applied to detect the pupil.
상기 방법을 수행하는 본 개시에 따른 동공 검출 시스템:은A pupil detection system according to the present disclosure performing the above method: silver
피험자의 얼굴 이미지를 촬영하는 가시광선 카메라;a visible ray camera that captures an image of the subject's face;
상기 얼굴 이미지로부터 좌우 눈의 얼굴 특징점(landmark)를 검출하는 영상 처리부;an image processing unit to detect facial landmarks of the left and right eyes from the face image;
상기 좌우 눈의 얼굴 특징점을 이용해 좌우 눈의 중심 좌표를 추출하고, 이를 이용해 상기 얼굴 영역의 기준 얼굴 이미지를 선택하고, 상기 기준 얼굴 이미지로부터 관심 영역(ROI)의 눈 영역을 추출하고, 상기 눈 영역으로부터 동공을 검출하고, 그리고 상기 동공으로부터 중심 좌표를 추출하는 분석부;를 포함한다.Center coordinates of the left and right eyes are extracted using facial feature points of the left and right eyes, a reference face image of the face region is selected using the coordinates, an eye region of a region of interest (ROI) is extracted from the reference face image, and the eye region is extracted. and an analysis unit that detects a pupil from the pupil and extracts center coordinates from the pupil.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 분석부는, 상기 양측 눈의 중심 좌표를 이용해 안면의 기울기 각(θ)을 계산하고, 상기 기울기 각에 따라 상기 기준 얼굴 이미지를 회전시켜 상기 얼굴 영역을 정렬할 수 있다.The analyzer may calculate a tilt angle θ of the face using the central coordinates of the eyes of both eyes, rotate the reference face image according to the tilt angle, and align the face region.
하나 또는 그 이상의 실시 예에 따르면,According to one or more embodiments,
상기 분석부는 상기 눈의 중심 간의 거리에 기초하여 기설정된 크기의 영상으로 스케일링된 기준 얼굴 이미지로부터 상기 관심 영역을 추출할 수 있다.The analysis unit may extract the ROI from a reference face image scaled to an image having a predetermined size based on the distance between the centers of the eyes.
하나 또는 그 이상의 실시 예에 따른 동공 검출 시스템에서,In a pupil detection system according to one or more embodiments,
상기 기준 얼굴 이미지는 A:B:A 비율(A, B는 서로 같거나 다른 양의 수)로 수직 방향과 수평 방향으로 3분할되어 전체적으로 격자상으로 9분할된 단위 영역을 포함하며,The reference face image includes a unit area that is divided into 3 vertical and horizontal directions at an A:B:A ratio (A and B are equal or different positive numbers) and is divided into 9 units in a grid pattern as a whole,
상기 격자상 9분할된 단위 영역 중, 정중앙의 중심 영역의 상부 양측의 두 코너의 좌표에 상기 양측 눈의 중심이 위치하도록 되어 있을 수 있다.The center of both eyes may be positioned at the coordinates of two corners on both sides of the upper part of the central area in the middle of the unit area divided into nine parts on the grid.
하나 또는 그 이상의 실시 예에 따른 동공 검출 시스템에서,In a pupil detection system according to one or more embodiments,
상기 기준 얼굴 이미지는 수직 수평 방향으로 각각 1:1:1로 9분할되어 9분할된 단위 영역이 동일한 크기의 정사각 구조를 가질 수 있다.The reference face image may be divided into 9 parts in a 1:1:1 ratio in the vertical and horizontal directions, so that the 9 divided unit areas may have a square structure having the same size.
하나 또는 그 이상의 실시 예에 따른 동공 검출 시스템에서,In a pupil detection system according to one or more embodiments,
상기 분석부는 상기 동공의 검출을 위하여 Hough Circle 검출법을 적용할 수있다.The analysis unit may apply a Hough Circle detection method to detect the pupil.
도1은 IR 카메라와 RGB 카메라에 의한 얼굴 이미지를 비교해 보인다.
도2의 (A)는 피험자로 부터 촬영된 상체 영상에서 사각의 얼굴영역이 검출된 상태를 보인다.
도2의 (B)는 피험자의 상체 영상으로부터 얻어진 사각의 얼굴 영역에 랜드마크가 검출된 상태를 보인다.
도3a는 본 발명의 실시 예에서, 입력(Input) 영상에 대해 얼굴 정렬에 의해 얻어진 출력(Ouput) 영상을 예시적으로 보인다.
도3b는 본 발명의 실시 예에서, 정렬된 이미지에 대한 1:1:1 비율의 스케일링의 결과를 보인다.
도4a는 한 실시 예에서, 정렬된 얼굴 이미지(input)와 이로 부터 ROI가 검출된 얼굴 이미지(output)를 예시한다.
도4b는 한 실시 예에 따라, 눈 영역의 추출을 설명하기 위한 얼굴 이미지의 부분 확대 사진이다.
도5는 한 실시 예에서, ROI로 부터 동공을 추출하는 일례의 전과정을 개략적으로 보인다.
도6은 한 실시 예에서, ROI 이미지로 부터 동공에 상응하는 원형을 검출하는 구체적 방법의 일례를 예시한다.
도7은 한 실시 예에서, 원형 검출 방법 중 Hough Gridient에 의한 원형 검출을 설명한다.
도8은 본 개시의 한 실시 예에 따른 RGB 영상 기반 동공 검출 시스템의 개략적 구성을 보이는 블록 다이어그램이다.Figure 1 shows a comparison of face images by an IR camera and an RGB camera.
2(A) shows a state in which a square face region is detected in an upper body image captured from a subject.
2(B) shows a state in which a landmark is detected in a square face region obtained from an image of a subject's upper body.
3A illustratively shows an output image obtained by face alignment with respect to an input image according to an embodiment of the present invention.
Figure 3b shows the result of scaling at a 1:1:1 ratio for the aligned image in an embodiment of the present invention.
4A illustrates an aligned face image (input) and a face image (output) from which an ROI is detected, in one embodiment.
4B is a partially enlarged picture of a face image for explaining extraction of an eye region, according to an embodiment.
5 schematically shows an exemplary entire process of extracting a pupil from an ROI, in one embodiment.
6 illustrates an example of a specific method of detecting a circular shape corresponding to a pupil from an ROI image, in one embodiment.
7 illustrates circularity detection by Hough Gridient among circularity detection methods, in one embodiment.
8 is a block diagram showing a schematic configuration of an RGB image based pupil detection system according to an embodiment of the present disclosure.
이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되는 것으로 해석되어서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.Hereinafter, preferred embodiments of the concept of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the inventive concept may be modified in many different forms, and the scope of the inventive concept should not be construed as being limited due to the embodiments described below. Embodiments of the inventive concept are preferably interpreted as being provided to more completely explain the inventive concept to those with average knowledge in the art. The same sign means the same element throughout. Further, various elements and areas in the drawings are schematically drawn. Accordingly, the inventive concept is not limited by the relative size or spacing drawn in the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and conversely, a second element may be termed a first element, without departing from the scope of the inventive concept.
본 개시에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, “포함한다” 또는 “갖는다” 등의 표현은 본 개시에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the present disclosure are used only to describe specific embodiments, and are not intended to limit the concept of the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this disclosure, expressions such as “comprise” or “having” are intended to indicate that the features, number, steps, operations, components, parts, or combinations thereof described in this disclosure exist, but that one or more other features are present. It should be understood that the presence or addition of elements, numbers, operations, components, parts, or combinations thereof is not precluded.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.Unless defined otherwise, all terms used herein, including technical terms and scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the concept of the present invention belongs. In addition, commonly used terms as defined in the dictionary should be interpreted as having a meaning consistent with what they mean in the context of the technology to which they relate, and in an overly formal sense unless explicitly defined herein. It will be understood that it should not be interpreted.
이하에서 설명되는 하나 또는 그 이상의 실시 예들은 가시광선 카메라를 이용해 동공을 검출하고 이를 통해 동공의 움직임 정보를 추출하는 방법 및 이를 적용하는 시스템을 제시한다.One or more embodiments described below suggest a method of detecting a pupil using a visible ray camera and extracting motion information of the pupil through the detection, and a system applying the same.
본 개시는 기존의 IR 카메라를 이용해 동공(pupil)을 촬영하여 동공의 움직임 데이터를 추출했던 종래의 방식과는 달리 가시광선 카메라, 즉 RGB 카메라를 이용해서 동공의 중심 좌표를 추론하여 이를 이용해 동공의 움직임을 정확하게 추적할 수 있는 방법 및 시스템을 제시한다. Unlike the conventional method of extracting motion data of the pupil by photographing the pupil using a conventional IR camera, the present disclosure infers the center coordinates of the pupil using a visible ray camera, that is, an RGB camera, and uses this to infer the pupil's movement data. A method and system capable of accurately tracking movement are presented.
도1은 IR 카메라와 RGB 카메라에 의한 얼굴 이미지를 비교해 보인다.Figure 1 shows a comparison of face images by an IR camera and an RGB camera.
도1은 도시된 바와 같이 RGB 카메라(RGB Camera)에 의해 얻어진 눈 이미지는 IR 카메라(IR Camera)에 의해 얻어진 눈 이미지에 비해 노이즈가 많을 뿐 아니라 개인별로 눈의 위치와 크기가 다를 뿐 아니라 홍채와 동공의 구분이 명확하지 않고 이로 인해 동공의 추적이 어렵다.As shown in FIG. 1, the eye image obtained by the RGB camera not only has more noise than the eye image obtained by the IR camera, but also the position and size of the eye for each individual is different, and the iris and The division of the pupils is not clear, which makes it difficult to track the pupils.
이하의 실시 예의 설명에서 이해되는 본 발명에 따르면, 얼굴 이미지는 RGB 카메라에 의해 획득하고, 얼굴 검출 및 얼굴 특징점 검출을 기반으로 눈의 중심 좌표가 추출되고 이를 이용해 동공의 중심 좌표가 추론되며, 이를 이용해 실제적으로는 동공의 움직임 정보의 추출 및 이를 이용한 다양한 응용 분야에 적용이 가능하게 된다. 이러한 본 발명의 방법은 웹 카메라를 갖춘 영상 시스템(Vision system)을 갖춘 시스템에에 의해 처리되고 분석된다.According to the present invention, which will be understood from the description of the following embodiments, a face image is obtained by an RGB camera, and eye center coordinates are extracted based on face detection and facial feature point detection, and pupil center coordinates are inferred using this. In practice, it is possible to extract pupil motion information and apply it to various application fields using it. This method of the present invention is processed and analyzed by a system equipped with a vision system equipped with a web camera.
이러한 본 발명 시스템은 RGB 동영상 카메라를 포함하는 영상 장비 및 촬영된 동영상을 처리하는 영상 처리부 및 이를 분석하는 분석부를 포함하는 컴퓨터 기반의 분석 시스템에 의해 수행되었으며, 상기 분석부에는 분석 알고리즘을 포함하는 소프트웨어에 의해 제공되는 분석툴을 포함할 수 있다.The system of the present invention is performed by a computer-based analysis system including an image equipment including an RGB video camera, an image processor for processing a captured video, and an analysis unit for analyzing it, and the analysis unit includes software including an analysis algorithm. It may include analysis tools provided by
도8은 본 개시의 한 실시 예에 따른 RGB 영상 기반 동공 검출 시스템의 개략적 구성을 보이는 블록 다이어그램이다.8 is a block diagram showing a schematic configuration of an RGB image based pupil detection system according to an embodiment of the present disclosure.
도8에 도시된 바와 같이, 동공 검출 시스템은 피험자 또는 사용자 (P1)의 상체 또는 얼굴을 가시광선 카메라 (110), 카메라 (110)로부터 획득한 영상을 처리하는 영상 처리부 (120), 영상 처리부로부터의 얼굴 특징점 검출에 의해 동공 정보를 추출하는 분석부 (130), 분석된 결과를 해당 사용자에게 보여주는 디스플레이 (140)를 구비한다.As shown in FIG. 8, the pupil detection system includes a
상기 분석부 (130)는 후술하는 영상 정보 분석 알고리즘을 포함하는 소프트웨어를 주된 기반으로 구성되며, 일부 하드웨어를 한 부분요소로 포함할 수 있다. The
상기와 같은 시스템에 의해 수행되는 본 개시에 따른 동공 검출 방법의 실시 예는 크게 아래와 같은 3 단계의 과정을 포함한다.An embodiment of the pupil detection method according to the present disclosure performed by the system as described above largely includes the following three steps.
I. 얼굴 정렬(Face Alignment): 피험자의 상체 영상에서 얼굴 영역을 찾아 정렬하고, 정렬된 얼굴 이미지를 생성한다.I. Face Alignment: Find and align face regions in the subject's upper body image, and create aligned face images.
II. 관심 영역 추출(ROI Extraction): 정렬된 얼굴 이미지에서 관심 영역(Region Of Interest)인 눈 영역을 추출한다.II. ROI Extraction: An eye region, which is a region of interest, is extracted from the aligned face image.
III. 동공 검출(Pupil Detection): 추출된 눈 영역 내에서 동공을 검출한다.III. Pupil Detection: Pupils are detected within the extracted eye area.
검출된 동공의 중심좌표를 매 프레임마다 추출함으로써, 궁극적으로 사용자의 시선이 어디를 바라보는지, 얼마나 머무는지 등을 분석이 가능한 동공 움직임 정보가 추출된다.By extracting the center coordinates of the detected pupil for each frame, pupil movement information that can ultimately analyze where the user's gaze is looking and how long it stays is extracted.
아래에서 상기 I, II, III 등의 3 단계를 개별적으로 상세히 설명한다.Below, the three steps I, II and III will be individually described in detail.
I. 얼굴 정렬(Face Alignment)I. Face Alignment
웹 카메라로 취득된 영상 이미지에서 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역을 정렬 후 동일한 해상도로 고정하여 추출하기 위한 과정이다. 다음과 같은 단계로 진행된다.This is a process of detecting a user's face region from a video image acquired by a web camera, arranging the detected face region, fixing the detected face region to the same resolution, and then extracting the face region. It proceeds in the following steps.
1. Facial Video Acquisition1. Facial Video Acquisition
가시광선 카메라, 예를 들어 RGB 웹 카메라를 이용해 소정의 프레임 레이트, 예를 들어 30 fps로 얼굴이 포함된 피험자의 상체를 촬영한다.The upper body of the subject including the face is photographed at a predetermined frame rate, for example, 30 fps, using a visible ray camera, for example, an RGB web camera.
2. Face Detection 2. Face Detection
얼굴의 검출에는 기존의 다양한 방법이 적용될 수 있다. 본 실시 예서는HOG(Histogram of Oriented Gradient) 특징(feature)을 이용하여 학습시킨 SVM(Support Vector Machine)으로 영상으로부터 얼굴 영역을 검출한다. 도2의 (A)는 피험자로 부터 촬영된 상체 영상에서 사각의 얼굴영역이 검출된 상태를 보인다.Various existing methods may be applied to face detection. In this embodiment, a face region is detected from an image with a Support Vector Machine (SVM) trained using a Histogram of Oriented Gradient (HOG) feature. 2(A) shows a state in which a square face region is detected in an upper body image captured from a subject.
3. Facial Landmark Detection3. Facial Landmark Detection
검출한 얼굴 영역 내에서 얼굴 특징점(Landmark)을 검출한다. 여기에서, 예를들어, 사용자의 눈, 코, 입, 눈썹, 얼굴 윤곽의 위치를 표현한 68개의 특징점을 검출한다. 도2의 (B)는 피험자의 상체 영상으로부터 얻어진 사각의 얼굴 영역에 랜드마크가 검출된 상태를 보인다.A facial feature point (Landmark) is detected within the detected face area. Here, for example, 68 feature points representing the positions of the user's eyes, nose, mouth, eyebrows, and facial contours are detected. 2(B) shows a state in which a landmark is detected in a square face region obtained from an image of a subject's upper body.
4. Face Alignment4. Face Alignment
전 단계에서 검출된 얼굴 특징점을 이용하여 검출된 얼굴의 돌아간 정도를 인식 후 올바른 정면 얼굴이 되도록 정렬한다. 또한 정렬된 이미지가 동일한 해상도로 유지되도록 사이즈를 조절한다. 도3a는 입력(Input) 영상에 대해 얼굴 정렬에 의해 얻어진 출력(Ouput) 영상을 예시적으로 보인다.After recognizing the degree of rotation of the detected face using the facial feature points detected in the previous step, it is aligned so that it is the correct frontal face. It also resizes the aligned images to keep them at the same resolution. 3A shows an output image obtained by face alignment with respect to an input image as an example.
상기 얼굴 정렬에 사용된 알고리즘은 Adrian의 방법(Face Alignment with OpenCV and Python)이며, 다음과 같은 구체적인 과정을 통해 정렬된 이미지(Output)를 생성한다.The algorithm used for the face alignment is Adrian's method (Face Alignment with OpenCV and Python), and an aligned image (Output) is generated through the following specific process.
4.1 얼굴이 돌아간 정도 인식 (Detection Face Roll)4.1 Detection Face Roll
본 실시 예에서는 얼굴이 돌아간 상태의 머리 포즈(Head Pose)로서 얼굴의 좌우로 돌아간(기울어진) 정도, 즉 롤(Roll)의 크기를 계산한다.In this embodiment, as the head pose in which the face is turned, the degree of turning (inclining) the left and right of the face, that is, the size of the roll is calculated.
왼쪽 눈의 얼굴 특징점 n개와 오른쪽 눈의 얼굴 특징점 n개의 좌표에 대해 각각 평균 내어 양쪽 두 눈의 중심 좌표(Ex, Ey) 를 구한다. 식으로 표현하면 다음과 같으며, 특징점의 수(n)는 "6"으로 설정하였다.Center coordinates (Ex, Ey) of both eyes are obtained by averaging the coordinates of n facial feature points of the left eye and n facial feature points of the right eye, respectively. Expressed as an equation, it is as follows, and the number of feature points (n) is set to "6".
위와 같은 두 계산식에 의해 두 눈 각각의 중심 좌표(Ex, Ey)를 구한 후, 두 눈의 x좌표 간의 차이 dx와 y좌표 간의 차이 dy 를 구한 뒤, arctan 연산을 이용하여 좌우 고개 움직임 돌아간 각도(θ), 구체적으로 한 쪽 눈(Eye 1)에 대해 다른 쪽 눈(Eye 2)의 기울기 각도(θ)를 계산한다.After obtaining the center coordinates (Ex, Ey) of each of the eyes by the above two calculation formulas, obtaining the difference between the x-coordinates dx and the y-coordinate dy of the two eyes, and then using the arctan operation to calculate the left and right head movement angle ( θ ), specifically, the inclination angle ( θ ) of the other eye (Eye 2) with respect to one eye (Eye 1) is calculated.
4.2 얼굴 해상도 비율 구하기4.2 Finding face resolution ratio
Face Alignment 의 결과로 얻게 되는 정렬된 이미지는 다음과 같은 조건을 만족하도록 하는 스케일링 비율을 계산한다. 도3b는 정렬된 이미지에 대한 1:1:1 비율의 스케일링의 결과를 보인다.The aligned image obtained as a result of Face Alignment calculates the scaling ratio that satisfies the following conditions. Fig. 3b shows the result of a 1:1:1 scaling of the aligned image.
도3b에 도시된 바와 같이 두 눈의 중심 간의 간격(d)를 격자 상으로 분할된 정사각형 단위 영역의 한 변 폭으로 설정하여 전체 이미지의 너비(w=Wpxn)와 높이(h=Hpxn)를 A:A:A 또는A:B:A, 예를 들어 1:1:1 또는 1:2:1 또는 1.5:2:1.5의 비율로 수직, 수평 방향으로 분할하여 전체적으로 9분할된 단위 영역을 얻는다. 이때에, 본 실시 예에서는 상기 정렬된 이미지 사이즈(Wpxn*Hpxn)는 256*256 픽셀로 설정할 수 있으며, 이때에 상기한 조건을 만족하는 스케일 팩터(Scale factor, F scale)는 다음과 같은 연산에 의해 구할 수 있다.As shown in FIG. 3B, the width (w = Wpxn) and height (h = Hpxn) of the entire image are set by setting the distance (d) between the centers of the two eyes to the width of one side of the square unit area divided on the grid. :A:A or A:B:A, for example, 1:1:1 or 1:2:1 or 1.5:2:1.5. By dividing in the vertical and horizontal directions, a unit area divided into 9 units as a whole is obtained. At this time, in this embodiment, the aligned image size (Wpxn*Hpxn) can be set to 256*256 pixels, and at this time, the scale factor ( F scale ) that satisfies the above condition is calculated in the following operation. can be obtained by
아래 식은 얼굴 이미지에서 좌우 눈의 중심 간의 거리(d)를 계산한다.The equation below calculates the distance (d) between the centers of the left and right eyes in the face image.
아래의 얼굴 이미지를 1:1:1로 3분할했을 때의 단위 영역의 수평 또는 수직 픽셀 수(dobj)를 계산한 후, 스케일 팩터(F scale)를 계산한다.After calculating the number of horizontal or vertical pixels (d obj ) of the unit area when the face image below is divided into three 1:1:1 ratios, the scale factor ( F scale ) is calculated.
4.3 아핀 변환(Affine Transformation)4.3 Affine Transformation
이미지상의 얼굴의 비율을 보존하는 변환 방법인 아핀 변환(Affine Transformation) 을 통해 4.1 단계와 4.2 단계에서 구한 기울기 각도(Angle, θ) 만큼 회전하고, 스케일 팩터(F scale )로 이미지에 대한 스케일링을 수행한다.Through Affine Transformation, a conversion method that preserves the ratio of the face on the image, rotates by the tilt angle ( Angle , θ ) obtained in Steps 4.1 and 4.2, and scales the image with a scale factor (F scale ). do.
상기한 기울기 각도에 의한 회전, 스케일 팩터에 따른 스케일 변환을 위한 행렬은 Opencv에서 제공하는 cv2.getRotationMatrix2D() 함수를 이용해 구할 수 있다.The matrix for rotation by the tilt angle and scale conversion according to the scale factor can be obtained using the cv2.getRotationMatrix2D() function provided by Opencv.
Opencv에서는 각도 기준이 반시계 방향이기 때문에, 구해진 기울기 각도(θ)을 그대로 사용하여 아핀 변환을 진행한다. 이때에, 기울기 각도(θ) 만큼 이미지를 회전시키면서, 스케일 팩터에 따라 이미지 스케일링을 진행하며, 이를 위한 회전 변환 매트릭스(M rotation Angle), 스케일 변환 매트릭스(Mscale), 그리고, 아핀 변환 매트릭스(M affine )는 다음과 같이 정의될 수 있다.Since the angle reference is counterclockwise in Opencv, the obtained tilt angle ( θ ) is used as it is to proceed with the affine transformation. At this time, the image is scaled according to the scale factor while rotating the image by the tilt angle ( θ ), and for this, a rotation transformation matrix ( M rotation Angle ), a scale transformation matrix (M scale ), and an affine transformation matrix (M affine ) can be defined as:
(θ = - Angle)( θ = - Angle )
(Sx = Sy = Fscale)(S x = S y = Fscale)
(t x , t y 는 회전 변환을 이미지의 중심을 기준으로 진행하기 위한 이동 행렬값)( t x , t y are the translation matrix values for performing the rotation transformation based on the center of the image)
위와 같은 안면 정렬을 위한 여러 과정을 통해 정렬된 얼굴 이미지는 다음의관심 영역 추출 단계의 입력으로 사용된다.The face image aligned through the various processes for face alignment as above is used as an input for the next ROI extraction step.
II. 관심영역추출(ROI Detection)II. ROI Detection
이 단계에서는 정렬된 얼굴 이미지에서 관심 영역(Region of Interest)인 눈 영역을 추출한다. 눈 영역은 얼굴 특징점을 이용하여 추출되며, 다음과 같은 단계로 진행된다. 도4a는 전단계에서 얻어진 정렬된 얼굴 이미지(input)와 이로 부터 ROI가 검출된 얼굴 이미지(output)를 예시하며, 도4b는 눈 영역의 추출을 설명하기 위한 얼굴 이미지의 부분 확대 사진이다.In this step, an eye region, which is a region of interest, is extracted from the aligned face images. The eye area is extracted using facial feature points, and proceeds in the following steps. Fig. 4a illustrates the aligned face image (input) obtained in the previous step and the face image (output) from which the ROI is detected, and Fig. 4b is a partially enlarged photograph of the face image for explaining eye region extraction.
1. Face Detection1. Face Detection
얼굴 검출 방법의 하나인 HOG(Histogram of Oriented Gradient) 특징(feature)을 이용하여 미리 학습시킨 SVM(Support Vector Machine)으로 정렬된 얼굴 이미지(input)로 부터 얼굴 영역을 검출한다.A face region is detected from face images (input) aligned with a pre-learned Support Vector Machine (SVM) using a Histogram of Oriented Gradient (HOG) feature, which is one of the face detection methods.
2. Facial Landmark Detection2. Facial Landmark Detection
검출한 얼굴 영역 내에서 사용자의 눈, 코, 입, 눈썹, 얼굴 윤곽의 위치를 표현한 68개의 특징점을 검출한다.Within the detected face area, 68 feature points representing the positions of the user's eyes, nose, mouth, eyebrows, and facial contours are detected.
3. Eye Region Extraction3. Eye Region Extraction
이 단계에서는 얼굴 특징점을 이용한 눈 영역의 추출이 수행된다. 한 실시 예에 따라, 본 실시 예에서 눈을 표현하는 또는 눈의 경계를 따라 형성되는 12개의 특징점 전부 또는 일부를 이용해 정렬된 안명 영상에서 눈 영역을 추출한다.In this step, the eye region is extracted using facial feature points. According to an embodiment, the eye region is extracted from the aligned eyesight image using all or part of 12 feature points representing the eye or formed along the boundary of the eye in this embodiment.
도4b를 참조하면서 눈 영역의 추출을 설명한다.The extraction of the eye region will be described with reference to FIG. 4B.
본 실시 예에서는, 눈을 표현하는 12개의 특징점 중 가장 큰 값의 x 좌표와 가장 작은 x값의 좌표, 가장 큰 값의 y 좌표, 그리고 가장 작은 값의 y 좌표를 기준으로 삼고, 기준 x, y좌표 값에서 고정된 값, 예를 들어, 5 pixel을 을 증가, 감소시킨 후 만들어진 영역을 추출하였다. 도4b에서 좌우 눈의 각각의 상하 좌우에 한쌍씩의 수직 수평 선이 배치되어 있다. In this embodiment, the x-coordinate of the largest value, the coordinate of the smallest x-value, the y-coordinate of the largest value, and the y-coordinate of the smallest value among the 12 feature points representing the eye are taken as standards, and the reference x, y The area created after increasing or decreasing a fixed value, for example, 5 pixels, was extracted from the coordinate values. In FIG. 4B, a pair of vertical and horizontal lines are arranged on the left and right sides of each of the left and right eyes.
도4b에서, 점선 형태으로 표현된 VL1, HL1은 양안 각각의 특징점 중, 최고 및 최저의 x, y 기준 좌표를 통과하는 수직선이며, 실선으로 표현된 VL2, HL2는 상기 VL1, HL1을 고정값, 본 실시 예에서는 5 pixel 을 눈으로부터 멀어지는 방향으로 수직 수평 방향으로 증가시킨 좌표를 통과하는 수직선이다.In FIG. 4B, VL1 and HL1 represented by dotted lines are vertical lines passing through the highest and lowest x and y reference coordinates among feature points of each eye, and VL2 and HL2 represented by solid lines represent VL1 and HL1 as fixed values, In this embodiment, it is a vertical line passing through coordinates obtained by increasing 5 pixels in the vertical and horizontal directions in the direction away from the eye.
그리고, 도4b에서 양안 각각을 감싸는 사각형의 ROI는 상기 양안 좌우의 VL2와 상하 HL2에 의해 가두어진 영역이다. 즉, 상기 ROI는 양안의 x, y 기준에서 임의 값, 예를 들어 상하 좌우 5pixel 확장된 크기의 면적을 가진다.And, in FIG. 4B, the rectangular ROI surrounding each of the both eyes is an area confined by the left and right VL2 and the upper and lower HL2 of the both eyes. That is, the ROI has an area of an arbitrary value, for example, an area expanded by 5 pixels in the upper, lower, left, and right directions based on the x and y criteria of both eyes.
상기와 같이 검출된 ROI는 다음의 동공 검출(Pupil Detection)의 입력으로 사용된다.The ROI detected as described above is used as an input for the next pupil detection (Pupil Detection).
III. 동공 검출 (Pupil Detection)III. Pupil Detection
상기 과정에서 얻어진 ROI 내에서 동공을 이루는 원과 그 중심 좌표가 추출되는데 여기에는 수학적 모델링 통해 원을 찾는 원형 검출 알고리즘, 예를 들어 HCT(Hough Circle Transform)가 이용될 수 있다.A circle constituting the pupil and its center coordinates are extracted from the ROI obtained in the above process, and a circle detection algorithm for finding a circle through mathematical modeling, for example, HCT (Hough Circle Transform) may be used.
HCT의 수행에는 라이브러리 형태의 Opencv에서 제공하는cv2.HoughCircles 함수를 이용되었다. 도5는 ROI로 부터 동공을 추출하는 일례의 전과정을 개략적으로 보이며, 도6은 ROI 이미지로 부터 동공에 상응하는 원형을 검출하는 구체적 방법의 일례를 예시하며, 그리고, 도7은 원형 검출 방법 중 Hough Gridient에 의한 원형 검출을 설명한다.To perform HCT, the cv2.HoughCircles function provided by Opencv in the form of a library was used. Figure 5 schematically shows the entire process of an example of extracting a pupil from an ROI, Figure 6 illustrates an example of a specific method of detecting a circle corresponding to a pupil from an ROI image, and Figure 7 is a circle detection method. Circular detection by Hough Gridient is explained.
1. Gray Scale1. Grayscale
RGB 눈 영역 이미지를 그레이스케일 이미지로 변환한다.Convert an RGB eye region image to a grayscale image.
여기에서 원형 이미지(RAW IMAGE)가 영상 촬영 당시 그레이 스케일로 획득될 수 있으며, 이 경우 별도의 그레이 스케일 변환은 수행하지 않아도 된다.Here, the original image (RAW IMAGE) can be obtained in gray scale at the time of video capture, and in this case, a separate gray scale conversion is not required.
2. Gaussian Blur2. Gaussian Blur
가우시안 필터(Gaussian filter)를 적용하여 그레이스케일 이미지를 블러(Blur) 처리하여 스무싱(smoothing) 한다.By applying a Gaussian filter, the grayscale image is blurred and smoothed.
3. Circle Detection3. Circle Detection
이 단계에서 동공 테두리에 대응하는 원형을 검출한다. 이 단계에서, 예를 들어 Hough Circle Transform을 수행하며, 이때에 cv2.HoughCircles 함수를 이용하여 Canny edge 를 검출(Edge detection)하고 그 이후에 Hough gradient 에 의해 원형을 검출(Circle Detection)할 수 있다.In this step, a circle corresponding to the pupil edge is detected. In this step, for example, Hough Circle Transform is performed. At this time, Canny edge can be detected using the cv2.HoughCircles function (Edge detection), and then the circle can be detected by Hough gradient (Circle Detection).
도7에 도시된 바와 같이, 하나의 이미지 상의 한 점을 지나는 원은 무수히 많을 수 있으며, 이러한 원들 중에는 다른 점을 함께 포함하는 원이 있을 수 있다. Hough Rradient 알고리즘은 이러한 점의 개수를 가지고 원을 판단하는 알고리즘으로, Canny edge 결과의 점들 중 하나의 원에 포함되는 점의 개수가 설정한 임계치를 넘을 경우 원으로 인식하게 된다. 이러한 원형 검출에 따르면, 도6에 도시된 바와 같이 하나의 ROI로 부터 (A) 원이 검출되지 않거나 (Detected circle=0), (B) 하나의 원이 검출 (B, Detected circle=1) 되거나 또는 (C) 복수의 원이 검출(Detected circle=2) 될 수 있다.As shown in FIG. 7, there may be an infinite number of circles passing through one point on one image, and among these circles there may be circles that include other points together. The Hough Rradient Algorithm is an algorithm that determines a circle with the number of points. If the number of points included in one circle among the points of the Canny edge result exceeds a set threshold, it is recognized as a circle. According to this circular detection, as shown in FIG. 6, (A) a circle is not detected from one ROI (Detected circle = 0), (B) one circle is detected (B, Detected circle = 1), or Or (C) a plurality of circles may be detected (Detected circle = 2).
위 (A), (B), (C) 의 각 경우에 대한 처리는 다음과 같이 이루어 질 수 있다.The processing for each case of (A), (B), and (C) above can be done as follows.
(A) 검출된 원이 없을 경우(A) When there is no circle detected
추출된 눈 영역에서 빛 반사, 눈썹 등의 노이즈로 인해 동공의 원의 특징이 잘 나타나지 않은 경우이다. 모폴로지(Morphology) 연산 기법 중 하나인 열림(opening) 연산을 통해 전처리를 진행하여 동공의 원의 특징이 더욱 선명하게 나타날 수 있도록 한 다음, 다시 HCT(Hough Circle Transform)을 진행한다.This is a case where the characteristics of the circle of the pupil are not well represented due to noise such as light reflection and eyebrows in the extracted eye region. Preprocessing is performed through an opening operation, which is one of morphology operation techniques, so that the characteristics of the pupil circle can be displayed more clearly, and HCT (Hough Circle Transform) is performed again.
(B) 검출된 원이 1개일 경우 (B) If there is only one circle detected
HCT를 을 통해 올바르게 동공이 검출된 경우이다. 추출된 원의 중심좌표를 동공 중심 좌표로써 반환한다.This is the case where the pupil was correctly detected through HCT. The coordinates of the center of the extracted circle are returned as the coordinates of the center of the pupil.
(C) 검출된 원이 2개 이상일 경우(C) If there are two or more circles detected
추출된 눈 영역에서 빛 반사로 인한 노이즈나 Hough Circle Transform의 연산 오차로 두 개 이상의 원이 검출되는 경우이다. 검출된 원들의 중심 좌표(x, y)를 평균 내어 구한 값을 동공 중심 좌표로써 연속적으로 반환하여 이의 최종 출력으로 얻는다.This is a case where two or more circles are detected due to noise due to light reflection or calculation error of Hough Circle Transform in the extracted eye area. A value obtained by averaging the center coordinates (x, y) of the detected circles is continuously returned as the center coordinate of the pupil to obtain the final output.
이러한 중심좌표에 대한 연속적 최종 출력은 피험자의 시선 방향을 판단할 수 있다.The continuous final output of these central coordinates can determine the subject's gaze direction.
위와 같은 과정을 통해 추출된 동공 중심 좌표는 이미지 영상 내에서 사용자의 시선이 어디를 보고 있는지, 얼마나 오래 머무는지를 판단하기 위한 지표로써 쓰일 수 있다.The pupil center coordinates extracted through the above process can be used as an index for determining where the user's gaze is looking and how long it stays in the image.
이러한 본 발명에 따르면, 범용의 웹 카메라를 이용하여 동공의 움직임 또는시선 추적이 가능해 진다. 이러한 본 발명은 적외선 카메라에 비해 홍채 영역의 검출이 어려웠던 종래의 기술의 문제를 개선할 수 있게 된다.According to the present invention, it is possible to track pupil movement or gaze using a general-purpose web camera. The present invention can improve the problem of the prior art, which was difficult to detect the iris region compared to infrared cameras.
본 발명의 실시 예에 따른 동공 추적 방법 및 이를 적용하는 시스템의 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다The pupil tracking method according to an embodiment of the present invention and the embodiment shown in the drawings have been described with reference to help understanding of the system to which the same is applied, but this is only exemplary, and those with ordinary knowledge in the art can learn from this It will be appreciated that various modifications and other equivalent embodiments are possible. Therefore, the true technical protection scope of the present invention should be defined by the appended claims.
Claims (15)
영상 처리부에 의해 상기 얼굴 이미지로부터 좌우 눈의 얼굴 특징점(landmark)를 검출하는 단계;
분석부에 의해 상기 좌우 눈의 얼굴 특징점을 이용해 좌우 동공의 중심 좌표를 추출하는 단계;
좌우 눈의 중심 좌표로 부터 좌우 눈 중심 간의 거리를 산출하고, 상기 눈 중심간 거리에 기초하여 상기 좌우 눈과 좌우 눈 양측의 얼굴 측면 부분이 포함되는 얼굴 영역의 기준 얼굴 이미지를 선택하는 단계;
상기 기준 얼굴 이미지로 부터 좌우 눈의 얼굴 특징점을 검출하여 관심 영역(ROI)인 눈 영역을 추출하는 단계;
상기 눈 영역에 대한 원형 검출 방법에 의해 상기 눈 영역에서 양측 동공을 검출하는 단계; 그리고
상기 양측 동공의 중심 좌표를 추출하는 단계;를 포함하는, 얼굴 특징점에 기초한 동공 검출 방법.obtaining a face image by photographing the subject's face using a camera;
detecting facial landmarks of the left and right eyes from the face image by an image processing unit;
extracting central coordinates of the left and right pupils using facial feature points of the left and right eyes by an analysis unit;
calculating a distance between the centers of the left and right eyes from center coordinates of the left and right eyes, and selecting a reference face image of a face region including side parts of the face of both the left and right eyes based on the center-to-eye distance;
extracting an eye region as a region of interest (ROI) by detecting facial feature points of the left and right eyes from the reference face image;
detecting both pupils in the eye region by a circular detection method for the eye region; and
Extracting center coordinates of the pupils on both sides; including, a pupil detection method based on facial feature points.
상기 양측 눈의 중심 좌표를 이용해 안면의 기울기 각(θ)을 계산하고,
상기 기울기 각에 따라 상기 얼굴 이미지를 회전시켜 상기 얼굴 영역을 정렬하는 얼굴 이미지 정렬 단계;를 더 포함하는 얼굴 특징점을 이용한 동공 검출 방법.According to claim 1,
Calculate the inclination angle ( θ ) of the face using the central coordinates of the eyes of both sides,
A facial image aligning step of aligning the facial region by rotating the facial image according to the inclination angle; the pupil detection method using facial feature points.
상기 기준 얼굴 이미지는 상기 눈 중심 간의 거리에 기초하여 기설정된 크기의 영상으로 스케일링하여 기준 얼굴 이미지를 소정 크기의 이미지로 변환한 후, 상기 관심 영역(ROI)을 추출하도록 되어 있는, 얼굴 특징점에 기초한 동공 검출 방법.According to claim 1,
The reference facial image is scaled to an image of a predetermined size based on the distance between eye centers to convert the reference facial image into an image of a predetermined size, and then extract the region of interest (ROI) based on facial feature points. pupil detection method.
상기 기준 얼굴 이미지는 A:B:A 비율(A, B는 서로 같거나 다른 양의 수)로 수직 방향과 수평 방향으로 3분할되어 전체적으로 격자상으로 9분할된 단위 영역을 포함하며,
상기 격자상 9분할된 단위 영역 중, 정중앙의 중심 영역의 상부 양측의 두 코너의 좌표에 상기 양측 눈의 중심이 위치하도록 되어 있는, 얼굴 특징점을 이용한 동공 검출 방법.According to claim 1,
The reference face image includes a unit area that is divided into 3 vertical and horizontal directions at an A:B:A ratio (A and B are equal or different positive numbers) and is divided into 9 units in a grid pattern as a whole,
The pupil detection method using facial feature points, wherein the centers of the eyes of both eyes are located at the coordinates of two corners on both sides of the upper part of the central region of the center among the unit regions divided into 9 on the grid.
상기 기준 얼굴 이미지는 수직 수평 방향으로 각각 1:1:1로 9분할되어 9분할된단위 영역이 동일한 크기의 정사각 구조를 가지는, 얼굴 특징점을 이용한 동공 검출 방법.According to claim 4,
The reference face image is divided into 9 parts in a vertical and horizontal direction of 1: 1: 1, respectively, so that the 9 divided unit areas have a square structure of the same size.
상기 동공 중심 간의 거리에 기초한 스케일링 팩터를 구하여, 상기 기준 얼굴 이미지는 상기 스케일링 팩터를 이용하여 기설정된 크기의 영상으로 스케일링하여 기준 얼굴 이미지를 소정 크기의 이미지로 변환하도록 되어 있는, 얼굴 특징점에 기초한 동공 검출 방법.According to claim 4 or 5,
A scaling factor based on the distance between the pupil centers is obtained, and the reference face image is scaled to an image of a predetermined size using the scaling factor to convert the reference face image into an image of a predetermined size. detection method.
상기 동공의 검출은 Hough Circle 검출 방법을 적용하는, 얼굴 특징점을 이용한 동공 검출 방법.According to claim 6,
The detection of the pupil is a pupil detection method using a facial feature point in which a Hough Circle detection method is applied.
상기 동공의 검출은 Hough Circle 검출 방법을 적용하는, 얼굴 특징점을 이용한 동공 검출 방법.According to any one of claims 1 to 5,
The detection of the pupil is a pupil detection method using a facial feature point in which a Hough Circle detection method is applied.
피험자의 얼굴 이미지를 촬영하는 가시광선 카메라;
상기 얼굴 이미지로부터 좌우 눈의 얼굴 특징점(landmark)를 검출하는 영상 처리부;
상기 좌우 눈의 얼굴 특징점을 이용해 좌우 눈의 중심 좌표를 추출하고 이를이용해 얼굴 영역의 기준 얼굴 이미지를 선택하고, 상기 기준 얼굴 이미지로부터 관심 영역(ROI)의 눈 영역을 추출하고, 상기 눈 영역으로부터 동공을 검출하고, 그리고 상기 동공으로부터 중심 좌표를 추출하는 분석부;를 포함하는 얼굴 특징점에 기초한 동공 검출 시스템.A pupil detection system performing the method of claim 1,
a visible ray camera that captures an image of the subject's face;
an image processing unit to detect facial landmarks of the left and right eyes from the face image;
The central coordinates of the left and right eyes are extracted using the facial feature points of the left and right eyes, and a reference face image of the face region is selected using the coordinates, the eye region of the region of interest (ROI) is extracted from the reference face image, and the pupil is extracted from the eye region. A pupil detection system based on facial feature points including an analysis unit that detects and extracts center coordinates from the pupil.
상기 분석부는, 상기 양측 동공의 중심 좌표를 이용해 안면의 기울기 각(θ)을 계산하고, 상기 기울기 각에 따라 상기 기준 얼굴 이미지를 회전시켜 상기 얼굴 영역을 정렬하는, 얼굴 특징점에 기초한 동공 검출 시스템.According to claim 9,
The analysis unit calculates an inclination angle ( θ ) of the face using the central coordinates of the pupils on both sides, and rotates the reference face image according to the inclination angle to align the face region. Pupil detection system based on facial feature points.
상기 관심 영역은 상기 동공 중심 간의 거리에 기초하여 기설정된 크기의 영상으로 스케일링된 기준 얼굴 이미지로부터 추출되는, 얼굴 특징점에 기초한 동공 검출 방법.According to claim 9,
The region of interest is extracted from a reference facial image scaled to an image of a predetermined size based on the distance between the pupil centers, the pupil detection method based on facial feature points.
상기 기준 얼굴 이미지는 A:B:A 비율(A, B는 서로 같거나 다른 양의 수)로 수직 방향과 수평 방향으로 3분할되어 전체적으로 격자상으로 9분할된 단위 영역을 포함하며,
상기 격자상 9분할된 단위 영역 중, 정중앙의 중심 영역의 상부 양측의 두 코너의 좌표에 상기 양측 동공의 중심이 위치하도록 되어 있는, 얼굴 특징점을 이용한 동공 검출 시스템.According to any one of claims 9 to 11,
The reference face image includes a unit area that is divided into 3 vertical and horizontal directions at an A:B:A ratio (A and B are equal or different positive numbers) and is divided into 9 units in a grid pattern as a whole,
The pupil detection system using facial feature points, wherein the centers of the pupils on both sides are located at coordinates of two corners on both sides of the upper part of the central region of the center of the unit region divided into 9 parts on the grid.
상기 기준 얼굴 이미지는 수직 수평 방향으로 각각 1:1:1로 9분할되어 9분할된 단위 영역이 동일한 크기의 정사각 구조를 가지는, 얼굴 특징점을 이용한 동공 검출 시스템.According to claim 12,
The reference face image is divided into 9 parts in a vertical and horizontal direction at a ratio of 1: 1: 1, so that the 9 divided unit regions have a square structure of the same size.
상기 동공의 검출은 Hough Circle 검출법을 적용하는, 얼굴 특징점을 이용한 동공 검출 시스템.According to claim 12,
The pupil detection system using a facial feature point, wherein the pupil detection method applies the Hough Circle detection method.
상기 동공의 검출은 Hough Circle 검출법을 적용하는, 얼굴 특징점을 이용한 동공 검출 시스템.According to any one of claims 9 to 11,
The pupil detection system using a facial feature point, wherein the pupil detection method applies the Hough Circle detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210135935A KR102583280B1 (en) | 2021-10-13 | 2021-10-13 | method for detection pupil by using a visual-light camera and system using the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210135935A KR102583280B1 (en) | 2021-10-13 | 2021-10-13 | method for detection pupil by using a visual-light camera and system using the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230052648A true KR20230052648A (en) | 2023-04-20 |
KR102583280B1 KR102583280B1 (en) | 2023-09-26 |
Family
ID=86143832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210135935A KR102583280B1 (en) | 2021-10-13 | 2021-10-13 | method for detection pupil by using a visual-light camera and system using the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102583280B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150001457A (en) * | 2013-06-27 | 2015-01-06 | 현대모비스 주식회사 | Pupil Tracking Auxiliary Lamp Control Device and the Method |
KR101706992B1 (en) * | 2016-01-27 | 2017-02-15 | 숭실대학교산학협력단 | Apparatus and method for tracking gaze, recording medium for performing the method |
KR101752873B1 (en) | 2016-09-19 | 2017-06-30 | 상명대학교산학협력단 | Method and system for extracting heart information of time domain |
KR20170120546A (en) | 2017-10-20 | 2017-10-31 | 상명대학교산학협력단 | Method and system for extracting Heart Information of Frequency domain by using pupil size variation |
KR20180095431A (en) | 2017-02-17 | 2018-08-27 | 상명대학교산학협력단 | Method and system for detecting of Time Domain in Heart by using Noncontact Measurement of Pupillary Variation |
KR101999318B1 (en) | 2017-02-17 | 2019-07-12 | 상명대학교산학협력단 | Method and System for detecting Frequency Domain Parameter in Heart by using Pupillary Variation |
KR102165831B1 (en) | 2017-02-17 | 2020-10-14 | 상명대학교산학협력단 | Method and system for detecting Brain-Heart Connectivity by using Pupillary Variation |
-
2021
- 2021-10-13 KR KR1020210135935A patent/KR102583280B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150001457A (en) * | 2013-06-27 | 2015-01-06 | 현대모비스 주식회사 | Pupil Tracking Auxiliary Lamp Control Device and the Method |
KR101706992B1 (en) * | 2016-01-27 | 2017-02-15 | 숭실대학교산학협력단 | Apparatus and method for tracking gaze, recording medium for performing the method |
KR101752873B1 (en) | 2016-09-19 | 2017-06-30 | 상명대학교산학협력단 | Method and system for extracting heart information of time domain |
KR20180095431A (en) | 2017-02-17 | 2018-08-27 | 상명대학교산학협력단 | Method and system for detecting of Time Domain in Heart by using Noncontact Measurement of Pupillary Variation |
KR101999318B1 (en) | 2017-02-17 | 2019-07-12 | 상명대학교산학협력단 | Method and System for detecting Frequency Domain Parameter in Heart by using Pupillary Variation |
KR20200019162A (en) | 2017-02-17 | 2020-02-21 | 상명대학교산학협력단 | Method and system for detecting of Time Domain in Heart by using Noncontact Measurement of Pupillary Variation |
KR102165831B1 (en) | 2017-02-17 | 2020-10-14 | 상명대학교산학협력단 | Method and system for detecting Brain-Heart Connectivity by using Pupillary Variation |
KR20170120546A (en) | 2017-10-20 | 2017-10-31 | 상명대학교산학협력단 | Method and system for extracting Heart Information of Frequency domain by using pupil size variation |
Non-Patent Citations (18)
Title |
---|
Beatty, J., and Kahneman, D. (1966). Pupillary changes in two memory tasks, Psychonomic Science, 5(10), 371-372. |
Beatty, J., and Lucero-Wagoner, B. (2000). The pupillary system, Handbook of Psychophysiology, 2, 142-162. |
Bebis, G., Georgiopoulos, M., da Vitoria Lobo, N., and Shah, M. (1999). Learning affine transformations. Pattern recognition, 32(10), 1783-1799. |
Chen, S., Epps, J., and Chen, F. (2013). An investigation of pupil-based cognitive load measurement with low cost infrared webcam under light reflex interference, In Engineering in Medicine and Biology Society (EMBC), 2013 35th Annual International Conference of the IEEE, 3202-3205. |
Daugman, J. (2004). How iris recognition works, Circuits and Systems for Video Technology, IEEE Transactions on, 14(1), 21-30. |
Fotiou, F., Fountoulakis, K. N., Tsolaki, M., Goulas, A., and Palikaras, A. (2000). Changes in pupil reaction to light in Alzheimer's disease patients: a preliminary report, International journal of psychophysiology, 37(1), 111-120. |
Hakerem, G. A. D., and Sutton, S. (1966). Pupillary response at visual threshold, Nature, 212(5016), 485-486. |
Heller, P. H., Perry, F., Jewett, D. L., and Levine, J. D. (1990). Autonomic components of the human pupillary light reflex, Investigative Ophthalmology and Visual science, 31(1), 156-162. |
Hess, E. H., and Polt, J. M. (1964). Pupil size in relation to mental activity during simple problem-solving, Science, 143(3611), 1190-1192. |
Just, M. A., and Carpenter, P. A. (1993). The intensity dimension of thought: Pupillometric indices of sentence processing. Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Experimentale, 47(2), 310. |
Kahneman, D., and Beatty, J. (1966). Pupil diameter and load on memory, Science, 154(3756), 1583-1585. |
Klingner, J., Kumar, R., and Hanrahan, P. (2008). Measuring the task-evoked pupillary response with a remote eye tracker, In Proceedings of the 2008 symposium on Eye tracking research and applications, 69-72. |
Kojima, M., Shioiri, T., Hosoki, T., Kitamura, H., Bando, T., and Someya, T. (2004). Pupillary light reflex in panic disorder, European Archives of Psychiatry and Clinical Neuroscience, 254(4), 242-244. |
Loewenfeld, I. E., and Lowenstein, O. (1993). The pupil: Anatomy, physiology, and clinical applications (Vol. 2), Wiley-Blackwell. |
Partala, T., and Surakka, V. (2003). Pupil size variation as an indication of affective processing, International Journal of Human-Computer Studies, 59(1), 185-198. |
Steinhauer, S. R., Condray, R., and Kasparek, A. (2000). Cognitive modulation of midbrain function: task-induced reduction of the pupillary light reflex, International Journal of Psychophysiology, 39(1), 21-30. |
Verney, S. P., Granholm, E., and Dionisio, D. P. (2001). Pupillary responses and processing resources on the visual backward masking task, Psychophysiology, 38(01), 76-83. |
Yuen, H. K., Princen, J., Illingworth, J., and Kittler, J. (1990). Comparative study of Hough transform methods for circle finding. Image and vision computing, 8(1), 71-77. |
Also Published As
Publication number | Publication date |
---|---|
KR102583280B1 (en) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
Villanueva et al. | Hybrid method based on topography for robust detection of iris center and eye corners | |
Sun et al. | Real time gaze estimation with a consumer depth camera | |
Fogelton et al. | Eye blink detection based on motion vectors analysis | |
Ng et al. | Wrinkle detection using hessian line tracking | |
Torricelli et al. | A neural-based remote eye gaze tracker under natural head motion | |
Skodras et al. | Precise localization of eye centers in low resolution color images | |
CN108985210A (en) | A kind of Eye-controlling focus method and system based on human eye geometrical characteristic | |
Lin et al. | Real-time eye-gaze estimation using a low-resolution webcam | |
CN115482574B (en) | Screen gaze point estimation method, device, medium and equipment based on deep learning | |
KR20120006819A (en) | Gaze detection method and system adopting the same | |
de Lima Medeiros et al. | Efficient machine learning approach for volunteer eye-blink detection in real-time using webcam | |
Zhao et al. | Performance evaluation of visual object detection and tracking algorithms used in remote photoplethysmography | |
Yu et al. | An easy iris center detection method for eye gaze tracking system | |
Chaudhary et al. | Motion tracking of iris features to detect small eye movements | |
Wan et al. | Robust and accurate pupil detection for head-mounted eye tracking | |
CN114202795A (en) | Method for quickly positioning pupils of old people | |
Ghazali et al. | Novel automatic eye detection and tracking algorithm | |
Wang et al. | Using geometric properties of topographic manifold to detect and track eyes for human-computer interaction | |
KR102583280B1 (en) | method for detection pupil by using a visual-light camera and system using the method | |
CN112162629A (en) | Real-time pupil positioning method based on circumscribed rectangle | |
Wiśniewska et al. | Robust eye gaze estimation | |
Illavarason et al. | Comparative study and an improved algorithm for iris and eye corner detection in real time application | |
Yamamoto et al. | Algorithm optimizations for low-complexity eye tracking | |
Kondo et al. | Pupil center detection for infrared irradiation eye image using CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |