WO2021002556A1 - 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 - Google Patents

저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 Download PDF

Info

Publication number
WO2021002556A1
WO2021002556A1 PCT/KR2020/001827 KR2020001827W WO2021002556A1 WO 2021002556 A1 WO2021002556 A1 WO 2021002556A1 KR 2020001827 W KR2020001827 W KR 2020001827W WO 2021002556 A1 WO2021002556 A1 WO 2021002556A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
similarity
region
extracting
pupil position
Prior art date
Application number
PCT/KR2020/001827
Other languages
English (en)
French (fr)
Inventor
고병철
정미라
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Publication of WO2021002556A1 publication Critical patent/WO2021002556A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present invention relates to a method and apparatus for detecting a pupil position, and more particularly, to a method and apparatus for detecting a pupil position in real time for a low specification environment system.
  • the human gaze tracking technology is a technology that tracks the current gaze position of a person based on the movement of the pupils of both eyes of a person, and is used in various fields along with various devices.
  • gaze tracking technology is rapidly emerging as a core technology for user-device interaction, and gaze tracking technology is also used in various devices for convenient control without a specific controller.
  • UI technology the demand is increasing rapidly.
  • driver condition monitoring system can detect the driver's careless behavior or drowsiness in advance in the smart car market.It can be used in the field of biometrics for iris recognition, understanding consumer interest, and marketing analysis. It is being used and researched in various fields such as advertising for
  • Image-based pupil position detection can be classified into a method using a single camera and a method using an infrared camera, and a method using a single camera detects a pupil region through image analysis from an image captured based on visible light.
  • the method of using an infrared camera focuses on estimating the position of the pupil by analyzing the difference in reflectance between the iris and the pupil through infrared illumination and a near-infrared camera.
  • the method of using an infrared camera requires additional infrared lighting and an infrared camera device, and has a problem of poor performance for a user wearing glasses.
  • Patent Publication No. 10-1942759 (title of the invention: a method and system for detecting a pupil using a combination of a random forest and a fast radial symmetric transformation in a near-infrared image) has been disclosed.
  • the present invention has been proposed to solve the above-described problems of the previously proposed methods, and applies a fast radial symmetry transform (FRST) to an input eye image for fast pupil detection.
  • FRST fast radial symmetry transform
  • the pupil candidate region is estimated, and the spatiotemporal similarity of the left and right pupils is extracted in order to effectively exclude these regions and estimate the optimal pupil position because the pupil candidate regions include incorrect regions due to noise such as reflected light or eyelashes from the image.
  • FRST fast radial symmetry transform
  • a real-time pupil position detection method for a low-spec environmental system for achieving the above object,
  • FRST fast radial symmetry transform
  • step (0) More preferably, between step (0) and step (1),
  • an eye image is extracted using the detected landmark, and a fast radial symmetry transform (FRST) is applied based on the extracted eye image to obtain a pupil candidate region for the left and right eyes. Can be estimated.
  • FRST fast radial symmetry transform
  • (1-5) It may include the step of estimating a pupil candidate region for the left and right eyes based on the locations of the extracted pixels.
  • (2-2) It may include the step of extracting the spatial similarity.
  • step (2-1) More preferably, the step (2-1),
  • the movements of the left and right pupils can use characteristics having similar movements.
  • step (2-2) More preferably, the step (2-2),
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • (2-2-2) It may include the step of measuring the similarity of the constructed histogram.
  • (3-1) combining the temporal similarity and the spatial similarity with respect to the left and right pupil region pairs by weight, and extracting a representative similarity for the left and right pupil region pairs;
  • a candidate region estimation module for estimating pupil candidate regions for left and right eyes by applying a fast radial symmetry transform (FRST) to an image;
  • FRST fast radial symmetry transform
  • a similarity extracting module for extracting a spatiotemporal similarity with respect to pairs of left and right pupil regions composed of the estimated pupil candidate regions;
  • a pupil position detection module for determining an optimal binocular pupil position among the left and right pupil region pairs based on the extracted spatiotemporal similarity.
  • a face detection module for detecting a face region and a landmark from the collected image
  • An eye image may be extracted using the detected landmark, and a pupil candidate region for the left and right eyes may be estimated by applying a fast radial symmetry transform (FRST) based on the extracted eye image.
  • FRST fast radial symmetry transform
  • the candidate region estimation module calculates the candidate region estimation module
  • An eye region extracting unit that extracts an eye image and a size of an eye region from the image
  • An iris range setting unit configured to set a predicted iris range using the size of the eye area
  • a high-speed radiation symmetry transform unit for obtaining a plurality of radiation symmetry maps by applying a high-speed radiation symmetry transformation based on the eye image and the set iris range;
  • a candidate pixel extractor configured to extract a predetermined number of pixels by examining a radiation symmetry value in the plurality of radiation symmetry maps
  • the similarity extraction module Preferably, the similarity extraction module, the similarity extraction module, and
  • It may include a spatial similarity extractor for extracting the spatial similarity.
  • the temporal similarity extracting unit More preferably, the temporal similarity extracting unit,
  • the movements of the left and right pupils can use characteristics having similar movements.
  • the temporal similarity extracting unit Even more preferably, the temporal similarity extracting unit,
  • the vector for the pupil center position extracted from the previous frame and the center position of the pupil candidate region in the current frame are extracted for each of the left and right pupils, and the similarity of the two vectors is estimated by comparing the sizes and directions of the two vectors for the left and right pupils. can do.
  • the spatial similarity extracting unit More preferably, the spatial similarity extracting unit,
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • the spatial similarity extracting unit Even more preferably, the spatial similarity extracting unit,
  • An OCS-LBP feature histogram for the pupil region detected in the previous frame and the pupil candidate region in the current frame may be configured, and the similarity of the configured histogram may be measured.
  • the pupil position detection module Preferably, the pupil position detection module
  • a representative similarity extracting unit for extracting a representative similarity for the left and right pupil region pairs by weight-combining a temporal similarity and a spatial similarity for the left and right pupil region pairs;
  • It may include a pupil position determiner for selecting an optimal candidate pair based on the representative similarity value, and determining a center position of the selected candidate pair as an optimal pupil position.
  • a fast radial symmetry transform is applied to an input eye image for fast pupil detection to
  • the pupil candidate region is estimated, and the spatiotemporal similarity of the left and right pupils is extracted in order to effectively exclude these regions and estimate the optimal pupil position because the pupil candidate regions include incorrect regions due to noise such as reflected light or eyelashes from the image.
  • algorithms such as deep learning are excluded for high-speed processing, and various pupil positions, changes in lighting brightness, partial occlusion, and glasses are removed using only the optimized image processing algorithm. It can accurately detect the position of the pupil even on the worn object.
  • FIG. 1 is a view showing the overall flow of a real-time pupil position detection method and apparatus for a low-spec environmental system according to an embodiment of the present invention.
  • FIG. 2 is a view showing the flow of a real-time pupil position detection method for a low-spec environmental system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a flow of a pre-processing process in a method for real-time pupil position detection for a low-spec environmental system according to an embodiment of the present invention.
  • step S100 is a view showing a detailed flow of step S100 in the real-time pupil position detection method for a low-spec environment system according to an embodiment of the present invention.
  • step S200 is a view showing a detailed flow of step S200 in the real-time pupil position detection method for a low-spec environmental system according to an embodiment of the present invention.
  • FIG. 6 is a view showing a detailed flow of step S210 in the real-time pupil position detection method for a low-spec environmental system according to an embodiment of the present invention.
  • step S220 is a view showing a detailed flow of step S220 in the real-time pupil position detection method for a low-spec environmental system according to an embodiment of the present invention.
  • step S300 is a view showing a detailed flow of step S300 in the real-time pupil position detection method for a low-spec environmental system according to an embodiment of the present invention.
  • FIG. 9 is a view showing the configuration of a real-time pupil position detection apparatus for a low-spec environment system according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing a detailed configuration of a real-time pupil position detection apparatus for a low-spec environmental system according to an embodiment of the present invention.
  • FIG. 11 is a view showing a pupil position detection result of a real-time pupil position detection method and apparatus for a low-spec environment system according to an embodiment of the present invention.
  • S211 Step of extracting vectors for the center position of the pupil extracted from the previous frame and the position of the candidate pupil in the current frame, respectively, for the left and right pupils
  • S320 Selecting an optimal candidate pair based on the representative similarity value, and determining a center position of the selected candidate pair as a final pupil position
  • FIG. 1 is a diagram illustrating an overall flow of a method and apparatus for detecting a pupil position in real time for a low-spec environmental system according to an embodiment of the present invention.
  • a method and apparatus for detecting a real-time pupil position for a low-spec environment system detects a face region and a landmark in an image, determines whether it is a closed eye, ,
  • the pupil candidate region is estimated by applying a fast radial symmetry transformation, and the optimal binocular pupil position can be determined using the spatiotemporal similarity among the estimated pupil candidate regions.
  • the present invention excludes algorithms such as deep learning for high-speed processing, and uses only an optimized image processing algorithm to accurately detect various pupil positions, changes in lighting brightness, partial obscuration, and even an object wearing glasses. The location can be detected.
  • algorithms such as deep learning for high-speed processing
  • the real-time pupil position detection method for a low-spec environment system estimates pupil candidate regions for left and right eyes by applying a fast radius symmetry transformation (FRST) to an image. It may be implemented including the step S100, the step of extracting the spatiotemporal similarity with respect to the pair of left and right pupil regions (S200), and the step of determining the optimal binocular pupil position (S300).
  • FRST fast radius symmetry transformation
  • a pupil candidate region for the left and right eyes is estimated by applying a fast radial symmetry transform (FRST) to an image ( S100), a spatiotemporal similarity is extracted for the left and right pupil region pairs composed of the estimated pupil candidate regions (S200), and an optimal binocular pupil position among the left and right pupil region pairs may be determined based on the extracted spatiotemporal similarity ( S300).
  • FRST fast radial symmetry transform
  • FIG. 3 is a diagram illustrating a flow of a pre-processing process in a method for detecting a real-time pupil position for a low-spec environmental system according to an embodiment of the present invention.
  • the real-time pupil position detection method for a low-end environment system according to an embodiment of the present invention prior to step S100, collecting an image (S10) and detecting a face area and landmark By further including the step (S20), it is possible to collect and pre-process the image.
  • an image may be collected from a single camera. That is, in step S10, an image can be collected from a single CCD camera that can be easily accessed in general. Image-based pupil position detection can be classified into a method using a single camera and a method using an infrared camera. The method using a single camera can detect a pupil region through image analysis from an image captured based on visible light. Accordingly, the image collected in step S10 is an image captured based on visible light, and any image capable of detecting a pupil region through image analysis may serve as an image of the present invention regardless of a specific camera or a photographing location.
  • a face region and a landmark may be detected from the collected image. More specifically, in step S20, a face area and a landmark may be detected from the image collected in step S10 using Dlib.
  • an eye image may be extracted using the detected landmark, and a pupil candidate region for the left and right eyes may be estimated by applying a fast radial symmetry transform (FRST) based on the extracted eye image.
  • FRST fast radial symmetry transform
  • an eye image may be extracted and used using 12 coordinates related to the eye area.
  • step S100 of the method for detecting a real-time pupil position for a low-spec environment system includes extracting the size of an eye image and an eye area (S110), Setting the predicted iris range using (S120), obtaining a radiation symmetry map by applying high-speed radiation symmetry transformation (S130), extracting pixels by examining the radiation symmetry value (S140), and It may be implemented including the step (S150) of estimating a candidate pupil region for.
  • the high-speed radial symmetric transformation is an operator that extracts a position having high radial symmetry based on a gradient of an image, and can detect a position of interest simply and quickly using a stepwise gradient extraction process. Therefore, in step S100 of the method for detecting a real-time pupil position for a low-spec environment system according to an embodiment of the present invention, brightness information of the iris region having a clear difference in brightness between the iris and the sclera and having high radiation symmetry is converted together with high-speed radiation symmetry transformation. To detect the position of the pupil.
  • step S110 the eye image and the size of the eye region may be extracted from the image. That is, the size of the eye image and the eye area may be extracted by using the landmark detected by Dlib in step S20.
  • the predicted iris range may be set using the size of the eye area. That is, the predicted iris ranges R 1 to R N may be set using information on the size of the eye area extracted in step S110.
  • a plurality of radiation symmetry maps may be obtained by applying a high-speed radiation symmetry transformation based on the eye image and the set iris range. That is, using the eye image extracted in step S110 and the iris range set in step S120, a high-speed radial symmetric transformation may be applied to obtain N radiation symmetric maps, which is the number of set iris ranges.
  • a predetermined number of pixels may be extracted by examining radiation symmetry values in a plurality of radiation symmetry maps. Since the radiation symmetry map has a radiation symmetry value for each pixel with respect to the original image, in step S140, pixels having the top five values may be extracted by examining the radiation symmetry value in the radiation symmetry map. Accordingly, in step S140, five pixels may be extracted for each of the left and right eyes.
  • the predetermined number is set to five, but the predetermined number may be variously set according to embodiments.
  • a pupil candidate region for the left and right eyes may be estimated based on the locations of the extracted pixels. That is, in step S150, pupil candidate regions for both eyes are detected based on the positions of the pixels extracted in step S140, and in the above example, five pupil candidate regions for the left eye and five pupil candidate regions for the right eye Each can be detected.
  • step S200 in order to determine the optimal pupil position while excluding the erroneous detection region from among the pupil candidate regions extracted in step S100, in step S200, pairs of pupil regions between candidate regions extracted from the two eye images are constructed, and left and right pupil candidates In order to determine an optimal pupil pair for all pairs configured for regions, the spatiotemporal features of the two pupil regions can be extracted.
  • a process of extracting a spatiotemporal feature in step S200 will be described in detail with reference to FIGS. 5 to 7.
  • step S200 of the real-time pupil position detection method for a low-spec environment system according to an embodiment of the present invention, extracting a temporal similarity (S210) and extracting a spatial similarity (S220) It can be implemented including.
  • a temporal similarity may be extracted for pairs of left and right pupil regions composed of the estimated pupil candidate regions.
  • the movements of the left and right pupils may use characteristics having similar movements.
  • step S210 of the real-time pupil position detection method for a low-end environment system includes a vector for a pupil center position extracted from a previous frame and a candidate pupil position in the current frame. It may be implemented including the step of extracting each of the left and right pupils (S211) and the step of estimating the similarity of the two vectors by comparing the sizes and directions of the two vectors for the left and right pupils (S212).
  • vectors for the center position of the pupil extracted from the previous frame and the center position of the candidate pupil region in the current frame may be extracted for the left and right pupils, respectively. That is, in step S211, pairs of left and right pupil regions between the estimated candidate pupil regions are configured, and vectors for the pupil centers in the previous frame and the current frame are extracted for all pairs configured for the left and right pupil candidate regions, Can be extracted.
  • the similarity of the two vectors may be estimated by comparing the sizes and directions of the two vectors for the left and right pupils. Since the motions of the two left and right pupils always have similar motions, the higher the similarity between the two vectors, the higher the probability of being a pair of left and right pupils rather than noise.
  • step S220 spatial similarity may be extracted with respect to pairs of left and right pupil regions composed of the estimated pupil candidate regions.
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • step S220 of the real-time pupil position detection method for a low-end environment system comprises configuring an OCS-LBP feature histogram for the pupil region of the previous frame and the current candidate region. It may be implemented including a step S221 and a step S222 of measuring the similarity of the configured histogram.
  • an OCS-LBP feature histogram for the pupil region detected in the previous frame and the pupil candidate region in the current frame may be constructed. That is, in step S221, pairs of left and right pupil regions between the estimated candidate pupil regions are constructed, and OCS-LBP feature histograms for the pupil centers in the previous frame and the current frame are constructed for all pairs configured for the left and right pupil candidate regions. can do.
  • step S222 the similarity of the constructed histogram may be measured.
  • the histogram since the histogram has a high degree of similarity, there may be a high possibility that a candidate region having a spatial characteristic similar to a pupil region detected in a previous frame is a pupil.
  • step S300 of the real-time pupil position detection method for a low-spec environment system by weight-combining the temporal similarity and spatial similarity to extract the representative similarity for the left and right pupil region pairs It may be implemented including a step S310 of selecting an optimal candidate pair based on a representative similarity value, and determining a center position of the selected candidate pair as a final pupil position (S320).
  • a representative similarity for the left and right pupil region pairs may be extracted by weight-combining the temporal similarity and the spatial similarity for the left and right pupil region pairs.
  • the weights for temporal similarity and spatial similarity may be variously set according to circumstances.
  • an optimal candidate pair may be selected based on a representative similarity value, and a center position of the selected candidate pair may be determined as an optimal pupil position.
  • a pair of left and right pupil regions having the largest representative similarity value may be determined as an optimal pupil position.
  • a real-time pupil position detection apparatus for a low-spec environmental system includes a candidate region estimation module 100, a similarity extraction module 200, and a pupil position detection module 300. It may be configured to include, and may be configured to further include an image collection module 10, a face detection module 20, and an eye image extraction module.
  • the apparatus for detecting a real-time pupil position for a low-end environment system estimates a pupil candidate region for the left and right eyes by applying a fast radial symmetry transform (FRST) to an image.
  • an image collection module 10 for collecting images from a single camera and a face detection module 20 for detecting face regions and landmarks from the collected images are further included, and in the candidate region estimation module 100, face detection An eye image is extracted using the landmark detected by the module 20, and a pupil candidate region for the left and right eyes can be estimated by applying a fast radial symmetry transform (FRST) based on the extracted eye image.
  • FRST fast radial symmetry transform
  • the candidate region estimation module 100 of the apparatus for detecting a real-time pupil position for a low-spec environment system according to an embodiment of the present invention includes an eye region for extracting an eye image and a size of an eye region from an image.
  • the extraction unit 110, the iris range setting unit 120 for setting the predicted iris range using the size of the eye area, the eye image and the set iris range, apply a high-speed radial symmetry transformation to generate a plurality of radiation symmetry maps.
  • the candidate pixel extracting unit 140 extracting a predetermined number of pixels by examining radiation symmetry values in a plurality of radiation symmetry maps, and the locations of the extracted pixels. , It may be configured to include a candidate region estimation unit 150 for estimating the pupil candidate region for the left and right eyes.
  • the similarity extraction module 200 of the real-time pupil position detection apparatus for a low-spec environmental system includes a temporal similarity extracting unit 210 for extracting a temporal similarity and a spatial similarity extraction for extracting a spatial similarity. It may be configured to include the unit 220.
  • the temporal similarity extracting unit 210 may use a characteristic having similar movements for the movements of the left and right pupils, and more specifically, the position of the pupil center extracted from the previous frame and the center of the candidate pupil region in the current frame.
  • a vector for a position can be extracted for each of the left and right pupils, and the similarity of the two vectors can be estimated by comparing the sizes and directions of the two vectors for the left and right pupils.
  • the spatial similarity extractor 220 uses an Oriented Center Symmetric Local Binary Patterns (OCS-LBP) feature descriptor representing texture information of an image in order to select a candidate region having a spatial characteristic similar to a pupil region detected in a previous frame. It can be used, and more specifically, an OCS-LBP feature histogram for the pupil region detected in the previous frame and the pupil candidate region in the current frame may be configured, and the similarity of the configured histogram may be measured.
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • the pupil position detection module 300 of the real-time pupil position detection apparatus for a low-end environment system combines the temporal similarity and the spatial similarity with respect to the left and right pupil region pairs by weight, and the left and right pupil regions
  • the representative similarity extraction unit 310 for extracting the representative similarity of the pairs and the pupil position determining unit 320 for selecting an optimal candidate pair based on the representative similarity value and determining the center position of the selected candidate pair as the optimum pupil position. ) Can be included.
  • FIG. 11 is a diagram illustrating a pupil position detection result of a method and apparatus for detecting a pupil position in real time for a low-spec environmental system according to an embodiment of the present invention.
  • the real-time pupil position detection method and apparatus for a low-spec environment system according to an embodiment of the present invention is configured with a simple algorithm, but various positions of the pupil, occlusion, various lighting environments, and glasses It can be seen that the position of the pupil can be effectively detected even for the subject who wrote it.
  • the low-end boards such as Raspberry Pie and Latte Panda operate in real time without additional lighting.
  • a fast radial symmetry transform is applied in an input eye image for fast pupil detection.
  • FRST fast radial symmetry transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Nuclear Medicine (AREA)

Abstract

본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.

Description

저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치
본 발명은 동공 위치 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 관한 것이다.
사람의 시선 추적 기술은 사람의 양안의 동공 움직임을 기반으로 현재 사람의 시선 위치를 추적하는 기술이며, 다양한 디바이스와 함께 여러 분야에서 활용되고 있다. 그 예로 가상현실(VR) 및 증강현실(AR)에서 시선추적 기술은 사용자와 디바이스의 상호 작용을 위한 핵심 기술로 급부상되고 있으며, 일상생활에서도 시선 추적 기술은 다양한 디바이스에서 특정 컨트롤러 없이 편리한 제어를 위한 UI 기술로써 그 요구가 급증하고 있다. 또한, 스마트카 시장에서 운전자의 부주의한 행동이나 졸음 상황을 사전에 감지할 수 있는 운전자 상태 모니터링 시스템을 위한 요소 기술로 사용될 수 있으며, 홍채 인식을 위한 생체 측정 분야, 소비자의 관심도 파악 및 마케팅 분석을 위한 광고 분야 등 다양한 분야에서 활용 및 연구되고 있다.
최근 시선 추적 기술의 대부분은 카메라 영상을 기반으로 하고 있으며, 영상 내에서 홍채 또는 동공의 위치를 정확하게 검출하고 이를 기반으로 사람의 시선을 추적하게 된다. 따라서 시선 추적을 위해서는 정확한 동공의 위치를 검출하는 과정이 핵심적으로 선행되어야 한다.
영상 기반의 동공 위치 검출은 단일 카메라를 이용하는 방법과 적외선 카메라를 이용하는 방법으로 분류할 수 있으며, 단일 카메라를 이용하는 방법은 가시광선 기반으로 촬영된 영상에서 영상 분석을 통하여 동공 영역을 검출한다. 적외선 카메라를 이용하는 방법은 적외선 조명과 근적외선 카메라를 통하여 홍채와 동공 사이의 반사율의 차이를 분석하여 동공의 위치를 추정하는 데 초점을 두고 있다. 하지만 적외선 카메라를 이용하는 방법은 추가적인 적외선 조명과 적외선 카메라 장치가 필요하고 안경을 착용한 사용자에 대해서는 성능이 떨어지는 문제를 가지고 있다.
최근의 동공 추적 기술은 딥러닝 알고리즘과 접목되어 그 성능이 계속해서 발전되고 있지만, 대부분의 딥러닝 알고리즘들은 동공을 검출하기 위해서 높은 처리 비용이 요구되므로 저사양의 시스템에서의 동공 검출 기술에 대한 독립적인 모듈 개발은 그 한계가 존재한다.
따라서 동공 검출 및 추적 기술의 다양한 활용을 위해서 일반적으로 쉽게 접할 수 있는 단일 CCD 카메라를 이용하여 임베디드 보드와 같은 저사양 시스템에서도 실시간으로 빠르게 동작할 수 있는 동공 검출 기술의 개발이 필요하다.
본 발명과 관련된 선행기술로서, 등록특허공보 제10-1942759호(발명의 명칭: 근적외선 영상에서 랜덤 포레스트와 고속 반경 대칭 변환의 결합을 이용한 눈동자 검출 방법 및 시스템) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은,
동공 위치 검출 방법으로서,
(1) 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계;
(2) 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 단계; 및
(3) 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1) 이전에는,
(0) 단일 카메라로부터 영상을 수집하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (0)과 단계 (1) 사이에는,
상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 단계를 더 포함하며,
상기 단계 (1)에서는, 상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
바람직하게는, 상기 단계 (1)은,
(1-1) 상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 단계;
(1-2) 상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계;
(1-3) 상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 단계;
(1-4) 상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 단계; 및
(1-5) 상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
(2-1) 시간적 유사도를 추출하는 단계; 및
(2-2) 공간적 유사도를 추출하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-1)은,
좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (2-1)은,
(2-1-1) 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계; 및
(2-1-2) 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)는,
이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (2-2)는,
(2-2-1) 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계; 및
(2-2-2) 상기 구성된 히스토그램의 유사도를 측정하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-1) 상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 단계; 및
(3-2) 상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 단계를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는,
동공 위치 검출 장치로서,
영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈;
상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈; 및
상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
단일 카메라로부터 영상을 수집하는 영상 수집 모듈을 더 포함할 수 있다.
더욱 바람직하게는,
상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈을 더 포함하며,
상기 후보 영역 추정 모듈에서는,
상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
바람직하게는, 상기 후보 영역 추정 모듈은,
상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부;
상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부;
상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부;
상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부; 및
상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부를 포함할 수 있다.
바람직하게는, 상기 유사도 추출 모듈은,
시간적 유사도를 추출하는 시간적 유사도 추출부; 및
공간적 유사도를 추출하는 공간적 유사도 추출부를 포함할 수 있다.
더욱 바람직하게는, 상기 시간적 유사도 추출부는,
좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
더더욱 바람직하게는, 상기 시간적 유사도 추출부는,
이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다.
더욱 바람직하게는, 상기 공간적 유사도 추출부는,
이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
더더욱 바람직하게는, 상기 공간적 유사도 추출부는,
이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 상기 구성된 히스토그램의 유사도를 측정할 수 있다.
바람직하게는, 상기 동공 위치 검출 모듈은,
상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부; 및
상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 동공 위치 결정부를 포함할 수 있다.
본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 전체적인 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 전처리 과정의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S210의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S220의 세부적인 흐름을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 구성을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 세부적인 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 동공 위치 검출 결과를 도시한 도면.
<부호의 설명>
10: 영상 수집 모듈
20: 얼굴 검출 모듈
100: 후보 영역 추정 모듈
110: 눈 영역 추출부
120: 홍채 범위 설정부
130: 고속 방사 대칭 변환부
140: 후보 픽셀 추출부
150: 후보 영역 추정부
200: 유사도 추출 모듈
210: 시간적 유사도 추출부
220: 공간적 유사도 추출부
300: 동공 위치 검출 모듈
310: 대표 유사도 추출부
320: 동공 위치 결정부
S10: 영상을 수집하는 단계
S20: 얼굴영역 및 랜드마크를 검출하는 단계
S100: 영상에 고속 반경 대칭 변환(FRST)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계
S110: 눈 영상 및 눈 영역의 크기를 추출하는 단계
S120: 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계
S130: 고속 방사 대칭 변환을 적용하여 방사 대칭성 맵을 획득하는 단계
S140: 방사 대칭성 값을 조사하여 픽셀들을 추출하는 단계
S150: 좌우 눈에 대한 동공 후보 영역을 추정하는 단계
S200: 좌우 동공 영역 쌍에 대하여 시공간적 유사도를 추출하는 단계
S210: 시간적 유사도를 추출하는 단계
S211: 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 후보 동공 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계
S212: 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계
S220: 공간적 유사도를 추출하는 단계
S221: 이전 프레임의 동공 영역과 현재 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계
S222: 구성된 히스토그램의 유사도를 측정하는 단계
S300: 최적의 양안 동공 위치를 결정하는 단계
S310: 시간적 유사도 및 공간적 유사도를 가중치 결합하여 좌우 동공 영역 쌍에 대한 대표 유사도를 추출하는 단계
S320: 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 전체적인 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치는, 영상에서 얼굴영역 및 랜드마크를 검출하고, 감긴 눈인지 판별하여 감긴 눈이 아니면, 고속 반경 대칭 변환을 적용해 동공 후보 영역을 추정하며, 추정된 동공 후보 영역 중에서 시공간적 유사도를 이용해 최적의 양안 동공 위치를 결정할 수 있다.
이와 같이 본 발명은, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다. 이하에서는, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 세부적인 구성에 대해 상세히 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 영상에 고속 반경 대칭 변환(FRST)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계(S100), 좌우 동공 영역 쌍에 대하여 시공간적 유사도를 추출하는 단계(S200) 및 최적의 양안 동공 위치를 결정하는 단계(S300)를 포함하여 구현될 수 있다.
즉, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고(S100), 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하며(S200), 추출된 시공간적 유사도에 기초하여 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정할 수 있다(S300). 각 단계의 세부적인 흐름에 대해서는 도 4 내지 도 8에서 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 전처리 과정의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 단계 S100 이전에, 영상을 수집하는 단계(S10) 및 얼굴영역 및 랜드마크를 검출하는 단계(S20)를 더 포함함으로써, 영상을 수집 및 전처리할 수 있다.
단계 S10에서는, 단일 카메라로부터 영상을 수집할 수 있다. 즉, 단계 S10에서는, 일반적으로 쉽게 접할 수 있는 단일 CCD 카메라로부터 영상을 수집할 수 있다. 영상 기반의 동공 위치 검출은 단일 카메라를 이용하는 방법과 적외선 카메라를 이용하는 방법으로 분류할 수 있는데, 단일 카메라를 이용하는 방법은 가시광선 기반으로 촬영된 영상에서 영상 분석을 통하여 동공 영역을 검출할 수 있다. 따라서 단계 S10에서 수집되는 영상은 가시광선 기반으로 촬영된 영상으로서, 영상 분석을 통해 동공 영역을 검출할 수 있는 영상이라면 구체적인 카메라나 촬영 위치에 관계없이 본 발명의 영상의 역할을 할 수 있다.
단계 S20에서는, 수집된 영상에서 얼굴영역 및 랜드마크를 검출할 수 있다. 보다 구체적으로, 단계 S20에서는, Dlib를 이용해 단계 S10에서 수집된 영상에서 얼굴 영역 및 랜드마크를 검출할 수 있다.
단계 S100에서는, 검출된 랜드마크를 이용해 눈 영상을 추출하고, 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다. 보다 구체적으로, 단계 S100에서는, 단계 S20에서 검출된 랜드마크 중에서, 눈 영역과 관련된 12개의 좌표를 이용해 눈 영상을 추출하여 사용할 수 있다.
도 4는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S100은, 눈 영상 및 눈 영역의 크기를 추출하는 단계(S110), 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계(S120), 고속 방사 대칭 변환을 적용하여 방사 대칭성 맵을 획득하는 단계(S130), 방사 대칭성 값을 조사하여 픽셀들을 추출하는 단계(S140) 및 좌우 눈에 대한 동공 후보 영역을 추정하는 단계(S150)를 포함하여 구현될 수 있다.
고속 방사 대칭 변환은 영상의 그래디언트(gradient)를 기반으로 높은 방사 대칭성을 가지는 위치를 추출해주는 연산자로, 단계적인 그래디언트 추출과정을 이용하여 간단하면서도 빠르게 관심 위치를 검출할 수 있다. 따라서 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S100에서는, 홍채와 공막의 밝기 차이가 뚜렷이 존재하며 방사 대칭성이 높은 홍채 영역의 밝기 정보를 고속 방사 대칭 변환과 함께 이용하여 동공의 위치를 검출하고자 하였다.
단계 S110에서는, 영상으로부터 눈 영상 및 눈 영역의 크기를 추출할 수 있다. 즉, 단계 S20에서 Dlib에 의해 검출된 랜드마크를 이용해서, 눈 영상 및 눈 영역의 크기를 추출할 수 있다.
단계 S120에서는, 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정할 수 있다. 즉, 단계 S110에서 추출한 눈 영역의 크기에 대한 정보를 이용하여, 예측되는 홍채 범위 R 1~R N을 설정할 수 있다.
단계 S130에서는, 눈 영상 및 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득할 수 있다. 즉, 단계 S110에서 추출된 눈 영상과, 단계 S120에서 설정된 홍채 범위를 이용해, 고속 방사 대칭 변환을 적용하여 설정된 홍채 범위의 개수인 N개의 방사 대칭성 맵(map)을 획득할 수 있다.
단계 S140에서는, 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출할 수 있다. 방사 대칭성 맵은 원본 영상에 대해서 픽셀별로 방사 대칭성 값을 가지고 있으므로, 단계 S140에서는 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여 상위 5개의 값을 가지는 픽셀들을 추출할 수 있다. 따라서 단계 S140에서는, 좌우 눈에 대해 각각 5개의 픽셀들이 추출될 수 있다. 여기서, 미리 정해진 개수를 5개로 설정하였으나, 실시예에 따라 미리 정해진 개수는 다양하게 설정될 수 있다.
단계 S150에서는, 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다. 즉, 단계 S150에서는, 단계 S140에서 추출된 픽셀들의 위치를 기반으로 양안에 대한 동공 후보 영역들을 검출하게 되며, 전술한 예에서는 좌안에 대해 5개의 동공 후보 영역, 우안에 대해 5개의 동공 후보 영역이 각각 검출될 수 있다.
이와 같이, 단계 S100에서 추출된 동공 후보 영역들 중에서 오검출 영역은 배제시키면서 최적의 동공 위치를 결정하기 위하여, 단계 S200에서는 두 눈 영상에서 추출된 후보 영역 간의 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 최적의 동공 쌍을 결정하기 위해서 두 동공 영역들에 대한 시공간적 특징을 추출할 수 있다. 이하에서는, 도 5 내지 도 7을 참조하여 단계 S200에서 시공간적 특징을 추출하는 과정을 상세히 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S200은, 시간적 유사도를 추출하는 단계(S210) 및 공간적 유사도를 추출하는 단계(S220)를 포함하여 구현될 수 있다.
단계 S210에서는, 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시간적 유사도를 추출할 수 있다. 이때, 단계 S210에서는, 좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
도 6은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S210의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S210은, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 후보 동공 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계(S211) 및 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계(S212)를 포함하여 구현될 수 있다.
단계 S211에서는, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출할 수 있다. 즉, 단계 S211에서는, 추정된 동공 후보 영역 간의 좌우 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 이전 프레임과 현재 프레임에서의 동공 중심에 대한 벡터를 추출하여, 시간적 특징을 추출할 수 있다.
단계 S212에서는, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다. 좌우 두 동공의 움직임은 항상 유사한 움직임을 가지므로, 두 벡터가 유사도가 높을수록 노이즈가 아닌 좌우 동공 쌍일 가능성이 높을 수 있다.
단계 S220에서는, 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 공간적 유사도를 추출할 수 있다. 이때, 단계 S220에서는, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
도 7은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S220의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S220은, 이전 프레임의 동공 영역과 현재 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계(S221) 및 구성된 히스토그램의 유사도를 측정하는 단계(S222)를 포함하여 구현될 수 있다.
단계 S221에서는, 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성할 수 있다. 즉, 단계 S221에서는, 추정된 동공 후보 영역 간의 좌우 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 이전 프레임과 현재 프레임에서의 동공 중심에 대한 OCS-LBP 특징 히스토그램을 구성할 수 있다.
단계 S222에서는, 구성된 히스토그램의 유사도를 측정할 수 있다. 여기서, 히스토그램의 유사도가 높아, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역이 동공일 가능성이 높을 수 있다.
도 8은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S300은, 시간적 유사도 및 공간적 유사도를 가중치 결합하여 좌우 동공 영역 쌍에 대한 대표 유사도를 추출하는 단계(S310) 및 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 단계(S320)를 포함하여 구현될 수 있다.
단계 S310에서는, 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출할 수 있다. 여기서, 시간적 유사도 및 공간적 유사도를 위한 가중치는 상황에 따라 다양하게 설정될 수 있다.
단계 S320에서는, 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정할 수 있다. 실시예에 따라서, 단계 S320에서는, 대표 유사도 값이 가장 큰 좌우 동공 영역 쌍을 최적의 동공 위치로 결정할 수 있다.
도 9는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 구성을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는, 후보 영역 추정 모듈(100), 유사도 추출 모듈(200) 및 동공 위치 검출 모듈(300)을 포함하여 구성될 수 있으며, 영상 수집 모듈(10), 얼굴 검출 모듈(20) 및 눈 영상 추출 모듈을 더 포함하여 구성될 수 있다.
보다 구체적으로, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는, 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈(100), 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈(200), 및 추출된 시공간적 유사도에 기초하여 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈(300)을 포함하여 구성될 수 있다.
또한, 단일 카메라로부터 영상을 수집하는 영상 수집 모듈(10) 및 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈(20)을 더 포함하고, 후보 영역 추정 모듈(100)에서는, 얼굴 검출 모듈(20)에서 검출된 랜드마크를 이용해 눈 영상을 추출하고, 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 세부적인 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 후보 영역 추정 모듈(100)은, 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부(110), 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부(120), 눈 영상 및 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부(130), 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부(140), 및 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부(150)를 포함하여 구성될 수 있다.
또한, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 유사도 추출 모듈(200)은, 시간적 유사도를 추출하는 시간적 유사도 추출부(210) 및 공간적 유사도를 추출하는 공간적 유사도 추출부(220)를 포함하여 구성될 수 있다. 여기서, 시간적 유사도 추출부(210)는, 좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있으며, 보다 구체적으로는, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다. 공간적 유사도 추출부(220)는, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있으며, 보다 구체적으로는, 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 구성된 히스토그램의 유사도를 측정할 수 있다.
한편, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 동공 위치 검출 모듈(300)은, 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부(310) 및 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 동공 위치 결정부(320)를 포함하여 구성될 수 있다.
도 11은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 동공 위치 검출 결과를 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치는, 간단한 알고리즘으로 구성되어 있지만, 동공의 다양한 위치, 가려짐, 다양한 조명 환경 및 안경을 쓴 대상에 대해서도 효과적으로 동공의 위치를 검출할 수 있음을 확인할 수 있다. 또한, 라즈베리 파이나 라떼판다와 같은 저사양 보드에서 추가적인 조명 없이도 실시간으로 동작하는 것을 확인할 수 있었다.
이와 같이, 본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (20)

  1. 동공 위치 검출 방법으로서,
    (1) 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계;
    (2) 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 단계; 및
    (3) 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  2. 제1항에 있어서, 상기 단계 (1) 이전에는,
    (0) 단일 카메라로부터 영상을 수집하는 단계를 더 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  3. 제2항에 있어서, 상기 단계 (0)과 단계 (1) 사이에는,
    상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 단계를 더 포함하며,
    상기 단계 (1)에서는, 상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  4. 제1항에 있어서, 상기 단계 (1)은,
    (1-1) 상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 단계;
    (1-2) 상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계;
    (1-3) 상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 단계;
    (1-4) 상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 단계; 및
    (1-5) 상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  5. 제1항에 있어서, 상기 단계 (2)는,
    (2-1) 시간적 유사도를 추출하는 단계; 및
    (2-2) 공간적 유사도를 추출하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  6. 제5항에 있어서, 상기 단계 (2-1)은,
    좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  7. 제6항에 있어서, 상기 단계 (2-1)은,
    (2-1-1) 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계; 및
    (2-1-2) 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  8. 제5항에 있어서, 상기 단계 (2-2)는,
    이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  9. 제8항에 있어서, 상기 단계 (2-2)는,
    (2-2-1) 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계; 및
    (2-2-2) 상기 구성된 히스토그램의 유사도를 측정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  10. 제1항에 있어서, 상기 단계 (3)은,
    (3-1) 상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 단계; 및
    (3-2) 상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법.
  11. 동공 위치 검출 장치로서,
    영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈(100);
    상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈(200); 및
    상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈(300)을 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  12. 제11항에 있어서,
    단일 카메라로부터 영상을 수집하는 영상 수집 모듈(10)을 더 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  13. 제12항에 있어서,
    상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈(20)을 더 포함하며,
    상기 후보 영역 추정 모듈(100)에서는,
    상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  14. 제11항에 있어서, 상기 후보 영역 추정 모듈(100)은,
    상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부(110);
    상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부(120);
    상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부(130);
    상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부(140); 및
    상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부(150)를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  15. 제11항에 있어서, 상기 유사도 추출 모듈(200)은,
    시간적 유사도를 추출하는 시간적 유사도 추출부(210); 및
    공간적 유사도를 추출하는 공간적 유사도 추출부(220)를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  16. 제15항에 있어서, 상기 시간적 유사도 추출부(210)는,
    좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  17. 제16항에 있어서, 상기 시간적 유사도 추출부(210)는,
    이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  18. 제15항에 있어서, 상기 공간적 유사도 추출부(220)는,
    이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  19. 제18항에 있어서, 상기 공간적 유사도 추출부(220)는,
    이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 상기 구성된 히스토그램의 유사도를 측정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
  20. 제11항에 있어서, 상기 동공 위치 검출 모듈(300)은,
    상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부(310); 및
    상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 동공 위치 결정부(320)를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치.
PCT/KR2020/001827 2019-07-01 2020-02-10 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 WO2021002556A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0078701 2019-07-01
KR1020190078701A KR102324472B1 (ko) 2019-07-01 2019-07-01 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021002556A1 true WO2021002556A1 (ko) 2021-01-07

Family

ID=74100736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001827 WO2021002556A1 (ko) 2019-07-01 2020-02-10 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102324472B1 (ko)
WO (1) WO2021002556A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4376685B2 (ja) * 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
US20100220925A1 (en) * 2005-12-28 2010-09-02 Kao Corporation Detecting method and detecting system for positions of face parts
KR101211872B1 (ko) * 2011-04-05 2012-12-13 성균관대학교산학협력단 실시간 눈 검출 장치 및 그 방법
WO2013052812A1 (en) * 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection
KR101641500B1 (ko) * 2014-09-25 2016-07-21 백석대학교산학협력단 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4376685B2 (ja) * 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
US20100220925A1 (en) * 2005-12-28 2010-09-02 Kao Corporation Detecting method and detecting system for positions of face parts
KR101211872B1 (ko) * 2011-04-05 2012-12-13 성균관대학교산학협력단 실시간 눈 검출 장치 및 그 방법
WO2013052812A1 (en) * 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection
KR101641500B1 (ko) * 2014-09-25 2016-07-21 백석대학교산학협력단 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Also Published As

Publication number Publication date
KR102324472B1 (ko) 2021-11-10
KR20210002882A (ko) 2021-01-11

Similar Documents

Publication Publication Date Title
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2019103484A1 (ko) 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
WO2020171637A1 (en) Apparatus and method for displaying contents on an augmented reality device
WO2015160207A1 (en) System and method for detecting region of interest
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
EP3440593A1 (en) Method and apparatus for iris recognition
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2014017697A1 (ko) 가이디드 가버 필터를 이용한 지정맥 패턴 추출 방법 및 장치
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2013105720A1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
WO2019004530A1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2022145999A1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
WO2021002556A1 (ko) 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치
WO2015080498A1 (en) Method for detecting human body through depth information analysis and apparatus for analyzing depth information for user body detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20835598

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20835598

Country of ref document: EP

Kind code of ref document: A1