KR20130063606A - Apparatus and method for extracting the pupil using streo camera - Google Patents

Apparatus and method for extracting the pupil using streo camera Download PDF

Info

Publication number
KR20130063606A
KR20130063606A KR1020110130034A KR20110130034A KR20130063606A KR 20130063606 A KR20130063606 A KR 20130063606A KR 1020110130034 A KR1020110130034 A KR 1020110130034A KR 20110130034 A KR20110130034 A KR 20110130034A KR 20130063606 A KR20130063606 A KR 20130063606A
Authority
KR
South Korea
Prior art keywords
face image
stereo camera
image
pupil
eye
Prior art date
Application number
KR1020110130034A
Other languages
Korean (ko)
Other versions
KR101316316B1 (en
Inventor
이병준
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110130034A priority Critical patent/KR101316316B1/en
Publication of KR20130063606A publication Critical patent/KR20130063606A/en
Application granted granted Critical
Publication of KR101316316B1 publication Critical patent/KR101316316B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PURPOSE: A pupil extractor using a stereo camera and a method thereof are provided to match first and second images which are obtained through the stereo camera with a coordinate and to extract the pupil of an operator through a noise removal process after the computation of a difference image, thereby rapidly and exactly extracting the pupil with a few computation process. CONSTITUTION: A stereo camera(10) takes a picture of an identical operator as a first face image which has a white pupil and a second face image which has a black pupil with identical exposure time. A coordinate matching unit(20) performs a coordinate matching so that the photographed first and second face images have an identical time difference. A difference image computation unit(30) computes the difference image of the matched first and second face images, and extracts the white pupil. [Reference numerals] (10) Stereo camera; (20) Coordinate matching unit; (30) Difference image computation unit; (40) Noise removing unit; (50) Eye position detection unit; (AA) First face image; (BB) Second face image

Description

스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법{APPARATUS AND METHOD FOR EXTRACTING THE PUPIL USING STREO CAMERA}Eye Extraction Apparatus and Method Using Stereo Camera {APPARATUS AND METHOD FOR EXTRACTING THE PUPIL USING STREO CAMERA}

본 발명은 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 영상 및 제 2 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 이용하여 운전자의 눈동자를 추출하는 장치 및 그 방법에 관한 것이다.
The present invention relates to an apparatus for extracting eyes using a stereo camera and a method thereof, and more particularly, to obtain a first image and a second image through a stereo camera having an infrared light located on one side, and to obtain the first image and the second image. The present invention relates to an apparatus and a method for extracting the pupil of a driver using a second image.

운전자의 시선 방향을 인식하여 운전자의 안전 및 편의를 도모하기 위한 시스템이 일반화될 전망이다.The system for recognizing the driver's gaze direction and promoting the driver's safety and convenience will be generalized.

운전자의 시선 방향을 정확히 인식하기 위해서는 차량 공간에서 운전자 머리의 3차원 위치 및 지향 방향과 운전자 눈동자의 3차원 위치 및 지향 방향과 같은 4가지 요소를 검출할 필요가 있다.In order to accurately recognize the driver's gaze direction, it is necessary to detect four factors such as the three-dimensional position and orientation of the driver's head and the three-dimensional position and orientation of the driver's pupil in the vehicle space.

이러한 4가지 요소를 동시에 검출할 수 있는 장치로는 스테레오 카메라가 있다. 단안 카메라는 머리 및 눈동자의 지향 방향은 검출할 수 있지만 머리 및 눈동자의 3차원 위치를 알 수 없고, ToF(Time of Flight) 카메라는 머리의 3차원 위치 및 방향은 검출 가능하지만 눈동자의 3차원 위치 및 방향을 검출할 수 없다.A device that can detect these four elements simultaneously is a stereo camera. Monocular cameras can detect head and eye orientation, but cannot know the three-dimensional position of the head and pupil.ToF (Time of Flight) cameras can detect the three-dimensional position and orientation of the head, but the pupil's three-dimensional position. And direction cannot be detected.

이에 스테레오 카메라를 이용하여 적은 연산 과정으로 신속 정확하게 눈동자의 눈동자를 추출할 수 있는 방안이 요구된다.
Therefore, there is a need for a method capable of quickly and accurately extracting pupils using a stereo camera with a small computational process.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 얼굴 영상 및 제 2 얼굴 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 좌표 매칭시켜 차영상(차분영상)을 연산한 후 노이즈 제거 과정을 거쳐 운전자의 눈동자를 추출함으로써, 적은 연산 과정으로 신속 정확하게 눈동자의 눈동자를 추출할 수 있는, 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법을 제공하는데 그 목적이 있다.In order to solve the above problems of the prior art, the present invention obtains a first face image and a second face image through a stereo camera having an infrared light on one side, and obtains the obtained first image and the second image. An apparatus for extracting pupils using a stereo camera and a method of extracting pupils of a driver quickly and accurately with a small calculation process by extracting a driver's pupils through a noise removing process after calculating a difference image by coordinate matching. The purpose is to provide.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 카메라를 이용한 눈동자 추출 장치에 있어서, 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 스테레오 카메라; 상기 스테레오 카메라에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 좌표 매칭수단; 및 상기 좌표 매칭수단에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 차영상 연산수단을 포함한다.The apparatus of the present invention for achieving the above object, in the pupil extraction apparatus using a stereo camera, the same face, the first face image having a white eye and the second face image having a black eye with the same exposure time for the same driver; Stereo camera to shoot each; Coordinate matching means for performing coordinate matching such that the first face image and the second face image photographed by the stereo camera have the same parallax; And difference image calculating means for extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax in the coordinate matching means.

또한 상기 목적을 달성하기 위한 본 발명의 방법은, 스테레오 카메라를 이용한 눈동자 추출 방법에 있어서, 스테레오 카메라가 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 단계; 좌표 매칭수단이 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 단계; 및 차영상 연산수단이 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 단계를 포함한다.
In addition, the method of the present invention for achieving the above object, in the pupil extraction method using a stereo camera, the stereo camera targets the same driver, the first face image having a white eye and the second face image having a black eye Photographing each with the same exposure time; Performing coordinate matching by coordinate matching means such that the first face image and the second face image have the same parallax; And extracting white eyes by calculating a difference image between the matched first face image and the second face image to have the same parallax.

상기와 같은 본 발명은, 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 얼굴 영상 및 제 2 얼굴 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 좌표 매칭시켜 차영상(차분영상)을 연산한 후 노이즈 제거 과정을 거쳐 운전자의 눈동자를 추출함으로써, 적은 연산 과정으로 신속 정확하게 눈동자의 눈동자를 추출할 수 있는 효과가 있다.As described above, the present invention obtains a first face image and a second face image through a stereo camera having an infrared light located on one side, and coordinates the acquired first image and the second image to obtain a difference image (differential image). ), And after extracting the driver's pupils through the noise removal process, it is possible to extract the pupils of the pupils quickly and accurately with a small calculation process.

또한, 본 발명은 적은 연산 과정으로 신속 정확하게 눈동자의 눈동자를 추출함으로써, 운전자의 시선 검출 성능을 향상시킬 수 있는 효과가 있다.
In addition, the present invention has the effect of improving the driver's gaze detection performance by extracting the pupil of the pupil quickly and accurately in a small calculation process.

도 1 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 스테레오 카메라의 일실시예 구조도,
도 3 은 본 발명에 따른 스테레오 카메라의 다른 실시예 구조도,
도 4 는 본 발명에 따른 스테레오 카메라를 통해 촬영한 운전자의 얼굴 영상 및 이를 통해 추출한 백색 눈동자에 대한 일예시도,
도 5 는 본 발명에 따른 좌표 매칭부의 좌표 매칭 방식에 대한 일실시예 설명도,
도 6 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 방법에 대한 일실시예 흐름도이다.1 is a configuration diagram of an embodiment of a pupil extraction apparatus using a stereo camera according to the present invention;
2 is a structural diagram of an embodiment of a stereo camera according to the present invention;
3 is a structural diagram of another embodiment of a stereo camera according to the present invention;
4 is an exemplary view showing a face image of a driver photographed through a stereo camera and white eyes extracted through the same according to the present invention;
5 is a diagram for explaining a coordinate matching method of a coordinate matching unit according to the present invention;
6 is a flowchart illustrating a method of extracting pupils using a stereo camera according to the present invention.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of a pupil extraction apparatus using a stereo camera according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치는, 스테레오 카메라(10), 좌표 매칭부(20), 차영상 연산부(30), 노이즈 제거부(40), 및 눈동자 위치 검출부(50)를 포함한다.As shown in FIG. 1, the apparatus for extracting pupils using the stereo camera according to the present invention includes a stereo camera 10, a coordinate matching unit 20, a difference image calculating unit 30, a noise removing unit 40, and a pupil. And a position detector 50.

상기 각 구성요소들에 대해 살펴보면, 먼저 스테레오 카메라(10)는 일 측에 위치하는 렌즈와 타 측에 위치하는 렌즈를 통해 운전자의 얼굴 영상을 각각 촬영하는 카메라로서, 동일 시점(동일 노출 시간)에 운전자의 얼굴 영상을 각각 촬영한다. 이때, 일 측 렌즈를 통해 촬영된 얼굴 영상과 타 측 렌즈를 통해 촬영된 얼굴 영상은 서로 다른 위치에서 촬영된 영상으로서 미세한 시차(視差)가 발생한다.Referring to each of the above components, first, the stereo camera 10 is a camera for photographing the driver's face image through the lens located on one side and the lens located on the other side, respectively, at the same time point (same exposure time) Take a picture of each driver's face. At this time, the face image photographed through one lens and the face image photographed through the other lens are images captured at different positions, and minute parallax occurs.

이러한 스테레오 카메라(10)는 동일한 운전자를 대상으로, 일 측 렌즈(11)를 통해서는 백색 눈동자를 갖는 얼굴 영상이 촬영되도록 하고, 타 측 렌즈(13)를 통해서는 흑색 눈동자를 갖는 얼굴 영상이 촬영되도록, 도 2에 도시된 바와 같이 일 측 렌즈 주변에 적외선 조명(12)을 위치시킨다. 이때, 타 측 렌즈(13)와 적외선 조명(12) 간의 거리(X)가 적외선 조명(12)과 일 측 렌즈(11) 간의 거리(Y)보다 크면 클수록, 일 측 렌즈(11)에는 더 밝은 백색 눈동자를, 타 측 렌즈(13)에는 더 어두운 흑색 눈동자를 갖는 얼굴 영상이 촬영되어, 결과적으로 두 영상을 차분하여 더 밝고 선명한 백색 눈동자 이미지를 얻을 수 있다.The stereo camera 10 targets the same driver to photograph a face image having white eyes through one lens 11, and captures a face image with black eyes through the other lens 13. Position the infrared light 12 around the one lens as shown in FIG. 2. In this case, the larger the distance X between the other lens 13 and the infrared light 12 is greater than the distance Y between the infrared light 12 and the one lens 11, the brighter the one lens 11. The white eye is photographed on the other lens 13 with a darker black eye image, and as a result, the two images can be differentiated to obtain a brighter and clearer white eye image.

또한, 적외선 조명(12)은 더 많은 광도를 얻기 위하거나 비용의 절감을 위해 도 3에 도시된 바와 같이 다양한 형태로 구현될 수 있다.In addition, the infrared light 12 may be implemented in various forms as shown in FIG. 3 to obtain more brightness or to reduce cost.

특히, 도 3의 (c)에 도시된 바와 같이 타 측 렌즈(13)와 조명 간의 거리를 극대화하여 백색/흑색 눈동자 영상 차분 시 더 선명하고 밝은(백색의) 눈동자를 얻을 수 있다.In particular, as shown in (c) of FIG. 3, a sharper and brighter (white) pupil may be obtained when the white / black pupil image difference is maximized by maximizing the distance between the other lens 13 and the illumination.

좌표 매칭부(20)는 스테레오 카메라(10)에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행한다. 즉, 좌표 매칭부(20)는 도 4에 도시된 바와 같이, 백색 눈동자를 가지는 제 1 얼굴 영상(a) 및 흑색 눈동자를 가지는 제 2 얼굴 영상(b) 중 어느 하나를 기준으로 정하고, 타 얼굴 영상을 좌측 또는 우측으로 소정 픽셀(일예로 10px) 이동시켜 좌표를 매칭시킨다.The coordinate matching unit 20 performs coordinate matching so that the first face image and the second face image photographed by the stereo camera 10 have the same parallax. That is, as shown in FIG. 4, the coordinate matching unit 20 determines one of the first face image (a) having white eyes and the second face image (b) having black eyes, based on one of the other faces. The image is moved left or right by a predetermined pixel (eg 10px) to match the coordinates.

차영상 연산부(30)는 좌표 매칭부(20)에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산한다. 즉, 차영상 연산부(30)는 픽셀 단위로 제 1 얼굴 영상(a)에서 제 2 얼굴 영상(b)을 빼거나 제 2 얼굴 영상(b)에서 제 1 얼굴 영상(a)을 빼서 백색 눈동자를 추출한다.The difference image calculator 30 calculates a difference image between the first face image and the second face image matched by the coordinate matching unit 20 to have the same parallax. That is, the difference image calculating unit 30 subtracts the second face image (b) from the first face image (a) or subtracts the first face image (a) from the second face image (b) on a pixel-by-pixel basis. Extract.

노이즈 제거부(40)는 일반적으로 널리 알려진 이진화 및 모포로지(Morphology) 연산을 통해 백색 눈동자를 제외한 노이즈를 제거한다. 이렇게 노이즈가 제거된 백색 눈동자는 도 4의 (c)에 도시된 바와 같다.The noise removing unit 40 removes noise except white eyes through generally known binarization and morphology operations. The white pupil from which the noise is removed is as shown in FIG.

눈동자 위치 검출부(50)는 일반적으로 널리 알려진 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출한다. 즉, 눈동자 위치 검출부(50)는 시차(Disparity) 맵을 이용하여 눈동자의 위치를 검출한다.The pupil position detection unit 50 performs stereo image processing, which is widely known, to detect the position of the pupil. That is, the pupil position detector 50 detects the pupil position using a disparity map.

이하, 도 5를 참조하여 좌표 매칭부(20)의 다양한 좌표 매칭 방식에 대해 상세히 살펴보기로 한다.Hereinafter, various coordinate matching methods of the coordinate matching unit 20 will be described in detail with reference to FIG. 5.

도 5의 (a)는, 스테레오 카메라 연산(rectification, matching 등)을 이용하여, 2개 영상 내에서 카메라 장착 위치 및 차량 내 공간 구조상 통상적인 거리의 물체 위치 변화량을 찾아, 두 영상의 얼굴부분 영상이 겹치도록 이동시켜 매칭시키는 방식이다.FIG. 5A illustrates stereoscopic camera operations (rectification, matching, and the like) to find an amount of change in the position of an object at a distance between a camera mounted within a two image and a normal distance due to the space structure in a vehicle, and the face portion images of the two images. This is a method of matching by moving so as to overlap.

도 5의 (b)는, 1개의 영상 내에서 얼굴(또는 눈 등 얼굴 내 유일(unique)한 특징 부분) 위치를 검출 후, 검출한 얼굴로 다른 영상 내에서 'template matching'을 실시하여 두 영상 간 얼굴 위치 차이를 구하고 그 차이를 반영하여 두 영상 간 차분 연산 수행한다.5 (b) shows the two images by detecting a position of a face (or a unique feature part in the face such as an eye) in one image and then performing 'template matching' in the other image with the detected face. The difference between the positions of the faces is obtained and the difference is calculated based on the differences.

이때, 촬영된 두 영상간 translation(x, y 변위) 차이만을 계산하기 위해(연산량 감소), 일 측 렌즈와 타 측 렌즈를 상대적인 회전이 없도록 수평하게 장착한다. 이때, 두 렌즈의 거리(baseline)가 멀지 않아 동일한 영상이 변위차만 존재하며, 두 렌즈의 정확한 정렬(alignment)이 불가능한 경우 사전에 이미지 교정(image rectification)을 수행할 수도 있다.At this time, in order to calculate only the difference in translation (x, y displacement) between the two images (reduced amount of calculation), one lens and the other lens are mounted horizontally so that there is no relative rotation. In this case, since the baseline of the two lenses is not far, the same image exists only in the displacement difference, and if the correct alignment of the two lenses is impossible, image rectification may be performed in advance.

도 5의 (c)는, 통상적인 운전자 얼굴 위치에 특정 평면을 가정하여 해당 평면을 두 개의 카메라 간 장착 위치(및 회전각도) 차이만큼 뷰(시점) 변환하여 두 영상내 얼굴 위치를 매칭하는 방식이다. 이는 적은 연산량으로 수행 가능하나 얼굴 위치가 위에서 얼굴 위치로 가정한 평면에서 멀어질수록 매칭 오차가 커지는 단점이 있다.FIG. 5C illustrates a method of matching a face position in two images by assuming a specific plane in a typical driver's face position by converting the plane as a difference between a mounting position (and a rotation angle) between two cameras. to be. This can be done with a small amount of computation, but has a disadvantage that the matching error increases as the face position moves away from the plane assumed as the face position from above.

도 6 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 방법에 대한 일실시예 흐름도이다.6 is a flowchart illustrating a method of extracting pupils using a stereo camera according to the present invention.

먼저, 스테레오 카메라(10)가 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영한다(601).First, the stereo camera 10 photographs the first face image having white eyes and the second face image having black eyes at the same exposure time, targeting the same driver (601).

이후, 좌표 매칭부(20)가 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행한다(602).Thereafter, the coordinate matching unit 20 performs coordinate matching so that the first face image and the second face image have the same parallax (602).

이후, 차영상 연산부(30)가 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출한다(603).Thereafter, the difference image calculating unit 30 extracts white eyes by calculating a difference image between the matched first face image and the second face image to have the same parallax (603).

부가적으로, 노이즈 제거부(40)가 상기 연산된 차영상에서 노이즈를 제거한다.In addition, the noise removing unit 40 removes noise from the calculated difference image.

또한, 눈동자 위치 검출부(50)가 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출한다.In addition, the pupil position detector 50 performs stereo image processing to detect the pupil position.

이러한 과정을 통해, 적은 연산 과정으로 신속 정확하게 눈동자의 눈동자를 추출할 수 있음은 물론, 운전자의 시선 검출 성능을 향상시킬 수 있다.Through this process, it is possible to extract the pupils of the pupils quickly and accurately with a small calculation process, and to improve the driver's gaze detection performance.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.Meanwhile, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.

10 : 스테레오 카메라 20 : 좌표 매칭부
30 : 차영상 연산부 40 : 노이즈 제거부
50 : 눈동자 위치 검출부10: stereo camera 20: coordinate matching unit
30: difference image calculation unit 40: noise removal unit
50: pupil position detection unit

Claims (7)

동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 스테레오 카메라;
상기 스테레오 카메라에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 좌표 매칭수단; 및
상기 좌표 매칭수단에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 차영상 연산수단
을 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
A stereo camera for capturing a first face image having white eyes and a second face image having black eyes with the same exposure time, for the same driver;
Coordinate matching means for performing coordinate matching such that the first face image and the second face image photographed by the stereo camera have the same parallax; And
Difference image calculating means for extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax in the coordinate matching means
Eye extraction device using a stereo camera comprising a.
제 1 항에 있어서,
차영상 연산수단에서 연산된 차영상에서 노이즈를 제거하는 노이즈 제거수단
을 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
The method of claim 1,
Noise removing means for removing noise from the difference image calculated by the difference image calculating means
Eye extracting device using a stereo camera further comprising.
제 1 항에 있어서,
스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출하는 눈동자 위치 검출수단
을 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
The method of claim 1,
Eye position detection means for detecting the position of the pupil by performing stereo image processing
Eye extracting device using a stereo camera further comprising.
제 1 항에 있어서,
상기 스테레오 카메라는,
일 측 렌즈 주변에 적외선 조명이 위치하는 것을 특징으로 하는 스테레오 카메라를 이용한 눈동자 추출 장치.
The method of claim 1,
The stereo camera,
Eye extraction apparatus using a stereo camera, characterized in that the infrared light is positioned around one lens.
스테레오 카메라가 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 단계;
좌표 매칭수단이 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 단계; 및
차영상 연산수단이 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 단계
를 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.
Photographing, by the stereo camera, a first face image having white eyes and a second face image having black eyes with the same exposure time, targeting the same driver;
Performing coordinate matching by coordinate matching means such that the first face image and the second face image have the same parallax; And
Extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax;
Eye extraction method using a stereo camera comprising a.
제 5 항에 있어서,
노이즈 제거수단이 상기 연산된 차영상에서 노이즈를 제거하는 단계
를 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.
The method of claim 5, wherein
Noise removing means for removing noise from the calculated difference image
Eye extraction method using a stereo camera further comprising.
제 5 항에 있어서,
눈동자 위치 검출수단이 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출하는 단계
를 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.The method of claim 5, wherein
Eye position detecting means for performing stereo image processing to detect eye position
Eye extraction method using a stereo camera further comprising.
KR1020110130034A 2011-12-07 2011-12-07 Apparatus and method for extracting the pupil using streo camera KR101316316B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110130034A KR101316316B1 (en) 2011-12-07 2011-12-07 Apparatus and method for extracting the pupil using streo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110130034A KR101316316B1 (en) 2011-12-07 2011-12-07 Apparatus and method for extracting the pupil using streo camera

Publications (2)

Publication Number Publication Date
KR20130063606A true KR20130063606A (en) 2013-06-17
KR101316316B1 KR101316316B1 (en) 2013-10-08

Family

ID=48860862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110130034A KR101316316B1 (en) 2011-12-07 2011-12-07 Apparatus and method for extracting the pupil using streo camera

Country Status (1)

Country Link
KR (1) KR101316316B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296740A (en) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd Object monitoring method and object monitoring camera device
JP2003316510A (en) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> Display device for displaying point instructed on display screen and display program
JP2009068935A (en) * 2007-09-12 2009-04-02 Univ Chuo Stereo measurement apparatus, stereo measurement method, and stereo measurement processing program
KR20110071213A (en) * 2009-12-21 2011-06-29 한국전자통신연구원 Apparatus and method for 3d face avatar reconstruction using stereo vision and face detection unit

Also Published As

Publication number Publication date
KR101316316B1 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
CN107480613B (en) Face recognition method and device, mobile terminal and computer readable storage medium
EP3190781B1 (en) Autofocus method, device and electronic apparatus
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
KR102170182B1 (en) System for distortion correction and calibration using pattern projection, and method using the same
CN107907048A (en) A kind of binocular stereo vision method for three-dimensional measurement based on line-structured light scanning
CN105205458A (en) Human face living detection method, device and system
KR101510312B1 (en) 3D face-modeling device, system and method using Multiple cameras
JP2012070389A5 (en)
KR101444538B1 (en) 3d face recognition system and method for face recognition of thterof
US9454226B2 (en) Apparatus and method for tracking gaze of glasses wearer
KR20110000848A (en) Apparatus for getting 3d distance map and image
JP6855872B2 (en) Face recognition device
KR101601475B1 (en) Pedestrian detection device and method for driving vehicle at night
JP2018156408A (en) Image recognizing and capturing apparatus
KR102341839B1 (en) Data collection device for augmented reality
KR101053253B1 (en) Apparatus and method for face recognition using 3D information
CN110800020B (en) Image information acquisition method, image processing equipment and computer storage medium
WO2015182771A1 (en) Image capturing device, image processing device, image processing method, and computer program
KR101316316B1 (en) Apparatus and method for extracting the pupil using streo camera
JP2018149234A (en) Fixation point estimation system, fixation point estimation method, and fixation point estimation program
JP2010197186A (en) Object detector
KR101142279B1 (en) An apparatus for aligning images in stereo vision system and the method thereof
Pang et al. Viewing distance measurement using a single camera
CN111382607A (en) Living body detection method and device and face authentication system
CN117373103B (en) Image feature extraction method, device, equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 7