KR20130088666A - Apparatus for focus measurement in eye tracking system using multi layer perception - Google Patents
Apparatus for focus measurement in eye tracking system using multi layer perception Download PDFInfo
- Publication number
- KR20130088666A KR20130088666A KR1020120010049A KR20120010049A KR20130088666A KR 20130088666 A KR20130088666 A KR 20130088666A KR 1020120010049 A KR1020120010049 A KR 1020120010049A KR 20120010049 A KR20120010049 A KR 20120010049A KR 20130088666 A KR20130088666 A KR 20130088666A
- Authority
- KR
- South Korea
- Prior art keywords
- focus
- image
- value
- unit
- input image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Description
본 발명은 시선 추적 시스템에 관한 것으로서, 보다 자세하게는 카메라의 초점 측정에 관한 것이다.The present invention relates to a gaze tracking system, and more particularly, to a focus measurement of a camera.
초점 측정은 의학 영상, 사진, 패턴 인식, 시선 추적 등 영상 어플리케이션에서 광범위 하게 사용된다. 초점 측정 방법은 다양한 방법이 연구 되고 있는데 그 방법들은 크게 공간 영역 기반의 방법과 웨이블릿 영역 기반의 방법으로 나눌 수 있다. Focus measurement is widely used in imaging applications such as medical imaging, photography, pattern recognition, and eye tracking. Various methods of focus measurement have been studied. The methods can be divided into spatial domain based method and wavelet domain based method.
공간 영역 기반의 방법은 마스크를 이용하여 고주파의 양을 계산하고, 계산된 고주파의 스코어 값을 통하여 비선형 스케일링을 하여 초점 값을 정의하는 방법이다. 웨이블릿 영역 기반의 방법은 웨이블릿 변환을 사용하여 입력 영상을 멀티 스케일의 서브 밴드로 필터링하고 저주파와 고주파의 비율로 초점 값을 정의하는 방법이다.The spatial domain-based method is a method of calculating the amount of high frequency using a mask and defining a focus value by performing nonlinear scaling through the calculated high frequency score value. The wavelet region-based method uses wavelet transform to filter an input image into multi-band subbands and define a focus value in a ratio of low frequency and high frequency.
공간 영역 기반의 방법은 간단한 계산을 통하여 고주파 성분을 정확히 측정할 수 있는 반면, 웨이블릿 영역 기반의 방법은 초점 값을 정확하게 측정할 수 있을 뿐만 아니라 밝기 변화에 의한 영향도 줄일 수 있다. 공간 영역 기반 방법과 웨이블릿 영역 기반 방법은 모두 좋은 장점을 가지고 있지만 몇 가지 요인에 의해 정확도가 떨어지는 한계가 있다.The spatial domain-based method can accurately measure high frequency components through simple calculations, while the wavelet domain-based method can not only accurately measure the focus value but also reduce the influence of brightness changes. Both spatial domain based and wavelet domain based methods have good advantages, but there are limitations due to several factors.
공간 영역 기반 방법에서의 정확도 감소 요인은, 밝기의 변화, 사용자의 움직임, 영상 내의 눈썹과 속눈썹에 의한 오차, 및 마스크의 제한 적인 필터 범위이다.Accuracy reduction factors in the spatial domain based method are variations in brightness, user movement, errors caused by eyebrows and eyelashes in the image, and limited filter range of the mask.
웨이블릿 영역 기반 방법에서의 정확도 감소 요인은 사용자의 움직임, 영상 내의 눈썹과 속눈썹에 의한 오차, 조명의 밝기 이상(너무 밝은 경우, 너무 어두운 경우), 고주파 서브 밴드에 고주파 노이즈가 합성되는 경우이다.Accuracy reduction factors in the wavelet region-based method include user movement, errors caused by eyebrows and eyelashes in the image, abnormal brightness of lighting (too bright or too dark), and high frequency noise is synthesized in the high frequency subband.
이와 같은 정확도 감소 요인에 의해 초점 값의 정확도가 감소한다. 따라서 공간 영역 및 웨이블릿 영역 기반의 방법을 적절히 결합한 새로운 방법을 이용하여 요소들에 의해 발생하는 정확도 감소를 극복하는 것이 요구된다.This accuracy decrease factor reduces the accuracy of the focus value. Therefore, it is necessary to overcome the accuracy reduction caused by the elements by using a new method that properly combines the spatial domain and wavelet domain based methods.
본 발명에서는 다층 신경망을 이용하여 두 가지 방법을 결합하는 방법을 제안한다. The present invention proposes a method of combining the two methods using a multilayer neural network.
본 발명의 기술적 과제는 카메라의 자동 초점 측정 방법 및 장치를 제안하는데 있다.An object of the present invention is to propose a method and apparatus for measuring auto focus of a camera.
본 발명의 다른 기술적 과제는 초점값에 기반하여 정확하게 초점이 맞는 위치로 초점 렌즈를 움직일 수 있도록 하는 방법 및 장치를 제안하는 데 있다.Another technical problem of the present invention is to propose a method and apparatus for moving a focus lens to a precisely focused position based on a focus value.
본 발명의 일 양태에 따르면, 원거리 시선 추적 카메라의 초점 측정 장치는 협각카메라를 이용하여 눈의 영상을 취득하는 영상취득부, 상기 취득한 눈의 영상을 다운 샘플링(down sampling)하여 입력 영상을 생성하는 입력영상생성부, 상기 입력 영상의 평균 그레이 레벨을 학습데이터의 평균 그레이 레벨로 보정하는 밝기보정부, 상기 보정된 입력 영상을 더그만(daugman) 마스크를 이용하는 초점 측정 방법, 강(Kang)의 마스크를 이용하는 초점 측정 방법, 하르(Haar) 웨이블릿 변환 방법, 및 다우비시(Daubechies) 웨이블릿 변환 방법을 각각 사용하여 네 개의 초점 값들을 측정하는 초점측정부, 상기 측정된 네 개의 초점값들을 각각 0 내지 1 사이의 값으로 비선형 정규화하는 정규화부, 상기 정규화된 네 개의 초점 값들을 Sigmoid 커널을 사용하는 다층 신경망을 통해 하나의 최종 초점 값으로 합산하는 초점값합산부 및 상기 최종 초점 값을 이용하여 초점 렌즈를 제어하는 렌즈제어부를 포함하며, 상기 하르 웨이블릿 변환 방법 및 다우비시 웨이블릿 변환 방법은 각각 네 단계 스케일로 초점 값을 계산하고 상기 네 단계 스케일 각각에서 고 대역 값을 저 대역 값으로 나눈 비를 소정의 가중치를 사용하여 합하여 초점 값을 측정한다.According to an aspect of the present invention, an apparatus for focusing a distance gaze tracking camera may include an image acquisition unit for acquiring an image of an eye using a narrow angle camera, and an input image by down sampling the acquired image of an eye. An input image generator, a brightness compensator for correcting an average gray level of the input image to an average gray level of training data, a focus measuring method using a daugman mask, and a mask of Kang A focus measuring unit for measuring four focus values by using a focus measurement method, a Haar wavelet transform method, and a Doubishes wavelet transform method, respectively, 0 to 1 respectively. Normalization unit for nonlinear normalization to the value between and through the multilayer neural network using the Sigmoid kernel A focus value adding unit that adds up to my final focus value and a lens control unit controlling a focus lens using the final focus value, wherein the Har wavelet transform method and the Dowish wavelet transform method each focus value on a four-step scale. The focal value is calculated by calculating and summing the ratio of the high band value divided by the low band value in each of the four step scales using a predetermined weight.
본 발명에 따르면, 보다 정확한 초점값을 갖는 위치로 초점 렌즈를 이동시킬 수 있다.According to the present invention, the focus lens can be moved to a position having a more accurate focus value.
본 발명에 따르면, 공간 영역 기반의 영상에서 고주파수 요소들을 수집하는 능력과 웨이블릿 영역 기반의 영상의 밝기 변화의 영향을 줄이는 능력이 다층 신경망을 사용함으로써 조합될 수 있다.According to the present invention, the ability to collect high frequency elements in a spatial domain based image and the ability to reduce the influence of brightness variation of a wavelet region based image can be combined by using a multilayer neural network.
도 1은 본 발명에 따른 초점 측정 장치의 하드웨어 및 Z 거리 상에서의 사용자의 움직임 범위를 나타낸다.
도 2는 협각카메라에 취득된 영상의 일 예를 나타낸 것이다.
도 3은 본 발명에 따른 초점 측정 방법을 나타낸 흐름도이다.
도 4는 더그만의 마스크의 형태와 Z거리에 따른 성능을 나타낸다.
도 5는 강의 마스크와 Z거리에 따른 성능을 나타낸다.
도 6은 다우비시 웨이블릿 변환을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.
도 7은 하르 웨이블릿 변환을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.
도 8은 본 발명에 따라서, MLP에서 Linear 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.
도 9는 본 발명에 따라서, MLP에서 Sigmoid 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.
도 10은 본 발명에 따라서, MLP에서 Hyperbolic Tangent 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.
도 11은 본 발명에 따른 초점 측정 장치의 일 예를 나타낸 블록도이다.1 shows the movement range of a user on the hardware and Z distance of the focus measuring apparatus according to the present invention.
2 shows an example of an image acquired by a narrow angle camera.
3 is a flowchart illustrating a focus measuring method according to the present invention.
4 shows the performance of Dougman's mask according to the shape and Z distance.
5 shows the performance according to the mask and the Z distance of the steel.
FIG. 6 illustrates focus values according to Z distances in two databases when using the DowBish wavelet transform.
FIG. 7 shows a focus value according to Z distance in two databases when using the Har wavelet transform.
8 illustrates a focus value according to Z distance in two databases when using the linear kernel in the MLP according to the present invention.
FIG. 9 illustrates focus values according to Z distances in two databases when using Sigmoid kernels in an MLP according to the present invention.
10 illustrates a focus value according to Z distance in two databases when using a Hyperbolic Tangent kernel in an MLP according to the present invention.
11 is a block diagram illustrating an example of a focus measuring apparatus according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. Also, in order to clearly illustrate the present invention in the drawings, portions not related to the present invention are omitted, and the same or similar reference numerals denote the same or similar components.
도 1은 본 발명에 따른 초점 측정 장치의 하드웨어 및 Z 거리 상에서의 사용자의 움직임 범위를 나타낸다.1 shows the movement range of a user on the hardware and Z distance of the focus measuring apparatus according to the present invention.
도 1을 참조하면, 하드웨어는 광각카메라, 협각카메라, 패닝/틸팅장치 그리고 네 모서리에 근적외선 조명이 부착된 모니터(예를 들어, IPTV)로 구성될 수 있으며, 상기 기술된 구성요소들은 모두 PC에 연결된다. Referring to FIG. 1, the hardware may include a wide angle camera, a narrow angle camera, a panning / tilting device, and a monitor (eg, an IPTV) having near-infrared illumination at four corners, all of which are described above. Connected.
광각카메라는 얼굴검출과 검출된 얼굴에서의 눈 검출을 위한 것이다. 두 개의 카메라는 같은 축에 고정되어있다. The wide angle camera is for face detection and eye detection on the detected face. Both cameras are fixed on the same axis.
패닝/틸팅장치는 카메라 축을 조정하기 위한 것이다. The panning / tilting device is for adjusting the camera axis.
모니터의 네 개의 조명은 시선위치의 물체를 나타내고 시선위치를 계산하기 위해 각막 위에 반사광을 만든다.The four lights on the monitor represent objects in the line of sight and create reflected light on the cornea to calculate the line of sight.
협각카메라는 초점 측정을 위한 영상을 취득한다. 협각카메라와 사용자간의 Z-거리 상에서의 사용자의 움직임 범위를 알 수 있다.The narrow angle camera acquires an image for focus measurement. The user's range of motion on the Z-distance between the narrow angle camera and the user can be known.
도 2는 협각카메라에 취득된 영상의 일 예를 나타낸 것이다.2 shows an example of an image acquired by a narrow angle camera.
도 2를 참조하면, 협각카메라에 의해 취득된 영상은 상기 도 2의 (a)와 같이1600*1200픽셀이다. 하지만, 웨이블릿 변환은 2의 배수에 기반한 정사각형 크기를 요구한다. 따라서 취득된 영상은 상기 도 2의 (b)와 같이 1024*1024픽셀의 크기로 다운 샘플링된다.Referring to FIG. 2, the image acquired by the narrow angle camera is 1600 * 1200 pixels as shown in FIG. 2A. However, the wavelet transform requires a square size based on a multiple of two. Therefore, the acquired image is down sampled to a size of 1024 * 1024 pixels as shown in FIG.
도 3은 본 발명에 따른 초점 측정 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a focus measuring method according to the present invention.
도 3을 참조하면, 상기 도 2와 같이 협각카메라에 의해 취득된 1600*1200 픽셀크기의 눈 영상은 1024*1024 픽셀크기로 다운 샘플링되어 입력 영상(Input Image)이 된다(S300).Referring to FIG. 3, an eye image of 1600 * 1200 pixel size acquired by a narrow angle camera as shown in FIG. 2 is down sampled to 1024 * 1024 pixel size to become an input image (S300).
상기 입력영상은 밝기 보정(brightness compensation)된다(S305). 일 예로,상기 입력 영상의 평균 그레이 레벨을 학습데이터의 평균 그레이 레벨로 보정한다.The input image is brightness compensated (S305). As an example, the average gray level of the input image is corrected to the average gray level of the training data.
밝기 보정된 입력 영상에 대하여 4가지 방법, 즉, 더그만(Daugman)의 마스크를 통한 공간 영역 기반 방법, 강(Kang)의 마스크를 통한 공간 영역 기반 방법, 다우비시(Daubechies) 웨이블릿 변환방법, 및 하르(Haar) 웨이블릿 변환 방법에 의하여 초점값이 각각 측정된다(S310). 시선 추적 장치의 카메라의 자동 초점을 위해 네 가지 방법(더그만의 마스크, 강의 마스크, 다우비시 웨이블릿 변환, 하르 웨이블릿 변환)을 이용하여 구한다. 이렇게 4가지 방법을 결합하여 사용하는 이유는 영상이 취득된 위치와 초점 위치의 차이를 정확히 추측하여 초점 측정의 정확도를 높이기 위해서이다. 따라서, 본 발명은 특히 원 거리 시선 추적 시스템에서 보다 정확하게 초점 렌즈를 제어하여 자동 초점의 성능을 향상 시킬 수 있다.Four methods for the brightness-corrected input image, that is, the spatial domain-based method through the mask of Daugman, the spatial domain-based method through the mask of Kang, the Daubechies wavelet transform method, and Focus values are respectively measured by the Haar wavelet transform method (S310). Four methods are used to autofocus the camera of the eye tracking device: a dougman's mask, a lecture mask, a Dowish wavelet transform, and a har wavelet transform. The reason why the four methods are used in combination is to increase the accuracy of the focus measurement by accurately guessing the difference between the position where the image is acquired and the focus position. Therefore, the present invention can improve the performance of auto focus by controlling the focus lens more precisely, especially in a long-range eye tracking system.
공간 영역 기반 방법 중 더그만의 마스크는 높고 좁은 밴드 폭을 가지고 영상 내의 가장 고주파의 구성 요소를 취득할 수 있다. 강의 마스크는 중간과 높은 대역대의 밴드 폭을 가지고 있어서 영상 내의 가장 고주파 영역이 아닌 홍채 영역의 초점 값도 측정할 수 있다. 상기 두 가지 방법을 사용하여 각각 영상 내의 가장 고주파 영역과 홍채 영역의 초점 값을 측정할 수 있다.Dougman's mask, based on the spatial domain-based method, can obtain the highest frequency components in the image with a high and narrow band width. The lecture mask has a band width in the middle and high bands, so it can measure the focus value of the iris region rather than the most high frequency region in the image. The two methods can be used to measure the focus values of the most high frequency region and the iris region, respectively.
이와 같이 공간 영역 기반 방법은 고주파 부분의 값을 이용하여 초점 값을 계산하는 반면, 영역 기반의 방법은 고주파뿐만이 아니라 저주파의 구성 요소도 고려한다.As described above, the spatial domain-based method calculates the focus value using the values of the high-frequency part, whereas the domain-based method considers not only the high frequency but also the low frequency components.
웨이블릿 기반 방법 중에 다우비시 웨이블릿 변환 방법은 홍채 영역의 선탐색 후, 영상에 고역통과필터(High-pass-filter)를 단계적으로 중복 적용하여 초점 값을 계산한다. 만약, 다우비시 웨이블릿 변환 방법을 홍채 영역의 선탐색이 없이 사용할 경우, 초점이 맞은 영상, 초점이 안 맞은 영상 정도의 구분 밖에 할 수 없다. Among the wavelet-based methods, the Dowish wavelet transform method calculates a focus value by applying a high-pass-filter stepwise to an image after pre-scanning an iris region. If the Dowish wavelet transform method is used without preliminary search of the iris area, the only difference between the focused image and the unfocused image can be obtained.
웨이블릿 기반 방법 중 하르 웨이블릿 변환 방법은 별도의 홍채 영역의 선탐색이 필요하지 않다. 하르 웨이블릿 변환의 경우 다우비시 웨이블릿 변환과 달리 전체영상에서 단계적으로 중복 적용하는 것이 아니라 짝수 요소(even element)와 그와 연속한 홀수 요소(odd element) 사이의 차이 값을 보여주고 한번 계산을 수행한 요소(element)의 경우 같은 단계에서 다시 사용하지 않는다. Of the wavelet-based methods, the Har wavelet transform method does not require a separate line search of the iris region. Unlike the Doubish wavelet transform, the Har wavelet transform shows the difference value between even and successive odd elements instead of applying it stepwise in the entire image. The element is not used again in the same step.
즉, 다우비시 웨이블릿 변환 방법은 ROI(Region of Interest)가 필요한 방법이며 필터를 단계적으로 중복 사용하는 방법인 반면, 하르 웨이블릿 변환 방법은 전체 영상을 사용하는 방법이며 필터를 단계별로 한번씩만 연산하는 방법인 점에서 서로 다른 특징을 가지고 있다. That is, the Dowish wavelet transform method requires ROI (Region of Interest) and uses the filter step by step, while the Har wavelet transform method uses the whole image and calculates the filter only once step by step. It has different characteristics in that it is.
서로 다른 특징들을 가지고 있는 네 가지 방법에 의해 각각 측정된 초점값은 0 내지 1 사이 값으로 정규화된다(S315).Focus values measured by four methods having different characteristics are normalized to a value between 0 and 1 (S315).
정규화된 네 개의 초점값은 미리 학습된(trained) 다층 신경망(Multi Layer Perception : MLP)에 입력되고, 최종 초점값을 출력한다(S320). 정규화된 값을 네 개의 입력으로 하는 MLP를 통하여 초점 위치와 영상 취득 위치의 차이를 계산하여 Z-거리를 추측한다. 다층 신경망을 이용하여 선형적인 Z-거리를 추정한 뒤, 상기 Z-거리를 기초로 시선 추적 장치의 카메라의 초점 렌즈를 제어할 수 있다. The four normalized focus values are input to a pre-trained Multi Layer Perception (MLP), and output the final focus values (S320). The Z-distance is estimated by calculating the difference between the focus position and the image acquisition position through the MLP having four normalized values. After estimating the linear Z-distance using the multilayer neural network, the focal lens of the camera of the eye tracking apparatus may be controlled based on the Z-distance.
일 예로, 다층 신경망은 초점이 맞는 위치로부터 각각 0, 5, 10, 및 20cm의 네 가지 거리에서 입력 영상을 분류할 수 있다. 다층 신경망의 테스트 과정의 출력에 따라, 초점렌즈가 앞뒤로 조정된다.For example, the multilayer neural network may classify the input image at four distances of 0, 5, 10, and 20 cm from the focused position, respectively. Depending on the output of the test procedure of the multilayer neural network, the focus lens is adjusted back and forth.
다층 신경망에 다양한 종류의 커널이 이용될 수 있다. 일 예로, 선형(Linear) 커널, 시그모이드(Sigmoid) 커널, 하이퍼볼릭 탄젠트(Hyperbolic tangent) 커널이 이용될 수 있다.Various types of kernels can be used for multilayer neural networks. For example, a linear kernel, a sigmoid kernel, and a hyperbolic tangent kernel may be used.
도 4는 더그만의 마스크의 형태와 Z거리에 따른 성능을 나타낸다. 상기 도 4의 (a)는 더그만의 마스크를 나타내며 (b)는 더그만의 마스크를 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.4 shows the performance of Dougman's mask according to the shape and Z distance. 4 (a) shows Dougman's mask and (b) shows the focus values according to the Z distance in two databases when Dougman's mask is used.
도 4를 참조하면, 더그만의 마스크는 8*8 컨볼루션 커널(convolution kernel)로써, 2-D 퓨리에(fourier) 변환에서 "sinc"함수에 의해 다음 수학식과 같이 나타낼 수 있다.Referring to FIG. 4, Dougman's mask is an 8 * 8 convolution kernel, which can be represented by the "sinc" function in the 2-D Fourier transform as shown in the following equation.
여기서, ㅅ과 v는 공간 주파수이고, D는 더그만의 마스크이다. Where s and v are spatial frequencies and D is Doug's own mask.
2-D 퓨리에 공간에서, 초점 단계는 공간영역의 고 주파수의 총합의 계산에 의해 측정된다. In 2-D Fourier space, the focal stage is measured by calculating the sum of the high frequencies of the spatial domain.
0에서 1까지의 범위에서의 초점 값을 얻기 위해서, 다음 수학식과 같이 스펙트럼의 총 합이 비선형 정규화를 거친다.To obtain a focus value in the range of 0 to 1, the sum of the spectra goes through nonlinear normalization as in the following equation.
여기에서, x는 스펙트럼의 총 합을 나타내고, c는 오프셋 값이며 f(x)는 초점 값이다.Where x represents the total sum of the spectra, c is the offset value and f (x) is the focus value.
도 5는 강의 마스크와 Z거리에 따른 성능을 나타낸다. 상기 도 5의 (a)는 강의 마스크를 나타내며 (b)는 강의 마스크를 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.5 shows the performance according to the mask and the Z distance of the steel. 5 (a) shows a mask of the steel and (b) shows a focus value according to the Z distance in two databases when using the mask of the steel.
도 5를 참조하면, 강의 마스크는 5*5 컨볼루션 커널로, 2-D 퓨리에 변환에서 밴드 통과 필터로 다음 수학식과 같이 나타낼 수 있다.Referring to FIG. 5, the mask of a lecture is a 5 * 5 convolution kernel, and a band pass filter in a 2-D Fourier transform may be expressed as the following equation.
여기에서, ㅅ와 v는 공간 주파수이고, K는 강의 마스크이다. 퓨리에 공간에서, 초점 단계는 중 주파수, 고 주파수에서의 스펙트럼의 합에 의해 계산된다. Where s and v are spatial frequencies and K is the mask of the river. In Fourier space, the focal stage is calculated by the sum of the spectra at medium and high frequencies.
스펙트럼의 총 합은 초점 값을 얻기 위해 상기 수학식 2와 같은 비선형 정규화를 거친다.The sum of the spectra is subjected to nonlinear normalization as shown in Equation 2 above to obtain the focus value.
도 6은 다우비시 웨이블릿 변환을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.FIG. 6 illustrates focus values according to Z distances in two databases when using the DowBish wavelet transform.
도 6을 참조하면, 네 단계의 멀티 스케일 다우비시 웨이블릿 변환이 입력영상에 적용된 결과를 알 수 있다. 각각의 스케일에서 고 주파수 성분의 평균과 저 주파수 성분의 평균이 전체 HH 서브밴드 와 LL 서브밴드에 의해 각각 계산된다. 각 스케일의 초점 단계는 고 주파수 성분의 평균을 저 주파수 성분의 평균으로 나눈 비율로 다음 수학식과 같이 계산된다. Referring to FIG. 6, it can be seen that a result of applying four-stage multi-scale Dowish wavelet transform to an input image. At each scale, the average of the high frequency components and the average of the low frequency components are calculated by the total HH subband and LL subband, respectively. The focus stage of each scale is calculated as the following equation by a ratio of an average of high frequency components divided by an average of low frequency components.
여기에서 , 
전체의 변환된 영상의 초점 단계는 네 개의 스케일의 네 개의 비율의 가중치 합으로서 다음 수학식과 같다.The focal stage of the entire converted image is a weighted sum of four ratios of four scales.
여기에서, f1은 변환된 영상 전체에서의 초점 단계이고, Wi 는 i번째 스케일의 가중치이며, 
상기 가중치 값은 네 가지 특징을 공통된 분모로 해주기 위하여 통계적으로 구해진 값을 사용할 수 있다.The weight value may be a statistically calculated value in order to make four features a common denominator.
상기 초점 단계는 다우비시 웨이블릿 변환에 초점 값을 얻기 위해 상기 수학식 와 같이 정규화된다.The focusing step is normalized as shown in the above equation to obtain the focusing value for the Dowish wavelet transform.
도 7은 하르 웨이블릿 변환을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다.FIG. 7 shows a focus value according to Z distance in two databases when using the Har wavelet transform.
도 7을 참조하면, 하르 웨이블릿 변환의 과정은 다우비시 웨이블릿 변환 과정과 동일하다. 첫째로, 입력 영상은 네 가지 스케일의 하르 웨이블릿 변환이 행해지고, 고주파 성분의 평균을 저주파 성분의 평균으로 나눈 비가 구해진다. 네 개의 비율을 가중치 합한 값을 전체 영상의 초점 단계로 정의한다. 초점 값은 초점 단계를 상기 수학식 2와 같이 비선형 정규화하여 최종적으로 계산된다. Referring to FIG. 7, the process of Har wavelet transform is the same as the process of Dowish wavelet transform. First, the input wave is transformed by four wave wave transforms, and a ratio obtained by dividing the average of the high frequency components by the average of the low frequency components is obtained. The weighted sum of four ratios is defined as the focus level of the entire image. The focus value is finally calculated by nonlinear normalizing the focus step as in Equation 2 above.
상기 도 4 내지 도 7의 더그만 마스크, 강 마스크, 다우비시 웨이블릿 변환 및 하르 웨이블릿 변환이 다층 신경망 학습의 네 가지의 입력이 된다.The Dougman mask, strong mask, Dowish wavelet transform and Har wavelet transform of Figs. 4 to 7 are four inputs of multi-layer neural network learning.
다층 신경망 학습 과정에서는 여러 가지의 커널 함수들이 사용될 수 있는데, 일 예로, 선형(linear) 커널, 시그모이드(sigmoid) 커널 또는 하이퍼볼릭 탄젠트(hyperbolic tangent) 커널 중 하나의 커널 함수가 사용될 수 있다.Various kernel functions may be used in the multilayer neural network learning process. For example, one of a linear kernel, a sigmoid kernel, or a hyperbolic tangent kernel may be used.
도 8은 본 발명에 따라서, MLP에서 선형 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다. 8 illustrates a focus value according to Z distance in two databases when using a linear kernel in an MLP according to the present invention.
도 9는 본 발명에 따라서, MLP에서 시그모이드 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다. 9 illustrates a focus value according to Z distance in two databases when using the sigmoid kernel in the MLP according to the present invention.
도 10은 본 발명에 따라서, MLP에서 하이퍼볼릭 탄젠트 커널을 사용할 때, 두 데이터베이스에서 Z 거리에 따른 초점값을 나타낸 것이다. FIG. 10 illustrates a focus value according to Z distance in two databases when using the hyperbolic tangent kernel in the MLP according to the present invention.
상기 도 8 내지 도 10의 커널들 간의 기울기와 표준편차를 비교해보았을 때, 특히, 시그모이드 커널이 좋은 결과를 가지며, 다른 커널들도 양호한 결과를 가진다. When comparing the slopes and standard deviations between the kernels of FIGS. 8 to 10, in particular, the sigmoid kernel has good results, and other kernels have good results.
도 11은 본 발명에 따른 초점 측정 장치의 일 예를 나타낸 블록도이다.11 is a block diagram illustrating an example of a focus measuring apparatus according to the present invention.
도 11을 참조하면, 원거리 시선 추적 카메라의 초점 측정 장치는 영상취득부(1105), 입력영상생성부(1110), 밝기보정부(1115), 초점측정부(1120), 정규화부(1125), 초점값합산부(1130), 및 렌즈제어부(1135)를 포함한다.Referring to FIG. 11, a focus measuring apparatus of a long-range eye tracking camera may include an
영상취득부(1105)는 협각카메라를 이용하여 눈의 영상을 취득한다.The
입력영상생성부(1110)는 상기 취득한 눈의 영상을 다운 샘플링(down sampling)하여 입력 영상을 생성한다.The input image generator 1110 downsamples the acquired eye image to generate an input image.
밝기보정부(1115)는 상기 입력 영상의 평균 그레이 레벨을 학습데이터의 평균 그레이 레벨로 보정한다.The brightness compensator 1115 corrects the average gray level of the input image to the average gray level of the training data.
초점측정부(1120)는 상기 도 4 내지 상기 도 7과 같이 상기 보정된 입력 영상을 더그만 마스크를 이용하는 초점 측정 방법, 강의 마스크를 이용하는 초점 측정 방법, 하르 웨이블릿 변환 방법, 및 다우비시 웨이블릿 변환 방법을 각각 사용하여 네 개의 초점 값들을 측정한다. 이때, 상기 하르 웨이블릿 변환 방법 및 다우비시 웨이블릿 변환 방법은 각각 네 단계 스케일로 초점 값을 계산하고 상기 네 단계 스케일 각각에서 고 대역 값을 저 대역 값으로 나눈 비를 소정의 가중치를 사용하여 합하여 초점 값을 측정한다.The
상기 정규화부(1125)는 상기 측정된 네 개의 초점값들을 각각 0 내지 1 사이의 값으로 비선형 정규화한다. 또한, 정규화부(1125)는 초점값합산부(1130)에서 합산한 최종 초점 값을 0 내지 1 사이의 값으로 비선형 정규화한다.The
초점값합산부(1130)는 상기 정규화된 네 개의 초점 값들을 시그모이드 커널을 사용하는 다층 신경망(multi Layer perception)을 통해 하나의 최종 초점 값으로 합산한다. 다층 신경망은 이 밖에, 선형 또는 하이퍼볼릭 탄젠트 커널 함수를 사용할 수 있다.The
렌즈제어부(1135)는 상기 최종 초점 값을 이용하여 초점 렌즈를 제어한다.The
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described exemplary system, the methods are described on the basis of a flowchart as a series of steps or blocks, but the present invention is not limited to the order of the steps, and some steps may occur in different orders or simultaneously . It will also be understood by those skilled in the art that the steps shown in the flowchart are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention.
이상의 설명은 본 발명의 기술 사상 을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
Claims (1)
협각카메라를 이용하여 눈의 영상을 취득하는 영상취득부;
상기 눈의 영상을 다운 샘플링(down sampling)하여 입력 영상을 생성하는 입력영상생성부;
상기 입력 영상의 평균 그레이 레벨을 학습데이터의 평균 그레이 레벨로 보정하는 밝기보정부;
상기 보정된 입력 영상을 더그만(daugman) 마스크를 이용하는 초점 측정 방법, 강(Kang)의 마스크를 이용하는 초점 측정 방법, 하르(Haar) 웨이블릿 변환 방법, 및 다우비시(Daubechies) 웨이블릿 변환 방법을 각각 사용하여 네 개의 초점 값들을 측정하는 초점측정부;
상기 측정된 네 개의 초점값들을 각각 0 내지 1 사이의 값으로 비선형 정규화하는 정규화부;
상기 정규화된 네 개의 초점 값들을 시그모이드(Sigmoid) 커널 함수를 사용하는 다층 신경망을 통해 하나의 최종 초점 값으로 합산하는 초점값합산부; 및
상기 최종 초점 값을 이용하여 초점 렌즈를 제어하는 렌즈제어부를 포함하며,
상기 하르 웨이블릿 변환 방법 및 다우비시 웨이블릿 변환 방법은 각각 네 단계 스케일로 초점 값을 계산하고 상기 네 단계 스케일 각각에서 고 대역 값을 저 대역 값으로 나눈 비를 소정의 가중치를 사용하여 합하여 초점 값을 측정하는 것을 특징으로 하는 초점 측정 장치.In the focus measuring device of a far-field tracking camera,
An image acquisition unit which acquires an image of an eye using a narrow angle camera;
An input image generator configured to down sample the image of the eye to generate an input image;
A brightness correction unit for correcting an average gray level of the input image to an average gray level of training data;
A focus measurement method using a dougman mask, a focus measurement method using a mask of Kang, a Haar wavelet transform method, and a Daubechies wavelet transform method are respectively used for the corrected input image. A focus measuring unit measuring four focus values;
A normalizer for non-linear normalization of the measured four focus values to a value between 0 and 1, respectively;
A focus value adder configured to sum the normalized four focus values into one final focus value through a multilayer neural network using a sigmoid kernel function; And
It includes a lens control unit for controlling a focus lens by using the final focus value,
The Har wavelet transform method and the Dowish wavelet transform method each calculate a focus value on a four-step scale and measure a focus value by adding a ratio of a high band value divided by a low band value on each of the four step scales using a predetermined weight. Focus measuring apparatus, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010049A KR101831247B1 (en) | 2012-01-31 | 2012-01-31 | Apparatus for focus measurement in eye tracking system using multi layer perception |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010049A KR101831247B1 (en) | 2012-01-31 | 2012-01-31 | Apparatus for focus measurement in eye tracking system using multi layer perception |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130088666A true KR20130088666A (en) | 2013-08-08 |
| KR101831247B1 KR101831247B1 (en) | 2018-02-22 |
Family
ID=49214962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120010049A KR101831247B1 (en) | 2012-01-31 | 2012-01-31 | Apparatus for focus measurement in eye tracking system using multi layer perception |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101831247B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105954992A (en) * | 2016-07-22 | 2016-09-21 | 京东方科技集团股份有限公司 | Display system and display method |
| KR20160131071A (en) * | 2014-03-06 | 2016-11-15 | 프로그레스, 인코포레이티드 | Neural network and method of neural network training |
| WO2019054598A1 (en) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | Eye tracking method and user terminal for performing same |
| CN109698901A (en) * | 2017-10-23 | 2019-04-30 | 广东顺德工业设计研究院(广东顺德创新设计研究院) | Atomatic focusing method, device, storage medium and computer equipment |
| CN110333088A (en) * | 2019-04-19 | 2019-10-15 | 北京化工大学 | Agglomerate detection method, system, device and medium |
| CN110853073A (en) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | Method, device, equipment and system for determining attention point and information processing method |
| US10628947B2 (en) | 2016-11-22 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100799829B1 (en) * | 2006-10-11 | 2008-01-31 | 삼성전기주식회사 | Method for auto-focusing using neural network |
-
2012
- 2012-01-31 KR KR1020120010049A patent/KR101831247B1/en active IP Right Grant
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160131071A (en) * | 2014-03-06 | 2016-11-15 | 프로그레스, 인코포레이티드 | Neural network and method of neural network training |
| CN105954992A (en) * | 2016-07-22 | 2016-09-21 | 京东方科技集团股份有限公司 | Display system and display method |
| US10503251B2 (en) | 2016-07-22 | 2019-12-10 | Boe Technology Group Co., Ltd. | Display system and display method |
| US10628947B2 (en) | 2016-11-22 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
| US11417003B2 (en) | 2016-11-22 | 2022-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
| WO2019054598A1 (en) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | Eye tracking method and user terminal for performing same |
| US11250242B2 (en) | 2017-09-13 | 2022-02-15 | Visualcamp Co., Ltd. | Eye tracking method and user terminal performing same |
| CN109698901A (en) * | 2017-10-23 | 2019-04-30 | 广东顺德工业设计研究院(广东顺德创新设计研究院) | Atomatic focusing method, device, storage medium and computer equipment |
| CN110853073A (en) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | Method, device, equipment and system for determining attention point and information processing method |
| CN110333088A (en) * | 2019-04-19 | 2019-10-15 | 北京化工大学 | Agglomerate detection method, system, device and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101831247B1 (en) | 2018-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101831247B1 (en) | Apparatus for focus measurement in eye tracking system using multi layer perception | |
| US10460167B2 (en) | Extended depth-of-field biometric system | |
| US8995753B2 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
| JP5866383B2 (en) | Focus error estimation in images | |
| Amin et al. | High speed detection of retinal blood vessels in fundus image using phase congruency | |
| DE102010001520A1 (en) | Iris detection system and method supported by an aircraft sensor | |
| EP2328006A1 (en) | Task-based imaging systems | |
| JP2013089230A (en) | System and method for depth-from-defocus imaging | |
| DE102010001324A1 (en) | Depth-conscious blur kernel estimation using iris deburring | |
| DE102010001331A1 (en) | Iris-deburring method based on global and local iris image statistics | |
| US9865043B2 (en) | Adaptive image acquisition and display using multi-focal display | |
| CN111222472B (en) | Face recognition method based on structural light frequency domain characteristics | |
| US11512946B2 (en) | Method and system for automatic focusing for high-resolution structured light 3D imaging | |
| US20220261074A1 (en) | Methods and systems for forming images of eye features using a non-imaging, scanning-mems-based eye-tracking system | |
| Hu et al. | A new type of multi-focus image fusion method based on curvelet transforms | |
| Chen et al. | Computational optics for mobile terminals in mass production | |
| CN106842496B (en) | The method of automatic adjustment focus based on frequency domain comparison method | |
| JP7182778B2 (en) | Gait analyzer | |
| Poncelet et al. | A Digital Image Correlation algorithm with light reflection compensation | |
| JP2016109489A (en) | Image processing device, image processing method, and program and storage medium storing the same | |
| RU2782980C1 (en) | Device and method for image formation with provision of increased depth of the depicted space (options) | |
| US20230148858A1 (en) | Systems, Methods and Computer Program Products for Identifying Presence of a Conjugate in an Image | |
| Tu | Predicting Eye Fixations Under Distortion Using Bayesian Observers | |
| CN109979583A (en) | Adjusting method for OCT system | |
| KR20150139379A (en) | Apparatus for recognizing iris and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |