KR20160094077A

KR20160094077A - Electronic device and method for capturing image

Info

Publication number: KR20160094077A
Application number: KR1020150015179A
Authority: KR
Inventors: 박정훈
Original assignee: 삼성전자주식회사
Priority date: 2015-01-30
Filing date: 2015-01-30
Publication date: 2016-08-09

Abstract

The present invention relates to an electronic device for capturing an image to track eye movements and a method thereof. The electronic device for capturing an image according to the present invention comprises the steps of: measuring the surrounding brightness; irradiating a light source by controlling at least one among the brightness of the light source and an exposure time of the light source in order to capture an image corresponding to the measured surrounding brightness; generating multiple frames corresponding to the captured image by using the irradiated light source; and selecting at least one of the generated multiple frames. Thereby, a high-quality image can be captured to track eye movements regardless of change in lighting.

Description

[0001] ELECTRONIC DEVICE AND METHOD FOR CAPTURING IMAGE [0002]

본 발명은 시선을 조명의 변화에 상관없이 추적하기 위해 양질의 이미지를 캡쳐하는 전자 장치 및 방법에 관한 것이다.The present invention relates to electronic devices and methods for capturing high quality images to track eye lines regardless of changes in illumination.

일반적으로 컴퓨터를 통해 작업을 수행할 경우, 컴퓨터에 입력되는 명령은 마우스 또는 키보드를 통해 입력될 수 있다. 일반 사용자는 원하는 작업을 수행하기 위해 손가락을 이용하여 이러한 마우스 또는 키보드를 조작한다. 이와 같이, 마우스 또는 키보드를 통해 사용자가 원하는 기능을 실행하는 경우, 실행된 결과는 표시부를 통해 표시된다. 그런데, 일반 사용자에 비해 화면 컨트롤 능력이 떨어지는 근육병이나 루게릭 환자의 경우 마우스 또는 키보드를 아예 사용하기가 힘들기 때문에, 컴퓨터와 대체장치를 사용하는데 어려움이 존재한다. 이때 입력장치의 하나로 사용자의 시선을 이용하는 입력시스템이 사용될 수 있으며, 이 경우 사용자의 안구의 시선을 추적하여 컴퓨터를 제어할 수 있게 되는 시스템을 구성할 수 있고, 이 시스템을 사용할 필요성이 제기될수 있다. Generally, when performing an operation through a computer, a command input to the computer can be input through a mouse or a keyboard. The general user manipulates the mouse or the keyboard by using a finger to perform a desired operation. As described above, when the user performs a desired function through the mouse or the keyboard, the executed result is displayed through the display unit. However, there is a difficulty in using a computer and an alternative device because it is difficult to use a mouse or a keyboard at all in case of muscular diseases or Lou Gehrig patients whose screen control ability is lower than that of a general user. In this case, an input system that uses the user's gaze as one of the input devices can be used. In this case, a system can be configured which can control the computer by tracking the gaze of the user's eyes, and the necessity of using this system can be raised .

일반적으로 이미지를 센싱하는 방법은 CCD(Charage Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor)가 있는데, 일반적으로 비디오 클립은 1초에 30프레임, 또는 60프레임의 여러 정지 영상 프레임을 연속적으로 가질 수 있다. 이때, 각각의 정지 프레임의 구분은 수직 동기(Vertical Synchronizer) 신호를 통해 구분할 수 있고, 한장의 2차원 정지 이미지는 여러 1차원 레스터 스캔 수평선 이미지들과 다른 혼합 이미지들로 혼합되어 있다고 볼 수 있다. 이러한 라인 이미지들은 시간적으로 연결된 연속된 이미지 신호를 구성하기 위해 하나씩 차례로 연결되어 있고, 이 신호들의 모임은 또한 연속적인 아날로그 신호로 전이될 수 있다. 각 라인이 모여서 한 장의 이미지를 만들면 이러한 각각의 이미지 신호들을 구분하기 위해 수직적 동기(Vertical Synchronizer) 신호가 사용될 수 있다. In general, there are CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) as a method of sensing an image. In general, a video clip can have a plurality of still image frames of 30 frames or 60 frames per second . At this time, the distinction of each still frame can be discriminated through a vertical synchronizer signal, and a 2D still image is mixed with various one-dimensional raster scan horizontal line images and other mixed images. These line images are connected one after the other to form a series of image signals connected in time, and the group of these signals can also be transferred to a continuous analog signal. When each line is gathered to form one image, a vertical synchronizer signal may be used to distinguish each of these image signals.

따라서, 사용자의 손가락이나, 음성등이 아닌 사용자의 안구의 시선을 통해서 원할하고 편리하게 컴퓨터를 사용하기 위해서는 수직적 동기 신호 내의 수평 동기(Horizontal Synchronizer) 신호의 타이밍 동기화를 통해 정기적인 광원 스위칭을 통하여 발산하여 보다 정확하게 안구의 시선을 추적할 필요성이 요구된다.Accordingly, in order to use the computer comfortably and conveniently through the eyes of the user's eyes rather than the user's finger, voice, or the like, the timing synchronization of the horizontal synchronizer signal in the vertical synchronous signal is carried out through periodic light source switching Therefore, there is a need to more accurately track eyeballs.

종래 시스템의 단점으로는 어두운 곳에서 상대적으로 크게 밝은 광원의 빛이 사용될 경우나 밝은 곳에서 조금 어두운 광원이 사용되는 경우에, 이미지 캡쳐를 위한 광원이 켜져 있는 시간과 꺼져 있는 시간의 변수는 각각의 광원 총 노출량에 심각한 영향을 줄 수 있다. 이 경우 광원이 주변보다 너무 밝게 되면 이미지 센서에 포화(Saturation) 될 것이고, 반대로 광원이 주변보다 너무 어둡게 되면 원하는 이미지를 얻지 못하게 된다. 이를 다시 말하면, 각각의 광원의 밝기 세기는 원하는 이미지를 얻을 수 있도록 최소의 밝기가 있어야 하고, 또한 눈에 무리가 가게 할 수 있는 최대 밝기를 넘어서는 안된다. 이를 정리하면, 광원의 적절한 노출 시간으로 원하는 이미지를 주변 밝기에 따라 적응적으로 제어해야하는 필요가 있으며, 종래의 시스템은 적절한 광원인지 아닌지를 확인하지 않은 상태에서 이미지 처리를 하기 때문에, 그 이미지 처리는 원하는 결과를 얻지 못하는 이미지 처리로 시스템의 계산량만 증가시키게 될 뿐만 아니라, 깨끗한 이미지도 획득할 수 없게 된다.Disadvantages of the conventional system are that when the light of a relatively bright light source is used in a dark place, or when a dark light source is used in a bright place, the variables of the light source on and off time for image capture are This can seriously affect the total exposure of the light source. In this case, the light source will become saturated with the image sensor if it is too bright, and conversely, if the light source is too dark, the desired image will not be obtained. In other words, the brightness intensity of each light source should be at least the brightness to obtain the desired image, and should not exceed the maximum brightness that can cause the eye to overload. In summary, it is necessary to adaptively control the desired image with appropriate exposure time of the light source according to the surrounding brightness. Since the conventional system does image processing without checking whether it is an appropriate light source, Not only does it increase the amount of computation of the system with image processing that does not achieve the desired result, but also can not obtain clear images.

따라서 본 발명의 다양한 실시예는 시선을 추적하기 위해 이미지를 캡쳐하는 전자 장치 및 방법을 제공한다. Accordingly, various embodiments of the present invention provide an electronic device and method for capturing an image to track eye gaze.

상술한 바를 달성하기 위해 한 실시예는 전자 장치의 이미지 캡쳐 방법에 있어서, 주변 밝기를 측정하는 과정과, 상기 측정된 주변 밝기에 대응하여 이미지를 캡쳐하기 위해 광원의 밝기 세기 및 상기 광원의 노출 시간 중 적어도 하나를 제어하여 상기 광원을 발산하는 과정과, 상기 발산된 광원을 이용하여 상기 이미지의 캡쳐에 대응되는 복수의 프레임들을 생성하는 과정과, 상기 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택하는 과정을 포함할 수 있다.According to an embodiment of the present invention, there is provided an image capturing method of an electronic device, including: measuring ambient brightness; detecting brightness intensity of a light source and an exposure time of the light source in order to capture an image corresponding to the measured ambient brightness; Generating a plurality of frames corresponding to the capturing of the image using the divergent light source, generating at least one frame among the generated plurality of frames, And a selection process.

또한, 상술한 바를 달성하기 위한 한 실시예는 이미지를 캡쳐하는 전자 장치에 있어서, 광원을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와, 상기 발산된 광원을 통해 이미지를 캡쳐하는 카메라부와, 상기 이미지를 캡쳐하기 위해 주변 밝기를 측정하는 감지부와, 상기 측정된 주변 밝기에 대응하여 이미지를 캡쳐하기 위해 광원의 밝기 세기 및 상기 광원의 노출 시간 중 적어도 하나를 제어하여 상기 광원을 발산하고, 상기 발산된 광원을 이용하여 상기 이미지의 캡쳐에 대응되는 복수의 프레임들을 생성하고, 상기 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택하는 제어부를 포함할 수 있다.According to another aspect of the present invention, there is provided an electronic device for capturing an image, comprising: a light emitting unit including at least one light emitting device for emitting a light source; a camera unit capturing an image through the emitted light source; A sensing unit for measuring the ambient brightness to capture the image; and a controller for controlling at least one of brightness intensity of the light source and exposure time of the light source to capture the image corresponding to the measured ambient brightness to diverge the light source A control unit for generating a plurality of frames corresponding to the capture of the image using the divergent light source and selecting at least one frame among the generated plurality of frames.

또한, 상술한 바를 달성하기 위한 한 실시예는 전자 장치의 이미지 캡쳐를 제어하는 명령어를 포함하는 프로그램을 저장하는 컴퓨터 가독성 저장 매체에 있어서, 주변 밝기를 측정하는 제1 명령 셋과, 상기 측정된 주변 밝기에 대응하여 이미지를 캡쳐하기 위해 광원의 밝기 세기 및 상기 광원의 노출 시간 중 적어도 하나를 제어하여 상기 광원을 발산하는 제2 명령 셋과, 상기 발산된 광원을 이용하여 상기 이미지의 캡쳐에 대응되는 복수의 프레임들을 생성하는 제3 명령 셋과, 상기 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택하는 제4 명령 셋을 포함할 수 있다.In addition, one embodiment for achieving the foregoing is a computer readable storage medium storing a program including instructions for controlling image capture of an electronic device, the computer readable storage medium having a first instruction set for measuring ambient brightness, A second instruction set for controlling at least one of a brightness intensity of a light source and an exposure time of the light source in order to capture an image corresponding to the brightness to diverge the light source; A third instruction set for generating a plurality of frames, and a fourth instruction set for selecting at least one frame among the generated plurality of frames.

본 발명의 다양한 실시예에 따르면, 본 발명은 주변 밝기에 따라 광원의 밝기 세기 및 광원의 노출 시간을 제어하여 광원을 발산함으로써, 보다 깨끗한 품질의 이미지를 획득할 수 있을 뿐만 아니라, 획득된 이미지를 캡쳐링 및 이미지 계산하기 때문에 계산량을 줄일 수 있다. 또한, 본 발명은 획득된 이미지를 통해서 안구의 시선을 추적함으로써, 보다 정확한 안구의 시선을 추적할 수 있다.According to various embodiments of the present invention, the brightness of the light source and the exposure time of the light source are controlled according to the surrounding brightness to emit the light source, thereby obtaining a more clean image, Capture and image computation can reduce computational complexity. In addition, the present invention can track eyeballs more accurately by tracking eyeballs through acquired images.

도 1은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하기 위해 이미지를 캡쳐하는 안구 추적 장치의 블럭도와 전자 장치의 블럭도를 나타낸 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하기 위해 이미지를 캡쳐하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 안구의 시선을 추적하는 안구 추적 장치의 외관을 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 수직 동기 신호에 대응하여 광원을 발산하는 타이밍도이다.
도 6은 본 발명의 일 실시 예에 따른 수직 동기 신호를 기반으로하여 복수의 프레임들을 생성하는 타이밍도이다.FIG. 1 is an exemplary view illustrating a system for controlling a display by tracking an eyeball according to an exemplary embodiment of the present invention. Referring to FIG.
2 is a block diagram of an eye tracking device for capturing an image to track eye lines of an eye according to an embodiment of the present invention and is a block diagram of an electronic device.
FIG. 3 is a flowchart illustrating a process of capturing an image in order to track eyeballs according to an embodiment of the present invention.
4 is an exemplary view showing the appearance of an eye tracking device for tracking an eyeball according to an embodiment of the present invention.
5 is a timing diagram for emitting a light source in response to a vertical synchronization signal according to an embodiment of the present invention.
6 is a timing diagram for generating a plurality of frames based on a vertical synchronization signal according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.Hereinafter, the present invention will be described with reference to the accompanying drawings. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all changes and / or equivalents and alternatives falling within the spirit and scope of the invention. In connection with the description of the drawings, like reference numerals have been used for like elements.

본 발명 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The word "comprises" or "comprising may " used in the present specification refers to the existence of the corresponding function, operation, or element, etc., and does not limit the one or more additional functions, operations or components. Also, in the present invention, the terms such as "comprises" or "having ", and the like, are used to specify that there is a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

본 발명에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도 또는 A와 B 모두를 포함할 수도 있다. The "or" in the present invention includes any and all combinations of words listed together. For example, "A or B" may include A, B, or both A and B.

본 발명 가운데 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first", "second", "first", or "second" in the present invention can modify various elements of the present invention, but do not limit the constituent elements. For example, the representations do not limit the order and / or importance of the components. The representations may be used to distinguish one component from another. For example, both the first user equipment and the second user equipment are user equipment and represent different user equipment. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted as ideal or overly formal in the sense of the present invention Do not.

본 발명에 따른 전자 장치는, 디스플레이 제어 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 와치(smartwatch)) 또는 안구 추적 장치 중 적어도 하나를 포함할 수 있다.The electronic device according to the present invention may be an apparatus including a display control function. For example, the electronic device can be a smartphone, a tablet personal computer, a mobile phone, a videophone, an e-book reader, a desktop personal computer, a laptop Such as a laptop personal computer (PC), a netbook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, a mobile medical device, a camera, or a wearable device (E. G., A head-mounted-device (HMD) such as an electronic eyeglass, an electronic apparel, an electronic bracelet, an electronic necklace, an electronic app apparel, an electronic tattoo, a smartwatch) .

또한, 본 발명에 따른 안구 추적하기 위해 이미지를 캡쳐하는 전자 장치는 안구의 시선을 추적하는 전자 장치로서, 안구의 시선을 추적하기 위해 빛을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와, 상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 카메라를 포함할 수 있다.According to another aspect of the present invention, there is provided an electronic device for capturing an image for tracking an eyeball, the electronic device including a light emitting unit including at least one light emitting device for emitting light for tracking an eyeball, And a camera for photographing the eyeball in response to detection of light formed on the eyeball by the divergent light.

어떤 실시예들에 따르면, 전자 장치는 디스플레이 제어 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 방송 신호를 수신하여 출력하는 장치), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.According to some embodiments, the electronic device may be a smart home appliance having a display control function. [0003] Smart household appliances, such as electronic devices, are widely used in the fields of television, digital video disk (DVD) player, audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave oven, washing machine, air cleaner, set- And may include at least one of a box (e.g., a device that receives and outputs a broadcast signal), game consoles, an electronic dictionary, an electronic key, a camcorder, or an electronic frame.

어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.According to some embodiments, the electronic device may be a variety of medical devices (e.g., magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT) (global positioning system receiver), EDR (event data recorder), flight data recorder (FDR), automotive infotainment device, marine electronic equipment (eg marine navigation device and gyro compass), avionics, A security device, a head unit for a vehicle, an industrial or home robot, an ATM (automatic teller's machine) of a financial institution, or a POS (point of sale) of a shop.

어떤 실시예들에 따르면, 전자 장치는 디스플레이 제어 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.According to some embodiments, the electronic device may be a piece of furniture or a structure / structure including a display control function, an electronic board, an electronic signature receiving device, a projector, And may include at least one of various measuring instruments (e.g., water, electricity, gas, or radio wave measuring instruments, etc.). An electronic device according to the present invention may be one or more of the various devices described above. Further, the electronic device according to the present invention may be a flexible device. It should also be apparent to those skilled in the art that the electronic device according to the present invention is not limited to the above-described devices.

이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
Hereinafter, an electronic device according to various embodiments will be described with reference to the accompanying drawings. The term user as used in various embodiments may refer to a person using an electronic device or a device using an electronic device (e.g., an artificial intelligence electronic device).

도 1은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 시스템을 나타낸 예시도이다.FIG. 1 is an exemplary view illustrating a system for controlling a display by tracking an eyeball according to an exemplary embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 시스템은 표시부(120), 안구 추적 장치(110) 및 전자 장치(130)를 포함할 수 있다. 표시부(120)는 사용자에게 영상, 데이터, 정보 등을 시각적으로 보여지도록 출력할 수 있고, 사용자의 안구의 시선의 움직임에 대응하여 실시간으로 마우스 커서를 표시할 수 있다. 또한, 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 표시할 수 있다. Referring to FIG. 1, a system for tracking and controlling an eyeball according to an exemplary embodiment of the present invention may include a display unit 120, an eye tracking device 110, and an electronic device 130. The display unit 120 can display the image, data, information, etc. visually to the user, and can display the mouse cursor in real time corresponding to the movement of the eyeball of the user's eyes. Further, a user interface for controlling the display can be displayed by using the line of sight of the eyeball.

안구 추적 장치(110)는 사용자의 안구를 추적하는 장치로서, 발광부, 카메라부, 제어부, 송수신부 및 감지부를 포함할 수 있다. 상기 발광부는 카메라부의 좌측과 우측에 구비될 수 있다. 또한, 발광부는 카메라의 주변에 구성될 수 있다. 상기 발광부는 적어도 하나의 발광 소자를 포함할 수 있다. 감지부는 안구 추적 장치(110)의 외관에 구비되어 주변 밝기를 측정할 수 있다. 또한, 안구 추적 장치(110)는 사용자의 안구와 표시부 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다. 상기 안구 추적 장치(110)는 표시부(120)의 상측 또는 하측에 장착될 수 있다. 또한, 안구 추적 장치(110)는 사용자의 안구를 추적할 수 있는 위치에 장착될 수 있다. The eye tracking device 110 is an apparatus for tracking a user's eyeball and may include a light emitting unit, a camera unit, a control unit, a transceiver unit, and a sensing unit. The light emitting unit may be provided on the left and right sides of the camera unit. Further, the light emitting portion can be configured around the camera. The light emitting unit may include at least one light emitting device. The sensing unit may be provided on an outer surface of the eyeball tracking device 110 to measure ambient brightness. In addition, the eyeball tracking device 110 may further include a sensor (not shown) capable of measuring a distance between a user's eyeball and a display unit. The eye tracking device 110 may be mounted on the upper side or the lower side of the display unit 120. In addition, the eye tracking device 110 may be mounted at a position capable of tracking the user's eyeball.

안구 추적 장치(110)는 발광부를 통해 빛을 발산하고, 발산된 빛을 통해서 카메라부를 이용하여 안구를 촬영하고, 촬영된 안구를 분석하여 시선을 추적할 수 있다. 그리고, 안구 추적 장치(110)는 추적된 시선에 따른 디스플레이 상의 좌표에 대한 정보를 전자 장치(130)로 전송할 수 있다. The eyeball tracking device 110 may emit light through the light emitting unit, photograph the eyeball using the camera unit through the emitted light, and analyze eyeballs to track the eyeball. The eye tracking device 110 may then send information to the electronic device 130 about the coordinates on the display according to the tracked line of sight.

전자 장치(130)는 안구 추적 장치(110)로부터 시선에 의해 주시되는 좌표에 대한 정보를 수신하고, 안구의 시선을 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 표시부(120)에 표시하고, 수신된 정보에 해당되는 지점에 마우스 커서를 표시할 수 있다. 전자 장치(130)는 마우스 커서가 표시된 유저 인터페이스 상의 메뉴에 위치하는지를 판단할 수 있다. 그리고, 전자 장치(130)는 유저 인터페이스 상에서 임의 메뉴가 선택되는 경우, 선택된 메뉴에 대응하는 기능을 실행할 수 있다.
The electronic device 130 receives information on the coordinates viewed by the eyeball from the eyeball tracking device 110, displays a user interface for controlling the mouse cursor on the display unit 120 using the eyeball of the eyeball, The mouse cursor can be displayed at a point corresponding to the information obtained. The electronic device 130 may determine whether the mouse cursor is located on a menu on the user interface displayed. Then, the electronic device 130 can execute a function corresponding to the selected menu when an arbitrary menu is selected on the user interface.

도 2는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하기 위해 이미지를 캡쳐하는 안구 추적 장치의 블럭도와 전자 장치의 블럭도를 나타낸 예시도이다.2 is a block diagram of an eye tracking device for capturing an image to track eye lines of an eye according to an embodiment of the present invention and is a block diagram of an electronic device.

도 2를 참조하면, 안구 추적 장치(210)는 사용자의 안구를 추적하기 위해 이미지를 캡쳐하는 장치로서, 발광부(211), 카메라부(212), 제어부(213), 송수신부(214), 감지부(215) 및 저장부(216)를 포함할 수 있다. 또한, 안구 추적 장치(210)는 사용자의 안구와 표시부 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다. 그리고, 전자 장치(220)는 안구 추적 장치를 통해 추적된 안구의 시선을 이용하여 디스플레이를 제어할 수 있는 장치로서, 표시부(221), 제어부(222) 및 송수신부(223)를 포함할 수 있다.2, the eye tracking device 210 is an apparatus for capturing an image to track a user's eyeball and includes a light emitting unit 211, a camera unit 212, a control unit 213, a transceiver unit 214, A sensing unit 215 and a storage unit 216. In addition, the eyeball tracking device 210 may further include a sensor (not shown) capable of measuring a distance between a user's eyeball and a display unit. The electronic device 220 may include a display unit 221, a control unit 222, and a transceiver unit 223, which can control the display using eyeballs tracked through the eyeball tracking device .

상기 안구 추적 장치(210)는 표시부(120)의 상측 또는 하측에 장착될 수 있다. 또한, 안구 추적 장치(210)는 사용자의 안구를 추적할 수 있는 위치에 장착될 수 있다. 안구 추적 장치(210)에서 발광부(211)는 빛을 발산할 수 있는 적어도 하나의 발광 소자를 포함할 수 있다. 상기 발광 소자는 LED(Light Emitting Diode)를 포함할 수 있다. 상기 발광 소자는 미리 결정된 시간 단위로 빛을 발산할 수 있다. 적어도 하나의 발광 소자에 의해 빛이 발산되어 안구에 빛이 형상되면, 카메라부(212)는 안구에 형상되는 빛을 감지하고, 안구를 촬영할 수 있다.The eye tracking device 210 may be mounted on the upper side or the lower side of the display unit 120. In addition, the eye tracking device 210 may be mounted at a position capable of tracking the user ' s eyeball. In the eye tracking device 210, the light emitting unit 211 may include at least one light emitting device capable of emitting light. The light emitting device may include a light emitting diode (LED). The light emitting device may emit light in a predetermined time unit. When light is emitted by the at least one light emitting element and light is formed in the eyeball, the camera unit 212 can sense the light in the eyeball and photograph the eyeball.

상기 발광부(211)는 카메라를 둘러싸도록 형성되는 적어도 하나의 발광 소자로 구성된 제1 광원과 카메라의 위치에서 일정 거리 만큼 떨어진 곳에 위치하며 적어도 하나의 발광 소자로 구성된 제2 광원을 포함할 수 있다. 상기 제2 광원은 상기 카메라를 중심으로 좌측과 우측 또는 상측과 하측에 형성될 수 있다.The light emitting unit 211 may include a first light source configured to include at least one light emitting device formed to surround the camera and a second light source disposed at a predetermined distance from the position of the camera and configured of at least one light emitting device . The second light source may be formed on the left side and the right side or the upper side and the lower side with respect to the camera.

상기 카메라부(212)는 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.The camera unit 212 is a device capable of capturing a still image and a moving image and includes at least one image sensor such as a front sensor or a rear sensor, a lens (not shown), an image signal processor (ISP) flash, not shown) (e.g., LED or xenon lamp).

상기 감지부(215)는 주변 밝기 또는 밝기 세기를 감지하거나 측정할 수 있다. 감지부(215)는 측정된 주변 밝기에 대응되는 값을 저장부(216)에 저장할 수 있고, 제어부(213)로 전달할 수 있다. 상기 감지부(215)는 물리량을 계측하거나 전자 장치(210)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 감지부(215)는 예를 들면, color 센서(예: RGB(red, green, blue) 센서), 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 감지부(215)는 홍채 센서(미도시) 등을 포함할 수 있다. 또한, 상기 감지부(215)는 상술한 복수의 센서 이외에 주변 밝기의 세기, 밝기량을 감지할 수 있는 다양한 센서를 포함할 수 있다. 상기 감지부(215)는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.The sensing unit 215 may sense or measure ambient brightness or brightness intensity. The sensing unit 215 may store a value corresponding to the measured ambient brightness in the storage unit 216 and may transmit the value to the control unit 213. [ The sensing unit 215 may measure a physical quantity or sense an operation state of the electronic device 210 to convert the measured or sensed information into an electrical signal. The sensing unit 215 may include at least one of, for example, a color sensor (e.g., an RGB (red, green, blue) sensor), a temperature / humidity sensor, an illuminance sensor, or a UV (ultra violet) sensor. Additionally or alternatively, the sensing unit 215 may include an iris sensor (not shown) or the like. In addition, the sensing unit 215 may include various sensors capable of sensing intensity and brightness of surrounding brightness in addition to the plurality of sensors described above. The sensing unit 215 may further include a control circuit for controlling at least one or more sensors included in the sensing unit 215.

상기 저장부(216)는 제어부(213) 또는 다른 구성요소들(예: 발광부(211), 카메라부(212), 송수신부(214) 및 감지부(215)로부터 수신되거나 생성된 명령 또는 데이터를 저장할 수 있다. The storage unit 216 stores instructions or data received or generated from the control unit 213 or other components (e.g., the light emitting unit 211, the camera unit 212, the transceiver unit 214, and the sensing unit 215) Can be stored.

제어부(213)는 안구의 중심점(예: 홍채 중심점)과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 제어부(213)는 안구와 표시부(120) 간의 거리 및 안구의 중심점과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 예를 들어, 안구와 표시부(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 발광 소자를 주시하면, 안구에 형상되는 빛은 안구의 중심부에 위치하게 될 수 있다. 또한, 예를 들어, 안구와 표시부(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 표시부(120)의 윗쪽 부분을 주시하는 경우, 발광 소자에 의해 발산되는 빛은 상기 발광 소자를 주시하는 경우와 동일한 위치에 존재할 수 있으나, 홍채는 주시된 지점에 대응하여 안구에서 위쪽으로 향할 수 있다. 이 경우, 제어부(213)는 안구의 중심점과 안구상에 형상되는 빛 간의 거리, 각도 등을 계산하여, 사용자가 표시부의 어느 지점을 주시하고 있는지 판단할 수 있다. 제어부(213)는 미리 결정된 시간 단위로 안구를 촬영할 수 있거나 안구의 움직임의 감지에 대응하여 안구를 촬영할 수 있다. The control unit 213 can track the eyeball's gaze using the distance between the central point of the eyeball (e.g., iris center point) and the light formed on the eyeball. The control unit 213 can track the eyeball's gaze using the distance between the eyeball and the display unit 120 and the distance between the central point of the eyeball and the light formed in the eyeball. For example, in a state where the distance between the eyeball and the display unit 120 is calculated or measured, when the user looks at the light emitting device, the light that appears in the eyeball can be located at the center of the eyeball. Also, for example, when the user observes the upper portion of the display unit 120 while the distance between the eyeball and the display unit 120 is calculated or measured, the light emitted by the light emitting device is reflected But the iris may be directed upward in the eyeball corresponding to the spot of interest. In this case, the controller 213 may calculate the distance, angle, and the like between the center of the eyeball and the light on the eyeball to determine which point of the display unit the user is watching. The control unit 213 can photograph the eyeball in a predetermined time unit or can photograph the eyeball in response to the detection of the movement of the eyeball.

제어부(213)는 발광 소자에 의해 발산된 빛이 안구에 형상되는 것을 감지하여 안구를 촬영할 수 있다. 제어부(213)는 감지부(215)에서 측정된 주변 밝기에 대응하여 이미지를 캡쳐하기 위해 발광부(211)의 광원의 밝기 세기 및 광원의 노출 시간 중 적어도 하나를 제어하여 광원을 발산하고, 발상된 광원을 이용하여 이미지의 캡쳐에 대응되는 복수의 프레임들을 생성하고, 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택할 수 있다. 제어부(213)는 수직 동기(Vertical Synchronize) 신호 및 수평 동기(Horizontal Synchronize) 신호 중 적어도 하나에 광원의 발산을 동기화하여 광원을 발산할 수 있다. 제어부(213)는 수직 동기 신호의 활성 구간에 따라 발광부(211)에 구성된 제1 광원과 제2 광원을 번갈아 발산할 수 있다. 제어부(213)는 수직 동기 신호의 제1 활성 구간에 제1 광원을 발산하고, 상기 제1 활성 구간의 다음 구간인 제2 활성 구간에 제2 광원을 발산하고, 상기 제2 활성 구간의 다음 구간인 제3 활성 구간에 상기 제1 광원을 발산할 수 있다. 상술한 바와 같이, 제어부(213)는 제1 광원과 제2 광원을 수직 동기 신호의 활성 구간에 교대로 발산할 수 있다. 또한, 제어부(213)는 수평 동기 신호의 활성 구간에 따라 발광부(211)에 구성된 제1 광원과 제2 광원을 번갈아 발산할 수 있다. The control unit 213 may detect the light emitted by the light emitting device to be formed in the eyeball and photograph the eyeball. The control unit 213 controls at least one of the brightness intensity of the light source of the light emitting unit 211 and the exposure time of the light source to capture an image corresponding to the ambient brightness measured by the sensing unit 215, A plurality of frames corresponding to the capture of the image may be generated using the light source, and at least one frame among the generated plurality of frames may be selected. The controller 213 can dissipate the light source by synchronizing the divergence of the light source to at least one of a vertical synchronizing signal and a horizontal synchronizing signal. The control unit 213 may alternately divert the first light source and the second light source configured in the light emitting unit 211 according to the active period of the vertical synchronization signal. The control unit 213 emits the first light source in the first active period of the vertical synchronization signal, diverges the second light source in the second active period, which is the next period of the first active period, The first light source may emit the first light source. As described above, the control unit 213 can alternately diverge the first light source and the second light source in the active period of the vertical synchronization signal. In addition, the control unit 213 can alternately divert the first light source and the second light source formed in the light emitting unit 211 according to the active period of the horizontal synchronization signal.

제어부(213)는 광원의 밝기 세기 및 광원의 노출 시간을 수직 동기 신호 및 수평 동기 신호 중 적어도 하나의 타이밍에 동기화하여 광원을 발산할 수 있다. 제어부(213)는 광원을 발산하는데 있어서, 발광부(211)에 구성된 제1 광원의 각 발광 요소 및 제2 광원의 각 발광 요소의 밝기 세기 및 노출 시간을 제어할 수 있다. 제어부(213)는 주변 밝기에 대응하여 광원을 실시간으로 발산하는데 있어서, 발광부(211)에 구성된 제1 광원의 각 발광 요소 및 제2 광원의 각 발광 요소의 밝기 세기 및 노출 시간을 실시간으로 제어할 수 있다. 제어부(213)는 광원의 밝기를 주변의 밝기보다 밝도록 광원의 세기 및 노출 시간 중 적어도 하나를 제어할 수 있다. 제어부(213)는 광원의 밝기를 주변의 밝기보다 밝도록 광원의 세기 및 노출 시간 중 적어도 하나를 실시간으로 제어할 수 있다. 제어부(213)는 하기 <수학식 1>을 이용하여 광원의 밝기를 조절할 수 있다. The controller 213 may emit the light source by synchronizing the brightness intensity of the light source and the exposure time of the light source to at least one of the vertical synchronization signal and the horizontal synchronization signal. The control unit 213 can control the brightness intensity and the exposure time of each light emitting element of the first light source and the light emitting elements of the second light source, which are configured in the light emitting unit 211, in diverging the light source. The control unit 213 controls the brightness intensity and the exposure time of each light emitting element of the first light source and the light emitting elements of the second light source configured in the light emitting unit 211 in real time in accordance with the ambient brightness, can do. The control unit 213 may control at least one of the intensity of the light source and the exposure time so that the brightness of the light source is brighter than the brightness of the surroundings. The control unit 213 can control at least one of the intensity of the light source and the exposure time in real time so that the brightness of the light source is brighter than the brightness of the surrounding light. The controller 213 can adjust the brightness of the light source using Equation (1) below.

상기 <수학식 1>에서 n은 발광 소자의 개수를 의미하며, C는 발광 소자의 밝기를 의미하며, i_LED(t)는 발광 소자의 빛의 밝기를 전류로 환산한 양을 의미하고, t₁은 최소 시간을 의미하고, t₂는 최대 시간을 의미한다.In Equation (1), n denotes the number of light emitting devices, C denotes the brightness of the light emitting device, i _LED (t) denotes the amount of brightness of the light emitting device converted into current, t ₁ means minimum time, and t ₂ means maximum time.

상기 <수학식 1>을 통해서 발광 소자의 밝기가 계산되면, 계산된 발광 소자의 밝기에서 주변 밝기를 차감한 빛의 세기는 사람에게 해가되지 않는 빛의 세기(예: 눈의 피로감이 발생되지 않는 빛의 세기)보다 작고, 안구를 추적하기 위한 최소의 빛의 세기 보다 클 수 있다. 제어부(213)는 상기 <수학식 1>을 통해서 적어도 하나의 발광 소자의 밝기를 조절하여 적당한 밝기가 되었을 경우 안구를 추적하기 위한 이미지를 캡쳐할 수 있다.When the brightness of the light emitting device is calculated through Equation (1), the intensity of the light obtained by subtracting the surrounding brightness from the brightness of the calculated light emitting device is the intensity of the light that is not harmful to the user Less intensity of light) than the minimum light intensity for tracking the eyeball. The control unit 213 may adjust the brightness of at least one light emitting device through Equation (1) to capture an image for tracking the eyeball when the brightness is appropriate.

제어부(213)는 광원의 노출 시간을 수직 동기 신호의 활성 구간 보다 적은 시간으로 조절하여 광원을 발산할 수 있다. 제어부는 발산된 광원을 이용하여 캡쳐된 이미지에 대응하여 복수의 프레임들을 생성할 수 있고, 생성된 복수의 프레임들 중에서 품질이 좋은 적어도 하나의 프레임을 선택할 수 있다. 상기 품질은 SNR(Signal to Noise Ratio)을 포함할 수 있다. 상기 생성된 복수의 프레임들은 수직 동기 신호의 활성 구간에 미리 결정된 시간 단위로 생성된 프레임들일 수 있다. 그리고, 상기 선택된 적어도 하나의 프레임은 선택되지 않은 다른 프레임보다 밝기가 더 밝은 프레임일 수 있다. The control unit 213 may adjust the exposure time of the light source to a time shorter than the active period of the vertical synchronizing signal so as to diverge the light source. The control unit may generate a plurality of frames corresponding to the captured image using the diverted light source, and may select at least one frame of good quality among the generated plurality of frames. The quality may include Signal to Noise Ratio (SNR). The generated plurality of frames may be frames generated on a predetermined time basis in the active period of the vertical synchronization signal. The selected at least one frame may be a frame whose brightness is brighter than other frames that are not selected.

제어부(213)는 선택된 적어도 하나의 프레임을 통해서 사용자의 안구의 시선을 추적할 수 있다. 제어부(213)는 추적된 시선을 이용하여 마우스 또는 키패드에서 제공되는 다양한 기능과 동일 또는 유사하게 전자 장치(220)의 표시부(221)를 제어할 수 있다. The control unit 213 can track the eyeball of the user through the selected at least one frame. The control unit 213 can control the display unit 221 of the electronic device 220 in the same or similar manner as the various functions provided by the mouse or the keypad using the tracked line of sight.

제어부(213)는 추적된 시선에 따른 디스플레이 상의 좌표에 대한 정보를 송수신부(214)를 통해 전자 장치(220)로 전송할 수 있다. 안구 추적 장치(210)의 제어부(213)는 표시부(221)의 좌측 상단, 좌측 하단, 우측 상단 및 우측 하단에 대한 좌표 정보를 인식할 수 있다. 그리고, 제어부(213)는 캡쳐된(또는 촬영된) 안구를 분석하여 안구의 시선이 표시부(221) 상의 어느 지점에 위치하는지 분석하거나 추적할 수 있다. 제어부(213)는 안구의 시선이 표시부 밖으로 이동되는 것으로 판단되면, 시선이 이동되는 방향에 위치한 표시부(221)의 테두리에 유저 인터페이스를 표시할 수 있다. 통상적으로 안구의 움직임은 빈번하게 발생될 수 있으며, 이러한 빈번한 발생에 따라 안구의 시선을 추적하기 위해서, 제어부(213)는 안구를 촬영하고 촬영된 안구를 통해 안구의 시선을 추적하는 과정을 지속적으로 수행할 수 있다. 그리고, 제어부(213)는 이러한 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 전자 장치(220)로 전송할 수 있다. 상술한 바와 같이, 제어부(213)는 촬영된 안구를 통해 안구의 시선을 추적하고, 추적된 안구의 시선이 표시부(221) 상의 어느 좌표에 위치하는지에 대한 정보를 분석하여 전자 장치(220)로 전송할 수 있다. 또한, 제어부(213)는 촬영된 안구를 전자 장치(220)로 전송할 수 있다.The control unit 213 can transmit information on coordinates on the display according to the tracked line of sight to the electronic device 220 through the transceiver 214. [ The control unit 213 of the eyeball tracking device 210 can recognize coordinate information on the left upper end, the lower left end, the upper right end, and the lower right end of the display unit 221. [ The control unit 213 analyzes the captured (or photographed) eyeball to analyze or track the position of the eyes of the eyeball on the display unit 221 at a certain point. If it is determined that the eyeball of the eyeball is moved out of the display unit, the control unit 213 may display the user interface on the border of the display unit 221 located in the direction in which the eyeball is moved. In general, the movement of the eyeball may occur frequently. In order to track the eyeball of the eyeball in accordance with the frequent occurrence of the eyeball, the control unit 213 continuously captures the eyeball and tracks the eyeball through the captured eyeball. Can be performed. Then, the control unit 213 can transmit the result of the eyeball tracking (e.g., coordinate information on a point where the eyeball is currently staying) to the electronic device 220. [ As described above, the control unit 213 tracks the gaze of the eyeball through the captured eyeball, analyzes information on which coordinates of the traced eyeball are located on the display unit 221, and transmits the information to the electronic device 220 Lt; / RTI > In addition, the control unit 213 can transmit the photographed eyeball to the electronic device 220.

전자 장치(220)는 PC, 노트북과 같은 표시부과 본체가 연결된 전자 장치를 포함할 수 있거나, 태블릿 PC, 스마트 폰과 같은 표시부가 일체형으로 형성된 전자 장치를 포함할 수 있거나, 사용자의 신체에 착용 가능한 스마트 시계, 스마트 안경과 같은 웨어러블 전자 장치를 포함할 수 있다. 전자 장치(220)는 사용자의 안구의 시선을 추적하여 추적된 안구의 시선을 통해서 디스플레이를 제어하는 장치로서, 표시부(221), 제어부(222) 및 송수신부(223)를 포함할 수 있다. 또한, 전자 장치(220)는 사용자의 안구와 표시부 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다. The electronic device 220 may include a display unit such as a PC or a notebook and an electronic device to which the main body is connected or may include an electronic device in which a display unit such as a tablet PC or a smart phone is integrally formed, Smart watches, smart glasses, and the like. The electronic device 220 may include a display unit 221, a control unit 222, and a transceiver unit 223 for controlling the display through a line of sight of the user's eyeball. In addition, the electronic device 220 may further include a sensor (not shown) capable of measuring a distance between a user's eyeball and a display unit.

전자 장치(220)의 표시부(221)는 사용자에게 영상, 데이터, 정보 등을 시각적으로 보여지도록 출력할 수 있고, 사용자의 안구의 시선의 움직임에 대응하여 실시간으로 마우스 커서를 표시할 수 있다. 또한, 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 표시할 수 있다. 유저 인터페이스는 안구의 추적에 대응하여 자동으로 실행되어 표시부(221) 상에 표시되거나 또는 실행 명령에 의해 실행되어 표시부(221) 상에 표시될 수 있다. 상기 제어부(222)는 안구의 시선을 이용하거나 사용자의 입력에 대응하여 표시부(221) 상에 표시된 유저 인터페이스의 크기를 조절하거나 위치 변경을 할 수 있다.
The display unit 221 of the electronic device 220 can display the image, data, information, etc. visually to the user, and can display the mouse cursor in real time in accordance with the movement of the eyeball of the user's eyes. Further, a user interface for controlling the display can be displayed by using the line of sight of the eyeball. The user interface may be automatically executed in response to tracking of the eyeball and displayed on the display unit 221 or may be executed by an execution command and displayed on the display unit 221. [ The control unit 222 may adjust the size of the user interface displayed on the display unit 221 or change the position of the user interface according to the user's input or by using the eyeball's gaze.

도 3은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하기 위해 이미지를 캡쳐하는 과정을 나타낸 순서도이다.FIG. 3 is a flowchart illustrating a process of capturing an image in order to track eyeballs according to an embodiment of the present invention.

이하, 도 3을 참조하여 본 발명의 일 실시 예에 따른 안구의 시선을 추적하기 위해 이미지를 캡쳐하는 과정을 상세히 설명하면 다음과 같다.Hereinafter, a process of capturing an image to track eyeballs according to an embodiment of the present invention will be described in detail with reference to FIG.

안구 추적 장치(210)는 주변 밝기를 측정할 수 있다(310). 안구 추적 장치(210)는 조도를 측정하여 주변 밝기를 판단할 수 있다. 안구 추적 장치(210)는 감지부(215)를 통해 주변 밝기를 측정할 수 있다. 감지부(215)는 실시간으로 주변 밝기를 측정하여 측정 결과를 제어부(213)로 전달할 수 있다. 감지부(215)는 안구 추적 장치(110)의 외관에 구비되어 주변 밝기를 실시간으로 측정할 수 있다. 감지부(215)는 주변 밝기의 세기, 밝기량을 감지하거나 측정할 수 있다.The eye tracking device 210 may measure the ambient brightness (310). The eyeball tracking device 210 can measure the illuminance to determine the ambient brightness. The eyeball tracking device 210 can measure the ambient brightness through the sensing unit 215. [ The sensing unit 215 may measure the ambient brightness in real time and may transmit the measurement result to the controller 213. [ The sensing unit 215 may be provided on the outer surface of the eye tracking device 110 to measure ambient brightness in real time. The sensing unit 215 can sense or measure the intensity and brightness of the surrounding brightness.

안구 추적 장치(210)는 측정된 주변 밝기에 대응되는 광원의 밝기 세기 및 광원의 노출 시간을 결정할 수 있다(320). 안구 추적 장치(210)는 광원의 밝기 세기 및 광원의 노출 시간을 수직 동기 신호 및 수평 동기 신호 중 적어도 하나의 타이밍에 동기화할 수 있다. 상기 광원의 노출 시간은 수직 동기 신호의 활성 구간 보다 적을 수 있다.The eye tracking device 210 may determine the brightness intensity of the light source corresponding to the measured ambient brightness and the exposure time of the light source (320). The eyeball tracking device 210 may synchronize the brightness intensity of the light source and the exposure time of the light source to at least one of the vertical synchronization signal and the horizontal synchronization signal. The exposure time of the light source may be less than the active period of the vertical synchronization signal.

안구 추적 장치(210)는 결정된 세기 및 시간으로 광원을 발산할 수 있다(330). 안구 추적 장치(210)는 광원의 밝기 세기 및 광원의 노출 시간을 수직 동기 신호 및 수평 동기 신호 중 적어도 하나의 타이밍에 동기화하여 광원을 발산할 수 있다. 안구 추적 장치(210)는 광원을 발산하는데 있어서, 발광부(211)에 구성된 제1 광원의 각 발광 요소 및 제2 광원의 각 발광 요소의 밝기 세기 및 노출 시간을 제어할 수 있다. 안구 추적 장치(210)는 주변 밝기에 대응하여 광원을 실시간으로 발산하는데 있어서, 발광부(211)에 구성된 제1 광원의 각 발광 요소 및 제2 광원의 각 발광 요소의 밝기 세기 및 노출 시간을 실시간으로 제어할 수 있다. 안구 추적 장치(210)는 광원의 밝기를 주변의 밝기보다 밝도록 광원의 세기 및 노출 시간 중 적어도 하나를 제어할 수 있다. 안구 추적 장치(210)는 광원의 밝기를 주변의 밝기보다 밝도록 광원의 세기 및 노출 시간 중 적어도 하나를 실시간으로 제어할 수 있다. 안구 추적 장치(210)는 광원의 노출 시간을 수직 동기 신호의 활성 구간 보다 적은 시간으로 조절하여 광원을 발산할 수 있다. The eye tracking device 210 may emit a light source at a determined intensity and time (330). The eyeball tracking device 210 may emit a light source by synchronizing the brightness intensity of the light source and the exposure time of the light source to at least one of the vertical synchronization signal and the horizontal synchronization signal. The eyeball tracking device 210 can control the brightness intensity and the exposure time of each light emitting element of the first light source and the light emitting elements of the second light source, which are configured in the light emitting unit 211, In order to emit light in real time corresponding to the ambient brightness, the eye tracking device 210 calculates the brightness intensity and the exposure time of each light emitting element of the first light source and the light emitting element of the second light source, . The eyeball tracking device 210 can control at least one of the intensity of the light source and the exposure time so that the brightness of the light source is brighter than the brightness of the surroundings. The eyeball tracking device 210 can control at least one of the intensity of the light source and the exposure time in real time so that the brightness of the light source is brighter than the brightness of the surroundings. The eyeball tracking device 210 may adjust the exposure time of the light source to a time shorter than the active period of the vertical synchronizing signal so as to diverge the light source.

안구 추적 장치(210)는 발산된 광원에 대응하여 이미지를 캡쳐한 복수의 프레임들을 생성할 수 있다(340). 생성된 프레임들은 수직 동기 신호의 활성 구간에 미리 결정된 시간 단위로 생성된 프레임들일 수 있다. 생성된 각각의 프레임은 품질이 서로 다를 수 있다. 상기 품질은 SNR(Signal to Noise Ratio)을 포함할 수 있다. 생성된 각각의 프레임들은 저장부(216)에 저장될 수 있다. 안구 추적 장치(210)는 미리 결정된 시간 단위로 이미지를 캡쳐한 적어도 하나의 프레임을 생성할 수 있다. 상기 생성된 프레임들은 수직 동기 신호의 활성 구간에 캡쳐된 프레임들일 수 있다.The eye tracking device 210 may generate a plurality of frames (340) capturing an image corresponding to the divergent light source. The generated frames may be frames generated in a predetermined time unit in the active period of the vertical synchronization signal. Each generated frame may have different quality. The quality may include Signal to Noise Ratio (SNR). Each of the generated frames may be stored in the storage unit 216. The eye tracking device 210 may generate at least one frame that captures an image in a predetermined time unit. The generated frames may be frames captured in the active period of the vertical synchronization signal.

안구 추적 장치(210)는 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택할 수 있다(350). 안구 추적 장치(210)는 생성된 각각의 프레임들의 품질을 측정할 수 있다. 안구 추적 장치(210)는 SNR을 통해서 품질이 좋은 적어도 하나의 프레임을 선택할 수 있다. 안구 추적 장치(210)는 각각의 프레임의 SNR를 분석하고, 분석된 각 프레임의 SNR이 미리 결정된 임계값 이상인 프레임을 선택할 수 있다. 안구 추적 장치(210)는 생성된 프레임들 중에서 밝기가 임계값 이상인 적어도 하나의 프레임을 선택할 수 있다. 안구 추적 장치(210)는 선택된 적어도 하나의 프레임을 통해서 안구의 시선을 추적할 수 있다.
The eyeball tracking device 210 can select at least one frame among the generated plurality of frames (350). The eye tracking device 210 may measure the quality of each of the generated frames. The eye tracking device 210 may select at least one frame of good quality through the SNR. Eye tracking device 210 may analyze the SNR of each frame and may select a frame whose SNR of each analyzed frame is above a predetermined threshold. The eyeball tracking device 210 can select at least one frame among the generated frames whose brightness is equal to or greater than the threshold value. The eye tracking device 210 may track eyeballs through at least one selected frame.

도 4는 본 발명의 일 실시예에 따른 안구의 시선을 추적하는 안구 추적 장치의 외관을 나타낸 예시도이다.4 is an exemplary view showing the appearance of an eye tracking device for tracking an eyeball according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 안구의 시선을 추적하는 안구 추적 장치(110)는 카메라(440)와 적어도 하나의 발광 소자로 구성되는 제1 광원(430)과 상기 제1 광원(430)의 좌측과 우측에 적어도 하나의 발광 소자로 구성되는 제2 광원(410, 420)을 포함할 수 있다. 각각의 광원은 복수 개의 발광 소자를 포함할 수 있다. 안구 추적 장치(110)는 각 광원에 구성된 각각의 발광 소자의 밝기 세기 및 노출 시간 중 적어도 하나를 제어할 수 있다. 안구 추적 장치(110)는 제1 광원을 발산한 이후, 제2 광원을 발산하여 안구를 캡쳐할 수 있다. 안구 추적 장치(110)는 주변 밝기보다 더 밝도록 제1 광원 및 제2 광원 중 적어도 하나를 발산할 수 있다. 안구 추적 장치(110)는 제1 광원 및 제2 광원 중 적어도 하나의 발산에 의해 반사되는 빛을 일정 전자로 이미지 센서에 충전할 수 있다. 이러한 이미지 센서는 카메라에 포함될 수 있다. 그리고, 안구 추적 장치(110)는 충전된 전자들의 양을 전압 형태로 측정할 수 있으며, 디지털 값으로 변환할 수 있다.
4, an eye tracking device 110 for tracking an eyeball according to an exemplary embodiment of the present invention includes a camera 440, a first light source 430 including at least one light emitting device, And the second light sources 410 and 420 may include at least one light emitting device on the left side and the right side of the light source 430. Each light source may include a plurality of light emitting elements. The eye tracking device 110 may control at least one of the brightness intensity and the exposure time of each light emitting device formed in each light source. The eye tracking device 110 may emit a first light source and then emit a second light source to capture an eyeball. The eye tracking device 110 may emit at least one of the first light source and the second light source so as to be brighter than the surrounding brightness. The eyeball tracking device 110 can charge the image sensor with light of a predetermined electron reflected by the divergence of at least one of the first light source and the second light source. Such an image sensor may be included in the camera. In addition, the eyeball tracking device 110 can measure the amount of charged electrons in a voltage form, and can convert the amount of charged electrons into a digital value.

도 5는 본 발명의 일 실시 예에 따른 수직 동기 신호에 대응하여 광원을 발산하는 타이밍도이다.5 is a timing diagram for emitting a light source in response to a vertical synchronization signal according to an embodiment of the present invention.

도 5를 참조하면, 수직 동기 신호(510)는 일정 시간 단위(T_D)로 활성화될 수 있다. 제1 광원은 상기 수직 동기 신호(510)의 제1 활성화 구간(511)에 발산(520)될 수 있고, 제2 광원은 상기 수직 동기 신호(510)의 제2 활성화 구간(512)에 발산(530)될 수 있다. 제1 광원과 제2 광원은 수직 동기 신호의 활성 구간에 서로 번갈아가며 발산할 수 있다. 안구 추적 장치(110)는 주변 밝기에 따라 제1 광원의 노출 시간을 확대(T₁+t₁)하여 광원을 발산될 수 있다. 안구 추적 장치(110)는 제1 광원의 노출 시간을 미리 결정된 시간(t₁)만큼 확대하여 광원을 발산할 수 있다. 안구 추적 장치(110)는 제1 광원의 확대된 노출 시간(T₁+t₁)을 수직 동기 신호의 제1 활성 구간(T_D)보다 작도록 설정하여 제1 광원의 발산을 제어할 수 있다. 안구 추적 장치(110)는 제2 광원의 확대된 노출 시간(T₂+t₂)을 수직 동기 신호의 제2 활성 구간(T_D)보다 작도록 설정하여 제2 광원의 발산을 제어할 수 있다. 안구 추적 장치(110)는 상기 제1 광원의 타이밍도에 따라 도 4에서 제1 광원(430)의 밝기 세기 및 광원의 노출 시간 중 적어도 하나를 제어하여 광원을 발산할 수 있다. 안구 추적 장치(110)는 상기 제2 광원의 타이밍도에 따라 도 4에서 제2 광원(410, 420)의 밝기 세기 및 광원의 노출 시간 중 적어도 하나를 제어하여 광원을 발산할 수 있다. 상기 제1 광원(430)의 밝기 세기 및 노출 시간은 주변 밝기에 따라 제2 광원(410, 420)의 밝기 세기 및 노출 시간이 다르도록 제어되어 발산될 수 있다. 또한, 제2 광원들(410, 420) 각각은 주변 밝기에 따라 밝기 세기 및 노출 시간이 다르도록 제어되어 발산될 수 있다. 순차적인 프레임들의 누출을 균등하게 밸런싱하고 안정화하기 위해 노출 시간은 이미지 프레이밍을 하는 타이밍에 동기화해야 한다. 그 이유는 라인 이미지들과 동기화된 신호들은 자연스런 이미지 컷들과 관련이 있는데, 이러한 자연스런 이미지들은 타이밍 상 광원의 빛이 충분히 밝던지 또는 밝지 않던지 상관없이 라인 이미지들과 동기된 신호에 따라 캡쳐되기 때문이다.
Referring to FIG. 5, the vertical synchronization signal 510 may be activated in a predetermined time unit T _D. The first light source may be diverted 520 to the first activation period 511 of the vertical synchronization signal 510 and the second light source may be diverted to the second activation period 512 of the vertical synchronization signal 510 530). The first light source and the second light source can mutually alternate in the active period of the vertical synchronization signal. The eyeball tracking device 110 can diverge the light source by enlarging the exposure time of the first light source (T ₁ + t ₁ ) according to the ambient brightness. The eyeball tracking device 110 may extend the exposure time of the first light source by a predetermined time t ₁ to diverge the light source. The eyeball tracking device 110 may control the divergence of the first light source by setting the magnified exposure time T ₁ + t ₁ of the first light source to be smaller than the first active period T _D of the vertical synchronization signal . The eyeball tracking device 110 may control the divergence of the second light source by setting the magnified exposure time T ₂ + t ₂ of the second light source to be smaller than the second active period T _D of the vertical synchronization signal . The eyeball tracking device 110 can control at least one of the brightness intensity of the first light source 430 and the exposure time of the light source according to the timing chart of the first light source to emit the light source. The eyeball tracking device 110 may control at least one of the brightness intensity of the second light sources 410 and 420 and the exposure time of the light source according to the timing chart of the second light source to emit the light source. The brightness intensity and the exposure time of the first light source 430 may be controlled so that the brightness intensity and the exposure time of the second light sources 410 and 420 are different according to the ambient brightness. In addition, each of the second light sources 410 and 420 may be controlled so that brightness intensity and exposure time are different depending on the surrounding brightness. To equally balance and stabilize the leakage of sequential frames, the exposure time must be synchronized to the timing of image framing. The reason is that the signals synchronized with the line images are associated with natural image cuts, which are captured according to the signal synchronized with the line images, regardless of whether the light of the light source is bright enough or not bright to be.

도 6은 본 발명의 일 실시 예에 따른 수직 동기 신호를 기반으로하여 복수의 프레임들을 생성하는 타이밍도이다.6 is a timing diagram for generating a plurality of frames based on a vertical synchronization signal according to an exemplary embodiment of the present invention.

도 6을 참조하면, 수직 동기 신호(610)의 활성화 구간에 수평 동기 신호(620)는 복수 번의 활성 구간이 존재할 수 있다. 이러한 수평 동기 신호(620)의 복수 번의 활성 구간 동안에 적어도 하나의 프레임은 제1 광원 및 제2 광원 중 적어도 하나의 발산에 대응하여 생성될 수 있다. 안구 추적 장치(110)는 수평 동기 신호(620)의 제1 구간(611)에 생성된 프레임 구간(640)에서 품질이 좋은 적어도 하나의 프레임을 선택할 수 있다. 안구 추적 장치(110)는 수평 동기 신호(620)의 제2 구간(612)에 생성된 프레임 구간(650)에서 품질이 좋은 적어도 하나의 프레임을 선택할 수 있다. 상기 제1 구간(640)은 제1 광원(430)의 발산에 의해 생성되는 적어도 하나의 프레임의 집합이며, 상기 제2 구간(650)은 제2 광원(410, 420)의 발산에 의해 생성되는 적어도 하나의 프레임의 집합이다. 안구 추적 장치(110)는 선택된 적어도 하나의 프레임을 통해서 사용자의 안구의 시선을 추적할 수 있다. 상기 선택된 적어도 하나의 프레임은 잔상이 적은 프레임일 수 있다. 도 6을 참조하면, 제1 라인에서 제N 라인까지 비월 주사가 되고, 각 라인 당 수평 동기 신호가 발생되고, 각 라인들이 한 프레임을 모두 채우면 수직 동기 신호가 한번 발생될 수 있다. 예를 들어, 수평 동기 신호가 광원을 발산하는데 사용되는 경우 수평 라인 신호는 63.5μs이고, 초당 약 1600개의 수평 동기 신호 및 30개의 수직 동기 신호를 가질 수 있다. 하나의 수직 동기 신호는 약 60개의 수평 동기 신호에 해당될 수 있다. Referring to FIG. 6, in the active period of the vertical synchronization signal 610, the horizontal synchronization signal 620 may have a plurality of active periods. During a plurality of active periods of the horizontal synchronization signal 620, at least one frame may be generated corresponding to the divergence of at least one of the first light source and the second light source. The eyeball tracking device 110 may select at least one frame of good quality in the frame interval 640 generated in the first interval 611 of the horizontal synchronization signal 620. [ The eyeball tracking device 110 can select at least one frame of good quality in the frame period 650 generated in the second section 612 of the horizontal synchronization signal 620. [ The first section 640 is a set of at least one frame generated by the divergence of the first light source 430 and the second section 650 is generated by divergence of the second light sources 410 and 420 It is a set of at least one frame. The eye tracking device 110 may track the eye of the user through at least one selected frame. The selected at least one frame may be a frame with a small residual image. Referring to FIG. 6, interlaced scanning is performed from the first line to the N-th line, a horizontal synchronizing signal is generated for each line, and a vertical synchronizing signal is generated once each line fills one frame. For example, if a horizontal sync signal is used to divert a light source, the horizontal line signal is 63.5 microseconds, and can have about 1600 horizontal sync signals and 30 vertical sync signals per second. One vertical synchronizing signal may correspond to about 60 horizontal synchronizing signals.

안구 추적 장치(110)는 제1 광원 및 제2 광원 중 적어도 하나의 광원에 공급되는 전류량을 조절하기 위해 주변 밝기와 이미지 센서 값을 비교할 수 있다. 예를 들어, 안구 추적 장치(110)는 주변 밝기가 밝은 경우에는 제1 광원 및 제2 광원 중 적어도 하나의 광원에 공급되는 전류량을 증대하여 균일한 조도가 이미지 센서에서 얻어질 수 있도록 하고, 주변 밝기가 어두운 경우에는 제1 광원 및 제2 광원 중 적어도 하나의 광원에 공급되는 전류량을 감소시킬 수 있으며, 이에 따라 품질이 좋은 이미지가 획득될 수 있다.The eyeball tracking device 110 may compare the ambient brightness and the image sensor value to adjust the amount of current supplied to the light source of at least one of the first light source and the second light source. For example, when the ambient brightness is bright, the eye tracking device 110 increases the amount of current supplied to at least one light source of the first light source and the second light source so that uniform illumination can be obtained from the image sensor, When the brightness is low, the amount of current supplied to at least one of the first light source and the second light source can be reduced, and thus a high-quality image can be obtained.

예를 들어, 생성된 프레임이 30개인 경우, 안구 추적 장치(110)는 품질이 좋은 1~3개의 프레임을 캡쳐 및 계산함으로써, 1/30~1/10배로 계산량을 줄일 수 있다.
For example, if the number of generated frames is 30, the eye tracking device 110 can reduce the calculation amount by 1/30 to 1/10 times by capturing and calculating high quality one to three frames.

본 발명에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.The term "module" as used in the present invention may mean a unit including, for example, one or a combination of hardware, software, or firmware. A "module" may be interchangeably used with terms such as, for example, unit, logic, logical block, component or circuit. A "module" may be a minimum unit or a portion of an integrally constructed component. A "module" may be a minimum unit or a portion thereof that performs one or more functions. "Modules" may be implemented either mechanically or electronically. For example, a "module" in accordance with the present invention may be implemented as an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs) or programmable logic arrays logic device).

다양한 실시예에 따르면, 본 발명에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 제어부(예: 213, 222)들 중 적어도 하나에 의해 실행될 경우, 상기 제어부(예: 213, 222)들 중 적어도 하나가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 저장부(216)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 제어부에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.According to various embodiments, at least a portion of a device (e.g., modules or functions thereof) or a method (e.g., operations) according to the present invention may be stored in a computer readable storage medium -readable storage media). When the command is executed by at least one of the controllers 213 and 222, at least one of the controllers 213 and 222 may perform a function corresponding to the command. The computer-readable storage medium may be, for example, the storage unit 216. At least a portion of the programming module may be implemented (e.g., executed) by, for example, a control unit. At least some of the programming modules may include, for example, modules, programs, routines, sets of instructions or processes, etc. to perform one or more functions.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.The computer-readable recording medium includes a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc) A magneto-optical medium such as a floppy disk, and a program command such as a read only memory (ROM), a random access memory (RAM), a flash memory, Module) that is configured to store and perform the functions described herein. The program instructions may also include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

본 발명에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 주변 밝기를 측정하는 제1 명령 셋과, 상기 측정된 주변 밝기에 대응하여 이미지를 캡쳐하기 위해 광원의 밝기 세기 및 상기 광원의 노출 시간 중 적어도 하나를 제어하여 상기 광원을 발산하는 제2 명령 셋과, 상기 발산된 광원을 이용하여 상기 이미지의 캡쳐에 대응되는 복수의 프레임들을 생성하는 제3 명령 셋과, 상기 생성된 복수의 프레임들 중에서 적어도 하나의 프레임을 선택하는 제4 명령 셋을 포함할 수 있다. A module or a programming module according to the present invention may include at least one or more of the above-described components, some of which may be omitted, or may further include other additional components. Operations performed by modules, programming modules, or other components in accordance with the present invention may be performed in a sequential, parallel, iterative, or heuristic manner. Also, some operations may be performed in a different order, omitted, or other operations may be added. According to various embodiments, there is provided a storage medium having stored thereon instructions for causing the at least one processor to perform at least one operation when executed by at least one processor, A second instruction set for controlling at least one of a brightness intensity of a light source and an exposure time of the light source in order to capture an image corresponding to the measured ambient brightness to diverge the light source; A third instruction set for generating a plurality of frames corresponding to the capture of the image using the first instruction set and a fourth instruction set for selecting at least one frame among the generated plurality of frames.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. Accordingly, the scope of the present invention should be construed as being included in the scope of the present invention, all changes or modifications derived from the technical idea of the present invention.

210: 안구 추적 장치 211: 발광부
212: 카메라부 213: 제어부
214: 송수신부 214: 감지부
220: 전자 장치 221: 표시부
221: 제어부 223: 송수신부210: eye tracking device 211:
212: camera unit 213:
214: Transmitting / receiving unit 214:
220: Electronic device 221: Display
221: Control section 223: Transmitting /

Claims

A method of capturing an image of an electronic device,
Measuring the ambient brightness,
Controlling at least one of a brightness intensity of a light source and an exposure time of the light source to capture an image corresponding to the measured ambient brightness to emit the light source;
Generating a plurality of frames corresponding to the capture of the image using the divergent light source;
And selecting at least one frame from the generated plurality of frames.

The method according to claim 1,
Wherein the light source is synchronized with at least one of a vertical synchronizing signal and a horizontal synchronizing signal,

The method according to claim 1,
The control process includes:
And controlling the intensity of the light source to be greater than the brightness of the surrounding light.

The method according to claim 1,
Further comprising the step of tracking a line of sight of the user through the selected at least one frame,
Wherein the at least one frame is selected via a signal to noise ratio (SNR).

3. The method of claim 2,
Wherein the divergence process synchronizes the brightness intensity of the light source and the exposure time of the light source to at least one of the vertical synchronization signal and the horizontal synchronization signal.

6. The method of claim 5,
Wherein the exposure time of the light source is less than the active period of the vertical synchronization signal.

The method according to claim 1,
Wherein the divergence process alternately diverges the first light source and the second light source according to an active period of the vertical synchronization signal.

The method according to claim 1,
Wherein the generated plurality of frames are frames generated in units of a predetermined time in an active period of a vertical synchronization signal.

An electronic device for capturing an image,
A light emitting unit including at least one light emitting element for emitting a light source;
A camera unit for capturing an image through the divergent light source,
A sensing unit for measuring ambient brightness to capture the image;
Controlling at least one of a brightness intensity of the light source and an exposure time of the light source in order to capture an image corresponding to the measured ambient brightness to diverge the light source, and using the diverged light source, And a controller for selecting at least one frame among the generated plurality of frames.

10. The method of claim 9,
Wherein the controller synchronizes and emits the light source to at least one of a vertical synchronization signal and a horizontal synchronization signal.

10. The method of claim 9,
Wherein the light emitting unit includes a first light source configured around the camera unit and a second light source adjacent to the first light source,
Wherein the first light source and the second light source are composed of a plurality of light emitting elements.

10. The method of claim 9,
Wherein the controller controls intensity of the light source to be brighter than brightness of the surroundings.

10. The method of claim 9,
Wherein the control unit tracks the eyeball of the user through the selected at least one frame,
Wherein the at least one frame is selected via a signal to noise ratio (SNR).

11. The method of claim 10,
Wherein the controller synchronizes the brightness intensity of the light source and the exposure time of the light source to at least one of the vertical synchronization signal and the horizontal synchronization signal.

15. The method of claim 14,
Wherein the control unit adjusts the exposure time of the light source such that an exposure time of the light source is less than an active period of the vertical synchronization signal.

12. The method of claim 11,
Wherein the controller alternately diverges the first light source and the second light source according to an active period of the vertical synchronization signal.

10. The method of claim 9,
Wherein the control unit generates the plurality of frames in units of a predetermined time in an active period of a vertical synchronizing signal.

12. The method of claim 11,
Wherein the control unit adjusts brightness intensity and exposure time of each of the plurality of light emitting devices configured in at least one of the first light source and the second light source.

10. The method of claim 9,
Wherein the controller controls the brightness of the light source by using the number of the light emitting elements, the brightness of the light emitting element, and the brightness of the light emitting element in terms of current.

CLAIMS What is claimed is: 1. A computer readable storage medium storing a program comprising instructions for controlling image capture of an electronic device,
A first instruction set for measuring ambient brightness,
A second command set for controlling at least one of a brightness intensity of the light source and an exposure time of the light source to capture an image corresponding to the measured ambient brightness,
A third instruction set for generating a plurality of frames corresponding to the capture of the image using the divergent light source,
And a fourth instruction set for selecting at least one frame among the plurality of generated frames.