KR20100006652A - Full browsing method using gaze detection and handheld terminal performing the method - Google Patents

Full browsing method using gaze detection and handheld terminal performing the method Download PDF

Info

Publication number
KR20100006652A
KR20100006652A KR1020080066865A KR20080066865A KR20100006652A KR 20100006652 A KR20100006652 A KR 20100006652A KR 1020080066865 A KR1020080066865 A KR 1020080066865A KR 20080066865 A KR20080066865 A KR 20080066865A KR 20100006652 A KR20100006652 A KR 20100006652A
Authority
KR
South Korea
Prior art keywords
gaze
user
image
virtual boundary
infrared camera
Prior art date
Application number
KR1020080066865A
Other languages
Korean (ko)
Other versions
KR101004930B1 (en
Inventor
진덕양
김희성
김우중
황진우
조준동
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080066865A priority Critical patent/KR101004930B1/en
Publication of KR20100006652A publication Critical patent/KR20100006652A/en
Application granted granted Critical
Publication of KR101004930B1 publication Critical patent/KR101004930B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

PURPOSE: A browsing method for using the visual recognition and a restricted display size and a portable terminal applying the same are provided to supply a wireless internet service such as real Internet environment in the portable terminal restricted by the size of the display. CONSTITUTION: An infrared camera(330) takes a photograph of the eyeball of a user and outputs the image. A visual treatment unit(340) traces and recognizes the eye line of user from the image. In case the eye line of the user traced the recognition escapes the virtual marginal range of the display unit in order to move the display unit in the display middle center of image, a controller(301) controls the display unit. The visual treatment unit uses the dual Purkinje image base tracking scheme.

Description

시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기{FULL BROWSING METHOD USING GAZE DETECTION AND HANDHELD TERMINAL PERFORMING THE METHOD}Full browsing method using gaze recognition and portable terminal using the same {FULL BROWSING METHOD USING GAZE DETECTION AND HANDHELD TERMINAL PERFORMING THE METHOD}

본 발명은, 휴대용 단말기의 풀 브라우징에 관한 것으로, 더욱 상세하게는 적외선 카메라를 이용한 사용자의 시선 인식을 통해 휴대용 단말기에서의 풀 브라우징을 실현하는, 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기에 관한 것이다. The present invention relates to full browsing of a portable terminal, and more particularly, to a full browsing method using gaze recognition and a portable terminal using the same, which realizes full browsing on a portable terminal through gaze recognition by a user using an infrared camera. It is about.

일반적으로 이동통신 단말기는 무선으로 음성 통화를 하는 것이 그 주된 목적이었으나, 최근의 이동통신 단말기들에는 기술의 발전에 힘입어 음성통화 이외의 다양한 기능과 서비스가 추가되어 왔다. 특히, 유선망을 통해 활성화되고 있었던 인터넷을 이동통신 단말기를 이용한 인터넷의 이용으로 확대하여 서비스를 제공하기에 이르렀다. Generally, the main purpose of the mobile communication terminal is to make a voice call wirelessly, but various functions and services other than the voice call have been added to recent mobile communication terminals due to the development of technology. In particular, the Internet, which has been activated through a wired network, has been extended to the use of the Internet using mobile communication terminals to provide services.

인터넷 상으로 제공되는 서비스는 여러가지가 있으나, 그 중 웹 브라우징이 많이 이용된다. 그런데, 이동통신 단말기를 이용한 웹 브라우징은 많은 제한요소들을 가진다. 가장 두드러진 제한으로는, 이동통신 단말기의 특성 중 가장 중요 하게 작용하는 휴대성으로 인해, 소형으로 제작되는 것이 필수이고 또한 마우스 같은 인터페이스의 사용이 여의치 않아 웹 브라우징에 많은 불편이 따른다는 점이다. 또한, 일반적인 웹 페이지는 유선통신망을 통한 컴퓨터 환경에 최적화되어 있어 이동통신 단말기를 이용하여 접근하기에는 여러 어려움이 있었다. 이를 해결하기 위한 방안으로 유선 통신망을 통한 유선 인터넷용 웹페이지와 이동통신 단말기를 이용하는 무선 인터넷용 웹페이지(또는 WAP(Wireless Application Protocol) 페이지)가 구분되어 별개로 운영되기도 하였다. There are many services provided on the Internet, but web browsing is widely used. However, web browsing using a mobile communication terminal has many limitations. The most prominent limitation is that due to the portability, which is the most important feature of the mobile communication terminal, it is necessary to be made compact and it is not convenient to use a mouse-like interface, which causes a lot of inconvenience in web browsing. In addition, general web pages have been optimized for a computer environment through a wired communication network, and there are various difficulties in accessing the mobile terminal. In order to solve this problem, a web page for a wired Internet through a wired communication network and a web page for a wireless Internet using a mobile communication terminal (or a WAP (Wireless Application Protocol) page) are divided and operated separately.

하지만, 이동통신 단말기를 포함하여 이동통신망과 관련된 기술의 발전으로 인해 현재는 이동통신 단말기를 이용한 무선 인터넷에서도 일반 인터넷 사이트와 동일한 형태로 문서와 동영상을 볼 수 있는 서비스(이하 '풀 브라우징(Full Browsing)') 가 구현되고 있다. However, due to the development of technologies related to mobile communication networks, including mobile communication terminals, a service that enables users to view documents and videos in the same form as general Internet sites is now available in wireless Internet using mobile communication terminals (hereinafter referred to as 'full browsing' ) ') Is implemented.

이러한 풀 브라우징을 이동통신 단말기에서 실현하기 위해 다양한 방법들이 소개되고 있다. 예를 들어, 유선인터넷용 웹페이지는 일반적으로 데스크탑 또는 노트북 등에서 사용되는 대형 모니터의 크기에 맞도록 구성되어 있어, 화면의 크기가 훨씬 작은 이동통신 단말기의 디스플레이부에 웹페이지가 모두 표시될 수 없었다. 그래서, 수신된 웹페이지 전체 화면을 먼저 디스플레이했다가 사용자가 방향키 등을 이용해 커서를 움직이고, 확대 버튼 등을 이용해 위치한 부분을 확대하여 표시하도록 함으로써 내용을 확인할 수 있는 방법 등이 제시되었다. 또한, 터치스크린이나 휠을 이용한 풀 브라우징 방법 등도 제시되었다. Various methods have been introduced to realize such full browsing in a mobile communication terminal. For example, a web page for wired internet is generally configured to fit the size of a large monitor used in a desktop or a laptop, so that all web pages cannot be displayed on the display of a mobile communication terminal having a much smaller screen size. . Thus, a method of confirming the contents by displaying the entire screen of the received web page first and then allowing the user to move the cursor by using a direction key or the like, and to enlarge and display the position by using the zoom button, etc. has been proposed. In addition, a full browsing method using a touch screen or a wheel has been proposed.

하지만, 이러한 기존의 방법을 사용하는 경우 여러 번 커서와 버튼을 선택 해야 하는 번거로운 절차를 거쳐야 하기 때문에, 웹 서핑, 사진 감상 등의 섬세한 작업에 많은 불편이 따랐다. However, this conventional method requires a lot of trouble to select a cursor and a button several times, and this has caused a lot of inconvenience for delicate operations such as surfing the web and viewing pictures.

따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 디스플레이의 크기가 제한된 이동통신 단말기에서 실제 인터넷 환경과 같은 무선인터넷 서비스를 제공할 수 있는, 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기를 제공하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above-described problem, and provides a full browsing method using gaze recognition and a portable terminal using the same, which can provide a wireless Internet service such as a real Internet environment in a mobile communication terminal having a limited display size. Its purpose is to.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 휴대용 단말기는, 이미지 데이터를 디스플레이하는 디스플레이부, 사용자의 안구를 촬영하여 관련 이미지를 출력하는 적외선 카메라, 상기 적외선 카메라로부터 입력되는 이미지로부터 사용자의 시선을 인식하고 추적하는 시선 처리부, 및 상기 시선처리부를 통해 인식 및 추적된 사용자의 시선이, 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.A portable terminal according to an aspect of the present invention for achieving the above object of the present invention, a display unit for displaying image data, an infrared camera for photographing the eyeball of the user to output the related image, the image input from the infrared camera A gaze processor that recognizes and tracks the gaze of the user from the user, and when the gaze of the user recognized and tracked by the gaze processor is outside the virtual boundary of the display, the center of the image being displayed on the display is moved. It includes a control unit for controlling the display unit to display.

상기 시선 처리부는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 한다.The gaze processor is characterized by recognizing and tracking the gaze of the user by using an image-based tracking technique on the double Purkin.

상기 시선 처리부는, 사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반 사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 한다.The gaze processor calculates the relative positions of the reflection points using the primary image reflected from the inner surface of the user's eye cornea and the quaternary image reflected from the inner surface of the lens to derive and track the gaze direction. Characterized in that.

상기 시선 처리부는, 상기 적외선 카메라로부터 제공된 정보를 이용하여 사용자의 시선을 인식하는 추적하는 시선 인식 및 추적부와 상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출부를 포함한다.The gaze processor may include a gaze recognition and tracking unit for recognizing a gaze of a user using information provided from the infrared camera, and a coordinate calculator configured to coordinate the gaze of the recognized and tracked user.

상기 시선 처리부는, 상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하여 상기 시선 인식 및 추적부로 공급하는, 아날로그-디지털 변환부를 더 포함한다.The gaze processor further includes an analog-digital converter that converts an analog signal output from the infrared camera into a digital signal and supplies the digital signal to the gaze recognition and tracking unit.

상기 제어부는, 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 것을 특징으로 한다.The controller may compare the coordinate value of the gaze of the user with the coordinate value of the virtual boundary range to determine whether the coordinate value of the gaze of the user is located outside the virtual boundary range.

상기 제어부는, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 한다.The controller may move the center of the screen toward the bottom of the image when the coordinate value of the user's gaze is out of the virtual boundary range upwards and the screen when the coordinate value of the user's gaze is out of the virtual boundary range downwards. It is characterized by moving the center of the upper portion of the image.

상기 제어부는 또한, 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 한다.The controller may further control the center of the image to the right of the image when the coordinate value of the user's gaze deviates to the left of the virtual boundary and to the right of the image when the coordinate value of the gaze of the user deviates to the right of the virtual boundary. The display is moved to the left.

상기 적외선 카메라는, 상기 휴대용 단말기 상에 위치하는 제1 카메라와 상기 휴대용 단말기 상에서 상기 제1 카메라와 동일 평면 상에 일정 거리를 두고 위치하는 제2 카메라를 포함한다.The infrared camera includes a first camera positioned on the portable terminal and a second camera positioned at a predetermined distance on the same plane as the first camera on the portable terminal.

상기 제어부는, 상기 제1 적외선 카메라로부터 방사된 적외선이 눈의 표면에서 반사되어 상기 제2 적외선 카메라로 입사될 때 상기 눈의 표면을 중심으로 한 적외선의 경로가 이루는 각의 이등분선이, 상기 제1 적외선 카메라와 상기 제2 적외선 카메라를 연결하는 일직선과 만나는 지점을, 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 한다.The control unit may further include a bisector of an angle formed by a path of infrared rays centered on the surface of the eye when the infrared rays emitted from the first infrared camera are reflected from the surface of the eye and incident on the second infrared camera. The point of contact with the straight line connecting the infrared camera and the second infrared camera may be determined as a point where the user's gaze is located.

본 발명의 다른 측면에 따른 시선 인식을 이용한 풀 브라우징 방법은, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계, 상기 인식 및 추적된 사용자의 시선이 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계, 및 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계를 포함한다.In the full browsing method using gaze recognition according to another aspect of the present invention, a step of recognizing and tracking the gaze of a user through a signal input through an infrared camera, and the gaze of the recognized and tracked user is a virtual boundary of the display unit. Determining whether out of the display, and if the user's gaze is out of the virtual boundary of the display unit, and moving the center of the image being displayed on the display unit to display.

상기 사용자의 시선을 인식하는 단계는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 한다.Recognizing the gaze of the user, it is characterized in that the user's gaze is recognized and tracked using the image-based tracking technique to the Purkin.

상기 인식된 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계는, 인식된 사용자의 시선을 좌표화하는 단계와 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 단계를 포함한 다.The determining of the gaze of the recognized user's gaze outside the virtual boundary of the display unit may include: coordinating the recognized gaze of the user and comparing the coordinate value of the gaze of the user with the coordinate value of the virtual boundary range. And determining whether a coordinate value of the gaze of the user is located outside the virtual boundary range.

상기 사용자의 시선을 인식하는 단계는, 제1 적외선 카메라와 제2 적외선 카메라를 연결하는 일직선과, 사용자의 눈을 중심으로 하여 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라와 이루는 각의 이등분선이 만나는 지점을 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 한다.Recognizing the line of sight of the user, the straight line connecting the first infrared camera and the second infrared camera, and the bisector of the angle formed by the first infrared camera and the second infrared camera with respect to the user's eyes meet The point of view may be determined as a point where the user's gaze is located.

상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 한다.The moving and displaying of the center of the image being displayed on the display unit may include moving the center of the screen downward of the image when the coordinate value of the user's gaze is out of the virtual boundary range upward. When the coordinate value of is outside the virtual boundary range downward, the center of the screen is characterized in that moving to the upper side of the image.

상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는, 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 한다.The moving and displaying of the center of the image being displayed on the display unit may include: when the coordinate value of the user's gaze is out of the virtual boundary range to the left, the center of the screen is moved to the right of the image, and the coordinate value of the user's gaze is virtual. When the boundary range is moved to the right side, the center of the screen is moved to the left side of the image for display.

본 발명의 또 다른 측면에 따른, 휴대용 단말기에서의 시선 인식을 이용한 풀 브라우징 방법은, 적외선 카메라를 가지는 휴대용 단말기에서 시선 인식을 이용해 풀 브라우징하는 방법에 있어서, 휴대용 단말기에서 현재 요구되는 디스플레이 환경이 풀 브라우징을 필요로 하는지 판단하는 단계, 상기 판단 결과, 풀 브라우징이 필요하다고 판단되는 경우, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계, 상기 인식 및 추적된 사용자의 시선을 좌표화하는 단계, 상기 좌표화에 의해 좌표값으로 표현된 상기 사용자의 시선이 상기 휴대용 단말기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는지 판단하는 단계, 상기 사용자의 시선이 상기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는 경우, 상기 사용자의 시선이 상기 가상 경계범위를 어느 방향으로 벗어나는지 판단하는 단계, 및 상기 사용자의 시선이 벗어난 방향에 따라 디스플레이부 상에 표시되는 이미지의 위치를 조정하여 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, a full browsing method using gaze recognition in a portable terminal, in a method of full browsing using gaze recognition in a portable terminal having an infrared camera, the display environment currently required in the portable terminal is full Determining whether or not browsing is required, If it is determined that full browsing is necessary, recognizing and tracking the eyes of the user through a signal input through an infrared camera, The eyes of the recognized and tracked users Determining whether the gaze of the user represented by the coordinate value by the coordinate is out of the coordinate value of the virtual boundary of the portable terminal display unit, and the gaze of the user is the virtual boundary of the display unit. If the user is out of the coordinate value of the, The eye includes the step, and the step of displaying to adjust the position of the image displayed on the display section according to the line of sight of the user out of the way for determining whether the outside of the virtual boundary range in either direction.

본 발명에 따르면, 휴대용 단말기에서 인터넷을 사용하는 사용자는 화면의 터치나 버튼의 조작없이 시선의 이동만으로 편리하게 인터넷을 사용함으로써, 편리하고 빠른 사용자 인터페이스의 개발이 대두되고 있는 시기에 맞춰 기존의 화면터치방식보다 더 편리하게 작은 화면에서 원하는 정보를 찾고 조작 가능하여, 휴대용 단말 사용자의 편의성을 증대시킨다. According to the present invention, a user who uses the Internet in a portable terminal conveniently uses the Internet only by moving the eye without touching a screen or manipulating a button, so that a convenient and fast user interface is developed in accordance with a time when development of a convenient and fast user interface is on the rise. It is more convenient than the touch method to find and manipulate desired information on a small screen, thereby increasing the convenience of the user of the portable terminal.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

도 1은 본 발명에 따른 휴대용 단말기에서 시선 인식을 이용한 풀 브라우징 방법이 적용되는 모습의 일 실시예를 나타낸다. 1 is a view illustrating an embodiment in which a full browsing method using gaze recognition is applied in a portable terminal according to the present invention.

도 1에 도시된 휴대용 단말기는 그 전면에 2개의 카메라를 부착하고 있다. 제1 카메라와 제2 카메라는 동일 평면 상에 일정 거리를 두고 위치한다. 도 1의 휴대용 단말기의 디스플레이부에는 가상 경계범위가 표시되어 있다. 본 발명에 따른 가상 경계범위는 사용자의 시선에 따라 디스플레이되는 이미지를 변경하기 위해 설정되는 영역으로, 사용자의 시선이 가상 경계범위를 벗어나게 되면 디스플레이되는 이미지의 중심을 변경하여 표시하기 위함이다.The portable terminal shown in Fig. 1 has two cameras attached to the front thereof. The first camera and the second camera are located at a certain distance on the same plane. The virtual boundary is displayed on the display of the portable terminal of FIG. 1. The virtual boundary range according to the present invention is an area set to change the displayed image according to the gaze of the user, and is intended to change and display the center of the displayed image when the gaze of the user goes out of the virtual boundary range.

본 발명은, 휴대용 단말기가 제공하는 스크린에 한번에 전체를 디스플레이할 수 없는 이미지를 디스플레이하는 경우에 특히 더 유효적절하게 사용될 수 있다. 도 1의 왼쪽은, 전체 이미지 중 일부를 먼저 디스플레이한 상태에서, 사용자가 표시된 일부 이미지의 아래쪽 이미지를 보고자 할 때 시선을 화면의 아래쪽에 위치하고 있는 모습을 나타내준다. 이 때의 사용자 시선이 위치하는 좌표는 가상 경계범위를 넘어선 상태이며, 이 상태가 일정 시간이 지속되면, 본 발명에 따른 휴대용 단말기는 사용자의 시선이 위치하고 있는 이미지 좌표를 중심으로 하여 보다 아래쪽 이미지 부분을 화면에 디스플레이하여 도 1의 오른쪽 도면과 같이 표시한다. 즉, 도 1의 왼쪽 도면에 비해, 도 1의 오른쪽 도면의 화면이 전체적으로 위로 이동한 형태를 띠게 된다. The present invention can be more suitably used especially when displaying an image which cannot be displayed all at once on the screen provided by the portable terminal. The left side of FIG. 1 shows a state in which the gaze is positioned at the bottom of the screen when the user wants to see a lower image of the displayed partial image while displaying a part of the entire image first. At this time, the coordinate where the user's gaze is located is beyond the virtual boundary range, and if this state continues for a predetermined time, the portable terminal according to the present invention has a lower image part centering on the image coordinate where the user's gaze is located. Is displayed on the screen as shown in the right figure of FIG. That is, compared with the left side of FIG. 1, the screen of the right side of FIG. 1 is moved upward.

즉, 본 발명은 사용자의 시선을 인식하여 시선의 움직임에 따라 사용자의 요구를 능동적으로 인식하여 디스플레이된 화면을 이동하는 방법을 제시한다. 본 발명에 따른 시선 인식 방법은, 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 렌즈 사이에서 몇 차례의 반사를 일으켜 얻어지는 영상의 위치를 이용하는 이중 푸르킨에 영상 기반 추적기법 알고리즘을 이용하여 사용자의 시선을 인식하고 추적하여, 시선을 디스플레이상에서 좌표화한다. 사용자 안구의 이동에 따라 시선의 좌표값이 디스플레이 상의 가상 경계범위를 넘어서게 되면, 본 발명에 따른 휴대용 단말기는, 사용자가 현재 디스플레이상에 디스플레이된 화면 상의 이미지를 벗어난 외곽의 정보를 보고자 함을 능동적으로 판단하여 사용자의 시선이 중앙에 위치하도록 원하는 정보를 화면의 중앙에 맞추어 디스플레이한다.That is, the present invention proposes a method of moving a displayed screen by recognizing a user's gaze and actively recognizing a user's request according to the movement of the gaze. The gaze recognition method according to the present invention uses an image-based tracking algorithm for double purkin using an image position obtained by causing several reflections between the cornea and the lens of the eye when an infrared light source is incident on the user's eye. By recognizing and tracking the user's gaze, the gaze is coordinated on the display. When the coordinate value of the gaze exceeds the virtual boundary on the display according to the movement of the user's eyeball, the portable terminal according to the present invention actively indicates that the user wants to view information outside the image on the screen currently displayed on the display. By determining, the desired information is displayed according to the center of the screen so that the user's eyes are located at the center.

도 2는 본 발명에 따른 시선 인식 방법을 설명하기 위한 안구의 구조 및 그에 따른 영상의 이미지를 나타낸다. 2 is a view illustrating an eyeball structure for explaining a gaze recognition method and an image of an image according to the present invention.

사람의 안구는, 도 2에 도시된 바와 같이, 검은 눈동자로 안구를 보호하고 광선을 굴절시키는 각막(Cornea), 홍채의 중앙에 나 있는 구멍인 동공(Pupil), 돋보기 모양의 무색투명한 구조의 굴절기관인 수정체(Lens), 인종이나 개인적 색깔의 차이를 드러내며, 빛의 양을 조절하는 조리개의 역할을 하는 홍채(Iris), 눈에 들어온 빛의 최종도착지로 시신경을 통해 뇌로 신호를 보내는 망막(Retina) 등으로 이루어져 있다. The human eye, as shown in Figure 2, the black eye to protect the eye and refracting the cornea (Cornea), the pupil in the center of the iris (Pupil), the colorless transparent structure refraction The organ, the lens (Lens), the iris (Iris), which reveals differences in race or personal color, acts as an iris to control the amount of light, and the retina sends signals to the brain through the optic nerve as the final destination of light in the eye. Etc.

안구의 구조 및 카메라를 이용하여 시선을 추적하는 방법에는, 카메라를 이용하여 안구를 촬영한 뒤, 여기에서 각종 시선 추적에 필요한 정보를 추출한다. 안구를 이용하여 시선에 대한 정보를 추출하는 방법은, 안구가 향하는 방향을 찾아내는 것에서 출발하며, 이를 위해 안구의 특정점이나 형태를 찾아서 이의 변화로 안구의 방향을 찾아낸다. In the eyeball tracking method using the eye structure and the camera, after photographing the eyeball using the camera, information necessary for tracking various eyeballs is extracted therefrom. The method of extracting the information on the gaze by using the eye starts from finding the direction that the eye is facing, and finds a specific point or shape of the eye and finds the direction of the eye by the change.

이러한 방법들의 구체적인 예로는, 홍채와 동공의 경계를 명확하게 구분할 수 있도록 적외선 카메라를 이용하여 사용자의 시선을 인식하는, 홍채 윤곽선 추적기법(Iris limbus tracking), 동공 추적 기법(Pupil tracking), 각막과 동공의 관계(Cornea/pupil relationship)를 이용하는 기법, 인공 신경망 이용 기법(Artificial neural network), 이중 푸르킨에 영상 기반 시선 추적 기법(Dual Purkinje images) 등을 이용하여 시선을 추적하고 디스플레이상의 좌표를 계산하는 방법들이 있다.Specific examples of these methods include iris limbus tracking, pupil tracking, cornea and cornea, which recognize the user's gaze using an infrared camera to clearly distinguish the boundary between the iris and the pupil. Track your gaze and calculate coordinates on your display using techniques such as the Cornea / pupil relationship, artificial neural network, and Dual Purkinje images. There are ways to do it.

본 발명은 이러한 방법들 가운데, 이중 푸르킨에 영상 기반 시선 추적기법을 사용한다. 도 2를 살펴보면, 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 수정체 사이에서 몇 차례의 반사를 일으키게 되는데, 반사되는 영상은 반사되는 위치에 따라 1차 영상, 2차 영상, 3차 영상, 4차 영상의 4 가지 영샹으로 구분된다. 이 영상을 푸르킨에 영상이라 한다. 본 발명은, 4 가지의 영상 중에서 안구 각막의 안쪽 표면에서 반사되어 들어오는 1차 영상과 수정체의 안쪽 표면에서 반사되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적한다.Among these methods, the present invention uses image-based gaze tracking for Purkin. Referring to FIG. 2, when an infrared light source is incident on the user's eye, several reflections are generated between the cornea and the lens of the eye, and the reflected image is a primary image, a secondary image, or a tertiary wave depending on the reflected position. It is divided into 4 types of video, 4th video. This image is called Purkin's image. The present invention calculates the relative positions of the reflection points using the primary image reflected from the inner surface of the eye cornea and the quadratic image reflected from the inner surface of the lens of the four images to derive and track the direction of the gaze. .

도 3은 본 발명의 일 실시예에 따른 이미지 관련 정보 처리 방법이 적용되는 휴대용 단말기의 개략 블록도이다. 3 is a schematic block diagram of a portable terminal to which an image related information processing method according to an embodiment of the present invention is applied.

본 발명에 따른 휴대용 단말기는, 터치 입력부(310), 키 입력부(320), 카메라 모듈부(330), 마이크(340), 제어부(301), 저장부(360), 디스플레이부(370), 스피커(380), 무선 송수신부(390) 등을 포함한다. The portable terminal according to the present invention includes a touch input unit 310, a key input unit 320, a camera module unit 330, a microphone 340, a controller 301, a storage unit 360, a display unit 370, and a speaker. 380, a wireless transceiver 390, and the like.

도 3을 참조하면, 터치 입력부(310)는 사용자로부터 적어도 하나의 터치 입력을 받아, 이를 전위차, 커패시턴스, 파장, 또는 IR 광 인터럽트 등의 형태로 변환하고, 상기 변환한 결과를 터치 제어부(351)로 출력한다. 여기서, 터치 입력부(310)는 터치스크린을 포함하며, 터치스크린 이외에 터치 패드를 포함할 수 있다. Referring to FIG. 3, the touch input unit 310 receives at least one touch input from a user, converts it into a potential difference, a capacitance, a wavelength, or an IR optical interrupt, and converts the converted result into a touch controller 351. Will output Here, the touch input unit 310 may include a touch screen and may include a touch pad in addition to the touch screen.

제어부(301)는 터치 입력부(310)로부터 소정의 터치 입력에 대한 전위차, 커패시턴스, 파장, 또는 IR 광 인터럽트 등의 형태를 갖는 값을 입력으로 받아, 이를 (X, Y) 등의 좌표값 형태로 변환한다.The controller 301 receives a value having a form of a potential difference, capacitance, wavelength, or IR light interrupt for a predetermined touch input from the touch input unit 310 as an input, and in the form of a coordinate value such as (X, Y). To convert.

키 입력부(320)는 사용자로부터 키 패드(keypad) 상의 키 입력을 받아, 키 입력을 상기 키 입력에 대응하는 키 코드의 형태로 변환하고, 변환한 키 코드를 제어부(301)로 출력한다. 여기서, 키 입력부(320)는 본 발명에 따른 휴대용 단말 장치가 전면 터치 스크린으로 구현되는 경우 생략될 수 있다. The key input unit 320 receives a key input on a keypad from a user, converts the key input into the form of a key code corresponding to the key input, and outputs the converted key code to the controller 301. Here, the key input unit 320 may be omitted when the portable terminal device according to the present invention is implemented as a front touch screen.

적외선 카메라(330)는 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 렌즈 사이에서 몇 차례의 반사를 일으켜 얻어지는 영상을 촬영한다. 본 발명에서 적외선 카메라를 사용하는 이유는, 가시광선보다 적외선을 안구에 조사하는 경우 안구 각 부분별 경계면이 더 확실하게 나타나기 때문이다. The infrared camera 330 photographs an image obtained by causing several reflections between the cornea and the lens of the eye when the infrared light source is incident on the user's eye. The reason why the infrared camera is used in the present invention is that when the infrared ray is irradiated to the eye than the visible light, the boundary surface of each eye part appears more reliably.

적외선 카메라(330)에 의해 촬영된 영상은 아날로그 신호의 형태로 시선 처리부(340)로 제공된다. 시선 처리부(340)는 이용하는 이중 푸르킨에 영상 기반 추적기법 알고리즘을 이용하여 사용자의 시선을 인식하고 추적하여, 시선을 디스플레이상에서 좌표화한 값을 제어부(301)로 출력한다.The image captured by the infrared camera 330 is provided to the gaze processor 340 in the form of an analog signal. The gaze processor 340 recognizes and tracks the gaze of the user by using an image-based tracking technique algorithm on the double purkin to be used, and outputs the coordinates of the gaze on the display to the controller 301.

제어부(301)는 시선 처리부(340)를 통해 입력된 사용자의 시선의 좌표 값이, 디스플레이 상의 가상 경계범위를 넘어서는지 판단하고, 넘어서는 것으로 판단되면, 사용자가 현재 디스플레이상에 디스플레이된 화면 상의 이미지를 벗어난 외곽의 정보를 보고자 함을 능동적으로 판단하여 사용자의 시선이 중앙에 위치하도록 원하는 정보를 화면의 중앙에 맞추어 디스플레이한다.The controller 301 determines whether the coordinate value of the user's gaze input through the gaze processor 340 is over the virtual boundary on the display, and if it is determined to be beyond, the user displays an image on the screen currently displayed on the display. By actively determining that the user wants to see the information of the outside area, the desired information is displayed in the center of the screen so that the user's gaze is located at the center.

제어부(301)는 또한, 키 입력부(320)로부터 키 코드를 입력 받아, 상기 키 코드에 상응하는 문자 입력, 숫자 입력, 영상 처리 장치의 설정 변경, 영상 처리 장치의 설정 표시 및 애플리케이션 실행 중 적어도 하나의 동작을 수행할 수 있다.The control unit 301 also receives a key code from the key input unit 320, and includes at least one of a character input corresponding to the key code, a number input, a setting change of the image processing apparatus, a setting display of the image processing apparatus, and an application execution. Can be performed.

마이크(340)는 상기 사용자 및/또는 상기 사용자의 주변 소리를 전기적 신호 형태로 변환하여, 상기 전기적 신호를 제어부(301)로 출력한다.The microphone 340 converts the ambient sound of the user and / or the user into an electrical signal form and outputs the electrical signal to the controller 301.

제어부(301)는 마이크(340)로부터 전기적 신호를 입력 받아, 전기적 신호에 대해 음성 처리를 거쳐서 송신 가능한 전기적 신호로 변환하여, 변환한 결과를 무선 송수신부(390)로 출력할 수 있다.The controller 301 receives an electrical signal from the microphone 340, converts the electrical signal into an electrical signal that can be transmitted through voice processing, and outputs the converted result to the wireless transceiver 390.

제어부(301)는 무선 송수신부(390)로부터 상대방의 음성에 대응하는 전기적 신호를 입력 받아, 상기 전기적 신호에 대해 음성 처리를 거쳐서 음성 출력 가능한 전기적 신호로 변환하여, 상기 변환한 결과를 스피커(380)로 출력할 수 있다.The controller 301 receives an electrical signal corresponding to the voice of the other party from the wireless transceiver 390, converts the electrical signal into an electrical signal capable of outputting voice through voice processing, and converts the converted result into a speaker 380. Can be printed as

저장부(360)는, 제어부(301)로부터 영상 처리 장치의 설정 정보, 운영체제 실행 정보 및 애플리케이션 실행 정보 중 적어도 하나를 입력 받아 저장하고, 제어부(301)의 요청에 따라 설정 정보, 운영체제 실행 정보 및 애플리케이션 실행 정보 중 적어도 하나를 제어부(301)로 출력한다.The storage unit 360 receives and stores at least one of setting information of the image processing apparatus, operating system execution information, and application execution information from the control unit 301, and at the request of the control unit 301, setting information, operating system execution information, and the like. At least one of the application execution information is output to the controller 301.

디스플레이부(370)는 제어부(301)로부터 이미지 데이터를 입력 받아 상기 이미지 데이터를 상기 영상 처리 장치의 화면 상에 출력한다. 디스플레이부(370)는 액정 표시 장치(liquid crystal display: LCD) 등과 같은 디스플레이 장치를 이용하여 구현될 수 있다.The display unit 370 receives image data from the controller 301 and outputs the image data on the screen of the image processing apparatus. The display unit 370 may be implemented using a display device such as a liquid crystal display (LCD).

스피커(380)는 제어부(301)로부터 전기적 신호를 입력 받아, 상기 전기적 신호를 소리로 변환하여 출력할 수 있다.The speaker 380 may receive an electrical signal from the controller 301, convert the electrical signal into a sound, and output the sound.

무선 송수신부(390)는 제어부(301)로부터 사용자 및/또는 사용자 주변의 소리에 대응하는 송신 가능한 전기적 신호를 입력 받아, 송신 가능한 전기적 신호 를 유선 또는 무선 네트워크를 통하여 상대방 휴대용 단말기로 전송할 수 있다.The wireless transceiver 390 may receive a transmittable electrical signal corresponding to a sound of a user and / or a user's surroundings from the controller 301, and transmit the transmittable electrical signal to a counterpart portable terminal through a wired or wireless network.

무선 송수신부(390)는 상대 단말로부터 유선 또는 무선 네트워크를 통하여 상대방의 음성에 대응하는 전기적 신호를 입력 받아, 상대방의 음성에 대응하는 전기적 신호를 제어부(301)로 출력할 수 있다.The wireless transceiver 390 may receive an electrical signal corresponding to the voice of the counterpart from the counterpart terminal through a wired or wireless network, and output the electrical signal corresponding to the voice of the counterpart to the controller 301.

도 4는 본 발명의 일 실시예에 따른 시선 인식을 처리하는 휴대용 단말기의 관련 블록의 상세도이다. 4 is a detailed view of a related block of a portable terminal for processing gaze recognition according to an embodiment of the present invention.

본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법에서는, 적외선 카메라 ADC(Analog-to-Digital Converter, 아날로그-디지털 변환기)를 이용하여 시선정보를 획득, 획득한 시선 정보를 이용해 시선을 인식하고 추적하여 사용자의 요구에 맞도록 화면을 조정하는 부분이 가장 핵심이 된다.In the full browsing method using gaze recognition according to the present invention, the gaze information is acquired using an infrared camera ADC (analog-to-digital converter, analog-digital converter), and the gaze is recognized and tracked by using the acquired gaze information. The key is to adjust the screen to meet your needs.

이와 같은 기능을 수행하는 본 발명에 따른 휴대용 단말기의 핵심 블록은, 도 4에 나타난 바와 같은 적외선 카메라(330), ADC(341), 시선 인식 및 추적부(342), 좌표산출부(343), 및 제어부(301)를 들 수 있다. 이 중, ADC(341), 시선 인식 및 추적부(342), 좌표산출부(343)는 시선 처리부(340)에 포함될 수 있다. The core block of the portable terminal according to the present invention performing such a function includes an infrared camera 330, an ADC 341, a line of sight recognition and tracking unit 342, a coordinate calculation unit 343, as shown in FIG. And the control unit 301. Among these, the ADC 341, the gaze recognition and tracking unit 342, and the coordinate calculation unit 343 may be included in the gaze processing unit 340.

적외선 카메라(330)는 사용자의 시선을 인식하고, ADC(341)는 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하는 역할을 수행한다. 시선 인식 및 추적부(342)는 적외선 카메라(330)로부터 제공된 정보를 이용하여 사용자의 시선을 인식하고 추적하며, 좌표 산출부(343)는 사용자의 시선을 좌표화한다. 산출된 좌표 값은 제어부(301)로 출력되는데, 제어부(301)는 산출된 사용자 시선의 좌표 값이 정해진 범위를 넘어서는지 판단하여 휴대용 단말기의 디스플레이부(예를 들어, LCD 화면) 상에 표시되는 이미지가 사용자의 능동적인 요구에 맞도록 조절되어 디스플레이되도록 제어한다.The infrared camera 330 recognizes the line of sight of the user, and the ADC 341 converts the analog signal output from the camera into a digital signal. The gaze recognition and tracking unit 342 recognizes and tracks the gaze of the user by using the information provided from the infrared camera 330, and the coordinate calculator 343 coordinates the gaze of the user. The calculated coordinate value is output to the control unit 301. The control unit 301 determines whether the calculated coordinate value of the user's gaze exceeds a predetermined range and is displayed on the display unit (for example, the LCD screen) of the portable terminal. Controls the image to be adjusted and displayed to suit the user's active needs.

구체적으로 제어부(301)는 계산된 시선의 좌표 값이 정해진 테두리 임계값을 벗어나게 되면 시선의 좌표가 어느 방향으로 벗어났는지를 판단하여, 위쪽으로 벗어나면 화면을 아래쪽으로, 아래쪽으로 벗어나면 화면을 위쪽으로, 왼쪽으로 벗어나면 화면을 오른쪽으로, 오른쪽으로 벗어나면 화면을 왼쪽으로 이동시켜 사용자가 원하는 정보가 화면의 중앙에 위치하도록 디스플레이부(도 3의 370)를 제어한다. In detail, the controller 301 determines in which direction the coordinates of the gaze deviate when the calculated coordinate value of the gaze deviates from a predetermined edge threshold, and moves the screen downward when the upward direction is off, and upwards when the downward direction is off. For example, if the screen deviates to the left, the screen is moved to the right, and if the screen deviates to the right, the screen is moved to the left to control the display unit 370 of FIG.

예를 들어, 사용자의 시선이 가상 경계범위의 윗부분을 벗어나고 가상 경계범위를 벗어난 상태에서 시선이 일정 시간 머물게 되면, 제어부(301)는 화면을 아래로 이동시키고 시선이 화면의 중앙에 맞춰지도록 디스플레이부를 능동적으로 조정한다. For example, when the gaze of the user is out of the upper portion of the virtual boundary and the gaze stays for a certain time while the virtual gaze is out of the virtual boundary, the control unit 301 moves the display downward so that the gaze is centered on the screen. Adjust actively.

즉, 본 발명을 이용하면 휴대용 단말기에서 무선인터넷을 사용하는 사용자는 버튼의 조작이나 화면의 터치없이 자유롭게 제한된 크기의 LCD 화면에서 일반 PC에서의 인터넷 사용환경과 같은 환경에서 무선인터넷을 사용할 수 있다.That is, according to the present invention, a user who uses the wireless Internet in a portable terminal can use the wireless Internet in an environment such as an Internet use environment in a general PC on an LCD screen of limited size without any manipulation of a button or touching a screen.

도 5는 본 발명에 따른, 적외선 카메라와 안구 사이의 관계를 이용한 구체적인 시선 인식 동작을 설명하기 위한 개념도이다. 5 is a conceptual view illustrating a specific gaze recognition operation using a relationship between an infrared camera and an eyeball according to the present invention.

본 발명에 따른 휴대용 단말기는 도 1을 통해서 확인한 바와 같이 2 개의 적외선 카메라를 포함한다. 도 5에는 휴대용 카메라에 부착된 2개의 적외선 카메라(C1, C2)가 일직선 상에 위치하고, 카메라를 바라보는 눈이 위치하고 있을 때, 한쪽 적외선 카메라(C1)로부터 방사된 적외선이 눈의 표면(p)에서 반사되어 다른 쪽 적외선 카메라(C2)로 입사되면 C1, p, C2가 이루는 각의 이등분선이 두 적외선 카메라(C1, C2)를 연결하는 일직선과 만나는 지점(M)이 시선의 위치가 된다.The portable terminal according to the present invention includes two infrared cameras as confirmed through FIG. 1. In FIG. 5, when two infrared cameras C1 and C2 attached to a portable camera are positioned in a straight line and an eye looking at the camera is located, the infrared rays emitted from one infrared camera C1 are the surface p of the eye. When reflected from the other infrared camera (C2) is incident to the other infrared camera (C2), the point (M) where the bisector of the angle formed by C1, p, C2 meets the straight line connecting the two infrared cameras (C1, C2) becomes the position of the line of sight.

도 6은 본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법의 동작 순서도를 나타낸다. 6 is an operation flowchart of a full browsing method using gaze recognition according to the present invention.

즉, 도 6은 사용자의 시선을 인식하고 추적하여 시선의 좌표값이 디스플레이상의 가상 경계 범위를 넘어서는지 판단하고 디스플레이된 화면을 사용자의 요구에 부합하도록 능동적으로 이동시켜 주는 알고리즘의 순서도이다. That is, FIG. 6 is a flowchart of an algorithm for recognizing and tracking a line of sight of a user to determine whether a coordinate value of the line of sight exceeds a virtual boundary on a display, and actively moving a displayed screen to meet a user's needs.

먼저, 본 발명에 따른 휴대용 단말기는 그 동작 상태에 따른 디스플레이 환경을 파악한다(S601). 파악된 현재의 사용 환경이 인터넷 서비스, 사진감상 등과 같은 풀 브라우징이 필요한 환경인지를 판단한다(S602). 간단한 메뉴 정도만 디스플레이 하는 등 풀 브라우징이 필요하지 않은 일반적인 디스플레이 환경일 경우 (S602의 아니오)에는, 일반적인 방법으로 디스플레이를 수행한다(S603). 하지만, 풀 브라우징이 필요하다고 판단되는 경우(S602의 예)에는, 현재 사용자의 시선이 머무르는 위치와 관련하여 사용자의 시선을 인식하고 추적한다(S604). 추적된 사용자의 시선에 대해서는 좌표화를 수행하고(S605), 시선의 좌표값이 가상 경계범위를 벗어나는지 판단한다(S606). 좌표값이 가상 경계범위를 벗어나는 경우(606의 예)에 는 가상 경계범위를 어느 방향으로 벗어나는지 판단하고(S607), 벗어난 방향에 따라 디스플레이의 위치를 조정하여 화면에 표시한다(S608). 즉, 시선의 좌표 값이 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 좌표 값이 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시킨다. 또한, 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 사용자가 원하는 정보가 화면의 중앙에 위치하게 된다.First, the portable terminal according to the present invention determines the display environment according to the operation state (S601). It is determined whether the identified current use environment is an environment that requires full browsing such as Internet service, photo viewing, etc. (S602). In the case of a general display environment in which full browsing is not required such as displaying only a simple menu level (NO in S602), the display is performed in a general manner (S603). However, when it is determined that full browsing is necessary (YES in S602), the gaze of the user is recognized and tracked in relation to the location where the gaze of the current user stays (S604). The coordinates of the tracked eyes of the user are coordinated (S605), and it is determined whether the coordinate values of the eyes are outside the virtual boundary range (S606). If the coordinate value is out of the virtual boundary range (YES in 606), it is determined in which direction the virtual boundary range deviates (S607), and the display position is adjusted on the screen according to the deviation direction (S608). That is, if the coordinate value of the gaze is out of the virtual boundary range upward, the center of the screen is moved to the bottom of the image. If the coordinate value is out of the virtual boundary range, the center of the screen is moved upward of the image. In addition, if the gaze coordinate value is out of the virtual boundary range to the left, the center of the screen moves to the right side of the image. If the gaze coordinate value is out of the virtual boundary range to the right side, the center of the screen is moved to the left side of the image. The information is centered on the screen.

본 발명에 따른 시선인식을 이용한 풀 브라우징 방법은, 디스플레이의 크기가 제한된 이동통신 단말기, 개인 휴대정보 단말기(personal digital assistant: PDA), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP), MP3 플레이어 등과 같은 휴대용 단말기에서 인터넷이나 문서읽기, 사진감상과 같은 작업을 할 때, 편리하게 이용될 수 있다. In the full browsing method using gaze recognition according to the present invention, a mobile communication terminal with a limited display size, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, and the like It can be conveniently used when working on the device such as reading the Internet, reading documents, or viewing pictures.

이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the above embodiments, those skilled in the art will understand that various modifications and changes can be made without departing from the spirit and scope of the invention as set forth in the claims below. Could be.

도 1은 본 발명에 따른 휴대용 단말기에서 시선 인식을 이용한 풀 브라우징 방법이 적용되는 모습의 일 실시예를 나타낸 도면.1 is a view showing an embodiment of a state in which a full browsing method using gaze recognition is applied in a portable terminal according to the present invention.

도 2는 본 발명에 따른 시선 인식 방법을 설명하기 위한 안구의 구조 및 그에 따른 영상의 이미지를 나타낸 도면.2 is a view showing the structure of the eyeball and the image according to the image for explaining the gaze recognition method according to the present invention.

도 3은 본 발명의 일 실시예에 따른 이미지 관련 정보 처리 방법이 적용되는 휴대용 단말기의 개략 블록도.3 is a schematic block diagram of a portable terminal to which an image-related information processing method according to an embodiment of the present invention is applied.

도 4는 본 발명의 일 실시예에 따른 시선 인식을 처리하는 휴대용 단말기의 관련 블록의 상세도. 4 is a detailed view of a related block of a portable terminal for processing gaze recognition according to an embodiment of the present invention.

도 5는 본 발명에 따른, 적외선 카메라와 안구 사이의 관계를 이용한 구체적인 시선 인식 동작을 설명하기 위한 개념도. 5 is a conceptual view for explaining a specific gaze recognition operation using the relationship between the infrared camera and the eyeball in accordance with the present invention.

도 6은 본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법의 동작 순서도.6 is an operation flowchart of a full browsing method using gaze recognition according to the present invention.

* 도면의 주요부분에 대한 부호의 설명 * Explanation of symbols on the main parts of the drawings

301 : 제어부 310 : 터치 입력부301: control unit 310: touch input unit

320 : 키 입력부 330 : 적외선 카메라320: key input unit 330: infrared camera

340 : 시선 처리부 341 : ADC340: eye processor 341: ADC

342 : 시선 인식 및 추적부 343 : 좌표 산출부342: eye recognition and tracking unit 343: coordinate calculation unit

350 : 마이크 360 : 저장부350: microphone 360: storage

370 : 디스플레이부 380 : 스피커 370: display unit 380: speaker

390 : 무선 송수신부390: wireless transceiver

Claims (19)

이미지 데이터를 디스플레이하는 디스플레이부;A display unit which displays image data; 사용자의 안구를 촬영하여 관련 이미지를 출력하는 적외선 카메라; An infrared camera which photographs the eyeball of the user and outputs a related image; 상기 적외선 카메라로부터 입력되는 이미지로부터 사용자의 시선을 인식하고 추적하는 시선 처리부; 및A gaze processor for recognizing and tracking a gaze of a user from an image input from the infrared camera; And 상기 시선처리부를 통해 인식 및 추적된 사용자의 시선이, 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 휴대용 단말기.And a controller configured to control the display unit to move and display the center of the image being displayed on the display unit when the gaze of the user recognized and tracked by the gaze processor is outside the virtual boundary of the display unit. . 제1항에 있어서,The method of claim 1, 상기 시선 처리부는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 하는, 휴대용 단말기.The gaze processor, a mobile terminal, characterized in that to recognize and track the gaze of the user using the image-based tracking technique on the double Purkin. 제1항에 있어서,The method of claim 1, 상기 시선 처리부는, The gaze processing unit, 사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 하는, 휴대용 단말 기.Using the primary image reflected from the inner surface of the user's eye cornea and the fourth image reflected from the inner surface of the lens, the relative positions of the reflection points are calculated to derive and track the gaze direction. Handheld terminal. 제1항에 있어서,The method of claim 1, 상기 시선 처리부는,The gaze processing unit, 상기 적외선 카메라로부터 제공된 정보를 이용하여 사용자의 시선을 인식하는 추적하는 시선 인식 및 추적부; 와A gaze recognition and tracking unit for tracking a gaze of a user using information provided from the infrared camera; Wow 상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출부를 포함하는 휴대용 단말기.And a coordinate calculator configured to coordinate the gaze of the recognized and tracked user. 제4항에 있어서,The method of claim 4, wherein 상기 시선 처리부는,The gaze processing unit, 상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하여 상기 시선 인식 및 추적부로 공급하는, 아날로그-디지털 변환부를 더 포함하는, 휴대용 단말기.And an analog-to-digital converter for converting an analog signal output from the infrared camera into a digital signal and supplying the analog signal to the gaze recognition and tracking unit. 제4항에 있어서,The method of claim 4, wherein 상기 제어부는, 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 것을 특징으로 하는, 휴대용 단말기.The controller may compare the coordinate value of the gaze of the user with the coordinate value of the virtual boundary range to determine whether the coordinate value of the gaze of the user is located outside the virtual boundary range. 제6항에 있어서,The method of claim 6, 상기 제어부는,The control unit, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 하는, 휴대용 단말기.When the coordinate value of the user's gaze is out of the virtual boundary range upward, the center of the screen is moved to the bottom of the image. When the coordinate value of the user's gaze is out of the virtual boundary range, the center of the screen is imaged. A mobile terminal, characterized in that for moving upwards. 제6항에 있어서,The method of claim 6, 상기 제어부는,The control unit, 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 하는, 휴대용 단말기.If the user's gaze is out of the virtual boundary to the left, the center of the screen is to the right of the image. If the user's gaze is out of the virtual boundary to the right, the center of the screen is moved to the left of the image. Portable terminal, characterized in that. 제1항에 있어서,The method of claim 1, 상기 적외선 카메라는,The infrared camera, 상기 휴대용 단말기 상에 위치하는 제1 카메라; 와 A first camera located on the portable terminal; Wow 상기 휴대용 단말기 상에서 상기 제1 카메라와 동일 평면 상에 일정 거리를 두고 위치하는 제2 카메라를 포함하는, 휴대용 단말기.And a second camera positioned at a distance on the same plane as the first camera on the portable terminal. 제9항에 있어서,The method of claim 9, 상기 제어부는,The control unit, 상기 제1 적외선 카메라로부터 방사된 적외선이 눈의 표면에서 반사되어 상기 제2 적외선 카메라로 입사될 때 상기 눈의 표면을 중심으로 한 적외선의 경로가 이루는 각의 이등분선이, 상기 제1 적외선 카메라와 상기 제2 적외선 카메라를 연결하는 일직선과 만나는 지점을, 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 하는, 휴대용 단말기.When the infrared radiation emitted from the first infrared camera is reflected from the surface of the eye and is incident on the second infrared camera, the bisector of an angle formed by the path of infrared rays around the surface of the eye is the first infrared camera and the A portable terminal, characterized in that it is determined that the point of contact with the straight line connecting the second infrared camera is the point where the user's gaze is located. 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계;Recognizing and tracking the eyes of the user through a signal input through the infrared camera; 상기 인식 및 추적된 사용자의 시선이 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계; 및Determining whether the gaze of the recognized and tracked user is outside a virtual boundary of the display unit; And 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계를 포함하는 시선 인식을 이용한 풀 브라우징 방법.If the user's gaze is out of the virtual boundary of the display unit, moving the center of the image being displayed on the display unit and displaying the full browsing method. 제11항에 있어서,The method of claim 11, 상기 사용자의 시선을 인식 및 추적하는 단계는, Recognizing and tracking the eyes of the user, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.A full browsing method using gaze recognition, characterized by recognizing and tracking a user's gaze using a Purkin image-based tracking technique. 제11항에 있어서,The method of claim 11, 상기 사용자의 시선을 인식 및 추적하는 단계는, Recognizing and tracking the eyes of the user, 사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.Using the primary image reflected from the inner surface of the user's eye cornea and the fourth image reflected from the inner surface of the lens, the relative positions of the reflection points are calculated to derive and track the gaze direction. Full browsing method using gaze recognition. 제11항에 있어서,The method of claim 11, 상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출 단계를 더 포함하는 시선 인식을 이용한 풀 브라우징 방법.And a coordinate calculation step of coordinates the recognized and tracked user's gaze. 제14항에 있어서,The method of claim 14, 상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하는 단계를 더 포함하는, 시선 인식을 이용한 풀 브라우징 방법.And converting an analog signal output from the infrared camera into a digital signal. 제14항에 있어서,The method of claim 14, 상기 인식 및 추적된 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계는, Determining whether the gaze of the recognized and tracked user is outside the virtual boundary of the display unit, 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하 여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.Comparing the coordinate value of the gaze of the user and the coordinate value of the virtual boundary range, it is determined whether the coordinate value of the gaze of the user is located outside the virtual boundary range, full browsing method using gaze recognition . 제14항에 있어서,The method of claim 14, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는,Moving and displaying the center of the image being displayed on the display unit, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.When the coordinate value of the user's gaze is out of the virtual boundary range upward, the center of the screen is moved to the bottom of the image. When the coordinate value of the user's gaze is out of the virtual boundary range, the center of the screen is imaged. A full browsing method using gaze recognition, characterized by moving upwards. 제14항에 있어서,The method of claim 14, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는,Moving and displaying the center of the image being displayed on the display unit, 상기 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.If the user's gaze is out of the virtual boundary to the left, the center of the screen is moved to the right of the image. If the user's gaze is out of the virtual boundary, the center of the screen is moved to the left of the image. Full browsing method using the gaze recognition, characterized in that for displaying. 적외선 카메라를 가지는 휴대용 단말기에서 시선 인식을 이용해 풀 브라우 징하는 방법에 있어서,In a method of full browsing using gaze recognition in a portable terminal having an infrared camera, 휴대용 단말기에서 현재 요구되는 디스플레이 환경이 풀 브라우징을 필요로 하는지 판단하는 단계;Determining whether a display environment currently required in the portable terminal requires full browsing; 상기 판단 결과, 풀 브라우징이 필요하다고 판단되는 경우, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계;If it is determined that full browsing is necessary, recognizing and tracking the eyes of the user through a signal input through an infrared camera; 상기 인식 및 추적된 사용자의 시선을 좌표화하는 단계;Coordinate the gaze of the recognized and tracked user; 상기 좌표화에 의해 좌표값으로 표현된 상기 사용자의 시선이 상기 휴대용 단말기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는지 판단하는 단계; Determining whether the gaze of the user represented by the coordinate value by the coordinate is out of the coordinate value of the virtual boundary of the portable terminal display unit; 상기 사용자의 시선이 상기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는 경우, 상기 사용자의 시선이 상기 가상 경계범위를 어느 방향으로 벗어나는지 판단하는 단계; 및 Determining in which direction the gaze of the user deviates from the virtual boundary range when the gaze of the user deviates from the coordinate value of the virtual boundary range of the display unit; And 상기 사용자의 시선이 벗어난 방향에 따라 디스플레이부 상에 표시되는 이미지의 위치를 조정하여 디스플레이하는 단계를 포함하는, 휴대용 단말기에서의 시선 인식을 이용한 풀 브라우징 방법.And adjusting and displaying a position of an image displayed on a display unit according to a direction away from the gaze of the user.
KR1020080066865A 2008-07-10 2008-07-10 Full browsing method using gaze detection and handheld terminal performing the method KR101004930B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080066865A KR101004930B1 (en) 2008-07-10 2008-07-10 Full browsing method using gaze detection and handheld terminal performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080066865A KR101004930B1 (en) 2008-07-10 2008-07-10 Full browsing method using gaze detection and handheld terminal performing the method

Publications (2)

Publication Number Publication Date
KR20100006652A true KR20100006652A (en) 2010-01-21
KR101004930B1 KR101004930B1 (en) 2010-12-28

Family

ID=41815754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080066865A KR101004930B1 (en) 2008-07-10 2008-07-10 Full browsing method using gaze detection and handheld terminal performing the method

Country Status (1)

Country Link
KR (1) KR101004930B1 (en)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120007108A (en) * 2010-07-14 2012-01-20 현대자동차주식회사 Cluster and method of cluster control using detection of driver's sight line
KR101148508B1 (en) * 2010-07-16 2012-05-25 한국과학기술원 A method and device for display of mobile device, and mobile device using the same
WO2013077978A3 (en) * 2011-11-22 2013-07-18 Google Inc. Method of using eye-tracking to center image content in a display
KR101383235B1 (en) * 2010-06-17 2014-04-17 한국전자통신연구원 Apparatus for inputting coordinate using eye tracking and method thereof
KR101451894B1 (en) * 2013-03-08 2014-10-23 충북대학교 산학협력단 Smartphone based apparatus and method for testing pupillary light reflex
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
WO2015046686A1 (en) * 2013-09-30 2015-04-02 Lg Electronics Inc. Wearable display device and method for controlling layer in the same
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
KR20150085713A (en) * 2014-01-16 2015-07-24 삼성전자주식회사 Dispaly apparatus and controlling method thereof
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9277380B2 (en) 2012-12-18 2016-03-01 Hyundi Motor Company Method for controlling call termination based on gaze, and mobile communication terminal therefor
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9817475B2 (en) 2014-03-17 2017-11-14 Samsung Electronics Co., Ltd. Method for tracking a user's eye to control an indicator on a touch screen and electronic device thereof
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270558B1 (en) 2012-10-22 2013-06-07 김선욱 Portable terminal possible control-working to iris recognition and a method for excuting the system
US9019170B2 (en) 2013-03-14 2015-04-28 Lg Electronics Inc. Display device and method for controlling the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100749033B1 (en) * 2004-03-03 2007-08-13 학교법인 한국정보통신학원 A method for manipulating a terminal using user's glint, and an apparatus

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
KR101383235B1 (en) * 2010-06-17 2014-04-17 한국전자통신연구원 Apparatus for inputting coordinate using eye tracking and method thereof
KR20120007108A (en) * 2010-07-14 2012-01-20 현대자동차주식회사 Cluster and method of cluster control using detection of driver's sight line
KR101148508B1 (en) * 2010-07-16 2012-05-25 한국과학기술원 A method and device for display of mobile device, and mobile device using the same
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8786953B2 (en) 2011-11-22 2014-07-22 Google Inc. User interface
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
WO2013077978A3 (en) * 2011-11-22 2013-07-18 Google Inc. Method of using eye-tracking to center image content in a display
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9277380B2 (en) 2012-12-18 2016-03-01 Hyundi Motor Company Method for controlling call termination based on gaze, and mobile communication terminal therefor
KR101451894B1 (en) * 2013-03-08 2014-10-23 충북대학교 산학협력단 Smartphone based apparatus and method for testing pupillary light reflex
WO2015046686A1 (en) * 2013-09-30 2015-04-02 Lg Electronics Inc. Wearable display device and method for controlling layer in the same
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
KR20150085713A (en) * 2014-01-16 2015-07-24 삼성전자주식회사 Dispaly apparatus and controlling method thereof
US9817475B2 (en) 2014-03-17 2017-11-14 Samsung Electronics Co., Ltd. Method for tracking a user's eye to control an indicator on a touch screen and electronic device thereof

Also Published As

Publication number Publication date
KR101004930B1 (en) 2010-12-28

Similar Documents

Publication Publication Date Title
KR101004930B1 (en) Full browsing method using gaze detection and handheld terminal performing the method
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10585288B2 (en) Computer display device mounted on eyeglasses
EP3752897B1 (en) Systems and methods for eye tracking in virtual reality and augmented reality applications
CN110692062A (en) Accumulation and confidence assignment of iris codes
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
US11137908B2 (en) Keyboard operation with head-mounted device
JP2015176588A (en) Display device, image display system and information processing method
JP2016177658A (en) Virtual input device, input method, and program
KR102614047B1 (en) Electronic apparatus comprising flexible display
Weng et al. Facesight: Enabling hand-to-face gesture interaction on ar glasses with a downward-facing camera vision
JPH09179062A (en) Computer system
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
US8970692B2 (en) Head mount personal computer and interactive system using the same
KR20200040716A (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11429200B2 (en) Glasses-type terminal
WO2023164268A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
KR102312601B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR102473669B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
JP7031112B1 (en) Glasses type terminal
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
Arai Mobile phone operations just by sight and its applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee