KR101004930B1 - 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기 - Google Patents

시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기 Download PDF

Info

Publication number
KR101004930B1
KR101004930B1 KR1020080066865A KR20080066865A KR101004930B1 KR 101004930 B1 KR101004930 B1 KR 101004930B1 KR 1020080066865 A KR1020080066865 A KR 1020080066865A KR 20080066865 A KR20080066865 A KR 20080066865A KR 101004930 B1 KR101004930 B1 KR 101004930B1
Authority
KR
South Korea
Prior art keywords
gaze
user
image
virtual boundary
display unit
Prior art date
Application number
KR1020080066865A
Other languages
English (en)
Other versions
KR20100006652A (ko
Inventor
진덕양
김희성
김우중
황진우
조준동
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080066865A priority Critical patent/KR101004930B1/ko
Publication of KR20100006652A publication Critical patent/KR20100006652A/ko
Application granted granted Critical
Publication of KR101004930B1 publication Critical patent/KR101004930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명, 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기는, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하고, 상기 인식 및 추적된 사용자의 시선이 디스플레이부의 가상 경계범위를 벗어나는지 판단하며, 사용자의 시선이 디스플레이부의 가상 경계범위를 벗어나는 경우, 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이 함으로써, 화면의 터치나 버튼의 조작없이 시선의 이동만으로 기존의 화면터치방식보다 더 편리하게 신속하게, 작은 화면에서 원하는 정보를 찾고 조작 가능하도록 하여, 휴대용 단말 사용자의 편의성을 증대시킨다.
시선 인식, 풀 브라우징, 적외선 카메라, 휴대용 단말기, 좌표

Description

시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기{FULL BROWSING METHOD USING GAZE DETECTION AND HANDHELD TERMINAL PERFORMING THE METHOD}
본 발명은, 휴대용 단말기의 풀 브라우징에 관한 것으로, 더욱 상세하게는 적외선 카메라를 이용한 사용자의 시선 인식을 통해 휴대용 단말기에서의 풀 브라우징을 실현하는, 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기에 관한 것이다.
일반적으로 이동통신 단말기는 무선으로 음성 통화를 하는 것이 그 주된 목적이었으나, 최근의 이동통신 단말기들에는 기술의 발전에 힘입어 음성통화 이외의 다양한 기능과 서비스가 추가되어 왔다. 특히, 유선망을 통해 활성화되고 있었던 인터넷을 이동통신 단말기를 이용한 인터넷의 이용으로 확대하여 서비스를 제공하기에 이르렀다.
인터넷 상으로 제공되는 서비스는 여러가지가 있으나, 그 중 웹 브라우징이 많이 이용된다. 그런데, 이동통신 단말기를 이용한 웹 브라우징은 많은 제한요소들을 가진다. 가장 두드러진 제한으로는, 이동통신 단말기의 특성 중 가장 중요 하게 작용하는 휴대성으로 인해, 소형으로 제작되는 것이 필수이고 또한 마우스 같은 인터페이스의 사용이 여의치 않아 웹 브라우징에 많은 불편이 따른다는 점이다. 또한, 일반적인 웹 페이지는 유선통신망을 통한 컴퓨터 환경에 최적화되어 있어 이동통신 단말기를 이용하여 접근하기에는 여러 어려움이 있었다. 이를 해결하기 위한 방안으로 유선 통신망을 통한 유선 인터넷용 웹페이지와 이동통신 단말기를 이용하는 무선 인터넷용 웹페이지(또는 WAP(Wireless Application Protocol) 페이지)가 구분되어 별개로 운영되기도 하였다.
하지만, 이동통신 단말기를 포함하여 이동통신망과 관련된 기술의 발전으로 인해 현재는 이동통신 단말기를 이용한 무선 인터넷에서도 일반 인터넷 사이트와 동일한 형태로 문서와 동영상을 볼 수 있는 서비스(이하 '풀 브라우징(Full Browsing)') 가 구현되고 있다.
이러한 풀 브라우징을 이동통신 단말기에서 실현하기 위해 다양한 방법들이 소개되고 있다. 예를 들어, 유선인터넷용 웹페이지는 일반적으로 데스크탑 또는 노트북 등에서 사용되는 대형 모니터의 크기에 맞도록 구성되어 있어, 화면의 크기가 훨씬 작은 이동통신 단말기의 디스플레이부에 웹페이지가 모두 표시될 수 없었다. 그래서, 수신된 웹페이지 전체 화면을 먼저 디스플레이했다가 사용자가 방향키 등을 이용해 커서를 움직이고, 확대 버튼 등을 이용해 위치한 부분을 확대하여 표시하도록 함으로써 내용을 확인할 수 있는 방법 등이 제시되었다. 또한, 터치스크린이나 휠을 이용한 풀 브라우징 방법 등도 제시되었다.
하지만, 이러한 기존의 방법을 사용하는 경우 여러 번 커서와 버튼을 선택 해야 하는 번거로운 절차를 거쳐야 하기 때문에, 웹 서핑, 사진 감상 등의 섬세한 작업에 많은 불편이 따랐다.
따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 디스플레이의 크기가 제한된 이동통신 단말기에서 실제 인터넷 환경과 같은 무선인터넷 서비스를 제공할 수 있는, 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한 휴대용 단말기를 제공하는 데 그 목적이 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 휴대용 단말기는, 이미지 데이터를 디스플레이하는 디스플레이부, 사용자의 안구를 촬영하여 관련 이미지를 출력하는 적외선 카메라, 상기 적외선 카메라로부터 입력되는 이미지로부터 사용자의 시선을 인식하고 추적하는 시선 처리부, 및 상기 시선처리부를 통해 인식 및 추적된 사용자의 시선이, 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
상기 시선 처리부는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 한다.
상기 시선 처리부는, 사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반 사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 한다.
상기 시선 처리부는, 상기 적외선 카메라로부터 제공된 정보를 이용하여 사용자의 시선을 인식하는 추적하는 시선 인식 및 추적부와 상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출부를 포함한다.
상기 시선 처리부는, 상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하여 상기 시선 인식 및 추적부로 공급하는, 아날로그-디지털 변환부를 더 포함한다.
상기 제어부는, 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 것을 특징으로 한다.
상기 제어부는, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 한다.
상기 제어부는 또한, 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 한다.
상기 적외선 카메라는, 상기 휴대용 단말기 상에 위치하는 제1 카메라와 상기 휴대용 단말기 상에서 상기 제1 카메라와 동일 평면 상에 일정 거리를 두고 위치하는 제2 카메라를 포함한다.
상기 제어부는, 상기 제1 적외선 카메라로부터 방사된 적외선이 눈의 표면에서 반사되어 상기 제2 적외선 카메라로 입사될 때 상기 눈의 표면을 중심으로 한 적외선의 경로가 이루는 각의 이등분선이, 상기 제1 적외선 카메라와 상기 제2 적외선 카메라를 연결하는 일직선과 만나는 지점을, 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 시선 인식을 이용한 풀 브라우징 방법은, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계, 상기 인식 및 추적된 사용자의 시선이 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계, 및 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계를 포함한다.
상기 사용자의 시선을 인식하는 단계는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 한다.
상기 인식된 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는지 판단하는 단계는, 인식된 사용자의 시선을 좌표화하는 단계와 상기 사용자의 시선의 좌표 값과 상기 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하는 단계를 포함한 다.
상기 사용자의 시선을 인식하는 단계는, 제1 적외선 카메라와 제2 적외선 카메라를 연결하는 일직선과, 사용자의 눈을 중심으로 하여 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라와 이루는 각의 이등분선이 만나는 지점을 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 한다.
상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 한다.
상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는, 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른, 휴대용 단말기에서의 시선 인식을 이용한 풀 브라우징 방법은, 적외선 카메라를 가지는 휴대용 단말기에서 시선 인식을 이용해 풀 브라우징하는 방법에 있어서, 휴대용 단말기에서 현재 요구되는 디스플레이 환경이 풀 브라우징을 필요로 하는지 판단하는 단계, 상기 판단 결과, 풀 브라우징이 필요하다고 판단되는 경우, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계, 상기 인식 및 추적된 사용자의 시선을 좌표화하는 단계, 상기 좌표화에 의해 좌표값으로 표현된 상기 사용자의 시선이 상기 휴대용 단말기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는지 판단하는 단계, 상기 사용자의 시선이 상기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는 경우, 상기 사용자의 시선이 상기 가상 경계범위를 어느 방향으로 벗어나는지 판단하는 단계, 및 상기 사용자의 시선이 벗어난 방향에 따라 디스플레이부 상에 표시되는 이미지의 위치를 조정하여 디스플레이하는 단계를 포함한다.
본 발명에 따르면, 휴대용 단말기에서 인터넷을 사용하는 사용자는 화면의 터치나 버튼의 조작없이 시선의 이동만으로 편리하게 인터넷을 사용함으로써, 편리하고 빠른 사용자 인터페이스의 개발이 대두되고 있는 시기에 맞춰 기존의 화면터치방식보다 더 편리하게 작은 화면에서 원하는 정보를 찾고 조작 가능하여, 휴대용 단말 사용자의 편의성을 증대시킨다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 휴대용 단말기에서 시선 인식을 이용한 풀 브라우징 방법이 적용되는 모습의 일 실시예를 나타낸다.
도 1에 도시된 휴대용 단말기는 그 전면에 2개의 카메라를 부착하고 있다. 제1 카메라와 제2 카메라는 동일 평면 상에 일정 거리를 두고 위치한다. 도 1의 휴대용 단말기의 디스플레이부에는 가상 경계범위가 표시되어 있다. 본 발명에 따른 가상 경계범위는 사용자의 시선에 따라 디스플레이되는 이미지를 변경하기 위해 설정되는 영역으로, 사용자의 시선이 가상 경계범위를 벗어나게 되면 디스플레이되는 이미지의 중심을 변경하여 표시하기 위함이다.
본 발명은, 휴대용 단말기가 제공하는 스크린에 한번에 전체를 디스플레이할 수 없는 이미지를 디스플레이하는 경우에 특히 더 유효적절하게 사용될 수 있다. 도 1의 왼쪽은, 전체 이미지 중 일부를 먼저 디스플레이한 상태에서, 사용자가 표시된 일부 이미지의 아래쪽 이미지를 보고자 할 때 시선을 화면의 아래쪽에 위치하고 있는 모습을 나타내준다. 이 때의 사용자 시선이 위치하는 좌표는 가상 경계범위를 넘어선 상태이며, 이 상태가 일정 시간이 지속되면, 본 발명에 따른 휴대용 단말기는 사용자의 시선이 위치하고 있는 이미지 좌표를 중심으로 하여 보다 아래쪽 이미지 부분을 화면에 디스플레이하여 도 1의 오른쪽 도면과 같이 표시한다. 즉, 도 1의 왼쪽 도면에 비해, 도 1의 오른쪽 도면의 화면이 전체적으로 위로 이동한 형태를 띠게 된다.
즉, 본 발명은 사용자의 시선을 인식하여 시선의 움직임에 따라 사용자의 요구를 능동적으로 인식하여 디스플레이된 화면을 이동하는 방법을 제시한다. 본 발명에 따른 시선 인식 방법은, 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 렌즈 사이에서 몇 차례의 반사를 일으켜 얻어지는 영상의 위치를 이용하는 이중 푸르킨에 영상 기반 추적기법 알고리즘을 이용하여 사용자의 시선을 인식하고 추적하여, 시선을 디스플레이상에서 좌표화한다. 사용자 안구의 이동에 따라 시선의 좌표값이 디스플레이 상의 가상 경계범위를 넘어서게 되면, 본 발명에 따른 휴대용 단말기는, 사용자가 현재 디스플레이상에 디스플레이된 화면 상의 이미지를 벗어난 외곽의 정보를 보고자 함을 능동적으로 판단하여 사용자의 시선이 중앙에 위치하도록 원하는 정보를 화면의 중앙에 맞추어 디스플레이한다.
도 2는 본 발명에 따른 시선 인식 방법을 설명하기 위한 안구의 구조 및 그에 따른 영상의 이미지를 나타낸다.
사람의 안구는, 도 2에 도시된 바와 같이, 검은 눈동자로 안구를 보호하고 광선을 굴절시키는 각막(Cornea), 홍채의 중앙에 나 있는 구멍인 동공(Pupil), 돋보기 모양의 무색투명한 구조의 굴절기관인 수정체(Lens), 인종이나 개인적 색깔의 차이를 드러내며, 빛의 양을 조절하는 조리개의 역할을 하는 홍채(Iris), 눈에 들어온 빛의 최종도착지로 시신경을 통해 뇌로 신호를 보내는 망막(Retina) 등으로 이루어져 있다.
안구의 구조 및 카메라를 이용하여 시선을 추적하는 방법에는, 카메라를 이용하여 안구를 촬영한 뒤, 여기에서 각종 시선 추적에 필요한 정보를 추출한다. 안구를 이용하여 시선에 대한 정보를 추출하는 방법은, 안구가 향하는 방향을 찾아내는 것에서 출발하며, 이를 위해 안구의 특정점이나 형태를 찾아서 이의 변화로 안구의 방향을 찾아낸다.
이러한 방법들의 구체적인 예로는, 홍채와 동공의 경계를 명확하게 구분할 수 있도록 적외선 카메라를 이용하여 사용자의 시선을 인식하는, 홍채 윤곽선 추적기법(Iris limbus tracking), 동공 추적 기법(Pupil tracking), 각막과 동공의 관계(Cornea/pupil relationship)를 이용하는 기법, 인공 신경망 이용 기법(Artificial neural network), 이중 푸르킨에 영상 기반 시선 추적 기법(Dual Purkinje images) 등을 이용하여 시선을 추적하고 디스플레이상의 좌표를 계산하는 방법들이 있다.
본 발명은 이러한 방법들 가운데, 이중 푸르킨에 영상 기반 시선 추적기법을 사용한다. 도 2를 살펴보면, 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 수정체 사이에서 몇 차례의 반사를 일으키게 되는데, 반사되는 영상은 반사되는 위치에 따라 1차 영상, 2차 영상, 3차 영상, 4차 영상의 4 가지 영샹으로 구분된다. 이 영상을 푸르킨에 영상이라 한다. 본 발명은, 4 가지의 영상 중에서 안구 각막의 안쪽 표면에서 반사되어 들어오는 1차 영상과 수정체의 안쪽 표면에서 반사되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적한다.
도 3은 본 발명의 일 실시예에 따른 이미지 관련 정보 처리 방법이 적용되는 휴대용 단말기의 개략 블록도이다.
본 발명에 따른 휴대용 단말기는, 터치 입력부(310), 키 입력부(320), 카메라 모듈부(330), 마이크(340), 제어부(301), 저장부(360), 디스플레이부(370), 스피커(380), 무선 송수신부(390) 등을 포함한다.
도 3을 참조하면, 터치 입력부(310)는 사용자로부터 적어도 하나의 터치 입력을 받아, 이를 전위차, 커패시턴스, 파장, 또는 IR 광 인터럽트 등의 형태로 변환하고, 상기 변환한 결과를 터치 제어부(351)로 출력한다. 여기서, 터치 입력부(310)는 터치스크린을 포함하며, 터치스크린 이외에 터치 패드를 포함할 수 있다.
제어부(301)는 터치 입력부(310)로부터 소정의 터치 입력에 대한 전위차, 커패시턴스, 파장, 또는 IR 광 인터럽트 등의 형태를 갖는 값을 입력으로 받아, 이를 (X, Y) 등의 좌표값 형태로 변환한다.
키 입력부(320)는 사용자로부터 키 패드(keypad) 상의 키 입력을 받아, 키 입력을 상기 키 입력에 대응하는 키 코드의 형태로 변환하고, 변환한 키 코드를 제어부(301)로 출력한다. 여기서, 키 입력부(320)는 본 발명에 따른 휴대용 단말 장치가 전면 터치 스크린으로 구현되는 경우 생략될 수 있다.
적외선 카메라(330)는 적외선 광원이 사용자의 눈으로 입사될 때, 눈의 각막과 렌즈 사이에서 몇 차례의 반사를 일으켜 얻어지는 영상을 촬영한다. 본 발명에서 적외선 카메라를 사용하는 이유는, 가시광선보다 적외선을 안구에 조사하는 경우 안구 각 부분별 경계면이 더 확실하게 나타나기 때문이다.
적외선 카메라(330)에 의해 촬영된 영상은 아날로그 신호의 형태로 시선 처리부(340)로 제공된다. 시선 처리부(340)는 이용하는 이중 푸르킨에 영상 기반 추적기법 알고리즘을 이용하여 사용자의 시선을 인식하고 추적하여, 시선을 디스플레이상에서 좌표화한 값을 제어부(301)로 출력한다.
제어부(301)는 시선 처리부(340)를 통해 입력된 사용자의 시선의 좌표 값이, 디스플레이 상의 가상 경계범위를 넘어서는지 판단하고, 넘어서는 것으로 판단되면, 사용자가 현재 디스플레이상에 디스플레이된 화면 상의 이미지를 벗어난 외곽의 정보를 보고자 함을 능동적으로 판단하여 사용자의 시선이 중앙에 위치하도록 원하는 정보를 화면의 중앙에 맞추어 디스플레이한다.
제어부(301)는 또한, 키 입력부(320)로부터 키 코드를 입력 받아, 상기 키 코드에 상응하는 문자 입력, 숫자 입력, 영상 처리 장치의 설정 변경, 영상 처리 장치의 설정 표시 및 애플리케이션 실행 중 적어도 하나의 동작을 수행할 수 있다.
마이크(340)는 상기 사용자 및/또는 상기 사용자의 주변 소리를 전기적 신호 형태로 변환하여, 상기 전기적 신호를 제어부(301)로 출력한다.
제어부(301)는 마이크(340)로부터 전기적 신호를 입력 받아, 전기적 신호에 대해 음성 처리를 거쳐서 송신 가능한 전기적 신호로 변환하여, 변환한 결과를 무선 송수신부(390)로 출력할 수 있다.
제어부(301)는 무선 송수신부(390)로부터 상대방의 음성에 대응하는 전기적 신호를 입력 받아, 상기 전기적 신호에 대해 음성 처리를 거쳐서 음성 출력 가능한 전기적 신호로 변환하여, 상기 변환한 결과를 스피커(380)로 출력할 수 있다.
저장부(360)는, 제어부(301)로부터 영상 처리 장치의 설정 정보, 운영체제 실행 정보 및 애플리케이션 실행 정보 중 적어도 하나를 입력 받아 저장하고, 제어부(301)의 요청에 따라 설정 정보, 운영체제 실행 정보 및 애플리케이션 실행 정보 중 적어도 하나를 제어부(301)로 출력한다.
디스플레이부(370)는 제어부(301)로부터 이미지 데이터를 입력 받아 상기 이미지 데이터를 상기 영상 처리 장치의 화면 상에 출력한다. 디스플레이부(370)는 액정 표시 장치(liquid crystal display: LCD) 등과 같은 디스플레이 장치를 이용하여 구현될 수 있다.
스피커(380)는 제어부(301)로부터 전기적 신호를 입력 받아, 상기 전기적 신호를 소리로 변환하여 출력할 수 있다.
무선 송수신부(390)는 제어부(301)로부터 사용자 및/또는 사용자 주변의 소리에 대응하는 송신 가능한 전기적 신호를 입력 받아, 송신 가능한 전기적 신호 를 유선 또는 무선 네트워크를 통하여 상대방 휴대용 단말기로 전송할 수 있다.
무선 송수신부(390)는 상대 단말로부터 유선 또는 무선 네트워크를 통하여 상대방의 음성에 대응하는 전기적 신호를 입력 받아, 상대방의 음성에 대응하는 전기적 신호를 제어부(301)로 출력할 수 있다.
도 4는 본 발명의 일 실시예에 따른 시선 인식을 처리하는 휴대용 단말기의 관련 블록의 상세도이다.
본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법에서는, 적외선 카메라 ADC(Analog-to-Digital Converter, 아날로그-디지털 변환기)를 이용하여 시선정보를 획득, 획득한 시선 정보를 이용해 시선을 인식하고 추적하여 사용자의 요구에 맞도록 화면을 조정하는 부분이 가장 핵심이 된다.
이와 같은 기능을 수행하는 본 발명에 따른 휴대용 단말기의 핵심 블록은, 도 4에 나타난 바와 같은 적외선 카메라(330), ADC(341), 시선 인식 및 추적부(342), 좌표산출부(343), 및 제어부(301)를 들 수 있다. 이 중, ADC(341), 시선 인식 및 추적부(342), 좌표산출부(343)는 시선 처리부(340)에 포함될 수 있다.
적외선 카메라(330)는 사용자의 시선을 인식하고, ADC(341)는 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하는 역할을 수행한다. 시선 인식 및 추적부(342)는 적외선 카메라(330)로부터 제공된 정보를 이용하여 사용자의 시선을 인식하고 추적하며, 좌표 산출부(343)는 사용자의 시선을 좌표화한다. 산출된 좌표 값은 제어부(301)로 출력되는데, 제어부(301)는 산출된 사용자 시선의 좌표 값이 정해진 범위를 넘어서는지 판단하여 휴대용 단말기의 디스플레이부(예를 들어, LCD 화면) 상에 표시되는 이미지가 사용자의 능동적인 요구에 맞도록 조절되어 디스플레이되도록 제어한다.
구체적으로 제어부(301)는 계산된 시선의 좌표 값이 정해진 테두리 임계값을 벗어나게 되면 시선의 좌표가 어느 방향으로 벗어났는지를 판단하여, 위쪽으로 벗어나면 화면을 아래쪽으로, 아래쪽으로 벗어나면 화면을 위쪽으로, 왼쪽으로 벗어나면 화면을 오른쪽으로, 오른쪽으로 벗어나면 화면을 왼쪽으로 이동시켜 사용자가 원하는 정보가 화면의 중앙에 위치하도록 디스플레이부(도 3의 370)를 제어한다.
예를 들어, 사용자의 시선이 가상 경계범위의 윗부분을 벗어나고 가상 경계범위를 벗어난 상태에서 시선이 일정 시간 머물게 되면, 제어부(301)는 화면을 아래로 이동시키고 시선이 화면의 중앙에 맞춰지도록 디스플레이부를 능동적으로 조정한다.
즉, 본 발명을 이용하면 휴대용 단말기에서 무선인터넷을 사용하는 사용자는 버튼의 조작이나 화면의 터치없이 자유롭게 제한된 크기의 LCD 화면에서 일반 PC에서의 인터넷 사용환경과 같은 환경에서 무선인터넷을 사용할 수 있다.
도 5는 본 발명에 따른, 적외선 카메라와 안구 사이의 관계를 이용한 구체적인 시선 인식 동작을 설명하기 위한 개념도이다.
본 발명에 따른 휴대용 단말기는 도 1을 통해서 확인한 바와 같이 2 개의 적외선 카메라를 포함한다. 도 5에는 휴대용 카메라에 부착된 2개의 적외선 카메라(C1, C2)가 일직선 상에 위치하고, 카메라를 바라보는 눈이 위치하고 있을 때, 한쪽 적외선 카메라(C1)로부터 방사된 적외선이 눈의 표면(p)에서 반사되어 다른 쪽 적외선 카메라(C2)로 입사되면 C1, p, C2가 이루는 각의 이등분선이 두 적외선 카메라(C1, C2)를 연결하는 일직선과 만나는 지점(M)이 시선의 위치가 된다.
도 6은 본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법의 동작 순서도를 나타낸다.
즉, 도 6은 사용자의 시선을 인식하고 추적하여 시선의 좌표값이 디스플레이상의 가상 경계 범위를 넘어서는지 판단하고 디스플레이된 화면을 사용자의 요구에 부합하도록 능동적으로 이동시켜 주는 알고리즘의 순서도이다.
먼저, 본 발명에 따른 휴대용 단말기는 그 동작 상태에 따른 디스플레이 환경을 파악한다(S601). 파악된 현재의 사용 환경이 인터넷 서비스, 사진감상 등과 같은 풀 브라우징이 필요한 환경인지를 판단한다(S602). 간단한 메뉴 정도만 디스플레이 하는 등 풀 브라우징이 필요하지 않은 일반적인 디스플레이 환경일 경우 (S602의 아니오)에는, 일반적인 방법으로 디스플레이를 수행한다(S603). 하지만, 풀 브라우징이 필요하다고 판단되는 경우(S602의 예)에는, 현재 사용자의 시선이 머무르는 위치와 관련하여 사용자의 시선을 인식하고 추적한다(S604). 추적된 사용자의 시선에 대해서는 좌표화를 수행하고(S605), 시선의 좌표값이 가상 경계범위를 벗어나는지 판단한다(S606). 좌표값이 가상 경계범위를 벗어나는 경우(606의 예)에 는 가상 경계범위를 어느 방향으로 벗어나는지 판단하고(S607), 벗어난 방향에 따라 디스플레이의 위치를 조정하여 화면에 표시한다(S608). 즉, 시선의 좌표 값이 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 좌표 값이 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시킨다. 또한, 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 사용자가 원하는 정보가 화면의 중앙에 위치하게 된다.
본 발명에 따른 시선인식을 이용한 풀 브라우징 방법은, 디스플레이의 크기가 제한된 이동통신 단말기, 개인 휴대정보 단말기(personal digital assistant: PDA), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP), MP3 플레이어 등과 같은 휴대용 단말기에서 인터넷이나 문서읽기, 사진감상과 같은 작업을 할 때, 편리하게 이용될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명에 따른 휴대용 단말기에서 시선 인식을 이용한 풀 브라우징 방법이 적용되는 모습의 일 실시예를 나타낸 도면.
도 2는 본 발명에 따른 시선 인식 방법을 설명하기 위한 안구의 구조 및 그에 따른 영상의 이미지를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 이미지 관련 정보 처리 방법이 적용되는 휴대용 단말기의 개략 블록도.
도 4는 본 발명의 일 실시예에 따른 시선 인식을 처리하는 휴대용 단말기의 관련 블록의 상세도.
도 5는 본 발명에 따른, 적외선 카메라와 안구 사이의 관계를 이용한 구체적인 시선 인식 동작을 설명하기 위한 개념도.
도 6은 본 발명에 따른 시선 인식을 이용한 풀 브라우징 방법의 동작 순서도.
* 도면의 주요부분에 대한 부호의 설명 *
301 : 제어부 310 : 터치 입력부
320 : 키 입력부 330 : 적외선 카메라
340 : 시선 처리부 341 : ADC
342 : 시선 인식 및 추적부 343 : 좌표 산출부
350 : 마이크 360 : 저장부
370 : 디스플레이부 380 : 스피커
390 : 무선 송수신부

Claims (19)

  1. 이미지 데이터를 디스플레이하는 디스플레이부;
    사용자의 안구를 촬영하여 관련 이미지를 출력하는 적외선 카메라;
    상기 적외선 카메라로부터 입력되는 이미지로부터 사용자의 시선을 인식하고 추적하며, 상기 인식 및 추적된 사용자의 시선을 좌표화하는 시선 처리부; 및
    상기 사용자의 시선의 좌표 값과 상기 디스플레이부의 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위의 외부에 위치하는지 판단하고, 상기 사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어났다고 판단되는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 휴대용 단말기.
  2. 제1항에 있어서,
    상기 시선 처리부는, 이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 하는, 휴대용 단말기.
  3. 제1항에 있어서,
    상기 시선 처리부는,
    사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 하는, 휴대용 단말 기.
  4. 제1항에 있어서,
    상기 시선 처리부는,
    상기 적외선 카메라로부터 제공된 정보를 이용하여 사용자의 시선을 인식하고 추적하는 시선 인식 및 추적부; 와
    상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출부를 포함하는 휴대용 단말기.
  5. 제4항에 있어서,
    상기 시선 처리부는,
    상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하여 상기 시선 인식 및 추적부로 공급하는, 아날로그-디지털 변환부를 더 포함하는, 휴대용 단말기.
  6. 삭제
  7. 제1항에 있어서,
    상기 제어부는,
    상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 하는, 휴대용 단말기.
  8. 제1항에 있어서,
    상기 제어부는,
    사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 하는, 휴대용 단말기.
  9. 제1항에 있어서,
    상기 적외선 카메라는,
    상기 휴대용 단말기 상에 위치하는 제1 카메라; 와
    상기 휴대용 단말기 상에서 상기 제1 카메라와 동일 평면 상에 일정 거리를 두고 위치하는 제2 카메라를 포함하는, 휴대용 단말기.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 제1 카메라로부터 방사된 적외선이 눈의 표면에서 반사되어 상기 제2 카메라로 입사될 때 상기 눈의 표면을 중심으로 한 적외선의 경로가 이루는 각의 이등분선이, 상기 제1 카메라와 상기 제2 카메라를 연결하는 일직선과 만나는 지점을, 사용자의 시선이 위치하는 지점으로 판단하는 것을 특징으로 하는, 휴대용 단말기.
  11. 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계;
    상기 인식 및 추적된 사용자의 시선을 좌표화하는 좌표 산출 단계;
    상기 사용자의 시선의 좌표 값과 디스플레이부의 가상 경계범위의 좌표 값을 비교하여, 상기 사용자의 시선의 좌표 값이 상기 디스플레이부의 가상 경계범위의 외부에 위치하는지 판단하는 단계; 및
    사용자의 시선이 상기 디스플레이부의 가상 경계범위를 벗어나는 경우, 상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계를 포함하는 시선 인식을 이용한 풀 브라우징 방법.
  12. 제11항에 있어서,
    상기 사용자의 시선을 인식 및 추적하는 단계는,
    이중 푸르킨에 영상 기반 추적기법을 이용하여 사용자의 시선을 인식하고 추적하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.
  13. 제11항에 있어서,
    상기 사용자의 시선을 인식 및 추적하는 단계는,
    사용자 안구 각막의 안쪽 표면에서 반사되어 입력되는 1차 영상과 수정체의 안쪽 표면에서 반사되어 입력되는 4차 영상을 이용하여 반사점들의 상대적인 위치를 계산하여 시선의 방향을 도출하고 추적하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.
  14. 삭제
  15. 제11항에 있어서,
    상기 적외선 카메라로부터 출력되는 아날로그 신호를 디지털 신호로 변환하는 단계를 더 포함하는, 시선 인식을 이용한 풀 브라우징 방법.
  16. 삭제
  17. 제11항에 있어서,
    상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는,
    상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 위쪽으로 벗어나면 화면의 중심을 이미지의 아래 쪽으로 이동시키고, 상기 사용자의 시선의 좌표 값이 상기 가상 경계범위를 아래 쪽으로 벗어나면 화면의 중심을 이미지의 보다 위쪽으로 이동시키는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.
  18. 제11항에 있어서,
    상기 디스플레이부 상에 디스플레이 중인 이미지의 중심을 이동하여 디스플레이하는 단계는,
    상기 사용자의 시선의 좌표 값이 가상 경계범위를 왼쪽으로 벗어나면 화면의 중심을 이미지의 오른쪽으로, 사용자의 시선의 좌표 값이 가상 경계범위를 오른쪽으로 벗어나면 화면의 중심을 이미지의 왼쪽으로 이동시켜 디스플레이하는 것을 특징으로 하는, 시선 인식을 이용한 풀 브라우징 방법.
  19. 적외선 카메라를 가지는 휴대용 단말기에서 시선 인식을 이용해 풀 브라우 징하는 방법에 있어서,
    휴대용 단말기에서 현재 요구되는 디스플레이 환경이 풀 브라우징을 필요로 하는지 판단하는 단계;
    상기 판단 결과, 풀 브라우징이 필요하다고 판단되는 경우, 적외선 카메라를 통해 입력되는 신호를 통해, 사용자의 시선을 인식 및 추적하는 단계;
    상기 인식 및 추적된 사용자의 시선을 좌표화하는 단계;
    상기 좌표화에 의해 좌표값으로 표현된 상기 사용자의 시선이 상기 휴대용 단말기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는지 판단하는 단계;
    상기 사용자의 시선이 상기 디스플레이부의 가상 경계범위의 좌표 값을 벗어나는 경우, 상기 사용자의 시선이 상기 가상 경계범위를 어느 방향으로 벗어나는지 판단하는 단계; 및
    상기 사용자의 시선이 벗어난 방향에 따라 디스플레이부 상에 표시되는 이미지의 위치를 조정하여 디스플레이하는 단계를 포함하는, 휴대용 단말기에서의 시선 인식을 이용한 풀 브라우징 방법.
KR1020080066865A 2008-07-10 2008-07-10 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기 KR101004930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080066865A KR101004930B1 (ko) 2008-07-10 2008-07-10 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080066865A KR101004930B1 (ko) 2008-07-10 2008-07-10 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기

Publications (2)

Publication Number Publication Date
KR20100006652A KR20100006652A (ko) 2010-01-21
KR101004930B1 true KR101004930B1 (ko) 2010-12-28

Family

ID=41815754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080066865A KR101004930B1 (ko) 2008-07-10 2008-07-10 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기

Country Status (1)

Country Link
KR (1) KR101004930B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270558B1 (ko) 2012-10-22 2013-06-07 김선욱 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기 및 그 방법
US9019170B2 (en) 2013-03-14 2015-04-28 Lg Electronics Inc. Display device and method for controlling the same

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
KR101655471B1 (ko) * 2010-07-14 2016-09-07 현대자동차주식회사 운전자 시선 감지를 이용한 클러스터 및 클러스터 제어 방법
KR101148508B1 (ko) * 2010-07-16 2012-05-25 한국과학기술원 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
EP2719166B1 (en) 2011-06-10 2018-03-28 Flir Systems, Inc. Line based image processing and flexible memory system
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
CN103748867B (zh) 2011-06-10 2019-01-18 菲力尔系统公司 低功耗和小形状因子红外成像
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR101480594B1 (ko) 2012-12-18 2015-01-08 현대자동차주식회사 시선기반 착신 제어 방법과 이를 위한 이동통신 단말
KR101451894B1 (ko) * 2013-03-08 2014-10-23 충북대학교 산학협력단 스마트폰용 동공반응 검사 장치 및 방법
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20150108216A (ko) 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100749033B1 (ko) * 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100749033B1 (ko) * 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270558B1 (ko) 2012-10-22 2013-06-07 김선욱 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기 및 그 방법
US9019170B2 (en) 2013-03-14 2015-04-28 Lg Electronics Inc. Display device and method for controlling the same

Also Published As

Publication number Publication date
KR20100006652A (ko) 2010-01-21

Similar Documents

Publication Publication Date Title
KR101004930B1 (ko) 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10585288B2 (en) Computer display device mounted on eyeglasses
US11917126B2 (en) Systems and methods for eye tracking in virtual reality and augmented reality applications
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US20130135511A1 (en) Mobile terminal device, storage medium, and display control method
JP2015176588A (ja) 表示装置、画像表示システムおよび情報処理方法
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
JPH09179062A (ja) コンピュータシステム
US8970692B2 (en) Head mount personal computer and interactive system using the same
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US11429200B2 (en) Glasses-type terminal
KR20210100020A (ko) 음성입력장치, 그 제어 방법 및 음성명령에 대응한 처리를 실행하는 기억 매체
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN110291495B (zh) 信息处理系统、信息处理方法及程序
CN105652451A (zh) 一种智能眼镜
JP7031112B1 (ja) 眼鏡型端末
KR102473669B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20190074036A (ko) 후면에 지문인식센서를 구비한 스마트폰의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee