KR100646031B1 - 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기 - Google Patents

눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기 Download PDF

Info

Publication number
KR100646031B1
KR100646031B1 KR1020050098444A KR20050098444A KR100646031B1 KR 100646031 B1 KR100646031 B1 KR 100646031B1 KR 1020050098444 A KR1020050098444 A KR 1020050098444A KR 20050098444 A KR20050098444 A KR 20050098444A KR 100646031 B1 KR100646031 B1 KR 100646031B1
Authority
KR
South Korea
Prior art keywords
pupil
movement
communication terminal
mobile communication
input
Prior art date
Application number
KR1020050098444A
Other languages
English (en)
Inventor
김진식
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020050098444A priority Critical patent/KR100646031B1/ko
Application granted granted Critical
Publication of KR100646031B1 publication Critical patent/KR100646031B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/54—Object oriented software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신 단말기에 관한 것이다.
본 발명은 눈동자 움직임을 포착하고, 포착된 상기 눈동자 움직임에 따라서 이동통신 단말기에 구비된 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기에 있어서, 전화번호를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 상기 눈동자 움직임으로 입력을 제어하는 눈동자 입력 모드로의 전환을 요청하는 키 입력부; 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 동작 상태를 표시하며, 상기 눈동자 움직임에 대응하여 실행되는 각종 애플리케이션을 디스플레이하는 디스플레이부; 실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 상기 눈동자 움직임을 분석하여 입력을 제어하고, 탑재된 상기 각종 애플리케이션을 구동하는 눈동자 움직임 포착 소프트웨어를 탑재하고 있는 프로그램 저장부; 상기 키 입력부에 의해 선택된 현재 동작 모드와 상기 눈동자 움직임 포착 소프트웨어가 구동 중일 경우 상태 플래그(Flag)를 설정하여 저장하는 모드 상태 저장부; 음성 송/수신 및 데이터 송/수신이 원활하게 이루어지도록 전반적인 제어를 하며, 상기 눈동자 움직임 포착 소프트웨어를 구동하고 상기 눈동자 움직임에 대응하여 상기 각종 애플리케이션 구동을 제어하는 마이크로프로세서; 및 피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하고, 상기 눈동자 움직임을 촬 영하는 카메라부를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기를 제공한다.
본 발명에 의하면, 사용자의 눈동자 움직임만으로 이동통신 단말기를 조작하는 것이 가능하기 때문에 사용자가 차량을 운전하거나 신체 부자유한 상태에 있는 경우에도 이동통신 단말기를 조작하여 상대방과 통화를 수행하거나 이동통신 단말기에 구비된 각종 애플리케이션을 무리 없이 조작할 수 있는 효과가 있다.
이동통신 단말기, 카메라, 눈동자, 움직임, 애플리케이션, 입력

Description

눈동자 움직임으로 입력을 제어하는 방법 및 이동통신 단말기{Method and Mobile Telecommunication Terminal for Controlling Input by Using The Movement of Pupil}
도 1은 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 이동통신 단말기의 구성을 간단히 나타낸 도면,
도 2는 본 발명의 바람직한 실시예에 따른 눈동자 움직임 포착 소프트웨어를 구동한 상태에서 디스플레이부를 격자형태의 셀로 분할하는 과정을 예시적으로 나타낸 도면,
도 3은 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 과정을 예시적으로 나타낸 도면,
도 4는 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 과정을 나타낸 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 키 입력부 102: 디스플레이부
104: 프로그램 저장부 106: 모드 상태 저장부
108: 카메라부 110: 카메라 모듈
112: 카메라 콘트롤 프로세서 114: 마이크로프로세서
116: 디지털 신호 처리부 118: 베이스 밴드 변환부
120: RF 신호 처리부 122: 안테나
124: 스피커 126: 마이크로폰
200, 300: 사용자의 눈동자 움직임 202: 격자형태의 셀
302: 특정 부분
본 발명은 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신 단말기에 관한 것이다. 더욱 상세하게는 두 손이 부자유한 상태에서 이동통신 단말기를 조작해야 하는 경우 카메라부를 구비한 이동통신 단말기에 눈동자를 갖다대면 이동통신 단말기가 눈동자 움직임을 포착하고, 포착된 눈동자 움직임에 따라서 이동통신 단말기에 구비된 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신 단말기에 관한 것이다.
인터넷 및 이동통신으로 대표되는 정보통신 기술은 현대인의 생활 패턴을 바꾸어놓고 있다. 거의 모든 가정, 학교 및 사무실에 인터넷이 가능한 개인용 컴퓨터가 보급되어 웹 사이트를 이용한 정보 습득, 전자 상거래를 이용한 상품 구매, E-mail을 이용한 소식의 교환 등이 이루어지고 있다. 불과 몇 년 전만 하더라도 사람들이 이동통신 단말기를 사용하여 음성 통화 위주의 이동통신 서비스만 이용할 수 있었다. 하지만, 최근에는 이동통신 단말기에도 인터넷을 이용한 데이터 통신 서비 스를 제공받을 수 있는 무선 인터넷 서비스가 등장하게 되었다.
이처럼, 이동통신 서비스가 발전함에 따라서 이동통신 단말기도 초기의 음성 통화 위주의 휴대 전화 개념에서 벗어나 캠코더, 카메라 및 MP3 플레이어 등의 다양한 부가 기능을 구비한 이동통신 단말기로 진화하게 되었다. 이동통신 단말기에 다양한 기능이 포함되면서, 이동통신 단말기의 디스플레이 장치도 흑백 디스플레이 장치에서 컬러 디스플레이 장치로 발전하게 되었다. 일반적으로 이동통신 단말기의 디스플레이 장치는 이동통신 단말기의 각종 상태 정보, 예를 들어 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간 등의 정보를 사용자에게 알려주기 위해 존재한다.
종래에는 이동통신 단말기를 조작하기 위해서 두 손을 사용해야 했다. 예를 들어 상대방과 통화를 수행하기 위해서는 이동통신 단말기에 구비된 키 버튼을 수동으로 조작하여 전화번호를 입력하고, 통화 버튼을 조작해야지만 상대방과 통화를 개시할 수 있었으며, 문자를 입력하거나 이동통신 단말기에 구비된 각종 애플리케이션(예를 들어 게임 실행, MP3 플레이어 실행, 카메라 촬영 등)을 실행하고자 하는 경우에도 마찬가지로 이동통신 단말기에 구비된 키 버튼을 수동으로 조작해야 했다. 이와 같이 종래의 이동통신 단말기 조작 과정에 따르면 사용자가 차량에 탑승하여 운전을 해야 도중에 이동통신 단말기를 수동으로 조작하는 과정에서 차량 사고를 유발하는 문제점이 있다. 또한, 사용자가 신체 부자유한 상태에 있는 경우에는 이동통신 단말기를 전혀 조작할 수 없는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 두 손이 부자유한 상태에서 이동통신 단말기를 조작해야 하는 경우 카메라부를 구비한 이동통신 단말기에 눈동자를 갖다대면 이동통신 단말기가 눈동자 움직임을 포착하여 이동통신 단말기에 구비된 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신 단말기를 제공하는 데 그 목적이 있다.
따라서, 본 발명의 제 1 목적에 의하면, 눈동자 움직임을 포착하고, 포착된 상기 눈동자 움직임에 따라서 이동통신 단말기에 구비된 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기에 있어서, 전화번호를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 상기 눈동자 움직임으로 입력을 제어하는 눈동자 입력 모드로의 전환을 요청하는 키 입력부; 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 동작 상태를 표시하며, 상기 눈동자 움직임에 대응하여 실행되는 각종 애플리케이션을 디스플레이하는 디스플레이부; 실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 상기 눈동자 움직임을 분석하여 입력을 제어하고, 탑재된 상기 각종 애플리케이션을 구동하는 눈동자 움직임 포착 소프트웨어를 탑재하고 있는 프로그램 저장부; 상기 키 입력부에 의해 선택된 현재 동작 모드와 상기 눈동자 움직임 포착 소프트웨어가 구동 중일 경우 상태 플래그(Flag)를 설정하여 저장하는 모드 상태 저장부; 음성 송/수신 및 데이터 송/수신이 원활하게 이루어지도록 전반적인 제어를 하며, 상기 눈동자 움직임 포착 소프트웨어를 구동하고 상기 눈동자 움직임에 대응하여 상기 각종 애플리케이션 구동을 제어하는 마이크로프로세서; 및 피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하고, 상기 눈동자 움직임을 촬영하는 카메라부를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기를 제공한다.
또한, 본 발명의 제 2 목적에 의하면, 전화번호를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 눈동자 움직임으로 입력을 제어하는 눈동자 입력 모드로의 전환을 요청하는 키 입력부와, 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 동작 상태를 표시하며, 상기 눈동자 움직임에 대응하여 실행되는 각종 애플리케이션을 디스플레이하는 디스플레이부와, 실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 상기 눈동자 움직임을 분석하여 입력을 제어하고, 탑재된 상기 각종 애플리케이션을 구동하는 눈동자 움직임 포착 소프트웨어를 탑재하고 있는 프로그램 저장부와, 상기 키 입력부에 의해 선택된 현재 동작 모드와 상기 눈동자 움직임 포착 소프트웨어가 구동 중일 경우 상태 플래그(Flag)를 설정하여 저장하는 모드 상태 저장부와, 음성 송/수신 및 데이터 송/수신이 원활하게 이루어지도록 전반적인 제어를 하며, 상기 눈동자 움직임 포착 소프트웨어를 구동하고 상기 눈동자 움직임에 대응하여 상기 각종 애플리케이션 구동을 제어하는 마이크로프로세서와, 피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하고, 상기 눈동자 움직임을 촬영하는 카메라부를 포함하는 이동통신 단말기에서, 상기 눈동자 움직임을 포착하고, 포착된 상기 눈동자 움직임에 따라서 상기 이동통신 단말기에 구비된 상기 각 종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 방법에 있어서, (a) 상기 눈동자 입력 모드로의 전환을 요청받는 단계; (b) 구비된 상기 카메라부를 구동하여 상기 눈동자 움직임을 촬영하는 단계; 및 (c) 상기 눈동자 움직임에 대응하는 상기 각종 애플리케이션을 구동하는 단계를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법을 제공한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 이동통신 단말기의 구성을 간단히 나타낸 도면이다.
본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 이동통신 단말기의 내부 구성은 키 입력부(100), 디스플레이부(102), 프로그램 저장부(104), 모드 상태 저장부(106), 카메라부(108), 마이크로프로세서(114), 디지털 신호 처리부(116), 베이스 밴드 변환부(118), RF 신호 처리부(120), 안테나(122), 스피커(124) 및 마이크로폰(126) 등을 포함한다.
본 발명의 주요 특징을 간략히 설명하면 다음과 같다. 사용자가 키 입력부(100)를 조작하여 프로그램 저장부(104)에 탑재된 눈동자 움직임 포착 소프트웨어 를 구동하면, 이동통신 단말기의 카메라부(108)가 활성화되어 사용자의 눈동자 움직임을 포착하는 상태로 돌입하게 된다. 여기서, 사용자는 이동통신 단말기의 디스플레이부(102)를 응시하고 있는 상태를 전제한다. 눈동자 움직임 포착 소프트웨어는 디스플레이부(102)의 화면을 격자형태의 셀로 분할하고, 분할된 격자형태의 셀에 카메라부(108)에서 촬영한 눈동자 움직임을 일 대 일로 대응하게 된다. 이 과정에서 눈동자 움직임 포착 소프트웨어는 촬영된 눈동자 움직임이 수 초 동안 한 지점의 셀을 응시할 경우 해당 셀에 정의된 애플리케이션을 구동하게 된다. 아울러 눈동자 움직임 포착 소프트웨어는 사용자가 디스플레이부(102)를 바라보지 않고 키 입력부(100)를 응시할 경우 응시한 키 입력부(100)의 위치를 연산하여 해당하는 키 입력부(100)의 기능을 활성화하게 된다. 따라서 사용자는 눈동자 움직임 포착 소프트웨어를 구동한 상태에서 전화번호를 입력하거나, 각종 애플리케이션을 구동할 수 있게 된다. 또한, 본 발명은 눈동자 움직임을 이용하여 각종 애플리케이션 구동을 제어할 뿐만 아니라 눈동자를 감는 동작도 포착하여 각종 애플리케이션의 구동을 제어할 수도 있다.
이동통신 단말기는 인터넷 접속 프로토콜인 무선 애플리케이션 프로토콜(Wireless Application Protocol), HTTP 프로토콜을 사용하는 HTML에 기반한 MIE(Microsoft Internet Explorer), 핸드헬드 디바이스 트랜스포트 프로토콜( Handheld Device Transport Protocol), NTT DOCOMO사의 'i-Mode' 또는 SK 텔레콤사의 'NATE' 등과 같은 무선 인터넷 접속용 브라우저를 이용하여 이동통신망을 경유하여 인터넷에 접속할 수 있다. 이동통신 단말기에서 사용하는 인터넷 접속 프로토 콜 중에서, MIE는 HTML을 약간 변형시켜 축약하는 m-HTML을 사용하고, i-Mode의 경우에는 HTML의 서브세트인 콤팩트 HTML(c-HTML)이라는 언어를 사용한다.
키 입력부(100)는 전화번호 등의 숫자를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 눈동자 움직임 포착 소프트웨어를 구동하고, 카메라부(108)를 구동하여 피사체를 촬영할 수 있는 특수키를 구비하고 있다. 본 발명에서 사용자는 이동통신 단말기에 구비된 키 입력부(100)를 조작하여 눈동자 움직임 포착 소프트웨어를 구동하고, 구동된 눈동자 움직임 포착 소프트웨어를 이용하여 각종 애플리케이션을 구동한다.
디스플레이부(102)는 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 이동통신 단말기의 동작 상태를 디스플레이하며, 눈동자 움직임 포착 소프트웨어를 구동한 상태에서 디스플레이부(102)의 화면을 격자형태의 셀로 분할한다.
프로그램 저장부(104)는 EEPROM(Electrically Erasable Programmable Read Only Memory), 플래시 메모리(Flash Memory), RAM(Random Access Memory) 등을 포함하여 구성된다. 플래시 메모리에는 실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 눈동자 움직임 포착 소프트웨어 등이 저장되어 있고, 이들 소프트웨어는 RAM으로 로딩 되어 구동된다.
여기서, 눈동자 움직임 포착 소프트웨어는 WIPI(Wireless Internet Platform for Interoperability) 또는 퀄컴사의 BREW 애플리케이션으로 개발/제공되며, 디스플레이부(102)의 화면을 격자형태의 셀로 분할하는 기능, 카메라부(108)를 통해 사 용자의 눈동자 움직임을 실시간으로 촬영하여 저장하는 기능, 촬영된 사용자의 눈동자 움직임을 분석하여 눈동자 움직임이 응시하는 셀에 정의된 각종 애플리케이션을 구동하는 기능 등을 수행하는 소프트웨어를 의미한다.
모드 상태 저장부(106)는 키 입력부(100)에 의해 선택된 이동통신 단말기의 현재 동작 모드를 상태 플래그(Flag)(예컨대, 0, 1, 2, ...)로 저장한다. 즉, 마이크로프로세서(114)는 이동통신 단말기의 대기 모드, 발신 모드, 검색 모드, 통화 모드, 일반 착신 모드, 눈동자 움직임 포착 소프트웨어 이용 모드 등을 구분하기 위해 각각의 모드마다 고유한 상태 플래그를 할당하여 모드 상태 저장부(106)를 갱신한다. 즉, 사용자가 이동통신 단말기에 구비된 키 입력부(100)를 조작하여 눈동자 움직임 포착 소프트웨어를 구동하면, 모드 상태 저장부(106)는 이동통신 단말기의 현재 상태를 눈동자 움직임 포착 소프트웨어 이용 모드로 구분하고, 고유한 상태 플래그를 마이크로프로세서(114)로 전달한다.
카메라부(108)는 피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하는 장치를 의미하며, 카메라 모듈(110)과 카메라 모듈(110)의 동작을 제어하는 카메라 콘트롤 프로세서(112)를 포함한다. 카메라 모듈(110)은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 타입의 촬상 소자를 포함하여 구성되며, 카메라 콘트롤 프로세서(Camera Control Processor)(112)는 일종의 중앙처리장치로 카메라 모듈(110)의 전반적인 동작, 예를 들어 줌(Zoom) 기능, 플래시(Flash) 기능, 정지영상 촬영, 동영상 촬영 등의 기능을 제어한다. 아울러, 눈동자 움직임 포착 소프트웨어가 구동된 상태에서 카메라 부(108)는 사용자의 눈동자 움직임을 실시간으로 촬영한다.
마이크로프로세서(114)는 이동통신 단말기에서의 음성 송/수신 및 데이터 송/수신과 관련된 전반적인 작동 과정을 제어한다. 또한, 마이크로프로세서(114)는 눈동자 움직임 포착 소프트웨어를 구동하여 카메라부(108)를 통해 촬영된 사용자의 눈동자 움직임을 분석하여 그에 대응하는 각종 애플리케이션을 실행하는 과정을 제어한다.
디지털 신호 처리부(Digital Signal Processor)(116)는 음성 신호를 코딩 또는 디코딩하고 다중 경로 잡음 제거를 위한 이퀄라이저(Equalizer)로서 기능하며, 음향 데이터 처리 기능, 무선 인터넷을 이용하는 과정에서 다운로드하는 영상 데이터에 대한 디코딩 기능 등을 수행하는 디지털 신호 처리 프로세서를 의미한다. 또한, 디지털 신호 처리부(116)는 베이스 밴드 변환부(118)와 음성 데이터(Speech Data)를 주고받으며, 베이스 밴드 변환부(118)로부터 디지털 데이터(RX DATA)를 수신한다.
베이스 밴드 변환부(118)는 디지털 신호 처리부(116), RF 신호 처리부(120), 스피커(124) 및 마이크로폰(126) 사이에 송/수신되는 신호를 베이스 밴드 대역의 신호로 변환하며, 디지털 아날로그 변환(Digital to Analog Conversion) 및 아날로그 디지털 변환(Analog to Digital Conversion) 등의 기능을 수행한다. 베이스 밴드 변환부(118)는 전송 데이터(TXIQ)를 RF 신호 처리부(120)로 전달하며, RF 신호 처리부(120)의 전력을 제어하거나, 그 이득을 자동으로 제어한다. 그리고 RF 신호 처리부(120)로부터 수신 신호(RFIQ)를 전달받는다.
RF 신호 처리부(120)는 안테나(122)로부터 수신한 RF 신호를 복조 및 증폭하고, 베이스 밴드 변환부(118)로부터 인가되는 전송 신호를 변조하여 전파 공간으로 송출한다. 스피커(124)는 베이스 밴드 변환부(118)로부터 전달되는 음향 데이터를 가청음으로 출력하고, 마이크로폰(126)은 사용자의 음성 입력을 전기적인 신호로 변환한다.
한편, 본 발명의 바람직한 실시예에 따른 이동통신 단말기는 PDA(Personal Digital Assistant), 셀룰러 폰, PCS(Personal Communication Service) 폰, GSM(Global System for Mobile) 폰, W-CDMA(Wideband CDMA) 폰, CDMA-2000 폰, MBS(Mobile Broadband System) 폰 등을 포함한다. 여기서, MBS 폰은 현재 논의되고 있는 제 4세대 시스템에서 사용될 핸드폰을 말한다.
도 2는 본 발명의 바람직한 실시예에 따른 눈동자 움직임 포착 소프트웨어를 구동한 상태에서 디스플레이부를 격자형태의 셀로 분할하는 과정을 예시적으로 나타낸 도면이다.
사용자가 키 입력부(102)를 조작하여 프로그램 저장부(104)에 탑재된 눈동자 움직임 포착 소프트웨어를 구동하게 되면, 눈동자 움직임 포착 소프트웨어는 디스플레이부(102)의 화면을 도 2에 도시된 바와 같이 격자형태의 셀(202)로 분할하게 된다. 격자형태의 셀(202)로 분할된 상태에서 눈동자 움직임 포착 소프트웨어는 카메라부(108)를 통해서 실시간으로 사용자의 눈동자 움직임(200)을 촬영하여 사용자의 눈동자 움직임(2000)이 격자형태의 셀(202)의 어느 부분을 응시하고 있는지를 분석하게 된다.
도 3은 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 과정을 예시적으로 나타낸 도면이다.
눈동자 움직임 포착 소프트웨어는 격자형태의 셀(302)로 분할한 디스플레이부(102)의 화면에 각종 애플리케이션의 메뉴 항목에 대응하게 된다. 사용자가 격자형태로 분할된 디스플레이부(102)의 화면에서 특정 부분(예를 들어 3열 부분)(302)을 수초 간 응시한다고 가정하면, 눈동자 움직임 포착 소프트웨어는 카메라부(108)에서 촬영한 사용자의 눈동자 움직임(300)이 어느 부분을 응시하고 있는지를 분석하고, 해당 특정 부분(302)에 위치한 각종 애플리케이션을 구동하게 된다.
도 4는 본 발명의 바람직한 실시예에 따른 눈동자 움직임으로 입력을 제어하는 과정을 나타낸 순서도이다.
후술하는 과정에서 설명의 편의상 눈동자 움직임 포착 소프트웨어를 구동한 상태를 '눈동자 입력 모드'라고 정의한다.
사용자가 이동통신 단말기에 구비된 키 입력부(100)를 조작하여 프로그램 저장부(104)에 탑재된 눈동자 움직임 포착 소프트웨어를 구동을 요청하면 이동통신 단말기는 눈동자 입력 모드로 전환하게 된다(S400). 여기서, 눈동자 움직임 포착 소프트웨어는 이동통신 단말기의 디스플레이부(102)의 화면을 격자형태의 셀로 분할하게 된다.
눈동자 입력 모드로 전환된 상태에서 이동통신 단말기의 카메라부(108)는 사용자의 눈동자 움직임을 모니터링하게 된다(S402). 사용자가 디스플레이부(102)의 특정 부분을 수초 간 응시하게 되면, 이동통신 단말기의 카메라부(108)는 줌 인으 로 사용자의 눈동자 움직임을 촬영하여 저장하게 된다(S404).
단계 S404 이후 눈동자 움직임 포착 소프트웨어는 촬영된 사용자의 눈동자 움직임이 격자형태의 셀로 분할된 디스플레이부(102)의 어느 부분을 응시하고 있는지를 분석하게 된다(S406). 촬영하여 저장된 사용자의 눈동자 움직임이 분할된 격자형태의 디스플레이부(102)와 일치하는지를 파악한다(S408). 단계 S408에서 사용자의 눈동자 움직임이 분할된 격자형태의 디스플레이부(102)와 일치하다고 파악되는 경우, 격자 위치에 해당하는 애플리케이션을 구동하게 된다(S410).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 사용자의 눈동자 움직임만으로 이동통신 단말기를 조작하는 것이 가능하기 때문에 사용자가 차량을 운전하거나 신체 부자유한 상태에 있는 경우에도 이동통신 단말기를 조작하여 상대방과 통화를 수행하거나 이동통신 단말기에 구비된 각종 애플리케이션을 무리 없이 조작할 수 있는 효과가 있다.

Claims (10)

  1. 눈동자 움직임을 포착하고, 포착된 상기 눈동자 움직임에 따라서 이동통신 단말기에 구비된 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기에 있어서,
    전화번호를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 상기 눈동자 움직임으로 입력을 제어하는 눈동자 입력 모드로의 전환을 요청하는 키 입력부;
    전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 동작 상태를 표시하며, 상기 눈동자 움직임에 대응하여 실행되는 각종 애플리케이션을 디스플레이하는 디스플레이부;
    실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 상기 눈동자 움직임을 분석하여 입력을 제어하고, 탑재된 상기 각종 애플리케이션을 구동하는 눈동자 움직임 포착 소프트웨어를 탑재하고 있는 프로그램 저장부;
    상기 키 입력부에 의해 선택된 현재 동작 모드와 상기 눈동자 움직임 포착 소프트웨어가 구동 중일 경우 상태 플래그(Flag)를 설정하여 저장하는 모드 상태 저장부;
    음성 송/수신 및 데이터 송/수신이 원활하게 이루어지도록 전반적인 제어를 하며, 상기 눈동자 움직임 포착 소프트웨어를 구동하고 상기 눈동자 움직임에 대응 하여 상기 각종 애플리케이션 구동을 제어하는 마이크로프로세서; 및
    피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하고, 상기 눈동자 움직임을 촬영하는 카메라부
    를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기.
  2. 제 1 항에 있어서,
    상기 눈동자 움직임 포착 소프트웨어는 WIPI(Wireless Internet Platform for Interoperability) 또는 퀄컴사의 BREW 애플리케이션으로 개발/제공되며, 상기 디스플레이부의 화면을 격자형태의 셀로 분할하는 기능, 상기 카메라부를 통해 상기 눈동자 움직임을 실시간으로 촬영하여 저장하는 기능, 촬영된 상기 눈동자 움직임을 분석하여 상기 눈동자 움직임이 응시하는 셀에 정의된 각종 애플리케이션을 구동하는 기능을 포함하여 수행하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기.
  3. 제 1 항에 있어서,
    상기 이동통신 단말기는 상기 눈동자 입력 모드로 전환되면 상기 카메라부를 구동하여 상기 눈동자 움직임을 실시간으로 촬영하며, 상기 눈동자 움직임이 상기 디스플레이부의 특정 부분을 일정 시간 응시할 경우, 상기 특정 부분에 디스플레이된 상기 각종 애플리케이션 구동을 실행하는 것을 특징으로 하는 눈동자 움직임으 로 입력을 제어하는 이동통신 단말기.
  4. 제 1 항에 있어서,
    상기 이동통신 단말기는 상기 카메라부를 구동하여 줌 인으로 상기 눈동자 움직임을 촬영하여 저장하고, 사전에 미리 저장된 데이터와 촬영된 상기 눈동자 움직임을 비교하여 현재 위치를 파악하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기.
  5. 제 1 항에 있어서,
    상기 이동통신 단말기는 눈을 감는 동작을 수행하는 것을 상기 카메라부를 통해 감지하며, 상기 눈을 감는 동작을 수행할 경우 다음 페이지로 넘어가는 기능을 수행하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 이동통신 단말기.
  6. 전화번호를 입력하기 위한 숫자 키를 비롯하여 문자 입력을 위한 버튼과 눈동자 움직임으로 입력을 제어하는 눈동자 입력 모드로의 전환을 요청하는 키 입력부와, 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 동작 상태를 표시하며, 상기 눈동자 움직임에 대응하여 실행되는 각종 애플리케이션을 디스플레이하는 디스플레이부와, 실시간 처리 운영체제(Real Time Operating System), 이동통신 단말기 호(Call) 처리 S/W, 상기 눈동자 움직임을 분석하여 입력을 제어하고, 탑재된 상기 각종 애플리케이션을 구동하는 눈동자 움직임 포착 소프트웨어를 탑재하고 있는 프로그램 저장부와, 상기 키 입력부에 의해 선택된 현재 동작 모드와 상기 눈동자 움직임 포착 소프트웨어가 구동 중일 경우 상태 플래그(Flag)를 설정하여 저장하는 모드 상태 저장부와, 음성 송/수신 및 데이터 송/수신이 원활하게 이루어지도록 전반적인 제어를 하며, 상기 눈동자 움직임 포착 소프트웨어를 구동하고 상기 눈동자 움직임에 대응하여 상기 각종 애플리케이션 구동을 제어하는 마이크로프로세서와, 피사체를 촬영하여 정지영상 및/또는 동영상을 포함하는 영상 데이터를 생성하고, 상기 눈동자 움직임을 촬영하는 카메라부를 포함하는 이동통신 단말기에서, 상기 눈동자 움직임을 포착하고, 포착된 상기 눈동자 움직임에 따라서 상기 이동통신 단말기에 구비된 상기 각종 애플리케이션을 제어하도록 하는 눈동자 움직임으로 입력을 제어하는 방법에 있어서,
    (a) 상기 눈동자 입력 모드로의 전환을 요청받는 단계;
    (b) 구비된 상기 카메라부를 구동하여 상기 눈동자 움직임을 촬영하는 단계; 및
    (c) 상기 눈동자 움직임에 대응하는 상기 각종 애플리케이션을 구동하는 단계
    를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법.
  7. 제 6 항에 있어서, 상기 단계 (a)는
    (a1) 상기 프로그램 저장부에 탑재된 상기 눈동자 움직임 포착 소프트웨어를 구동하는 단계;
    (a2) 상기 디스플레이부의 화면을 격자형태의 셀로 분할하는 단계; 및
    (a3) 상기 단계 (a2)에서 상기 격자형태의 셀로 분할된 상기 화면을 상기 각종 애플리케이션의 메뉴 항목에 일치시키는 단계
    를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법.
  8. 제 6 항에 있어서, 상기 단계 (b)는
    (b1) 상기 눈동자 움직임을 줌 인으로 촬영하는 단계; 및
    (b2) 사전에 저장된 데이터와 상기 단계 (a1)에서 촬영된 상기 눈동자 움직임을 비교하여 상기 눈동자 움직임이 응시하는 부분을 분석하는 단계
    를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법.
  9. 제 6 항에 있어서, 상기 단계 (c)는
    (c1) 상기 눈동자 움직임이 일정 시간 특정 부분을 응시하고 있는지를 모니터링하는 단계; 및
    (c2) 상기 눈동자 움직임이 응시하는 부분에 위치한 상기 각종 애플리케이션을 구동하는 단계
    를 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법.
  10. 제 6 항에 있어서, 상기 방법은
    (d) 상기 눈동자 움직임 이외에 눈동자를 감는 동작도 포착하여 상기 각종 애플리케이션의 구동을 제어하는 단계를 추가로 포함하는 것을 특징으로 하는 눈동자 움직임으로 입력을 제어하는 방법.
KR1020050098444A 2005-10-19 2005-10-19 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기 KR100646031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050098444A KR100646031B1 (ko) 2005-10-19 2005-10-19 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050098444A KR100646031B1 (ko) 2005-10-19 2005-10-19 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기

Publications (1)

Publication Number Publication Date
KR100646031B1 true KR100646031B1 (ko) 2006-11-14

Family

ID=37654636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050098444A KR100646031B1 (ko) 2005-10-19 2005-10-19 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기

Country Status (1)

Country Link
KR (1) KR100646031B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010056015A3 (ko) * 2008-11-17 2010-08-05 Jeon Byong-Hoon 눈글인식 응급구난 시스템 및 방법
KR101247428B1 (ko) * 2011-07-08 2013-03-25 한국과학기술원 원격 제어 단말 및 원격 제어 시스템
KR101439190B1 (ko) 2012-11-30 2014-09-12 한국과학기술원 이미지 처리 기반의 모바일 기기 구동 방법, 모바일 기기의 이미지 처리 방법 및 이를 이용하는 모바일 기기
WO2015010438A1 (zh) * 2013-07-23 2015-01-29 深圳市赛格导航科技股份有限公司 一种车载终端眼球识别自动拨号系统及方法
KR101490097B1 (ko) * 2013-05-23 2015-02-05 주식회사 코아리버 통신 단말의 제어 방법 및 장치
US9277380B2 (en) 2012-12-18 2016-03-01 Hyundi Motor Company Method for controlling call termination based on gaze, and mobile communication terminal therefor
US9465989B2 (en) 2012-11-27 2016-10-11 Hyundai Motor Company User authentication apparatus and method using movement of pupil

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010056015A3 (ko) * 2008-11-17 2010-08-05 Jeon Byong-Hoon 눈글인식 응급구난 시스템 및 방법
KR100995885B1 (ko) 2008-11-17 2010-11-23 휴잇테크놀러지스 주식회사 눈글인식 응급구난 시스템 및 방법
KR101247428B1 (ko) * 2011-07-08 2013-03-25 한국과학기술원 원격 제어 단말 및 원격 제어 시스템
US9465989B2 (en) 2012-11-27 2016-10-11 Hyundai Motor Company User authentication apparatus and method using movement of pupil
KR101439190B1 (ko) 2012-11-30 2014-09-12 한국과학기술원 이미지 처리 기반의 모바일 기기 구동 방법, 모바일 기기의 이미지 처리 방법 및 이를 이용하는 모바일 기기
US9277380B2 (en) 2012-12-18 2016-03-01 Hyundi Motor Company Method for controlling call termination based on gaze, and mobile communication terminal therefor
KR101490097B1 (ko) * 2013-05-23 2015-02-05 주식회사 코아리버 통신 단말의 제어 방법 및 장치
WO2015010438A1 (zh) * 2013-07-23 2015-01-29 深圳市赛格导航科技股份有限公司 一种车载终端眼球识别自动拨号系统及方法

Similar Documents

Publication Publication Date Title
EP2364000B1 (en) Method for controlling a camera mode in a portable terminal
KR100646031B1 (ko) 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기
US20060105801A1 (en) Apparatus and method for automatically changing communication mode in mobile communication terminal
US20080212753A1 (en) Terminal apparatus, call switching method, and recording medium having stored therein call switching program
US20100157014A1 (en) Method for storing data of video telephony call in mobile terminal and system thereof
CN108197554B (zh) 一种摄像头启动方法、移动终端和计算机可读存储介质
CN111491297A (zh) 一种控制智能家居设备连网的方法及设备
US20140179232A1 (en) Communication system for establishing a wireless connection between two devices based on the permission status
CN106792937A (zh) 呼叫请求的处理方法及装置
JP2007312039A (ja) Ｔｖ電話機能付き携帯端末
JP2011527131A (ja) 分散型携帯電話装置
CN109711830B (zh) 二维码支付的快捷显示方法及装置、移动终端及存储介质
EP1732321A2 (en) Foldable wireless terminal for performing video communication and corresponding method
KR100594122B1 (ko) 무선 인터넷 서비스 제공 시스템 및 방법
CN110933773B (zh) 链路监测方法及装置
CN105072245B (zh) 网络服务提供方法及装置
US20060293070A1 (en) Mobile terminal and method for processing messages apparatus
KR100584390B1 (ko) 이동 통신 단말기의 카메라 기능 수행 방법
CN111800836B (zh) 一种通信方法、装置、电子设备及存储介质
KR20110056638A (ko) 휴대용 단말기에서 통화 모드를 변경하기 위한 장치 및 방법
CN112887195B (zh) 语音呼叫方法、语音呼叫设备及计算机可读存储介质
KR100678130B1 (ko) 휴대단말기의 통화수행 방법
CN112910892A (zh) 播放呼叫保持音视频信号的方法及终端
KR101002864B1 (ko) 슬라이드용 휴대 단말기에서 사용모드 제어방법
KR20070076029A (ko) 휴대단말기의 메시지 전송방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141031

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 14