KR20150041233A - 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법 - Google Patents

게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법 Download PDF

Info

Publication number
KR20150041233A
KR20150041233A KR20130118894A KR20130118894A KR20150041233A KR 20150041233 A KR20150041233 A KR 20150041233A KR 20130118894 A KR20130118894 A KR 20130118894A KR 20130118894 A KR20130118894 A KR 20130118894A KR 20150041233 A KR20150041233 A KR 20150041233A
Authority
KR
South Korea
Prior art keywords
execution
information
execution menu
eye
menu
Prior art date
Application number
KR20130118894A
Other languages
English (en)
Other versions
KR101685430B1 (ko
Inventor
박성기
김동환
채희제
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130118894A priority Critical patent/KR101685430B1/ko
Publication of KR20150041233A publication Critical patent/KR20150041233A/ko
Application granted granted Critical
Publication of KR101685430B1 publication Critical patent/KR101685430B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시선과 스마트 안경간 다양한 동작을 실행시킬 수 있는 스마트 안경 인터페이스 시스템 및 방법이 개시된다. 이를 위해 본 발명은 다수의 시선 방향 중 적어도 2개 이상의 조합된 시선 방향을 감지하여 시선 조합 정보를 생성하고, 눈의 깜박임 정도를 감지하여 눈 깜박임 정보를 생성하는 시선 감지 센서부; 다수의 프로그램화된 실행 메뉴를 안경 화면에 표시하는 안경 화면부; 및 상기 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기를 동작시키거나 상기 실행 메뉴의 이동, 선택과 취소를 실행시키는 프로세서부를 포함한다.
이에, 본 발명은 정확성이 뛰어나 리모콘 조작이 없이도 다양한 형태의 전자기기와 실행 메뉴를 동작시킬 수 있고, 시선의 인식 오차를 줄일 수 있다.

Description

게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법{SMART GLASS INTERFACE SYSTEM AND METHOD USING GAZE GESTURE}
본 발명은 스마트 안경 인터페이스 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 시선과 스마트 안경간 다양한 동작을 실행시킬 수 있는 스마트 안경 인터페이스 시스템 및 방법에 관한 것이다.
최근에는, 정보화 및 무선 인터페이스 기술이 발전함에 따라 사용자 편의적인 다양한 형태의 전자기기가 등장하고 있다. 대표적인 전자기기로서 스마트 안경을 들 수 있다.
상기 스마트 안경은 사용자가 원하는 정보를 실시간으로 보여는 안경. 인터넷 연결이 가능하고, 마이크나 카메라가 탑재되어 사용자가 원하는 정보를 제공해 준다. 예를 들어 하늘을 보면 일기 예보가, 벽을 바라보면 친구와의 약속정보를 보여다. 또 사용자는 안경을 통해 음악도 들을 수 있으며, 전화가 오면 이를 중단하고 영상 통화도 할 수 있다.
그러나, 위와 같은 스마트 안경의 기능들은 아직까지 현실화되지 못하고 있으며, 그나마 시선 추적이란 기술을 이용하여 위와 같은 스마트 안경의 일부 기능을 수행하기에 이르렀다.
예를 들면, '구글 글래스'라 불리우는 스마트 안경은 음성 인식을 접목하거나 시선이 머무는 정도를 파악하여 영상과 같은 정보를 선택하고 스마트 안경에 표시할 수 있었다.
이와 같이, 종래의 스마트 안경은 시선이 머무는 정도만을 인식 대상으로 삼고 있기 때문에 다양한 동작(기능)을 행할 수 없을 뿐만 아니라 오차가 자주 발생하는 문제점이 있었다.
한국공개특허 : 제2011-0101374호, 공개일자 : 2011년 09월 16일, 발명의 명칭 : 시선 추적 안경을 이용한 유비쿼터스 리모트 컨트롤러.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 적어도 2개 이상의 조합된 시선과 눈 깜박임 정도를 이용하여 안경 화면에 표시된 다양한 형태의 실행 메뉴와 내외부의 전자기기를 매우 편리하게 동작시킬 수 있는 스마트 안경 인터페이스 시스템을 제공하는데 그 목적이 있다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.
본 발명의 일 관점에 따르면, 게이즈 제스처(gaze gesture)를 이용한 스마트 안경 인터페이스 시스템으로서, 다수의 시선 방향 중 적어도 2개 이상의 조합된 시선 방향을 감지하여 시선 조합 정보를 생성하고, 눈의 깜박임 정도를 감지하여 눈 깜박임 정보를 생성하는 시선 감지 센서부; 다수의 프로그램화된 실행 메뉴를 안경 화면에 표시하는 안경 화면부; 및 상기 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기를 동작시키거나 상기 실행 메뉴의 이동, 선택과 취소를 실행시키는 프로세서부;를 포함하는 스마트 안경 인터페이스 시스템이 제공된다.
여기서, 본 발명의 일 관점에 따른 상기 프로세서부는 상기 시선조합 정보를 상기 실행 메뉴간 이동 기능에 활용할 경우, 상기 눈 깜박임 정보를 이동된 실행 메뉴의 선택과 취소 기능에 활용할 수 있다.
또한, 본 발명의 일 관점에 따른 상기 프로세서부는 상기 시선조합 정보를 상기 실행 메뉴간 이동, 선택 및 취소 기능에 활용할 경우 상기 눈 깜박임 정보를 상기 실행 메뉴에 포함된 서브 실행 메뉴의 선택과 취소 기능에 활용할 수 있다.
또한, 본 발명의 일 관점에 따른 상기 프로세서부는 상기 실행 메뉴 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상을 상기 안경 화면과 유무선 통신 인터페이스로 연결된 상기 전자기기의 표시 화면에 표시할 수 있다.
또한, 본 발명의 다른 일 관점에 따르면, 게이즈 제스처(gaze gesture)를 이용한 스마트 안경 인터페이스 방법으로서, (a) 다수의 프로그램화된 실행 메뉴를 안경 화면에 표시하는 단계; (b) 눈의 시선과 깜박임 정도를 시선 감지 센서부에서 감지하는 단계; (c) 상기 감지를 통해 시선 조합 정보와 눈 깜박임 정보를 시선 감지 센서부에서 생성하는 단계; 및 (d) 생성된 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기를 동작시키거나 상기 실행 메뉴의 이동, 선택과 취소를 프로세서부에서 실행시키는 단계를 포함하는 스마트 안경 인터페이스 방법이 제공된다.
여기서, 본 발명의 다른 일 관점에 따른 상기 (d) 단계는 상기 시선조합 정보가 상기 실행 메뉴간 이동 기능에 활용될 경우, 상기 눈 깜박임 정보는 이동된 실행 메뉴의 선택과 취소 기능에 활용될 수 있다.
또한, 본 발명의 다른 일 관점에 따른 상기 (d) 단계는 상기 시선조합 정보가 상기 실행 메뉴간 이동, 선택 및 취소 기능에 활용될 경우 상기 눈 깜박임 정보는 상기 실행 메뉴에 포함된 서브 실행 메뉴의 선택과 취소 기능에 활용될 수 있다.
또한, 본 발명의 다른 일 관점에 따른 상기 (d) 단계는 상기 실행 메뉴 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상을 상기 안경 화면과 전자기기의 표시 화면에 표시할 수 있다.
이상과 같이 본 발명에 따르면, 메뉴얼에 따라 두뇌에 정리된 시선 방향과 눈의 깜박임 정도만을 숙지하게 되면 리모콘 조작이 없이도 다양한 형태의 전자기기와 실행 메뉴를 동작시킬 수 있는 효과가 있다.
예를 들면, 시선과 눈의 깜박임 정도만을 숙지하게 되면, 스마트폰의 특정 기능을 실행시켜 디스플레이 시키거나 TV를 온오프 시키고, 채널을 선택하는 등, 유무선 네트워크와 연결된 모든 전자기기를 매우 편리하게 동작시킬 수 있는 효과가 있다.
또한, 본 발명에 따르면, 기존의 스마트 안경(예: 시선이 머무는 정도만을 인식)에 비하여 시선 처리가 명확한 시선 방향의 이동성과 눈의 크기로 정량화된 눈의 깜박임 정도를 통해 메뉴의 이동과 선택성이 뛰어나 인식 오차를 줄일 수 있는 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 스마트 안경 인터페이스 시스템(100)을 예시적으로 나타낸 도면이다.
도 2 내지 도 5는 본 발명의 제1 실시예에 따른 시선조합 정보 및/또는 눈 깜박임 정보를 이용한 실행메뉴(122)의 동작 상태를 나타낸 도면이다.
도 6(a) 내지 도 도 6(c)는 본 발명의 제1 실시예에 따른 시선조합 정보의 방향성 조합을 예시적으로 나타낸 도면이다.
도 7은 본 발명의 제2 실시예에 따른 스마트 안경 인터페이스 방법(S100)을 예시적으로 나타낸 순서도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
제1 실시예
도 1은 본 발명의 제1 실시예에 따른 스마트 안경 인터페이스 시스템(100)을 예시적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 스마트 안경 인터페이스 시스템(100)은 게이즈 제스처(gaze gesture)를 이용하여 다양한 전자기기(140)와 스마트 안경의 특정 기능을 동작시킬 수 있는 인터페이스 시스템으로서, 이를 위하여 시선 감지 센서부(110), 안경 화면부(120), 프로세서부(130), 전자기기(140) 및 유무선 인터페이스(150)를 포함하여 이루어진다. 상기 게이즈 제스처란 시선의 다양한 방향성과 눈 상태를 활용하는 제스처를 의미한다.
먼저, 본 발명에 따른 시선 감지 센서부(110)는 이후에 설명될 안경 화면부(120)의 대략 테두리 중앙을 따라 구비되어 사람의 시선의 방향성을 추적하고 눈의 깜박임 정도(크기)를 인식하기 위한 센서를 지칭한다.
이때, 안경 화면부(120)의 테두리를 따라 구비되 않고, 사람의 시선과 눈의 깜박임 정도을 쉽게 추적가능한 안경 화면부(120)내의 임의의 위치라면, 안경 화면부(120)의 어떤 부위에도 장착될 수 있음은 물론이다.
상기와 같이 시선(101)의 방향성을 추적하고자, 본 발명에 따른 시선 감지 센서부(120)는 다수의 시선 방향(101) 중 적어도 2개 이상의 조합된 시선 방향(101)을 감지하여 시선 조합 정보를 생성한다.
상기 시선 방향(101)은 예컨대 총 8개의 시선 방향성을 가질 수 있는데, 즉, 상/하/좌/우 방향과 상/하/좌/우/ 방향 사이에 존재하는 4개의 대각선 방향성을 포함한다. 이에 따라, 8개의 시선 방향(101) 중 적어도 2개상의 방향성을 조합하여 시선 조합 정보를 생성할 수 있게 되는 것이다.
아울러, 본 발명에 따른 시선 감지 센서부(110)는 눈의 깜박임 정도를 감지하여 눈 깜박임 정보를 생성한다. 이때, 눈의 깜박임 정도란 눈을 제한된 시간 안에 계속하여 뜨고 있는 상태, 감고 있는 상태 및 둘을 소정의 횟수만큼 반복하는 상태 등을 의미한다. 이는 눈의 크기를 제한된(설정된) 시간에 따라 감지하는 것과 일맥상통할 수도 있다.
다음으로, 본 발명에 따른 안경 화면부(120)는 스마트 안경의 테두리뿐만 아니라 스마트 안경 렌즈와 같은 위치인 안경 화면(121) 등을 구비한다. 상기 안경 화면(121)에는 실행 메뉴(122)들이 표시되고 실행 메뉴(122)의 동작에 의한 영상을 표시하는 역할을 한다.
상기 실행 메뉴(122)는 다수의 프로그램화된 아이콘 메뉴로서, 예컨대 스마트폰의 디스플레이 화면에 표시되는 앱 아이콘과 유사한 형태를 가질 수 있다.
마지막으로, 본 발명에 따른 프로세서부(130)는 앞서 설명한 시선 감지 센서부(110)에 의해 생성된 시선조합 정보 및/또는 눈 깜박임 정보를 통해 소정의 명령 신호를 생성한다. 예를 들면, 시선조합 정보를 통해 다수의 실행 메뉴(122) 중 임의의 특정 위치에 있는 아이콘으로부터 다른 위치에 있는 아이콘으로 이동시키는 아이콘 이동 명령 신호가 생성되고 눈 깜박임 정보를 통해 이동된 아이콘을 선택할 경우에 아이콘 선택 명령 신호가 생성될 수 있다.
이와 같이 명령 신호가 생성되면, 본 발명에 따른 프로세서부(130)는 상기 명령 신호를 이용하여 유무선 인터페이스(150, 통신망)로 연결된 임의의 전자기기(140), 예컨대 TV, 스마트폰, 휠체어와 같은 전자기기(140)를 동작시키거나 안경 화면(121)에 표시된 실행 메뉴(122)에 대하여 실행 메뉴(122)간 이동과, 이동된 실행 메뉴(122)의 선택 및 취소를 실행시키는데 사용할 수 있게 된다.
이때, 임의의 명령 신호에 따라 실행메뉴(122)의 이동, 선택 및 취소 기능은 통상적으로 널리 알려진 스마트폰에서 사람의 손에 의한 터치에 의해 메뉴의 이동, 선택 및 취소와 같은 원리가 적용될 수 있다.
예를 들면, 상기 명령 신호가 시선조합 정보를 실행 메뉴(122)간 이동 기능에 활용(연동될)될 경우에 눈 깜박임 정보를 이동된 실행 메뉴(122)의 선택과 취소 기능에 활용(연동될) 수 있다.
또한, 상기 명령 신호가 시선조합 정보를 실행 메뉴(122)간 이동, 선택 및 취소 기능에 활용(연동될) 경우에 눈 깜박임 정보를 실행 메뉴(122)에 포함된 서브 실행 메뉴(미도시)의 선택과 취소 기능에 활용(연동될)될 수도 있다.
이로써, 본 발명에 따른 프로세서부(130)는 실행 메뉴(122) 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상 및 데이터를 안경 화면(121)과 유무선 통신 인터페이스(150)로 연결된 전자기기(140)의 표시 화면에 표시할 수 있게 된다.
이상에서는 시선조합 정보와 눈 깜박임 정보를 동시에 이용하여 해당 기능이 수행되는 것으로 설명하였지만 둘 중 어느 하나를 통해 위와 같은 모든 기능을 수행할 수도 있음은 물론이다.
한편, 이상에서 밝힌 전자기기(140)의 동작은 다양한 예가 있을 수 있다. 즉, 휴대폰, TV 등과 같은 전자기기(140)를 온오프시키는 기본적인 동작 뿐만 아니라, 각 전자기기(140)에서 구현된 특정 기능, 예컨대 녹음을 실행시키거나 스마트폰에 구비된 카메라를 동작시키는 등 다양한 기능을 담고 있음을 의미할 수 있다.
이하에서는, 앞서 설명한 시선조합 정보 및/또는 눈 깜박임 정보를 이용한 실행메뉴(122)의 이동, 선택 및 취소를 실질적으로 어떻게 이루어지는지를 설명하고자 한다.
실행메뉴의 실행 예
도 2 내지 도 5는 본 발명의 제1 실시예에 따른 시선조합 정보 및/또는 눈 깜박임 정보를 이용한 실행메뉴(122)의 동작 상태를 나타낸 도면이다.
먼저, 도 2에 도시된 안경화면(121)에는 복수개의 실행메뉴(122)들이 나열된 상태를 보여준다. 상기 도 2에 도시된 1행 1열의 실행메뉴(122)가 선택된 상태(122a)로 가정하면, 도 3에서는 오른쪽으로 향하는 시선방향(101a)의 시선 조합 정보를 통해 1행 3열의 실행메뉴(122)로 이동된 상태(122b)를 보여준다.
다음으로, 도 4에서는 눈 깍박임 정보, 예컨대 눈을 두번 깜박려 획득된 눈 깍박임 정보를 통해 1행 3열의 실행메뉴(122)가 선택된 상태(122c)임을 보여준다. 다음으로, 도 5에서는 선택된 1행 2열의 실행메뉴(122)가 취소된 상태(122d)임을 보여준다.
이와 같이, 시선조합 정보 및 눈 깜박임 정보를 이용하여 실행메뉴(122)가 이동, 선택 및 취소되는 단적인 상황을 보여주고 있지만, 위와 같은 상태에서 다른 실행메뉴(122)로 이동, 선택 및 취소시에 다른 방향성의 시선조합 정보 및 눈 깜박임 정보가 함께 더 활용될 수 있음은 물론이다.
시선조합 정보의 예
도 6(a) 내지 도 6(c)는 본 발명의 제1 실시예에 따른 시선조합 정보의 방향성 조합을 예시적으로 나타낸 도면이다. 도 6(a)에서는 우방향의 시선조합 정보(101b) 및 그로부터 상방향의 시선조합 정보(101c)가 결합(조합)되고 있음을 보여주고, 도 6(b)에서는 우방향의 시선조합 정보(101d) 및 그로부터 하방향의 시선조합 정보(101e)가 결합(조합)되고 있음을 보여준다.
반면, 도 6(c)에서는 우방향의 시선조합 정보(101f), 그로부터 상방향의 시선조합 정보(101g) 및 그로부터 하방향 대각선의 시선조합 정보(101h)가 결합(조합)되고 있음을 보여준다.
이와 같은 예를 통해 알 수 있듯이, 본 실시예에서는 적어도 하나 이상의 시선 방향의 조합을 통해 앞서 설명한 전자기기(140)를 동작시키거나 실행메뉴의 이동, 선택 및 취소 기능을 실행시킬 수 있음을 알 수 있을 것이다.
제2 실시예
도 7은 본 발명의 제2 실시예에 따른 스마트 안경 인터페이스 방법(S100)을 예시적으로 나타낸 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 스마트 안경 인터페이스 방법(S100)은 게이즈 제스처(gaze gesture)를 이용한 인터페이스 방법으로서, 이를 위하여 S110 단계 내지 S140 단계를 포함하여 이루어진다. 본 실시예에서 적용되는 각 구성은 예로서 설명한 도 1 내지 도 6을 통해 가능하게 되면 이 설명은 앞서 설명되었기 때문에 생략하기로 한다.
먼저, 본 발명에 따른 S110 단계에서는 다수의 프로그램화된 실행 메뉴(122)를 안경 화면(121)에 표시한다.
이후, 본 발명에 따른 S120 단계에서는 눈의 방향과 눈의 깜박임 정도를 시선 감지 센서부(110)에서 감지한다.
이후, 본 발명에 따른 S130 단계에서는 S120 단계의 감지를 통해 시선 조합 정보와 눈 깜박임 정보를 시선 감지 센서부(110)에서 생성한다. 상기 시선 조합 정보는 상/하/좌/우 방향과 상/하/좌/우/ 방향 사이에 존재하는 4개의 대각선 방향성을 포함한 정보를 의미하고, 눈 깜박임 정보는 눈을 제한된 시간안에 계속하여 뜨고 있는 상태, 감고 있는 상태 및 둘을 소정의 횟수만큼 반복하는 상태 등을 의미한다.
마지막으로, 본 발명에 따른 S140 단계에서는 S130 단계에 의해 생성된 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기(140)를 동작시키거나 안경 화면(121)에 표시된 실행 메뉴(122)의 이동, 선택과 취소를 실행시킬 수 있다.
상기 실행 메뉴(122)의 이동, 선택 및 취소 기능에 대한 예는 앞서 도 2 내지 5에서 충분히 설명되었기 때문에 그 설명은 생략하기로 한다. 여기서, 임의의 명령 신호에 따라 실행메뉴(122)의 이동, 선택 및 취소 기능은 통상적으로 널리 알려진 스마트폰에서 사람의 손에 의한 터치에 의해 메뉴의 이동 선택 및 취소와 같은 원리가 적용될 수 있다.
예를 들면, 상기 명령 신호가 시선조합 정보를 실행 메뉴(122)간 이동 기능에 활용(연동될)될 경우에 눈 깜박임 정보를 이동된 실행 메뉴(122)의 선택과 취소 기능에 활용(연동될) 수 있다.
또한, 상기 명령 신호가 시선조합 정보를 실행 메뉴(122)간 이동, 선택 및 취소 기능에 활용(연동될) 경우에 눈 깜박임 정보를 실행 메뉴(122)에 포함된 서브 실행 메뉴(미도시)의 선택과 취소 기능에 활용(연동될)될 수도 있다.
이로써, 본 발명에 따른 S140 단계에서는 실행 메뉴(122) 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상 및 데이터를 안경 화면(121)과 유무선 통신 인터페이스(150)로 연결된 전자기기(140)의 표시 화면에 표시할 수 있게 된다.
이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
100 : 스마트 안경 인터페이스 시스템 110 : 시선 감지 센서부
120 : 안경 화면부 121 : 안경 화면
122 : 실행 메뉴 130 : 프로세서부
140 : 전자기기 150 : 유무선 인터페이스

Claims (8)

  1. 게이즈 제스처(gaze gesture)를 이용한 스마트 안경 인터페이스 시스템으로서,
    다수의 시선 방향 중 적어도 2개 이상의 조합된 시선 방향을 감지하여 시선 조합 정보를 생성하고, 눈의 깜박임 정도를 감지하여 눈 깜박임 정보를 생성하는 시선 감지 센서부;
    다수의 프로그램화된 실행 메뉴를 안경 화면에 표시하는 안경 화면부; 및
    상기 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기를 동작시키거나 상기 실행 메뉴의 이동, 선택과 취소를 실행시키는 프로세서부;
    를 포함하는 스마트 안경 인터페이스 시스템.
  2. 제1항에 있어서,
    상기 프로세서부는,
    상기 시선조합 정보를 상기 실행 메뉴간 이동 기능에 활용할 경우, 상기 눈 깜박임 정보를 이동된 실행 메뉴의 선택과 취소 기능에 활용하는 것을 특징으로 하는 스마트 안경 인터페이스 시스템.
  3. 제1항에 있어서,
    상기 프로세서부는,
    상기 시선조합 정보를 상기 실행 메뉴간 이동, 선택 및 취소 기능에 활용할 경우 상기 눈 깜박임 정보를 상기 실행 메뉴에 포함된 서브 실행 메뉴의 선택과 취소 기능에 활용하는 것을 특징으로 하는 스마트 안경 인터페이스 시스템.
  4. 제3항에 있어서,
    상기 프로세서부는,
    상기 실행 메뉴 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상을 상기 안경 화면과 유무선 통신 인터페이스로 연결된 상기 전자기기의 표시 화면에 표시하는 것을 특징으로 하는 스마트 안경 인터페이스 시스템.
  5. 게이즈 제스처(gaze gesture)를 이용한 스마트 안경 인터페이스 방법으로서,
    (a) 다수의 프로그램화된 실행 메뉴를 안경 화면에 표시하는 단계;
    (b) 눈의 방향과 깜박임 정도를 시선 감지 센서부에서 감지하는 단계;
    (c) 상기 감지를 통해 시선 조합 정보와 눈 깜박임 정보를 시선 감지 센서부에서 생성하는 단계; 및
    (d) 생성된 상기 시선조합 정보 및 눈 깜박임 정보를 통해 소정의 명령 신호를 생성하여 임의의 전자기기를 동작시키거나 상기 실행 메뉴의 이동, 선택과 취소를 프로세서부에서 실행시키는 단계;
    를 포함하는 스마트 안경 인터페이스 방법.
  6. 제5항에 있어서,
    상기 (d) 단계는,
    상기 시선조합 정보가 상기 실행 메뉴간 이동 기능에 활용될 경우, 상기 눈 깜박임 정보는 이동된 실행 메뉴의 선택과 취소 기능에 활용되는 것을 특징으로 하는 스마트 안경 인터페이스 방법.
  7. 제5항에 있어서,
    상기 (d) 단계는,
    상기 시선조합 정보가 상기 실행 메뉴간 이동, 선택 및 취소 기능에 활용될 경우 상기 눈 깜박임 정보는 상기 실행 메뉴에 포함된 서브 실행 메뉴의 선택과 취소 기능에 활용되는 것을 특징으로 하는 스마트 안경 인터페이스 방법.
  8. 제7항에 있어서,
    상기 (d) 단계는,
    상기 실행 메뉴 및 서브 실행 메뉴의 선택에 따른 실행에 의해 해당 영상을 상기 안경 화면과 전자기기의 표시 화면에 표시하는 것을 특징으로 하는 스마트 안경 인터페이스 방법.
KR1020130118894A 2013-10-07 2013-10-07 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법 KR101685430B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130118894A KR101685430B1 (ko) 2013-10-07 2013-10-07 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130118894A KR101685430B1 (ko) 2013-10-07 2013-10-07 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150041233A true KR20150041233A (ko) 2015-04-16
KR101685430B1 KR101685430B1 (ko) 2016-12-14

Family

ID=53034768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130118894A KR101685430B1 (ko) 2013-10-07 2013-10-07 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101685430B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230011496A (ko) * 2016-02-02 2023-01-20 이베이 인크. 개인화된 실시간 오디오 프로세싱

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080157946A1 (en) * 2001-01-30 2008-07-03 David Parker Dickerson Interactive data view and command system
KR20110101374A (ko) 2010-03-08 2011-09-16 이강수 시선 추적 안경을 이용한 유비쿼터스 리모트 컨트롤러
US20130118894A1 (en) * 2003-11-14 2013-05-16 Micron Technology, Inc. Silver selenide sputtered films and method and apparatus for controlling defect formation in silver selenide sputtered films

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080157946A1 (en) * 2001-01-30 2008-07-03 David Parker Dickerson Interactive data view and command system
US20130118894A1 (en) * 2003-11-14 2013-05-16 Micron Technology, Inc. Silver selenide sputtered films and method and apparatus for controlling defect formation in silver selenide sputtered films
KR20110101374A (ko) 2010-03-08 2011-09-16 이강수 시선 추적 안경을 이용한 유비쿼터스 리모트 컨트롤러

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230011496A (ko) * 2016-02-02 2023-01-20 이베이 인크. 개인화된 실시간 오디오 프로세싱

Also Published As

Publication number Publication date
KR101685430B1 (ko) 2016-12-14

Similar Documents

Publication Publication Date Title
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US11160688B2 (en) Visual aid display device and method of operating the same
US9602954B2 (en) Mobile terminal and method for controlling the same
US10567567B2 (en) Electronic device and method for controlling of the same
EP3001650B1 (en) Portable electronic device and method of controling the same
US9939948B2 (en) Mobile terminal and controlling method thereof
EP2999128B1 (en) Mobile terminal and control method therefor
EP2899622B1 (en) Mobile terminal and control method for the same
EP3155725B1 (en) Mobile terminal and method of controlling the same
US10416835B2 (en) Three-dimensional user interface for head-mountable display
EP2899954B1 (en) Mobile terminal
EP2987244B1 (en) Mobile terminal and control method for the mobile terminal
EP2947538B1 (en) Mobile terminal and method of controlling the same
KR101430614B1 (ko) 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
EP2950192A1 (en) Mobile terminal and control method for the mobile terminal
US9939642B2 (en) Glass type terminal and control method thereof
CN105765513A (zh) 信息处理装置、信息处理方法和程序
US20180253717A1 (en) Terminal apparatus and control method for terminal apparatus
US20190179406A1 (en) Display device and image display method
US9921796B2 (en) Sharing of input information superimposed on images
KR20170035678A (ko) 이동 단말기 및 이의 제어 방법
US20170286783A1 (en) Mobile terminal and control method therefor
EP3173848B1 (en) Head mounted display and control method thereof
EP4046002A1 (en) Eye gaze control of magnification user interface
KR20180103866A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 4