KR20160062906A - 고글형 디바이스를 위한 증강현실 키보드 - Google Patents

고글형 디바이스를 위한 증강현실 키보드 Download PDF

Info

Publication number
KR20160062906A
KR20160062906A KR1020140166141A KR20140166141A KR20160062906A KR 20160062906 A KR20160062906 A KR 20160062906A KR 1020140166141 A KR1020140166141 A KR 1020140166141A KR 20140166141 A KR20140166141 A KR 20140166141A KR 20160062906 A KR20160062906 A KR 20160062906A
Authority
KR
South Korea
Prior art keywords
augmented reality
user
pupil
hand
virtual keyboard
Prior art date
Application number
KR1020140166141A
Other languages
English (en)
Inventor
송명진
Original Assignee
송명진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송명진 filed Critical 송명진
Priority to KR1020140166141A priority Critical patent/KR20160062906A/ko
Publication of KR20160062906A publication Critical patent/KR20160062906A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 디바이스를 착용후 웨어러블의 카메라를 이용해 사용자의 동공을 추적하고 추적한 위치에서 증강현실을 이용한 입력 시스템이 출력후 입력시스템을 이용해서 입력하는 시스템

Description

고글형 디바이스를 위한 증강현실 키보드{augmented reality Input Method for Wearable device}
본 발명은 증강현실 구현에서 다중 카메라를 사용하여 피사체의 인식율 및 영상 합성 성능을 높일 수 있는 증강 현실 제공 시스템 및 방법에 관한 것이다.
웨어러블은 웨어러블 컴퓨터(Wearable computer)를 줄여 부르는 말이다. 말 그대로 입는또는 몸에 걸치는형태의 컴퓨터를 뜻한다. 그러나 컴퓨터라고 해서 우리가 흔히 책상 위에 올려놓는 그 컴퓨터 즉, PC만을 뜻하는 것은 아니다. 스마트 폰도 넓게 보면 컴퓨터의 일종이듯 연산, 저장 등 컴퓨터 기능을 수행하는 단말기는 모두 컴퓨터라 할 수 있다. 따라서 웨어러블 컴퓨터란 곧 어떤 특정 형태의 단말기가 아니라 우리가 일상적으로 몸에 걸치고 다닐 수 있는 형태로 설계된 정보 기기 전부를 뜻한다. 이런 의미에서 최근에는 웨어러블 디바이스(Wearable device)라고 부르기도 한다.
특허문헌 1은 고글 형태를 갖는 착용성 시선 추적 장치 및 방법에 관련한다. 이 방법은 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈과, 상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출한다.
특허문헌 2는 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법에 관련한다. 이 방법은 단말기에 부착된 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부, 3차원 가상물체 및 손의 영상을 출력하는 디스플레이부 및 손의 움직임에 대응하여 3차원 가상물체를 제어한다.
상기와 같은 방법들을 이용하여 다양한 제스쳐 기반 키보드가 제안되고 있으나 고글형 디바이스에서 입력 방법이 주로 음성 인식 위주로 입력하게 되어있고 탭핑을 이용한 방식이나 또다른 장치를 이용한 MDH키보드나 기타 추가 장비를 이용해야한다는 문제가 있다. 가장 비슷한 방식으로는 현재 구글이 채택하고 있는 헤드업 디스플레이와 레이저 프로젝터를 이용한 자판인데 이 역시 신체의 일부분을 사용하여 터치하는 방식이라는 한계를 갖는다.
KR 1009497430000 A KR 1020080106949 A
발명은 고글 형태 디바이스에서 구현 되는 증강현실 3D객체를 이용하여 음성 입력이나 신체 일부분을 이용하여 입력하는 키보드 시스템의 한계를 극복하며 장소나 상황에 구애받지 않고 사용자가 시선이 가는 그대로 자판의 객체도 따라 다니며 사용자의 손끝마디에 반응하여 입력할 수 있는 시스템이 제안된다.
또한, 본 발명은 고글형 디바이스뿐만이 아닌 전반적인 웨어러블 디바이스에 적용되면 더 빠르고 손이 덜 가는 입력 시스템을 제공한다.
또한, 본 발명은 구현되는 3D 객체를 보여지는 비디오를 통해 손끝으로 직관적인 제어를 할 수 있는 시스템 및 방법을 제공한다.
본 발명인 고글형 디바이스를 위한 증강현실 키보드 시스템은 적어도 하나의 눈이 포함되도록 취득된 영상으로부터 영상 처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 산한다. 사용자는 화면의 4개 구석 지점을 응시하는 사용자 캘리브레이션 과정을 거치며, 이후 얼굴 움직임에 의해 생기는 사용자 캘리브레이션 정보는 한 쪽 눈의 양쪽 눈꼬리 지점을 추적하여 보정을 수행한다. 결과적으로, 단일 카메라 및 단일 조명을 이용하여, 얼굴 움직임이 허용되는 시선 추적 방법이 구현된다. 이 방법을 이용하여 사용자의 시선이 가는 곳으로 고글형 디바이스에서 구현하는 증강현실 객체가 따라 움직이며 각자 일반적인 키보드이던 핸드폰과 같은 비슷한 형식의 키보드형태의 객체를 구현한다. 이 객체와 인터랙션을 하고 결과론적으로 제어하게 된다. 제어의 방식은 손끝에 있는 영역에 값을 부여하여 손끝과 객체의 키보드 위에 글자와 반응하여 입력이 이루어지는 것이 가능하다.
어떠한 장치를 추가적으로 착용하지 않고, 장치의 복잡도를 최소화 하여 경제적인 효율성을 증대하고, 3차원이 아닌 2차원 영상 분석을 수행함으로 인한 계산 복잡도의 최소화를 통한 실시간 동작이 가능하며, 사용자의 편의성을 극대화하고 탭핑이나 신체의 일부를 이용한 입력방식이 아니기 때문에 새로운 방식에 적응하는 시간이 최소화 될 수 있다.
도 1은 본 발명의 일실시예에 있어서, 고글형 디바이스에서의 증강현실 시스템을 이용하여 가상물체를 출력하는 화면을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 시선 추적 후에 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 손의 촉감 및 반응 영역을 알아내기 위한 전동 센서를 부착한 장갑을 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 동공의 좌표 정보를 얻고 난 뒤에 가상 키보드와 인터랙션이 가능한 증강현실 방법을 도시한 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 따른 실시 예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명 일실시예에 있어서, 고글형 디바이스를 착용후 시선 추적이 이루어진 뒤에 생성된 증강현실을 이용하여 가상물체를 출력하는 화면을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서 고글 형태를 갖는 디바이스가 시선 추적후 3차원 가상물체와 인터랙션 가능한 모바일 증강현실 시스템을 도시한 블록도이다.
도2를 참조하여 설명하면, 시선 추적 방법은 전 방향을 촬영하는 제 1카메라 (121)에서 촬영된 전방 영상에서의 모니터 구석 위치(좌표)를 기반으로 모니터 영역을 취득하는 모니터 추적 과정(S100)과, 적외선을 기반으로 제 2 카메라(123)을 통해 촬영된 눈 영상을 획득하여 동공 중심 위치에 기반한 시선 위치를 취득하는 시선 추적 과정(S200)을 통해 시선 위치 좌표값을 계산하여 모니터 상의 시선 위치를 결정하는 시선 위치 결정과정(S300)이 이루어진 뒤 카메라(210)을 통해 사용자가 바라보는 시선에 키보드 모양의 객체를 생성하여 출력할 수 있다.
도3은 본 발명의 일실시예에 있어서, 손의 촉감 및 반응 영역을 알아내기 위한 전동 센서를 부착한 장갑을 도시한 도면이다.
도3을 참고하면, 손끝의 반응 영역 부분을 추적하여 좌표의 일정한 좌표값의 폭을 넘어간다면 해당 객체의 입력이 이루어진다.
도 4는 본 발명의 일실시예에 있어서, 동공의 좌표 정보를 얻고 난 뒤에 가상 키보드와 인터랙션이 가능한 증강현실 방법을 도시한 흐름도이다.
도 4를 참고하면 단계 (S410)에서는 디바이스의 카메라를 이용하여 동공의 좌표 정보를 받아 가상 키보드를 생성한다. 단계 (S410)은 전방의 영상을 촬영하고 손의 영역을 검출하는 단계, 단계 (S430)전방의 영상과 동공의 좌표를 전해받아 가상 키보드를 생성한다. 그리고 단계(S440)에서 상기 손의 포즈를 결정하는 단계 및 상기 손끝의 정보에 대응하여 가상 키보드를 생성하거나 없앨 수 있다. 손바닥 영역에도 특정한 값을 읽을 수 있도록하여 손바닥이 보일 경우 토글의 형식으로 가상의 키보드가 켜지거나 꺼짐을 설정할 수 있다.
110: 손
120: 고글형 디바이스
121: 전방 카메라
122: 가상 키보드
123: 내부 카메라
210: 카메라
220: 영상처리부
230: 인터랙션부
240: 디스플레이부
310: 손 끝 영역 감지부
320: 진동 모터
330: 컨트롤러
340: 손바닥 감지 영역부
350: 단말기

Claims (3)

  1. 고글형 디바이스를 통한 증강 현실 제공 시스템에 있어서, 상기 디바이스의 카메라를 이용하여 사용자의 동공의 좌표를 추적하여 바라보고 있는 곳에 특정한 제스쳐를 취하면 가상 키보드를 생성할 수 있고 손끝의 영역을 통하여 가상 키보드를 제어하는 증강현실 시스템.
  2. 제 1항에 있어서,
    상기 영상 처리부는,
    상기 사용자의 동공의 좌표를 추적하여 가상 객체가 동공의 좌표값을 추적
    하는 고글 형태의 시선 추적.
    상기 손의 영상에서 손끝의 영역과 손바닥 영역을 검출하는 검출부;
    상기 손의 포즈를 결정하는 포즈 결정부; 및
    상기 손의 포즈에 대응하여 상기 가상 키보드를 생성하는 가상물체 렌더링부
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  3. 제 1항에 있어서,
    상기 사용자의 특정한 제스쳐 토글형식의 입력으로 손바닥을 첫 번째 보였을때에는 가상 키보드 객체가 눈에 구현되고 다시 한번 손바닥을 보였을 경우 가상 키보드 객체를 삭제 시킬 수 있는 시스템.
KR1020140166141A 2014-11-26 2014-11-26 고글형 디바이스를 위한 증강현실 키보드 KR20160062906A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140166141A KR20160062906A (ko) 2014-11-26 2014-11-26 고글형 디바이스를 위한 증강현실 키보드

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140166141A KR20160062906A (ko) 2014-11-26 2014-11-26 고글형 디바이스를 위한 증강현실 키보드

Publications (1)

Publication Number Publication Date
KR20160062906A true KR20160062906A (ko) 2016-06-03

Family

ID=56192199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140166141A KR20160062906A (ko) 2014-11-26 2014-11-26 고글형 디바이스를 위한 증강현실 키보드

Country Status (1)

Country Link
KR (1) KR20160062906A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075115A (ko) * 2018-12-12 2020-06-26 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106949A (ko) 2006-04-06 2008-12-09 가부시키가이샤 아이에이치아이 프레스 기계, 프레스 기계의 제어 장치 및 제어 방법
KR100949743B1 (ko) 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106949A (ko) 2006-04-06 2008-12-09 가부시키가이샤 아이에이치아이 프레스 기계, 프레스 기계의 제어 장치 및 제어 방법
KR100949743B1 (ko) 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075115A (ko) * 2018-12-12 2020-06-26 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법

Similar Documents

Publication Publication Date Title
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US20200279104A1 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
EP3218781B1 (en) Spatial interaction in augmented reality
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
EP3090331B1 (en) Systems with techniques for user interface control
EP2972672B1 (en) Detection of a gesture performed with at least two control objects
US11599239B2 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
US20220130124A1 (en) Artificial reality system with varifocal display of artificial reality content
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
CN110968187B (zh) 由外围设备启用的远程触摸检测
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
US10896545B1 (en) Near eye display interface for artificial reality applications
WO2017057107A1 (ja) 入力装置、入力方法、及びプログラム
US20240094882A1 (en) Gestures for selection refinement in a three-dimensional environment
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US9300908B2 (en) Information processing apparatus and information processing method
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
KR20160062906A (ko) 고글형 디바이스를 위한 증강현실 키보드
Qin et al. Selecting Real-World Objects via User-Perspective Phone Occlusion
US20240103680A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20220261085A1 (en) Measurement based on point selection
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
WO2023181549A1 (ja) 制御装置、制御方法、プログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination