KR101567469B1 - 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법 - Google Patents

증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법 Download PDF

Info

Publication number
KR101567469B1
KR101567469B1 KR1020140086249A KR20140086249A KR101567469B1 KR 101567469 B1 KR101567469 B1 KR 101567469B1 KR 1020140086249 A KR1020140086249 A KR 1020140086249A KR 20140086249 A KR20140086249 A KR 20140086249A KR 101567469 B1 KR101567469 B1 KR 101567469B1
Authority
KR
South Korea
Prior art keywords
input
variable surface
input device
image
unit
Prior art date
Application number
KR1020140086249A
Other languages
English (en)
Inventor
정상학
Original Assignee
주식회사 버추어패브릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버추어패브릭스 filed Critical 주식회사 버추어패브릭스
Priority to KR1020140086249A priority Critical patent/KR101567469B1/ko
Application granted granted Critical
Publication of KR101567469B1 publication Critical patent/KR101567469B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법이 개시된다. 본 발명에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치는, 촬영부; 상기 촬영부를 통해 촬영되는 영상을 표시하는 표시부; 상기 영상 내의 가변 표면을 검출하는 가변 표면 검출부; 상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 하는 가상 입력 장치 생성부; 상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하는 입력 학습부; 생성된 상기 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하는 키 입력 검출부; 및 검출된 상기 키 입력에 대응하는 이벤트를 수행하는 키 입력 이벤트 수행부를 포함한다.

Description

증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법{Apparatus and method for controlling virtual input device for augmented reality device}
본 발명은 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법에 관한 것으로서, 특히 증강 현실 기기에 부착된 카메라와 같은 촬영부를 통해 입력된 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 표시부에 표시되도록 하고 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 입력 오브젝트 주변의 영상 변화를 추적하고 학습한 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 가상 입력 장치에 대한 키 입력을 검출함으로써, 증강 현실 기기를 사용하는 사용자에게 있어서 별도의 입력 장치를 구비할 필요 없이 사용자의 팔 등의 가변 표면에 가상 입력 장치를 생성하여 간편하게 입력 기능을 수행할 수 있고, 입력 동작에 의한 물리적 표면의 변형에 수반되는 영상 변화를 학습을 통해 분류하는 방식을 통해 키 입력의 검출이 수행되어, 기존 가상 입력 장치 및 개념들과 차별화되는 정확성과 실용성을 이룰 수 있는 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법에 관한 것이다.
최근 기술의 발달에 따라 각종 스마트 기기들이 등장하고 있는 가운데, 사용자가 눈으로 보는 현실 세계에 3차원 가상물체를 겹쳐 보여주는 증강 현실 기기들이 등장하고 있다.
최근 출시된 증강 현실 기기는 헤드 마운트 디스플레이(head mount display) 용으로 크게 시스루 글라스(see-through glass)와 가상 현실 뷰어 글라스(virtual reality viewer glass) 의 두 가지 타입으로 나뉘는데, 전자는 사용자가 반투명의 디스플레이를 투시해서 보는 영상에 카메라를 통한 영상을 중첩시켜 정보를 보여주는 방식으로 구글(Google)의 '구글 글라스(Google glass)'를 예로 들 수 있고, 후자는 3차원 영상 및 게임을 주 목적으로 하는 장치로 소니(SONY)의 '프로젝트 모피어스(Project Morpheus)', 오큘러스(Oculus)의 '오큘러스 리프트(Oculus rift)' 등이 있다.
이와 같은 증강 현실 기기를 위한 다양한 형식의 입력 방식이 고안되어 있지만, 기존 컴퓨터에서와 같은 키 입력이나 마우스 입력 방식은 아직 상용화되지 않았고, 별도의 입력장치를 통해 조이스틱 형식의 한정된 입력방식이 제공되고 있다.
'구글 글라스' 용 인터페이스를 살펴보면, 입력 장치를 실현하기 위한 레이져 프로젝터를 구비하여 이를 통해 사람의 손목이나 다른 표면에 키보드 영상을 비추고, 영상 분석을 통해 키보드 영상에 대한 패턴 왜곡을 인식함으로써, 키 입력을 검출하는 방식을 이용하고 있다. 이 경우 영상 분석을 통해 키 입력을 적용하는 개념은 유사하지만, 이런 방식은 별도의 장치를 필요로 하고, 가상 키보드 영상을 동적으로 움직이는 사람의 손목 등의 목표부위에 정확히 투사하는 기술적인 복잡성 및 어려움이 있다.
또 다른 예로 증강 현실 기기의 표시부에 표시되는 영상에 가상 입력 장치를 표시하는 방식이 고안되었는데, 손가락 마디 부위에 키보드의 키를 연결하여 영상 분석을 통해 눌러지는 마디를 검출하여 입력을 수행하는 방식이다. 영상 분석에 용이한 개념으로 고안되었지만, 키가 표시되는 부분과 입력을 수행하는 부분이 모두 손가락으로 되어 있어, 키보드 입력과 같은 빠른 동작의 검출 및 트래킹을 요구하는 응용에서는 오히려 이로 인한 영상 분석의 어려움이 있고, 특히 단순한 영상 변화에 바탕한 키 입력을 검출하는 방식에서는 조도가 동적으로 변하거나, 배경 물체에 의한 그림자 등으로 인한 이미지 노이즈로부터 입력 오브젝트의 동작에 의한 영상 변화를 선별하여 판단하는 방식의 부재로 인해, 실제 키가 눌러지는 상황에 대한 구체적인 확인이 불가능하다. 이는 위의 예들과 유사한 개념의 다른 입력 장치 방식들에서도 공통적으로 나타나는 문제점들로 각 고안의 실용화에 큰 걸림돌로 작용하고 있다.
본 발명의 목적은, 증강 현실 기기에 부착된 카메라와 같은 촬영부를 통해 입력된 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 표시부에 표시되도록 하고 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 입력 오브젝트 주변의 영상 변화를 추적하고 학습한 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 가상 입력 장치에 대한 키 입력을 검출함으로써, 증강 현실 기기를 사용하는 사용자에게 있어서 별도의 입력 장치를 구비할 필요 없이 사용자의 팔 등의 가변 표면에 가상 입력 장치를 생성하여 간편하게 입력 기능을 수행할 수 있고, 입력 동작에 의한 물리적 표면의 변형에 수반되는 영상 변화를 학습을 통해 분류하는 방식을 통해 키 입력의 검출이 수행되어, 기존 가상 입력 장치 및 개념들과 차별화되는 정확성과 실용성을 이룰 수 있는 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치는, 촬영부; 상기 촬영부를 통해 촬영되는 영상을 표시하는 표시부; 상기 영상 내의 가변 표면을 검출하는 가변 표면 검출부; 상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 하는 가상 입력 장치 생성부; 상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하는 입력 학습부; 생성된 상기 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하는 키 입력 검출부; 및 검출된 상기 키 입력에 대응하는 이벤트를 수행하는 키 입력 이벤트 수행부를 포함하여 구성된다.
상기 가변 표면 검출부는, 상기 영상 내의 가변 표면의 경계점(edge point)들을 검출하는 경계점 검출부; 상기 경계점들을 포함하는 선분들로 이루어진 허프 공간(Hough space)을 생성하는 허프 공간 생성부; 상기 허프 공간의 선분들 중 상기 가변 표면을 형성하는 두 개의 평행선을 검출하기 위하여 상기 두 개의 평행선에 대응하는 상기 허프 공간 상의 두 개의 피크(peak)를 검출하는 피크 검출부; 및 상기 두 개의 평행선 사이의 거리에 비례한 크기를 가지는 가변 표면을 상기 가상 입력 장치를 생성하기 위한 가상 입력 장치 표면으로 등록하는 가상 입력 장치 표면 등록부를 포함할 수 있다.
상기 입력 학습부는, 상기 입력 오브젝트를 검출하는 입력 오브젝트 검출부; 검출된 상기 입력 오브젝트 주변에 패드 영역을 설정하는 패드 영역 설정부; 상기 입력 오브젝트의 상기 가변 표면과의 크기를 비교하여 상기 입력 오브젝트와 상기 가변 표면의 접촉이 없는 호버링 상태를 검출하는 호버링 검출부; 상기 호버링 상태와 관련하여 상기 패드 영역의 영상 변화의 크기 또는 형태를 추적하고 학습하여 학습 데이터를 생성하고 수집하는 데이타 수집부를 포함할 수 있다.
상기 키 입력 검출부는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 신규로 검출된 상기 패드 영역의 영상 변화와 상기 학습 데이터를 비교하여 상기 입력 오브젝트가 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태인지를 검출할 수 있다.
상기 패드 영역은, 상기 입력 오브젝트의 상측의 상측 패드 영역, 상기 입력 오브젝트의 좌측의 좌측 패드 영역 및 상기 입력 오브젝트의 우측의 우측 패드 영역을 포함할 수 있다. 이 때, 상기 키 입력 검출부는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 상측 패드 영역, 좌측 패드 영역 및 우측 패드 영역 모두의 영상 변화의 크기가 소정의 설정값 이상인 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출할 수 있다.
상기 데이터 수집부는, 상기 입력 오브젝트에 의해 가압되지 않은 상태에서의 상기 패드 영역의 영상의 형태에 대응하는 키 입력 네거티브 데이터 및 상기 입력 오브젝트에 의한 가압 상태의 패드 영역의 영상 변화의 형태에 대응하는 키 입력 포지티브 데이터를 수집할 수 있다. 이 때, 상기 키 입력 검출부는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 패드 영역의 영상 변화의 형태가 키 입력 포지티브 데이터에 대응하는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출할 수 있다.
상기 키 입력 검출부는, 상기 입력 오브젝트에 의한 키 입력이 검출된 후 상기 입력 오브젝트의 위치 및 패드 영역의 영상 변화를 추적하여, 상기 키 입력 상태에서 상기 입력 오브젝트가 이동한 후 상기 키 입력 상태가 해제되는 입력이 검출되면, 해당 입력을 드래그 입력으로 검출할 수 있다.
상기 가변 표면 검출부는, 상기 가변 표면의 회전을 검출할 수 있다. 이 때, 상기 가상 입력 장치 생성부는, 상기 가변 표면의 회전이 검출되면, 상기 가변 표면의 회전에 따라 상기 가상 입력 장치도 회전되어 점차로 이전의 키 세트(key set)와 상이한 키 세트가 표시되도록 할 수 있다.
상기 가변 표면 검출부는, 상기 가변 표면에 인접한 인식부의 상기 촬영부를 통해 촬영된 영상 변화에 따라 상기 가변 표면의 회전을 검출할 수 있다.
상기 인식부는, 위치에 따라 특정한 모양, 색상 및 형상 중 하나 이상을 갖는 밴드일 수 있다.
상기 가변 표면 검출부는, 상기 가변 표면에 인접한 신체 부위의 제스쳐를 검출할 수 있다. 이 때, 상기 가상 입력 장치 생성부는, 상기 신체 부위의 제스쳐가 검출되면, 상기 가변 표면의 제스쳐에 대응하는 키 세트가 표시되도록 할 수 있다.
본 발명의 일 실시예에 따른, 증강 현실 기기를 위한 가상 입력 장치 제어 방법은, 촬영부가 영상을 촬영하는 단계; 표시부가 상기 촬영부를 통해 촬영되는 영상을 표시하는 단계; 상기 영상 내의 가변 표면을 검출하는 단계; 상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 하는 단계; 상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하는 단계; 생성된 상기 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하는 단계; 및 검출된 상기 키 입력에 대응하는 이벤트를 수행하는 단계를 포함하여 구성된다.
상기 가변 표면을 검출하는 단계는, 상기 영상 내의 가변 표면의 경계점(edge point)들을 검출하는 단계; 상기 경계점들을 포함하는 선분들로 이루어진 허프 공간(Hough space)을 생성하는 단계; 상기 허프 공간의 선분들 중 상기 가변 표면을 형성하는 두 개의 평행선을 검출하기 위하여 상기 두 개의 평행선에 대응하는 상기 허프 공간 상의 두 개의 피크(peak)를 상기 허프 공간 상에서 검출하는 단계; 및 상기 두 개의 평행선 사이의 거리에 비례한 크기를 가지는 가변 표면을 상기 가상 입력 장치를 생성하기 위한 가상 입력 장치 표면으로 등록하는 단계를 포함할 수 있다.
상기 학습 데이터를 생성하는 단계는, 상기 입력 오브젝트를 검출하는 단계; 검출된 상기 입력 오브젝트 주변에 패드 영역을 설정하는 단계; 상기 입력 오브젝트의 상기 가변 표면과의 크기를 비교하여 상기 입력 오브젝트와 상기 가변 표면의 접촉이 없는 호버링 상태를 검출하는 단계; 및 상기 호버링 상태와 관련하여 상기 패드 영역의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하고 수집하는 단계를 포함할 수 있다.
상기 키 입력을 검출하는 단계는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 신규로 검출된 상기 패드 영역의 영상 변화와 상기 학습 데이터를 비교하여 상기 입력 오브젝트가 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태인지를 검출하는 단계를 포함할 수 있다.
상기 패드 영역은, 상기 입력 오브젝트의 상측의 상측 패드 영역, 상기 입력 오브젝트의 좌측의 좌측 패드 영역 및 상기 입력 오브젝트의 우측의 우측 패드 영역을 포함할 수 있다. 이 때, 상기 키 입력을 검출하는 단계는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 상측 패드 영역, 좌측 패드 영역 및 우측 패드 영역 모두에 소정의 설정값 이상의 영상 변화가 있는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 단계를 포함할 수 있다.
상기 학습 데이터를 생성하고 수집하는 단계는, 상기 입력 오브젝트에 의해 가압되지 않은 상태에서의 상기 패드 영역의 영상의 형태에 대응하는 키 입력 네거티브 데이터 및 상기 입력 오브젝트에 의한 가압 상태의 패드 영역의 영상 변화의 형태에 대응하는 키 입력 포지티브 데이터를 수집하는 단계를 포함할 수 있다. 이 때, 상기 키 입력을 검출하는 단계는, 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 패드 영역의 영상 변화의 형태가 키 입력 포지티브 데이터에 대응하는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따르면, 증강 현실 기기에 부착된 카메라와 같은 촬영부를 통해 입력된 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 표시부에 표시되도록 하고 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 입력 오브젝트 주변의 영상 변화를 추적하고 학습한 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 가상 입력 장치에 대한 키 입력을 검출함으로써, 증강 현실 기기를 사용하는 사용자에게 있어서 별도의 입력 장치를 구비할 필요 없이 사용자의 팔 등의 가변 표면에 가상 입력 장치를 생성하여 간편하게 입력 기능을 수행할 수 있고, 입력 동작에 의한 물리적 표면의 변형에 수반되는 영상 변화를 학습을 통해 분류하는 방식을 통해 키 입력의 검출이 수행되어, 기존 가상 입력 장치 및 개념들과 차별화되는 정확성과 실용성을 이룰 수 있는 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 가상 입력 장치가 표시된 것을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 가변 표면 검출부가 가변 표면을 검출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치에 키 입력이 입력되는 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 키 입력 검출부가 키 입력을 검출하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치에 드래그 입력이 입력되는 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치가 가변 표면의 회전에 따라 회전하는 모습을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 가변 표면 검출부에 의해 검출될 수 있는 인식부의 일 예를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치가 제스쳐에 의해 키 세트가 변경되는 모습을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 방법을 설명하기 위한 순서도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "...부"의 용어는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치를 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 가상 입력 장치가 표시된 것을 도시한 도면이다.
본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)는 필요에 따라 증강 현실 기기의 형태로서 구현되거나, 상기 증강 현실 기기에 포함된 형태로 구현될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)는 촬영부(110), 표시부(120), 가변 표면 검출부(130), 가상 입력 장치 생성부(140), 입력 학습부(150), 키 입력 검출부(160) 및 키 입력 이벤트 수행부(170)를 포함하여 구성될 수 있다. 도 1에 도시된 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)는 도 1에 도시된 것과 같은 구성을 이용하여 영상(10) 내의 가변 표면(11) 상에 가상 입력 장치(12)를 생성하여 표시부(120)에 표시되도록 하고 가변 표면(11) 상의 물리적 표면 국부 변형을 검출하여 가상 입력 장치(12)에 대한 키 입력을 검출할 수 있다. 이하 이러한 기능을 수행하기 위한 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)의 구성에 대하여 구체적으로 설명하도록 한다.
촬영부(110)는 영상(10)을 촬영한다. 일 실시예에서, 촬영부(110)는 증강 현실 기기에 구비된 카메라일 수 있다.
표시부(120)는 촬영부(110)를 통해 촬영되는 영상(10)을 표시한다. 일 실시예에서, 표시부(120)는 증강 현실 기기에 구비된 LED(Light Emitting Diode) 장치, LCD(Liquid Crystal Display) 장치와 같은 디스플레이 장치일 수 있다.
가변 표면 검출부(130)는 영상(10) 내의 가변 표면(11)을 검출한다. 여기서, 가변 표면(11)은 사람의 팔과 같이 유연성이 있어 다른 물체로 누르면 표면이 움푹 들어갔다가 떼면 다시 표면의 모양이 복귀되는 성질을 갖는 표면을 말한다. 가변 표면(11)은 사람의 팔 뿐만 아니라, 고무 패드와 같이 가변성의 표면을 갖는 것이면 어떤 것이든 가능하다.
일 실시예에서, 가변 표면 검출부(130)는 허프 변환(Hough Transform)을 이용하여 영상(10) 내의 가변 표면(11)을 검출할 수 있다. 이하 가변 표면 검출부(130)가 허프 변환을 이용하여 영상(10) 내의 가변 표면(11)을 검출하는 과정 및 이를 위한 가변 표면 검출부(130)의 구성의 일 예를 도 1 및 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 가변 표면 검출부가 가변 표면을 검출하는 과정을 설명하기 위한 도면이다.
영상(10) 내의 가변 표면(11)을 검출하기 위해, 가변 표면 검출부(130)는 경계점 검출부(131), 허프 공간 생성부(132), 피크 검출부(133) 및 가상 입력 장치 표면 등록부(134)를 포함하여 구성될 수 있다. 도 1에 도시된 가변 표면 검출부(130)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 3의 (a)를 참조하면, 영상(10) 내에 사람의 팔과 같은 가변 표면(11)이 표시되면, 경계점 검출부(131)는 영상(10) 내의 가변 표면의 경계점(edge point)들을 검출한다. 경계점이란 영상(10) 내에서 각 물체의 경계선을 이루는 점들을 의미한다. 이를 통해, 허프 공간 생성부(132)는 상기 경계점들을 포함하는 선분들로 이루어진 허프 공간(Hough space)을 생성한다.
도 3의 (b)를 참조하면, 허프 공간이 생성되고 나면, 피크 검출부(133)는 상기 허프 공간의 선분들 중 가변 표면(11)을 형성하는 두 개의 평행선(21, 22)을 검출하기 위하여 상기 두 개의 평행선(21, 22)에 대응하는 상기 허프 공간 상의 두 개의 피크(peak)를 검출할 수 있다. 여기서 두 개의 평행선(21, 22)은 완전 평행한 선들을 의미하는 것은 아니며, 완전 평행한 선들을 기준으로 소정의 각도 내에서 조금 틀어져 있는 경우라면, 평행선(21, 22)으로 검출될 수 있다.
그리고 도 3의 (c)를 참조하면, 두 개의 평행선(21, 22)이 검출되면, 두 개의 평행선(21, 22) 사이의 거리에 비례한 크기를 가지는 가변 표면을 가상 입력 장치(12)를 생성하기 위한 가상 입력 장치 표면(24)으로 등록할 수 있다.
이와 같은 과정을 거쳐 가변 표면 검출부(130)는 영상(10) 내의 가변 표면(11)을 검출할 수 있다. 도 3을 참조하며 설명한 가변 표면 검출부(130)의 영상(10) 내의 가변 표면 검출 과정은 일 실시예에 따른 것이며, 가변 표면 검출부(130)는 도 3을 참조하여 설명한 방식 이외에 다른 방식을 이용하여 영상(10) 내의 가변 표면(11)을 검출할 수 있음은 당업자에게 자명한 사실이다.
일 실시예에서, 가변 표면 검출부(130)는 가변 표면(11)의 검출의 정확도 및 신속도를 향상시키기 위하여 도 3의 가변 표면 검출 방식 또는 다른 가변 표면 검출 방식과 병행하여, 가변 표면(11)의 컬러를 등록해 놓고 등록된 컬러를 이용하여 가변 표면(11)을 검출할 수 있다. 예를 들어, 가상 입력 장치(12)를 생성하기 위한 가변 표면으로서 사람의 팔을 이용할 경우에는, 미리 등록해 둔 사람의 피부색 또는 색상 분할(color segmentation) 방식을 통해 동적으로 인식한 피부색을 이용하여 가변 표면(11)을 검출할 수 있다.
도 1로 돌아와서, 가상 입력 장치 생성부(140)는 영상(10) 내의 가변 표면(11) 상에 가상 입력 장치(12)를 생성하여 표시부(120)에 표시되도록 한다. 일 실시예에서, 가상 입력 장치 생성부(140)는 가상 입력 장치 표면(24)으로 등록된 가변 표면에 가상 입력 장치(12)를 생성할 수 있다.
입력 학습부(150)는 가상 입력 장치(12)가 생성된 가변 표면(11) 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성한다. 여기서, 입력 오브젝트는 가변 표면(11) 상에 국부 압력을 가하여 물리적 표면 국부 변형을 일으킬 수 있는 물체를 말하며, 일반적으로 사람의 손가락, 막대기, 펜 등과 같은 길쭉한 형상의 물건일 수 있다. 키 입력 검출부(160)는 입력 학습부(150)에서 생성된 학습 데이터를 기반으로 가변 표면(11) 상의 물리적 표면 국부 변형을 검출하여 가상 입력 장치(12)에 대한 키 입력을 검출한다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치에 키 입력이 입력되는 모습을 도시한 도면이다.
도 4를 참조하면, 입력 오브젝트(13)가 사람의 손인 경우를 도시하고 있다. 입력 오브젝트(13)인 사람의 손은 가변 표면(11)인 사람의 팔에 국부 압력을 가하여 물리적 표면 국부 변형을 일으킬 수 있다.
이하 입력 학습부(150)가 입력 오브젝트(13) 주변의 영상 변화를 추적하고 학습하는 과정과 키 입력 검출부(160)가 가상 입력 장치(12)에 대한 키 입력을 검출하는 과정 및 이를 위한 입력 학습부(150)와 키 입력 검출부(160)의 구성의 일 예를 도 1 및 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 키 입력 검출부가 키 입력을 검출하는 과정을 설명하기 위한 도면이다.
입력 오브젝트(13) 주변의 영상 변화를 추적하고 학습하기 위해, 입력 학습부(150)는 입력 오브젝트 검출부(151), 패드 영역 설정부(152), 호버링 검출부(153) 및 데이터 수집부(154)를 포함하여 구성될 수 있다. 도 1에 도시된 입력 학습부(150)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.
우선 영상(10) 내에 입력 오브젝트(13)가 나타나게 되면, 입력 오브젝트 검출부(151)는 입력 오브젝트(13)를 검출한다. 입력 오브젝트(13)를 검출하는 방식은 도 3을 참조하여 설명한 영상(10) 내의 가변 표면 검출 과정과 유사한 방식을 이용할 수 있다.
도 5의 (a)를 참조하면, 입력 오브젝트(13)가 검출되고 나면, 패드 영역 설정부(152)는 검출된 입력 오브젝트(13) 주변에 패드 영역(14-1, 14-2, 14-3)을 설정한다. 도 5의 (a)에 도시된 바와 같이 패드 영역(14-1, 14-2, 14-3)은 입력 오브젝트(13)의 상측의 상측 패드 영역(14-1), 입력 오브젝트(13)의 좌측의 좌측 패드 영역(14-2) 및 입력 오브젝트의 우측의 우측 패드 영역(14-3)을 포함할 수 있다.
호버링 검출부(152)는 입력 오브젝트(13)의 가변 표면(11)과의 크기를 비교하여 입력 오브젝트(13)와 가변 표면(11)의 접촉이 없는 호버링 상태를 검출한다. 호버링 검출부(152)는 입력 오브젝트(13)가 표면과 접촉되지 않고 일정 공간(예를 들어, 1cm 이상)을 두고 이동하는 호버링 상태를 검출할 수 있다. 일 실시예에서, 호버링 상태는 영상(10) 내의 가변 표변(11)의 폭에 대한 입력 오브젝트(13)의 폭의 비율이 소정의 비율 이상일 때 검출할 수 있다. 즉, 입력 오브젝트(13)와 가변 표면(11)의 접촉이 없는 상태일 때에 영상(10) 내의 입력 오브젝트(13)의 폭은 접촉 상태일 때보다 크게 보일 수 있으므로, 영상(10) 내의 가변 표변(11)의 폭에 대한 입력 오브젝트(13)의 폭의 비율을 확인함으로써, 호버링 상태를 검출할 수 있다.
데이터 수집부(154)는 상기 호버링 상태와 관련하여 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기 또는 형태를 추적하고 학습하여 학습 데이터를 생성하고 수집한다. 여기서 학습 데이터는 입력 오브젝트(13)가 가변 표면(11) 위에서 이동하는 호버링 상태인 경우의 패드 영역(14-1, 14-2, 14-3)의 영상 변화와 가변 표면(11) 상의 물리적 표면 국부 변형을 일으키는 가압 상태인 경우의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기 또는 형태를 비교하여 저장한 데이터를 의미한다. 데이터 수집부(154)는 특정 크기의 버퍼를 설정하여 호버링 상태 또는 가압 상태에서의 패드 영역의 영상 변화의 예들을 저장할 수 있다.
일 실시예에서, 데이터 수집부(154)는 호버링 상태의 패드 영역의 영상에 대한 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기를 검출하여 저장할 수 있다. 즉, 데이터 수집부(154)는 호버링 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기를 검출하고, 입력 오브젝트(13)가 검출되었으나 호버링 상태가 검출되지 않았을 때, 즉 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기를 검출하여 서로 비교하여 저장할 수 있다.
또는, 데이터 수집부(154)는 호버링 상태의 패드 영역의 영상에 대한 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태를 검출하여 저장할 수 있다. 즉, 데이터 수집부(154)는 입력 오브젝트(13)에 의해 가압되지 않은 상태에서의 패드 영역(14-1, 14-2, 14-3)의 영상의 형태에 대응하는 키 입력 네거티브 데이터 및 입력 오브젝트(13)에 의한 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태에 대응하는 키 입력 포지티브 데이터를 수집할 수 있다.
예를 들면, 데이터 수집부(154)는 먼저 최대값, 평균값 등으로 이루어진 통계를 적용하여 입력 오브젝트(13)에 의해 가압되지 않은 상태의 키 입력 네거티브 데이터를 수집할 수 있다. 그리고 데이터 수집부(154)는 입력 오브젝트(13)에 의한 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태를 측정하는 방식을 이용하여 키 입력 포지티브 데이터를 수집할 수 있다.
일 실시예에서, 데이터 수집부(154)가 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태를 측정하는 방식은 얼굴 인식 등의 영상 인식의 영역에서 사용되는 공지의 선별기들인 아다부스트(Adaboost), 서포트 벡터 머신(support vector machine), 피셔 선형 판별 분석(Fisher linear discriminant) 등을 측정된 데이터 셋에 적용하여 이진 분류기(binary classifier)를 완성하는 방식을 이용할 수 있다. 상기 설명한 데이터 수집부(154)가 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태를 측정하는 방식은 일 실시예에 따른 것이며, 데이터 수집부(154)는 상기 설명한 방식 이외에 다른 방식을 이용하여 가압 상태의 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 형태를 측정할 수 있음은 당업자에게 자명한 사실이다.
일 실시예에서, 데이터 수집부(154)는 가상 입력 장치 생성부(140)를 통해 가상 입력 장치(12)가 생성될 당시 초기화 루틴에서 사용자에게 키 입력을 지시하여 사용자로부터 키 입력을 받아 키 입력 포지티브 데이터를 획득할 수 있다.키 입력 검출부(160)는 패드 영역(14-1, 14-2, 14-3)의 영상 변화를 검출하여 가변 표면(11) 상의 물리적 표면 국부 변형을 검출할 수 있다. 이를 위하여 패드 영역(14-1, 14-2, 14-3)의 영상 변화가 신규로 검출되면, 신규로 검출된 패드 영역(14-1, 14-2, 14-3)의 영상 변화와 상기 학습 데이터를 비교하여 상기 입력 오브젝트가 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태인지를 검출할 수 있다.
일 실시예에서, 키 입력 검출부(160)는 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 상측 패드 영역, 좌측 패드 영역 및 우측 패드 영역 모두의 영상 변화의 크기가 소정의 설정값 이상인 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출할 수 있다.
다른 실시예에서, 키 입력 검출부(160)는 상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 패드 영역의 영상 변화의 형태가 키 입력 포지티브 데이터에 대응하는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출할 수 있다.
도 5의 (b) 및 (c)를 참조하여, 키 입력 검출부(160)의 키 입력 검출 과정의 일 예를 설명하면 다음과 같다.
도 5의 (b)를 참조하면, 입력 오브젝트(13)가 가변 표면(11) 위에서 이동하는 모습이 도시되어 있다. 이 경우에 입력 오브젝트(13)와 가변 표면(11)의 접촉이 없으므로 영상(10) 내의 가변 표변(11)의 폭에 대한 입력 오브젝트(13)의 폭의 비율이 소정의 비율 이상으로 검출되어 호버링 상태로 검출될 것이고, 패드 영역(14-1, 14-2, 14-3)의 일부에만 입력 오브젝트(13)의 그림자(13')가 지게 되어 해당 패드 영역(14-2)에만 영상 변화가 일어날 것이다.
도 5의 (c)를 참조하면, 입력 오브젝트(13)가 가변 표면(11) 상의 물리적 표면 국부 변형을 일으키는 모습이 도시되어 있다. 이 경우에 입력 오브젝트(13)의 가변 표면(11)에 대한 접촉 및 가압으로 인하여 패드 영역(14-1, 14-2, 14-3)의 전부에 입력 오브젝트(13)의 그림자(13'')가 지게 되고 해당 가변 영역의 형태에 변형이 발생하여 패드 영역(14-1, 14-2, 14-3) 전체에 영상 변화가 일어날 것이다.이와 같은 과정을 거쳐 키 입력 검출부(160)는 패드 영역(14-1, 14-2, 14-3)의 영상 변화의 크기 또는 형태를 분석하여 가변 표면(11) 상의 물리적 표면 국부 변형을 검출함으로써, 가상 입력 장치(12)에 대한 키 입력을 검출할 수 있다. 도 5를 참조하며 설명한 키 입력 검출부(160)의 가상 입력 장치(12)에 대한 키 입력 검출 과정은 일 실시예에 따른 것이며, 키 입력 검출부(160)는 도 5를 참조하여 설명한 방식 이외에 다른 방식을 이용하여 가상 입력 장치(12)에 대한 키 입력을 검출할 수 있음은 당업자에게 자명한 사실이다.
다시 도 1로 돌아와서, 키 입력 검출부(160)에서 키 입력이 검출되면, 키 입력 이벤트 수행부(170)는 검출된 상기 키 입력에 대응하는 이벤트를 수행한다. 키 입력에 대응하는 이벤트란 예를 들어, 'a' 키가 입력되면 표시부(120)에 'a'를 표시하거나 'delete' 키가 입력되면 해당 위치의 글자를 삭제하는 것과 같은 동작을 말한다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치에 드래그 입력이 입력되는 모습을 도시한 도면이다.
상기 도 5를 참조하여 설명한 키 입력 검출부(160)의 가상 입력 장치(12)에 대한 키 입력 검출 방식을 이용하면, 도 6에서와 같이 키 입력 상태에서 이동하는 드래그 입력을 검출할 수 있다.
키 입력 검출부(160)는 입력 오브젝트(13)에 의한 키 입력이 검출된 후 입력 오브젝트(13)의 위치 및 패드 영역(14-1, 14-2, 14-3)의 영상 변화를 추적하여, 상기 키 입력 상태에서 입력 오브젝트(13)가 이동한 후 상기 키 입력 상태가 해제되는 입력이 검출되면, 해당 입력을 드래그 입력으로 검출할 수 있다.
이와 같은 과정을 통해 키 입력 후 이동된 영역(15)에 대해 드래그 입력이 검출되게 된다. 이처럼 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의하면, 키보드와 같은 키 입력뿐만 아니라, 마우스와 같은 드래그 입력도 가능하므로, 별도의 마우스 장치를 구비할 필요가 없다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치가 가변 표면의 회전에 따라 회전하는 모습을 도시한 도면이다.
지금까지 도면을 참조하여 설명한 예와 같이 사람의 팔을 가변 표면으로 이용할 경우에는 공간의 제약이 있어 키들을 충분히 표현하지 못하는 경우가 발생할 수 있다. 따라서, 이를 위해 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치는 가상 입력 장치의 회전을 제공할 수 있다.
일 실시예에서, 가변 표면 검출부(130)는 가변 표면(11)의 회전을 검출하고, 가상 입력 장치 생성부(140)는 가변 표면(11)의 회전이 검출되면, 가변 표면(11)의 회전에 따라 가상 입력 장치(12)도 회전되어 점차로 이전의 키 세트(key set)와 상이한 키 세트가 표시되도록 할 수 있다.
도 7을 참조하면, 도 2에서의 팔 위치에서 팔을 상측 방향으로 회전시킴으로써, 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 가상 입력 장치(12)의 알파벳 키 세트 밑에 존재하던 숫자 키 세트와 기능(function) 키 세트가 표시되는 모습이 도시된다.
이처럼 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의하면, 영상(10) 내의 가변 표면(11)에 표시된 가상 입력 장치(12)가 가변 표면(11)의 회전에 따라 회전하도록 함으로써, 가변 표면(11)의 공간의 제약을 극복하고 다양한 키 세트들을 이용할 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치의 가변 표면 검출부에 의해 검출될 수 있는 인식부의 일 예를 도시한 도면이다.
본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치(100)를 이용할 경우, 가변 표면(11)에 인접한 인식부(16)를 구비함으로써, 팔의 위치를 정확하고 신속하게 인식하도록 할 수 있다. 이를 통해, 도 7에서와 같이 팔을 회전시키는 경우, 팔의 회전을 정확하고 신속하게 인식할 수 있다.
이 때, 가변 표면 검출부(130)는 가변 표면(11)에 인접한 인식부(16)의 촬영부(110)를 통해 촬영된 영상 변화에 따라 가변 표면(11)의 회전을 검출할 수 있다.
인식부(16)는 도 8에 도시된 것과 같이 위치에 따라 특정한 모양, 색상 및 형상 중 하나 이상을 갖는 밴드일 수 있다. 또는, 일 실시예에서, 인식부(16)는 스마트 워치와 같은 특정 형상을 갖는 시계일 수 있다. 이 경우, 가변 표면 검출부(130)는 스마트 워치의 위치에 따른 특징부를 인식하거나 스마트 워치의 화면을 통해 표시된 소정의 이미지를 인식하여 팔의 위치를 인식할 수 있다.
도 9는 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 영상 내의 가변 표면에 표시된 가상 입력 장치가 제스쳐에 의해 키 세트가 변경되는 모습을 도시한 도면이다.
상기 도 7을 참조하여 설명한 예와 같이 영상(10) 내의 가변 표면(11)에 표시된 가상 입력 장치(12)가 가변 표면(11)의 회전에 따라 회전하도록 함으로써, 가변 표면(11)의 공간의 제약을 극복하고 다양한 키 세트들을 이용할 수 있다. 하지만, 이러한 방식으로도 다른 외국어, 특수 기호 등을 전부 표시하기에는 한계가 있다. 따라서, 도 9에서와 같이 영상(10) 내의 가변 표면(11)에 표시된 가상 입력 장치(12)가 제스쳐에 의해 키 세트가 변경되도록 할 수 있다.
일 실시예에서, 가변 표면 검출부(130)는 가변 표면(11)에 인접한 신체 부위(17)의 제스쳐를 검출하고, 가상 입력 장치 생성부(140)는 신체 부위(17)의 제스쳐가 검출되면, 가변 표면(11)의 제스쳐에 대응하는 키 세트가 표시되도록 할 수 있다.
도 9를 참조하면, 도 2에서의 가변 표면(11)에 인접한 신체 부위(17)인 손을 펼친 제스쳐에서 주먹 쥔 제스쳐로 변경함으로써, 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의해 가상 입력 장치(12)의 알파벳 키 세트가 한글 키 세트로 변경되어 표시되는 모습이 도시된다.
이처럼 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 장치에 의하면, 사용자가 다른 키 세트를 이용하고자 할 경우 손쉽게 키 세트들을 변경하여 이용할 수 있게 된다.
도 10은 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기기를 위한 가상 입력 장치 제어 방법이 시작되면, 먼저 촬영부가 영상을 촬영하면(S1), 표시부가 상기 촬영부를 통해 촬영되는 영상을 표시한다(S2).
그리고 상기 영상 내의 가변 표면을 검출하고(S3), 검출된 상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 한다(S4).
그리고 나서, 상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하고(S5), 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하며(S6), 검출된 키 입력에 대응하는 이벤트를 수행한다(S7).
전술한 증강 현실 기기를 위한 가상 입력 장치 제어 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.
100: 증강 현실 기기를 위한 가상 입력 장치 제어 장치
110: 촬영부 120: 표시부
130: 가변 표면 검출부 131: 경계점 검출부
132: 허프 공간 생성부 133: 피크 검출부
134: 가상 입력 장치 표면 등록부 140: 가상 입력 장치 생성부
150: 입력 학습부 151: 입력 오브젝트 검출부
152: 패드 영역 설정부 153: 호버링 검출부
154: 데이터 수집부 160: 키 입력 검출부
170: 키 입력 이벤트 수행부

Claims (17)

  1. 촬영부;
    상기 촬영부를 통해 촬영되는 영상을 표시하는 표시부;
    상기 영상 내의 가변 표면을 검출하는 가변 표면 검출부;
    상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 하는 가상 입력 장치 생성부;
    상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하는 입력 학습부;
    생성된 상기 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하는 키 입력 검출부; 및
    검출된 상기 키 입력에 대응하는 이벤트를 수행하는 키 입력 이벤트 수행부를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  2. 제1항에 있어서,
    상기 가변 표면 검출부는,
    상기 영상 내의 가변 표면의 경계점(edge point)들을 검출하는 경계점 검출부;
    상기 경계점들을 포함하는 선분들로 이루어진 허프 공간(Hough space)을 생성하는 허프 공간 생성부;
    상기 허프 공간의 선분들 중 상기 가변 표면을 형성하는 두 개의 평행선을 검출하기 위하여 상기 두 개의 평행선에 대응하는 상기 허프 공간 상의 두 개의 피크(peak)를 검출하는 피크 검출부; 및
    상기 두 개의 평행선 사이의 거리에 비례한 크기를 가지는 가변 표면을 상기 가상 입력 장치를 생성하기 위한 가상 입력 장치 표면으로 등록하는 가상 입력 장치 표면 등록부를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  3. 제1항에 있어서,
    상기 입력 학습부는,
    상기 입력 오브젝트를 검출하는 입력 오브젝트 검출부;
    검출된 상기 입력 오브젝트 주변에 패드 영역을 설정하는 패드 영역 설정부;
    상기 입력 오브젝트의 상기 가변 표면과의 크기를 비교하여 상기 입력 오브젝트와 상기 가변 표면의 접촉이 없는 호버링 상태를 검출하는 호버링 검출부;
    상기 호버링 상태와 관련하여 상기 패드 영역의 영상 변화의 크기 또는 형태를 추적하고 학습하여 학습 데이터를 생성하고 수집하는 데이터 수집부를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  4. 제3항에 있어서,
    상기 키 입력 검출부는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 신규로 검출된 상기 패드 영역의 영상 변화와 상기 학습 데이터를 비교하여 상기 입력 오브젝트가 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태인지를 검출하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  5. 제4항에 있어서,
    상기 패드 영역은,
    상기 입력 오브젝트의 상측의 상측 패드 영역, 상기 입력 오브젝트의 좌측의 좌측 패드 영역 및 상기 입력 오브젝트의 우측의 우측 패드 영역을 포함하되,
    상기 키 입력 검출부는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 상측 패드 영역, 좌측 패드 영역 및 우측 패드 영역 모두의 영상 변화의 크기가 소정의 설정값 이상인 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  6. 제4항에 있어서,
    상기 데이터 수집부는,
    상기 입력 오브젝트에 의해 가압되지 않은 상태에서의 상기 패드 영역의 영상의 형태에 대응하는 키 입력 네거티브 데이터 및 상기 입력 오브젝트에 의한 가압 상태의 패드 영역의 영상 변화의 형태에 대응하는 키 입력 포지티브 데이터를 수집하고,
    상기 키 입력 검출부는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 패드 영역의 영상 변화의 형태가 키 입력 포지티브 데이터에 대응하는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  7. 제3항에 있어서,
    상기 키 입력 검출부는,
    상기 입력 오브젝트에 의한 키 입력이 검출된 후 상기 입력 오브젝트의 위치 및 패드 영역의 영상 변화를 추적하여, 상기 키 입력 상태에서 상기 입력 오브젝트가 이동한 후 상기 키 입력 상태가 해제되는 입력이 검출되면, 해당 입력을 드래그 입력으로 검출하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  8. 제1항에 있어서,
    상기 가변 표면 검출부는,
    상기 가변 표면의 회전을 검출하고,
    상기 가상 입력 장치 생성부는,
    상기 가변 표면의 회전이 검출되면, 상기 가변 표면의 회전에 따라 상기 가상 입력 장치도 회전되어 점차로 이전의 키 세트(key set)와 상이한 키 세트가 표시되도록 하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  9. 제8항에 있어서,
    상기 가변 표면 검출부는,
    상기 가변 표면에 인접한 인식부의 상기 촬영부를 통해 촬영된 영상 변화에 따라 상기 가변 표면의 회전을 검출하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  10. 제9항에 있어서,
    상기 인식부는,
    위치에 따라 특정한 모양, 색상 및 형상 중 하나 이상을 갖는 밴드인 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  11. 제1항에 있어서,
    상기 가변 표면 검출부는,
    상기 가변 표면에 인접한 신체 부위의 제스쳐를 검출하고,
    상기 가상 입력 장치 생성부는,
    상기 신체 부위의 제스쳐가 검출되면, 상기 가변 표면의 제스쳐에 대응하는 키 세트가 표시되도록 하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 장치.
  12. 촬영부가 영상을 촬영하는 단계;
    표시부가 상기 촬영부를 통해 촬영되는 영상을 표시하는 단계;
    상기 영상 내의 가변 표면을 검출하는 단계;
    상기 영상 내의 가변 표면 상에 가상 입력 장치를 생성하여 상기 표시부에 표시되도록 하는 단계;
    상기 가상 입력 장치가 생성된 가변 표면 상의 입력 오브젝트(object)의 동작에 따른 상기 입력 오브젝트 주변의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하는 단계;
    생성된 상기 학습 데이터를 기반으로 상기 가변 표면 상의 물리적 표면 국부 변형을 검출하여 상기 가상 입력 장치에 대한 키 입력을 검출하는 단계; 및
    검출된 상기 키 입력에 대응하는 이벤트를 수행하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
  13. 제12항에 있어서,
    상기 가변 표면을 검출하는 단계는,
    상기 영상 내의 가변 표면의 경계점(edge point)들을 검출하는 단계;
    상기 경계점들을 포함하는 선분들로 이루어진 허프 공간(Hough space)을 생성하는 단계;
    상기 허프 공간의 선분들 중 상기 가변 표면을 형성하는 두 개의 평행선을 검출하기 위하여 상기 두 개의 평행선에 대응하는 상기 허프 공간 상의 두 개의 피크(peak)를 상기 허프 공간 상에서 검출하는 단계; 및
    상기 두 개의 평행선 사이의 거리에 비례한 크기를 가지는 가변 표면을 상기 가상 입력 장치를 생성하기 위한 가상 입력 장치 표면으로 등록하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
  14. 제12항에 있어서,
    상기 학습 데이터를 생성하는 단계는,
    상기 입력 오브젝트를 검출하는 단계;
    검출된 상기 입력 오브젝트 주변에 패드 영역을 설정하는 단계;
    상기 입력 오브젝트의 상기 가변 표면과의 크기를 비교하여 상기 입력 오브젝트와 상기 가변 표면의 접촉이 없는 호버링 상태를 검출하는 단계; 및
    상기 호버링 상태와 관련하여 상기 패드 영역의 영상 변화를 추적하고 학습하여 학습 데이터를 생성하고 수집하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
  15. 제14항에 있어서,
    상기 키 입력을 검출하는 단계는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 신규로 검출된 상기 패드 영역의 영상 변화와 상기 학습 데이터를 비교하여 상기 입력 오브젝트가 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태인지를 검출하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
  16. 제15항에 있어서,
    상기 패드 영역은,
    상기 입력 오브젝트의 상측의 상측 패드 영역, 상기 입력 오브젝트의 좌측의 좌측 패드 영역 및 상기 입력 오브젝트의 우측의 우측 패드 영역을 포함하되,
    상기 키 입력을 검출하는 단계는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 상측 패드 영역, 좌측 패드 영역 및 우측 패드 영역 모두에 소정의 설정값 이상의 영상 변화가 있는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
  17. 제15항에 있어서,
    상기 학습 데이터를 생성하고 수집하는 단계는,
    상기 입력 오브젝트에 의해 가압되지 않은 상태에서의 상기 패드 영역의 영상의 형태에 대응하는 키 입력 네거티브 데이터 및 상기 입력 오브젝트에 의한 가압 상태의 패드 영역의 영상 변화의 형태에 대응하는 키 입력 포지티브 데이터를 수집하는 단계를 포함하고,
    상기 키 입력을 검출하는 단계는,
    상기 패드 영역의 영상 변화가 신규로 검출되면, 상기 패드 영역의 영상 변화의 형태가 키 입력 포지티브 데이터에 대응하는 경우, 상기 가변 표면 상의 물리적 표면 국부 변형을 일으키는 가압 상태로 검출하는 단계를 포함하는 것을 특징으로 하는 증강 현실 기기를 위한 가상 입력 장치 제어 방법.
KR1020140086249A 2014-07-09 2014-07-09 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법 KR101567469B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140086249A KR101567469B1 (ko) 2014-07-09 2014-07-09 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140086249A KR101567469B1 (ko) 2014-07-09 2014-07-09 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101567469B1 true KR101567469B1 (ko) 2015-11-20

Family

ID=54844312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140086249A KR101567469B1 (ko) 2014-07-09 2014-07-09 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101567469B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097683A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534895A (ja) 2007-07-27 2010-11-11 ジェスチャー テック，インコーポレイテッド 高度なカメラをベースとした入力
JP2012248067A (ja) 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534895A (ja) 2007-07-27 2010-11-11 ジェスチャー テック，インコーポレイテッド 高度なカメラをベースとした入力
JP2012248067A (ja) 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097683A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
US11199709B2 (en) 2016-11-25 2021-12-14 Samsung Electronics Co., Ltd. Electronic device, external electronic device and method for connecting electronic device and external electronic device

Similar Documents

Publication Publication Date Title
US10001845B2 (en) 3D silhouette sensing system
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
Dominio et al. Combining multiple depth-based descriptors for hand gesture recognition
Nai et al. Fast hand posture classification using depth features extracted from random line segments
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
Wang et al. Real-time hand-tracking with a color glove
US20170293364A1 (en) Gesture-based control system
Cheng et al. Image-to-class dynamic time warping for 3D hand gesture recognition
Premaratne et al. Historical development of hand gesture recognition
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
US11009949B1 (en) Segmented force sensors for wearable devices
CN103207709A (zh) 一种多点触摸系统及方法
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN104714650B (zh) 一种信息输入方法和装置
KR20200068083A (ko) 심층 합성곱 신경망을 이용하여 rgb-d 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 방법 및 장치
Hartanto et al. Real time hand gesture movements tracking and recognizing system
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Titlee et al. A novel design of an intangible hand gesture controlled computer mouse using vision based image processing
KR101567469B1 (ko) 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법
CN104199602B (zh) 一种信息处理方法及电子设备
Bellarbi et al. Hand gesture recognition using contour based method for tabletop surfaces
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치
Khan et al. Gesture recognition using Open-CV
Oh et al. A hand and wrist detection method for unobtrusive hand gesture interactions using HMD

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181104

Year of fee payment: 4