KR102610690B1 - 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법 - Google Patents

외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법 Download PDF

Info

Publication number
KR102610690B1
KR102610690B1 KR1020170024874A KR20170024874A KR102610690B1 KR 102610690 B1 KR102610690 B1 KR 102610690B1 KR 1020170024874 A KR1020170024874 A KR 1020170024874A KR 20170024874 A KR20170024874 A KR 20170024874A KR 102610690 B1 KR102610690 B1 KR 102610690B1
Authority
KR
South Korea
Prior art keywords
user
command
input
user input
outline
Prior art date
Application number
KR1020170024874A
Other languages
English (en)
Other versions
KR20180097989A (ko
Inventor
배수영
이동춘
이헌주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170024874A priority Critical patent/KR102610690B1/ko
Publication of KR20180097989A publication Critical patent/KR20180097989A/ko
Application granted granted Critical
Publication of KR102610690B1 publication Critical patent/KR102610690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 일 실시예는, 사용자 신체에 상응하는 사용자 입력 영상을 생성하는 입력부; 상기 사용자 입력 영상을 이용하여 상기 사용자 신체의 움직임에 상응하는 입력 명령을 인식하는 명령 인식부; 상기 인식된 입력 명령을 수행하는 명령 수행부; 및 상기 사용자 신체에 상응하는 외곽선을 생성하여 상기 사용자 신체에 연동하여 표시하는 외곽선 표시부; 를 포함하는, 사용자 입력 표현 장치를 제공한다.

Description

외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법{APPARATUS FOR EXPRESSING USER INPUT USING OUTLINE AND TRAJECTORY REPRESENTATION AND METHOD FOR THE SAME}
본 발명은 사용자 입력 표현 장치 및 그 방법에 관한 것이다. 더욱 상세하게, 본 발명은 사용자의 입력에 상응하는 외곽선을 생성하여 표시하고, 사용자 입력의 이동궤적을 추출하여 표시해서, 사용자의 입력 내용을 직관적으로 보여주어 입력의 명료성과 정확성을 높이기 위한 장치 및 그 방법에 관한 것이다.
스마트폰, 스마트워치, 헤드 마운트 디스플레이(HMD: Head Mount Display), 웨어러블 글래스 등의 휴대형 컴퓨팅 및 디스플레이 장치의 개발과 보급이 확대되고 있다. 디지털 사이니지, 증강 현실, 게임 기술 또한 발전하여 컴퓨팅 환경이 특정 공간에 국한되지 않고, 실내외 공간 영역으로 자유롭게 확장되어 사용자들에게 다양한 서비스를 제공하기 시작했다. 이러한 기기와 콘텐츠 환경의 변화는 사용자들을 책상 앞 컴퓨터 등의 단말 화면에서 벗어나, 일상 생활 속에서 자연스럽게 컴퓨팅 기기와 상호작용을 하도록 변화시키고 있다. 따라서, 컴퓨팅 인터페이스도 기존의 키보드와 마우스, 터치패드로 대변되는 입력 수단을 대체하여 생활 속에서 자연스러운 사용자 입력을 제공하는 방법들로 연구가 진행되고 있다.
음성, 제스처, 동작, 시선, 근전도 인식 등 다양한 컴퓨팅 인터페이스가 모바일, 스마트, 웨어러블 기기와의 상호작용을 위해 활발히 연구되고 있고, 이러한 연구는 대부분 다양한 종류의 입력 명령을 개발하고, 설정된 명령에 대한 인식률을 높이기 위한 연구로 진행되고 있다. 사용자 입장에서 사용 편이성과 효율성에 대한 방법 연구도 시작되고 있다.
기존에는 제스처 및 동작 인식 등의 사용자 신체를 이용한 컴퓨팅 상호작용에 대해 사용자 입장에서 현재 상태가 명령 입력 모드인지 아닌지, 그리고 발생한 명령이 원하는 입력이 맞는지 등에 대해 확인하기 어려웠다. 명령 입력 모드 일 때에, 사용자 디스플레이 장치 상에서는 사람의 신체 그 자체를 별다른 구분없이 사용하거나, 신체를 대체하는 가상의 모델(손, 관절 등)로 표현하였다. 입력의 시작과 종료에 있어서도, 종료 모드가 될 때까지 계속 인식하는 방식으로, 사용자로부터 임의로 발생되는 모든 움직임이 명령으로 입력되어 사용자가 원치 않은 명령으로 인한 오동작이 발생될 수 있었다.
한국 공개특허공보 제10-2013-0117553호
본 발명은 손, 발, 팔, 다리 등의 신체를 활용한 제스처 및 동작 인식 등의 컴퓨팅 입력에 있어서, 입력 대상에 외곽선을 표시하는 방식을 통해 사용자에게 현재 상태가 명령 입력 모드 임을 상기시켜 주는 것을 목적으로 한다.
또한, 본 발명은 사용자 입력을 외곽선, 궤적 또는 인식된 명령에 상응하는 형상으로 표시하는 방식을 통해, 사용자가 어떠한 입력을 했는지를 피드백을 하여 사용자 입력 명령의 정확성과 명확성을 높이는 것을 목적으로 있다.
본 발명의 일 실시예는, 사용자 신체에 상응하는 사용자 입력 영상을 생성하는 입력부; 상기 사용자 입력 영상을 이용하여 상기 사용자 신체의 움직임에 상응하는 입력 명령을 인식하는 명령 인식부; 상기 인식된 입력 명령을 수행하는 명령 수행부; 및 상기 사용자 신체에 상응하는 외곽선을 생성하여 상기 사용자 신체에 연동하여 표시하는 외곽선 표시부; 를 포함하는, 사용자 입력 표현 장치를 제공한다.
또한, 상기 사용자 입력 표현 장치는 상기 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 표시하는 이동궤적 표시부; 를 더 포함할 수 있다.
또한, 상기 명령 인식부는 상기 이동궤적을 이용하여 상기 입력 명령을 인식할 수 있다.
또한, 상기 사용자 입력 표현 장치는 상기 입력 명령에 상응하는 명령 형상을 표시하는 명령 형상 표시부; 를 더 포함할 수 있다.
본 발명의 다른 일 실시예는, 사용자 신체에 상응하는 사용자 입력 영상을 생성하는 단계; 상기 사용자 신체에 상응하는 외곽선을 생성하여 상기 사용자 신체에 연동하여 표시하는 단계; 상기 사용자 입력 영상을 이용하여 상기 사용자 신체의 움직임에 상응하는 입력 명령을 인식하는 단계; 및 상기 인식된 입력 명령을 수행하는 단계; 를 포함하는, 사용자 입력 표현 방법을 제공한다.
또한, 상기 사용자 입력 표현 방법은 상기 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 표시하는 단계; 를 더 포함할 수 있다.
또한, 상기 명령을 인식하는 단계는 상기 이동궤적을 이용하여 상기 입력 명령을 인식할 수 있다.
또한, 사용자 입력 표현 방법은 상기 입력 명령에 상응하는 명령 형상을 표시하는 단계; 를 더 포함할 수 있다.
본 발명의 또 다른 일 실시예는, 컴퓨터를 이용하여 상기 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명은 손, 발, 팔, 다리 등의 신체를 활용한 제스처 및 동작 인식 등의 컴퓨팅 입력에 있어서, 입력 대상에 외곽선을 표시하는 방식을 통해 사용자에게 현재 상태가 명령 입력 모드 임을 상기시켜 줄 수 있다.
또한, 본 발명은 사용자 입력을 외곽선, 궤적 또는 인식된 명령에 상응하는 형상으로 표시하는 방식을 통해, 사용자가 어떠한 입력을 했는지를 피드백을 하여 사용자 입력 명령의 정확성과 명확성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 입력 표현 장치의 구성을 나타낸 블록도이다.
도 2는 사용자의 신체에 상응하는 사용자 입력 영상의 여러 예시와, 본 발명의 일 실시예에 따른 외곽선들을 나타낸 도면이다.
도 3은 움직이는 사용자의 손이 포함된 사용자 입력 영상의 일 예와, 본 발명의 일 실시예에 따른 외곽선 및 이동궤적을 나타낸 도면이다.
도 4는 움직이는 사용자의 손이 포함된 사용자 입력 영상의 다른 일 예와, 본 발명의 일 실시예에 따른 외곽선 및 이동궤적을 나타낸 도면이다.
도 5는 도 4에 도시된 사용자 입력 영상의 예시에서, 본 발명의 일 실시예에 따른 외곽선 및 명령 형상을 나타낸 도면이다.
도 6은 도 4에 도시된 사용자 입력의 예시에서, 본 발명의 일 실시예에 따른 외곽선, 이동궤적 및 명령 형상을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 입력 표현 방법을 나타낸 동작 흐름도이다.
도 8은 본 발명의 다른 일 실시예에 따른 사용자 입력 표현 방법을 나타낸 동작 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성되어 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 입력 표현 장치(100)의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 입력 표현 장치(100)는 입력부(110), 명령 인식부(120), 명령 수행부 (130) 및 외곽선 표시부(140) 등을 포함한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 장치(100)는 입력부(110), 명령 인식부(120), 명령 수행부(130), 외곽선 표시부(140) 및 이동궤적 표시부(150) 등을 포함한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 장치(100)는 입력부(110), 명령 인식부(120), 명령 수행부(130), 외곽선 표시부(140), 이동궤적 표시부(150) 및 명령 형상 표시부(160) 등을 포함한다.
상세히, 입력부(110)는 손, 발, 팔, 다리 등과 같은 사용자 신체에 상응하는 사용자 입력 영상을 생성한다. 이는, 사용자의 신체 일부를 포함한 화상정보를 입력받을 수 있는 카메라 등과 같은 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
명령 인식부(120)는 사용자 입력 영상을 분석하여 사용자 신체의 움직임에 상응하는 입력 명령을 인식한다.
본 발명의 일 실시예에서는 기존의 입력 방법으로서의 마우스나 키보드와 같은 입력도구를 사용하여 직접 명령을 입력받는 것과는 달리, 사용자의 동작으로부터 입력을 받아 적당한 입력 명령으로 변환하는 과정이 필요하다.
만약, 사용자 입력 영상을 분석하였지만 상응하는 입력 명령을 찾지 못한 경우에는, 계속해서 생성되는 사용자 입력 영상으로부터 입력 명령을 인식할 수 있다.
명령 수행부(130)는 인식된 입력 명령을 수행한다.
이 때, 입력 명령들에는 여러가지 종류가 존재할 수 있다. 예를 들어, 실 환경의 물건을 선택하는 것과 같이 실 환경의 객체와의 연동이 수반하는 명령들; 사용자의 화면에 있는 객체와 연동을 수반하는 명령들; 또는 사용자 입력 모드를 종료하는 것과 같은 제어 명령들 등이 존재할 수 있다.
외곽선 표시부(140)는 사용자 신체에 상응하는 외곽선을 생성하여, 사용자 신체에 연동하여 표시한다.
여기서, 사용자 신체에 상응하는 외곽선은 도 3에 예시된 것과 같이, 사용자 신체의 외곽선 혹은 윤곽선을 나타내며, 이를 통해 배경 또는 다른 개체와 구분될 수 있다.
이때, 생성된 외곽선은 사용자 신체가 어떻게 인식되고 있는지 확인하는 정보로 사용될 수 있다. 특히, 외곽선 정보가 표시됨으로써 사용자에게 동작 인식 입력을 받는 사용자 입력 모드의 실행 여부를 확인시켜주는 용도로 사용될 수 있다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 사용자가 보게되는 화면상의 사용자 신체의 모습에 연동하여 사용자 신체에 상응하는 외곽선을 표시할 수 있다.
이동궤적 표시부(150)는 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 표시한다.
이때, 본 발명의 일 실시예에서는, 사용자 입력 영상에 상응하는 사용자 신체의 움직임을 트래킹하여 이동궤적으로 추출함으로써, 사용자 입력 영상에 상응하는 사용자 신체의 움직임을 간소화하여 입력 명령을 용이하게 인식할 수 있다.
특히, 사용자 입력 모드가 실행중인 경우에는, 사용자 입력에 상응하는 이동궤적을 표시하여 사용자에게 사용자 입력 모드의 실행 여부 및 사용자 신체의 움직임이 어떻게 인식되는지 확인시켜줄 수 있다.
그리고, 외곽선 및 이동궤적을 동시에 표시하여 사용자에게 사용자 입력 모드의 실행 여부, 사용자 신체가 어떻게 인식되는지 및 사용자 신체의 움직임이 어떻게 인식되는지 확인시켜줄 수 있다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 사용자가 보게되는 화면상의 사용자 신체 모습에 연동하여 사용자 신체에 상응하는 외곽선을 표시하고, 사용자 신체의 움직임에 상응하는 이동궤적을 표시할 수 있다.
명령 형상 표시부(160)는 사용자 입력 영상으로부터 인식된 입력 명령에 상응하는 명령 형상을 표시한다.
여기서, 명령 형상은 인식된 입력 명령들 각각에 상응하도록 기설정된 문자, 문자열, 그림 또는 문양 등과 같은 모든 형상을 포함하며, 이를 통해 다른 입력 명령들과 구분하거나, 해당 입력 명령의 정보를 전달할 수 있다.
특히, 사용자 입력 모드가 실행중인 경우에는, 사용자 입력 영상에 상응하는 입력 명령을 명령 형상으로 표시하여 사용자에게 사용자 입력 모드의 실행 여부 및 사용자 입력 영상으로부터 어떤 명령이 인식되는지 확인시켜줄 수 있다.
그리고, 외곽선과 명령 형상을 동시에 표시하여 사용자에게 사용자 입력 모드의 실행 여부, 사용자 신체가 어떻게 인식되는지 및 사용자 입력 영상으로부터 어떤 명령이 인식되는지를 확인시켜줄 수 있다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 사용자가 보게되는 화면상의 사용자 신체의 모습에 연동하여 사용자 신체에 상응하는 외곽선을 표시하고, 사용자의 움직임으로부터 인식된 입력 명령에 상응하는 명령 형상을 표시할 수 있다.
또한, 본 발명의 일 실시예에서, 기설정된 표현정보에 따라, 사용자 입력에 상응하는 외곽선, 입력 명령 및 이동궤적 중에서 적어도 하나 이상을 사용자 입력에 적합하게 출력할 수 있다.
외곽선, 입력 명령 그리고 이동궤적은 모두 사용자 입력 모드가 진행중임을 알려줄 수 있는 정보로 활용될 수 있으며, 각각 사용자 입력 영상과 관련된 유용한 정보를 포함한다. 하지만, 사용자별로 요구하는 정보가 다르므로, 사용자가 변경 가능한 기설정된 표현정보에 따라 선별적으로 정보를 표현하여, 사용자에 적합한 서비스를 제공할 수 있다.
도 2는 사용자의 신체에 상응하는 사용자 입력 영상의 여러 예시와, 본 발명의 일 실시예에 따른 외곽선들을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에서, 명령을 입력하기 위해 여러 종류의 사용자의 신체에 상응하는 입력 영상을 생성할 수 있으며, 사용자 입력을 위한 신체부위는 손뿐만 아니라 발이나 팔과 같이 제한이 없다.
그리고 본 발명의 일 실시예는, 사용자 입력 영상에 포함된 사용자의 신체 윤곽을 따라서 외곽선을 생성하고, 생성된 외곽선을 사용자 입력 영상에 상응하는 사용자 신체에 연동하여 표시할 수 있다.
도 3은 움직이는 사용자의 손이 포함된 사용자 입력 영상의 일 예와, 본 발명의 일 실시예에 따른 외곽선 및 이동궤적을 나타낸 도면이다.
도 3에는 움직이는 사용자의 손이 포함된 사용자 입력 영상의 일 예로서, 손이 좌측에서 우측으로 이동하는 사용자 입력 영상이 도시되어 있다. 움직이는 손을 묘사하기 위해 3개의 손이 동시에 도시되어 있으나, 실제로는 움직이는 1개의 손만이 입력되는 상태이다. 본 발명의 여러 실시예에 따라, 1개의 손만이 표현되게 할 수도 있고, 움직이는 손에 잔상효과를 주어 도 3과 같이 표현되도록 할 수도 있다.
도 3을 참조하면, 본 발명의 일 실시예에서, 사용자 입력의 대상이 되는 사용자의 손에는 윤곽을 따라 외곽선을 표시할 수 있고, 사용자의 손이 우측으로 이동하는 상황이므로 손의 이동궤적을 도 3의 실선 화살표와 같이 표현할 수 있다.
따라서, 사용자는 입력되고 있는 손의 외곽선을 보고 사용자 입력 모드의 실행여부를 판단할 수 있고, 이동궤적을 보고 사용자 입력 모드의 실행 여부와 함께 자신의 신체가 어떠하게 인식이 되고 있는지 확인할 수 있다.
도 4는 움직이는 사용자의 손이 포함된 사용자 입력 영상의 다른 일 예와, 본 발명의 일 실시예에 따른 외곽선 및 이동궤적을 나타낸 도면이다.
도 4에는 움직이는 사용자의 손이 포함된 사용자 입력 영상의 다른 일 예로서, 손이 하측에서부터 시계방향으로 이동하는 사용자 입력 영상이 도시되어 있다. 움직이는 손을 묘사하기 위하여 3개의 손이 동시에 도시되어 있으나, 실제로는 움직이는 1개의 손만이 입력되는 상태이다. 본 발명의 여러 실시예에 따라, 1개의 손만이 표현되게 할 수도 있고, 움직이는 손에 잔상효과를 주어 도 4와 같이 표현되도록 할 수도 있다.
도 4를 참조하면, 본 발명의 일 실시예에서, 사용자 입력의 대상이 되는 사용자의 손에는 윤곽을 따라 외곽선을 표시할 수 있으며, 사용자의 손이 시계방향으로 이동하는 상황이므로 손의 이동궤적을 도 4의 점선 화살표와 같이 표현할 수 있다.
따라서, 사용자는 입력되고 있는 손의 외곽선을 보고 사용자 입력 모드의 실행여부를 판단할 수 있고, 이동궤적을 보고 사용자 입력 모드의 실행 여부와 함께 자신의 신체가 어떠하게 인식이 되고 있는지 확인할 수 있다.
도 5는 도 4에 도시된 사용자 입력 영상의 예시에서, 본 발명의 일 실시예에 따른 외곽선 및 명령 형상을 나타낸 도면이다.
도 5는 도 4에 도시된 것과 동일한 사용자 입력 영상인, 사용자의 손이 하측에서부터 시계방향으로 이동하는 사용자 입력 영상이 도시되어 있다. 움직이는 손을 묘사하기 위하여 3개의 손이 동시에 도시되어 있으나, 실제로는 움직이는 1개의 손만이 입력되는 상태이다. 본 발명의 여러 실시예에 따라, 1개의 손만이 표현되게 할 수도 있고, 움직이는 손에 잔상효과를 주어 도 5와 같이 표현되도록 할 수도 있다.
도 5 참조하면, 본 발명의 일 실시예에서, 사용자 입력의 대상이 되는 사용자 손에는 윤곽을 따라 외곽선을 표시할 수 있으며, 사용자 입력 영상으로부터 인식된 입력 명령에 상응하는 명령 형상을 도 5의 실선으로 표시된 타원과 같이 표현할 수 있다.
따라서, 사용자는 입력되고 있는 손의 외곽선을 보고 사용자 입력 모드의 실행여부를 판단할 수 있고, 명령 형상을 보고 사용자 입력 모드의 실행 여부와 함께 자신의 입력이 어떠한 명령으로 인식되고 있는지 확인할 수 있다.
도 6은 도 4에 도시된 사용자 입력의 예시에서, 본 발명의 일 실시예에 따른 외곽선, 이동궤적 및 명령 형상을 나타낸 도면이다.
도 6은 도 4에 도시된 것과 동일한 사용자 입력 영상인, 사용자의 손이 하측에서부터 시계방향으로 이동하는 사용자 입력 영상이 도시되어 있다. 움직이는 손을 묘사하기 위하여 3개의 손이 동시에 도시되어 있으나, 실제로는 움직이는 1개의 손만이 입력되는 상태이다. 본 발명의 여러 실시예에 따라, 1개의 손만이 표현되게 할 수도 있고, 움직이는 손에 잔상효과를 주어 도 6과 같이 표현되도록 할 수도 있다.
도 6을 참조하면, 본 발명의 일 실시예에서, 사용자 입력 영상으로부터 사용자 손의 외곽선을 추출하여 손에 연동하여 외곽선을 표시할 수 있고, 사용자의 손이 시계방향으로 이동하는 상황이므로 손의 이동궤적을 도 6의 점선 화살표와 같이 표현할 수 있으며, 이동궤적으로부터 인식된 입력 명령에 상응하는 명령 형상을 도 6의 실선 타원과 같이 표현할 수 있다.
따라서, 사용자는 신체의 외곽선을 보고 사용자 입력 모드 여부를 판단할 수 있고, 이동궤적을 보고 사용자 입력 모드 여부의 판단과 함께 자신의 신체의 움직임이 어떻게 인식되고 확인할 수 있으며, 명령 형상을 보고 자신의 입력이 어떠한 명령으로 인식되고 있는지 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자 입력 표현 방법을 나타낸 동작 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자의 입력을 통해 명령을 수행하기 위한 사용자 입력 모드를 실행한다(S701).
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 항상 사용자의 시야에는 여러 배경이나 객체들 또는 사용자의 신체 등이 포함되므로, 사용자의 입력을 받게 되는 사용자 입력 모드가 필요하다. 사용자 입력 모드가 존재하지 않는 경우에는, 사용자가 원치 않는 입력이 이루어져 의도치 않은 명령들이 수행되는 문제점이 포함될 수 있다. 따라서, 명령을 입력하기 위한 사용자 입력 모드가 실행되는 경우에만 사용자 입력으로부터 입력 명령을 인식한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력으로써 사용자 신체에 상응하는 사용자 입력 영상을 생성한다(S703). 사용자 입력 모드가 실행되는 경우에는, 사용자의 동작으로부터 명령을 인식하기 위하여 사용자 신체에 상응하는 사용자 입력 영상을 생성하게 된다.
여기서, 사용자 입력은 입력을 하기 위한 사용자 신체가 포함된 화상정보 등을 포함하며, 명령을 실행하도록 하기 위한 동작이 포함된 입력일 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 입력에 사용될 사용자 신체에 상응하는 외곽선을 사용자 신체에 연동하여 표시한다(S705).
사용자 입력 영상에 포함된 입력에 사용될 사용자 신체가 특별한 동작을 하지 않고 가만히 있는 경우에도 상응하는 외곽선을 표시하여, 사용자로 하여금 현재 사용자 입력 모드가 실행중임을 알려줄 수 있다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같은 장치에서 구현되는 경우라면, 사용자가 보게되는 화면상에 사용자 신체의 모습에 연동하여 사용자 신체에 상응하는 외곽선을 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력 영상을 분석하여 입력 명령을 인식한다(S707).
이때, 사용자 입력 영상을 분석함에 있어서, 기설정된 단위나 조건으로 사용자 입력 영상을 분할하여 입력 명령을 인식할 수 있다. 예를 들어, 특정 시점의 사용자 신체의 움직임이 특정 명령을 인식하기 위한 동작의 시작부분에 상응하는 경우에는, 그 시점부터 일정 시간동안의 사용자 입력 영상을 분할하여 1개 단위로 볼 수 있을 것이다.
본 발명의 일 실시예에서는 기존의 입력 방법으로서의 마우스나 키보드와 같은 입력도구를 사용하여 직접 명령을 입력받는 것과는 달리, 사용자의 동작으로부터 사용자 입력을 받아 입력 명령으로 변환하는 과정이 필요하다. 따라서, 사용자 신체에 상응하는 사용자 입력 영상을 생성하고 분석하여 상응하는 입력 명령을 인식한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S707)에서 입력 명령을 인식하는데 성공하였는지 여부를 판단한다(S709).
사용자의 입력이 원치 않게 이루어졌다거나 사용자의 동작이 불명확하여 정확히 판단이 불가능한 경우와 같이, 사용자 입력 영상에 상응하는 입력 명령을 인식하는데 실패할 수 있다.
따라서, 단계(S709)의 판단 결과 사용자 입력 영상으로부터 입력 명령을 인식하는데 실패한 경우에는, 단계(S703)로 돌아가 다시 사용자 입력 영상을 생성한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S709)의 판단 결과 사용자 입력 영상으로부터 입력 명령을 인식하는데 성공한 경우에는, 인식한 입력 명령이 종료 명령인지 판단한다(S711).
사용자는 실행중인 사용자 입력 모드를 종료하기 위한 종료 명령을 입력할 수 있으며, 종료 명령이 인식된 경우에는 다른 명령과 달리 사용자 입력 모드를 종료하여 더 이상 사용자로부터 명령을 입력받지 않는 바, 별도의 처리가 요구된다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S711)의 판단 결과 입력 명령이 종료 명령이 아닌 경우, 인식된 입력 명령을 수행한다(S713).
그리고, 단계(S713)에서 사용자 입력 명령을 수행한 이후에는, 단계(S703)로 돌아가 다시 사용자 입력 영상을 생성한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S711)의 판단 결과 입력 명령이 종료 명령인 경우, 단계(S705)에서 표시한 외곽선을 제거한다(S715).
사용자는 외곽선의 표현을 통해서 현재 사용자 입력 모드가 실행중인지 여부를 인식할 수 있으므로, 표시한 사용자 신체에 상응하는 외곽선을 제거하여 사용자로 하여금 사용자 입력 모드가 종료되었음을 인식시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력 모드를 종료한다(S717).
선택적 실시예에서, 상기 단계들(S701, S703, S705, S707, S709, S711, S713, S715, S717)에 있어서, 사용자 입력 영상을 생성하는 단계(S703)와 외곽선을 표시하는 단계(S705)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S707, S709, S711, S713, S715, S717)에 있어서, 입력 명령을 인식하는 단계(S707)와 입력 명령을 인식하는데 성공하였는지 판단하는 단계(S709)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S707, S709, S711, S713, S715, S717)에 있어서, 표시한 외곽선을 제거하는 단계(S715)와 사용자 입력 모드를 종료하는 단계(S717)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S707, S709, S711, S713, S715, S717)에 있어서, 사용자 입력 모드를 종료하는 단계(S717)는 표시한 외곽선을 제거하는 단계(S715)보다 먼저 수행될 수 있다.
도 8은 본 발명의 다른 일 실시예에 따른 사용자 입력 표현 방법을 나타낸 동작 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자의 입력을 통해 명령을 수행하기 위한 사용자 입력 모드를 실행한다(S701).
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력으로써 사용자 신체에 상응하는 사용자 입력 영상을 생성한다(S703).
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 입력에 사용될 사용자 신체에 상응하는 외곽선을 사용자 신체에 연동하여 표시한다(S705).
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력 영상에 상응하는 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 표시한다(S801).
사용자 입력 영상에는 명령을 입력하기 위한 사용자 신체의 동작이 포함되어 있다. 따라서 사용자 신체의 움직임을 트래킹하여 이동궤적 추출하고, 추출한 이동궤적을 표시한다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 사용자가 보게되는 화면상에 사용자 신체의 모습에 연동하여 이동궤적을 화살표와 같은 도형을 이용하여 표현할 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력 영상을 분석하여 입력 명령을 인식한다(S707).
이때, 입력 명령을 인식함에 있어서 이동궤적 정보를 이용하여, 사용자 입력 영상에 상응하는 사용자 신체의 움직임을 간소화하여 입력 명령을 용이하게 인식할 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S707)에서 입력 명령을 인식하는데 성공하였는지 여부를 판단한다(S709).
따라서, 단계(S709)의 판단 결과 사용자 입력 영상으로부터 입력 명령을 인식하는데 실패한 경우에는, 단계(S703)로 돌아가 다시 사용자 입력 영상을 생성한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S709)의 판단 결과 사용자 입력 영상으로부터 입력 명령을 인식하는데 성공한 경우에는, 입력 명령에 상응하는 명령 형상을 표시한다(S803).
여기서, 명령 형상은 인식된 입력 명령들 각각에 상응하도록 기설정된 문자, 문자열, 그림 또는 문양 등과 같은 모든 형상을 포함하며, 이를 통해 다른 입력 명령들과 구분하거나, 해당 입력 명령의 정보를 전달할 수 있다.
사용자는 특정 명령을 실행하도록 하기 위하여 입력을 시도하는바, 사용자 입력 영상을 통해 인식한 입력 명령에 상응하는 명령 형상을 표시하여 사용자가 원하는 입력 명령인지 확인할 수 있도록한다.
예를 들어, 본 발명의 일 실시예가 스마트 글래스와 같이 구성되는 경우라면, 사용자가 보게되는 화면상에 사용자 신체의 모습에 연동하여 입력 명령에 상응하는 명령 형상을 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S803) 이후에, 인식한 입력 명령이 종료 명령인지 판단한다(S711).
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S711)의 판단 결과 입력 명령이 종료 명령이 아닌 경우, 인식된 입력 명령을 수행한다(S713).
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S713) 이후에, 표시한 이동궤적과 입력 명령에 상응하는 명령 형상을 제거한다(S805).
이는 새로운 입력 명령을 인식하기 위한 사용자 입력 영상을 생성하고, 새로운 사용자 입력 영상에에 상응하는 이동궤적과 인식된 입력 명령에 상응하는 명령 형상들을 새로이 표시하기 위함이다.
그리고, 단계(S805)이후에는, 단계(S703)로 돌아가 다시 사용자 입력 영상을 생성한다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 단계(S711)의 판단 결과 입력 명령이 종료 명령인 경우, 표시한 외곽선, 이동궤적 및 입력 명령에 상응하는 명령 형상을 제거한다(S807).
사용자는 외곽선, 이동궤적 및 명령 형상을 통해서 현재 사용자 입력 모드가 실행중인지 여부를 인식할 수 있으므로, 표시한 사용자 신체에 상응하는 외곽선, 이동궤적 및 인식한 입력 명령에 상응하는 명령 형상을 제거하여 사용자로 하여금 사용자 입력 모드가 종료되었음을 인식시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 사용자 입력 표현 방법은 사용자 입력 표현 장치(도 1의 100 참조)가, 사용자 입력 모드를 종료한다(S717).
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 사용자 입력 영상을 생성하는 단계(S703)와 외곽선을 표시하는 단계(S705)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 이동궤적을 표시하는 단계(S801)와 입력 명령을 인식하는 단계(S707)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 입력 명령을 인식하는 단계(S707)와 입력 명령을 인식하는데 성공하였는지 판단하는 단계(S709)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 입력 명령을 수행하는 단계(S713)와 표시한 이동궤적 및 명령 형상을 제거하는 단계(S805)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 표시한 이동궤적 및 명령 형상을 제거하는 단계(S805)는 입력 명령을 수행하는 단계(S713)보다 먼저 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 표시한 외곽선, 이동궤적, 명령 형상을 제거하는 단계(S807)와 사용자 입력 모드를 종료하는 단계(S717)는 병렬적으로 수행될 수 있다.
선택적 실시예에서, 상기 단계들(S701, S703, S705, S801, S707, S709, S711, S803, S713, S805, S807, S717)에 있어서, 사용자 입력 모드를 종료하는 단계(S717)는 표시한 외곽선, 이동궤적, 명령 형상을 제거하는 단계(S807)보다 먼저 수행될 수 있다.
한편, 상술한 사용자 입력 표현 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이 때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
이상에서와 같이 본 발명에 따른 사용자 입력 표현 장치 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 사용자 입력 표현 장치
110: 입력부 120: 명령 인식부
130: 명령 수행부 140: 외곽선 표시부
150: 이동궤적 표시부 160: 명령 형상 표시부

Claims (8)

  1. 사용자 신체에 상응하는 사용자 입력 영상을 생성하는 입력부;
    상기 사용자 입력 영상을 이용하여 상기 사용자 신체의 움직임에 상응하는 입력 명령을 인식하는 명령 인식부;
    상기 인식된 입력 명령을 수행하는 명령 수행부; 및
    상기 사용자 신체에 상응하는 외곽선을 생성하여 상기 사용자 신체에 연동하여 표시하는 외곽선 표시부;
    상기 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 상기 이동궤적을 표시하는 이동궤적 표시부; 및
    상기 입력 명령에 상응하는 기설정된 형상의 명령 형상을 표시하는 명령 형상 표시부;
    를 포함하고,
    상기 명령 인식부는
    상기 이동궤적을 이용하여 상기 입력 명령을 인식하고,
    상기 입력 명령이 수행된 이후에, 새로운 입력 명령을 인식하기 위해 표시 중인 상기 이동궤적 및 상기 명령 형상을 제거하고,
    상기 입력 명령이 종료 명령인 경우, 표시 중인 상기 외곽선, 상기 이동궤적 및 상기 명령 형상을 제거하는, 사용자 입력 표현 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 사용자 입력 표현 장치가 사용자 입력을 표현하는 사용자 입력 표현 방법에 있어서,
    사용자 신체에 상응하는 사용자 입력 영상을 생성하는 단계;
    상기 사용자 신체에 상응하는 외곽선을 생성하여 상기 사용자 신체에 연동하여 표시하는 단계;
    상기 사용자 신체의 움직임을 트래킹하여 이동궤적을 추출하고 표시하는 단계;
    상기 사용자 입력 영상에 표시되는 상기 이동궤적을 이용하여 상기 사용자 신체의 움직임에 상응하는 입력 명령을 인식하는 단계;
    상기 입력 명령에 상응하는 명령 형상을 표시하는 단계;
    상기 인식된 입력 명령을 수행하는 단계; 및
    표시 중인 상기 이동궤적 및 명령 형상을 제거하는 단계;
    를 포함하고,
    상기 제거하는 단계는
    상기 입력 명령이 수행된 이후에, 새로운 입력 명령을 인식하기 위해 표시 중인 상기 이동궤적 및 상기 명령 형상을 제거하고,
    상기 입력 명령이 종료 명령인 경우, 표시 중인 상기 외곽선, 상기 이동궤적 및 상기 명령 형상을 제거하는, 사용자 입력 표현 방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020170024874A 2017-02-24 2017-02-24 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법 KR102610690B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024874A KR102610690B1 (ko) 2017-02-24 2017-02-24 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024874A KR102610690B1 (ko) 2017-02-24 2017-02-24 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180097989A KR20180097989A (ko) 2018-09-03
KR102610690B1 true KR102610690B1 (ko) 2023-12-07

Family

ID=63600964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024874A KR102610690B1 (ko) 2017-02-24 2017-02-24 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102610690B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20130265220A1 (en) * 2012-04-09 2013-10-10 Omek Interactive, Ltd. System and method for combining three-dimensional tracking with a three-dimensional display for a user interface

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR20130117553A (ko) 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
KR101394604B1 (ko) * 2012-05-21 2014-05-13 주식회사 에스원 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20130265220A1 (en) * 2012-04-09 2013-10-10 Omek Interactive, Ltd. System and method for combining three-dimensional tracking with a three-dimensional display for a user interface

Also Published As

Publication number Publication date
KR20180097989A (ko) 2018-09-03

Similar Documents

Publication Publication Date Title
US10664060B2 (en) Multimodal input-based interaction method and device
JP6367926B2 (ja) 拡張現実（ａｒ）キャプチャおよびプレイ
CA3104243C (en) Real-time animation generation using machine learning
Kin et al. Proton++ a customizable declarative multitouch framework
JP5833750B2 (ja) コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
US20170329503A1 (en) Editing animations using a virtual reality controller
JP6647867B2 (ja) アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体
US11670027B2 (en) Automated dance animation
KR20210023680A (ko) 증강 현실 환경에서의 콘텐트 생성
US20230419578A1 (en) State-space system for pseudorandom animation
CN110568929A (zh) 一种虚拟场景交互的方法、装置和电子设备
Stannus et al. Gestural navigation in google earth
CN111862280A (zh) 虚拟角色控制方法、系统、介质及电子设备
KR101926074B1 (ko) 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR102610690B1 (ko) 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR102216358B1 (ko) 제스쳐를 이용하는 단말 제어 방법
CN111481923A (zh) 摇杆显示方法及装置、计算机存储介质、电子设备
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
CN112788390B (zh) 一种基于人机交互的控制方法、装置、设备及存储介质
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
KR101717375B1 (ko) 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
KR20070060885A (ko) 다양한 인식 기술을 이용한 입력 인터페이스 제공 방법
CN110604918B (zh) 界面元素调整方法与装置、存储介质、电子设备
KR102294717B1 (ko) 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right