KR20210021720A - 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 - Google Patents

인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 Download PDF

Info

Publication number
KR20210021720A
KR20210021720A KR1020190100978A KR20190100978A KR20210021720A KR 20210021720 A KR20210021720 A KR 20210021720A KR 1020190100978 A KR1020190100978 A KR 1020190100978A KR 20190100978 A KR20190100978 A KR 20190100978A KR 20210021720 A KR20210021720 A KR 20210021720A
Authority
KR
South Korea
Prior art keywords
interaction
user
repetition
restoration
interface
Prior art date
Application number
KR1020190100978A
Other languages
English (en)
Other versions
KR102306392B1 (ko
Inventor
김민경
박정민
이중재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020190100978A priority Critical patent/KR102306392B1/ko
Priority to US16/868,506 priority patent/US11656687B2/en
Publication of KR20210021720A publication Critical patent/KR20210021720A/ko
Application granted granted Critical
Publication of KR102306392B1 publication Critical patent/KR102306392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인터랙션 복원/반복 인터페이스의 제어 방법이 제공된다. 인터랙션 복원/반복 인터페이스의 제어 방법은 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이의 인터랙션이 수행되는 단계로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되는, 단계; 및 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스 또는 인터랙션 복원 인터페이스가 활성화되는 단계를 포함한다.

Description

인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치{Method for control interaction interface and device supporting the same}
인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치에 관한 것으로, 구체적으로, 3차원 가상 환경에 적합한 인터랙션 복원/반복 인터페이스의 제공 방법 및 이를 지원하는 장치에 관한 것이다.
최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호 작용)을 위한 연구는 꾸준히 진행되어 왔으며, 최근, 사용자의 제스처, 구체적으로 사용자의 손을 손 트래킹 장치 등을 통해 인식하여, 가상 공간에서 사용자의 가상 손과 3차원 가상 오브젝트와의 인터랙션을 수행하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface)가 개발된 바 있다.
또한, 가상 공간의 인터페이스와 관련하여, 사용자의 과거 인터랙션을 복원하는 복원 인터페이스와 인터랙션을 특정 시점으로 고정시킨 후 상기 고정된 시점을 기준으로 인터랙션을 다시 실행하는 반복 인터페이스도 개발되어 가상 공간에서의 사용자 인터랙션의 편의성을 향상시킨 바 있다. 가상 공간에서 이러한 복원 인터페이스와 반복 인터페이스의 활성화 또는 제어도 사용자의 제스처에 기반하여 수행될 수 있다. 즉, 사용자의 제스처는 가상 공간 내에서 3차원 가상 오브젝트와의 인터랙션 뿐만 아니라 상술한 추가적인 인터페이스를 활성화 및 제어하는 데에도 적용되므로, 사용자의 제스처의 오인식 또는 미인식에 의해 상호간에 혼란이 발생할 수 있다. 예를 들어, 사용자의 의도는 3차원 가상 오브젝트와 인터랙션을 하기 위한 것인데 사용자의 제스처를 잘못 인식하여 복원 인터페이스 또는 반복 인터페이스가 실행될 수 있으며, 반대의 상황도 발생될 수도 있다. 3차원 가상 오브젝트를 조작하는 사용자의 제스처와 조작 인터랙션을 제외한 추가적인 인터페이스를 요청하는 사용자의 제스처에 대한 명확한 구분이 요구되고 있는 실정이다.
이에, 본 발명의 발명자는 3차원 가상 오브젝트를 조작하는 사용자의 제스처와 조작 인터랙션을 제외한 추가적인 인터페이스를 요청하는 사용자의 제스처를 명확히 구분할 수 있는 3차원 가상 환경에 보다 적합한 인터랙션 복원/반복 인터페이스의 제공 방법 및 이를 지원하는 장치를 개발하는 데 이르렀다.
Nancel, Mathieu, and Andy Cockburn, "Causality: A conceptual model of interaction history," in Proc. of the 32nd annual ACM conference on Human factors in computing systems, p.1777-1786, 2014.
본 발명은 구체적으로, 3차원 가상 환경에 보다 적합한 인터랙션 복원/반복 인터페이스의 제어 방법 및 이를 지원하는 장치를 제공한다.
본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치는 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행된 인터랙션의 복원을 지원하는 인터랙션 복원 지원 장치로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며, 상기 인터랙션 복원 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스가 활성화된다.
본 발명의 다른 실시예에 따른 인터랙션 반복 지원 장치는 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션의 반복을 지원하는 인터랙션 반복 지원 장치로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며, 상기 인터랙션 반복 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스가 활성화된다.
본 발명의 또 다른 실시예에 따른 인터랙션 인터페이스의 제어 방법은 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이의 인터랙션이 수행되는 단계로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되는 단계; 및 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스 또는 인터랙션 반복 인터페이스가 활성화되는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 상술한 인터랙션 인터페이스의 제어 방법을 실행하도록 하드웨어와 결합되어 매체에 저장된다.
본 발명의 또 다른 실시예에 따른 가상 공간 제공 시스템은 적어도 한 명의 사용자에게 3차원 가상 공간을 제공하는 가상 공간 제공 장치; 상기 사용자의 신체의 적어도 일부를 인식하여 상기 3차원 가상 공간에 반영하게 하는 입력 장치; 상기 3차원 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 상기 사용자 사이에서 수행된 인터랙션의 복원을 지원하는 인터랙션 복원 지원 장치를 포함하되, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며, 상기 인터랙션 복원 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스가 활성화된다.
본 발명의 또 다른 실시예에 따른 가상 공간 제공 시스템은 적어도 한 명의 사용자에게 3차원 가상 공간을 제공하는 가상 공간 제공 장치; 상기 사용자의 신체의 적어도 일부를 인식하여 상기 3차원 가상 공간에 반영하게 하는 입력 장치; 상기 3차원 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 상기 사용자 사이에서 수행되는 인터랙션의 반복을 지원하는 인터랙션 반복 지원 장치를 포함하되, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며, 상기 인터랙션 반복 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스가 활성화된다.
본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치, 인터랙션 반복 지원 장치 및 인터랙션 인터페이스 제어 방법은 가상 오브젝트를 조작, 제어하는 제스처와 구분되는 특유의 제스처 및 이를 보완하는 추가 인터페이스 요청 장치를 통해 가상 오브젝트의 조작과의 혼선 없이 사용자에게 인터랙션 복원 기능 및 반복 기능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치의 동작 과정을 개략적으로 도시한 것이다.
도 4a 내지 도 4f는 본 발명의 다른 실시예에 따른 인터랙션 반복 지원 장치의 동작 과정을 개략적으로 도시한 것이다.
도 5a 내지 도 5c는 본 발명의 또 다른 실시예에 따른 인터랙션 반복 지원 장치의 동작 과정을 개략적으로 도시한 것이다.
도 6은 본 발명의 또 다른 실시예에 따른 인터랙션 인터페이스의 제어 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
실시예들에 따른 가상 공간 제공 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 발명의 일 실시예에 따른 가상 공간 제공 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 인터랙션 복원 지원 장치(104)는, 인터랙션을 복원하기 위한 하드웨어 및 이를 위한 소프트웨어의 조합을 지칭할 수 있다.
또한, 본 명세서에서 가상 공간 제공 시스템(10)을 구성하는 각 모듈은 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결될 수 있으며, 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되는 것은 아니다.
가상 공간 제공 시스템(10)은 적어도 한 명의 사용자가 참여하는 가상 공간을 제공할 수 있다. 가상 공간은 소정의 물리량을 가진 복수의 가상 오브젝트(210)가 구현될 수 있다. 가상 오브젝트는 가상 공간상에서 사용자의 신체 일부 또는 실제 오브젝트와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 오브젝트는 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 오브젝트를 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 오브젝트의 물리 법칙을 적용하기 위한 물리량 및 다른 물리 정보를 가진 가상 오브젝트와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 예시적으로, 가상 오브젝트의 접촉 포인트는 메쉬 형태로 구성될 수 있으며, 가상 오브젝트간의 접촉은 이러한 메쉬 포인트의 접촉으로 인식될 수 있다. 예를 들어, 가상 공간의 가상 오브젝트는 도 2에 도시된 바와 같은 가상 블록일 수 있으며, 가상 공간은 가상 블록을 활용한 블록 놀이를 위한 공간일 수 있으나, 이에 한정되는 것은 아니며 체스 게임을 수행할 수 있는 게임 공간 등일 수 있다.
도 1을 참조하면, 가상 공간 제공 시스템(10)은 상술한 가상 공간을 생성하는 가상 공간 생성 장치(101), 사용자의 신체의 적어도 일부를 인식하여 가상 공간에 반영하게 하는 입력 장치(102) 및 가상 공간을 출력하여 사용자에게 제공하는 출력 장치(103)를 포함한다.
사용자의 신체의 적어도 일부(예를 들어, 손)가 립 모션(Leap Motion) 센서, 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서 등과 같은 입력 장치(102)를 통해 인식될 수 있으며, 인식된 손은 입력 정보로 가상 공간 생성 장치(101)에 제공되어 가상 공간에 가상 손으로 구현될 수 있다. 또한, 현재 구현되는 가상 공간은 3차원 디스플레이 장치 또는 헤드 마운트형 디스플레이 장치와 같은 출력 장치(103)를 통해 사용자에게 출력될 수 있다.
사용자는 가상 공간에서 인터랙션(Interaction)을 수행할 수 있다. 가상 공간에 참여하는 사용자는 신체의 적어도 일부를 이용해 제스처를 취함으로써, 사용자 인터페이스를 통해 가상 공간의 가상 오브젝트를 조작하는 인터랙션을 수행할 수 있다. 즉, 도 2에 도시된 바와 같이, 입력 장치(102)는 사용자의 양 손을 모두 인식할 수 있으며, 가상 공간 생성 장치(101)는 입력 장치(102)에서 인식된 양 손을 모두 가상 손(200)으로 구현할 수 있다. 사용자는 구현된 가상 손(200)을 가상 오브젝트를 잡거(Grasp)나 특정 위치로 이동(Move)하는 인간-오브젝트 인터랙션을 수행할 수 있으며, 이러한 인간-오브젝트 인터랙션에 따라 가상 오브젝트(210)는 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변경될 수 있다.
사용자는 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대해 연속적인 3차원 조작 인터랙션을 수행할 수 있다. 여기서, 연속적인 3차원 조작 인터랙션은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트를 변화시키는 복수의 조작 인터랙션이 시계열적으로 수행된 것을 의미한다. 예를 들어, 가상 오브젝트를 연속적으로 적층하여 다른 형상의 가상 오브젝트를 구성하는 행위, 즉, 도 2에 도시된 바와 같은 가상 블록을 쌓아서 더 큰 구조물(피라미드 또는 탑)을 형성하는 일련의 조작 인터랙션을 의미할 수 있다.
이러한, 연속적인 3차원 조작 인터랙션이 수행되는 중간 또는 수행이 완료된 상황에서 가상 오브젝트와의 특정 인터랙션이 잘못 되거나 본래 의도한 대로 수행되지 않은 것을 사용자가 발견한 경우, 사용자는 인터랙션 복원 기능을 요청할 수 있다. 또한, 연속적인 3차원 조작 인터랙션 중 특정 인터랙션이 계속 실패하는 경우, 반복 시점을 설정하여 해당 시점을 기준으로 특정 인터랙션을 반복 수행하는 인터랙션 반복 기능을 요청할 수 있다. 여기서, 인터랙션 반복 기능이란 즉, 현재의 동작이 이전 동작에 빈번하게 오류를 발생하거나 영향을 주는 조작인 경우, 현재의 동작을 수행하기 이전 상황을 반복 시점으로 설정, 저장해놓음으로써 현재 동작을 일련의 이전 동작 없이 효율적으로 조작할 수 있도록 지원하는 것을 의미한다.
본 실시예에 따른 가상 공간 제공 시스템(10)은 인터랙션 복원 기능을 제공하는 인터랙션 복원 지원 장치(104)를 포함할 수 있으며, 인터랙션 복원 지원 장치(104)를 통해 사용자에게 인터랙션 복원 기능을 제공할 수 있다.
또한, 본 실시예에 따른 가상 공간 제공 시스템(10)은 인터랙션 반복 기능을 제공하는 인터랙션 반복 지원 장치(105)를 포함할 수 있으며, 인터랙션 반복 지원 장치(105)를 통해 사용자에게 인터랙션 반복 기능을 제공할 수 있다.
본 실시예에 따른 인터랙션 복원 지원 장치(104)는 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션의 복원을 지원하는 장치로, 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션은 사용자의 제스처를 인식하여 수행되며, 인터랙션 복원 지원 장치(104)는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처를 통해 인터랙션 복원 인터페이스를 활성화한다. 여기서, 사용자의 인터랙션 제스처는 상술한 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션을 위한 사용자의 제스처, 동작 등을 의미한다.
또한, 본 실시예에 따른 인터랙션 반복 지원 장치(105)는 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션의 반복을 지원하는 장치로, 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션 사용자의 제스처를 인식하여 수행되며, 인터랙션 반복 지원 장치(105)는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처를 통해 인터랙션 반복 인터페이스를 활성화한다. 여기서, 사용자의 인터랙션 제스처는 상술한 상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션을 위한 사용자의 제스처, 동작 등을 의미한다.
일 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 양 손목의 접촉에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 사용자는 양 손목을 접촉시키는 제스처는 일반적인 가상 공간 내에서 수행되는 가상 오브젝트를 조작하는 제스처에 해당하지 않는다. 즉, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 양 손의 세부적인 움직임과 무관한 사용자의 동작에 의해 활성화되어 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스를 제공할 수 있다.
예를 들어, 사용자의 양 손목이 한 번 접촉하는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 양 손목이 연속하여 두 번 접촉하는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다. 사용자의 양 손목의 접촉은 입력 장치(102)를 통해 관측되어, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)에 제공될 수 있으나, 이에 한정되는 것은 아니다. 몇몇 실시예에서, 사용자는 양 손목에 추가 인터페이스 요청 장치를 착용할 수 있다. 양 손목에 착용된 추가 인터페이스 요청 장치의 물리적 접촉에 의해 추가 인터페이스 요청 신호가 생성될 수 있다. 추가 인터페이스 요청 장치는 인터랙션 복원 지원 장치(104) 및 인터랙션 반복 지원 장치(105)와 각각 데이터의 송수신이 가능하도록 구성될 수 있다. 추가 인터페이스 요청 장치는 생성된 신호에 대응되는 장치에 생성된 신호를 전송할 수 있다. 예를 들어, 양 손목이 한 번 접촉하는 경우 인터랙션 복원 활성화 신호가 생성되어 인터랙션 복원 지원 장치(104)에 제공되고, 양 손목이 두 번 연속 접촉하는 경우 인터랙션 반복 활성화 신호가 생성되어 인터랙션 반복 지원 장치(105)에 제공될 수 있다.
다른 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 발 동작에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 사용자의 양 발을 조작하는 제스처는 일반적인 가상 공간 내에서 수행되는 가상 오브젝트를 조작하는 제스처에 해당하지 않는다. 즉, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 양 손의 세부적인 움직임과 무관한 사용자의 동작에 의해 활성화되어 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스를 제공할 수 있다.
예를 들어, 사용자의 오른발이 움직이는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 왼 발이 움직이는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다. 사용자의 양 발의 조작은 입력 장치(102)를 통해 관측되어, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)에 제공될 수 있으나, 이에 한정되는 것은 아니다. 몇몇 실시예에서, 사용자의 양 발은 양 발의 동작을 감지하는 추가 인터페이스 요청 장치에 위치할 수 있다. 추가 인터페이스 요청 장치는 상기 양 발의 동작 변화를 감지하여 추가 인터페이스 요청 신호가 생성할 수 있다. 구체적으로, 추가 인터페이스 요청 장치는 오른발, 왼발이 각각 위치하는 오른 페달, 왼 페달을 포함할 수 있으며, 오른 페달 또는 왼 페달의 물리적 변화에 의해 추가 인터페이스 요청 신호가 생성될 수 있다. 추가 인터페이스 요청 장치는 인터랙션 복원 지원 장치(104) 및 인터랙션 반복 지원 장치(105)와 각각 데이터의 송수신이 가능하도록 구성될 수 있다. 추가 인터페이스 요청 장치는 생성된 신호에 대응되는 장치에 생성된 신호를 전송할 수 있다. 예를 들어, 사용자의 오른 발이 위치한 오른 페달이 변화하는 경우 인터랙션 복원 활성화 신호가 생성되어 인터랙션 복원 지원 장치(104)에 제공되고, 사용자의 왼 발이 위치한 왼 페달이 변화하는 경우 인터랙션 반복 활성화 신호가 생성되어 인터랙션 반복 지원 장치(105)에 제공될 수 있다.
또 다른 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 박수(Clap)에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 사용자의 양 손바닥을 접촉시키는 제스처는 일반적인 가상 공간 내에서 수행되는 가상 오브젝트를 조작하는 제스처에 해당하지 않는다. 즉, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 양 손의 세부적인 움직임과 무관한 사용자의 동작에 의해 활성화되어 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스를 제공할 수 있다.
예를 들어, 사용자의 양 손바닥이 한 번 접촉하는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 양 손바닥이 연속하여 두 번 접촉하는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다. 사용자의 양 손바닥의 접촉은 입력 장치(102)를 통해 관측되어, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)에 제공될 수 있으나, 이에 한정되는 것은 아니다. 몇몇 실시예에서, 사용자는 양 손바닥에 추가 인터페이스 요청 장치를 착용할 수 있다. 양 손바닥에 착용된 추가 인터페이스 요청 장치의 물리적 접촉에 의해 추가 인터페이스 요청 신호가 생성될 수 있다. 추가 인터페이스 요청 장치는 인터랙션 복원 지원 장치(104) 및 인터랙션 반복 지원 장치(105)와 각각 데이터의 송수신이 가능하도록 구성될 수 있다. 추가 인터페이스 요청 장치는 생성된 신호에 대응되는 장치에 생성된 신호를 전송할 수 있다. 예를 들어, 양 손바닥이 한 번 접촉하는 경우 인터랙션 복원 활성화 신호가 생성되어 인터랙션 복원 지원 장치(104)에 제공되고, 양 손바닥이 두 번 연속 접촉하는 경우 인터랙션 반복 활성화 신호가 생성되어 인터랙션 반복 지원 장치(105)에 제공될 수 있다.
이하, 본 발명의 실시예들의 예시적인 화면과 함께 상술한 인터랙션 복원 인터페이스 및 인터랙션 반복 인터페이스에 대해 보다 상세히 설명하도록 한다.
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치의 동작 과정을 개략적으로 도시한 것이다. 도 3a 내지 도 3f는 현재 사용자에게 제공되는 가상 공간의 화면과 이에 대응되는 사용자의 제스처를 함께 나타낸다. 구체적으로, 도 3a에 도시된 바와 같이, 사용자는 손목에 추가 인터페이스 요청 장치(300)를 장착한 상태일 수 있다. 사용자는 손목을 접촉시키는 제스처, 즉 추가 인터페이스 요청 장치(300)의 접촉에 의해 인터랙션 복원 지원 장치(104)는 인터랙션 복원 인터페이스를 사용자에게 제공할 수 있다.
인터랙션 복원 인터페이스는 과거 수행된 인터랙션을 시간적 순서로 조회하는 조회 모드, 과거 수행된 인터랙션을 수정하는 수정 모드 및 수정 모드에서 수정한 이력을 확인하는 기록 모드를 사용자에게 제공할 수 있다.
인터랙션 복원 지원 장치(104)는 가상 공간에서 수행되고 있는 사용자와 가상 오브젝트 사이의 인터랙션을 일정 주기 또는 특정 오브젝트의 변화에 대응하여, 가상 공간의 상태 정보를 수집할 수 있다. 여기서, 가상 공간의 상태 정보는 가상 공간을 구현하기 위한 데이터일 수 있으며, 적어도 가상 공간 내에 포함된 모든 가상 오브젝트의 그래픽 정보, 물리 정보, 위치 정보를 포함할 수 있다. 인터랙션 복원 지원 장치(104)는 수집된 가상 공간의 상태 정보에 기초하여 인터랙션 복원 모드를 사용자에게 제공할 수 있다. 인터랙션 복원 모드는 수집된 각 수집 정보로부터 재구성된 가상 공간의 화면이 사용자에게 제공될 수 있다. 여기서, 복원 인터페이스에서 제공되는 가상 공간의 화면은 가상 공간 제공 장치(101)에서 제공되는 가상 공간의 데이터를 기초로 생성되는 것으로 종래 제공된 과거의 가상 공간의 화면과 실질적으로 동일할 수 있다. 다만, 인터랙션 복원 인터페이스가 실행된 상태에서는 제공되는 화면의 일부가 변형되어 현재 인터랙션 복원 인터페이스가 실행되고 있는 상태임을 사용자에게 알릴 수 있다. 예를 들어, 도 3b 내지 도 3g에 도시된 바와 같이, 화면 테두리에 푸른색 테두리가 표시되어 현재 인터랙션 복원 인터페이스가 실행되는 상태임을 사용자에게 알릴 수 있다.
인터랙션 복원 인터페이스는 저장된 가상 공간의 상태 정보에 기초하여 과거의 가상 공간 및 이에 포함되는 가상 공간 화면을 제공하는 인터랙션 조회 모드를 제공할 수 있다. 가상 공간의 화면은 수집된 시간 순서대로 정렬되어 사용자에게 제공될 수 있다. 인터랙션 복원 인터페이스는 현재 제공되고 있는 가상 공간 화면의 시간 순서를 확인할 수 있는 타임 라인(230)이 더 제공될 수 있다. 타임 라인(230)을 통해 사용자는 현재 보고 있는 가상 공간의 화면이 전체 수행된 인터랙션 중 어떤 시간적 순서에 해당하는 지를 확인할 수 있다. 또한, 인터랙션 조회 모드에서 사용자는 제스처를 통해 타임 라인의 시간 순서에 따라 과거의 가상 공간 화면을 조회할 수 있다. 예를 들어, 도 3b에 도시된 바와 같이, 사용자는 손가락을 시계 방향 회전 또는 반 시계 방향으로 회전하는 제스처를 수행할 수 있고, 시계 방향 회전에 따라 현재 화면에서 다음 시간 순서에 따른 화면으로 변경될 수 있다.
또한, 인터랙션 복원 인터페이스는 종래 수행되었던 조작 인터랙션에 대한 수정 기능을 제공할 수 있다. 사용자는 특정 제스처를 수행함에 따라 조회 모드에서 수정 모드로 진입할 수 있다. 예를 들어, 특정 화면에 대해 다른 동작 없이 몇 초 이상 대기함에 따라 해당 화면의 수정 모드로 진입할 수 있다. 인터랙션 복원 인터페이스의 수정 모드에서, 사용자는 현재 화면에 제공되는 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정할 수 있다. 수정이 완료된 이후, 도 3c에 도시된 바와 같이, 사용자는 특정 제스처, 예를 들어 추가 인터페이스 요청 장치(300)의 접촉하는 동작 등을 통해 수정 모드를 종료할 수 있다. 인터랙션 복원 인터페이스는 수정 모드의 종료 이후, 다시 조회 모드가 제공될 수 있다. 상기 현재 사용자에게 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 동일하게 적용될 수 있으며, 이에 따른 패러독스가 발생할 수 있다. 즉, 3층에 위치하였던 가상 블록은 2층에 위치하였던 가상 블록의 위치 변화에 따라, 가상 공간 내에서의 변화가 발생할 수 있다. 본 실시예에 따른 인터랙션 복원 인터페이스는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 주변 오브젝트의 상태 수정에 대한 알림을 도 3d와 같이 제공할 수 있다. 사용자는 알림을 조회 모드에서 확인한 이후, 선행하는 화면에 대한 수정에 따라 발생한 변화를 해당 화면의 수정 모드로 진입하여 해결할 수 있다. 예를 들어, 종래 수행한 수정을 취소하기 위해서 사용자는 손가락을 반 시계 방향으로 복수 회 회전할 수 있으며, 인터랙션 복원 지원 장치(104)는 이에 대응하여 현재 화면과 관련하여 종래 수행되었던 수정 행위를 취소할 수 있다.
또한, 조회 모드에서 사용자는 그 동안 수정 모드에서 수정한 이력(히스토리)를 조회하는 기록 모드를 호출할 수 있다. 예시적으로, 도 3e에 도시된 바와 같이, 사용자는 추가 인터페이스 요청 장치(300)를 복수 회(N번) 접촉하는 제스처를 통해 기록 모드를 호출할 수 있다. 도 3f에 도시된 바와 같이, 본 실시예에 따른 인터랙션 복원 인터페이스는 종래 수정 모드에서 수행되었던 수정 이력을 작업 시간 순서대로 나열하여 제공할 수 있다. 기록 모드에서, 사용자는 종래 수정 이력을 다시 한번 확인하고 이에 대한 취소를 수행할 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치(104)는 가상 오브젝트를 조작, 제어하는 제스처와 구분되는 손목을 접촉시키는 제스처 및 이를 보완하는 추가 인터페이스 요청 장치(300)를 통해 가상 오브젝트의 조작과의 혼선 없이 활성화되어, 사용자에게 인터랙션 복원 기능을 제공할 수 있다. 또한, 본 실시예에 따른 인터랙션 반복 지원 장치(105) 또한 상술한 추가 인터페이스 요청 장치(300)를 통한 조작을 통해 활성화되며, 이를 이용하여 제어될 수도 있다.
도 4a 내지 도 4f는 본 발명의 다른 실시예에 따른 인터랙션 반복 지원 장치의 동작 과정을 개략적으로 도시한 것이다.
사용자는 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션을 일부 수행한 뒤, 반복 기능을 활성화하여 해당 시점을 반복 시점으로 한 조작 인터랙션을 반복하여 수행할 수 있다. 사용자는 이러한 반복 기능의 활성화는 가상 오브젝트를 조작하는 제스처와 구별되는 별도의 동작 및/또는 장치를 통해 수행할 수 있다.
구체적으로, 도 4a 및 도 4b에 도시된 바와 같이, 사용자는 가상 오브젝트를 4층까지 쌓아 올린 상태에서, 5층에 해당하는 가상 오브젝트를 쌓는 동작만을 수행하기를 원할 수 있다. 이때, 반복 기능을 활성화하는 제스처가 가상 오브젝트를 조작하는 동작으로 인식된다면 현재 쌓아 올린 4층의 가상 오브젝트에도 영향을 미칠 수도 있다. 다만, 본 실시예에 따른 인터랙션 반복 지원 장치(105)는 추가 인터페이스 요청 장치(400)를 통해 가상 오브젝트의 조작에 영향을 미치지 않으면서 활성화될 수 있다. 사용자의 양 발은 추가 인터페이스 요청 장치(400)에 위치한 상태일 수 있다. 여기서, 추가 인터페이스 요청 장치(400)는 페달 인풋 장치일 수 있으며, 사용자의 양 발은 대응되는 페달에 위치할 수 있다. 추가 인터페이스 요청 장치(400)의 조작에 의해 인터랙션 반복 지원 장치(105)는 활성화될 수 있다. 인터랙션 반복 지원 장치(105)는 활성화되는 시점을 반복 시점으로 기억하고 상기 반복 시점을 기준으로 하는 반복 인터랙션을 제공할 수 있다. 인터랙션 반복 지원 장치(105)가 활성화된 상태에서, 사용자는 복수의 가상 오브젝트에 대해 연속적인 3차원 조작 인터랙션을 수행하는 도중 또는 완료된 상태에서 상기 반복 시점의 가상 환경으로 되돌아갈 수 있고, 상기 반복 시점의 가상 환경에서 다시 반복하여 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션을 수행할 수 있다.
도 4b에 도시된 바와 같이, 사용자는 추가 인터페이스 요청 장치(400)의 왼쪽 페달을 밟아 인터랙션 반복 지원 장치(105)를 활성화하여 인터랙션 반복 인터페이스를 호출하고, 반복 시점을 기억시킬 수 있다. 즉, 4층까지 가상 블록을 쌓은 현재 상태 및 현재 시점이 반복 시점으로 기억될 수 있다.
도 4c 내지 도 4f는 인터랙션 반복 지원 장치(105)에서 제공하는 인터랙션 반복 인터페이스의 동작 화면을 개략적으로 도시한 것이다. 인터랙션 반복 지원 장치(105)는 종래 제공되던 가상 공간의 화면과 동일한 화면을 제공할 수 있다. 가상 공간 및 가상 공간에 포함된 오브젝트도 동일하다. 다만, 인터랙션 반복 인터페이스가 실행된 상태에서는 제공되는 화면의 일부가 변형되어 현재 인터랙션 반복 인터페이스가 실행되고 있는 상태임을 사용자에게 알릴 수 있다. 예를 들어, 도 4c 내지 도 4f에 도시된 바와 같이, 화면 테두리에 초록색 테두리가 표시되어 현재 인터랙션 반복 인터페이스가 실행되는 상태임을 사용자에게 알릴 수 있다.
사용자는 인터랙션 반복 기능이 활성화된 상태에서 종래 수행하던 가상 오브젝트에 대한 인터랙션을 연속하여 수행할 수 있다. 즉, 도 4c에 예시적으로 도시된 바와 같이, 사용자는 4층의 가상 블록 위에 가상 블록을 하나 더 배치하여 5층으로 구성된 가상 오브젝트 탑을 쌓는 인터랙션을 계속 진행할 수 있다. 다만, 사용자는 도 4d에 예시적으로 도시된 바와 같이, 가상 블록을 쌓는데 실패할 수 있고, 이에 따라 종래 쌓은 가상 탑 전체가 무너질 수 있다. 사용자는 반복 시점으로 돌아가기 위해 추가 인터페이스 요청 장치(400)의 오른쪽 페달을 밟는 행동을 통해 반복 신호를 인터랙션 반복 지원 장치에 전송할 수 있고, 인터랙션 반복 지원 장치(105)는 이에 대응하여 반복 시점에 해당하는 가상 공간 및 이에 포함된 가상 오브젝트를 사용자에게 제공할 수 있다.
즉, 사용자는 반복 시점으로 되돌아가서 종래 실패하였던 인터랙션을 도 4e와 같이 다시 수행(2차 시도)할 수 있다. 이러한 인터랙션의 반복은 인터랙션 반복 인터페이스를 비활성화할 때까지 계속하여 수행될 수 있다. 도 4f와 같이, 사용자는 가상 블록을 하나 더 배치하여 5층으로 구성된 가상 오브젝트 탑을 쌓는 인터랙션을 수행하여, 최종적으로 이를 완성할 수 있다. 목표하였던 인터랙션을 반복 수행을 통해 성공한 사용자는 추가 인터페이스 요청 장치(400)의 왼쪽 페달을 밟아 인터랙션 반복 지원 장치(105)를 비활성화하여 인터랙션 반복 인터페이스를 종료시킬 수 있다.
상술한 바와 같이, 본 발명의 다른 실시예에 따른 인터랙션 반복 지원 장치(105)는 가상 오브젝트를 조작, 제어하는 제스처와 구분되는 특유의 제스처 및 이를 보완하는 추가 인터페이스 요청 장치(400)를 통해 가상 오브젝트의 조작과의 혼선 없이 활성화되어, 사용자에게 인터랙션 반복 기능을 제공할 수 있다. 또한, 본 실시예에 따른 인터랙션 복원 지원 장치(104) 또한 상술한 추가 인터페이스 요청 장치(400)를 통한 조작을 통해 활성화되며, 이를 이용하여 제어될 수도 있다.
도 5a 내지 도 5c는 본 발명의 또 다른 실시예에 따른 인터랙션 반복 지원 장치의 동작 과정을 개략적으로 도시한 것이다. 본 발명의 또 다른 실시예에 따른 인터랙션 반복 지원 장치는 사용자의 박수(Clap)에 의해 인터랙션 반복 인터페이스가 활성화될 수 있다. 사용자의 양 손바닥을 접촉시키는 제스처는 일반적인 가상 공간 내에서 수행되는 가상 오브젝트를 조작하는 제스처에 해당하지 않는다. 즉, 인터랙션 반복 지원 장치는 양 손의 세부적인 움직임과 무관한 사용자의 동작에 의해 활성화되어 인터랙션 반복 인터페이스를 제공할 수 있다. 즉, 도 5a에 도시된 바와 같이, 인터랙션 반복 지원 장치는 사용자의 박수 3회를 인식하여 인터랙션 반복 인터페이스를 사용자에게 제공할 수 있다. 도 5b에 도시된 바와 같이, 인터랙션 반복 인터페이스가 활성화된 상태에서 사용자는 4층의 가상 블록 위에 가상 블록을 하나 더 배치하여 5층으로 구성된 가상 오브젝트 탑을 쌓는 인터랙션을 계속 진행할 수 있다. 도 5c에 예시적으로 도시된 바와 같이, 사용자는 가상 블록을 쌓는데 실패할 수 있고, 반복 시점으로 돌아가기 위한 제스처를 수행할 수 있다. 즉, 사용자는 박수를 2회 칠 수 있으며, 이에 따라 인터랙션 반복 지원 장치는 반복 시점에 해당하는 가상 공간 및 이에 포함된 가상 오브젝트를 사용자에게 제공할 수 있다. 또한, 목표하였던 인터랙션을 반복 수행을 통해 성공한 사용자는 양 손바닥을 3회 접촉시키는 제스처를 수행하여 인터랙션 반복 지원 장치(105)를 비활성화, 인터랙션 반복 인터페이스를 종료시킬 수 있다.
상술한 바와 같이, 본 발명의 또 다른 실시예에 따른 인터랙션 반복 지원 장치(105)는 가상 오브젝트를 조작, 제어하는 제스처와 구분되는 특유의 제스처를 통해 가상 오브젝트의 조작과의 혼선 없이 활성화되어, 사용자에게 인터랙션 반복 기능을 제공할 수 있다. 또한, 본 실시예에 따른 인터랙션 복원 지원 장치(104) 또한 상술한 제스처를 통해 활성화되며, 이를 통해 제어될 수도 있다.
이하, 본 발명의 또 다른 실시예에 따른 인터랙션 인터페이스의 제어 방법에 대해 설명하도록 한다.
도 6은 본 발명의 또 다른 실시예에 따른 인터랙션 인터페이스의 제어 방법의 순서도이다. 본 실시예에 따른 방법은 도 1 내지 도 5c에 따른 인터랙션 복원 인터페이스의 지원 장치 및 인터랙션 반복 인터페이스의 지원 장치를 포함하는 가상 공간 제어 시스템에서 수행되는 방법으로 중복되는 설명은 생략한다.
도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 인터랙션 인터페이스의 제어 방법은 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이의 인터랙션이 수행되는 단계로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되는, 단계(S100); 및 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스 또는 인터랙션 복원 인터페이스가 활성화되는 단계(S110)를 포함한다.
3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이의 인터랙션이 수행된다(S100).
사용자의 신체의 적어도 일부(예를 들어, 손)가 립 모션(Leap Motion) 센서, 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서 등과 같은 입력 장치(102)를 통해 인식될 수 있으며, 인식된 손은 입력 정보로 가상 공간 생성 장치(101)에 제공되어 가상 공간에 가상 손으로 구현될 수 있다. 또한, 현재 구현되는 가상 공간은 3차원 디스플레이 장치 또는 헤드 마운트형 디스플레이 장치와 같은 출력 장치(103)를 통해 사용자에게 출력될 수 있다. 사용자는 가상 공간에서 인터랙션(Interaction)을 수행할 수 있다. 가상 공간에 참여하는 사용자는 신체의 적어도 일부를 이용해 제스처를 취함으로써, 사용자 인터페이스를 통해 가상 공간의 가상 오브젝트를 조작하는 인터랙션을 수행할 수 있다. 입력 장치(102)는 사용자의 양 손을 모두 인식할 수 있으며, 가상 공간 생성 장치(101)는 입력 장치(102)에서 인식된 양 손을 모두 가상 손(200)으로 구현할 수 있다. 사용자는 구현된 가상 손(200)을 가상 오브젝트를 잡거(Grasp)나 특정 위치로 이동(Move)하는 인간-오브젝트 인터랙션을 수행할 수 있으며, 이러한 인간-오브젝트 인터랙션에 따라 가상 오브젝트(210)는 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변경될 수 있다. 사용자는 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대해 연속적인 3차원 조작 인터랙션을 수행할 수 있다.
상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스 또는 인터랙션 복원 인터페이스가 활성화된다(S110).
인터랙션 복원 지원 장치(104)는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처를 통해 인터랙션 복원 인터페이스가 활성화된다. 또한, 인터랙션 반복 지원 장치(105)는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처를 통해 인터랙션 반복 인터페이스가 활성화된다.
여기서, 상기 인터랙션 복원 인터페이스는 과거 수행된 인터랙션을 시간적 순서로 조회하는 조회 모드, 과거 수행된 인터랙션을 수정하는 수정 모드 및 수정 모드에서 수정한 이력을 확인하는 기록 모드를 사용자에게 제공하고, 상기 인터랙션 반복 인터페이스는 반복 시점을 기억하고, 반복 신호에 대응하여 상기 반복 시점에 해당하는 가상 공간 및 이에 포함된 가상 오브젝트를 사용자에게 제공할 수 있다.
일 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 양 손목의 접촉에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 또한, 상기 인터랙션 복원 인터페이스를 활성화하는 사용자의 제스처와 상기 인터랙션 반복 인터페이스를 활성화하는 사용자의 제스처는 서로 상이할 수 있다. 예를 들어, 사용자의 양 손목이 한 번 접촉하는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 양 손목이 연속하여 두 번 접촉하는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다.
다른 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 발 동작에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 예를 들어, 사용자의 오른발이 움직이는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 왼 발이 움직이는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다.
또 다른 실시예에서, 인터랙션 복원 지원 장치(104) 및/또는 인터랙션 반복 지원 장치(105)는 사용자의 박수(Clap)에 의해 인터랙션 복원 인터페이스 및/또는 인터랙션 반복 인터페이스가 활성화될 수 있다. 예를 들어, 사용자의 양 손바닥이 한 번 접촉하는 것에 대응하여 인터랙션 복원 지원 장치(104)가 활성화되고, 양 손바닥이 연속하여 두 번 접촉하는 것에 대응하여 인터랙션 반복 지원 장치(105)가 활성화될 수 있다.
본 실시예에 따른 인터랙션 인터페이스 제어 방법은, 가상 오브젝트를 조작, 제어하는 제스처와 구분되는 특유의 제스처를 통해 가상 오브젝트의 조작과의 혼선 없이 인터랙션 반복 인터페이스 또는 인터랙션 복원 인터페이스가 활성화되어, 사용자에게 인터랙션 반복 기능 또는 인터랙션 복원 기능을 제공할 수 있다.
이상에서 설명한 실시예들에 따른 인터랙션 인터페이스 제어 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 인터랙션 인터페이스 제어 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 가상 공간 제공 시스템
101: 가상 공간 생성 장치
102: 입력 장치
103: 출력 장치
104: 인터랙션 복원 지원 장치
104: 인터랙션 반복 지원 장치

Claims (18)

  1. 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행된 인터랙션의 복원을 지원하는 인터랙션 복원 지원 장치로서,
    상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  2. 제1 항에 있어서,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 양 손목의 접촉에 의해 상기 인터랙션 복원 인터페이스가 활성화되고,
    상기 사용자는 양 손목에 상기 인터랙션 복원 지원 장치와 데이터의 송수신이 가능하도록 구성된 추가 인터페이스 요청 장치가 장착되며,
    상기 사용자의 양 손목에 장착된 추가 인터페이스 요청 장치의 물리적 접촉에 의해 추가 인터페이스 요청 신호가 생성되고,
    상기 추가 인터페이스 요청 장치는 상기 생성된 추가 인터페이스 요청 신호를 상기 인터랙션 복원 지원 장치에 전송하며,
    상기 인터랙션 복원 지원 장치는 수신된 추가 인터페이스 요청 신호에 대응하여 상기 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  3. 제1 항에 있어서,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 양 손목의 접촉에 의해 상기 인터랙션 복원 인터페이스가 활성화되고,
    상기 사용자의 양 손목의 접촉 여부는 상기 사용자의 제스처를 인식하는 입력 장치에 의해 감지되며,
    상기 인터랙션 복원 지원 장치는 상기 입력 장치에 의해 상기 사용자의 양 손목의 접촉 여부가 감지되는 것에 대응하여 상기 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  4. 제1 항에 있어서,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 양 발의 동작에 따라 상기 인터랙션 복원 인터페이스가 활성화되고,
    상기 사용자의 양 발은 상기 양 발의 동작을 감지하고, 상기 인터랙션 복원 지원 장치와 데이터의 송수신이 가능하도록 구성되는 추가 인터페이스 요청 장치에 위치하며,
    상기 추가 인터페이스 요청 장치는 상기 양 발의 동작 변화를 감지하여 추가 인터페이스 요청 신호를 생성하고, 상기 생성된 추가 인터페이스 요청 신호를 상기 인터랙션 복원 지원 장치에 전송하며,
    상기 인터랙션 복원 지원 장치는 수신된 추가 인터페이스 요청 신호에 대응하여 상기 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  5. 제1 항에 있어서,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 양 손바닥의 접촉에 의해 상기 인터랙션 복원 인터페이스가 활성화되고,
    상기 사용자의 양 손바닥의 접촉 여부는 상기 사용자의 제스처를 인식하는 입력 장치에 의해 감지되며,
    상기 인터랙션 복원 지원 장치는 상기 입력 장치에 의해 상기 사용자의 양 손바닥의 접촉 여부가 감지되는 것에 대응하여 상기 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  6. 제1 항에 있어서,
    상기 인터랙션 복원 인터페이스는 과거 수행된 인터랙션을 시간적 순서로 조회하는 조회 모드, 과거 수행된 인터랙션을 수정하는 수정 모드 및 수정 모드에서 수정한 이력을 확인하는 기록 모드를 사용자에게 제공하는 것을 특징으로 하는 인터랙션 복원 지원 장치.
  7. 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이에서 수행되는 인터랙션의 반복을 지원하는 인터랙션 반복 지원 장치로서,
    상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  8. 제7 항에 있어서,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 양 손목의 접촉에 의해 상기 인터랙션 반복 인터페이스가 활성화되고,
    상기 사용자는 양 손목에 상기 인터랙션 반복 지원 장치와 데이터의 송수신이 가능하도록 구성된 추가 인터페이스 요청 장치가 장착되며,
    상기 사용자의 양 손목에 장착된 추가 인터페이스 요청 장치의 물리적 접촉에 의해 추가 인터페이스 요청 신호가 생성되고,
    상기 추가 인터페이스 요청 장치는 상기 생성된 추가 인터페이스 요청 신호를 상기 인터랙션 반복 지원 장치에 전송하며,
    상기 인터랙션 반복 지원 장치는 수신된 추가 인터페이스 요청 신호에 대응하여 상기 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  9. 제7 항에 있어서,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 양 손목의 접촉에 의해 상기 인터랙션 반복 인터페이스가 활성화되고,
    상기 사용자의 양 손목의 접촉 여부는 상기 사용자의 제스처를 인식하는 입력 장치에 의해 감지되며,
    상기 인터랙션 반복 지원 장치는 상기 입력 장치에 의해 상기 사용자의 양 손목의 접촉 여부가 감지되는 것에 대응하여 상기 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  10. 제7 항에 있어서,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 양 발의 동작에 따라 상기 인터랙션 반복 인터페이스가 활성화되고,
    상기 사용자의 양 발은 상기 양 발의 동작을 감지하고, 상기 인터랙션 반복 지원 장치와 데이터의 송수신이 가능하도록 구성되는 추가 인터페이스 요청 장치에 위치하며,
    상기 추가 인터페이스 요청 장치는 상기 양 발의 동작 변화를 감지하여 추가 인터페이스 요청 신호를 생성하고, 상기 생성된 추가 인터페이스 요청 신호를 상기 인터랙션 반복 지원 장치에 전송하며,
    상기 인터랙션 반복 지원 장치는 수신된 추가 인터페이스 요청 신호에 대응하여 상기 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  11. 제7 항에 있어서,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 양 손바닥의 접촉에 의해 상기 인터랙션 반복 인터페이스가 활성화되고,
    상기 사용자의 양 손바닥의 접촉 여부는 상기 사용자의 제스처를 인식하는 입력 장치에 의해 감지되며,
    상기 인터랙션 반복 지원 장치는 상기 입력 장치에 의해 상기 사용자의 양 손바닥의 접촉 여부가 감지되는 것에 대응하여 상기 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  12. 제7 항에 있어서,
    상기 인터랙션 반복 인터페이스는 반복 시점을 기억하고, 반복 신호에 대응하여 상기 반복 시점에 해당하는 가상 공간 및 이에 포함된 가상 오브젝트를 사용자에게 제공하는 것을 특징으로 하는 인터랙션 반복 지원 장치.
  13. 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 사용자 사이의 인터랙션이 수행되는 단계로서, 상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되는 단계; 및
    상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스 또는 인터랙션 반복 인터페이스가 활성화되는 단계를 포함하는 인터랙션 인터페이스의 제어 방법.
  14. 제13 항에 있어서,
    상기 인터랙션 복원 인터페이스는 과거 수행된 인터랙션을 시간적 순서로 조회하는 조회 모드, 과거 수행된 인터랙션을 수정하는 수정 모드 및 수정 모드에서 수정한 이력을 확인하는 기록 모드를 사용자에게 제공하고,
    상기 인터랙션 반복 인터페이스는 반복 시점을 기억하고, 반복 신호에 대응하여 상기 반복 시점에 해당하는 가상 공간 및 이에 포함된 가상 오브젝트를 사용자에게 제공하는 것을 특징으로 하는 인터랙션 인터페이스의 제어 방법.
  15. 제13 항에 있어서,
    상기 인터랙션 복원 인터페이스를 활성화하는 사용자의 제스처와 상기 인터랙션 반복 인터페이스를 활성화하는 사용자의 제스처는 서로 상이한 것을 특징으로 하는 인터랙션 인터페이스의 제어 방법.
  16. 하드웨어와 결합되어 제13항 내지 제15항 중 어느 한 항에 따른 인터랙션 인터페이스의 제어 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
  17. 적어도 한 명의 사용자에게 3차원 가상 공간을 제공하는 가상 공간 제공 장치;
    상기 사용자의 신체의 적어도 일부를 인식하여 상기 3차원 가상 공간에 반영하게 하는 입력 장치;
    상기 3차원 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및
    상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 상기 사용자 사이에서 수행된 인터랙션의 복원을 지원하는 인터랙션 복원 지원 장치를 포함하되,
    상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며,
    상기 인터랙션 복원 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 복원 인터페이스가 활성화되는 것을 특징으로 하는 가상 공간 제공 시스템.
  18. 적어도 한 명의 사용자에게 3차원 가상 공간을 제공하는 가상 공간 제공 장치;
    상기 사용자의 신체의 적어도 일부를 인식하여 상기 3차원 가상 공간에 반영하게 하는 입력 장치;
    상기 3차원 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및
    상기 3차원 가상 공간에 구현된 복수의 가상 오브젝트와 상기 사용자 사이에서 수행되는 인터랙션의 반복을 지원하는 인터랙션 반복 지원 장치를 포함하되,
    상기 인터랙션은 상기 사용자의 제스처를 인식하여 수행되며,
    상기 인터랙션 반복 지원 장치는 상기 사용자의 인터랙션 제스처에 해당되지 않는 제스처에 대응하여 인터랙션 반복 인터페이스가 활성화되는 것을 특징으로 하는 가상 공간 제공 시스템.
KR1020190100978A 2019-08-19 2019-08-19 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 KR102306392B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190100978A KR102306392B1 (ko) 2019-08-19 2019-08-19 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
US16/868,506 US11656687B2 (en) 2019-08-19 2020-05-06 Method for controlling interaction interface and device for supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190100978A KR102306392B1 (ko) 2019-08-19 2019-08-19 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
KR20210021720A true KR20210021720A (ko) 2021-03-02
KR102306392B1 KR102306392B1 (ko) 2021-09-30

Family

ID=74645826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100978A KR102306392B1 (ko) 2019-08-19 2019-08-19 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치

Country Status (2)

Country Link
US (1) US11656687B2 (ko)
KR (1) KR102306392B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7339604B2 (ja) * 2019-11-12 2023-09-06 オムロン株式会社 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
WO2022060555A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Merging computer-generated objects based on extremity tracking data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113539A (ja) * 2008-11-06 2010-05-20 Konica Minolta Holdings Inc 情報処理方法、情報処理装置およびプログラム
KR20110045589A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
KR101121746B1 (ko) * 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR20140064693A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR20160132683A (ko) * 2015-05-11 2016-11-21 (주)젠트정보기술 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템
KR101752223B1 (ko) * 2016-01-07 2017-07-06 한국과학기술연구원 인터랙션의 복원을 지원하는 사용자 인터페이스를 제공하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20190062835A (ko) * 2017-11-29 2019-06-07 한국과학기술연구원 가상 공간의 인터랙션 분석 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002680B2 (en) * 2008-06-13 2015-04-07 Nike, Inc. Foot gestures for computer input and interface control
US7925924B2 (en) * 2009-03-23 2011-04-12 International Business Machines Corporation Method for command line interface restore points with support for an atomic sets of commands
US9235241B2 (en) * 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
WO2015094222A1 (en) * 2013-12-18 2015-06-25 Intel Corporation User interface based on wearable device interaction
US9588677B2 (en) * 2014-01-03 2017-03-07 Verizon Patent And Licensing Inc. Systems and methods for touch-screen-based remote interaction with a graphical user interface
US10491695B2 (en) * 2014-08-22 2019-11-26 Oracle International Corporation Autosave with across user session undo support
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
US20170124762A1 (en) * 2015-10-28 2017-05-04 Xerox Corporation Virtual reality method and system for text manipulation
US20170249061A1 (en) 2016-02-29 2017-08-31 Lampix Method and Apparatus for Providing User Interfaces with Computerized Systems and Interacting with a Virtual Environment
US10602133B2 (en) 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10642369B2 (en) * 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
US11269501B2 (en) * 2019-11-13 2022-03-08 Figma, Inc. System and method for implementing design system to provide preview of constraint conflicts

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113539A (ja) * 2008-11-06 2010-05-20 Konica Minolta Holdings Inc 情報処理方法、情報処理装置およびプログラム
KR20110045589A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
KR101121746B1 (ko) * 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR20140064693A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR20160132683A (ko) * 2015-05-11 2016-11-21 (주)젠트정보기술 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템
KR101752223B1 (ko) * 2016-01-07 2017-07-06 한국과학기술연구원 인터랙션의 복원을 지원하는 사용자 인터페이스를 제공하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20190062835A (ko) * 2017-11-29 2019-06-07 한국과학기술연구원 가상 공간의 인터랙션 분석 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Nancel, Mathieu, and Andy Cockburn, "Causality: A conceptual model of interaction history," in Proc. of the 32nd annual ACM conference on Human factors in computing systems, p.1777-1786, 2014.

Also Published As

Publication number Publication date
KR102306392B1 (ko) 2021-09-30
US11656687B2 (en) 2023-05-23
US20210055802A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US9285907B2 (en) Recognizing multiple input point gestures
US9864431B2 (en) Changing an application state using neurological data
JP2023036711A (ja) 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
US7339572B2 (en) Haptic devices using electroactive polymers
US9430106B1 (en) Coordinated stylus haptic action
CN107656620B (zh) 虚拟对象控制方法、装置、电子设备及存储介质
CN109491586B (zh) 虚拟对象控制方法及装置、电子设备、存储介质
CN112400151A (zh) 通过触摸与虚拟对象和数据的自然交互
KR102306392B1 (ko) 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
US9747004B2 (en) Web content navigation using tab switching
US20180052517A1 (en) System and method for communicating inputs and outputs via a wearable apparatus
CN108431735A (zh) 姿态视觉构建器工具
Paliyawan et al. UKI: universal Kinect‐type controller by ICE Lab
US20130012320A1 (en) Display Grid for Video Game Input
WO2020067124A1 (ja) プログラム、電子装置、及び方法
US20170024052A1 (en) Electrotactile feedback in multitouch systems
US20200410695A1 (en) Motion tracking sychronization in virtual reality spaces
CN110038298A (zh) 单机同时实现多个鼠标的方法和相关装置
KR20210017166A (ko) 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치
KR101110226B1 (ko) 컴퓨터, 입력 방법, 및 컴퓨터 판독 가능 매체
JP7070993B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190125322A (ko) 햅틱 피드백을 수행하기 위한 다중 속도처리장치
KR102285331B1 (ko) 여러 사용자 사이의 상호작용에 대한 인터랙션 복원을 지원하는 방법 및 장치
WO2016098463A1 (ja) 情報処理プログラムおよび情報処理方法
JP2013117757A (ja) 情報処理システム、情報処理サーバ、情報処理方法、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)