KR102302388B1 - 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치 - Google Patents

연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치 Download PDF

Info

Publication number
KR102302388B1
KR102302388B1 KR1020190095990A KR20190095990A KR102302388B1 KR 102302388 B1 KR102302388 B1 KR 102302388B1 KR 1020190095990 A KR1020190095990 A KR 1020190095990A KR 20190095990 A KR20190095990 A KR 20190095990A KR 102302388 B1 KR102302388 B1 KR 102302388B1
Authority
KR
South Korea
Prior art keywords
interaction
virtual
virtual space
manipulation
restoration
Prior art date
Application number
KR1020190095990A
Other languages
English (en)
Other versions
KR20210017166A (ko
Inventor
박정민
이중재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190095990A priority Critical patent/KR102302388B1/ko
Publication of KR20210017166A publication Critical patent/KR20210017166A/ko
Application granted granted Critical
Publication of KR102302388B1 publication Critical patent/KR102302388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법 및 이를 지원하는 장치가 제공된다. 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 가상 공간의 상태 정보 저장부; 및 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공하는 복원 인터페이스 제공부를 포함한다.

Description

연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치{Method for undoing virtual object-based interaction of continuous three-dimensional manipulation interaction and device supporting the same}
인터랙션 복원 방법 및 이를 지원하는 장치에 관한 것으로, 구체적으로, 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치에 관한 것이다.
최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호 작용)을 위한 연구는 꾸준히 진행되어 왔으며, 최근, 사용자의 제스처, 구체적으로 사용자의 손을 손 트래킹 장치 등을 통해 인식하여, 가상 공간에서 사용자의 가상 손과 3차원 오브젝트와의 인터랙션을 수행하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface)가 개발된 바 있다.
다만, 사용자의 손을 인식하는 사용자 인터페이스를 기반하여 구현된 종래의 가상 공간은 가상 공간에서 수행된 인터랙션에 대한 복원 기능을 효율적으로 제공하지 못하였으며, 복원을 수행하는 것 보다 시스템을 초기화하여 다시 출발하는 방식으로 기존의 인터랙션을 다시 수행하여야 했었다.
그리고, 종래의 인터랙션의 복원을 지원하는 사용자 인터페이스의 경우, 사용자의 행위를 기준으로 인터랙션의 복원을 제공하였다. 즉, 종래의 인터랙션 복원 시스템은 사용자가 가상 오브젝트를 잡은 행위, 이동시키는 행위 등을 기준으로 해당 행위가 수행되는 시점을 기억하여 해당 시점으로 복원하는 방식을 제공하였다. 이러한, 인터랙션 행위 단위의 복원은 복원 시점에 대한 정보를 제공하는 별도의 복원 인터페이스 및 인터랙션 행위에 대한 재조정(adaptation) 단계가 필요하여 인터랙션 복원의 불편함이 있었고, 오브젝트를 기준으로 복원이 수행되지 않는 바, 직관적인 인터랙션 복원이 제공되지 못하였다.
이에, 본 발명의 발명자는 3차원 공간에서 가상 공간에 위치한 3차원 가상 오브젝트의 조작 인터랙션과 이질감 없이 조작의 기본 단위인 가상 오브젝트 및 가상 오브젝트와 관련된 행위를 기반으로 한 인터랙션 복원 방법 및 이를 지원하는 장치를 개발하는 데 이르렀다.
Nancel, Mathieu, and Andy Cockburn, "Causality: A conceptual model of interaction history," in Proc. of the 32nd annual ACM conference on Human factors in computing systems, p.1777-1786, 2014.
본 발명은 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치를 제공한다.
본 발명의 일 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치는 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치로서, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 가상 공간의 상태 정보 저장부; 및 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공하는 복원 인터페이스 제공부를 포함한다.
본 발명의 다른 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법은 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법으로, 가상 공간의 상태 정보 저장부가, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 단계; 복원 인터페이스 제공부가, 인터랙션 복원 요청 신호에 대응하여, 상기 저장된 가상 공간의 상태 정보에 기초하여 구성한 가상 공간 화면을 조작 인터랙션 단위로 제공하는 조작 인터랙션 조회 모드를 제공하는 단계; 상기 복원 인터페이스 제공부가, 조작 인터랙션 수정 요청 신호에 대응하여, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나의 수정이 가능한 조작 인터랙션 수정 모드를 제공하는 단계; 및 상기 복원 인터페이스 제공부가, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법을 실행하도록 매체에 저장된다.
본 발명의 또 다른 실시예에 따른 가상 공간 제공 시스템은 적어도 한명의 사용자에게 가상 공간을 제공하는 가상 공간 제공 장치; 상기 사용자의 신체의 적어도 일부를 인식하여 상기 가상 공간에 반영하게 하는 입력 장치; 상기 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 인터랙션 복원 지원 장치를 포함하되, 상기 인터랙션 복원 지원 장치는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 가상 공간의 상태 정보 저장부; 및 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공하는 복원 인터페이스 제공부를 포함한다.
본 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법 및 이를 지원하는 장치는, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하고, 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공할 수 있다.
즉, 3차원 가상 환경에서 수행되는 조작 인터랙션 단위로 인터랙션의 복원이 진행될 수 있어, 쉽고 직관적이며 3차원 환경에 보다 적합한 인터랙션의 복원 인터페이스가 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
도 3 내지 도 8은 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치에서 제공하는 인터페이스의 예시적인 동작 화면이다.
도 9는 본 발명의 다른 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다. 도 3 내지 도 8은 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치에서 제공하는 인터페이스의 예시적인 동작 화면이다.
실시예들에 따른 가상 공간 제공 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 발명의 일 실시예에 따른 가상 공간 제공 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 인터랙션 복원 지원 장치(100)는, 인터랙션을 복원하기 위한 하드웨어 및 이를 위한 소프트웨어의 조합을 지칭할 수 있다.
또한, 본 명세서에서 가상 공간 제공 시스템(10)을 구성하는 각 모듈은 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결될 수 있으며, 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되는 것은 아니다.
가상 공간 제공 시스템(10)은 적어도 한 명의 사용자가 참여하는 가상 공간을 제공할 수 있다. 가상 공간은 소정의 물리량을 가진 복수의 가상 오브젝트(210)가 구현될 수 있다. 가상 오브젝트는 가상 공간상에서 사용자의 신체 일부 또는 실제 오브젝트와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 오브젝트는 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 오브젝트를 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 오브젝트의 물리 법칙을 적용하기 위한 물리량 및 다른 물리 정보를 가진 가상 오브젝트와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 예시적으로, 가상 오브젝트의 접촉 포인트는 메쉬 형태로 구성될 수 있으며, 가상 오브젝트간의 접촉은 이러한 메쉬 포인트의 접촉으로 인식될 수 있다. 예를 들어, 가상 공간의 가상 오브젝트는 도 2에 도시된 바와 같은 가상 블록일 수 있으며, 가상 공간은 가상 블록을 활용한 블록 놀이를 위한 공간일 수 있으나, 이에 한정되는 것은 아니며 체스 게임을 수행할 수 있는 게임 공간 등일 수 있다.
도 1을 참조하면, 가상 공간 제공 시스템(10)은 상술한 가상 공간을 생성하는 가상 공간 생성 장치(101), 사용자의 신체의 적어도 일부를 인식하여 가상 공간에 반영하게 하는 입력 장치(102) 및 가상 공간을 출력하여 사용자에게 제공하는 출력 장치(103)를 포함한다.
사용자의 신체의 적어도 일부(예를 들어, 손)가 립 모션(Leap Motion) 센서, 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서 등과 같은 입력 장치(102)를 통해 인식될 수 있으며, 인식된 손은 입력 정보로 가상 공간 생성 장치(101)에 제공되어 가상 공간에 가상 손으로 구현될 수 있다. 또한, 현재 구현되는 가상 공간은 3차원 디스플레이 장치 또는 헤드 마운트형 디스플레이 장치와 같은 출력 장치(103)를 통해 사용자에게 출력될 수 있다.
사용자는 가상 공간에서 인터랙션(Interaction)을 수행할 수 있다. 가상 공간에 참여하는 사용자는 신체의 적어도 일부를 이용해 제스처를 취함으로써, 사용자 인터페이스를 통해 가상 공간의 가상 오브젝트를 조작하는 인터랙션을 수행할 수 있다. 즉, 도 2에 도시된 바와 같이, 입력 장치(102)는 사용자의 양 손을 모두 인식할 수 있으며, 가상 공간 생성 장치(101)는 입력 장치(102)에서 인식된 양 손을 모두 가상 손(200)으로 구현할 수 있다. 사용자는 구현된 가상 손(200)을 가상 오브젝트를 잡거(Grasp)나 특정 위치로 이동(Move)하는 인간-오브젝트 인터랙션을 수행할 수 있으며, 이러한 인간-오브젝트 인터랙션에 따라 가상 오브젝트(210)는 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변경될 수 있다.
사용자는 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대해 연속적인 3차원 조작 인터랙션을 수행할 수 있다. 여기서, 본 명세서에서 기재된 "연속적인 3차원 조작 인터랙션"은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트를 변화시키는 복수의 조작 인터랙션이 시계열적으로 수행된 것을 의미한다. 예를 들어, 가상 오브젝트를 연속적으로 적층하여 다른 형상의 가상 오브젝트를 구성하는 행위, 즉, 도 2에 도시된 바와 같은 가상 블록을 쌓아서 더 큰 구조물을 형성하는 일련의 조작 인터랙션을 의미할 수 있다. 이러한, 연속적인 3차원 조작 인터랙션이 수행되는 중간 또는 수행이 완료된 상황에서 가상 오브젝트와의 특정 인터랙션이 잘못 되거나 본래 의도한 대로 수행되지 않은 것을 사용자가 발견한 경우, 사용자는 인터랙션 복원 기능을 요청할 수 있다. 즉, 본 실시예에 따른 가상 공간 제공 시스템(10)은 인터랙션 복원 기능을 제공하는 인터랙션 복원 지원 장치(100)를 포함할 수 있으며, 인터랙션 복원 지원 장치(100)를 통해 사용자에게 인터랙션 복원 기능을 제공할 수 있다.
구체적으로, 본 실시예에 따른 인터랙션 복원 지원 장치(100)는 가상 공간의 상태 정보 저장부(110) 및 복원 인터페이스 제공부(120)를 포함한다.
가상 공간의 상태 정보 저장부(110)는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 복수의 가상 오브젝트의 변화를 저장할 수 있다. 구체적으로, 가상 공간의 상태 정보 저장부(110)는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장할 수 있다. 여기서, 가상 공간의 상태 정보는 가상 공간을 구현하기 위한 데이터일 수 있으며, 적어도 가상 공간 내에 포함된 모든 가상 오브젝트의 그래픽 정보, 물리 정보, 위치 정보를 포함할 수 있다.
가상 공간의 상태 정보 저장부(110)는 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 공간 및 이에 포함된 가상 오브젝트의 정보를 실시간으로 저장하는 것은 아니다. 가상 공간의 상태 정보 저장부(110)는 복수의 가상 오브젝트의 변화가 발생한 경우, 이에 따라 변화된 가상 공간의 상태 정보를 저장한다. 여기서, 가상 오브젝트의 변화는 가상 오브젝트에 대한 조작 인터랙션의 수행 여부에 따라 판단된다.. 가상 오브젝트에 대한 조작 인터랙션은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트의 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변화되는 것을 의미한다.
따라서, 가상 공간의 상태 정보 저장부(110)는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장할 수 있다. 즉, 가상 공간의 상태 정보 저장부(110)는 현재 상태의 가상 오브젝트의 배치 위치, 배치 방향, 또는 주변 가상 오브젝트와의 관계가 직전 상태 대비 변화하였는 지 여부를 판단(조작 인터랙션의 발생 여부를 판단)할 수 있으며, 변화되었다고 판단된 현재 상태의 가상 공간의 상태 정보를 저장할 수 있다. 가상 오브젝트의 배치 위치의 변화는 직전 상태와 비교하여 임계 거리를 초과하여 가상 오브젝트가 이동된 경우를 의미한다. 또한, 가상 오브젝트의 배치 방향의 변화는 직전 상태와 비교하여 임계 각도를 초과하여 가상 오브젝트가 회전된 경우를 의미한다. 또한, 주변 가상 오브젝트와의 관계의 변화는 주변 가상 오브젝트와 접촉 여부의 변화 등과 같이 주변 가상 오브젝트와 기 설정된 상호 작용이 변화되는 상황을 의미할 수 있다.
예시적으로, 가상 블록을 연속적으로 쌓는 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 공간의 상태 정보 저장부(110)는 주변 가상 오브젝트와의 접촉 여부의 변화를 관찰하여 주변 가상 오브젝트와의 접촉 관계가 변화된 상태의 가상 공간의 상태 정보를 모두 저장할 수 있다.
연속적인 3차원 조작 인터랙션이 수행되는 동안, 조작 인터랙션이 복수로 발생한 경우, 가상 공간의 상태 정보 저장부(110)에는 복수의 가상 공간의 상태 정보가 시계열적으로 저장될 수 있다. 또한, 연속적으로 3차원 조작 인터랙션은 일정 시간 동안 진행되는 것으로, 가상 공간의 상태 정보가 저장된 시간은 상이할 수 있다. 다만, 상술한 바와 같이, 조작 인터랙션의 발생에 따라, 조작 인터랙션 단위로 가상 공간의 상태 정보를 저장하므로, 가상 공간의 상태 정보가 저장되는 시간 간격은 일정하지 않을 수 있다.
복원 인터페이스 제공부(120)는 상기 기록된 복수의 가상 오브젝트의 변화를 조작 인터랙션 단위로 조회하고, 가상 오브젝트에 대한 인터랙션을 수정할 수 있는 인터랙션 복원 인터페이스를 제공할 수 있다.
도 3 내지 도 8을 더 참조하여, 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치의 구성 및 특징에 대해 보다 상세히 설명하도록 한다. 도 3은 인터랙션 복원 인터페이스를 활성화 하기 이전의 예시적인 가상 공간의 화면이며, 도 4a 내지 도 8은 인터랙션 복원 인터페이스를 활성화한 상태의 예시적인 동작 화면을 도시한 것이다.
예시적으로, 사용자는 도 3과 같은 가상 블록의 배치와 관련하여 2층 가운데에 위치한 가상 블록의 위치 변경을 원할 수 있다. 다만, 2층 가운데에 위치한 가상 블록의 위치를 변경하는 경우, 이의 위에 쌓여 있는 3층 가상 블록을 먼저 이동시키고, 2층 가상 블록의 위치를 변경한 이후, 다시 3층 가상 블록을 2층 가상 블록에 쌓아야 하는 번거로움이 발생한다. 이러한 상황에서 사용자는 본 실시예에 따른 가상 공간 생성 장치(101)에서 제공하는 인터랙션 복원 인터페이스를 활용할 수 있다.
가상 공간 생성 장치(101)는 가상 공간에 인터랙션 복원 기능을 활성화 하기 위한 인터랙션 복원 요청 오브젝트(220)를 더 제공할 수 있다. 인터랙션 복원 요청 오브젝트(220)는 도 3에 도시된 바와 같이, 사용자가 가상 손(200)으로 인터랙션 가능한 가상 오브젝트로써 가상 공간에 형성될 수 있으나, 이에 한정되는 것은 아니다. 사용자는 가상 손(200)을 통해 인터랙션 복원 요청 오브젝트(220)와 상호 작용하여 인터랙션 복원 요청 신호를 인터랙션 복원 지원 장치(100)에 전송할 수 있다. 예시적으로, 인터랙션 복원 요청 오브젝트(220)는 가상 다이얼 버튼으로 구성될 수 있으며, 가상 손(200)으로 가상 다이얼 버튼을 누르는 행위를 통해 인터랙션 복원 요청 신호를 인터랙션 복원 지원 장치(100)에 제공할 수 있다. 인터랙션 복원 지원 장치(100)의 복원 인터페이스 제공부(120)는 인터랙션 복원 요청 신호에 대응하여, 인터랙션 복원 인터페이스를 제공할 수 있다.
복원 인터페이스 제공부(120)는 가상 공간의 상태 정보 저장부(110)에 저장된 가상 공간의 상태 정보에 기초하여 인터랙션 복원 인터페이스를 구성할 수 있다. 여기서, 복원 인터페이스에서 제공되는 가상 공간의 화면은 가상 공간 제공 장치(101)에서 제공되는 가상 공간의 데이터를 기초로 생성되는 것으로 종래 제공된 과거의 가상 공간의 화면과 실질적으로 동일할 수 있다. 즉, 가상 공간의 상태 정보 저장부(110)에 저장된 시점에 구현되었던 과거의 가상 공간 및 이에 포함된 가상 오브젝트가 동일한 상태로 사용자에게 제공될 수 있다. 다만, 인터랙션 복원 인터페이스가 실행된 상태에서는 제공되는 화면의 일부가 변형되어 현재 인터랙션 복원 인터페이스가 실행되고 있는 상태임을 사용자에게 알릴 수 있다. 예를 들어, 도 4a 내지 도 8에 도시된 바와 같이, 화면 테두리에 푸른색 테두리가 표시되어 현재 인터랙션 복원 인터페이스가 실행되는 상태임을 사용자에게 알릴 수 있다.
또한, 상술한 바와 같이, 연속적인 3차원 조작 인터랙션이 수행되는 동안 가상 공간의 상태 정보 저장부(110)에는 복수의 가상 공간의 상태 정보가 저장될 수 있다. 복원 인터페이스 제공부(120)는 복수의 가상 공간의 상태 정보 각각에 대응하는 가상 공간 화면을 각각 구현하여 저장된 시간 순서에 따라 사용자에게 제공할 수 있다. 복원 인터페이스 제공부(120)는 복수의 가상 공간의 상태 정보를 저장된 시간 순서에 따라 조작 인터랙션 단위로 하나씩 사용자에게 제공할 수 있다. 저장된 가상 공간의 상태 정보에 따라 재 구현된 가상 공간 및 가상 오브젝트가 한 화면에 제공되며, 특정 동작에 따라 다음 화면이 제공될 수 있다. 즉, 인터랙션 복원 인터페이스는 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위로 과거의 가상 공간 및 이에 포함되는 가상 공간 화면을 제공하는 조작 인터랙션 조회 모드를 제공할 수 있다.
또한, 인터랙션 복원 인터페이스는 종래 가상 공간에서 수행하던 바와 같은 동일한 조작 방식이 동일하게 적용될 수 있다. 즉, 사용자의 신체 일부(예를 들어, 손)가 인식되고 이에 기초한 가상 손이 가상 공간에 구현되며, 가상 손과 다른 가상 인터페이스와의 상호 작용을 통해 인터랙션 복원 인터페이스의 동작이 수행될 수 있다. 인터랙션 복원 인터페이스, 구체적으로 조작 인터랙션 조회 모드가 활성화된 상태에서, 복원 요청 오브젝트(220)는 조작 인터페이스로 동작될 수 있다. 사용자는 입력 장치(102)를 통해 조작 신호를 전송할 수 있으며 조작 인터랙션 단위로 과거의 가상 공간 및 이에 포함되는 가상 오브젝트를 조회할 수 있다.
예를 들어, 도 4a 및 도 4b에 도시된 바와 같이, 복원 요청 오브젝트(220)는 가상 다이얼 버튼일 수 있다. 가상 다이얼 버튼은 반 시계 방향 회전 또는 시계 방향 회전으로 회전될 수 있고, 회전에 대응하여 인터랙션 복원 인터페이스는 가상 공간 및 가상 오브젝트를 저장된 시간 순서에 따라 제공할 수 있다. 가상 다이얼 버튼의 시계 방향 회전에 따라 현재 조작 인터랙션 단위에 대응하는 화면에서, 다음 조작 인터랙션 단위에 대응하는 화면으로 변경될 수 있다.
또한, 인터랙션 복원 인터페이스는 현재 제공되고 있는 가상 공간 화면의 시간 순서를 확인할 수 있는 타임 라인(230)을 제공할 수 있다. 도 4a는 도 4b보다 먼저 수행된 조작 인터랙션에 대응한 과거 시간의 가상 공간 및 이에 포함되는 가상 오브젝트를 도시한 것일 수 있다. 도 4a 및 도 4b를 비교하면, 복원 요청 오브젝트(220)의 조작에 따라 인터랙션 복원 인터페이스에서 사용자에게 제공되는 가상 오브젝트의 변화 및 타임 라인(230)의 변화를 확인할 수 있다.
인터랙션 복원 인터페이스는 종래 수행되었던 조작 인터랙션에 대한 수정 기능을 제공할 수 있다. 즉, 인터랙션 복원 인터페이스는 현재 제공되는 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 기능을 제공할 수 있다. 사용자는 가상 다이얼 버튼을 조작하여, 예를 들어 시계 방향 또는 반 시계 방향으로 회전하여, 조작 인터랙션 단위로 수정을 원하는 화면을 조회할 수 있다. 사용자는 해당 화면에서 가상 다이얼 버튼을 더 조작하여, 예를 들어 가상 다이얼 버튼을 클릭하여, 조작 인터랙션 수정 요청 신호를 전송할 수 있다. 조작 인터랙션 수정 요청 신호에 대응하여 조작 인터랙션 수정 모드가 제공될 수 있다. 조작 인터랙션 수정 모드에서, 사용자는 상술한 가상 손(200)을 이용한 인터페이스를 통해 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트를 조작할 수 있으며, 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정할 수 있다. 도 4b는 사용자가 위치 변경을 원하는 2층 중앙에 위치한 가상 블록이 배치된 과거 이벤트에 해당하는 가상 공간 및 가상 오브젝트를 도시하는 화면이고, 도 5는 해당 가상 블록의 위치를 수정한 상태를 도시한 화면이다.
도 4b 및 도 5를 비교하면, 2층 중앙에 위치한 가상 블록은 2층 말단으로 사용자의 조작에 의해 배치 위치가 변화된 상태로, 상기 가상 블록과 주변 가상 오브젝트와의 관계(접촉 여부 등)가 변화된 것을 확인할 수 있다.
이러한, 현재 사용자에게 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 동일하게 적용될 수 있다. 즉, 2층 중앙에 위치한 가상 블록의 배치 위치가 도 5와 같이 변경됨에 따라, 종래 3층 중앙에 위치한 가상 블록은 기존 배치 위치를 유지할 수 없게 되며, 후속하는 조작 인터랙션, 3층 중앙에 가상 블록을 배치하는 행위에 오류가 발생하게 된다.
본 실시예에 따른 인터랙션 복원 인터페이스는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 주변 오브젝트의 상태 수정에 대한 알림을 제공할 수 있다. 도 6에 도시된 바와 같이, 인터랙션 복원 인터페이스는 종래 3층 중앙에 위치한 가상 오브젝트에 대한 상태 수정의 알림을 제공할 수 있다. 사용자는 조작 인터랙션 수정 모드를 종료한 이후, 과거 조작 인터랙션 조회 모드에서 상기 수정한 이후 시점의 인터랙션 화면에 상태 수정의 알림이 발생한 것을 확인할 수 있다. 사용자는 이러한 알림을 확인한 이후 해당 화면의 조작 인터랙션 수정 모드를 실행, 오류가 발생한 상태를 수정할 수 있다. 여기서, 상태 수정은 해당 가상 오브젝트를 제거, 종래 관계를 가지고 있는 가상 오브젝트를 기준으로 상태를 변경하는 것 또는 상태 변화를 무시하는 것을 포함할 수 있다. 즉, 사용자는 종래 3층 중앙에 위치하였던 가상 오브젝트를 제거하거나, 2층 말단으로 이동된 가상 블록을 기준으로 상기 가상 블록의 위에 배치할 수 있다. 도 7은 도 6의 선택 사항에서 기준 변경을 선택한 결과를 도시한 예시로서, 종래 3층 중앙에 위치하였던 가상 오브젝트는 2층 말단으로 이동된 가상 블록 상부에 해당하는 3층 말단에 배치될 수 있다. 또한, 사용자는 상태 변화를 무시하여 가상 공간 내에 구현된 물리 법칙에 따라 종래 3층 중앙에 위치하였던 가상 오브젝트를 2층으로 떨어지게 할 수도 있다.
몇몇 실시예에서, 인터랙션 복원 인터페이스는 특정 조작 인터랙션에 대한 수정을 수행하고, 상기 조작 인터랙션에 대한 수정을 따른 영향을 인접한 가상 오브젝트 사이의 종래 형성된 연관 관계에 따라 후속하는 조작 인터랙션에도 일괄적으로 처리할 수도 있다. 즉, 연속적인 3차원 조작 인터랙션에서 중간 지점에 해당하는 조작 인터랙션을 수정한 경우, 이후의 조작 인터랙션은 수정된 조작 인터랙션을 반영하여 수행되는 것으로 처리할 수 있다. 사용자는 이렇게 수정이 최종적으로 반영된 상태에서 인터랙션 복원 인터페이스를 종료하고, 종래 수행하던 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션을 이어서 수행할 수 있다.
다만, 이에 한정되는 것은 아니며, 사용자는 특정 조작 인터랙션에 대한 수정을 수행한 이후, 인터랙션 복원 인터페이스를 종료할 수 있으며, 특정 조작 인터랙션에 대한 수정이 반영된 상태에서 다시 3차원 조작 인터랙션을 이어서 수행할 수도 있다.
또한, 도 8에 도시된 바와 같이, 사용자는 조작 인터랙션에 대한 수정을 취소하고 인터랙션 복원 인터페이스를 종료시킬 수도 있다.
본 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치는, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하고, 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공할 수 있다. 즉, 3차원 가상 환경에서 수행되는 조작 인터랙션 단위로 인터랙션의 복원이 진행될 수 있어, 쉽고 직관적이며 3차원 환경에 보다 적합한 인터랙션의 복원 인터페이스가 제공될 수 있다.
이하, 본 발명의 다른 실시예에 따른 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법에 대해 설명하도록 한다.
도 9는 본 발명의 다른 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법의 순서도이다. 본 실시예에 따른 방법은 도 1 내지 도 8에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치에서 수행되는 방법으로 중복되는 설명은 생략한다.
도 9를 참조하면, 본 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법은 사용자 가상 공간의 상태 정보 저장부가, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 단계(S100); 복원 인터페이스 제공부가, 인터랙션 복원 요청 신호에 대응하여, 상기 저장된 가상 공간의 상태 정보에 기초하여 구성한 가상 공간 화면을 조작 인터랙션 단위로 제공하는 조작 인터랙션 조회 모드를 제공하는 단계(S110); 상기 복원 인터페이스 제공부가, 조작 인터랙션 수정 요청 신호에 대응하여, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나의 수정이 가능한 조작 인터랙션 수정 모드를 제공하는 단계(S120); 및 상기 복원 인터페이스 제공부가, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 단계(S130)를 포함한다.
먼저 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장한다(S100).
인터랙션 복원을 지원하는 장치(100)는 가상 공간의 상태 정보 저장부(110) 및 복원 인터페이스 제공부(120)를 포함하며, 상기 단계(S100)는 가상 공간의 상태 정보 저장부(100)에서 수행된다.
가상 공간의 상태 정보 저장부(110)는 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 공간 및 이에 포함된 가상 오브젝트의 정보를 실시간으로 저장하는 것은 아니며, 가상 오브젝트에 대한 조작 인터랙션의 수행이 감지 또는 발생되는 경우, 이에 따라 변화된 가상 공간의 상태 정보를 저장한다.
여기서, 가상 오브젝트에 대한 조작 인터랙션은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트의 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변화되는 것을 포함한다. 즉, 가상 공간의 상태 정보 저장부(110)는 현재 상태의 가상 오브젝트의 배치 위치, 배치 방향, 또는 주변 가상 오브젝트와의 관계가 직전 상태 대비 변화하였는 지 여부를 판단(조작 인터랙션의 발생 여부를 판단)할 수 있으며, 변화되었다고 판단된 현재 상태의 가상 공간의 상태 정보를 저장할 수 있다. 연속적인 3차원 조작 인터랙션이 수행되는 동안, 조작 인터랙션이 복수로 발생한 경우, 가상 공간의 상태 정보 저장부(110)에는 복수의 가상 공간의 상태 정보가 시계열적으로 저장될 수 있다.
후술하는 단계(S110~S130)는 복원 인터페이스 제공부(120)에서 수행된다.
먼저, 인터랙션 복원 요청 신호에 대응하여, 상기 저장된 가상 공간의 상태 정보에 기초하여 구성한 가상 공간 화면을 조작 인터랙션 단위로 제공하는 조작 인터랙션 조회 모드를 제공한다(S110).
가상 공간에 인터랙션 복원 기능을 활성화 하기 위한 인터랙션 복원 요청 오브젝트가 더 제공될 수 있으며, 사용자는 인터랙션 복원 요청 오브젝트를 통해 인터랙션 복원 요청 신호를 전송할 수 있다. 복원 인터페이스 제공부(120)는 인터랙션 복원 요청 신호에 대응하여, 인터랙션 복원 인터페이스를 제공할 수 있다. 복원 인터페이스 제공부(120)는 가상 공간의 상태 정보 저장부(110)에 저장된 가상 공간의 상태 정보에 기초하여 인터랙션 복원 인터페이스를 구성할 수 있다. 인터랙션 복원 인터페이스는 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위로 과거의 가상 공간 및 이에 포함되는 가상 공간 화면을 제공하는 조작 인터랙션 조회 모드를 제공할 수 있다. 인터랙션 복원 인터페이스, 구체적으로 조작 인터랙션 조회 모드가 활성화된 상태에서, 사용자는 입력 장치를 통해 조작 신호를 전송할 수 있으며 조작 인터랙션 단위로 과거의 가상 공간 및 이에 포함되는 가상 오브젝트를 조회할 수 있다.
또한, 인터랙션 복원 인터페이스는 현재 제공되고 있는 가상 공간 화면의 시간 순서를 확인할 수 있는 타임 라인(230)을 제공할 수 있다. 인터랙션 복원 인터페이스는 복수의 가상 공간 화면을 시간 순서로 제공하는 바, 타임 라인(230)을 통해 현재의 가상 공간 화면의 시간 순서를 확인할 수 있다.
다음으로, 조작 인터랙션 수정 요청 신호에 대응하여, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나의 수정이 가능한 조작 인터랙션 수정 모드를 제공한다(S120).
인터랙션 복원 인터페이스는 종래 수행되었던 조작 인터랙션에 대한 수정 기능을 제공할 수 있다. 즉, 인터랙션 복원 인터페이스는 현재 제공되는 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 기능을 제공할 수 있다. 사용자는 상술한 바와 같이, 조작 인터랙션 단위로 수정을 원하는 화면을 조회할 수 있다. 사용자는 해당 화면에서 가상 다이얼 버튼을 더 조작하여, 예를 들어 가상 다이얼 버튼을 클릭하여, 조작 인터랙션 수정 요청 신호를 전송할 수 있다. 조작 인터랙션 수정 요청 신호에 대응하여 조작 인터랙션 수정 모드가 제공될 수 있다.
상기 복원 인터페이스 제공부가, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정한다(S130).
조작 인터랙션 수정 모드에서, 사용자는 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트를 조작할 수 있으며, 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정할 수 있다. 사용자의 수정 조작에 따라 복원 인터페이스 제공부는 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정할 수 있다.
여기서, 상기 조작 인터랙션 수정 모드에서 수행한 현재 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 적용되며, 상기 복원 인터페이스 제공부는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 상기 변화가 발생된 주변 오브젝트의 상태 수정에 대한 알림을 제공할 수 있다. 사용자는 조작 인터랙션 수정 모드를 종료한 이후, 과거 조작 인터랙션 조회 모드에서 상기 수정한 이후 시점의 인터랙션 화면에 상태 수정의 알림이 발생한 것을 확인할 수 있다. 사용자는 이러한 알림을 확인한 이후 해당 화면의 조작 인터랙션 수정 모드를 실행, 오류가 발생한 상태를 수정할 수 있다. 여기서, 상태 수정은 해당 가상 오브젝트를 제거, 종래 관계를 가지고 있는 가상 오브젝트를 기준으로 상태를 변경하는 것 또는 상태 변화를 무시하는 것을 포함할 수 있다.
사용자는 이렇게 수정이 최종적으로 반영된 상태에서 인터랙션 복원 인터페이스를 종료하고, 종래 수행하던 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션을 이어서 수행할 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자는 특정 조작 인터랙션에 대한 수정을 수행한 이후, 인터랙션 복원 인터페이스를 종료할 수 있으며, 특정 조작 인터랙션에 대한 수정이 반영된 상태에서 다시 3차원 조작 인터랙션을 이어서 수행할 수도 있다. 또한, 사용자는 조작 인터랙션에 대한 수정을 취소하고 인터랙션 복원 인터페이스를 종료시킬 수도 있다.
본 실시예에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법은, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하고, 상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공할 수 있다. 즉, 3차원 가상 환경에서 수행되는 조작 인터랙션 단위로 인터랙션의 복원이 진행될 수 있어, 쉽고 직관적이며 3차원 환경에 보다 적합한 인터랙션의 복원이 수행될 수 있다.
이상에서 설명한 실시예들에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 가상 공간 제공 시스템
100: 인터랙션 복원 지원 장치
101: 가상 공간 생성 장치
102: 입력 장치
103: 출력 장치
110: 가상 공간의 상태 정보 저장부
120: 복원 인터페이스 제공부

Claims (14)

  1. 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치로서,
    복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 가상 공간의 상태 정보 저장부; 및
    상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공하는 복원 인터페이스 제공부를 포함하며,
    상기 가상 공간의 상태 정보 저장부는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 복수의 가상 공간의 상태 정보를 시계열적으로 저장하고,
    상기 복원 인터페이스 제공부는 복수의 가상 공간의 상태 정보 각각에 대응하는 가상 공간 화면을 구성하여 상기 가상 공간의 상태 정보 저장부에 저장된 시간 순서에 따라 사용자에게 제공하며,
    상기 복원 인터페이스 제공부는 조작 인터랙션 단위로 상기 가상 공간 화면을 제공하는 과거 조작 인터랙션 조회 모드 및 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 조작 인터랙션 수정 모드를 제공하고,
    상기 조작 인터랙션 수정 모드에서 수행한 현재 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 적용되며,
    상기 복원 인터페이스 제공부는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 상기 변화가 발생된 주변 오브젝트의 상태 수정에 대한 알림을 제공하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치.
  2. 제1 항에 있어서,
    상기 가상 오브젝트에 대한 조작 인터랙션은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트의 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변화되는 것을 포함하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 인터랙션 복원 인터페이스는 현재 제공되고 있는 가상 공간 화면의 시간 순서를 확인할 수 있는 타임 라인을 더 제공하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 장치.
  7. 3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법으로,
    가상 공간의 상태 정보 저장부가, 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 단계;
    복원 인터페이스 제공부가, 인터랙션 복원 요청 신호에 대응하여, 상기 저장된 가상 공간의 상태 정보에 기초하여 구성한 가상 공간 화면을 조작 인터랙션 단위로 제공하는 조작 인터랙션 조회 모드를 제공하는 단계;
    상기 복원 인터페이스 제공부가, 조작 인터랙션 수정 요청 신호에 대응하여, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나의 수정이 가능한 조작 인터랙션 수정 모드를 제공하는 단계; 및
    상기 복원 인터페이스 제공부가, 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 단계를 포함하며,
    상기 가상 공간의 상태 정보 저장부는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 복수의 가상 공간의 상태 정보를 시계열적으로 저장하고,
    상기 복원 인터페이스 제공부는 복수의 가상 공간의 상태 정보 각각에 대응하는 가상 공간 화면을 구성하여 상기 가상 공간의 상태 정보 저장부에 저장된 시간 순서에 따라 사용자에게 제공하며,
    상기 조작 인터랙션 수정 모드에서 수행한 현재 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 적용되고,
    상기 복원 인터페이스 제공부는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 상기 변화가 발생된 주변 오브젝트의 상태 수정에 대한 알림을 제공하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법.
  8. 제7 항에 있어서,
    상기 가상 오브젝트에 대한 조작 인터랙션은 복수의 가상 오브젝트 중 적어도 하나의 가상 오브젝트의 가상 공간 내의 배치 위치, 배치 방향 및 다른 가상 오브젝트와의 관계 중 적어도 하나가 변화되는 것을 포함하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법.
  9. 삭제
  10. 삭제
  11. 제7 항에 있어서,
    상기 조작 인터랙션 조회 모드 및 상기 조작 인터랙션 수정 모드 중 적어도 하나는 현재 제공되고 있는 가상 공간 화면의 시간 순서를 확인할 수 있는 타임 라인을 더 제공하는 것을 특징으로 하는 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법.
  12. 하드웨어와 결합되어 제7항, 제8항 및 제11항 중 어느 한 항에 따른 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
  13. 적어도 한명의 사용자에게 가상 공간을 제공하는 가상 공간 제공 장치;
    상기 사용자의 신체의 적어도 일부를 인식하여 상기 가상 공간에 반영하게 하는 입력 장치;
    상기 가상 공간을 출력하여 상기 사용자에게 제공하는 출력 장치; 및
    3차원 가상 공간에 구현된 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위의 인터랙션 복원을 지원하는 인터랙션 복원 지원 장치를 포함하되,
    상기 인터랙션 복원 지원 장치는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 가상 오브젝트에 대한 조작 인터랙션에 따라 변화된 가상 공간의 상태 정보를 저장하는 가상 공간의 상태 정보 저장부; 및
    상기 저장된 가상 공간의 상태 정보에 기초하여 조작 인터랙션 단위의 인터랙션 복원 인터페이스를 제공하는 복원 인터페이스 제공부를 포함하며,
    상기 가상 공간의 상태 정보 저장부는 복수의 가상 오브젝트에 대한 연속적인 3차원 조작 인터랙션이 수행되는 동안, 복수의 가상 공간의 상태 정보를 시계열적으로 저장하고,
    상기 복원 인터페이스 제공부는 복수의 가상 공간의 상태 정보 각각에 대응하는 가상 공간 화면을 구성하여 상기 가상 공간의 상태 정보 저장부에 저장된 시간 순서에 따라 사용자에게 제공하며,
    상기 복원 인터페이스 제공부는 조작 인터랙션 단위로 상기 가상 공간 화면을 제공하는 과거 조작 인터랙션 조회 모드 및 현재 제공되는 가상 공간 화면에 포함된 가상 오브젝트의 배치 위치, 배치 방향 및 주변 가상 오브젝트와의 관계 중 적어도 하나를 수정하는 조작 인터랙션 수정 모드를 제공하고,
    상기 조작 인터랙션 수정 모드에서 수행한 현재 제공되는 가상 공간 화면의 가상 오브젝트에 대한 수정은 시계열적으로 후속하는 다음 가상 공간 화면에도 적용되며,
    상기 복원 인터페이스 제공부는 가상 오브젝트의 수정에 따라 주변 오브젝트의 변화가 발생되는 경우, 상기 변화가 발생된 주변 오브젝트의 상태 수정에 대한 알림을 제공하는 것을 특징으로 하는 가상 공간 제공 시스템.
  14. 제13 항에 있어서,
    상기 복원 인터페이스 제공부에 상기 인터랙션 복원 인터페이스의 제공을 요청하는 인터랙션 복원 요청 신호의 전송을 위한 인터랙션 복원 요청 오브젝트를 더 포함하되,
    상기 인터랙션 복원 요청 오브젝트는 상기 가상 공간 상에 인터랙션 가능한 가상 오브젝트로 구현되는 것을 특징으로 하는 가상 공간 제공 시스템.
KR1020190095990A 2019-08-07 2019-08-07 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치 KR102302388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190095990A KR102302388B1 (ko) 2019-08-07 2019-08-07 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190095990A KR102302388B1 (ko) 2019-08-07 2019-08-07 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
KR20210017166A KR20210017166A (ko) 2021-02-17
KR102302388B1 true KR102302388B1 (ko) 2021-09-16

Family

ID=74732132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190095990A KR102302388B1 (ko) 2019-08-07 2019-08-07 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치

Country Status (1)

Country Link
KR (1) KR102302388B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752223B1 (ko) * 2016-01-07 2017-07-06 한국과학기술연구원 인터랙션의 복원을 지원하는 사용자 인터페이스를 제공하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572042B1 (ko) * 2014-03-19 2015-11-25 (주)로보티즈 로봇 모션을 편집 및 재생하기 위한 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752223B1 (ko) * 2016-01-07 2017-07-06 한국과학기술연구원 인터랙션의 복원을 지원하는 사용자 인터페이스를 제공하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20210017166A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
US20180067572A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
EP2778848B1 (en) System, method and electronic device for providing a haptic effect to a user
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
CN105190518A (zh) 提供多维触觉触摸屏交互
EP2662760A2 (en) Video-based undo and redo operations
CN108579077B (zh) 信息处理方法、装置、存储介质及电子设备
JP7395962B2 (ja) 情報処理装置、更新制御方法、更新制御プログラム、及び情報処理システム
US20110199517A1 (en) Method of showing video on a touch-sensitive display
CN106775692B (zh) 一种组件编辑方法以及电子设备
US20200159549A1 (en) Replaying interactions with a graphical user interface (gui) presented in a video stream of the gui
AU2023241318B1 (en) Watermark-based techniques for change-data-capture
CN104866079A (zh) 一种信息处理方法及电子设备
KR102306392B1 (ko) 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
KR102302388B1 (ko) 연속적인 3차원 조작 인터랙션의 가상 오브젝트 단위 인터랙션 복원 방법 및 이를 지원하는 장치
WO2015039434A1 (zh) 一种终端、终端控制方法及装置
JP7413513B2 (ja) ヒューマンコンピュータインタラクション方法、装置、及びシステム
JP2006277771A (ja) 計算機ネットワーク用の端末装置および操作履歴記録方法
CN108415570B (zh) 基于增强现实的控件选择方法和装置
JP6494358B2 (ja) 再生制御装置、再生制御方法
WO2021039680A1 (ja) 情報処理システム及び情報処理方法
CN114053706A (zh) 游戏界面的视角处理方法、装置、设备及存储介质
CN112462989A (zh) 智能交互平板的操作方法、装置、智能交互平板及介质
JP5217980B2 (ja) データ処理装置およびデータ処理システム
JP2021531587A (ja) インタラクティブオブジェクトを仮想現実環境に追加する方法及び装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant