KR102135331B1 - 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법 - Google Patents

가상 공간의 인터랙션 3차원 가시화 시스템 및 방법 Download PDF

Info

Publication number
KR102135331B1
KR102135331B1 KR1020180074936A KR20180074936A KR102135331B1 KR 102135331 B1 KR102135331 B1 KR 102135331B1 KR 1020180074936 A KR1020180074936 A KR 1020180074936A KR 20180074936 A KR20180074936 A KR 20180074936A KR 102135331 B1 KR102135331 B1 KR 102135331B1
Authority
KR
South Korea
Prior art keywords
interaction data
virtual space
image
interaction
view
Prior art date
Application number
KR1020180074936A
Other languages
English (en)
Other versions
KR20200001871A (ko
Inventor
박정민
이중재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020180074936A priority Critical patent/KR102135331B1/ko
Publication of KR20200001871A publication Critical patent/KR20200001871A/ko
Application granted granted Critical
Publication of KR102135331B1 publication Critical patent/KR102135331B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 공간의 인터랙션 3차원 가시화 시스템 및 방법이 제공된다. 가상 공간의 인터랙션 3차원 가시화 시스템은 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 인터랙션 데이터 수집부; 상기 수집된 인터랙션 데이터를 동기화하여 저장하는 인터랙션 데이터 저장부; 상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 인터랙션 3차원 가시화부; 및 상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 인터랙션 데이터 분석부를 포함한다.

Description

가상 공간의 인터랙션 3차원 가시화 시스템 및 방법{System and Method for 3D Interaction Visualization of Virtual Space}
본 발명은 가상 공간의 3차원 가시화 시스템 및 방법에 관한 것으로, 구체적으로 하나의 가상 공간에 참여하고 있는 사용자의 인터랙션 및 사용자들 사이의 인터랙션을 저장, 분석할 수 있을 뿐만 아니라, 가상 공간 및 인터랙션을 다시점 3차원 영상으로 렌더링하여 3차원 가시화를 제공할 수 있는 시스템 및 방법에 관한 것이다.
[국가지원 연구개발에 대한 설명]
본 연구는 한국연구재단의 관리 하에 과학기술정보통신부의 글로벌프론티어지원(R&D) 사업의 "원격 사용자간 협업을 위한 손 기반 Seamless CoUI 기술 개발에 관한 연구"(과제 고유번호: 1711073470, 세부과제번호: 2011-0031425)의 지원에 의하여 이루어진 것이다.
최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호작용)을 위한 연구는 꾸준히 진행되어 왔으며, 향후에는 제스처 등의 행위를 기반으로 하여 사용자가 가상 공간에서 3차원 물체와 인터랙션하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface) 분야가 계속해서 발전할 것으로 예측되고 있다.
가상 공간의 사용자 인터페이스의 연구 및 개발을 수행하기 위해서는 가상 공간에서 수행되는 사용자의 인터랙션에 대한 수집, 저장, 분석이 필요하다. 또한, 복수의 사용자가 참여하고 있는 가상 공간에서, 각 사용자의 인터랙션 뿐만 아니라 다수 사용자 사이에서 발생하는 인터랙션까지도 저장 및 분석이 요구되고 있다. 이러한, 복수 사용자 사이에서 발생하는 인터랙션, 특히 협동 조작과 관련된 인터랙션을 효율적으로 분석하기 위해서는 다양한 시점에서 인터랙션을 관측할 수 있어야 한다. 즉, 가상 공간에 대한 3차원 가시화가 필요하며, 이에 대한 개발이 요구되고 있는 상황이다.
한국 등록 특허 10-1567995
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 복수의 사용자가 참여하고 있는 가상 공간의 사용자들 사이에서 발생하는 인터랙션을 보다 효율적으로 분석하기 위한 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
본 명세서의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템은 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 인터랙션 데이터 수집부, 상기 수집된 인터랙션 데이터를 동기화하여 저장하는 인터랙션 데이터 저장부, 상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 인터랙션 3차원 가시화부 및 상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 인터랙션 데이터 분석부를 포함한다.
일 실시예에서, 상기 인터랙션 데이터는 타임 스탬프, 프레임 인덱스, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 포함할 수 있다.
일 실시예에서, 상기 인터랙션 데이터는 실제 영상, 가상 공간 영상, 인터랙션 타입 및 이의 확신도, 사용자 조작 방식을 더 포함할 수 있다.
일 실시예에서, 상기 다시점 3차원 영상은 상기 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 기초로 3차원 비쥬얼 렌더링을 수행하여 상기 가상 공간 및 가상 공간에 수행된 인터랙션을 재 구현한 영상일 수 있다.
일 실시예에서, 상기 다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상일 수 있다.
일 실시예에서, 상기 인터랙션 데이터는 실시간으로 수집되거나, 미리 설정된 일정 기간 동안 수집되고, 상기 수집된 인터랙션 데이터는 NTP 서버를 참조하여 시각이 동기화되어 저장될 수 있다.
일 실시예에서, 상기 분석 모드는 쿼리 모드, 통계 모드, 상기 수집된 인터랙션 데이터를 바탕으로 상기 가상 콘텐츠에 대한 평가를 수행하는 평가 모드를 포함할 수 있다.
본 명세서의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법은 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 단계; 상기 수집된 인터랙션 데이터를 동기화하여 저장하는 단계; 상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 단계; 및 상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 단계를 포함한다.
일 실시예에서, 상기 인터랙션 데이터는 타임 스탬프, 프레임 인덱스, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 포함할 수 있다.
일 실시예에서, 상기 인터랙션 데이터는 실제 영상, 가상 공간 영상, 인터랙션 타입 및 이의 확신도, 사용자 조작 방식을 더 포함할 수 있다.
일 실시예에서, 상기 다시점 3차원 영상은 상기 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 기초로 3차원 비쥬얼 렌더링을 수행하여 상기 가상 공간 및 가상 공간에 수행된 인터랙션을 재 구현한 영상일 수 있다.
일 실시예에서, 상기 다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상일 수 있다.
일 실시예에서, 상기 인터랙션 데이터는 실시간으로 수집되거나, 미리 설정된 일정 기간 동안 수집되고, 상기 수집된 인터랙션 데이터는 NTP 서버를 참조하여 시각이 동기화되어 저장될 수 있다.
일 실시예에서, 상기 분석 모드를 제공하는 단계는, 쿼리 모드, 통계 모드, 상기 수집된 인터랙션 데이터를 바탕으로 상기 가상 콘텐츠에 대한 평가를 수행하는 평가 모드를 더 제공할 수 있다.
본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법은 가상 공간에서 발생하는 다양한 인터랙션을 수집하여, 분석할 수 있을 뿐만 아니라 가상 공간의 다양한 인터랙션을 재현하여 실재 반영된 상태를 가상 공간의 관리자 또는 개발자에게 제공할 수 있다.
가상 공간의 관리자 또는 개발자는 이를 활용하여 보다 용이한 분석을 수행할 수 있으며, 분석된 데이터를 기반으로 가상 공간에 대한 피드백 정보를 생성할 수도 있다.
즉, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법은 가상 공간의 구현 및 가상 공간의 사용자 인터페이스 연구, 개발 및 평가에 적극적으로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인터랙션 데이터 분석부에서 제공하는 분석 모드를 도시한 예시도이다.
도 4는 3차원 가시화 분석 모드의 다시점 3차원 영상을 도시한 예시도이다.
도 5(a) 내지 도 5(c)는 3차원 가시화 분석 모드의 다시점 3차원 영상의 시점 변화를 나타내는 예시도이다.
도 6은 다시점 3차원 영상에 물리 정보를 표시한 화면을 도시한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이며, 도 2는 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템의 구성도이다.
도 1 및 도 2를 참조하면, 가상 공간은 적어도 한 명 이상의 사용자가 참여할 수 있는 가상 공간 콘텐츠를 포함할 수 있다. 가상 공간은 소정의 물리량을 가진 복수의 가상 모델이 구현될 수 있다. 가상 모델은 가상 공간상에서 사용자의 신체 일부 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 모델은 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 모델을 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 물체의 물리 법칙을 적용하기 위한 물리량 및 다른 물리 정보를 가진 가상 물체와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 예시적으로, 가상 물체의 접촉 포인트는 메쉬 형태로 구성될 수 있으며, 가상 물체간의 접촉은 이러한 메쉬 포인트의 접촉으로 인식될 수 있다. 가상 공간은 가상 블록을 활용한 블록 놀이가 가능한 공간일 수 있으나, 이에 한정되는 것은 아니며 체스 게임을 수행할 수 있는 게임 공간 또는 사무 업무를 처리하는 가상 오피스일 수도 있다. 이러한 가상 공간은 가상 공간의 인터랙션 3차원 가시화 시스템과 별개인 가상 공간 제공 시스템을 통해 제공될 수 있다. 즉, 본 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템은 가상 공간 제공 시스템의 성능 개선 등을 위한 가상 공간 인터랙션의 분석 시스템일 수 있다.
가상 공간에 참여하는 사용자는 복수일 수 있으며, 사용자는 가상 공간에서 인터랙션(Interaction)을 수행할 수 있다. 여기서, 인터랙션은 인간(Human) 대 세상(World)의 인간-세상(Human-World) 인터랙션(또는, 인간-물체 인터랙션)과, 인간 대 인간의 인간-인간(Human-Human) 인터랙션을 포함할 수 있다. 가상 공간에 참여하는 사용자는 신체의 적어도 일부를 이용해 제스처를 취함으로써, 사용자 인터페이스를 통해 가상 공간의 가상 물체를 조작하는 인터랙션 또는 가상 공간의 다른 사용자와의 상호 작용을 수행할 수 있다.
가상 공간 제공 시스템은 입력 장치(미도시), 가상 공간 생성 장치(미도시), 출력 장치를 포함할 수 있다. 사용자의 신체의 적어도 일부(예를 들어, 손)가 립 모션(Leap Motion) 센서, 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서 등과 같은 입력 장치를 통해 인식될 수 있으며, 인식된 손은 입력 정보로 가상 공간 생성 장치에 제공되어 가상 공간에 가상 손으로 구현될 수 있다. 예시적으로 가상 손이 가상 공간에 구현되는 경우, 가상 물체와 주로 접촉이 발생하는 손가락 끝, 손 바닥 부분이 접촉 포인트로 설정될 수 있다. 또한, 현재 구현되는 가상 공간은 3차원 디스플레이 장치 또는 헤드 마운트형 디스플레이 장치와 같은 출력 장치를 통해 사용자에게 출력될 수 있다.
이러한, 입력 장치와 출력 장치는 사용자 각각에 제공될 수 있으며, 각 사용자는 입력 장치를 통해 가상 공간 상에서 인터랙션을 수행하고, 인터랙션이 반영된 가상 공간은 출력 장치를 통해 사용자에게 출력될 수 있다. 복수의 사용자는 같은 공간에서 상술한 입력 장치 및 출력 장치를 사용하여 가상 공간에 참여할 수 있으나, 이에 한정되는 것은 아니다. 도 1에 도시된 사용자 1 내지 사용자 3에 해당하는 복수의 사용자는 서로 다른 공간에 위치할 수 있고, 네트워크로 통해 연결되어 하나의 가상 공간에 참여할 수 있다.
가상 공간 제공 시스템이 제공하는 가상공간에서 발생할 수 있는 인터랙션은 인터랙션 타입(Interaction type)으로 미리 분류될 수 있다. 인터랙션 타입은 인터랙션의 최소 의미 단위로 정의 및 분류될 수 있다. 인터랙션 타입은 인터랙션을 기술(Descript)할 수 있는 상위 레벨의 추상적 설명(High-level abstract description)을 의미할 수 있다. 인터랙션 타입은 인식의 레벨뿐만 아니라, 해석, 의도 및 행동에 관련된 다른 레벨들이 포함될 수 있다. 인터랙션 타입은 단순히 사람의 제스처를 인식하여 발생되는 사람과 가상 물체 사이의 상호작용을 의미하는 것이 아니라, 사람이 가상 물체에 부여한 의미 있는 행위 상태가 정의된 것으로 볼 수 있다.
예시적으로, 사용자가 특정 물체를 조작하는 경우 정의될 수 있는 인터랙션 타입은 접근(Approach), 물러남(Withdraw), 응시(Eye Gaze), 잡기(Grasp), 이동(Translation) 및 회전(Rotation) 등을 포함할 수 있다. 또한, 가상 공간 상에서 특정 사용자가 다른 사용자에게 설명을 하는 경우 정의될 수 있는 인터랙션 타입은 가리킴(Pointing), 기호(Ideograph) 및 응시(Eye Gaze) 등을 포함할 수 있다.
이러한, 인터랙션 타입은 사용자 인터페이스로써 사용자에게 제공될 수 있다. 사용자의 제스처, 음성 등의 사용자 행위를 입력 장치를 통해 획득하고, 사용자 입력에 대한 인식 결과를 복수의 알고리즘을 통해 생성하여 제공된 인터랙션 타입 중에서, 적절한 인터랙션 타입이 가상 공간 생성 장치에서 선택될 수 있다. 사용자 입력에 대한 인식 결과는 인터랙션 타입의 확신도로 나타날 수 있으며, 인터랙션 타입의 확신도에 따라 적용될 인터랙션 타입이 가상 공간 생성 장치에서 결정될 수 있다. 예시적으로, 사용자 입력에 대한 인식 결과로 산출된 잡기(Grasp) 인터랙션 타입의 확신도 값이 미리 설정된 기준 값 이상인 경우, 사용자의 입력에 대한 인터랙션은 잡기(Grasp) 인터랙션 타입으로 선택될 수 있다. 상기 기준 값은 가상 공간의 관리자 또는 개발자(이하 '관리자'로 기재함)에 의해 조정될 수도 있다.
인터랙션 타입은 일종의 유저 인터페이스와 같이, 사용자가 참여하는 가상 공간의 화면상에 표시될 수 있다. 인터랙션 타입은 복수 개로 구성될 수 있으며, 가상 공간의 화면 상단에 표시될 수 있다. 여기서 각 인터랙션 타입에 대한 확신 값은 바 형태의 게이지로 표시될 수 있으며 사용자는 현재 인터랙션에서 어떠한 인터랙션 타입이 현재 활성화되어 있는 지 확인할 수 있다. 이러한 인터랙션 타입은 가상 공간의 환경에 따라 다르게 구성될 수 있다. 그리고, 도 1에 도시된 바와 같이 같은 가상 공간에 복수의 사용자가 함께 존재하더라도 사용자의 선호도에 따라 다르게 구성될 수도 있다.
이하, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템에 대해 보다 상세히 설명하도록 한다.
도 2를 참조하면, 본 발명의 일 실시예 따른 가상 공간의 인터랙션 3차원 가시화 시스템(10)은 인터랙션 데이터 수집부(100), 인터랙션 데이터 저장부(110), 다시점 3차원 영상 생성부(120) 및 인터랙션 데이터 분석부(130)를 포함한다.
실시예들에 따른 가상 공간의 인터랙션 3차원 가시화 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 가상 공간의 인터랙션 3차원 가시화 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 인터랙션 데이터 수집부(100)는, 가상 공간의 인터랙션 데이터를 수집하기 위한 하드웨어 및 이를 제어하여 수집 데이터 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.
인터랙션 데이터 수집부(100)는 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 사용자의 인터랙션 데이터(Interaction data)를 수집할 수 있다. 인터랙션 데이터는 일정 기간 동안 가상 공간에서 수행된 인터랙션을 분석하기 위한 데이터일 수 있다. 여기서 상기 일정 기간은 상기 가상 공간이 시작되고 모든 작업이 종료되는 기간을 의미할 수 있다. 관리자는 가상 공간을 구현함과 동시에 가상 공간에서 수행되는 인터랙션 데이터를 가상 공간의 제공이 끝나는 시간까지 실시간으로 수집할 수 있다. 다만, 이에 한정되는 것은 아니며 일정 기간은 특정 인터랙션이 수행되는 기간으로, 특정 인터랙션 분석을 수행하려는 관리자가 지정한 기간일 수도 있다.
인터랙션 데이터는 상기 일정 기간에 해당하는 타임 스탬프를 포함할 수 있다. 타임 스탬프는 상기 일정 기간의 시작 시점 및 종료 시점에 해당하는 정보를 포함할 수 있다.
또한, 인터랙션 데이터는 가상 공간의 영상 및 실제 영상을 포함할 수 있다.
가상 공간 영상은 상기 일정 기간 동안 출력 장치를 통해 출력된 가상 공간의 영상에 해당한다. 가상 공간 영상은 사용자에게 출력되는 화면을 촬영한 것으로 사용자의 시점에 고정된 영상에 해당한다. 인터랙션 데이터 수집부(100)는 각 사용자에게 출력되는 가상 공간의 영상을 각 사용자 별로 수집할 수 있다. 가상 공간에 참여하고 있는 사용자가 복수인 경우, 이러한 인터랙션 데이터는 사용자 별로 수집될 수 있다. 즉, 사용자 1로부터 수집되는 가상 공간의 영상과 사용자 2로부터 수집되는 가상 공간의 영상은 상이할 수 있다.
실제 영상은 상기 일정 기간 동안 입력 장치를 통해 가상 공간에 구현되는 사용자의 신체 일부를 촬영한 영상일 수 있다. 예시적으로, 실제 영상은 사용자의 손을 촬영한 영상일 수 있으나, 이에 한정되는 것은 아니다. 실제 영상 또한 가상 공간에 참여하고 있는 각 사용자 별로 수집될 수 있는 바, 사용자 1로부터 수집되는 실제 영상과 사용자 2로부터 수집되는 실제 영상은 상이할 수 있다.
가상 공간의 영상 및 실제 영상은 설정된 프레임에 따라 생성되어 수집될 수 있고, 인터랙션 데이터는 프레임 인덱스를 포함할 수 있다. 프레임 인덱스는 가상 공간의 영상 및 실제 영상이 생성된 프레임을 고려하여, 전체 프레임의 수 및 각 프레임이 표시되는 시각에 대한 정보일 수 있다.
인터랙션 데이터는 인터랙션 타입에 대한 정보 및 인터랙션 타입의 확신도 값에 대한 정보를 더 포함할 수 있다. 인터랙션 타입에 대한 정보는 해당 가상 공간에서 인터페이스로 제공되고 있는 인터랙션 타입에 대한 정보를 포함한다. 또한, 인터랙션 타입에 대한 정보는 상기 일정 기간 동안 각 프레임 인덱스 또는 시간단위로 인식된 인터랙션 타입에 대한 정보를 포함한다. 인터랙션 타입의 확신도는 각 프레임 인덱스 또는 시간 단위로 인식된 인터랙션 타입의 확신도 값에 대한 정보에 해당할 수 있다.
또한, 인터랙션 데이터는 일정 기간 동안 가상 공간에서 수행된 인터랙션을 3차원 가시화하기 위한 기초 데이터를 포함할 수 있다. 데이터 수집부(100)는 인터랙션 데이터 수집부(100)는 가상 공간 제공 시스템의 가상 공간 생성 장치 또는 입력 장치 등으로부터 3차원 가시화를 위한 기초 데이터로써 인터랙션 데이터를 수집할 수 있다. 인터랙션 데이터는 가상 공간에 구현되었던 모든 가상 모델의 그래픽 정보와 물리 정보를 더 포함할 수 있다. 여기서, 모든 가상 모델이란 가상 공간에 구현되었던 가상 물체뿐만 아니라 구현되었던 사용자의 신체 일부(가상 손)를 포함한다. 또한, 가상 손 등과 인터랙션 유무와 상관없이, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보는 인터랙션 데이터에 포함될 수 있다.
일정 시간 동안 복수의 사용자들의 입력에 따라 적절히 구현되었던 모든 가상 모델의 그래픽 정보와 물리 정보가 3차원 가시화를 위해 인터랙션 데이터 수집부(100)에 수집될 수 있다. 수집된 가상 모델의 그래픽 정보와 물리 정보는 사용자에게 제공된 가상 공간뿐만 아니라 가상 공간에서 이루어진 인터랙션을 3차원 렌더링하기 위한 기초 자료가 될 수 있다.
또한, 가상 물체에 대한 정보는 특히 사용자와 인터랙션이 수행되는 가상 물체에 대한 정보를 포함할 수 있다. 또한, 물체를 함께 들거나, 물체를 전달하는 것과 같이 사용자 1이 사용자 2와 함께 인터랙션을 수행하는 경우, 인터랙션 데이터는 함께 인터랙션을 수행하는 사용자 정보(예시적으로, 사용자 1을 기준으로 사용자 2에 대한 정보)와 수행하는 인터랙션에 관한 정보도 포함될 수 있다.
인터랙션 데이터 수집부(100)에서 수집된 인터랙션 데이터는 인터랙션 데이터 저장부(110)로 제공된다.
인터랙션 데이터 저장부(110)는 수집된 각각의 인터랙션 데이터를 저장할 수 있다. 다만, 사용자 별로 수집된 인터랙션 데이터는 각 사용자의 환경 조건에 따라 수집된 시각이 상이할 수 있는 바, 수집된 각각의 인터랙션 데이터에 대해 시각의 동기화가 필요할 수 있다. 동기화된 인터랙션 데이터는 각 사용자 별로 수집된 인터랙션 데이터의 시각이 일치되기에, 사용자 사이에서 발생하는 인터랙션의 비교, 분석이 가능할 수 있다. 또한, 일치된 시각을 기준으로 다시점 3차원 영상의 비쥬얼 랜더링이 가능할 수 있다.
여기서, 인터랙션 데이터 수집부(100)는 클라이언트, 인터랙션 데이터 저장부(110)는 저장 서버일 수 있고, 인터랙션 데이터 수집부(100)와 인터랙션 데이터 저장부(110)는 NTP(Network Time Protocol) 서버를 참조하여 동기화될 수 있다. 동기화된 각 클라이언트의 데이터들은 인터랙션 데이터 저장부(110)에 저장되어 데이터 베이스화될 수 있다. 인터랙션 데이터 수집부(100)는 각 사용자 별로 인터랙션 데이터를 저장할 수 있고, 보다 세분화하여 인터랙션 데이터의 종류에 따라 구분하여 저장할 수도 있다.
다시점 3차원 영상 생성부(120)는 동기화된 인터랙션 데이터를 기초로 다시점 3차원 비쥬얼 렌더링을 수행하여 다시점 3차원 영상을 생성할 수 있다. 상기 다시점 3차원 영상은 상기 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 기초로 상기 가상 공간 및 가상 공간에 수행된 인터랙션을 재현한 영상일 수 있다. 다시점 3차원 영상은 일정 기간 동안 사용자에게 제공된 가상 공간 및 가상 공간내에서 수행되었던 인터랙션을 재현한 영상일 수 있다. 3차원 영상은 프레임 인덱스마다 형성될 수 있으며, 특정 프레임 인덱스에서의 가상 공간, 가상 공간내의 가상 모델, 가상 모델 사이에서 발생하였던 인터랙션을 가시화할 수 있다.
다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상일 수 있다. 다시점 3차원 영상은 복수의 사용자 각각의 시점, 모든 사용자의 가상 손을 확인할 수 있는 전체 시점 또는 탑 시점(Top view)으로 시점 변화가 가능할 수 있다. 또한, 다시점 3차원 영상은 임의의 시점으로 시점이 변화될 수 있으며, 변화된 시점으로 화면이 고정될 수 있다. 또한, 다시점 3차원 영상은 화면의 확대, 축소가 가능할 수 있다.
다시점 3차원 영상은 사용자 시점으로는 확인될 수 없었던 시점에서 가상 공간을 가시화할 수 있다. 생성된 다시점 3차원 영상은 인터랙션 데이터 저장부(110)에 저장될 수 있다.
인터랙션 데이터 분석부(130)는 인터랙션 데이터 저장부(110)에 저장된 인터랙션 자유로이 조회할 수 있는 기능, 조건을 입력하여 선별적인 인터랙션 데이터만을 검색할 수 있는 기능 및 조회된 인터랙션 데이터를 통계 분석하는 기능을 제공할 수 있다. 또한, 인터랙션 데이터 분석부(130)는 다시점 3차원 영상을 활용한 3차원 가시화 분석 모드를 제공할 수 있다. 3차원 가시화 분석 모드는 인터랙션 데이터에 대응하는 다시점 3차원 영상을 함께 표시하는 모드일 수 있다. 인터랙션 데이터 분석부(130)는 관리자의 명령에 따라 상기 3차원 가시화 분석 모드를 제공하는 응용 프로그램을 실행하여 관리자에게 제공할 수 있다.
인터랙션 데이터 분석부(130)는 분석을 위한 인터랙션 데이터 및 다시점 3차원 영상을 인터랙션 데이터 저장부(110)로부터 로딩할 수 있다. 즉, 인터랙션 데이터 분석부(130)는 기존에 저장된 인터랙션 데이터와 다시점 3차원 영상을 분석할 수 있는 3차원 가시화 분석 모드를 제공할 수 있다. 로딩되는 인터랙션 데이터의 범위는 사용자 또는 관리자에 의해 결정될 수 있다.
다만, 이에 한정되는 것은 아니며, 인터랙션 데이터 분석부(130)는 인터랙션 데이터 수집부(100)에서 수집되는 인터랙션 데이터 및 생성된 다시점 3차원 영상을 실시간으로 모니터링하고, 분석할 수 있는 3차원 가시화 분석 모드도 제공할 수 있다. 즉, 동기화가 완료된 인터랙션 데이터 및 생성된 다시점 3차원 영상은 인터랙션 데이터 저장부(110)뿐만 아니라 인터랙션 데이터 분석부(130)로도 제공될 수도 있다.
인터랙션 데이터 분석부(130)는 인터랙션 데이터 저장부(110) 및 인터랙션 데이터 수집부와 네트워크 등으로 온라인 연결되거나 오프 라인으로 연결될 수 있다.
도 3은 본 발명의 일 실시예에 따른 인터랙션 데이터 분석부에서 제공하는 분석 모드를 도시한 예시도이다.
분석 모드는 인터랙션 데이터 저장부(110)에서 인터랙션 데이터를 검색, 조회하여 로딩할 수 있다. 로딩된 인터랙션 데이터는 프레임 인덱스에 따라 나란히 배열될 수 있다. 각 프레임의 시간에 대응하는 가상 공간의 영상 및 실제 영상은 프레임 인덱스에 따라 순서대로 배열될 수 있다. 또한, 프레임에 대응하여 선택된 인터랙션 타입에 관한 정보 및 이의 확신도 값이 표시될 수 있다. 그리고, 현재 선택된 프레임의 가상 공간의 영상이 확대되어 표시될 수도 있다. 관리자는 분석 모드를 통해 특정 프레임을 기준으로 가상 공간의 영상, 실제 영상을 확인할 수 있고, 해당 프레임의 가상 공간에서 활성화된 인터랙션 타입 및 이의 확신도 값에 대한 정보도 확인할 수 있다. 즉, 실제 영상에서 수행된 사용자의 행동이 가상 공간에 어떻게 반영되었는 지를 가상 공간의 영상을 통해 확인할 수 있으며, 상기 사용자의 행동에 대한 인터랙션 타입의 확신도 값을 확인할 수 있다. 도 3에 도시된 인터랙션 데이터들의 표시는 예시적인 것이며, 표시되는 인터랙션 데이터의 종류 및 구성이 이에 한정되는 것은 아니다.
인터랙션 데이터 분석부(130)의 분석 모드는 현재 선택된 프레임 인덱스에 대응하는 다시점 3차원 영상을 제공하는 3차원 가시화 분석 모드를 포함할 수 있다. 도 4는 3차원 가시화 분석 모드의 예시적인 화면을 도시한다.
도 4에 도시된 바와 같이, 현재 선택된 프레임 인덱스에 대응하는 다시점 3차원 영상은 별개의 화면으로 표시될 수 있다. 별개의 화면의 크기 및 위치는 관리자의 조작에 의해 변동이 가능할 수 있다. 다시점 3차원 영상은 분석 모드의 화면과 구분되는 별개의 화면으로 표시되는 바, 분석 모드에서 제공하는 정보와 비교 분석이 용이할 수 있다.
상술한 바와 같이, 3차원 가시화 분석 모드의 다시점 3차원 영상은 시점 변경이 가능하다. 도 5는 이러한 시점 변화를 도시한 것이다. 도 5(a)는 복수의 사용자의 가상 손을 모두 확인할 수 있는 탑 뷰 시점으로 변경한 예시도이다. 도 5(b), 도 5(c)는 다시점 3차원 영상 화면을 축소 및 확대를 나타낸 예시도이다. 다시점 3차원 영상은 선택된 프레임 인덱스에서 사용자의 가상 공간 영상에서 제공해주지 못하는 상부 시점, 사이드 시점 등과 같은 시점을 시점 변경을 통해 제공해줄 수 있다. 다시점 3차원 영상이 가상 공간에서 사용자 사이의 인터랙션을 임의적인 시점에서 가시화함에 따라, 가상 공간에서 수행되는 인터랙션에 대한 보다 효율적인 분석이 가능할 수 있다.
또한, 3차원 가시화 분석 모드에서 다시점 3차원 영상은 프레임 인덱스 순서대로 연속적인 재생이 가능할 수 있다. 관리자는 재생 아이콘을 클릭함에 따라 준비된 프레임 인덱스 순서대로 다시점 3차원 영상을 관측할 수 있다. 이때 특정 프레임 인덱스에서 시점을 변경한 경우, 변경된 시점으로 고정된 상태에서 다시점 3차원 영상은 연속적으로 재생될 수 있다. 재생 아이콘은 재생 이후 정지 아이콘으로 변경될 수 있으며, 정지 아이콘의 클릭으로 연속 재생은 중단될 수 있다. 또한, 재생 아이콘 주변에 직전, 직후 프레임 인덱스로 각각 전환하는 직전 프레임 전환 아이콘, 직후 프레임 전환 아이콘이 위치할 수 있다. 또한, 최초 프레임 인덱스로 각각 전환하는 최초 프레임 전환 아이콘 및 최후 프레임 인덱스로 전환하는 최후 프레임 전환 아이콘도 직전 프레임 전환 아이콘, 직후 프레임 전환 아이콘 주변에 위치할 수 있다.
인터랙션 데이터 분석부(130)는 3차원 가시화 분석 모드의 다시점 3차원 영상에 가상 물체의 물리 정보를 표시할 수 있다. 여기서, 물리 정보는 적어도 하나 이상의 가상 물체의 접촉 포인트를 표시할 수 있다. 도 6은 다시점 3차원 영상에 물리 정보를 더 표시한 화면의 예시도이다. 다시점 3차원 영상에서 가상 물체는 메쉬 타입의 접촉 포인트가 더 표시될 수 있으며, 가상 손은 가상 물체와 접촉하게 되는 접촉 포인트가 손가락 끝에 표시될 수 있다. 즉, 다시점 3차원 영상에 가상 물체간의 상호 접촉 관계, 인터랙션을 확인할 수 있는 물리 정보가 표시되어, 임의 시점에서 인터랙션의 물리적인 관계가 보다 용이하게 가시화될 수 있다. 이에 따라, 관리자에게 보다 용이한 분석을 가능하게 한다.
또한, 인터랙션 데이터 분석부(130)는 쿼리 모드, 통계 모드, 평가 모드 등을 더 제공할 수 있다. 쿼리 모드(Query Mode)는 관리자가 특정 조건으로 인터랙션 데이터를 검색하는 것을 제공한다. 즉, 관리자는 쿼리 모드를 통해 특정 조건을 만족하는 인터랙션 데이터만을 조회할 수 있다. 통계 모드(Statistics Mode)는 인터랙션 데이터를 기반으로 한 통계 분석을 제공한다. 즉, 관리자는 통계 모드를 통해 인터랙션 데이터의 통계 분석을 수행할 수 있다.
관리자는 쿼리 모드를 선택하여 특정 조건을 설정하여 해당 조건을 만족하는 결과 값을 조회할 수 있다. 관리자는 지정한 프레임 범위 중 특정 인터랙션 타입(예시적으로, 잡기 인터랙션 타입)의 확신도 값이 입력한 수치 이상인 프레임을 쿼리할 수 있으며, 검색된 결과가 관리자에게 제공될 수 있다. 또한, 몇몇 실시예에서 관리자는 다른 사용자와의 협업이 발생하는 프레임에 대한 쿼리를 수행할 수 있으며, 다른 사용자와의 협업이 발생되는 상황에 대한 구체적인 분석을 수행할 수 있다.
관리자는 통계 모드를 선택하여, 특정 범위의 시간 또는 프레임 범위 내에서 발생한 인터랙션 타입의 순위를 기반으로 통계적 그래프를 생성할 수 있다.
평가 모드는 상기 수집된 인터랙션 데이터를 바탕으로 가상 공간에서 제공하는 가상 콘텐츠에 대한 평가를 수행하는 모드일 수 있다. 예를 들어, 평가 모드는 항목별로 미리 설정된 기준 값 대비 현재 수집된 인터랙션 데이터에 대한 평가를 수행하는 것을 제공할 수 있다. 또한, 평가 모드는 가상 공간에서 제공하는 인터랙션 타입이 얼마나 정확한지, 사용자에게 적합한지, 또는 사용자의 선호도를 반영하는지 등에 대한 평가를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템(10)은 가상 공간에서 발생하는 다양한 인터랙션을 수집하여, 분석할 수 있을 뿐만 아니라 가상 공간의 다양한 인터랙션을 재현하여 실재 반영된 상태를 가상 공간의 관리자 또는 개발자에게 제공할 수 있다. 가상 공간의 관리자 또는 개발자는 이를 활용하여 보다 용이한 분석을 수행할 수 있으며, 분석된 데이터를 기반으로 가상 공간에 대한 피드백 정보를 생성할 수도 있다. 예시적으로, 가상 공간의 관리자는 다시점 3차원 영상을 통해 특정 시점에서 가상 공간을 바라보았을 때, 사용자 간의 인터랙션의 구현에 매끄럽지 않은 경우, 해당 부분의 모델링 개선을 수행할 수 있다. 또한, 가상 공간의 관리자는 분석 결과 특정 인터랙션 타입이 너무 빈번하게 인식되거나, 인식이 용이하게 수행되지 않는 경우, 각 인터랙션 타입에 대한 확신도 값의 기준 값을 조절하는 피드백 정보를 생성할 수 있다. 또한, 실제 영상에서, 사용자 사이에서 발생하는 행동이 가상 공간에 적절히 반영되지 못하는 경우, 새로운 인터랙션 타입을 개발하여 가상 공간에 제공할 수 있다. 즉, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 시스템(10)은 가상 공간의 구현 및 가상 공간의 사용자 인터페이스 연구, 개발 및 평가에 적극적으로 활용될 수 있다.
이하, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법에 대해 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법의 순서도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법은 인터랙션 데이터를 수집하는 단계(S100), 수집된 인터랙션 데이터를 동기화하여 저장하는 단계(S110), 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 단계(S120), 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 단계(S130)를 포함한다.
여기서, 상술한 각 단계를 수행하는 가상 공간의 인터랙션 3차원 가시화 시스템은 상술한 도 2 내지 도 6의 가상 공간의 인터랙션 3차원 가시화 시스템(10)일 수 있으며, 이에 대한 구체적인 설명은 생략하도록 한다.
먼저, 인터랙션 데이터를 수집한다(S100).
인터랙션 데이터 수집 단계(S100)에서, 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 사용자의 인터랙션 데이터(Interaction data)가 수집된다. 가상 공간에 참여하고 있는 사용자는 적어도 한 명 이상일 수 있으며, 복수의 사용자는 가상 공간 내에서 인터랙션을 수행할 수 있다. 인터랙션 데이터는 이러한 인터랙션을 분석하기 위한 데이터일 수 있다. 인터랙션 데이터는 일정 기간 동안 가상 공간에서 수행된 인터랙션을 분석하기 위한 데이터일 수 있다. 여기서 상기 일정 기간은 상기 가상 공간이 시작되고 모든 작업이 종료되는 기간을 의미할 수 있다. 다만, 이에 한정되는 것은 아니며 일정 기간은 특정 인터랙션이 수행되는 기간으로, 특정 인터랙션 분석을 수행하려는 관리자가 지정한 기간일 수도 있다.
인터랙션 데이터는 상기 일정 기간에 해당하는 타임 스탬프, 가상 공간의 영상 및 실제 영상을 포함할 수 있다. 인터랙션 데이터는 인터랙션 타입, 인터랙션 타입의 확신도, 사용자 조작 방식, 가상 물체에 대한 정보를 더 포함하고, 물체를 함께 들거나, 지시를 내리는 것과 같이 제1 사용자가 제2 사용자와 함께 인터랙션을 수행하는 경우, 인터랙션 데이터는 함께 인터랙션을 수행하는 사용자 정보(예시적으로, 사용자 1을 기준으로 사용자 2에 대한 정보)와 수행하는 인터랙션에 관한 정보도 포함될 수 있다.
또한, 인터랙션 데이터는 일정 기간 동안 가상 공간에서 수행된 인터랙션을 3차원 가시화하기 위한 기초 데이터를 포함할 수 있다. 인터랙션 데이터는 가상 공간에 구현되었던 모든 가상 모델의 그래픽 정보와 물리 정보를 더 포함할 수 있다. 여기서, 모든 가상 모델이란 가상 공간에 구현되었던 가상 물체뿐만 아니라 구현되었던 사용자의 신체 일부(가상 손)를 포함한다. 또한, 가상 손 등과 인터랙션 유무와 상관없이, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보는 인터랙션 데이터에 포함될 수 있다.
일정 시간 동안 복수의 사용자들의 입력에 따라 적절히 구현되었던 모든 가상 모델의 그래픽 정보와 물리 정보가 3차원 가시화를 위해 수집될 수 있다. 수집된 가상 모델의 그래픽 정보와 물리 정보는 사용자에게 제공된 가상 공간뿐만 아니라 가상 공간에서 이루어진 인터랙션을 3차원 렌더링하기 위한 기초 자료가 될 수 있다. 인터랙션 데이터의 수집은 인터랙션 데이터 수집부에서 수행될 수 있다. 인터랙션 데이터 수집부(100)는 인터랙션 데이터 수집부(100)는 가상 공간 제공 시스템의 가상 공간 생성 장치 또는 입력 장치 등으로부터 3차원 가시화를 위한 기초 데이터로써 인터랙션 데이터를 수집할 수 있다.
다음으로, 수집된 인터랙션 데이터를 동기화하여 저장한다(S110)
수집된 인터랙션 데이터는 인터랙션 데이터 저장부에 제공되며, 인터랙션 데이터 저장부에 동기화되어 저장될 수 있다. 사용자 별로 수집된 인터랙션 데이터는 각 사용자의 환경 조건에 따라 수집된 시각이 상이할 수 있다. 본 실시예에 따른 인터랙션 분석 방법에서, 복수의 사용자로부터 수집된 각각의 인터랙션 데이터는 NTP 서버를 참조하여 시각이 동기화되어 저장될 수 있다. 각 사용자 별로 수집된 인터랙션 데이터의 시각이 일치되는 바, 사용자 사이에서 발생하는 인터랙션의 비교, 분석이 가능할 수 있다. 또한, 일치된 시각을 기준으로 다시점 3차원 영상의 비쥬얼 랜더링이 가능할 수 있다. 인터랙션 데이터는 각 사용자 별로 저장될 수 있고, 보다 세분화하여 인터랙션 데이터의 종류에 따라 구분되어 저장될 수도 있다.
다음으로, 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성한다(S120).
다시점 3차원 영상 생성부(120)는 동기화된 인터랙션 데이터를 기초로 다시점 3차원 비쥬얼 렌더링을 수행하여 다시점 3차원 영상을 생성할 수 있다. 다시점 3차원 영상은 일정 기간 동안 사용자에게 제공된 가상 공간 및 가상 공간내에서 수행되었던 인터랙션을 재현한 영상일 수 있다. 3차원 영상은 프레임 인덱스마다 형성될 수 있으며, 특정 프레임 인덱스에서의 가상 공간, 가상 공간내의 가상 모델, 가상 모델 사이에서 발생하였던 인터랙션을 가시화할 수 있다. 다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상일 수 있다. 다시점 3차원 영상은 사용자 시점으로는 확인될 수 없었던 시점에서 가상 공간을 가시화할 수 있다. 생성된 다시점 3차원 영상은 인터랙션 데이터 저장부(110)에 저장될 수 있다.
다음으로, 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공한다(S130).
인터랙션 데이터 분석부는 분석을 위한 인터랙션 데이터 및 다시점 3차원 영상을 인터랙션 데이터 저장부로부터 로딩하여, 저장된 인터랙션 데이터의 분석을 위한 분석 모드를 제공할 수 있으나, 이에 한정되는 것은 아니며, 인터랙션 데이터 수집부에서 수집되는 인터랙션 데이터 및 다시점 3차원 영상을 실시간으로 모니터링하고, 분석할 수 있는 분석 모드도 제공할 수 있다. 분석 모드에서 각 프레임의 시간에 대응하는 가상 공간의 영상 및 실제 영상은 프레임 인덱스에 따라 순서대로 배열될 수 있다. 또한, 프레임에 대응하여 선택된 인터랙션 타입에 관한 정보 및 이의 확신도 값이 표시될 수 있다. 그리고, 현재 선택된 프레임의 가상 공간의 영상이 확대되어 표시될 수도 있다. 관리자는 분석 모드를 통해 특정 프레임을 기준으로 가상 공간의 영상, 실제 영상을 확인할 수 있고, 해당 프레임의 가상 공간에서 활성화된 인터랙션 타입 및 이의 확신도 값에 대한 정보도 확인할 수 있다.
인터랙션 데이터 분석부(130)의 분석 모드는 현재 선택된 프레임 인덱스에 대응하는 다시점 3차원 영상을 제공하는 3차원 가시화 분석 모드를 포함할 수 있다. 3차원 가시화 분석 모드에서 다시점 3차원 영상은 분석 모드의 화면과 별개의 화면으로 표시될 수 있다. 3차원 가시화 분석 모드의 다시점 3차원 영상은 시점 변경이 가능하다. 다시점 3차원 영상은 선택된 프레임 인덱스에서 사용자의 가상 공간 영상에서 제공해주지 못하는 상부 시점, 사이드 시점 등과 같은 시점을 시점 변경을 통해 제공해줄 수 있다. 다시점 3차원 영상이 가상 공간에서 사용자 사이의 인터랙션을 임의적인 시점에서 가시화함에 따라, 가상 공간에서 수행되는 인터랙션에 대한 보다 효율적인 분석이 가능할 수 있다.
또한, 3차원 가시화 분석 모드에서 다시점 3차원 영상은 프레임 인덱스 순서대로 연속적인 재생이 가능할 수 있다. 관리자는 재생 아이콘을 클릭함에 따라 준비된 프레임 인덱스 순서대로 다시점 3차원 영상을 관측할 수 있다. 이때 특정 프레임 인덱스에서 시점을 변경한 경우, 변경된 시점으로 고정된 상태에서 다시점 3차원 영상은 연속적으로 재생될 수 있다. 재생 아이콘은 재생 이후 정지 아이콘으로 변경될 수 있으며, 정지 아이콘의 클릭으로 연속 재생은 중단될 수 있다. 또한, 재생 아이콘 주변에 직전, 직후 프레임 인덱스로 각각 전환하는 직전 프레임 전환 아이콘, 직후 프레임 전환 아이콘이 위치할 수 있다. 또한, 최초 프레임 인덱스로 각각 전환하는 최초 프레임 전환 아이콘 및 최후 프레임 인덱스로 전환하는 최후 프레임 전환 아이콘도 직전 프레임 전환 아이콘, 직후 프레임 전환 아이콘 주변에 위치할 수 있다.
3차원 가시화 분석 모드의 다시점 3차원 영상에 가상 물체의 물리 정보가 더 표시할 수 있다. 여기서, 물리 정보는 적어도 가상 물체의 접촉 포인트를 표시할 수 있다. 즉, 다시점 3차원 영상에 가상 물체간의 상호 접촉 관계, 인터랙션을 확인할 수 있는 물리 정보가 표시되어, 임의 시점에서 인터랙션의 물리적인 관계가 보다 용이하게 가시화될 수 있다. 이에 따라, 관리자에게 보다 용이한 분석을 가능하게 한다. 인터랙션 데이터 분석부는 쿼리 모드, 통계 모드, 평가 모드 등을 더 제공할 수 있다.
본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법은 가상 공간에서 발생하는 다양한 인터랙션을 수집하여, 분석할 수 있을 뿐만 아니라 가상 공간의 다양한 인터랙션을 재현하여 실재 반영된 상태를 가상 공간의 관리자 또는 개발자에게 제공할 수 있다. 또한, 분석된 데이터를 기반으로 가상 공간에 대한 피드백 정보를 생성할 수도 있는 바, 즉, 본 발명의 일 실시예에 따른 가상 공간의 인터랙션 3차원 가시화 방법은 가상 공간의 사용자 인터페이스 연구 및 개발에 적극적으로 활용될 수 있다.
이상에서 설명한 실시예들에 따른 가상 공간의 인터랙션 3차원 가시화 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 가상 공간의 인터랙션 3차원 가시화 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 가상 공간의 인터랙션 3차원 가시화 시스템
100: 인터랙션 데이터 수집부
110: 인터랙션 데이터 저장부
120: 다시점 3차원 영상 생성부
130: 인터랙션 데이터 분석부

Claims (14)

  1. 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 인터랙션 데이터 수집부;
    상기 수집된 인터랙션 데이터를 동기화하여 저장하는 인터랙션 데이터 저장부;
    상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 인터랙션 3차원 가시화부; 및
    상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 인터랙션 데이터 분석부를 포함하고,
    상기 인터랙션 데이터 분석부는 쿼리 모드, 통계 모드, 상기 수집된 인터랙션 데이터를 바탕으로 상기 가상 콘텐츠에 대한 평가를 수행하는 평가 모드를 더 제공하는 것을 특징으로 하는 가상 공간의 인터랙션 3차원 가시화 시스템.
  2. 제1 항에 있어서,
    상기 인터랙션 데이터는 타임 스탬프, 프레임 인덱스, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 포함하는 가상 공간의 인터랙션 3차원 가시화 시스템.
  3. 제2 항에 있어서,
    상기 인터랙션 데이터는 실제 영상, 가상 공간 영상, 인터랙션 타입 및 이의 확신도, 사용자 조작 방식을 더 포함하는 가상 공간의 인터랙션 3차원 가시화 시스템.
  4. 제2 항에 있어서,
    상기 다시점 3차원 영상은 상기 수집된 모든 가상 물체의 그래픽 정보를 기초로 3차원 비쥬얼 렌더링을 수행하여 상기 가상 공간 및 가상 공간에 수행된 인터랙션을 재현한 영상인 가상 공간의 인터랙션 3차원 가시화 시스템.
  5. 제4 항에 있어서,
    상기 다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상이며,
    상기 3차원 가시화 분석 모드는 상기 다시점 3차원 영상에 상기 물리 정보를 표시하는 것을 더 포함하는 가상 공간의 인터랙션 3차원 가시화 시스템.
  6. 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 인터랙션 데이터 수집부;
    상기 수집된 인터랙션 데이터를 동기화하여 저장하는 인터랙션 데이터 저장부;
    상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 인터랙션 3차원 가시화부; 및
    상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 인터랙션 데이터 분석부를 포함하고,
    상기 인터랙션 데이터는 실시간으로 수집되거나, 미리 설정된 일정 기간 동안 수집되고,
    상기 수집된 인터랙션 데이터는 NTP 서버를 참조하여 시각이 동기화되어 저장되는 가상 공간의 인터랙션 3차원 가시화 시스템.
  7. 삭제
  8. 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 단계;
    상기 수집된 인터랙션 데이터를 동기화하여 저장하는 단계;
    상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 단계; 및
    상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 단계를 포함하고,
    상기 3차원 가시화 분석 모드를 제공하는 단계는, 쿼리 모드, 통계 모드, 상기 수집된 인터랙션 데이터를 바탕으로 상기 가상 콘텐츠에 대한 평가를 수행하는 평가 모드를 더 제공하는 것을 특징으로 하는 가상 공간의 인터랙션 3차원 가시화 방법.
  9. 제8 항에 있어서,
    상기 인터랙션 데이터는 타임 스탬프, 프레임 인덱스, 가상 공간에 구현된 모든 가상 물체의 그래픽 정보와 물리 정보를 포함하는 가상 공간의 인터랙션 3차원 가시화 방법.
  10. 제9 항에 있어서,
    상기 인터랙션 데이터는 실제 영상, 가상 공간 영상, 인터랙션 타입 및 이의 확신도, 사용자 조작 방식을 더 포함하는 가상 공간의 인터랙션 3차원 가시화 방법.
  11. 제9 항에 있어서,
    상기 다시점 3차원 영상은 상기 수집된 모든 가상 물체의 그래픽 정보를 기초로 3차원 비쥬얼 렌더링을 수행하여 상기 가상 공간 및 가상 공간에 수행된 인터랙션을 재현한 영상인 가상 공간의 인터랙션 3차원 가시화 방법.
  12. 제11 항에 있어서,
    상기 다시점 3차원 영상은 영상 내에서 시점 변화가 가능한 영상이며,
    상기 3차원 가시화 분석 모드는 상기 다시점 3차원 영상에 상기 물리 정보를 표시하는 것을 더 포함하는 가상 공간의 인터랙션 3차원 가시화 방법.
  13. 가상 콘텐츠가 구현된 가상 공간에 참여하고 있는 적어도 한 명 이상의 사용자의 인터랙션 데이터를 수집하는 단계;
    상기 수집된 인터랙션 데이터를 동기화하여 저장하는 단계;
    상기 인터랙션 데이터를 기초로 다시점 3차원 영상을 생성하는 단계; 및
    상기 다시점 3차원 영상을 활용하여 3차원 가시화 분석 모드를 제공하는 단계를 포함하고,
    상기 인터랙션 데이터는 실시간으로 수집되거나, 미리 설정된 일정 기간 동안 수집되고,
    상기 수집된 인터랙션 데이터는 NTP 서버를 참조하여 시각이 동기화되어 저장되는 가상 공간의 인터랙션 3차원 가시화 방법.
  14. 삭제
KR1020180074936A 2018-06-28 2018-06-28 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법 KR102135331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180074936A KR102135331B1 (ko) 2018-06-28 2018-06-28 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180074936A KR102135331B1 (ko) 2018-06-28 2018-06-28 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200001871A KR20200001871A (ko) 2020-01-07
KR102135331B1 true KR102135331B1 (ko) 2020-07-17

Family

ID=69153701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180074936A KR102135331B1 (ko) 2018-06-28 2018-06-28 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102135331B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
KR101567995B1 (ko) * 2014-10-07 2015-11-10 한국과학기술연구원 인터랙션을 지원하는 사용자 인터페이스를 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
KR102147430B1 (ko) * 2013-10-07 2020-08-24 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
KR101567995B1 (ko) * 2014-10-07 2015-11-10 한국과학기술연구원 인터랙션을 지원하는 사용자 인터페이스를 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20200001871A (ko) 2020-01-07

Similar Documents

Publication Publication Date Title
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
Fittkau et al. Exploring software cities in virtual reality
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
KR101700468B1 (ko) 사용자로부터 학습된 입력을 통해 비주얼 표현을 활성화하는 방법
CN111819522A (zh) 用于混合现实显示器中的虚拟内容的遮挡光标
US10503964B1 (en) Method and system for measuring and visualizing user behavior in virtual reality and augmented reality
JP2015146194A (ja) 仮想世界処理装置および方法
CN111643899A (zh) 一种虚拟物品显示方法、装置、电子设备和存储介质
Drenikow et al. Vixen: interactive visualization of gameplay experiences
CN111862280A (zh) 虚拟角色控制方法、系统、介质及电子设备
US20220327755A1 (en) Artificial intelligence for capturing facial expressions and generating mesh data
US11030796B2 (en) Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
CN112601098A (zh) 直播互动方法、内容推荐方法及装置
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
KR102135331B1 (ko) 가상 공간의 인터랙션 3차원 가시화 시스템 및 방법
US10635163B2 (en) System and method for interaction analysis of virtual space
KR102285331B1 (ko) 여러 사용자 사이의 상호작용에 대한 인터랙션 복원을 지원하는 방법 및 장치
CN105677060A (zh) 通过输入法进行输入的方法和装置
Stork et al. The influence of instruction mode on reaching movements during manual assembly
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法
JP7195015B2 (ja) インストラクションシステム、プログラム
CN115317907A (zh) Ar应用中多用户虚拟交互方法、装置及ar设备
Gwynn A user interface for terrain modelling in virtual reality using a head mounted display
Wu et al. ImpersonatAR: Using Embodied Authoring and Evaluation to Prototype Multi-Scenario Use cases for Augmented Reality Applications
Hemström et al. A Comparison of WebVR and Native VR: Impacts on Performance and User Experience

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant