KR20180134635A - 가상현실에 기반하는 객체 처리장치 및 그 동작 방법 - Google Patents

가상현실에 기반하는 객체 처리장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20180134635A
KR20180134635A KR1020170072640A KR20170072640A KR20180134635A KR 20180134635 A KR20180134635 A KR 20180134635A KR 1020170072640 A KR1020170072640 A KR 1020170072640A KR 20170072640 A KR20170072640 A KR 20170072640A KR 20180134635 A KR20180134635 A KR 20180134635A
Authority
KR
South Korea
Prior art keywords
virtual reality
sensing data
change
reality space
information
Prior art date
Application number
KR1020170072640A
Other languages
English (en)
Other versions
KR102009753B1 (ko
Inventor
배재환
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020170072640A priority Critical patent/KR102009753B1/ko
Publication of KR20180134635A publication Critical patent/KR20180134635A/ko
Application granted granted Critical
Publication of KR102009753B1 publication Critical patent/KR102009753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실에 기반하는 객체 처리장치 및 그 동작 방법에 관한 것으로, 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치의 동작 방법에 있어서, 무선 통신으로 연결된 객체장치로부터 최초 센싱데이터를 수신하는 단계; 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계; 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하는 단계; 및 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계;를 포함하며, 다른 실시 예로도 적용이 가능하다.

Description

가상현실에 기반하는 객체 처리장치 및 그 동작 방법{SYSTEM FOR PROCESSING OBJECT BASED ON VIRTUAL REALITY AND OPERATING METHOD THEREOF}
본 발명은 가상현실에 기반하는 객체 처리장치 및 그 동작 방법에 관한 것으로, 상세하게는, 객체에 가해지는 움직임을 가상현실을 통하여 구현하는 장치 및 그 동작 방법에 관한 것이다.
가상 현실 (virtual reality, VR) 은 현실의 환상을 제공한다. 가상현실 기술은 일반적으로 교육, 오락, 훈련, 의학 등의 분야의 컴퓨팅 시스템 (computing system) 에서 사용된다. 가상현실 환경은 시각, 청각, 촉각, 후각(냄새), 및 구개(맛)의 다양한 인간 감각 현상에 대한 경험을 가상의 공간을 통하여 제공한다.
이들 중, 촉각은 컴퓨터-인간 상호작용에서 시각 및 청각 다음으로 가장 지배적인 감각이며, 더욱 높은 몰입성 및 상호작용성의 질을 갖는 가상 환경을 제공하기 위하여 지각을 가상 현실에 구현하기 위한 많은 연구가 진행되고 있다.
특허문헌 제10-2017-0037220호는 촉각 질감(tactile texture) 및 3D 형태를 인지하는 능력을 개선하도록 장애인뿐만 아니라 노인 및 어린이를 돕기 위해 사용될 수 있는 햅틱 가상 현실 게이밍 (Haptic Virtual Reality Gaming) 시스템을 이용하여 햅틱 퍼즐 (Haptic Puzzle) 을 제공하는 방법으로서, 표시부에 질의 객체 및 복수의 예시 객체에 대응하는 아이콘을 표시하는 단계; 햅틱 장치를 이용하여 상기 질의 객체 및 복수의 예시 객체들 각각에 대한 촉각 감각을 사용자에게 제공하는 단계; 입력부를 이용하여 상기 사용자로부터 상기 복수의 예시 객체 중 상기 질의 객체와 동일한 질감의 예시 객체에 대한 선택을 수신하는 단계; 및 상기 선택된 예시 객체와 상기 질의 객체가 동일한 질감을 가지는지 여부를 결정하는 단계를 포함하는, 햅틱 가상 현실 게이밍 시스템을 이용하여 햅틱 퍼즐을 제공하는 방법을 개시한다.
이러한 햅틱 가상 현실 게이밍 시스템은 질감의 차이를 구분하여 사용자에게 제공함으로써 인지능력을 개선시킬 수 있음을 개시하고 있으나, 시스템을 통하여 제공되는 햅틱의 차이를 느끼고 표시된 예들 중 하나를 선택하는 수동적인 방법을 제공할 뿐, 사용자로 하여금 인지능력을 향상시키기 위한 적극적인 행동을 유도하는 데 여전히 한계가 존재한다.
이러한 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예에 따르면, 객체장치의 위상 또는 움직임이 특정된 데이터를 수신하여 가상현실 공간에 구현하는. 가상현실에 기반하는 객체 처리장치 및 그 동작 방법을 제공할 수 있다.
다양한 실시 예에 따르면, 객체장치 주변 환경에 대하여 측정된 데이터를 수신하여 가상현실 공간을 구현하는 가상현실에 기반하는 객체 처리장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치의 동작 방법에 있어서, 무선 통신으로 연결된 객체장치로부터 최초 센싱데이터를 수신하는 단계; 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계; 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하는 단계; 및 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계;를 포함한다.
다양한 실시 예에 따르면, 상기 최초 센싱데이터는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 변화는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 포함할 수 있다.
또한, 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현할 수 있다.
또한, 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치는, 적어도 하나의 객체장치와 무선 통신으로 데이터를 송수신하는 통신부; 가상현실 공간을 출력하는 디스플레이; 및 상기 객체장치로부터 최초 센싱데이터를 수신하고, 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하여 상기 디스플레이를 통하여 출력하고, 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하고, 검출된 변화에 기반하여 상기 객체의 변화를 구현하여 상기 디스플레이에 출력하는 제어부;를 포함한다.
다양한 실시 예에 따르면, 상기 제어부는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 상기 최초 센싱데이터로부터 검출할 수 있다.
또한, 상기 제어부는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 상기 변화에 포함하여 처리할 수 있다.
또한, 상기 제어부는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하여 상기 객체의 변화를 구현할 수 있다.
또한, 상기 제어부는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현할 수 있다.
본 발명의 다양한 실시 예에 따르면, 처리장치를 통하여 시각적 가상현실 공간에 객체를 생성하고, 사용자로 하여금 객체장치를 파지하고 조작하는 동작에 따른 객체장치의 움직임, 위상을 가상현실 공간에 구현함으로써, 사용자에게 스스로의 동작을 인지시키고, 인지능력 또는 행동능력의 기능 향상의 기회를 제공할 수 있다.
다양한 실시 예에 따르면, 처리장치를 통하여 가상현실 공간을 생성하고, 객체장치에 작용하는 현상을 감각적 효과가 추가된 객체로 구현함으로써 현실에서의 인지능력 훈련 대비 그 효과를 행상시킬 수 있고, 더하여, 시각적 효과뿐만 아니라, 청각적 효과 또한 제공할 수 있어 사용자에게 복합적인 인지능력의 향상을 기대할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 통하여 제공되는 가상현실을 도시하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 처리장치 또는 처리장치가 연결되는 가상현실 제공장치에 대한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 처리장치의 구성 요소를 도시하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 객체장치의 구성 요소를 도시하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간 및 객체를 구현하고 출력하는 동작의 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간에 구현된 객체의 변화를 요청하고 변화를 처리하는 동작의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 생성되는 가상현실 공간 및 객체를 도시하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 시스템에서 객체장치의 구체적인 구성을 도시하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
본 발명의 다양한 실시 예에서 사용되는 ‘또는’, ‘적어도 하나’ 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다.
본 발명의 다양한 실시 예에서 사용되는 용어들은 특정 일 실시 예를 설명하기 위한 것으로, 본 발명을 한정하는 것으로 해석되어서는 안되며, 예를 들어, 단수의 표현은 문맥상 명백하게 다른 것으로 명시되지 않는 한 복수의 의미를 포함할 수 있을 것이다.
본 발명의 다양한 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치(이하, 처리장치) 및 그 동작 방법을 설명한다. 여기서, 가상현실에 기반하는 객체처리장치는, 시각, 촉각 및/또는 청각과 같은 감각적 인지 훈련을 위하여 사용자의 손에 접촉되는 객체장치를 통하여 검출되는 정보를 수신하고, 가상현실 공간에 출력하는 장치로 제공될 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 객체장치 및 객체장치로부터 수신한 정보를 처리하는 처리장치를 포함하는 시스템이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 통하여 제공되는 가상현실을 도시하는 도면이다. 여기서, 시스템은 적어도 하나의 전자장치를 포함하여 구성될 수 있다. 일 실시 예에 따르면, 시스템은 사용자에 파지 및 조작되며 그 위상을 검출하는 객체장치(이하, 객체(102) 및 객체의 동작 상태를 수신하여 사용자에게 시각 인터페이스를 출력하는 처리장치(101) 중 적어도 하나의 장치를 포함한다.
여기서, 도 1을 참조하면, 객체장치(103)는, 육면체(또는 사각기둥) 형상의 블록으로 제공될 수 있다. 객체장치(103)는 내부에 적어도 하나의 센서를 포함하여, 객체장치(103)의 위상, 예를 들면, 객체장치(103)의 위치, 움직임 또는 표면에 작용하는 외력(또는 압력)을 검출할 수 있다. 다양한 실시 예에 따르면, 객체장치(103)의 외형은 육면체에 한정하지 않고, 사면체, 오면체, 삼각기둥, 사각기둥, 오각기둥, 삼각뿔, 사각뿔, 오각뿔, 플라톤의 입체 등과 같이 다면체 형상으로 제공될 수 있고 또는 구, 토러스, 실린더, 콘 등과 같이 비-다면체 형상으로 제공될 수도 있다.
객체장치(103)의 센서를 통해서 검출된 센싱데이터는 처리장치(101)로 전송되며, 처리장치(101)는, 수신한 센싱데이터에 기반하여 객체에 작용된 외력을 시각적으로 구현하여 디스플레이에 출력할 수 있다. 여기서, 처리장치(101)는, 디스플레이를 통하여 사용자에게 가상현실을 제공하는 장치로 구현될 수 있다.
일 실시 예에 따르면, 처리장치(101)가 디스플레이(150)를통해서 사용자에게 이미지를 제공하는 동작을 설명할 수 있다. 예를 들면, 처리장치(101)는 일반적으로 시각적 가상현실을 제공하기 위하여 동일 또는 유사한 두 개의 영상을 생성하여 디스플레이에 표시할 수 있다. 예를 들면, 처리장치(101)는 일반적으로 디스플레이(150)에 하나로 표시되는 영상을, 좌 영상(111) 및 우 영상(113)으로 분리하여 디스플레이(150)에 표시할 수 있다. 사용자는 디스플레이(150)에 표시된 좌 영상(111) 및 우 영상(113)을 처리장치(101)의 구조, 영상 처리 및/또는 광학적 처리를 통해서 하나의 영상(예: 가상 화면, 또는 가상현실 공간(151))으로 인식할 수 있다.
더하여, 일 실시 예에 따르면 처리장치(101)가 디스플레이(150)에 표시하는 분리된 영상(예: 좌 영상(111) 및 우 영상(113))은 처리장치(101)에 포함된 적어도 하나의 렌즈(예: 도 2의(203))에 의해 영상이 왜곡되는 현상이 발생할 수 있다. 처리장치(101)는 왜곡되지 않은 영상을 사용자에게 제공하기 위하여 디스플레이(150)에 분리되어 표시된 평면의 이미지를, 렌즈(예: 도 2의(203))의 특성을 고려하여 역 왜곡을 할 수 있다.
이하 도면을 설명함에 있어서, 처리장치(101)에서 디스플레이(150)에 출력하는 화면 구성은 도 1에서 설명한 바와 같이 좌 영상(111) 및 우 영상(113)으로 가공된 이미지일 수 있다. 이때, 공간 상(예: 사용자의 눈 앞 또는 시야)에 보여지는 가상현실 공간(151)은 처리장치(101)의 디스플레이(150)에 표시되는 화면 구성(또는 이미지)이 사용자에게 제공되는(또는 보여지는) 이미지로 설명할 수 있다.
또한, 객체장치(103)에 대응되는 객체를 표시함에 있어서, 보다 적절한 실시 예를 설명하기 위하여 디스플레이(150)에 표시 또는 가상현실 공간(151)에 표시하는 것으로 구분하여 설명할 수 있지만, 이는 출력부를 통하여 출력되는 것과, 사용자의 시각에 보여지는 것의 차이를 의미할 뿐 다른 장치나 방법을 이용한 것으로 이해되서는 안될 것이다.
상술한 바에 따르면, 처리장치(101)는 디스플레이(150)에 영상을 표시함에 있어서, 좌 영상 및 우 영상으로 생성하여 표시하고 있지만, 이는 일 실시 예에 따른 표시 방법으로 좌 영상 및 우 영상으로 생성하는 것에 한정하지 않고, 상 영상 및 하 영상으로 생성하는 방식 등 다양한 방식의 구분 영상으로 적용할 수 있다. 더하여, 처리장치(101)는 디스플레이(150)의 인터페이스를 변형함에 있어서, 입체 영상 출력 기능과 같은 다양한 모드에 기반하여 디스플레이(150)에 표시하는 인터페이스를 변형할 수 있고, 또는 처리장치(101)에서 변형한 디스플레이 인터페이스를 기반으로 입체 화면 또는 입체 영상과 같은 방식의 영상을 처리장치(101)를 통하여 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 처리장치 또는 처리장치가 연결되는 가상현실 제공장치에 대한 도면이다. 일 실시 예에 다르면, 처리장치(101)는 디스플레이(150)에 표시되는 화면 구성을 사용자에게 제공함에 있어서, 디스플레이(150)에서 처리되는 이미지 처리 기법 및/또는 물리적인 렌즈의 광학적 처리와 같은 영상 처리에 기반하여 사용자의 눈 앞(또는 시야)에 펼쳐지는 것처럼 표현할 수 있다. 예를 들어, 처리장치(101)를 통해서이미지를 출력하는 기술은 증강 현실(augmented reality, AR) 기술 또는 가상 현실(virtual reality, VR) 기술의 적어도 일부를 구현한 기법을 사용할 수 있다.
따라서, 사용자가 처리장치(101)를 통해서 디스플레이(150)에 표시되는 화면 구성을 제공 받기 위하여 처리장치(101)를 사용자의 두부에 위치하도록 제공될 수 있고, 본 발명의 다양한 실시 예에 따른 처리장치(101)는 두부 장착 디스플레이(예: head mounted display, HMD)와 동일 또는 유사한 카테고리에 포함되는 가상현실 제공장치로 설명할 수 있다.
두부 장착 디스플레이 방식의 처리장치(101)를 제공함에 있어서는 다양한 방법들이 있으나 설명의 편의성을 위해 도 2와 같은 형태를 가진 구조를 실시 예로 설명한다. 일 실시 예에 따르면 처리장치(101)는 두부에 장착 가능한 특정 기구물(예: 프레임 또는 본체, 이하 프레임(201))에 포함되어 구현되고, 프레임(201)의 일 방향으로 디스플레이(150)가 배치될 수 있다. 디스플레이(150)에는 표시되는 영상을 사용자에게 가상현실 이미지로 제공하기 위한 적어도 하나의 렌즈(203)가 배치될 수 있다.
프레임(201)은 일면, 예를 들면, 디스플레이(150)와 수직하는 일측면에 처리장치(101)를 컨트롤 하기 위한 컨트롤 장치를 포함할 수 있다. 일 실시 예에 따르면, 컨트롤 장치는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 터치 패널(touch panel), 터치 키(touch key), 조이스틱(joystick), 버튼(button), 휠키(wheel key) 중에 적어도 하나로 구성될 수 있다. 터치 패드는 처리장치(101)의 기능을 제어(예: 음향 또는 영상을 제어)할 수 있는 그래픽 사용자 인터페이스(graphical user interface, GUI)를 표시할 수 있다.
더하여, 처리장치(101)의 프레임(201)은, 상술한 구성 요소 예를 들면, 제어부, 센서부(센서모듈), 입력부(입력장치), 전원장치(전력관리모듈), 진동 모터(vibrator), 초점조절부(ajustable optics) 중 적어도 일부를 포함하여 구성될 수 있다.
다양한 실시 예에 따르면, 처리장치(101)는, 프레임(201)에 탈/부착 가능한 별도의 장치로 제공될 수 있다. 이때, 가상현실 제공장치의 프레임(201)은 처리장치(101)와 연결되어, 처리장치(101)로부터 수신되는 데이터에 기반하여 사용자에게 가상현실을 제공하기 위한 디스플레이(150) 및 렌즈(203) 중 적어도 하나의 구성 요소를 포함할 수 있다.
처리장치(101)가 프레임(201)에 탈/부착 가능하도록 제공되는 경우, 프레임(201)의 일면에 부착되거나, 프레임(201)에 형성된 커버를 이용하여 내부에 장착되거나 또는 프레임(201)의 일면을 통하여 내부에 삽입되도록 제공될 수 있다. 이때, 처리장치(101)는, USB와 같은 유선 통신 또는 와이파이(wireless fidelity, WiFi), 블루투스(bluetooth)와 같은 무선 통신 등을 이용하여 프레임(201)과 연결되어 데이터를 송수신할 수 있다.
이하, 도 3을 통하여 본 발명의 일 실시 예에 따른 처리장치의 구성 요소를 설명한다. 도 3에 도시된 바와 같이 처리장치(101)는 통신부(301), 객체장치(103)(303), 출력부(305), 메모리(307) 및 제어부(309) 중 적어도 하나의 구성 요소를 포함한다.
통신부(301)는 객체장치(103)와 같은 외부장치와 통신을 수행한다. 이를 위해, 통신부(301)는 유선 또는 무선 통신 중 적어도 하나의 통신을 수행할 수 있다. 통신부(301)는 WiFi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 및 NFC(near field communication) 등의 무선 통신을 수행할 수 있다.
다양한 실시 예에 따르면, 처리장치(101)가 가상현실 제공장치와 일체가 아닌, 탈/부착 가능하도록 제공되는 경우, 통신부(301)는 가상현실 제공장치와 유선 또는 무선 통신을 수행할 수 있다.
입력부(303)는 처리장치(101)에 대한 사용자 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(303)는 적어도 하나의 입력수단을 포함한다. 이러한 입력부(303)는 상술한 컨트롤 장치와 동일 또는 유사하게 제공될 수 있다.
출력부(305)는 제어부(309)의 처리 결과를 출력한다. 출력부(305)는, 디스플레이 및 스피커 중 적어도 하나의 장치를 포함하여 구성될 수 있다. 출력부(305)가 디스플레이로 구비되는 경우 출력부(305)는 표시데이터를 출력한다. 예를 들면, 출력부(305)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있다. 또한 출력부(305)는 다수개의 발광 소자들을 포함할 수 있다. 출력부(305)는 입력부(303)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다. 출력부(305)가 스피커로 구비되는 경우 출력부(305)는 제어부(309)로부터 수신하는 데이터를 오디오로 출력할 수 있다.
여기서, 처리장치(101)가 가상현실 제공장치와 일체로 구비되는 경우, 디스플레이는, 상술한 바와 같이 가상현실 제공장치의 디스플레이(150)로 제공될 수 있다. 반면, 처리장치(101)가 가상현실 제공장치와 별도의 장치로 구비되는 경우, 디스플레이는 디스플레이(150)와는 별개로 처리장치(101)의 일부에 형성될 수 있다.
메모리(307)는 통신부(301)를 통해서 수신하는 객체장치(103)의 센싱데이터를 저장한다. 또한, 메모리(307)는 처리장치(101)의 동작 프로그램들 또는 처리/생성되는 데이터를 저장할 수 있다. 예를 들면, 메모리(307)는 수신한 센싱데이터에 기반하여 제어부(309)를 통해서 생성되는 가상현실 공간과 관련된 데이터, 객체장치(103)에 대응하여 가상현실 공간에 생성되는 객체와 관련된 데이터를 저장할 수 있다.
메모리(307)는, 사용자로 하여금 객체장치(103)를 통하여 행동하도록 요구되는 행동 요구데이터(이하, 요구데이터)가 저장될 수 있다. 여기서, 메모리(307)는, 요구데이터와 관련된 정보를 출력부(150)를 통하여 표시하기 위하여 생성된 그래픽 사용자 인터페이스를 저장할 수 있다.
제어부(309)는, 통신부(301)를 통해서 연결된 객체장치(103)로부터 센싱데이터를 수신한다. 일 실시 예에 따르면, 제어부(309)는 센싱데이터로부터 객체장치(103)가 위치한 공간과 관련된 정보와 객체장치(103)와 관련된 정보를 확인할 수 있다.
여기서, 공간과 관련된 정보는 객체장치(103)의 주변 환경과 관련된 정보일 수 있다. 예를 들면, 객체장치(103)가 놓여진 바닥 영역(또는 지형), 객체장치(103) 주변에 놓여진 다른 객체(또는 구조물)와 관련된 정보 중 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 다른 객체는 객체장치(103)와 구분되는 다양한 형상의 객체 또는 장치 중 적어도 하나를 포함할 수 있다. 또한, 다른 객체와 관련된 정보는 다른 객체의 위치, 방향 및 거리 중 적어도 하나의 정보를 포함할 수 있다.
또한, 객체장치(103)와 관련된 정보는 객체장치(103)가 정지된 상태인 경우 객체장치(103)의 위상과 관련된 정보를 포함할 수 있다. 예를 들면, 객체장치(103)의 고도, 기울기, 객체장치(103)의 표면에 작용하는 외력 중 적어도 하나의 정보를 포함할 수 있다. 객체장치(103)가 지피에스(global positioning system, GPS) 등의 위성항법시스템을 포함하는 경우 공간 좌표를 포함할 수 있다.
제어부(309)는, 수신한 객체장치(103)와 관련된 정보에 기반하여, 가상현실 공간을 생성하고 객체장치(103)에 대응되는 객체를 구현할 수 있다. 제어부(309)는, 생성된 가상현실 공간 및 구현된 객체를 출력부(이하, 디스플레이(150)를 통해서 출력할 수 있다.
다양한 실시 예에 따르면, 제어부(309)는, 센싱데이터로부터 검출하는 객체장치(103) 및 다른 객체와 관련된 정보와 그에 기반하여 구현되는 가상현실 공간에 따라서, 가상현실 공간에 구현되는 다른 객체 또는 객체의 사이즈 또는 객체와 다른 객체 사이의 거리 중 적어도 일부를 결정할 수 있다.
또한, 객체장치(103)와 관련된 정보는 객체장치(103)의 움직임과 관련된 정보를 포함할 수 있다. 예를 들면, 객체장치(103)의 가속도, 회전, 높이 변화, 객체장치(103)의 표면에 가해지는 외력 중 적어도 하나의 정보를 포함할 수 있다. 제어부(309)는 객체장치(103)의 움직임과 관련된 정보에 기반하여 가상현실 공간에 위치한 객체의 움직임을 구현할 수 있다. 제어부(309)는, 객체의 움직임을 디스플레이(150)를 통하여 출력할 수 있다.
제어부(309)는 가상현실 공간, 객체, 객체의 위상 및/또는 객체의 움직임을 구현함에 있어서 다양한 3차원 그래픽 처리 기법을 적용할 수 있다. 일 실시 예에 따르면, 제어부(309)는 가상현실 공간, 객체 및/또는 다른 객체에 대하여, 버텍스 쉐이더(vertex shader), 레스터라이저(rasterizer), 픽셀 쉐이더(pixel shader), Z-버퍼(Z-buffer), 판탈라(pantalla) 중 적어도 일부에 기반하는 3차원 이미지 처리를 수행할 수 있다.
제어부(309)는 디스플레이(150)에 출력된 미션(mission)에 대한 응답으로 센싱데이터를 수신할 수 있다. 여기서 미션은, 사용자로 하여금 객체장치(103)를 통하여 객체장치(103)의 위상 또는 움직임을 구현하도록 제시되는 동작일 수 있다. 미션은, 객체장치(103)의 위상 또는 움직임에 대응되는 객체의 이미지를 디스플레이(150)에 출력함으로써 제공될 수 있다.
또한 처리장치(101)는 제공된 객체의 이미지와 관련하여 센싱데이터에 대응되는 데이터(요청데이터)를 생성할 수 있다. 여기서, 요청데이터는, 객체에 대하여 각도(또는 기울기), 방향, 높이 표면에 가해지는 압력 중 적어도 일부에 대하여 지정된 수치가 설정된 데이터로 제공될 수 있다. 제어부(309)는 호출된 요청데이터에 기반하여 가상현실 공간에 구현되는 객체가 특정 포지션(position) 또는 햅틱(haptic)을 완성하도록 요청하는 이미지(요청데이터의 이미지)를 생성하고 디스플레이(150)에 표시할 수 있다.
제어부(309)는, 요청데이터에 대한 응답으로 객체장치(103)로부터 수신한 센싱데이터에 기반하여 객체의 포지션 또는 햅틱을 구현하고, 요청데이터의 객체와 비교할 수 있다. 제어부(309)는, 구현된 객체의 포지션 또는 햅틱과 요청데이터의 이미지를 비교 결과가 동일 또는 유사한 것으로 결정하는 경우 미션(mission)을 완료한 것으로 결정할 수 있다.
이하, 도 4을 통하여 본 발명의 일 실시 예에 따른 객체장치의 구성 요소를 설명한다. 도 4에 도시된 바와 같이 객체장치(103)는 통신부(401), 센서부(403), 메모리(405) 및 제어부(407) 중 적어도 하나의 구성 요소를 포함한다.
통신부(401)는 처리장치(101)의 통신부(301)와 통신을 수행한다. 이를 위해, 통신부(401)는 유선 또는 무선 통신 중 적어도 하나의 통신을 수행할 수 있다. 일 실시 예에 따르면, 통신부(401)는 처리장치(101)의 통신부와 동일 또는 유사하게 구성될 수 있다. 예를 들어, 통신부(301)는 WiFi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 및 NFC(near field communication) 등의 무선 통신을 수행할 수 있다.
센서부(403)는 객체장치(103)의 내/외부 상황을 측정할 수 있는 적어도 하나의 센서를 포함하며, 객체장치(103)의 위치 및/또는 움직임을 측정할 수 있다. 예를 들면, 센서부(403)는 지피에스, 자이로스코프, 가속도 센서, 기울기 센서, 고도 센서, 근접 센서, 이미지 센서(또는 카메라), 압력감지 센서(이하, 압력센서), 자기 센서, 적외선 센서, 터치 센서 중 적어도 하나의 센서를 포함할 수 있다.
메모리(405)에는 센서부(403)를 통해서 측정된 정보 및 측정된 정보에 기반하여 생성된 센싱데이터가 저장될 수 있다. 또한, 메모리(405)에는 센싱데이터의 전송에 대응하여 수신된 피드백데이터가 저장될 수 있다. 다양한 실시 예에 따르면, 메모리(405)는, 처리장치(101)의 메모리(307)와 동일 또는 유사하게 구성될 수 있다.
제어부(407)는 센서부(403)를 통해서, 객체장치(103)의 위치, 좌표, 고도, 객체장치(103) 표면에 작용하는 외력 중 적어도 하나에 대한 정보를 획득할 수 있다. 또한, 제어부(407)는, 센서부(403)를 통하여 객체장치(103)의 움직임에 대한 가속도, 속도, 이동 방향, 회전, 고도 변화, 좌표 변화, 객체장치(103) 표면에 작용하는 외력 중 적어도 하나의 정보를 획득할 수 있다.
더하여, 제어부(407)는, 센서부(403)를 통해서 객체장치(103)의 주변에 위치하는 다른 객체와 관련된 정보를 획득할 수 있다. 일 실시 예에 따르면, 제어부(407)는 센서부(403)를 통해서 객체장치(103) 주변에 위치한 지형 또는 지물과의 거리 및/또는 형상에 관련된 정보를 획득할 수 있다.
예를 들면, 제어부(407)는, 센서부(403)에 구성되는, 적외선 센서, 근접 센서, 이미지 센서 중 적어도 하나의 센서에 기반하여 객체장치(103)의 주변에 위치한 적어도 하나의 다른 객체와 관련된 정보를 측정할 수 있다.
제어부(407)는 객체장치(103)가 사용자의 손을 이용하여 파지되어 손의 움직임에 따라서 이동, 진동, 회전 또는 객체장치(103)의 표면에 가해지는 힘의 변화에 대응하여 센서부(403)에 구성된 센서를 통하여 객체장치(103)의 위상 및/또는 변화를 측정할 수 있다.
예를 들면, 제어부(407)는, 객체장치(103) 내부 또는 표면에 형성된, 압력 센서, 터치 센서 중 적어도 하나의 센서를 통하여 사용자의 파지, 파지 위치, 가해지는 압력 중 적어도 하나의 정보를 측정할 수 있다.
제어부(407)는 측정된 정보(또는 측정값)을 이용하여 처리장치(101)에 전송하기 위한 센싱데이터를 생성할 수 있다. 제어부(407)는 생성된 센싱데이터를 통신부(401)를 통하여 처리장치(101)에 전송할 수 있다.
더하여, 객체장치(103)는 진동을 통하여 다양한 자극을 출력하는 모터(또는 진동 모터)를 더 포함할 수 있다. 제어부(407)는, 센서부(403)를 통하여 위상의 변화 또는 움직임을 감지하거나, 또는 처리장치(101)로부터 지정된 명령을 수행하는 경우, 모터를 통하여 해당하는 진동을 출력할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간 및 객체를 구현하고 출력하는 동작의 흐름도이다.
501 동작에서, 처리장치(101)는 객체장치(103)로부터 센싱데이터(최초 센싱데이터)를 수신한다. 수신한 최초 센싱데이터는 객체장치(103)의 위치 정보를 포함할 수 있다. 여기서, 위치 정보는 객체장치(103)의 위치뿐만 아니라 객체장치(103)의 주변 환경과 관련된 정보, 예를 들면, 객체장치(103)의 주변에 위치한 다른 객체에 대한 정보를 포함할 수 있다. 최초 센싱데이터에 다른 객체에 대한 정보를 포함하는 경우, 다른 객체와의 거리, 방향 정보가 포함될 수 있다.
일 실시 예에 따르면, 처리장치(101)가 객체장치(103)로부터 최초 센싱데이터를 수신하는 동작은, 처리장치(101)와 객체장치(103)가 통신으로 연결된 후 처리되는 동작일 수 있다. 예를 들면, 처리장치(101)는 객체장치(103)와 블루투스 통신을 통해서 연결된 후 객체장치(103)를 통해서 센싱데이터를 수신할 수 이다. 일 실시 예에 따르면, 처리장치(101)는 객체장치(103)에 센싱데이터의 요청을 전송한 이후 객체장치(103)로부터 최초 센싱데이터를 수신할 수 있다.
503 동작에서, 처리장치(101)는 수신한 최초 센싱데이터에 기반하여 가상현실 공간을 생성한다. 처리장치(101)는, 최초 센싱데이터로부터 객체장치(103)의 주변 환경 및 객체장치(103)의 위상과 관련된 정보를 검출하고, 검출된 정보에 기반하여 가상현실 공간을 생성할 수 있다. 또한 처리장치(101)는, 객체장치(103)에 대응하여 가상현실 공간에 위치하는 객체를 생성할 수 있다.
처리장치(101)는 가상현실 공간을 구현함에 있어서, 최초 센싱데이터에 포함된 객체장치(103)의 주변 환경과 관련된 정보에 기반하여 공간의 지형 및 배치된 지물을 구현할 수 있다. 이때, 처리장치(101)는, 가상현실 공간에 객체장치(103) 주변에서 검출된 다른 객체를 구현할 수 있다. 예를 들면, 처리장치(101)는, 최초 센싱데이터로부터 다른 객체, 다른 객체와의 거리 및 방향과 관련된 정보를 획득하고, 획득한 정보에 기반하여 가상현실 공간에 구조물을 구현할 수 있다. 이때, 가상현실 공간에 생성되는 구조물의 형상은, 대응되는 다른 객체와 동일한 형상으로 구현될 수 있고, 사용자의 선택 또는 기 설정된 값에 따라서 변경될 수 있다.
처리장치(101)는, 객체장치(103)를 가상현실 공간에 생성함에 있어서, 객체장치(103)와 동일한 형상 또는 다른 형상을 가지는 객체로 구현할 수 있다. 예를 들면, 객체장치(103)가 육면체 형상으로 제공되는 경우, 가상현실 공간에 구현되는 객체는 육면체로 제공될 수 있고 또는 사면체, 오면체, 삼각기둥, 사각기둥, 오각기둥, 삼각뿔, 사각뿔, 오각뿔, 플라톤의 입체 등과 같이 다면체 중 어느 하나의 형상으로 제공될 수 있다. 또한, 처리장치(101)는 객체장치(103)에 대응되는 객체를 생성함에 있어서, 다면체에 한정하지 않고, 구, 토러스, 실린더, 콘 등과 같이 비-다면체 또는 사용자의 손에 파지 가능한 다양한 형상으로 생성될 수 있다.
505 동작에서, 처리장치(101)는 객체장치(103)로부터 객체장치(103)의 변화에 대한 센싱데이터(최후 센싱데이터)를 수신하는지 여부를 확인한다. 일 실시 예에 따르면, 처리장치(101)는, 가상현실 공간의 생성 및 최초 객체의 구현 이후 객체장치(103)로부터 센싱데이터를 수신하는 경우 507 동작을 수행할 수 있고, 센싱데이터를 수신하지 못하는 경우 505 동작을 반복 수행할 수 있다.
507 동작에서, 처리장치(101)는 수신한 최후 센싱데이터로부터 객체장치(103)의 변화 또는 변화된 위상과 관련된 정보를 검출할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 최후 센싱데이터로부터 수신한 가상현실 공간 및 객체장치(103)의 이동, 움직임, 변형(예: 외력의 작용)과 관련된 데이터를 검출할 수 있다.
다양한 실시 예에 따르면, 처리장치(101)는, 이전 수신한 센싱데이터(예: 최초 센싱데이터)로부터 검출된 객체와 관련된 정보와 최후 센싱데이터로부터 검출된 객체와 관련된 정보를 비교하여 객체장치(103)의 변화를 확인할 수 있다. 또한, 처리장치(101)는, 이전 수신한 센싱데이터와 최후 센싱데이터를 비교하여 가상현실 공간의 변화를 검출할 수도 있다.
509 동작에서, 처리장치(101)는 확인된 가상현실 공간의 변화 또는 객체장치(103)의 변화 정보를 적용하여 가상현실 공간 또는 객체의 변화를 구현 및 디스플레이(150)를 통해서 출력할 수 있다.
예를 들면, 처리장치(101)는, 이전 수신된 센싱데이터(예: 최초 센싱데이터)에 기반하여 생성된 가상현실 공간 및 객체에 대하여 최후 센싱데이터로부터 검출된 가상현실 공간 및 객체와 관련된 정보를 적용하여 가상현실 공간의 변화 또는 객체의 변화를 구현할 수 있다.
여기서, 최후 센싱데이터에 포함되는 가상현실 공간 또는 객체장치(103)의 변화는 연속된 동작에 대하여 측정된 정보일 수 있다. 처리장치(101)는, 수신한 최후 센싱데이터에 기반하여 가상현실 공간 또는 객체의 변화에 대한 움직임을 구현 및 출력할 수 있다.
상술한 바와 같이, 처리장치(101)는 객체장치(103)로부터 수신하는 최초 센싱데이터에 기반하여 가상현실 공간 및 객체를 생성 및 출력하고, 이후 수신하는 최후 센싱데이터에 기반하여 가상현실 공간 및 객체의 변화를 구현 및 출력할 수 있다. 처리장치(101)는 509 동작을 수행하면, 도 5의 실시 예를 종료할 수 있고, 또는 505 동작을 수행하여 추가적인 센싱데이터를 수신할 수 있다. 이때, 추가적으로 수신하는 센싱데이터와 최초 센싱데이터 사이에는 객체장치(103)로부터 수신한 적어도 1회의 센싱데이터가 포함될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간에 구현된 객체의 변화를 요청하고 변화를 처리하는 동작의 흐름도이다. 601 동작은, 도 5의 503 동작을 수행한 후 처리되는 동작으로 설명될 수 있다.
601 동작에서, 처리장치(101)는 디스플레이(150)를 통해서 사용자로 하여금 객체장치(103)의 조작을 요청할 수 있다. 예를 들면, 처리장치(101)는, 입력부(303)를 통한 사용자의 입력 또는 메모리(307)에 기 저장된 설정에 따라서 요청데이터를 생성할 수 있다. 처리장치(101)는 생성된 요청데이터에 기반하여 가상현실 공간에 기 구현된 객체의 변화된 위상 또는 햅틱과 관련된 이미지를 디스플레이(150)를 통해서 출력할 수 있다.
여기서, 디스플레이(150)를 통하여 객체의 변화를 출력하는 동작은, 처리장치(101)를 통해서 구현된 가상현실 공간 일부에 객체의 변화된 이미지를 출력하는 동작일 수 있다.
상술한 바에 따르면, 객체의 변화된 이미지를 가상현실 공간에 출력함으로써, 사용자로 하여금 객체를 파지하고, 가상현실 공간에 출력된 객체의 변화된 이미지와 동일 또는 유사하게 객체장치(103)를 움직이도록 유도할 수 있다.
603 동작에서, 처리장치(101)는, 객체장치(103)의 위상 변화, 움직임에 대한 센싱데이터를 수신하는지 여부를 확인할 수 있다. 처리장치(101)는, 객체장치(103)로부터 센싱데이터를 수신하는 경우 605 동작을 수행하고, 수신하지 못하는 경우 603 동작을 반복 수행할 수 있다.
605 동작에서, 처리장치(101)는 객체장치(103)로부터 수신한 센싱데이터에 기반하여 객체의 변화된 위상, 움직임 또는 햅틱을 구현할 수 있다. 예를 들면, 처리장치(101)는, 센싱데이터로부터 객체의 위상, 움직임과 관련된 정보를 검출하고, 검출된 정보를 이전 센싱데이터로 구현된 객체에 적용할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 센싱데이터에 기반하여 객체의 이동, 회전, 높이 변화, 표면에 가해지는 외력 중 적어도 일부를 구현할 수 있다.
607 동작에서 처리장치(101)는 센싱데이터에 기반하여 구현된 객체의 변화가 가상현실 공간을 통하여 기 요청된 객체의 움직임(또는 위치)과 동일 또는 유사한지 여부를 결정한다. 예를 들면, 처리장치(101)는, 기 요청된 객체의 이동, 회전, 높이 변화, 표면에 가해진 외력 등의 변화 정보와 센싱데이터에 기반하여 구현된 객체의 이동, 회전, 높이 변화, 표면에 가해진 외력 등의 변화 정보를 비교하여 동일 또는 유사한지 여부를 결정할 수 있다.
처리장치(101)는, 객체의 변화가 요청데이터에 기반하는 객체의 이미지와 동일 또는 유사한 것으로 결정하는 경우 609 동작을 통해서 결과를 출력하고, 동일 또는 유사하지 않은 것으로 결정하는 경우, 603 동작을 수행할 수 있다. 처리장치(101)는 추가적으로 수신되는 센싱데이터에 기반하여 비교된 객체의 변화가 지정된 횟수 이상 동일 또는 유사하지 않은 것으로 결정하는 경우, 도 6의 실시 예를 종료할 수 있다. 이때, 처리장치(101)는 미션 실패에 대한 알림을 디스플레이(150)를통하여 출력할 수 있다.
609 동작에서, 처리장치(101)는 결과에 대한 알림을 출력할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 요청된 객체의 이미지와 동일 또는 유사한 것으로 결정하는 경우, 미션 성공에 대한 알림을 디스플레이(150)를 통해서 출력할 수 있다.
상술한 바에 따르면 도 6에서 설명되는 객체의 변화는, 객체의 기울기, 방향, 높이, 표면에 가해진 외력 중 적어도 일부를 포함하여 구현되는 변화 결과(예: 위상)를 의미할 수 있다. 하지만, 이에 한정하지 않고, 객체의 변화는 이동, 회전, 높이 변화와 같이 변화 과정을 포함하도록 구성될 수 있음은 자명하다.
도 7은 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103)로부터 수신하는 센싱데이터에 기반하여 생성되는 가상현실 공간 및 객체를 도시하는 도면이다.
상술한 바와 같이, 처리장치(101)는, 객체장치(103)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간을 생성하고, 구현된 가상현실 공간에 객체장치(103)에 대응되는 객체를 구현할 수 있다.
도 7을 참조하면, 객체장치(103)는, 객체장치(103)에 포함된 센서를 통하여 주변 환경과 관련된 정보를 획득할 수 있다. 이때, 객체장치(103)는, 객체장치(103) 주변의 지형뿐만 아니라 지물(예: 다른 객체(701))를 확인할 수 있고, 다른 객체(701)에 대한 정보를 측정할 수 있다. 예를 들면, 객체장치(103)는, 다른 객체(701)와의 거리 및 방향과 관련된 정보를 측정할 수 있다. 객체장치(103)는, 측정된 정보를 이용하여 센싱데이터를 생성하고 생성된 센싱데이터를 처리장치(101)에 전송할 수 있다.
처리장치(101)는 수신한 센싱데이터(최초 센싱데이터)에 기반하여 가상현실 공간(151)을 생성하고, 생성된 가상현실 공간에 객체장치(103)에 대응하는 객체(713)를 구현할 수 있다. 처리장치(101)는, 수신한 센싱데이터로부터 다른 객체(701)와 관련된 정보, 예를 들면 객체장치(103)와 다른 객체(701)와의 거리 정보 및/또는 방향 정보를 확인할 수 있다. 처리장치(101)는 다른 객체(701)와 관련된 정보, 생성된 가상현실 공간(151)에 기반하여 다른 객체(711) 및 객체(713)를 가상현실 공간(151)에 구현할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103, 803)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다. 도 8을 참조하면, 처리장치(101)는, 수신하는 센싱데이터에 기반하여 객체장치(103, 803)에 가해지는 변화를 구현할 수 있다.
일 실시 예에 따르면, 처리장치(101)는 최초 센싱데이터 이후 수신하는 센싱데이터에 기반하여 객체장치(103, 803)에 가해지는 변화를 검출할 수 있다. 예를 들면, 처리장치(101)는, 센싱데이터로부터 객체장치(103, 803)의 이동, 회전, 높이 변화, 객체장치(103)의 표면에 가해지는 외력 등 객체장치(103, 803)의 변화 정보를 검출할 수 있다.
처리장치(101)는 이전 수신한 센싱데이터에 기반하여 구현된 객체에 객체장치(803)의 변화 정보를 적용하여 객체(813)를 구현할 수 있다. 처리장치(101)는 객체장치(803)가 사용자로부터 파지된 상태에서 표면에 가해지는 외력을 객체(813)에 시각적으로 구현(821)할 수 있다.
예를 들면, 처리장치(101)는 수신한 센싱데이터로부터 사용자의 파지 동작에 따라서 객체장치(803)의 표면에 가해지는 압력, 압력의 위치, 압력의 크기 중 적어도 일부 정보를 검출할 수 있고, 검출된 정보에 따라서 가상현실 공간(151)에 생성된 객체(813)에 표현에 그 효과를 시각적으로 구현할 수 있다.
또한, 처리장치(101)는, 객체장치(103, 803)의 위치가 변경된 경우, 센싱데이터로부터 검출된 다른 객체(801)와 관련된 정보에 기반하여 가상현실 공간(151)에 구현된 다른 객체(811)와의 배치를 재설정할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103, 803)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.
도 9를 참조하면, 처리장치(101)는, 요청데이터에 기반하여 생성된 객체의 이미지(910)를 가상현실 공간(151)에 출력할 수 있다.
처리장치(101)는 디스플레이(150)를 통해서 객체의 특정 위상을 표시하고 사용자로 하여금 객체장치(103)를 표시된 객체로 조작하도록 요청할 수 있다. 예를 들면, 처리장치(101)는, 사용자의 입력 또는 메모리(307)에 기 저장된 설정에 따라서 객체의 특정 위상과 관련된 요청데이터를 생성할 수 있다. 처리장치(101)는, 요청데이터에 기반하는 객체의 위상을 구현하여 요청데이터의 이미지(910)를 디스플레이(150)를 통하여 출력할 수 있다.
처리장치(101)는 객체장치(103)로부터 객체장치(103)의 변화에 대한 센싱데이터를 수신하고, 수신된 센싱데이터에 기반하여 가상현실 공간(151)에 구현된 객체의 움직임을 구현할 수 있다. 처리장치(101)는, 센싱데이터에 기반하여 구현된 객체(913)의 위상을 요청데이터의 이미지(910)에 구현된 객체의 위상과 비교할 수 있다.
처리장치(101)는 비교 결과 객체(913)의 위상이 요청데이터의 이미지(910)에 구현된 객체의 위상과 동일 또는 유사한 것으로 결정하는 경우 미션 성공에 대한 알림을 출력할 수 있다. 예를 들면, 처리장치(101)는, 지정된 그래픽 효과를 객체(913)에 적용하여 알림을 출력할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 시스템에서 객체장치의 구체적인 구성을 도시하는 도면이다.
다양한 실시 예에 따르면, 객체장치(103)는, 상술한 바와 같이 도형 형상의 블록으로 제공되는 것에 한정하지 않고, 다양한 형상의 제품이 적용될 수 있다. 도 10을 참조하면, 객체장치(103)는 처리장치(101)의 가상현실 공간 또는 처리장치(101)의 기능을 제어하는 컨트롤러(1001)로 제공될 수 있다. 일 실시 예에 따르면, 컨트롤러(1001)는 리모컨, 조이스틱, 햅틱그립과 같이 적어도 하나의 버튼을 포함할 수 있다.
처리장치(1001)는 가상현실 공간에 컨트롤러(1001)에 대응되는 객체를 구현함에 있어서, 컨트롤러(1001)의 형상을 구현할 수 있지만, 이에 한정하지 않고 다양한 다른 객체의 형상, 예를 들면, 다면체, 비-다면체 등의 블록 형상으로 구현할 수 있다.
컨트롤러(1001)는, 통신부를 포함하며 무선 통신을 통해서 처리장치(101)와 데이터를 송수신할 수 있다. 또한, 컨트롤러(1001)는, 객체장치(103)의 구성 요소들 중 적어도 하나와 동일 또는 유사한 구성요소를 포함하여 제공될 수 있다.
상술한 바와 같이, 시스템은 처리장치(101)를 통하여 시각적 가상현실 공간에 객체장치(103)에 대응되는 객체를 생성하고, 사용자로 하여금 객체장치(103)를 파지하고 조작하는 동작에 따른 객체장치(103)의 움직임, 위상을 가상현실 공간에 구현할 수 있다. 이를 통하여 시스템은 사용자에게 스스로의 동작을 인지시킴으로써 인지능력 또는 행동능력의 훈련 방법 및 그 장치를 제공할 수 있다.
다양한 실시 예에 따르면, 처리장치(101)는 사용자가 객체장치(103)를 파지하여 조작하는 것에 대한 위상, 움직임 정보에 대하여 객체장치(103)가 측정한 센싱데이터를 수신하고, 가상현실 공간에 객체로 구현함에 있어서, 시각 효과, 또는 청각 효과를 추가하여 객체를 구현하거나, 또는 객체를 변형하여 구현할 수 있다.
상술한 바와 같이, 시스템은 처리장치(101)를 통하여 가상현실 공간을 생성하고, 객체장치(103)에 작용하는 현상을 감각적 효과가 추가된 객체로 구현함으로써 현실에서의 인지능력 훈련 대비 그 효과를 행상시킬 수 있고, 더하여, 시각적 효과뿐만 아니라, 청각적 효과 또한 제공할 수 있어 사용자에게 복합적인 인지능력의 향상을 기대할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101 : 처리장치 103 : 객체장치
150 : 디스플레이 151 : 가상현실 공간
301 : 통신부 303 : 입력부
305 : 출력부 307 : 메모리
109 : 제어부 401 : 통신부
403 : 센서부 405 : 메모리
407 : 제어부 1001 : 컨트롤러

Claims (10)

  1. 무선 통신으로 연결된 객체장치로부터 최초 센싱데이터를 수신하는 단계;
    상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계;
    상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하는 단계; 및
    검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계;를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.
  2. 제1항에 있어서,
    상기 최초 센싱데이터는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.
  3. 제1항에 있어서,
    상기 변화는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.
  4. 제1항에 있어서,
    검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.
  5. 제1항에 있어서,
    상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계는,
    상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.
  6. 적어도 하나의 객체장치와 무선 통신으로 데이터를 송수신하는 통신부;
    가상현실 공간을 출력하는 디스플레이; 및
    상기 객체장치로부터 최초 센싱데이터를 수신하고, 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하여 상기 디스플레이를 통하여 출력하고, 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하고, 검출된 변화에 기반하여 상기 객체의 변화를 구현하여 상기 디스플레이에 출력하는 제어부;를 포함하는, 가상현실에 기반하는 객체 처리장치.
  7. 제6항에 있어서,
    상기 제어부는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 상기 최초 센싱데이터로부터 검출하는, 가상현실에 기반하는 객체 처리장치.
  8. 제6항에 있어서,
    상기 제어부는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 상기 변화에 포함하여 처리하는, 가상현실에 기반하는 객체 처리장치.
  9. 제6항에 있어서,
    상기 제어부는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하여 상기 객체의 변화를 구현하는, 가상현실에 기반하는 객체 처리장치.
  10. 제6항에 있어서,
    상기 제어부는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현하는, 가상현실에 기반하는 객체 처리장치.
KR1020170072640A 2017-06-09 2017-06-09 가상현실에 기반하는 객체 처리장치 및 그 동작 방법 KR102009753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170072640A KR102009753B1 (ko) 2017-06-09 2017-06-09 가상현실에 기반하는 객체 처리장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072640A KR102009753B1 (ko) 2017-06-09 2017-06-09 가상현실에 기반하는 객체 처리장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20180134635A true KR20180134635A (ko) 2018-12-19
KR102009753B1 KR102009753B1 (ko) 2019-08-12

Family

ID=65008907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072640A KR102009753B1 (ko) 2017-06-09 2017-06-09 가상현실에 기반하는 객체 처리장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102009753B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법
KR20200127735A (ko) * 2019-05-03 2020-11-11 한국기술교육대학교 산학협력단 가상 환경 기반의 촉각 생성 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
KR20130101395A (ko) * 2012-03-05 2013-09-13 한국과학기술연구원 실감 인터랙션을 이용한 인지재활 시스템 및 방법
KR20170020497A (ko) * 2014-06-30 2017-02-22 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 물리 엔진을 이용한 물리적 장난감 제어

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
KR20130101395A (ko) * 2012-03-05 2013-09-13 한국과학기술연구원 실감 인터랙션을 이용한 인지재활 시스템 및 방법
KR20170020497A (ko) * 2014-06-30 2017-02-22 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 물리 엔진을 이용한 물리적 장난감 제어

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200127735A (ko) * 2019-05-03 2020-11-11 한국기술교육대학교 산학협력단 가상 환경 기반의 촉각 생성 장치
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법

Also Published As

Publication number Publication date
KR102009753B1 (ko) 2019-08-12

Similar Documents

Publication Publication Date Title
WO2018047384A1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム
JP2018072992A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP6931068B2 (ja) 向上した拡張現実の体験のための、対になっているローカルユーザインターフェースとグローバルユーザインターフェース
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
KR102009753B1 (ko) 가상현실에 기반하는 객체 처리장치 및 그 동작 방법
JP6113897B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018194889A (ja) 情報処理方法、コンピュータ及びプログラム
JP2018032217A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018110871A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2019033906A (ja) 情報処理方法、プログラム及びコンピュータ
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
JP6449922B2 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6469752B2 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290493B2 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2019207714A (ja) 情報処理方法、コンピュータ及びプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant