KR20190059727A - 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템 - Google Patents

가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템 Download PDF

Info

Publication number
KR20190059727A
KR20190059727A KR1020170157621A KR20170157621A KR20190059727A KR 20190059727 A KR20190059727 A KR 20190059727A KR 1020170157621 A KR1020170157621 A KR 1020170157621A KR 20170157621 A KR20170157621 A KR 20170157621A KR 20190059727 A KR20190059727 A KR 20190059727A
Authority
KR
South Korea
Prior art keywords
virtual reality
motion
information
user
module
Prior art date
Application number
KR1020170157621A
Other languages
English (en)
Inventor
박진홍
곽승호
이원
지은별
Original Assignee
한길씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한길씨앤씨 주식회사 filed Critical 한길씨앤씨 주식회사
Priority to KR1020170157621A priority Critical patent/KR20190059727A/ko
Publication of KR20190059727A publication Critical patent/KR20190059727A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 관한 것으로서, 가상현실 환경에 실시간 사용자 모션이 반영되도록 제어하는 가상현실 제어 알고리즘을 포함하는 영상 제어 단말을 통해 구현되는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 있어서, 가상현실 재현장치, 모션 컨트롤러 및 외부 기기와의 통신을 수행하는 통신 모듈; 상기 가상현실 재현장치를 통해 가상현실 환경에 대한 적어도 하나 이상의 시나리오 영상을 제공하고, 사용자에 의해 선택된 시나리오 영상에 따라 적어도 하나 이상의 하위 객체들이 복합 구성된 상위 객체의 정보를 포함한 객체 리스트 정보를 제공하는 정보 제공 모듈; 상기 객체 리스트 정보를 통해 사용자가 선택한 상위 객체와 주변 환경 정보를 포함하는 가상현실 영상을 제공하는 영상 처리 모듈; 상기 모션 컨트롤러에 의한 사용자 모션을 인식하고, 상기 사용자 모션에 따른 객체의 움직임을 추적하여 상기 하위 객체의 개별 움직임을 조합한 상기 상위 객체의 동작을 가상현실 환경상에서 구현하는 상호작용 관리모듈; 및 상기 가상현실 제어 알고리즘을 실행하여 가상현실 환경에서 사용자 모션에 따라 상위 객체와 하위 객체 간의 복합적인 상호 작용이 가능하도록 각 모듈의 동작을 제어하는 제어 모듈을 포함한다. 따라서, 본 발명은 다양한 스크립트가 하나의 하위 객체를 구성하고, 이 하위객체들이 복합 구성된 상위 객체를 가상현실 환경에서 하나의 도구 및 장비로 구현한 후에 사용자 모션과 객체의 움직임을 추적하여 하위 객체의 개별 움직임이 조합된 상위 객체의 동작을 3차원 가상현실 환경상에 구현함으로써 가상 핸드와 객체 간의 자연스러운 움직임을 표현할 수 있고, 사용자 모션 보정과 객체들 간의 복합적인 상호 작용을 표현함으로써 현실감과 몰입감을 극대화한 체험이 가능하다.

Description

가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템{INTERACTIVE SYSTEM FOR CONTROLLING COMPLEXED OBJECT OF VIRTUAL REALITY ENVIRONMENT}
본 발명은 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 관한 것으로, 보다 상세하게는 가상현실 환경에서 객체를 구성하고 있는 구성요소들에 대한 개별 움직임 제어를 통해 복합적인 상호 작용이 가능한 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 관한 것이다.
최근 그래픽 효과가 뛰어난 다양한 게임이 출시되어 게이머들의 많은 관심을 받고 있다. 이러한 게임들은 현실과 유사한 그래픽 및 사운드 효과를 포함하는 우수한 컨텐츠로 높은 현실감을 느낄 수 있다는 평가를 받고 있다. 하지만, 키보드와 마우스만으로 게임을 컨트롤하는 현실적인 한계로 인해 게임 참여시 몰입감이 낮다는 단점이 있다. 이러한 게임의 몰입감을 개선하기 위하여 사용자가 실제 동작을 취하는 것으로 캐릭터를 조작하는 가상현실 게임이 출시되고 있다.
가상현실은 실제와 유사하지만 실제가 아닌 사이버 공간 환경을 의미한다. 현재 가상현실 기술은 HMD(HEAD MOUNT DISPLAY) 등 기존의 인터페이스 장치들을 활용하여 몰입형 가상현실을 제한적으로 구현하는 방향으로 개발되고 있다. 즉, 기존의 디스플레이(모니터, TV, HMD 등), 스피커, 키보드, 마우스 등의 일반적인 인터페이스 장치들을 활용하는 방향성을 추구하고 있다. 가상현실 구현에 필요한 요소는 3차원 공간성, 실시간 상호작용 및 몰입성이다. 각 요소의 구현을 위하여 컴퓨터 그래픽 기술, 네트워크 통신 기술, 그리고 HMD 등 오감을 자극하는 다수의 입출력 장치 개발 기술이 발전되고 있다.
특히, 가상현실을 위한 입력기기는 기존에 사용되던 물리 인터페이스인 키보드, 마우스와 달리, 사용자의 신체활동을 직접 인식할 수 있는 기기들이 사용된다. 모션 캡쳐는 3D 모션 기법의 하나인 모션 캡쳐 기술을 그대로 적용한 입력기기이다. 모션 캡쳐 입력 기기 중 모션 캡쳐 카메라는 본래 다양한 형태의 마커를 전신에 부착해야 정상적인 모션 인식이 가능했으나, 기술의 발전으로 인해 마커 없이 모션 인식이 가능한 기기들이 개발되기 시작되었다. 현재 모션 캡쳐 카메라는 키넥트, 옵티 트랙 등 다양한 모션 캡쳐 기기 상용화 되어 있다.
하지만, 가상현실 환경에서의 게임은 대부분 아직까지 단순한 제스처 및 동작만을 이용하는 수준이며, 사용자의 신체를 머리, 손, 다리 등으로 실시간 감지하거나, 객체를 이용한 던지기, 총쏘기, 도구 사용 등의 동작을 수행할 경우에 해당 객체에 대한 단순한 기본 동작만을 표현한다. 따라서, 복합된 구성요소들로 이루어진 객체의 경우에, 객체를 구성하고 있는 구성요소들 각각에 대한 제어가 이루어지지 않고 애니메이션으로 일괄 처리되고, 그로 인해 가상현실 환경에서 객체의 움직임이 자연스럽지 못하고 어색하게 표현될 수 있는 문제점이 있다.
또한, HMD 및 HMD와 연동되는 컨트롤러를 사용하여 가상현실 환경을 구현할 경우에, HMD를 통해 디스플레이되고 있는 가상현실의 영상에 사용자 모션이나 시선 처리에 대한 영상을 실시간 반영하여 출력하도록 영상 정보 처리 및 아이 디스플레이 작동을 위한 별도의 처리 과정이 필요하고, HMD와 컨트롤러 간의 호환성 등의 문제로 인해 HMD마다 지정된 컨트롤러만을 사용해야 하므로 가상현실을 다양하게 즐기고 싶은 사용자는 가상현실을 구현하기 위한 시나리오, 장비 등의 선택 폭이 좁아지는 문제점이 있다.
한국등록특허 제10-1779569호 " 가상현실 기기 연동 입력장치 " 한국공개특허 제10-2017-0120299호 " 립모션을 이용한 실감형 콘텐츠 서비스 시스템 "
본 발명은 다양한 스크립트가 하나의 하위 객체를 구성하고, 이 하위객체들이 복합 구성된 상위 객체를 가상현실 환경에서 하나의 도구 및 장비로 구현한 후에 사용자 모션과 객체의 움직임을 추적하여 하위 객체의 개별 움직임이 조합된 상위 객체의 동작을 가상현실 환경상에 구현함으로써 가상 핸드와 객체 간의 자연스러운 움직임을 표현할 수 있는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템을 제공한다.
실시예들 중에서, 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템은, 가상현실 환경에 실시간 사용자 모션이 반영되도록 제어하는 가상현실 제어 알고리즘을 포함하는 영상 제어 단말을 통해 구현되는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 있어서, 가상현실 재현장치, 모션 컨트롤러 및 외부 기기와의 통신을 수행하는 통신 모듈; 상기 가상현실 재현장치를 통해 가상현실 환경에 대한 적어도 하나 이상의 시나리오 영상을 제공하고, 사용자에 의해 선택된 시나리오 영상에 따라 적어도 하나 이상의 하위 객체들이 복합 구성된 상위 객체의 정보를 포함한 객체 리스트 정보를 제공하는 정보 제공 모듈; 상기 객체 리스트 정보를 통해 사용자가 선택한 상위 객체와 주변 환경 정보를 포함하는 가상현실 영상을 제공하는 영상 처리 모듈; 상기 모션 컨트롤러에 의한 사용자 모션을 인식하고, 상기 사용자 모션에 따른 객체의 움직임을 추적하여 상기 하위 객체의 개별 움직임을 조합한 상기 상위 객체의 동작을 가상현실 환경상에서 구현하는 상호작용 관리모듈; 및 상기 가상현실 제어 알고리즘을 실행하여 가상현실 환경에서 사용자 모션에 따라 상위 객체와 하위 객체 간의 복합적인 상호 작용이 가능하도록 각 모듈의 동작을 제어하는 제어 모듈을 포함하는 것을 특징으로 한다.
상기 정보 제공 모듈은, 상기 상위 객체의 종류, 크기, 무게, 기설정된 위치값을 포함한 객체 속성 정보, 상기 상위 객체를 구성하는 하위 객체와 관련된 객체 구성 정보, 상기 상위 객체와 하위 객체의 기본 동작 정보를 포함하는 메타데이터를 관리하는 메타데이터 관리부; 상기 상위 객체 또는 하위 객체에 대한 정보 변경, 신규 객체의 생성에 필요한 메타데이터 편집 기능을 제공하는 메타데이터 편집부; 및 상기 메타데이터 관리부와 메타데이터 편집부를 통해 객체 리스트 정보를 생성 및 업데이트하여 상기 HMD로 전송하는 정보 제공부를 포함하는 것을 특징으로 한다.
상기 정보 제공부는, 객체의 용도 또는 사용법에 따라 협력 관계에 있는 복수의 상위 객체들을 협력 객체 그룹으로 분류하고, 사용자가 상기 협력 객체 그룹 내에서 복수의 상위 객체를 선택하도록 적어도 하나 이상의 협력 객체 그룹에 대한 그룹 정보를 상기 객체 리스트 정보에 포함하는 것을 특징으로 한다.
상기 상호작용 관리 모듈은, 상기 상위 객체별로 가상현실 환경에 맞는 사용자 인터페이스, 이미지 처리, 상기 상위 객체와 하위 객체의 움직임 제어를 위한 툴 관리 기능을 독립적으로 수행하는 것을 특징으로 한다.
상기 상호작용 관리 모듈은, 상기 상위 객체를 기설정된 기준정보에 따라 하위 객체로 분류하고, 상기 하위 객체별로 기본 동작 정보를 설정하는 하위 기능 관리부; 상기 사용자 모션에서 객체의 이동 궤적과 이동 방향을 포함한 이동 정보와 객체에 가해지는 힘 또는 압력을 포함한 세기 정보를 추출하는 움직임 추적부; 상기 모션 컨트롤러와 가상 핸드를 동기화하고, 상기 사용자 모션에 따라 상기 가상 핸드의 한 손 또는 양손 사용을 처리하는 사용자 모션 처리부; 및 상기 하위 기능 관리부, 움직임 추적부 및 사용자 모션 처리부를 통합 관리하여 가상현실 환경에 맞는 사용자 인터페이스 표시, 이미지 처리 및 렌더링을 수행하여 가상핸드와 객체 간의 상호 작용을 반영한 가상현실 영상을 출력하도록 제어하는 객체 관리부를 포함하는 것을 특징으로 한다.
상기 상호작용 관리 모듈은, 상기 상위 객체의 용도 또는 사용법에 따라 상기 가상현실 영상 내 기설정된 고정위치에 상기 상위 객체를 고정시키는 마그네틱효과 설정부를 더 포함하는 것을 특징으로 한다.
본 발명의 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템은, 다양한 스크립트가 하나의 하위 객체를 구성하고, 이 하위객체들이 복합 구성된 상위 객체를 가상현실 환경에서 하나의 도구 및 장비로 구현한 후에 사용자 모션과 객체의 움직임을 추적하여 하위 객체의 개별 움직임이 조합된 상위 객체의 동작을 3차원 가상현실 환경상에 구현함으로써 가상 핸드와 객체 간의 자연스러운 움직임을 표현할 수 있고, 사용자 모션 보정과 객체들 간의 복합적인 상호 작용을 표현함으로써 현실감과 몰입감을 극대화한 체험이 가능한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템의 구성을 설명하는 도면이다.
도 2는 도 1의 영상 제어 단말의 구성을 설명하는 블록도이다.
도 3은 도 2의 정보 제공 모듈의 구성을 설명하는 블록도이다.
도 4는 도 2의 상호작용 관리모듈의 구성을 설명하는 블록도이다.
도 5는 도 4의 하위 기능 관리부의 동작을 설명하는 도면이다.
도 6은 도 4의 움직임 추적부의 동작을 설명하는 도면이다.
도 7은 도 4의 사용자 모션 처리부의 동작을 설명하는 도면이다.
도 8은 도 4의 마그네틱효과 설정부의 동작을 설명하는 도면이다.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템의 구성을 설명하는 도면이다.
도 1을 참고하면, 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템은, 가상현실 재현장치, 모션 컨트롤러(20) 및 영상 제어 단말(100)을 포함한다.
가상현실 재현장치는 사용자 모션이 가상 객체를 통해 가상현실 환경에 반영되어 영상을 출력할 수 있다. 이러한 가상현실 재현장치는 스마트폰, 태블릿 PC, 스마트폰, 데스크톱 PC, 랩톱 PC, 넷북 컴퓨터, PDA, PMP, HMD 및 웨어러블 디바이스 중 어느 하나가 될 수 있지만, 본 발명의 일 실시예에서는 사용자의 손을 이용하여 객체와 상호작용 HMD(10)를 사용하는 것이 바람직하다.
HMD(10)의 디스플레이에 표시되는 가상현실 영상은 HMD(10) 자체에 저장된 것이거나 HMD(10)와 무선 통신하는 영상 제어 단말(100)에 저장된 것일 수 있다. 예를 들어, HMD(10)에 저장된 가상현실 영상인 경우에 HMD(10)는 가상현실 영상을 처리하기 위한 이미지 프로세싱 및 렌더링 처리를 수행하고, 이미지 프로세싱 및 렌더링 처리 결과 생성된 영상 정보를 디스플레이를 통해 출력할 수 있다. 반면에 영상 제어 단말(100)에 저장된 가상현실 영상인 경우에 이동 제어 단말(100)은 이미지 프로세싱 및 렌더링 처리를 수행한 결과로 생성된 화상 정보를 HMD(10)에 전송해줄 수 있다.
HMD(10)와 센서(30)를 통해 움직임을 디지털로 옮기는 모션캡처(Motion Capture)를 통해 가상현실 환경에서의 사용자 모션이 실시간 가상 객체에 반영될 수 있다.
모션 컨트롤러(20)는 사용자 모션을 인식하고, HMD(10)에 표시되는 가상현실 영상에서 가상 핸드 또는 아바타와 사용자의 모션이 연동되도록 한다. 모션 컨트롤러(20)는 버튼 형태나 터치 형태의 입력수단을 통해 가상 핸드 또는 아바타가 가상 객체와 상호 작용하도록 지시할 수 있다.
영상 제어 단말(100)은 가상현실 환경에 실시간 사용자 모션이 반영되도록 제어하는 가상현실 제어 알고리즘을 수행하여, HMD(10)와 모션 컨트롤러(20)와 통신하면서 가상현실 환경에 맞도록 사용자 모션과 가상 객체간의 상호 작용을 제어한다.
이러한 영상 제어 단말(100)은 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 내비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device) 등 이미지 프로세싱 및 렌더링 처리가 가능한 통신 단말이 될 수 있다.
도 2는 도 1의 영상 제어 단말의 구성을 설명하는 블록도이다.
도 2를 참고하면, 영상 제어 단말(100)은 통신 모듈(110), 정보 제공 모듈(120), 영상 처리 모듈(130), 상호작용 관리모듈(140), 제어 모듈(150) 및 저장 모듈(160)을 포함한다.
통신 모듈(110)은 HMD(10), 모션 컨트롤러(20) 및 외부 기기와의 통신을 수행하는데, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나 이상을 포함할 수 있다.
정보 제공 모듈(120)은 HMD(10)에 가상현실 환경에 대한 적어도 하나 이상의 시나리오 영상을 제공하고, 사용자에 의해 선택된 시나리오 영상에 따라 객체 리스트 정보를 제공한다. 객체 리스트 정보는 사용자가 선택한 객체를 적어도 하나 이상의 하위 객체들이 복합 구성된 상위 객체의 정보를 포함한다.
영상 처리 모듈(130)은 객체 리스트 정보를 통해 사용자가 선택한 상위 객체와 주변 환경 정보를 포함하는 가상현실 영상을 HMD(10)로 전송한다.
이때, 영상 처리 모듈(130)은 이미지 프로세싱 및 렌더링 과정을 통해 HMD(10)로부터 수신된 촬영 영상을 통해 실제 공간의 실제 객체 영상을 추출한 후 촬영된 실제 공간의 특정 위치마다 디스플레이될 가상현실 영상을 결정하며, 모션 컨트롤러(20)를 통해 가상 객체에 대한 사용자 모션이 결정되면 가상 객체와 결정된 사용자 모션을 포함하는 가상현실 영상을 HMD(10)로 제공한다.
상호작용 관리모듈(140)은 모션 컨트롤러(20)에 의한 사용자 모션을 인식하고, 인식된 사용자 모션에 따른 객체의 움직임을 추적하여 하위 객체의 개별 움직임을 조합한 상위 객체의 동작을 가상현실 환경 상에서 구현하도록 한다.
제어 모듈(150)은 가상현실 제어 알고리즘을 실행하여 가상현실 환경에서 사용자 모션에 따라 상위 객체와 하위 객체 간의 복합적인 상호 작용이 가능하도록 각 모듈의 동작을 제어한다. 제어 모듈(150)은 가상현실 제어 알고리즘의 실행 동작 외에도 영상 제어 단말(100)의 전반적인 동작을 제어한다. 즉, 제어 모듈(150)은 각 모듈을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장 모듈(160)에 저장된 응용 프로그램을 구동함으로써 사용자에게 적절한 정보 또는 기능을 제공 및 처리할 수 있다.
저장 모듈(160)은 제어 모듈(150)의 제어에 의해 객체 리스트 정보, 각종 영상 정보 등 가상현실 제어에 필요한 정보들을 저장한다. 저장 모듈(160)은 가상현실 제어에 필요한 정보뿐만 아니라 영상 제어 단말(100)에서 구동되는 다수의 응용 프로그램, 단말의 동작을 위한 데이터들 및 명령어들을 저장할 수 있다.
도 3은 도 2의 정보 제공 모듈의 구성을 설명하는 블록도이다.
도 3을 참고하면, 정보 제공 모듈(120)은, 메타데이터 관리부(121), 메타데이터 편집부(122) 및 정보 제공부(123)를 포함한다.
메타데이터 관리부(121)는 상위 객체의 종류, 크기, 무게, 기설정된 위치값을 포함한 객체 속성 정보, 상위 객체를 구성하는 하위 객체와 관련된 객체 구성 정보, 상위 객체와 하위 객체의 기본 동작 정보를 포함하는 메타데이터를 관리한다.
메타데이터 편집부(122)는 상위 객체 또는 하위 객체에 대한 정보 변경, 신규 객체의 생성에 필요한 메타데이터 편집 기능을 제공한다.
정보 제공부(123)는 메타데이터 관리부(121)와 메타데이터 편집부(122)를 통해 객체 리스트 정보를 생성 및 업데이트하여 HMD(10)로 전송한다. 이때, 정보 제공부(123)는 객체의 용도 또는 사용법에 따라 협력 관계에 있는 복수의 상위 객체들을 협력 객체 그룹으로 분류하고, 사용자가 협력 객체 그룹 내에서 복수의 객체를 선택하도록 적어도 하나 이상의 협력 객체 그룹에 대한 그룹 정보를 객체 리스트 정보에 포함하여 HMD(10)로 전송한다.
예를 들어, 정보 제공부(123)는 나사, 볼트, 펜치, 스패너, 렌치, 핸들 등의 공구 기계를 조작하는데 사용되는 객체들을 하나의 협력 객체 그룹으로 분류하고, 돌격소총, 경기관총, 샷건, 저격 소총, 권총 등의 총 무기류들을 하나의 협력 객체 그룹으로 분류할 수 있다.
사용자가 선택한 시나리오 영상이 자동차 수리 또는 조립 등에 관련된 경우에, 정보 제공부(123)는 복수의 계류 나사, 스피드 핸들, 소켓 렌치, 토크 렌치 등의 협력 객체 그룹을 가상현실 영상에 제공하고, 사용자는 모션 컨트롤러를 이용하여 가상 핸드로 스피드 핸들과 소켓 렌치를 이용해서 2개의 계류 나사를 장착할 수 있다.
도 4는 도 2의 상호작용 관리모듈의 구성을 설명하는 블록도이고, 도 5는 도 4의 하위 기능 관리부의 동작을 설명하는 도면이며, 도 6은 도 4의 움직임 추적부의 동작을 설명하는 도면이고, 도 7은 도 4의 사용자 모션 처리부의 동작을 설명하는 도면이며, 도 8은 도 4의 마그네틱효과 설정부의 동작을 설명하는 도면이다.
도 4 내지 도 8을 참고하면, 상호작용 관리모듈(140)은 상위 객체별로 가상현실 환경에 맞는 사용자 인터페이스, 이미지 처리, 상기 상위 객체와 하위 객체의 움직임 제어를 위한 툴 관리 기능을 독립적으로 수행한다. 이를 위해 상호작용 관리모듈(140)은 하위 기능 관리부(141), 움직임 추적부(142), 사용자 모션 처리부(143), 마그네틱효과 설정부(144) 및 객체 관리부(145)를 포함한다.
하위 기능 관리부(141)는 상위 객체를 기설정된 기준정보에 따라 하위 객체로 분류하고, 하위 객체별로 기본 동작 정보를 설정한다.
도 5에 도시된 바와 같이, 하위 기능 관리부(141)는 상위 객체가 권총인 경우에 권총을 탄창, 가늠자/조준자, 총신/총열, 가늠쇠, 방아쇠, 개머리 등의 하위 객체로 분류하고, 권총을 기능별로 탄창 장착하기, 장전하기, 발사하기의 3가지 동작영역으로 분류한다.
또한, 하위 기능 관리부(141)는 탄창 장착하기, 장전하기, 발사하기의 각 동작에 필요한 하위 객체, 하위 객체들 간의 조합 동작, 하위 객체들이 조합된 상위 객체의 기능 구현 동작에 대한 기본 동작 정보를 설정한다.
이와 같이, 하위 기능 관리부(141)는 다양한 스크립트가 하나의 하위 객체를 구성하고, 복수의 하위 객체가 복합 구성되어 하나의 상위 객체(도구 또는 장비)로 구현될 수 있도록 한다.
움직임 추적부(142)는 사용자 모션에서 객체의 이동 궤적 및 이동 방향을 포함한 이동정보, 객체에 가해지는 힘 또는 압력을 포함한 세기 정보를 추출한다. 도 6의 (a)에 도시된 실제 도구 사용 예시에서와 같이, 사용자가 실제로 스피드 핸들이나 스패너 등의 도구를 사용할 경우에 회전, 상하 움직임, 직선, 곡선, 복합선, 변형선 등의 이동궤적으로 이동하게 되고, 작업 시작 시점에서 도구에 가해지는 힘, 작업 도중에 도구에 가해지는 힘과 작업 완료 시점에서 도구에 가해지는 힘이 매우 다르다. 따라서, 도 6의 (b)에 도시된 바와 같이, 움직임 추적부(142)는 도구의 움직임 추적, 이동 방향, 도구에 가해지는 힘과 압력 등을 추출하여 가상현실 환경상에 가상 핸드를 통해 도구의 이동 저보와 세기 정보를 반영한다.
이러한 움직임 추적부(142)는 이동 정보와 세기 정보를 반영하여 가상 핸드와 객체 간에 상호 작용하도록 함으로써 가상현실 환경에서 객체가 좀 더 자연스럽고, 현실감있게 움직일 수 있도록 한다.
사용자 모션 처리부(143)는 모션 컨트롤러(20)와 가상 핸드를 동기화하고, 사용자 모션에 따라 가상 핸드의 한 손 또는 양손 사용을 처리한다. 도 7의 (a)에 도시된 바와 같이, 토크 렌치와 소켓렌치를 이용하여 2개의 계류 나사를 장착할 경우, 회전식 스피드 핸들을 사용하여 스크류를 조이거나 풀 경우에 실제 도구 사용시 사용자는 양손을 사용하게 된다. 양손 도구 사용시 사용자 모션 처리부(143)는 도 7의 (b)에 도시된 바와 같이 사용자의 양손 사용을 감지하여 오른손과 왼손이 동시에 사용하도록 하도록 가상현실 영상을 구현한다. 이때, 사용자 모션 처리부(143)는 왼손과 오른손 구분없이 처리되도록 하고, 실제로 사용자의 양손 사용 위치나 행동이 잘못된 경우에 가상 핸드의 움직임을 보정하여 사용자가 도구 사용에 대한 일체감 또는 몰입감을 가질 수 있도록 한다.
마그네틱효과 설정부(144)는 상위 객체의 용도 또는 사용법에 따라 주변환경 영상 내 기설정된 고정위치에 상위 객체가 고정되도록 상위 객체가 고정 위치의 주변 영역에 접근하는 것이 감지되면 상위 객체를 고정 위치로 이동시켜 고정킨다.
즉, 도 8의 (a)에 도시된 실제 토크 렌치 사용 예시에서와 같이, 사용자가 자동차 바퀴의 휠에 토크 렌치를 사용하여 볼트를 조일 경우에 자동차 바퀴의 휠에 볼트가 고정되어 있다. 도 8의 (b)에 도시된 토크 렌치의 동작을 가상현실 영상에서 구현하면, 가상현실 환경에서는 토크 렌치를 사용하기 위해 고정 영역이 존재하지 않기 때문에 마그네틱효과 설정부(144)는 가상현실 영상에서 고정 위치를 설정하고, 객체가 해당 고정 위치에 접근하면 객체를 고정위치에 자석처럼 이동시켜 고정시킨다. 따라서, 사용자는 실제처럼 고정위치에서 토크 렌치의 조이기/풀기 동작을 수행할 수 있고, 움직임 추적부(142)와 연동하여 토크 렌치에 가해지는 힘을 표시할 수 있다.
객체 관리부(145)는 하위 기능 관리부(141), 움직임 추적부(142), 사용자 모션 처리부(143) 및 마그네틱효과 설정부(144)를 통합 관리하여 가상현실 환경에 맞는 사용자 인터페이스 표시, 이미지 처리 등의 가상핸드와 객체 간의 상호 작용을 반영한 가상현실 영상을 출력하도록 제어하고, 가상 핸드의 핑거 모션 처리시 메타데이터를 제공한다. 예를 들어, 객체 관리부(145)는 하위 기능 관리부(141), 움직임 추적부(142), 사용자 모션 처리부(143) 및 마그네틱 효과 설정부(144)의 연동을 통해 가상 도구 영상 출력, 가상 핸드의 도구 선택, 선택한 도구를 이용한 가상 핸드의 동작, 경우에 따라 도구의 움직임 고정을 위한 마그네틱 효과 설정 등의 동작을 3차원 가상현실 환경에 맞도록 표현한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : HMD 20 : 모션 컨트롤러
100 : 영상 제어 단말 110 : 통신 모듈
120 : 정보 제공 모듈 130 : 영상처리모듈
140 : 상호작용 관리모듈 150 : 제어 모듈
160 : 저장 모듈

Claims (6)

  1. 가상현실 환경에 실시간 사용자 모션이 반영되도록 제어하는 가상현실 제어 알고리즘을 포함하는 영상 제어 단말을 통해 구현되는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템에 있어서,
    가상현실 재현장치, 모션 컨트롤러 및 외부 기기와의 통신을 수행하는 통신 모듈;
    상기 가상현실 재현장치를 통해 가상현실 환경에 대한 적어도 하나 이상의 시나리오 영상을 제공하고, 사용자에 의해 선택된 시나리오 영상에 따라 적어도 하나 이상의 하위 객체들이 복합 구성된 상위 객체의 정보를 포함한 객체 리스트 정보를 제공하는 정보 제공 모듈;
    상기 객체 리스트 정보를 통해 사용자가 선택한 상위 객체와 주변 환경 정보를 포함하는 가상현실 영상을 제공하는 영상 처리 모듈;
    상기 모션 컨트롤러에 의한 사용자 모션을 인식하고, 상기 사용자 모션에 따른 객체의 움직임을 추적하여 상기 하위 객체의 개별 움직임을 조합한 상기 상위 객체의 동작을 가상현실 환경상에서 구현하는 상호작용 관리모듈; 및
    상기 가상현실 제어 알고리즘을 실행하여 가상현실 환경에서 사용자 모션에 따라 상위 객체와 하위 객체 간의 복합적인 상호 작용이 가능하도록 각 모듈의 동작을 제어하는 제어 모듈을 포함하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
  2. 제1항에 있어서,
    상기 정보 제공 모듈은,
    상기 상위 객체의 종류, 크기, 무게, 기설정된 위치값을 포함한 객체 속성 정보, 상기 상위 객체를 구성하는 하위 객체와 관련된 객체 구성 정보, 상기 상위 객체와 하위 객체의 기본 동작 정보를 포함하는 메타데이터를 관리하는 메타데이터 관리부;
    상기 상위 객체 또는 하위 객체에 대한 정보 변경, 신규 객체의 생성에 필요한 메타데이터 편집 기능을 제공하는 메타데이터 편집부; 및
    상기 메타데이터 관리부와 메타데이터 편집부를 통해 객체 리스트 정보를 생성 및 업데이트하여 상기 HMD로 전송하는 정보 제공부를 포함하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
  3. 제2항에 있어서,
    상기 정보 제공부는,
    객체의 용도 또는 사용법에 따라 협력 관계에 있는 복수의 상위 객체들을 협력 객체 그룹으로 분류하고, 사용자가 상기 협력 객체 그룹 내에서 복수의 상위 객체를 선택하도록 적어도 하나 이상의 협력 객체 그룹에 대한 그룹 정보를 상기 객체 리스트 정보에 포함하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
  4. 제1항에 있어서,
    상기 상호작용 관리 모듈은,
    상기 상위 객체별로 가상현실 환경에 맞는 사용자 인터페이스, 이미지 처리, 상기 상위 객체와 하위 객체의 움직임 제어를 위한 툴 관리 기능을 독립적으로 수행하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
  5. 제4항에 있어서,
    상기 상호작용 관리 모듈은,
    상기 상위 객체를 기설정된 기준정보에 따라 하위 객체로 분류하고, 상기 하위 객체별로 기본 동작 정보를 설정하는 하위 기능 관리부;
    상기 사용자 모션에서 객체의 이동 궤적과 이동 방향을 포함한 이동 정보와 객체에 가해지는 힘 또는 압력을 포함한 세기 정보를 추출하는 움직임 추적부;
    상기 모션 컨트롤러와 가상 핸드를 동기화하고, 상기 사용자 모션에 따라 상기 가상 핸드의 한손 또는 양손 사용을 처리하는 사용자 모션 처리부; 및
    상기 하위 기능 관리부, 움직임 추적부 및 사용자 모션 처리부를 통합 관리하여 가상현실 환경에 맞는 사용자 인터페이스 표시, 이미지 처리 및 렌더링을 수행하여 가상핸드와 객체 간의 상호 작용을 반영한 가상현실 영상을 출력하도록 제어하는 객체 관리부를 포함하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
  6. 제5항에 있어서,
    상기 상호작용 관리 모듈은,
    상기 상위 객체의 용도 또는 사용법에 따라 상기 가상현실 영상 내 기설정된 고정위치에 상기 상위 객체를 고정시키는 마그네틱효과 설정부를 더 포함하는 것을 특징으로 하는 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템.
KR1020170157621A 2017-11-23 2017-11-23 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템 KR20190059727A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157621A KR20190059727A (ko) 2017-11-23 2017-11-23 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157621A KR20190059727A (ko) 2017-11-23 2017-11-23 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템

Publications (1)

Publication Number Publication Date
KR20190059727A true KR20190059727A (ko) 2019-05-31

Family

ID=66657418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157621A KR20190059727A (ko) 2017-11-23 2017-11-23 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템

Country Status (1)

Country Link
KR (1) KR20190059727A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법
US11617953B2 (en) 2020-10-09 2023-04-04 Contact Control Interfaces, Llc. Virtual object interaction scripts
KR20230074930A (ko) * 2021-11-22 2023-05-31 주식회사 듀코젠 Vr 공학 실습 컨텐츠의 저작방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101779569B1 (ko) 2016-04-18 2017-09-19 김종만 가상현실 기기 연동 입력장치
KR20170120299A (ko) 2016-04-21 2017-10-31 주식회사 엘시스 립모션을 이용한 실감형 콘텐츠 서비스 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101779569B1 (ko) 2016-04-18 2017-09-19 김종만 가상현실 기기 연동 입력장치
KR20170120299A (ko) 2016-04-21 2017-10-31 주식회사 엘시스 립모션을 이용한 실감형 콘텐츠 서비스 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법
US11617953B2 (en) 2020-10-09 2023-04-04 Contact Control Interfaces, Llc. Virtual object interaction scripts
KR20230074930A (ko) * 2021-11-22 2023-05-31 주식회사 듀코젠 Vr 공학 실습 컨텐츠의 저작방법 및 시스템

Similar Documents

Publication Publication Date Title
US10564800B2 (en) Method and apparatus for tool selection and operation in a computer-generated environment
Mossel et al. 3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality
US11054894B2 (en) Integrated mixed-input system
US20180043246A1 (en) Physical gesture input configuration for interactive software and video games
US11266904B2 (en) Game system, game control device, and information storage medium
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
US10990240B1 (en) Artificial reality system having movable application content items in containers
US10678327B2 (en) Split control focus during a sustained user interaction
US10888771B2 (en) Method and device for object pointing in virtual reality (VR) scene, and VR apparatus
US10701431B2 (en) Handheld controller gestures for virtual reality video playback
US11086406B1 (en) Three-state gesture virtual controls
KR20190059727A (ko) 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템
Ryu et al. GG Interaction: a gaze–grasp pose interaction for 3D virtual object selection
Caputo et al. The Smart Pin: An effective tool for object manipulation in immersive virtual reality environments
Alshaal et al. Enhancing virtual reality systems with smart wearable devices
KR20170006247A (ko) 가상 현실 게임 인터페이스 제공 장치 및 방법
Lee et al. A development of virtual reality game utilizing Kinect, Oculus Rift and smartphone
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
JP2012008862A (ja) 動作制御装置、その方法、及びプログラム
CN113467625A (zh) 虚拟现实的控制设备、头盔和交互方法
Luo et al. Camera-based selection with cardboard head-mounted displays
EP3599538B1 (en) Method and apparatus for adding interactive objects to a virtual reality environment
CN107930121B (zh) 一种根据输入设备类型控制游戏目标移动的方法及装置
CN105787971B (zh) 一种信息处理方法和电子设备
Nivedha et al. Enhancing user experience through physical interaction in handheld augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application