KR20220147251A - 가상 환경 상호작용 협업 시스템 및 그 방법 - Google Patents

가상 환경 상호작용 협업 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220147251A
KR20220147251A KR1020210054142A KR20210054142A KR20220147251A KR 20220147251 A KR20220147251 A KR 20220147251A KR 1020210054142 A KR1020210054142 A KR 1020210054142A KR 20210054142 A KR20210054142 A KR 20210054142A KR 20220147251 A KR20220147251 A KR 20220147251A
Authority
KR
South Korea
Prior art keywords
control
virtual object
motion controller
manipulation target
control device
Prior art date
Application number
KR1020210054142A
Other languages
English (en)
Other versions
KR102582312B1 (ko
Inventor
조동식
Original Assignee
주식회사 아이브이알시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이브이알시스템즈 filed Critical 주식회사 아이브이알시스템즈
Priority to KR1020210054142A priority Critical patent/KR102582312B1/ko
Publication of KR20220147251A publication Critical patent/KR20220147251A/ko
Application granted granted Critical
Publication of KR102582312B1 publication Critical patent/KR102582312B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 정비 훈련 장비에서 다수의 인원이 가상 객체를 공동으로 작업하기 위해 직관적인 상호작용(Interaction)을 통해 협업할 수 있도록 하는 가상 환경 상호작용 협업 시스템 및 그 방법에 관한 것이다.
개시된 가상 환경 상호작용 협업 시스템은, 현실 세계에서의 조작 대상 구성품; 상기 조작 대상 구성품을 촬영하여 영상을 획득하는 영상 촬영기; 손에 장착되어, 상기 조작 대상 구성품에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지하는 모션 컨트롤러; 상기 영상 촬영기로부터 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하고, 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하며, 손의 움직임에 따라 상기 모션 컨트롤러에 의해 감지된 제어점들을 상기 조작대상 가상 오브젝트에 적용하는 제어 장치; 및 상기 모션 컨트롤러에 의해 감지된 제어점들이 적용된 상기 조작대상 가상 오브젝트를 디스플레이하는 머리 착용 표시기(HMD: Head mounted Display)를 포함한다.

Description

가상 환경 상호작용 협업 시스템 및 그 방법{System for Interaction Collaboration of Virtual Environment and Method thereof}
본 발명은 가상 환경 상호작용 협업 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 가상 정비 훈련에 있어서 피훈련자들이 가상 공간에서 동일한 구성품을 다같이 협업하여 직관적인 상호작용(Interaction)을 통해 현실 세계와 유사하게 가상 객체를 조작시키는 협업을 할 수 있도록 하는 가상 환경 상호작용 협업 시스템 및 그 방법에 관한 것이다.
4차 산업혁명에 따라 AR/VR 기술을 이용한 교육/훈련 방식이 새롭게 자리잡고 있으며, 국방분야에서도 특히 정비분야에서 관심도가 무척 높아지고 있다.
복잡하고 정밀한 무기체계와 같이 위험성이 높고 고가의 장비를 다루는 분야일수록 가상정비 교육/훈련은 그 가치가 더욱 더 향상될 수 있다.
현실 세계에서의 정비 행위는 2인, 3인 1조 형태로 주로 이루어지며 무겁고 위험한 무기 체계 장비는 서로 협업을 통해 호흡을 맞추는 과정이 필수이다.
KR 10-2020-0070058 A(2020. 06. 17.)
본 발명의 목적은, 가상 정비 훈련에 있어서 피훈련자들이 가상 공간에서 동일한 구성품을 다같이 협업하여 직관적인 상호작용(Interaction)을 통해 현실 세계와 유사하게 가상 객체를 조작시키는 협업을 할 수 있도록 하는 가상 환경 상호작용 협업 시스템 및 그 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템은, 현실 세계에서의 조작 대상 구성품; 상기 조작 대상 구성품을 촬영하여 영상을 획득하는 영상 촬영기; 손에 장착되어, 상기 조작 대상 구성품에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지하는 모션 컨트롤러; 상기 영상 촬영기로부터 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하고, 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하며, 손의 움직임에 따라 상기 모션 컨트롤러에 의해 감지된 제어점들을 상기 조작대상 가상 오브젝트에 적용하는 제어 장치; 및 상기 모션 컨트롤러에 의해 감지된 제어점들이 적용된 상기 조작대상 가상 오브젝트를 디스플레이하는 머리 착용 표시기(HMD: Head mounted Display)를 포함한다.
상기 모션 컨트롤러는, 트리거(trigger) 버튼이 눌려지면 상기 감지된 제어점들을 이동하여 상기 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식한다.
상기 제어 장치는, 상기 위치 정보에 대하여 1 개의 벡터(x,y,z) 정보와, 상기 방향 정보에 대하여 x,y,z축 중 서로 직교하는 2 개의 벡터 정보를 이용한다.
상기 제어 장치는, 상기 모션 컨트롤러에 의해 감지된 제어점들이 다수 개로 존재하는 경우에, 상기 제어점들의 중심을 위치 기준 선정 방식에 의한 다음 수학식에 따라 각 제어점들의 좌표의 평균값으로 산출한다.
Figure pat00001
상기 제어 장치는, 상기 모션 컨트롤러에 의해 감지된 제어점들이 다수 개로 존재하는 경우에, 다수의 제어점들에 대하여, 상기 영상 촬영기의 카메라 시점 기준으로 가까운 제1 제어점 그룹(First Control Group)과 거리가 먼 제2 제어점 그룹(Second Control Group)으로 구분하고, 그룹별 중심점에 대하여, 상기 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 상기 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득하며, 첫 번째 방향 기준으로 나뉘어지는 상기 제1 제어점 그룹 중심점(ⓐ)과 상기 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축(
Figure pat00002
)으로 설정하고, 상기 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')을 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00003
)을 설정하며, 상기 첫 번째 방향축(
Figure pat00004
)과 상기 제어점 연결 선분(
Figure pat00005
)을 이용하여 다음 수학식에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00006
)을 산출하여 두 번째 방향축(
Figure pat00007
)으로 설정하며, 상기 모션 컨트롤러에 의해 감지된 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 상기 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정하며, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 상기 조작대상 가상 오브젝트의 움직임을 출력한다.
Figure pat00008
한편, 전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 방법은, (a) 영상 촬영기에서 조작 대상 구성품을 촬영하여 영상을 획득하는 단계; (b) 제어 장치가 상기 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하는 단계; (c) 상기 제어 장치가 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하는 단계; (d) 모션 컨트롤러가 상기 조작 대상 구성품에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지하는 단계; (e) 머리 착용 표시기(HMD)가 상기 모션 컨트롤러에 의해 감지된 제어점들이 적용된 상기 조작대상 가상 오브젝트를 디스플레이하는 단계; 및 (f) 상기 제어 장치가 손의 움직임에 따라 상기 모션 컨트롤러에 의해 감지된 제어점들을 상기 조작대상 가상 오브젝트에 적용하는 단계를 포함한다.
상기 (d) 단계에서 상기 모션 컨트롤러는, 트리거(trigger) 버튼이 눌려지면 상기 감지된 제어점들을 이동하여 상기 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식한다.
상기 (c) 단계에서 상기 제어 장치는, 상기 위치 정보에 대하여 1 개의 벡터(x,y,z) 정보와, 상기 방향 정보에 대하여 x,y,z축 중 서로 직교하는 2 개의 벡터 정보를 이용한다.
상기 (f) 단계에서 상기 제어 장치는, 상기 모션 컨트롤러에 의해 감지된 제어점들이 다수 개로 존재하는 경우, 상기 제어점들의 중심을 위치 기준 선정 방식에 의한 다음 수학식에 따라 각 제어점들의 좌표의 평균값으로 산출한다.
Figure pat00009
상기 (f) 단계에서 상기 제어 장치는, 상기 모션 컨트롤러에 의해 감지된 제어점들이 다수 개로 존재하는 경우, 다수의 제어점들에 대하여, 상기 영상 촬영기의 카메라 시점 기준으로 가까운 제1 제어점 그룹(First Control Group)과 거리가 먼 제2 제어점 그룹(Second Control Group)으로 구분하고, 그룹별 중심점에 대하여, 상기 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 상기 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득하며, 첫 번째 방향 기준으로 나뉘어지는 상기 제1 제어점 그룹 중심점(ⓐ)과 상기 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축(
Figure pat00010
)으로 설정하고, 상기 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')을 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00011
)을 설정하며, 상기 첫 번째 방향축(
Figure pat00012
)과 상기 제어점 연결 선분(
Figure pat00013
)을 이용하여 다음 수학식에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00014
)을 산출하여 두 번째 방향축(
Figure pat00015
)으로 설정하며, 상기 모션 컨트롤러에 의해 감지된 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 상기 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정하며, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 상기 조작대상 가상 오브젝트의 움직임을 출력한다.
Figure pat00016
본 발명에 의하면, 가상 정비 훈련에 있어서 피훈련자들이 가상 공간에서 동일한 구성품을 다 같이 협업하여 직관적인 상호작용(Interaction)을 통해 현실 세계와 유사하게 가상 객체를 조작시키는 협업을 실행할 수 있다.
또한, 본 발명에 의하면, 가상 정비 훈련 시스템 내에서의 가상 객체와의 상호작용을 통하여, 시각적인 몰입과 더불어 훈련 체험 및 직관성에 큰 영향을 주며, 피 훈련자의 훈련 체험 경험까지 제공함으로써 교육적 효과를 극대화 시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 현실 세계에서의 조작 대상 구성품의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 모션 컨트롤러의 장착 및 사용 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 모션 컨트롤러에 의해 감지된 손의 위치에 따른 제어점들을 두 그룹으로 분리하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 제어 장치에서 그룹별 제어 중심점을 찾는 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 제어 장치에서 그룹별 제어 중심점을 찾기 위해 첫번째 방향축을 이용해 두번째 방향축을 생성하는 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 방법을 나타낸 동작 흐름도이다.
도 8은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템에서의 상세 협업 동작을 나타낸 순서도이다.
도 9는 본 발명의 실시 예에 따라 가상 구성품을 가상 세계에서 옮기는 예를 나타낸 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 개념은 가상 정비 훈련장비에서 다수의 인원이 가상 객체를 공동 작업을 하기 위한 직관적인 상호작용 구현 시스템 및 방법에 관한 것으로서, 예를 들면, 가상 환경에서 무거운 물건을 같이 드는 행위를 예로 들 수 있다.
몰입형 가상 정비 훈련 시스템 내에서의 가상 객체와의 상호작용은 시각적인 몰입과 더불어 훈련 체험 및 직관성에 큰 영향을 주며, 피 훈련자의 훈련 체험 경험까지 제공함으로써 교육적 효과를 극대화시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템(100)은, 조작대상 구성품(10), 영상 촬영기(20), 모션 컨트롤러(30), 제어 장치(40) 및 머리 착용 표시기(50: Head mounted Display, 이하 HMD) 등을 포함할 수 있다.
조작대상 구성품(10)은 현실 세계에서 작업자들이 조작하고자 하는 구성품으로서, 강체(rigid)이며 변형이 되지 않는 물체이다.
조작대상 구성품(10)은 도 2에 도시된 바와 같이 현실 세계에서 2인 1조 또는 3인 1조 형태로 조작해야 하는 무겁고 위험한 무기 체계 장비 등이 될 수 있다. 도 2는 본 발명의 실시 예에 따른 현실 세계에서의 조작 대상 구성품의 한 예를 나타낸 도면이다. 도 2에 도시된 바와 같이, 조작대상 구성품(110)으로 예를 들면, 이동에 인력이 투입되어야 하는 탄도 미사일(Ballistic Missile) 등을 들 수 있다. 탄도 미사일은 탄도 곡선대로 비행하는 미사일로서, 발사된 후 로켓의 추진력으로 가속되어, 대기권으로 날아오르며 로켓의 연소가 완료되어 가속이 끝나면 탄두(Warhead)만 분리되어 계속 비행하다가 목표표적에 가까워지면 지구인력에 의해 자유낙하하면서 매우 빠른 속도로 다시 가속되고 최종적으로 목표표적에 도달하게 되는 미사일이다.
이에, 탄도 미사일은 부피가 크고 무게가 무거우므로 이동하는데 3인 1조 형태로 협업해서 이동해야 하므로 발사준비에 오랜 시간이 걸리게 된다.
또한, 탄도 미사일은 크게 로켓 엔진과 제트 엔진으로 이루어진다. 로켓 엔진은 고체 또는 액체 상태의 연료와 산소 역할을 하는 산화제를 탑재하고 있으며 연소실에서 연료를 태워 고압가스를 발생시켜 추력을 얻는다. 제트 엔진은 제트 비행기와 마찬가지로 공기를 흡입하여 공기 중에 있는 산소를 이용해 연료를 태워 추력을 발생시킨다.
따라서 전술한 바와 같은 미사일 등의 조작대상 구성품(110)은 위험한 폭발물이므로, 작업자들이 협업 시에 각자 어느 지점을 정확히 잡아야 하는지 위치를 설정하는 것이 중요하다.
영상 촬영기(20)는 카메라를 통해 조작 대상 구성품(10)을 촬영하여 영상을 획득하여 제어 장치(40)로 전송한다. 이를 위해, 영상 촬영기(20)는 DSLR 카메라, 미러리스 카메라, 디지털 캠코더 등을 포함할 수 있다.
모션 컨트롤러(30)는 사람의 손에 장착되어, 도 3에 도시된 바와 같이 조작 대상 구성품(10)에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지한다. 도 3은 본 발명의 실시 예에 따른 모션 컨트롤러의 장착 및 사용 예를 나타낸 도면이다. 도 3에 도시된 바와 같이, 모션 컨트롤러(30)는 Oculus Touch와 같이 사람의 손에 장착되어, HTC Vive Controller와 같이 사람의 머리에 장착된 HMD(50)와 함께 사용될 수 있다.
예를 들면, Oculus Touch는 각각 아날로그 스틱, 3 개의 버튼 및 2 개의 트리거(일반적으로 잡는 데 사용되고 다른 하나는 촬영 또는 발사에 사용됨)가 있는 한 쌍의 핸드 헬드 장치로 구성되며 사용자가 할 수 있는 손가락 제스처를 감지한다. 각 컨트롤러의 링에는 적외선 LED 세트가 포함되어 있어 컨트롤러가 Oculus Rift의 Constellation 시스템에 의해 3D 공간에서 완전히 추적되어 가상 환경에서 표시될 수 있다. 각 컨트롤러에는 햅틱 피드백을 위한 럼블 모터가 있으며 단일 AA 알카라인 셀로 전원이 공급된다.
예를 들면, HTC Vive Controller는 룸 스케일 기술을 활용하여 센서를 통해 방을 3차원 공간으로 변화시켜 주도록 설계되어 있으며, 가상 현실을 통해 사용자가 자연스럽게 탐험할 수 있고, 걸을 수도 있으며, 모션 추적 핸드헬드 컨트롤러를 사용하여 생생하게 물체를 조작하고, 정확도 있게 상호작용하여 통신하며 에워싸는 듯한 환경을 경험할 수 있다. 즉, Vive Controller는 가상 현실에서 무선의 자유로운 플레이를 즐길 수 있는 장치로서, 24개의 센서, 다기능 트랙패드, 듀얼 스테이지 트리거, HD 햅틱 피드백 및 충전식 배터리로 구성된다. 또한 1개의 컨트롤러, 손목 스트랩, 마이크로 USB 케이블 및 전원 어댑터 등을 포함한다.
그리고, 모션 컨트롤러(30)는 작업자 등이 두 손을 가상 환경에서 사용할 수 있도록 3D tracking 되고, 6자유도(x,y,z,pitch,roll,yaw)를 제공받아, 조작대상 구성품(10)에 대해 잡아쥐는 손의 이동 위치를 감지하여, 감지된 이동 위치들을 제어점 정보로 제공한다.
제어 장치(40)는, 전반적인 제어 동작을 실행하는 서버 역할의 장치로서, 영상 촬영기(20)로부터 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하고, 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하며, 손의 움직임에 따라 모션 컨트롤러(30)에 의해 감지된 제어점들을 조작대상 가상 오브젝트에 적용하여 제어한다.
제어 장치(40)는, 위치 정보에 대하여 1 개의 벡터(x,y,z) 정보와, 방향 정보에 대하여 x,y,z축 중 서로 직교하는 2 개의 벡터 정보를 이용할 수 있다.
HMD(50)는 모션 컨트롤러(30)에 의해 감지된 제어점들이 적용된 조작대상 가상 오브젝트를 디스플레이한다. 따라서, 사람의 머리에 착용되었을 때, 사람이 HMD(50)를 통해 조작대상 가상 오브젝트를 보면서 작업 동작을 실시할 수 있다.
모션 컨트롤러(30)는, 트리거(trigger) 버튼이 눌려지면, 센서를 통해 감지된 제어점들을 이동하여 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식할 수 있다.
도 1에서, 영상 촬영기(20), 모션 컨트롤러(30), 제어 장치(40) 및 HMD(50) 등은 서로 간에 데이터를 송수신할 수 있도록 무선 네트워크 또는 유선 네트워크로 연결되어 있다. 따라서 이러한 네트워크 공유를 통해 두 명 이상의 작업자가 가상 환경의 동일한 공간에 참여하여 협업을 실행할 수 있다.
1. 위치 기준 설정
제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들이 다수 개로 존재하는 경우에, 제어점들의 중심을 위치 기준 선정 방식에 의해 다음 수학식 1에 따라 각 제어점들의 좌표의 평균값으로 산출할 수 있다.
Figure pat00017
예를 들면, 제어 장치(40)는, x 좌표(
Figure pat00018
)에 대한 제어점들의 평균값(
Figure pat00019
), y 좌표(
Figure pat00020
)에 대한 제어점들의 평균값(
Figure pat00021
), 및 z 좌표(
Figure pat00022
)에 대한 제어점들의 평균값(
Figure pat00023
)을 각각 산출하는 것이다.
2. 제어점을 두그룹으로 분리
제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들이 다수 개로 존재하는 경우, 다수의 제어점들에 대하여, 도 4에 도시된 바와 같이 영상 촬영기(20)의 카메라 시점 기준으로 가까운 제1 제어점 그룹(First Control Group)과 거리가 먼 제2 제어점 그룹(Second Control Group)으로 구분하여 설정한다. 여기서 도 4는 본 발명의 실시 예에 따른 모션 컨트롤러에 의해 감지된 손의 위치에 따른 제어점들을 두 그룹으로 분리하는 예를 나타낸 도면이다.
도 4에 도시된 바와 같이, 방향의 기준을 잡기 위해 먼저 다수의 제어점들을 두 그룹으로 나눈다. 기준은 현재 바라보고 있는 카메라 시점 기준으로 가까운 제어점 그룹과 먼 제어점 그룹으로 나눈다.
예를 들어, 조작대상 구성품(10)을 다섯 손이 잡고 있다면(제어점이 다섯 개) 카메라 시점을 기준으로 가까운 거리에 있는 제1 제어점 그룹(First control Group)과 먼 거리에 있는 제2 제어점 그룹(Second Control Group)으로 나눌 수 있다.
3. 그룹별 제어 중심점 찾기 및 첫 번째 방향축 선정
제어 장치(40)는, 도 5에 도시된 바와 같이 각 그룹별 중심위치를 찾는다. 그룹별 중심점 찾는 방법은 1.위치기준선정방법과 동일하게 사용한다. 즉, 아래와 같은 과정으로 그룹별 중심점을 찾을 수 있다. 여기서, 도 5는 본 발명의 실시 예에 따른 제어 장치에서 그룹별 제어 중심점을 찾는 예를 나타낸 도면이다.
1) 제어 장치(40)는, 그룹별 중심점에 대하여, 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득한다.
2) 제어 장치(40)는, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓐ)과 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축()으로 설정한다.
결국 제어점 2개가 결정이 되며, 물체의 위치 기준을 이 제어점 2개의 중점으로 정의할 수 있다. 또한 두 제어점을 연결하는 선분을 첫 번째 방향축(
Figure pat00024
)으로 사용하는 것이다.
4. 두 번째 방향축 기준 찾기
제어 장치(40)는, 첫 번째 방향기준으로 나뉘어지는 두 그룹을 도 6에 도시된 바와 같이 재생성한다. 여기서, 도 6은 본 발명의 실시 예에 따른 제어 장치에서 그룹별 제어 중심점을 찾기 위해 첫번째 방향축을 이용해 두번째 방향축을 생성하는 예를 나타낸 도면이다.
1) 제어 장치(40)는, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')을 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00025
)을 설정한다.
2) 제어 장치(40)는, 첫 번째 방향축(
Figure pat00026
)과 제어점 연결 선분(
Figure pat00027
)을 이용하여 다음 수학식 2에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00028
)을 산출한다.
Figure pat00029
3) 제어 장치(40)는, 위와 같이 산출된 두 선분의 수직인 방향축을 두 번째 방향축(
Figure pat00030
)으로 설정한다.
4. 위치 기준과 방향기준의 두 축을 이용한 가상물체 변환
1) 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정한다.
2) 제어 장치(40)는, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 조작대상 가상 오브젝트의 움직임 출력을 제어한다.
도 7은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 방법을 나타낸 동작 흐름도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템(100)은, 영상 촬영기(20)에서 조작 대상 구성품(10)을 촬영하여 영상을 획득한다(S710).
이어, 제어 장치(40)는 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성한다(S720).
이어, 제어 장치(40)는 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득한다(S730).
이때, 제어 장치(40)는 위치 정보에 대하여 1 개의 벡터(x,y,z) 정보와, 방향 정보에 대하여 x,y,z축 중 서로 직교하는 2 개의 벡터 정보를 이용할 수 있다.
이어, 모션 컨트롤러(30)는 조작 대상 구성품(10)에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지한다(S740).
이때, 모션 컨트롤러(30)는, 트리거(trigger) 버튼이 눌려지면, 감지된 제어점들을 이동하여 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식할 수 있다.
이어, HMD(50)는 모션 컨트롤러(30)에 의해 감지된 제어점들이 적용된 조작대상 가상 오브젝트를 디스플레이한다(S750).
이어, 제어 장치(40)는 손의 움직임에 따라 모션 컨트롤러(30)에 의해 감지된 제어점들을 조작대상 가상 오브젝트에 적용한다(S760).
이때, 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들이 다수 개로 존재하는 경우, 제어점들의 중심을 위치 기준 선정 방식에 의해 수학식1에 따라 각 제어점들의 좌표의 평균값으로 산출할 수 있다.
또한, 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들이 다수 개로 존재하는 경우에, 다수의 제어점들에 대하여, 영상 촬영기(20)의 카메라 시점 기준으로 가까운 제1 제어점 그룹(First Control Group)과 거리가 먼 제2 제어점 그룹(Second Control Group)으로 구분하여 분리한다.
또한, 제어 장치(40)는, 그룹별 중심점에 대하여, 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득하며, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓐ)과 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축(
Figure pat00031
)으로 설정한다.
한편, 제어 장치(40)는, 두 번째 방향축을 결정하기 위해, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')을 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00032
)을 설정한다.
또한, 제어 장치(40)는, 첫 번째 방향축(
Figure pat00033
)과 상기 제어점 연결 선분(
Figure pat00034
)을 이용하여 수학식 2에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00035
)을 산출하여 두 번째 방향축(
Figure pat00036
)으로 설정한다.
또한, 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정한다.
그리고, 제어 장치(40)는, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 조작대상 가상 오브젝트의 움직임을 출력하도록 제어하는 것이다.
도 8은 본 발명의 실시 예에 따른 가상 환경 상호작용 협업 시스템에서의 상세 협업 동작을 나타낸 순서도이다.
도 8을 참조하면, 실시 예에 따른 가상 환경 상호작용 협업 시스템(100)은, 먼저 제어 장치(40)는 조작대상 구성품(10)에 대한 다수의 제어점들이 잡히는지를 판단한다(S802).
즉, 제어 장치(40)는, 현실 세계에서의 미사일 등과 같은 조작대상 구성품(10)에 대하여, 협업자의 손들이 움켜 쥐는 액션이나 쥐어 잡는 액션에 따라 모션 컨트롤러(30)를 통해 감지되는 제어점들이 모션 컨트롤러(30)로부터 수신되는지를 판단하는 것이다.
이때, 가상 환경 상호작용 협업 동작이 처음인 경우에(S804-Yes), 제어 장치(40)는 제어점들의 중심점을 찾는 위치 기준 선정 동작을 실행한다(S806).
예를 들면, 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들이 다수 개로 존재하는 경우, 제어점들의 중심을 위치 기준 선정 방식에 의해 전술한 수학식 1에 따라 각 제어점들의 좌표의 평균값으로 산출한다.
이어, 제어 장치(40)는 가상 구성품과 중심점의 위치 오프셋(offset)을 결정한다(S808).
여기서, 가상 구성품은 제어 장치(40)가 현실 세계의 조작대상 구성품(10)을 영상 촬영기(20)를 통해 촬영하여 얻은 영상을 조작대상 가상 오브젝트로 생성하여 얻는다.
현실 세계는 중력, 원심력 등 물리적 힘이 존재함으로써 협업이 이루어지지만 가상 환경 상에서는 이러한 힘이라는 요소가 없으므로 현실 세계와 유사한 조작을 위해, 현실 세계의 조작대상 구성품(10)을 가상 세계의 조작대상 가상 오브젝트로 생성하게 되는 것이다.
가상 세계에서의 물체 표현(transformation)은 위치 정보와 방향 정보를 통해 정의될 수 있으며, 위치 정보는 1 개의 Vector(x,y,z) 정보, 방향 정보는 2 개의 Vector(x,y,z축 중 2개, 서로직교) 정보를 이용할 수 있다.
현실 세계에서의 작업자의 손(사실 손에 쥔 controller)은 가상 환경 내에서는 6자유도를 갖는 제어점으로 표현할 수 있으며, Motion Controller(30)의 trigger 버튼(방아쇠)을 누르는 것을 물건을 잡는 행위(Pick)로 정의할 수 있다.
제어 장치(40)는, 제어점들이 다수 개로 존재하는 경우에, 다수의 제어점들에 대하여, 카메라 시점 기준으로 가까운 제1 제어점 그룹(First Control Group)과 거리가 먼 제2 제어점 그룹(Second Control Group)으로 구분하여 설정한다.
그리고, 제어 장치(40)는, 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득한다.
이어, 제어 장치(40)는 방향 기준축을 선정한다(S810).
즉, 제어 장치(40)는 첫 번째 방향축과 두 번째 방향축을 설정하는 것이다.
예를 들면, 제어 장치(40)는, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓐ)과 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축(
Figure pat00037
)으로 설정한다.
또한, 제어 장치(40)는 첫 번째 방향기준으로 나뉘어지는 두 그룹을 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')으로 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00038
)을 설정하며, 첫 번째 방향축(
Figure pat00039
)과 제어점 연결 선분(
Figure pat00040
)을 이용하여 수학식 2에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00041
)을 산출하고, 산출된 두 선분의 수직인 방향축을 두 번째 방향축(
Figure pat00042
)으로 설정한다.
이어, 제어 장치(40)는 가상 구성품의 방향과 방향 기준축과의 오프셋(offset)을 설정한다(S812).
즉, 제어 장치(40)는, 모션 컨트롤러(30)에 의해 감지된 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정한다.
그리고, 제어 장치(40)는, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 조작대상 가상 오브젝트의 움직임 출력을 제어한다.
전술한 바와 같은 과정으로, 네트워크를 통하여 도 9에 도시된 바와 같이 두 사람(손은 4개)이 가상 체험 공간에 참여하여 두 사람이 같이 '표적 탐지부' 구성품을 옮기는 시나리오를 수행하였다. 도 9는 본 발명의 실시 예에 따라 가상 구성품을 가상 세계에서 옮기는 예를 나타낸 도면이다. 여기서, 제어점은 총 4 개이며 위치 기준은 4 개의 제어점 중심점을 찾고, 방향 기준은 그룹을 이용한 2 개의 축을 이용하여 찾았다. 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 offset를 적용하여 가상 구성품의 움직임을 표현하였다.
전술한 바와 같이 가상 환경 상호작용 협업 작업이 완료되면(S814-Yes), 제어 장치(40)는 모든 가상 환경 상호작용 협업 동작을 종료한다.
그러나, 협업 작업이 종료되지 않은 경우(S814-No), 조작대상 구성품(10)에 대한 다수의 제어점들이 잡히는지를 판단한 후 협업 동작이 처음인지를 판단하는 동작으로 복귀한다.
이어, 가상 환경 상호작용 협업 동작이 처음이 아닌 경우(S804-No), 제어 장치(40)는 제어점들의 중심점 찾기 동작을 실행한다(S822).
즉, 제어 장치(40)는, 제1 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제1 제어점 그룹 중심점(ⓐ)과, 제2 제어점 그룹을 이루는 제어점들의 좌표의 평균값으로 산출하여 제2 제어점 그룹 중심점(ⓑ)을 획득하는 것이다.
이어, 제어 장치(40)는 위치 오프셋(offset)을 이용한 변위값을 구하고 가상 구성품에 적용한다(S824).
즉, 제어 장치(40)는 조작대상 구성품(10)에 대하여 모션 컨트롤러(30)를 통해 획득한 다수의 제어점들을 조작대상 가상 오브젝트에 적용하여 각 제어점들의 위치 정보를 표시한다.
이어, 제어 장치(40)는 방향 기준축을 찾는다(S826).
즉, 제어 장치(40)는, 첫 번째 방향 기준으로 나뉘어지는 제1 제어점 그룹 중심점(ⓐ)과 제2 제어점 그룹 중심점(ⓑ)을 연결하는 선분을 첫번째 방향축(
Figure pat00043
)으로 설정한다.
또한, 제어 장치(40)는, 첫 번째 방향기준으로 나뉘어지는 두 그룹을 제1 제어점 그룹 중심점(ⓒ')과 제2 제어점 그룹 중심점(ⓓ')으로 재생성하고, 이 두 중심점을 연결하는 제어점 연결 선분(
Figure pat00044
)을 설정하며, 첫 번째 방향축(
Figure pat00045
)과 제어점 연결 선분(
Figure pat00046
)을 이용하여 수학식 2에 따라 외적을 사용하여 두 선분의 수직인 방향축(
Figure pat00047
)을 산출하고, 산출된 두 선분의 수직인 방향축을 두 번째 방향축(
Figure pat00048
)으로 설정한다.
이어, 제어 장치(40)는 방향 오프셋(offset)을 이용한 변위값을 구하고 가상 구성품에 적용한다(S828).
즉, 제어 장치(40)는, 제어점들의 변화에 따라 각 프레임별 위치 변위와 방향 변위 값을 조작대상 가상 오브젝트에 적용하여 위치 및 방향을 결정하고, 중심점 기준과 방향 기준을 이용하여 매 프레임시 달라지는 변위값에 따라 구성품의 움직임의 변위값 오프셋(offset)을 적용하여 조작대상 가상 오브젝트의 움직임을 출력하는 것이다.
전술한 바와 같이 본 발명에 의하면, 가상 정비 훈련에 있어서 피훈련자들이 가상 공간에서 동일한 구성품을 다같이 협업하여 직관적인 상호작용(Interaction)을 통해 현실 세계와 유사하게 가상 객체를 조작시키는 협업을 할 수 있도록 하는 가상 환경 상호작용 협업 시스템 및 그 방법을 실현할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 조작대상 구성품 20 : 영상 촬영기
30 : 모션 컨트롤러 40 : 제어 장치
50 : HMD 100 : 가상 환경 상호작용 협업 시스템

Claims (5)

  1. 현실 세계에서의 조작 대상 구성품;
    상기 조작 대상 구성품을 촬영하여 영상을 획득하는 영상 촬영기;
    손에 장착되어, 상기 조작 대상 구성품에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지하는 모션 컨트롤러;
    상기 영상 촬영기로부터 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하고, 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하며, 손의 움직임에 따라 상기 모션 컨트롤러에 의해 감지된 제어점들을 상기 조작대상 가상 오브젝트에 적용하는 제어 장치; 및
    상기 모션 컨트롤러에 의해 감지된 제어점들이 적용된 상기 조작대상 가상 오브젝트를 디스플레이하는 머리 착용 표시기(HMD: Head mounted Display);
    를 포함하는 것을 특징으로 하는 가상 환경 상호작용 협업 시스템.
  2. 제 1 항에 있어서,
    상기 모션 컨트롤러는, 트리거(trigger) 버튼이 눌려지면 상기 감지된 제어점들을 이동하여 상기 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식하는 것을 특징으로 하는 가상 환경 상호작용 협업 시스템.
  3. 제 1 항에 있어서,
    상기 제어 장치는, 상기 위치 정보에 대하여 1 개의 벡터(x,y,z) 정보와, 상기 방향 정보에 대하여 x,y,z축 중 서로 직교하는 2 개의 벡터 정보를 이용하는 것을 특징으로 하는 가상 환경 상호작용 협업 시스템.
  4. (a) 영상 촬영기에서 조작 대상 구성품을 촬영하여 영상을 획득하는 단계;
    (b) 제어 장치가 상기 획득된 영상을 입력받아 가상 세계의 물체 표현(transformation)에 따라 조작대상 가상 오브젝트로 생성하는 단계;
    (c) 상기 제어 장치가 생성된 조작대상 가상 오브젝트에 대한 위치 정보와 방향 정보를 획득하는 단계;
    (d) 모션 컨트롤러가 상기 조작 대상 구성품에 대한 손의 움직임을 6자유도(x,y,z,pitch,roll,yaw)에 따라 감지하는 단계;
    (e) 머리 착용 표시기(HMD)가 상기 모션 컨트롤러에 의해 감지된 제어점들이 적용된 상기 조작대상 가상 오브젝트를 디스플레이하는 단계; 및
    (f) 상기 제어 장치가 손의 움직임에 따라 상기 모션 컨트롤러에 의해 감지된 제어점들을 상기 조작대상 가상 오브젝트에 적용하는 단계;
    를 포함하는 것을 특징으로 하는 가상 환경 상호작용 협업 방법.
  5. 제 4 항에 있어서,
    상기 (d) 단계에서 상기 모션 컨트롤러는, 트리거(trigger) 버튼이 눌려지면 상기 감지된 제어점들을 이동하여 상기 조작대상 가상 오브젝트를 잡는 행위(Pick)로 인식하는 것을 특징으로 하는 가상 환경 상호작용 협업 방법.
KR1020210054142A 2021-04-27 2021-04-27 가상 환경 상호작용 협업 시스템 및 그 방법 KR102582312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210054142A KR102582312B1 (ko) 2021-04-27 2021-04-27 가상 환경 상호작용 협업 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054142A KR102582312B1 (ko) 2021-04-27 2021-04-27 가상 환경 상호작용 협업 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220147251A true KR20220147251A (ko) 2022-11-03
KR102582312B1 KR102582312B1 (ko) 2023-09-25

Family

ID=84040976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054142A KR102582312B1 (ko) 2021-04-27 2021-04-27 가상 환경 상호작용 협업 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102582312B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070058A (ko) 2018-12-07 2020-06-17 한양대학교 산학협력단 협업 서비스 제공 방법
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법
JP2020181545A (ja) * 2019-04-23 2020-11-05 未來市股▲ふん▼有限公司 現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070058A (ko) 2018-12-07 2020-06-17 한양대학교 산학협력단 협업 서비스 제공 방법
JP2020181545A (ja) * 2019-04-23 2020-11-05 未來市股▲ふん▼有限公司 現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体
KR102164371B1 (ko) * 2019-11-29 2020-10-12 주식회사 아이브이알시스템즈 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법

Also Published As

Publication number Publication date
KR102582312B1 (ko) 2023-09-25

Similar Documents

Publication Publication Date Title
CN107517372B (zh) 一种vr内容拍摄方法、相关设备及系统
CN103249461B (zh) 用于使得手持设备能够捕获交互应用的视频的系统
JP5300777B2 (ja) プログラム及び画像生成システム
US11755122B2 (en) Hand gesture-based emojis
CN110114669A (zh) 动态平衡的多自由度手持控制器
JP2018195177A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
Higuchi et al. Flying head: A head-synchronization mechanism for flying telepresence
JP2013165366A (ja) 画像処理装置、画像処理方法及びプログラム
KR20110083509A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
Li et al. Development of kinect based teleoperation of nao robot
CN109716396A (zh) 信息处理设备、信息处理方法和程序
WO2021183978A1 (en) Systems and methods for multi-user virtual and augmented reality
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN111632377A (zh) 射击轨迹的展示方法、装置、电子设备及存储介质
KR102582312B1 (ko) 가상 환경 상호작용 협업 시스템 및 그 방법
Dodevska et al. Augmented Reality and Internet of Things–Implementation in Projects by Using Simplified Robotic Models
WO2018092947A1 (ko) 스마트 로봇 게임 시스템
Soares et al. Collaborative hybrid virtual environment
CN112947117A (zh) 一种多rov水下协同作业仿真系统
Ionescu et al. Multimodal control of virtual game environments through gestures and physical controllers
CN112198957A (zh) 一种远程交互系统及方法
JP2021131490A (ja) 情報処理装置、情報処理方法、プログラム
Inoue et al. Physical task learning support system visualizing a virtual teacher by mixed reality
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant