KR20160000986A - 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 - Google Patents

혼합현실을 이용한 가상현실 시스템 및 그 구현방법 Download PDF

Info

Publication number
KR20160000986A
KR20160000986A KR1020140078406A KR20140078406A KR20160000986A KR 20160000986 A KR20160000986 A KR 20160000986A KR 1020140078406 A KR1020140078406 A KR 1020140078406A KR 20140078406 A KR20140078406 A KR 20140078406A KR 20160000986 A KR20160000986 A KR 20160000986A
Authority
KR
South Korea
Prior art keywords
hmd
virtual reality
user
input
reality
Prior art date
Application number
KR1020140078406A
Other languages
English (en)
Other versions
KR101638550B1 (ko
Inventor
윤병주
이상훈
김동현
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140078406A priority Critical patent/KR101638550B1/ko
Publication of KR20160000986A publication Critical patent/KR20160000986A/ko
Application granted granted Critical
Publication of KR101638550B1 publication Critical patent/KR101638550B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 혼합현실을 이용한 가상현실 시스템 및 그 구현방법에 관한 것으로, 크로마키 스크린; 상기 크로마키 스크린 어느 일측에 위치하여 사용자의 동작을 인식하는 동작인식 카메라; 가상현실에 실환경이 혼합된 혼합현실에 입력 또는 출력을 처리하는 입/출력 임베디드 장치; 상기 사용자 헤드에 착용되고, 상기 입/출력 임베디드 장치와 연결되어 상기 혼합현실을 디스플레이하는 HMD; 상기 입/출력 임베디드 장치와 연결되어 상기 HMD 장치가 상기 크로마키 스크린에 투영되어 상기 HMD 장치에 상기 가상현실 구현하는 가상현실 구현 PC를 포함하되, 상기 크로마키 스크린을 통한 월드좌표와, 사용자의 HMD 방향좌표 및 상기 동작인식 카메라에서 획득한 동작 인식정보를 매칭하고 렌더링시켜 상기 가상현실과 사용자의 모션을 포함하는 상기 혼합현실을 상기 HMD에 구현하여 디스플레이되는 것을 특징으로 한다.
이와 같은 본 발명은 가상현실과 실환경을 혼합하여 사용자로 하여금 몰입감 및 조작감이 높은 가상체험을 제공할 수 있는 시스템 및 그 방법을 제공한다.

Description

혼합현실을 이용한 가상현실 시스템 및 그 구현방법{Virtual Reality System using of Mixed reality, and thereof implementation method}
혼합현실을 이용한 가상현실 시스템 및 그 구현방법에 관한 것으로, 보다 상세하게는 가상환경과 실환경을 혼합하여 유저로 하여금 몰입감 있는 가상체험을 제공하는 혼합현실을 이용한 가상현실 시스템 및 그 구현방법에 관한 것이다.
최근 디지털 정보를 볼 수 있는 언제 어디서나 볼 수 있는 착용형 안경(도 2의 (a))이 경량화되면서 이를 활용하여 가상공간의 디지털 정보들 (예. 지역 정보, 사진, 트윗, 지도, 광고, 숙박, 식당, 위키피디아 등)을 현장에서 즉시적으로 사용자에게 제공하고자 하는 시도가 많은 주목을 받고 있다. 이는 기존의 정보 획득의 미디어로서 사용되고 있는 휴대용 인터넷 단말기 (예. 스마트 폰, 노트북)를 대체할 수 있는 뉴 미디어로의 역할을 할수 있다.
즉, 현장의 사용자에게 관심 정보를 즉시적으로 제공할 수 있으며 기존의 페이스 북/트위터/유투브와 같은 라이프 로깅 서비스를 언제 어디서나 즉각적으로 수행할 수 있으며, 다양한 정보를 손쉽게 획득 할 수 있을 것이다. 이는 사회/문화/경제/산업적으로 다양한 파급효과를 가져올 것이다.
(1) 증강현실 저작 인터페이스
기존의 증강현실 저작방법은 일반적으로 프로그래밍 기반의 저 차원 저작 방법과 비 프로그래밍 기반의 고 차원 저작 방법으로 분류할 수 있다. 프로그래밍 기반 저작 방법 (ARToolKit, osgART, Goblin XNA 등)은 프로그래밍을 통해서 성능을 최적화할 수 있는 장점이 있지만, 컴퓨터 비전과 3D 그래픽스에 대한 전문적인 지식이 있는 기술 개발자들을 대상으로 하기 때문에 일반 사용자는 사용하기 어렵다는 단점이 있다.
비 프로그래밍 기반의 저작 방법은 그래피컬 사용자 인터페이스 (GUI: Graphical User Interface) 기반의 비주얼 프로그래밍을 기반으로 상대적으로 비전문가도 사용할 수 있다는 장점이 있다 (ComposAR, CATOMIR, Metaio등). 하지만 기존의 GUI기반의 2차원 인터페이스는 본 연구에서 다루는 3차원 공간 조작에 적용하기 어렵다.
한편, 감각형 사용자 인터페이스 (TUI: Tangible User Interface) 기반의 저작 방법은 GUI 방법 보다 좀 더 추상적이고 쉬운 저작을 가능하게 하며 3차원 조작이 가능하다 (iaTAR, ARtalet 등). 하지만, TUI 는 주로 근거리에 있는 3D 객체를 직접 조작하는 데 유용하다.
(2) 증강현실 저작을 위한 정합 방법
가장 단순한 정합 방법은 GPS/나침반 센서를 기반으로 미러월드를 정합하는 방법으로 대부분의 모바일 증강현실 응용에서 사용하는 방법이다(Layar, Wikitude AR, Junaio, Sekai 카메라). 실외 환경에서 작동이 가능하며, GPS/나침반 센서 정보의 오차로 인해 정합의 정밀도가 매우 낮다.
좀 더 정밀한 정합을 위해서는 2D 객체를 사용하는 방법이 있다. 색상 대비가 분명한 정사각형의 마커를 이용하여 카메라 트래킹을 수행하고 가상 객체를 정합한다 (ARToolKit, ARToolKit Plus, 2D 바코드 마커). 또는 자연 이미지의 2D 객체를 대상으로 정합하는 방법도 있다 (BazAR, Qualcomm AR SDK). 또는 상용 소프트웨어(Virtools, Max/Maya, Unity3D, RhinoAR, Autodesk 3DS Max, Flash)에 증강현실 플러그인을 적용하여, 소프트웨어로 제작한 3D 모델들을 2D 객체에 정합하기도 한다. 하지만, 이러한 방법은 정합의 대상이 2차원 평면에 국한되는 단점이 있다.
(3) 웨어러블 증강현실 환경에서 모바일 입력 장치 기반 3D 객체 조작 방법 모바일 입력 장치를 활용하여 3D 객체를 조작하는 가장 단순한 방법은, 모바일 장치의 버튼 장치를 누르는 방법이다. 하지만 이러한 이산적인 (Discrete) 사용자 입력은 3D 공간에서 고차원의 동시조작 (3차원 이동, 3차원 회전)이 불가능하며 시간이 많이 지연된다. 이의 연장선으로 조이스틱 또는 터치 기반의 입력을 사용하는 2 자유도의 입력방식 역시 높은 자유도의 조작을 수행하는 것은 불가능하다. 모바일 입력 장치의 내장 센서 (예, 기울기, 가속도계, 자이로, 나침반 센서 등)를 사용하면 3D 자유도의 조작이 가능하며, 자이로 마우스, 게임 컨트롤러, 메뉴 선택, 텍스트 입력, 스크롤 제스처, 3D 객체 회전을 위해서 사용되었다. 하지만, 이들 또한 3D 공간에서 자유로운 조작 (6 자유도의 이동/회전)이 불가능하다. 일반적으로는 6 자유도의 3D 객체 조작을 위해서는 외부에 설치된 트래킹 장치가 입력 장치의 위치/회전을 인식/추적해야한다.(3D 게임 컨트롤러, uWand, VR Wand등)
종래 대부분의 증강현실(실환경 위에 가상환경을 삽입하는 기술)은 실환경 속에서 가상현실을 통해서 도움을 받는 것을 목적으로 하기 때문에 확실히 가상현실을 체험(완전히 다른 환경에 놓이는것, 예로 판타지 세상 등)하는 것과는 구별되며, 대부분의 가상현실 내에서의 상호작용은 손과 발을 재구성(reconstruction) 하여 가상환경의 손(또는 발 등)에 해당하는 물체를 삽입하는 방식이 적용된다. 그러나, 이는 몰입감이 떨어지며, 현재의 재구성(reconstruction) 기술 또한 정확도에서 실재 화면을 크로마키하여 사용하는 것에 비해 떨어지는 문제점이 있다.
이처럼, 종래의 실환경과 가상환경이 혼합된 증강현실에서 3D 객체의 조작을 위한 시스템 및 장치의 구현이 어렵고, 종래에 사용되어 지는 시스템은 실환경내에 가상환경을 추가하는 증강현실내에서 웨어러블 장치에 의해 가상환경의 3D 객체를 조작하는 시스템 및 방법을 제공하고 있기 때문에, 실환경 및 가상환경이 육안으로 확연하 차이를 보이고 상대적인 모션에 대한 환경 매칭이 어려워 이질감이 높아지고, 상대적 조작감 및 몰입도가 매우 떨어지는 문제점이 있다.
대한민국 공개특허 제10-2014-0001167호(공개일자:2014년01월06일) 대한민국 공개특허 제10-2013-0137692호(공개일자:2013년12월17일)
상술한 문제를 해결하고자 하는 본 발명의 과제는 가상현실과 실환경을 혼합하여 사용자로 하여금 몰입감 및 조작감이 높은 가상체험을 제공할 수 있는 시스템 및 그 방법을 제공하고자 함이다.
상술한 과제를 해결하고자 하는 본 발명의 제1 특징은 크로마키 스크린; 상기 크로마키 스크린 어느 일측에 위치하여 사용자의 동작을 인식하는 동작인식 카메라; 가상현실에 실환경이 혼합된 혼합현실에 입력 또는 출력을 처리하는 입/출력 임베디드 장치; 상기 사용자 헤드에 착용되고, 상기 입/출력 임베디드 장치와 연결되어 상기 혼합현실을 디스플레이하는 HMD; 상기 입/출력 임베디드 장치와 연결되어 상기 HMD 장치가 상기 크로마키 스크린에 투영되어 상기 HMD 장치에 상기 가상현실 구현하는 가상현실 구현 PC를 포함하되, 상기 크로마키 스크린을 통한 월드좌표와, 사용자의 HMD 방향좌표 및 상기 동작인식 카메라에서 획득한 동작 인식정보를 매칭하고 렌더링시켜 상기 가상현실과 사용자의 모션을 포함하는 상기 혼합현실을 상기 HMD에 구현하여 디스플레이되는 것을 특징으로 한다.
여기서, 상기 동작인식 카메라는, 사용자의 동작을 인식할 수 있는 깊이 카메라(Depth Camera)인 것이 바람직하고, 상기 HMD는, 위치추적 센서, 자이로 센서 및 스테레오 스코핑 RGB 카메라가 부착된 것이 바람직하다.
또는, 바람직하게는 상기 위치추적 센서는 가속도계를 이용하여 HMD의 위치를 추적할 수 있는 센서인 것일 수 있고, 상기 자이로 센서는 6축 자이로 센서인 것일 수 있으며, 상기 크로마키 스크린에 조명광을 조사하는 조명시스템을 더 포함하는 것일 수 있다.
더하여, 상기 임베디드 입/출력 장치는, 모바일 PC, 스마트폰, 테블릿 PC 및 PDA 중 어느 하나인 것이 바람직하다.
그리고 본 발명의 제2 특징은 상기 제1항의 시스템을 이용하여 가상현실 구현방법에 있어서, (a) 상기 입출력 임베디드 장치가 좌표를 보정하고 시스템 셋업하는 단계; (b) 상기 입출력 임베디드 장치가 상기 동작인식 카메라에서 상기 HMD의 깊이정보를 수신받아 가상현실내 깊이정보로 입력처리 하는 단계; (c) 상기 입출력 임베디드 장치가 HMD에 설치된 센서에 의해 추출된 정보를 통해 HMD 3차원 위치좌표 및 방향좌표를 포함하는 HMD 좌표정보를 추출하는 단계; (d) 상기 가상현실 구현 PC가 상기 HMD 좌표정보를 바탕으로 상기 HMD에 가상현실을 렌더링하는 단계; 및 (e) 상기 렌더링된 이미지를 상기 HMD의 출력장치를 통해 표시하는 단계를 포함한다.
여기서, 상기 (c) 단계에서, 상기 깊이정보와 상기 HMD에 설치된 센서에서 획득한 상기 HMD의 위치정보를 바탕으로 상기 HMD의 3차원 위치좌표를 설정하는 것이 바람직하고, 상기 HMD의 위치좌표는 사용자의 가슴을 중심축으로 방향과 위치를 상대좌표로 산출되고, 상기 가상환현실내의 월드좌표계에서 상대적으로 설정되는 것이 바람직하다.
또한, 바람직하게는 상기 동작인식 카메라에 의해 획득한 상기 사용자의 모션 데이터는 상기 월드좌표계에서 상대적으로 방향 및 위치가 산출되어 상기 가상현실내의 물체와 반응하도록 설정되는 것일 수 있다.
이와 같은 본 발명은 가상현실을 통한 체험을 목적으로 하는 환경에서 장치를 부착하지 않고 또는 장치를 활용하지 않고 체험자의 몸(손, 또는 발, 다리 등)을 통해서 가상의 물체와 상호작용을 하도록 함으로써, 몰입감을 높일 수 있고, 상호작용을 위해서는 상호작용을 하는 자신의 신체를 자신의 눈으로 볼 수 있도록 하여 조작감을 높일 수 있을 뿐만 아니라, 이를 구현할 수 있는 시스템 구축 비용이 매우 저렴하다는 장점이 있다.
또한, 실환경의 카메라의 스펙과 가상현실 내의 카메라의 스펙( FOV, Eye offset 등)을 동일하게 구성(가상현실의 Rendering 타임, Chromakey 후 Overlap 처리 또한 거의 실시간으로 처리)할 경우 실제 나의 몸이 가상현실 안에 있다고 사용자는 느낄 수 있을 정도의 현실감 및 몰입감을 높일 수 있는 큰 장점이 있다.
도 1은 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템의 블록 구성을 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템의 사용 모식도이고,
도 3은 본 발명의 또 다른 실시예로서, 혼합현실을 이용한 가상현실 시스템을 이용한 가상현실 구현방법의 흐름을 나타낸 도면이고,
도 4는 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 구현방법에서 좌표체계 구현하여 적용하는 흐름을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.
본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템의 블록 구성을 나타낸 도면이다. 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템은, 크로마키 스크린(100); 상기 크로마키 스크린(100) 어느 일측에 위치하여 사용자의 동작을 인식하는 동작인식 카메라(200); 가상현실에 실환경이 혼합된 혼합현실에 입력 또는 출력을 처리하는 입/출력 임베디드 장치(450); 상기 사용자 헤드에 착용되고, 상기 입/출력 임베디드 장치(450)와 연결되어 상기 혼합현실을 디스플레이하는 HMD; 상기 입/출력 임베디드 장치(450)와 연결되어 상기 HMD 장치가 상기 크로마키 스크린(100)에 투영되어 상기 HMD 장치에 상기 가상현실 구현하는 가상현실 구현 PC(400)를 포함하되, 상기 크로마키 스크린(100)을 통한 월드좌표와, 사용자의 HMD 방향좌표 및 상기 동작인식 카메라(200)에서 획득한 동작 인식정보를 매칭하고 렌더링시켜 상기 가상현실과 사용자의 모션을 포함하는 상기 혼합현실을 상기 HMD에 구현하여 디스플레이되는 것을 특징으로 한다.
이와 같은 본발의 실시예에 따른 혼합현실을 이용한 가상현실 시스템은 실환경에 가상환경을 추가하는 증강현실 시스템이 아니라, 가상환경내에 실환경을 구현하고, 동작인식 카메라(200), HMD 및 가상현실 구현 PC(400) 등을 이용하여 가상현실내의 월드자표계로 매칭시켜 객체의 상대적인 조작감을 높이고, 사용자의 체험 몰입도를 높일 수 있는 시스템을 제공한다.
여기서, 크로마키 스크린(100)은 Blue Screen Zone을 형상하는 스크린으로, 크로마키(chroma-key)란 라이트블루의 스크린 앞에 인물이나 물체를 배치하고 컬러 카메라로 촬영하여 이 피사체상(被寫體像)을 아주 다른 화면에 끼워 맞추는 방법을 의미한다. 끼워 맞춰지는 피사체에는 블루 계통의 색을 사용하면 잘 안되지만 반대로 블루 계통의 색을 의식적으로 사용해서 특수한 효과를 낼 수도 있다. 이 기술과정은 모두 전자회로(電子回路)에서 행하여지므로 스위치 조작만으로 순간적으로 합성할 수 있다는 점에서 혼합현실 구현에 적합하다.
이와 같이 본 발명의 실시예에서 적용되는 크로마키 스크린(100)은 모든 벽면 및 천정, 바닥이 균일한 파란색으로 채색된 공간으로, 사람 또는 객체가 그 공간내에서 모션을 취할 수 있을 정도의 공간이 확보된다. 또한 상기 크로마키 스크린(100) 주변에 카메라에 색이 균일하게 들어올 수 있도록 조명광을 형성하는 조명 시스템을 설치하는 것도 바람직하다.
그리고, 동작인식 카메라(200)는 전방에 촬영되는 물체의 동작을 인식할 수 있는 깊이 카메라(Depth Camera)를 의미하여, 키넥트 장치가 그 예로서, 별도의 컨트롤러 없이 사람의 신체와 음성을 감지해 모니터 화면 안에 그대로 반영하는 신개념 동작인식 카메라(200)에 해당한다. 본 발명의 실시예에서는 이와 같은 동작인식 카메라(200)를 통해 HMD를 착용한 사용자의 동작을 3차원으로 인식하고 영상화하여 가상현실내의 월드좌표계와 매칭 시킬 수 있는 좌표 데이터를 제공하게 된다.
HMD(Head Mounted Display)는 사람의 머리에 착용하는 디스플레이 장치를 말하는 것으로, 본 발명의 실시예에서는 사용자의 머리에 착용되어 실환경 및 가상현실이 혼합된 혼합현실을 디스플레이하게 된다.
그리고, HMD 장치에는 위치추적 센서, 자이로 센서 및 스테레오 스코픽 RGB 카메라가 설치되는 것이 바람직한데, 위치추적 센서는 가속도계를 이용하여 현재 HMD의 위치를 추적할 수 있고, 6축의 자이로 센서를 이용하여 현재 HMD의 기울기를 측정할 수 있으며, 스테레오 스코픽 RGB 카메라에 의하여 HMD 착용자의 전방 영상을 캡쳐하여 획득할 수 있게 된다.
이처럼 본 발명의 실시예는 이와 같은 구성을 통해 상기 크로마키 스크린(100)을 통한 월드좌표와, 사용자의 HMD 방향좌표 및 상기 동작인식 카메라(200)에서 획득한 동작 인식정보를 매칭하고 렌더링시켜 상기 가상현실과 사용자의 모션을 포함하는 상기 혼합현실을 상기 HMD에 구현하여 디스플레이하게 된다.
도 2는 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템의 사용 모식도를 나타낸다. 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 시스템을 사용하게 되면, 동작인식 카메라(200)를 통하여 손의 움지임을 HMD 정면에 부착된 스테레오 스코픽 RGB 카메라를 통해 된 자신의 손(신체)를 가상환경 안에서 볼 수 있게 된다. 이를 가상의 오브젝트와 상호작용하고, 실제로는 동작인식 카메라(200)를 통해 얻은 손의 위치와 가상환경의 오브젝트의 위치를 고려하여 상호작용하는 조작 체험(touch, drag 등)을 제공할 수 있게 된다.
도 3은 본 발명의 또 다른 실시예로서, 혼합현실을 이용한 가상현실 시스템을 이용한 가상현실 구현방법의 흐름을 나타낸 도면이다. 도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상현실 구현방법은, 상술한 시스템을 이용하여, (a) 상기 입출력 임베디드 장치가 좌표를 보정하고 시스템 셋업(Set Up)하는 단계(S100); (b) 상기 입출력 임베디드 장치가 상기 동작인식 카메라(200)에서 상기 HMD의 깊이정보를 수신받아 가상현실내 깊이정보로 입력처리 하는 단계(S200); (c) 상기 입출력 임베디드 장치가 HMD에 설치된 센서에 의해 추출된 정보를 통해 HMD 3차원 위치좌표 및 방향좌표를 포함하는 HMD 좌표정보를 추출하는 단계(S300); (d) 상기 가상현실 구현 PC(400)가 상기 HMD 좌표정보를 바탕으로 상기 HMD에 가상현실을 렌더링하는 단계(S400); 및 (e) 상기 렌더링된 이미지를 상기 HMD의 출력장치를 통해 표시하는 단계(S500) 포함하여 구성된다.
이처럼, 본 발명의 실시예는 상술한 혼합현실을 이용한 가상현실 시스템을 이용하여 가상현실을 구현하는 방법으로, 동작인식 카메라(200)에서 획득한 HMD의 3차원 위치좌표와 HMD에 설치된 각종의 센서를 통해 획득한 위치 및 방향좌표를 가상현실 구현 PC(400)에서 추출된 가상현실의 월드좌표와 매칭시켜 HMD를 통해 실환경과 가상현실이 혼합된 혼합현실 영상을 디스플레이하여 구현하는 방법을 제공한다.
도 3에 나타낸 바와 같이, 프로그램이 시작되면, 가상현실 구현 PC(400)에서 동작인식 카메라(200)의 동작을 제어하고, 캘리브레이션 과정을 통해 시스템 셋업하고 프로그램 수행을 준비한다. 크로마키 스크린(100) 상단에 위치한 동작인식 카메라(200)에서 촬영된 동작인식 정보(Depth Map)는 상기 가상현실 구현 PC(400)로 전달되고, 가상현실 구현 PC(400)는 이 동작인식 정보를 분석하여 가상현실내 입력을 처리하게 된다.
상기 입출력 임베디드 장치가 HMD에 설치된 센서에 의해 추출된 정보를 통해 HMD 3차원 위치좌표 및 방향좌표를 포함하는 HMD 좌표정보를 추출하고, 상기 가상현실 구현 PC(400)가 상기 HMD 좌표정보를 바탕으로 상기 HMD의 카메라 뷰포트(camera viewport)에 가상현실을 렌더링하게 된다.
그리고 나서, 상기 렌더링 된 이미지를 출력하 상기 입출력 임베디드 장치에 보내고, 상기 입출력 임베디드 장치에 연결된 HMD 장치에 의해 상기 렌더링 된 이미지를 디스플레이하게 된다.
이처럼 본 발명의 실시예에 따른 가상현실 구현방법은 가상현실을 통한 체험을 목적으로 하는 환경에서 장치를 부착하지 않고 또는 장치를 활용하지 않고 체험자의 몸(손, 또는 발, 다리 등)을 통해서 가상의 물체와 상호작용을 하도록 함으로써, 몰입감을 높일 수 있고, 상호작용을 위해서는 상호작용을 하는 자신의 신체를 자신의 눈으로 볼 수 있도록 하여 조작감을 높일 수 있을 뿐만 아니라, 이를 구현할 수 있는 시스템 구축 비용이 매우 저렴하다는 장점이 있다..
또한, 본 발명의 실시예에 따른 가상현실 구현방법을 제공하면, 실환경의 카메라의 스펙과 가상현실 내의 카메라의 스펙( FOV, Eye offset 등)을 동일하게 구성(가상현실의 Rendering 타임, Chromakey 후 Overlap 처리 또한 거의 실시간으로 처리)할 경우 실제 나의 몸이 가상현실 안에 있다고 사용자는 느낄 수 있을 정도의 현실감 및 몰입감을 높일 수 있는 큰 장점이 있다.
도 4는 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 구현방법에서 좌표체계 구현하여 적용하는 흐름을 나타낸 도면이다. 도 2 및 도 4에 나타낸 바와 같이, 모든 행위의 원점은 실험자의 가슴을 중심축으로 하며 그에 따른 상대좌표로 손(상호작용을 하는 신체)의 위치를 트랙킹(Tracking) 하고, HMD의 방향과 위치 또한 가슴을 중심축으로 상대좌표로 구해진다. 사용자의 중심축은 가상환경내의 월드좌표계에서 상대적으로 구해진다.
손(상호작용을 하는 신체)은 다시 월드좌표계의 위치로 계산 되어지고, 가상환경내의 객체(Object)들과 반응을 하고 HMD의 방향좌표는 월드좌표계로 변환되어져 렌더링(Rendering)시 카메라의 위치와 방향을 정한다. 즉, 테스트베드(TestBed) 내에서 HMD 방향, 위치와 신체의 좌표는 월드좌표계와 독립적으로 테스트베드(TestBed) 기본 좌표에서 입력되어진다.
위와 같은 시스템 및 구현방법의 장점은 가상환경내에서 아바타(사용자의 가상환경 인물)의 몸의 방향(이동방향등과 연관)과 머리 회전의 독립성을 보장하며 머리 회전에 따른 출력화면과 상호작용의 독립성을 보장한다.(즉, 보지 않고 물건을 집거나 터치하거나 하는 행위가 가능)
또한, 상호작용을 하는 신체(손)가 실/가상의 카메라의 동일한 세팅값을 가지고 크로마키 되어 HMD에 출력될 경우 가상환경과 이질감을 줄일 수 있다. 즉,실제 카메라와 가상현실 렌더링 용 카메라의 설정이 동일하고 충분히 빠른 크로마키 프로세싱이 이루어질 경우, 가상현실 Frame rate 내에서의 처리할 수 있게 된다.
도 4를 참조하여 좌표계 처리 프로세스를 살펴보면, 가상현실 구현 PC(400)는 시스템 셋업 단계에서 HMD에 설치된 카메라의 영상 이미지를 바탕으로 크로마키 벡터를 추출 처리하고, 처리된 후, HMD의 카메라에서 획득한 카메라 프레임 이미지로부터 실환경 이미지 프레임을 추출하여 가상현실 이미지 및 상기 추출된 실환경 이미지를 혼합하여 혼합현실 프레임 이미지를 생성하게 된다.
생성된 혼합현실 프레임 이미지는 HMD 장치에 입/출력 임베디드 장치(450)를 통해 전송되고, HMD 장치에서 상기 혼합현실 이미지를 디스플레이하게 된다. 여기서 혼합현실 프레임 이미지는 HMD의 3차원 위치좌표 및 방향좌표와 함께 HMD에 설치된 카메라 및 각종의 센서를 통해 산출된 좌표 데이터를 분석하여 가상현실내의 월드좌표계에 대응되는 3차원 위치좌표 및 방황좌표로 변환 또는 산출한 좌표를 기준으로 생성된 이미지이다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100: 크로마키 스크린, 200: 동작인식 카메라, 300: HMD,
450: 입/출력 임베디드 장치, 400: 가상현실 구현 PC

Claims (11)

  1. 크로마키 스크린;
    상기 크로마키 스크린 어느 일측에 위치하여 사용자의 동작을 인식하는 동작인식 카메라;
    가상현실에 실환경이 혼합된 혼합현실에 입력 또는 출력을 처리하는 입/출력 임베디드 장치;
    상기 사용자 헤드에 착용되고, 상기 입/출력 임베디드 장치와 연결되어 상기 혼합현실을 디스플레이하는 HMD;
    상기 입/출력 임베디드 장치와 연결되어 상기 HMD 장치가 상기 크로마키 스크린에 투영되어 상기 HMD 장치에 상기 가상현실 구현하는 가상현실 구현 PC를 포함하되,
    상기 크로마키 스크린을 통한 월드좌표와, 사용자의 HMD 방향좌표 및 상기 동작인식 카메라에서 획득한 동작 인식정보를 매칭하고 렌더링시켜 상기 가상현실과 사용자의 모션을 포함하는 상기 혼합현실을 상기 HMD에 구현하여 디스플레이되는 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  2. 제1항에 있어서,
    상기 동작인식 카메라는,
    사용자의 동작을 인식할 수 있는 깊이 카메라(Depth Camera)인 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  3. 제1항에 있어서,
    상기 HMD는,
    위치추적 센서, 자이로 센서 및 스테레오 스코픽 RGB 카메라가 부착된 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  4. 제3항에 있어서,
    상기 위치추적 센서는 가속도계를 이용하여 HMD의 위치를 추적할 수 있는 센서인 것을 특징으로 혼합현실을 이용한 가상현실 시스템.
  5. 제3항에 있어서,
    상기 자이로 센서는 6축 자이로 센서인 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  6. 제1항에 있어서,
    상기 크로마키 스크린에 조명광을 조사하는 조명시스템을 더 포함하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  7. 제1항에 있어서,
    상기 임베디드 입/출력 장치는,
    모바일 PC, 스마트폰, 테블릿 PC 및 PDA 중 어느 하나인 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  8. 상기 제1항의 시스템을 이용하여 가상현실 구현방법에 있어서,
    (a) 상기 입출력 임베디드 장치가 좌표를 보정하고 시스템 셋업하는 단계;
    (b) 상기 입출력 임베디드 장치가 상기 동작인식 카메라에서 상기 HMD의 깊이정보를 수신받아 가상현실내 깊이정보로 입력처리 하는 단계;
    (c) 상기 입출력 임베디드 장치가 HMD에 설치된 센서에 의해 추출된 정보를 통해 HMD 3차원 위치좌표 및 방향좌표를 포함하는 HMD 좌표정보를 추출하는 단계;
    (d) 상기 가상현실 구현 PC가 상기 HMD 좌표정보를 바탕으로 상기 HMD에 가상현실을 렌더링하는 단계; 및
    (e) 상기 렌더링된 이미지를 상기 HMD의 출력장치를 통해 표시하는 단계를 포함하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  9. 제8항에 있어서,
    상기 (c) 단계에서,
    상기 깊이정보와 상기 HMD에 설치된 센서에서 획득한 상기 HMD의 위치정보를 바탕으로 상기 HMD의 3차원 위치좌표를 설정하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  10. 제9항에 있어서,
    상기 HMD의 위치좌표는 사용자의 가슴을 중심축으로 방향과 위치를 상대좌표로 산출되고, 상기 가상환현실내의 월드좌표계에서 상대적으로 설정되는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  11. 제10항에 있어서,
    상기 동작인식 카메라에 의해 획득한 상기 사용자의 모션 데이터는 상기 월드좌표계에서 상대적으로 방향 및 위치가 산출되어 상기 가상현실내의 물체와 반응하도록 설정되는 것을 특징으로 혼합현실을 이용한 가상현실 구현방법.



KR1020140078406A 2014-06-25 2014-06-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 KR101638550B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140078406A KR101638550B1 (ko) 2014-06-25 2014-06-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140078406A KR101638550B1 (ko) 2014-06-25 2014-06-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Publications (2)

Publication Number Publication Date
KR20160000986A true KR20160000986A (ko) 2016-01-06
KR101638550B1 KR101638550B1 (ko) 2016-07-12

Family

ID=55164940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140078406A KR101638550B1 (ko) 2014-06-25 2014-06-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Country Status (1)

Country Link
KR (1) KR101638550B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204581A1 (ko) * 2016-05-26 2017-11-30 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
WO2019009676A1 (en) * 2017-07-07 2019-01-10 Samsung Electronics Co., Ltd. DEVICE TRACKING SYSTEM AND METHODS
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
KR20210063723A (ko) * 2019-11-25 2021-06-02 한국전자기술연구원 Hmd를 착용한 사용자의 자세 추정 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101696243B1 (ko) 2016-07-22 2017-01-13 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090401A (ko) * 2009-02-06 2010-08-16 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR20100118943A (ko) * 2009-04-29 2010-11-08 주식회사 아코엔터테인먼트 증강 현실 외국어 체험 학습 시스템
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20130137692A (ko) 2011-03-29 2013-12-17 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
KR20140001167A (ko) 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090401A (ko) * 2009-02-06 2010-08-16 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR20100118943A (ko) * 2009-04-29 2010-11-08 주식회사 아코엔터테인먼트 증강 현실 외국어 체험 학습 시스템
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20130137692A (ko) 2011-03-29 2013-12-17 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
KR20140001167A (ko) 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204581A1 (ko) * 2016-05-26 2017-11-30 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN109196406A (zh) * 2016-05-26 2019-01-11 庆北大学校产学协力团 利用混合现实的虚拟现实系统及其实施方法
US10587868B2 (en) 2016-05-26 2020-03-10 Kyungpook National University Industry-Academic Cooperation Foundation Virtual reality system using mixed reality and implementation method thereof
CN109196406B (zh) * 2016-05-26 2021-06-04 庆北大学校产学协力团 利用混合现实的虚拟现实系统及其实施方法
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
WO2019009676A1 (en) * 2017-07-07 2019-01-10 Samsung Electronics Co., Ltd. DEVICE TRACKING SYSTEM AND METHODS
US10565724B2 (en) 2017-07-07 2020-02-18 Samsung Electronics Co., Ltd. System and methods for device tracking
KR20210063723A (ko) * 2019-11-25 2021-06-02 한국전자기술연구원 Hmd를 착용한 사용자의 자세 추정 방법

Also Published As

Publication number Publication date
KR101638550B1 (ko) 2016-07-12

Similar Documents

Publication Publication Date Title
CN113168007B (zh) 用于增强现实的系统和方法
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US9367136B2 (en) Holographic object feedback
US11217024B2 (en) Artificial reality system with varifocal display of artificial reality content
US11755122B2 (en) Hand gesture-based emojis
US20180190022A1 (en) Dynamic depth-based content creation in virtual reality environments
EP2434458A2 (en) Image processing program, apparatus, system, and method for mixed reality
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
TW201447375A (zh) 擴增實境之頭戴式電子裝置及方法
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
EP3262505B1 (en) Interactive system control apparatus and method
KR20230044041A (ko) 증강 및 가상 현실을 위한 시스템 및 방법
CN112639685B (zh) 模拟现实（sr）中的显示设备共享和交互
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
KR20230022239A (ko) 증강 현실 환경 향상
US20220155881A1 (en) Sensing movement of a hand-held controller
US11036987B1 (en) Presenting artificial reality content using a mirror
US20240077935A1 (en) Virtual interfaces for controlling iot devices
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
WO2021153413A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2024047006A (ja) 情報処理システムおよびプログラム
JP2024047008A (ja) 情報処理システム
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 4