KR20240062676A - 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법 - Google Patents

입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법 Download PDF

Info

Publication number
KR20240062676A
KR20240062676A KR1020220144454A KR20220144454A KR20240062676A KR 20240062676 A KR20240062676 A KR 20240062676A KR 1020220144454 A KR1020220144454 A KR 1020220144454A KR 20220144454 A KR20220144454 A KR 20220144454A KR 20240062676 A KR20240062676 A KR 20240062676A
Authority
KR
South Korea
Prior art keywords
virtual reality
reality image
mode
unit
user
Prior art date
Application number
KR1020220144454A
Other languages
English (en)
Inventor
양인범
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020220144454A priority Critical patent/KR20240062676A/ko
Publication of KR20240062676A publication Critical patent/KR20240062676A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상현실 구현 시스템은 가상현실 영상을 표시하는 가상현실 영상 구현부, 상기 가상현실 영상을 생성하는 가상현실 영상 처리부, 상기 가상현실 영상을 저장하는 가상현실 영상 저장부, 유무선 통신망을 사용하는 통신 모듈을 포함하는 통신부, 상기 가상현실 영상 구현부에 의해 촬영되고, 상기 가상현실 영상 내에서 사용자의 위치 및 방향을 결정하는 기준을 제공하는 입체표식기, 및 상기 가상현실 영상 구현부, 상기 가상현실 영상 처리부, 상기 가상현실 영상 저장부, 및 상기 통신부의 동작을 제어하는 중앙제어부를 포함할 수 있다. 상기 가상현실 영상의 모드는 상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함할 수 있다.
상기 중앙제어부는 상기 가상현실 영상의 상기 모드를 판단하고, 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기를 사용하는 것으로 결정할 수 있다.

Description

입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법{VIRTUAL REALITY REALIZATION SYSTEM AND VIRTUAL REALITY REALIZATION METHOD FOR RECOGNIZING LOCATION AND DIRECTION OF USER USING STEREOSCOPIC MARKER}
본 발명은 가상현실 구현 시스템 및 가상현실 구현 방법에 관한 것으로, 보다 상세하게는 입체표식기를 이용하여 복수의 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법에 관한 것이다.
일반적으로 디스플레이를 통해서 표시되는 화면 영상은 실사를 직접적으로 전달하는 현실영상 전달방법과 컴퓨터를 통해서 만들어진 현실 모사 또는 현실세계에 존재하지 않는 가상 영상을 전달하는 가상현실영상 전달 방법이 있다.
최근 영상처리 및 정보통신 기술의 발달로 실시간으로 단수 또는 복수 사용자의 위치 및 방향 검출과 동시에 각각의 사용자의 시점에 해당하는 영상을 제공할 수 있는 가상현실 환경을 구비할 수 있게 되었다.
일반적으로 상기 가상현실 환경에서는 사용자의 위치 또는 방향 검출 방법으로는 고정 환경에서 구비된 고정센서가 사용자가 구비한 단수 또는 복수개의 마커를 인지하는 방법과 사용자가 구비한 복수개의 센서와 상호 인지하는 방법이 있다.
상기 고정 환경에서 고정센서와 단수 또는 복수개의 마커를 인지하고, 마커 상에 해당 가상 현실 또는 증강현실을 구현하는 방식은 제한적인 공간에서 구현되는 문제점이 존재한다. 또한 사용자가 구비한 단수 또는 복수개의 센서와 상호 인지하는 마커리스 방법은 고정 환경을 미리 촬영한 실사를 이용하는 경우 이 외에 상호 인식성의 불안정으로 인해서 개방 환경에서 사용할 수 없는 문제점이 있다.
한편, 종래의 발명에서는 사용자의 동작 및 걸음걸이의 패턴 인식을 통한 보행자의 방향만을 추정하는 방법이 제안되었다.(특허문헌 0001) 그러나, 종래의 방법으로는 사용자의 위치 및 복수 사용자의 상호 위치를 추종하기 불가능 하다. 또한 모션 인식 기반의 보행자 위치를 추정하는 방법이 제안되었으나(특허문헌 0002), 상기 발명에서도 복수 사용자의 상호 위치는 추종하기 불가능하다.
그리고, 종래의 발명에서 단수 또는 복수의 사용자의 상호 위치를 추종하기 위해 복수개의 센서를 이용한 증강현실 장치 방향 트레킹 시스템을 제안했다.(특허 문헌 0003) 상기 발명에서는 사용자가 구비한 복수개의 센서와 고정 환경에 대한 정보를 보유하고 있는 장치와 복수개의 센서를 통해서, 단수 또는 복수의 사용자의 방향 및 위치를 추종하나, 환경 정보가 불확실한 개방 환경 또는 임의의 환경에서는 복수 사용자간 상호 위치 추종이 불가능하다.
상기 마커 또는 마커리스 방법의 가상현실은 다양한 분야에서 사용될 수 있으나, 복수의 사용자간 협업과 같은 사용자의 시선에 따라 가상현실을 구현하는 서비스를 제공하기에는, 실시간 렌더링(Rendering), 구현환경의 제약, 장비 운용비용 등 다양한 문제점이 존재한다.
(특허문헌 1) KR 10-1472960 B1
(특허문헌 1) KR 10-1473653 B1
(특허문헌 1) KR 10-1285913 B1
본 발명의 일 목적은 입체표식기를 이용하여 가상현실 영상 내의 사용자 위치 및 방향을 판단함으로써, 복수의 사용자 각각의 가상현실 영상을 최적화하는 가상현실 구현 시스템을 제공하는 것이다.
본 발명의 다른 목적은 가상현실 영상의 모드를 판단하고, 사용자가 동일한 화면을 시청하는 제1 모드에서 동일한 종류의 입체표식기를 사용하고, 사용자가 서로 다른 화면을 시청하는 제2 모드에서 서로 다른 종류의 입체표식기를 사용하는 가상현실 구현 시스템을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기 언급된 과제에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 가상현실 구현 시스템은 가상현실 영상을 표시하는 가상현실 영상 구현부, 상기 가상현실 영상을 생성하는 가상현실 영상 처리부, 상기 가상현실 영상을 저장하는 가상현실 영상 저장부, 유무선 통신망을 사용하는 통신 모듈을 포함하는 통신부, 상기 가상현실 영상 구현부에 의해 촬영되고, 상기 가상현실 영상 내에서 사용자의 위치 및 방향을 결정하는 기준을 제공하는 입체표식기, 및 상기 가상현실 영상 구현부, 상기 가상현실 영상 처리부, 상기 가상현실 영상 저장부, 및 상기 통신부의 동작을 제어하는 중앙제어부를 포함할 수 있다. 상기 가상현실 영상의 모드는 상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함할 수 있다. 상기 중앙제어부는 상기 가상현실 영상의 상기 모드를 판단하고, 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기를 사용하는 것으로 결정할 수 있다.
일 실시예에서, 상기 제1 모드는 상기 사용자 각각이 동일한 공간에서 동일한 화면을 시청하는 강의 모드일 수 있다. 상기 제1 모드에서 상기 사용자 각각은 동일한 종류의 상기 입체표식기를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정될 수 있다.
일 실시예에서, 상기 제2 모드는 상기 사용자 각각이 서로 다른 공간에서 서로 다른 화면을 시청하는 회의 모드일 수 있다. 상기 제2 모드에서 상기 사용자 각각은 서로 다른 종류의 상기 입체표식기를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정될 수 있다.
일 실시예에서, 상기 입체표식기는 복수의 면을 포함하는 입체 형상을 가질 수 있다. 상기 입체표식기의 상기 복수의 면 각각은 서로 다른 마커를 포함할 수 있다.
일 실시예에서, 상기 가상현실 영상 구현부는 상기 입체표식기를 촬영함으로써, 상기 입체표식기의 마커 이미지를 획득하고, 상기 마커 이미지를 상기 가상현실 영상 처리부로 전송할 수 있다.
일 실시예에서, 상기 가상현실 영상 구현부는 자이로 센서를 포함하고, 상기 자이로 센서를 이용하여 상기 사용자의 동작 및 움직임을 감지함으로써, 상기 사용자의 동작 패턴을 결정할 수 있다.
일 실시예에서, 가상현실 영상 처리부는 가상현실을 연산하여 가상현실 연산 정보를 생성하고, 상기 가상현실 연산 정보에 기초하여 상기 가상현실 영상 구현부에 표시되는 상기 가상현실 영상을 생성할 수 있다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 가상현실 구현 방법은 가상현실을 연산하는 단계, 가상현실 영상의 모드를 판단하는 단계, 상기 가상현실 영상의 상기 모드에 기초하여 입체표식기의 종류를 결정하는 단계, 사용자의 위치 및 방향을 인식하는 단계, 상기 가상현실 영상을 생성하는 단계, 및 상기 가상현실 영상을 표시하는 단계를 포함할 수 있다. 상기 가상현실 영상의 상기 모드는 상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함할 수 있다. 상기 가상현실 영상의 상기 모드에 기초하여 입체표식기의 종류를 결정하는 단계는 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기를 사용하는 것으로 결정할 수 있다.
본 발명의 가상현실 구현 시스템은 입체표식기를 이용하여 가상현실 영상 내의 사용자 위치 및 방향을 판단함으로써, 복수의 사용자 각각의 가상현실 영상을 최적화할 수 있다.
또한, 본 발명의 가상현실 구현 시스템은 가상현실 영상의 모드를 판단하고, 사용자가 동일한 화면을 시청하는 제1 모드에서 동일한 종류의 입체표식기를 사용하고, 사용자가 서로 다른 화면을 시청하는 제2 모드에서 서로 다른 종류의 입체표식기를 사용할 수 있다.
따라서, 본 발명의 가상현실 구현 시스템은 사용자 각각의 위치 및 방향을 고려하여 가상현실 환경에 최적화된 영상을 제공할 수 있다.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 가상현실 구현 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 입체표식기의 일 예시를 나타내는 도면이다.
도 3은 사용자가 동일한 화면을 시청하는 제1 모드의 일 예시를 나타내는 도면이다.
도 4는 도 3의 제1 모드에서 사용자 별 가상현실 영상 구현부 및 각각의 가상현실 영상 구현부에 대응되는 입체표식기를 나타내는 도면이다.
도 5는 사용자가 서로 다른 화면을 시청하는 제2 모드의 일 예시를 나타내는 도면이다.
도 6은 도 5의 제2 모드에서 사용자 별 가상현실 영상 구현부 및 각각의 가상현실 영상 구현부에 대응되는 입체표식기를 나타내는 도면이다.
도 7은 입체표식기를 이용한 가상현실 구현 시스템에 따른 가상현실 구현 방법을 나타내는 순서도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들면 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들면 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예들에 따른 가상현실 구현 시스템(10)의 구성을 나타내는 도면이고, 도 2는 본 발명의 입체표식기(500)의 일 예시를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 가상현실 구현 시스템(10)은 가상현실 영상 구현부(100), 가상현실 영상 처리부(200), 가상현실 영상 저장부(300), 통신부(400), 입체표식기(500), 중앙제어부(600)를 포함할 수 있다.
본 발명의 가상현실 구현 시스템(10)은 입체표식기(500)를 이용하여 가상현실 영상 내의 사용자 위치 및 방향을 판단함으로써, 복수의 사용자 각각의 가상현실 영상을 최적화할 수 있다.
구체적으로, 가상현실 구현 시스템(10)은 가상현실 영상을 표시하는 가상현실 영상 구현부(100), 상기 가상현실 영상을 생성하는 가상현실 영상 처리부(200), 상기 가상현실 영상을 저장하는 가상현실 영상 저장부(300), 유무선 통신망을 사용하는 통신 모듈을 포함하는 통신부(400), 상기 가상현실 영상 구현부(100)에 의해 촬영되고, 상기 가상현실 영상 내에서 사용자의 위치 및 방향을 결정하는 기준을 제공하는 입체표식기(500), 및 상기 가상현실 영상 구현부(100), 상기 가상현실 영상 처리부(200), 상기 가상현실 영상 저장부(300), 및 상기 통신부(400)의 동작을 제어하는 중앙제어부(600)를 포함할 수 있다.
가상현실 영상 구현부(100)는 가상현실 영상을 표시하는 표시 장치일 수 있다.
가상현실 영상 구현부(100)는 마커 이미지 입력부, 마커 이미지 송신부, 가상현실 영상 수신부, 및 가상현실 영상 출력부를 포함할 수 있다.
구체적으로, 가상현실 영상 구현부(100)는 입체표식기(500)로부터 마커 이미지를 획득하고, 마커 이미지를 가상현실 영상 처리부(200)로 전송할 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 입체표식기(500)로부터 마커 이미지를 얻을 수 있는 마커 이미지 입력부, 마커 이미지를 가상현실 영상 처리부(200)로 전송하는 마커 이미지 송신부를 포함할 수 있다.
예를 들어, 마커 이미지 입력부는 입체표식기(500)로부터 마커 이미지를 획득하기 위한 카메라 등과 같은 촬영 수단일 수 있다.
구체적으로, 가상현실 영상 구현부(100)는 가상현실 영상 처리부(200)로부터 가상현실 영상을 수신하고, 가상현실 영상을 사용자에게 표시할 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 가상현실 영상 처리부(200)로부터 가상현실 영상을 수신하는 가상현실영상 수신부, 및 가상현실 영상을 사용자에게 출력하는 가상현실영상 출력부를 포함할 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 스마트폰, 태블릿, VR 글래스, AR 글래스, 데스크톱 PC, 및 노트북 PC 등 일 수 있다.
가상현실 영상 구현부(100)는 같은 공간 또는 서로 다른 공간에 있는 복수의 사용자들 각각에 대한 위치 및 방향을 반영한 가상현실 영상을 사용자에게 제공할 수 있다.
또한, 가상현실 영상 구현부(100)는 모션 감지 센서를 이용하여 사용자의 동작 및 움직임을 감지할 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 사용자의 동작 및 움직임을 감지하기 위한 자이로 센서를 포함할 수 있다.
가상현실 영상 구현부(100)는 자이로 센서를 통해 사용자의 동작 및 움직임을 감지하고, 복수의 사용자 동작 패턴을 결정할 수 있다. 가상현실 영상 구현부(100)는 사용자 동작 패턴에 대한 가속도 연산을 수행함으로써, 획득해야할 동작 인식률에 따른 프레임 연산 및 동작 대조를 수행할 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 프레임에 따른 연산 속도와 촬영 속도를 연동한 사용자 동작 인식률을 설정할 수 있다.
가상현실 영상 구현부(100)는 사용자가 정지 상태 또는 이에 준하는 정적인 상태일 때, 동작의 변화가 상대적으로 적음을 감지 후, 동작 인식률을 연산하여 최소 획득 프레임을 최적화함으로써, 전반적인 시스템 부하를 최소화할 수 있다.
가상현실 영상 처리부(200)는 마커 이미지 수신부, 마커 이미지 인식부, 위치/방향 연산부, 위치/방향 송신부, 가상현실 연산부, 및 가상현실 송신부를 포함할 수 있다.
구체적으로, 가상현실 영상 처리부(200)는 마커 이미지를 수신하고, 마커 이미지를 검출할 수 있다.
예를 들어, 가상현실 영상 처리부(200)는 가상현실 영상 구현부(100)로부터 획득한 마커 이미지를 수신하는 마커 이미지 수신부, 마커 이미지를 검출하는 마커 이미지 인식부를 포함할 수 있다.
구체적으로, 가상현실 영상 처리부(200)는 마커 이미지로부터 사용자의 위치 및 방향을 연산하고, 사용자의 위치 및 방향 정보를 전달할 수 있다.
예를 들어, 가상현실 영상 처리부(200)는 상기 획득한 마커 이미지로부터 사용자의 위치 및 방향을 연산하는 위치/방향 연산부, 및 위치 및 방향 정보를 전달하는 위치/방향 송신부를 포함할 수 있다.
구체적으로, 가상현실 영상 처리부(200)는 가상현실을 연산하고, 가상현실 연산 정보에 기초하여 가상현실 영상을 생성하고, 가상현실 영상을 가상현실 영상 구현부(100)로 전송할 수 있다.
예를 들어, 가상현실 영상 처리부(200)는 가상현실 영상 구현부(100)에 표시될 가상현실을 연산하여 가상현실 연산 정보를 생성하는 가상현실 연산부, 및 가상현실 영상을 생성하고, 가상현실 영상을 가상현실 영상 구현부(100)로 송신하는 가상현실 송신부를 포함할 수 있다.
가상현실 영상 저장부(300)는 가상현실 영상을 저장할 수 있다. 가상현실 영상 저장부(300)는 가상현실 영상정보를 저장하고 있는 가상현실 DB와 가상현실 영상을 가상현실 영상 처리부(200)로 송출하는 가상현실 송신부를 포함할 수 있다.
가상현실 영상 저장부(300)는 비휘발성 메모리로 구성될 수 있다.
가상현실 영상 저장부(300)는 가상현실 영상 정보뿐만 아니라 관련 응용프로그램을 포함할 수 있다.
또한, 가상현실 영상 저장부(300)는 가상현실 영상 구현부(100)에서 자이로 센서에 의해 획득된 사용자의 동작 및 움직임에 따른 영상을 저장할 수 있다.
통신부(400)는 가상현실 영상 구현부(100)와 가상현실 영상 처리부(200) 간 통신을 위한 유무선 통신망을 사용하는 통신 모듈을 포함할 수 있다.
통신부(400)는 상기 통신망을 통해서 통신망 사업자와 네트워크가 가능하여, 다른 공간에 있는 단수 또는 복수의 사용자에 서비스를 제공할 수 있다.
예를 들어, 통신부(400)는 가상현실 영상 구현부(100)에서 실시간으로 가상현실 영상을 표시하도록 가상현실 영상 처리부(200)와 가상현실 영상 구현부(100)의 데이터 통신을 중계할 수 있다.
입체표식기(500)는 다양한 입체형상을 가질 수 있다.
입체표식기(500)는 입체형상의 각 면에 서로 다른 마커를 포함할 수 있다.
도 2를 참조하면, 입체표식기(500)는 복수의 면(예컨대, 면1, 면2, 면3)을 포함하는 3차원 형상을 가질 수 있다.
입체표식기(500)의 각 면에는 서로 다른 특정 마커가 형성될 수 있다. 예를 들어, 면1에 포함된 마커, 면2에 포함된 마커, 및 면3에 포함된 마커는 서로 다른 모양 및 크기를 가질 수 있다.
서로 다른 위치에 있는 사용자는 입체표식기(500)의 각 면에 포함된 서로 다른 마커를 보는 거리 및 각도가 상이하므로, 사용자 별로 입체표식기(500)의 각 면에 있는 마커의 크기 및 기울기가 다르게 보일 수 있다.
예를 들어, 가상현실 영상 구현부(100)는 인지한 입체표식기(500)의 각 면에 대한 수평기울기 및 수직기울기를 측정할 수 있다.
또한, 가상현실 영상 구현부(100)는 인지한 입체표식기(500)의 각 면에 포함된 마커의 형상을 측정할 수 있다.
또한, 가상현실 영상 구현부(100)는 마커 이미지의 픽셀 단위와 가상현실 영상 구현부(100)의 해상도를 비교하여, 사용자와 입체표식기(500) 사이의 절대 깊이(depth)를 추정할 수 있다.
중앙제어부(600)는 시스템 온/오프, 시스템 초기화, 환경저장 등을 수행하는 통합 시스템 관리 프로그램을 포함할 수 있다.
예를 들어, 중앙제어부(600)는 가상현실 영상 구현부(100), 가상현실 영상 처리부(200), 가상현실 영상 저장부(300), 및 통신부(400) 각각의 통합 전원관리, 환경 관리를 수행할 수 있다.
일 실시예에서, 중앙제어부(600)는 상기 가상현실 영상의 상기 모드를 판단할 수 있다.
상기 가상현실 영상의 모드는 상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함할 수 있다.
예를 들어, 상기 중앙제어부(600)는 상기 가상현실 영상의 상기 모드를 판단하고, 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기(500)를 사용하는 것으로 결정할 수 있다.
예를 들어, 상기 중앙제어부(600)는 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기(500)를 사용하는 것으로 결정할 수 있다.
즉, 본 발명의 가상현실 구현 시스템(10)은 가상현실 영상의 모드를 판단하고, 사용자가 동일한 화면을 시청하는 제1 모드에서 동일한 종류의 입체표식기(500)를 사용하고, 사용자가 서로 다른 화면을 시청하는 제2 모드에서 서로 다른 종류의 입체표식기(500)를 사용할 수 있다.
따라서, 본 발명의 가상현실 구현 시스템(10)은 사용자 각각의 위치 및 방향을 고려하여 가상현실 환경에 최적화된 영상을 제공할 수 있다.
도 3은 사용자가 동일한 화면을 시청하는 제1 모드의 일 예시를 나타내는 도면이고, 도 4는 도 3의 제1 모드에서 사용자 별 가상현실 영상 구현부(100) 및 각각의 가상현실 영상 구현부(100)에 대응되는 입체표식기(500)를 나타내는 도면이다.
도 3을 참조하면, 상기 제1 모드는 상기 사용자 각각이 동일한 공간에서 동일한 화면을 시청하는 강의 모드일 수 있다.
상기 제1 모드에서 상기 사용자 각각은 동일한 종류의 상기 입체표식기(500)를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정될 수 있다.
도 4에서 보듯이, 상기 사용자 각각이 소유한 상기 가상현실 영상 구현부(100a, 100b, 100c)는 하나의 동일한 입체표식기(500)를 촬영할 수 있다.
동일한 화면을 시청하는 경우, 상기 사용자 각각이 소유한 상기 가상현실 영상 구현부(100a, 100b, 100c)는 동일한 입체표식기(500)를 서로 다른 거리 및 각도로 인식하므로, 가상현실 영상 내의 상기 사용자 각각의 위치 및 방향을 인식할 수 있다.
도 5는 사용자가 서로 다른 화면을 시청하는 제2 모드의 일 예시를 나타내는 도면이고, 도 6은 도 5의 제2 모드에서 사용자 별 가상현실 영상 구현부(100) 및 각각의 가상현실 영상 구현부(100)에 대응되는 입체표식기(500)를 나타내는 도면이다.
도 5를 참조하면, 상기 제2 모드는 상기 사용자 각각이 서로 다른 공간에서 서로 다른 화면을 시청하는 회의 모드일 수 있다.
상기 제2 모드에서 상기 사용자 각각은 서로 다른 종류의 상기 입체표식기(500)를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정될 수 있다.
도 6에서 보듯이, 상기 사용자 각각이 소유한 상기 가상현실 영상 구현부(100a, 100b, 100c)는 서로 다른 입체표식기(500a, 500b, 500c)를 촬영할 수 있다.
서로 다른 화면을 시청하는 경우, 상기 사용자 각각이 소유한 상기 가상현실 영상 구현부(100a, 100b, 100c)는 서로 다른 입체표식기(500a, 500b, 500c)를 인식하므로, 가상현실 영상 내의 상기 사용자 각각의 위치 및 방향을 정확히 인식할 수 있다.
따라서, 본 발명의 가상현실 구현 시스템(10)은 사용자 각각의 위치 및 방향을 고려하여 가상현실 환경에 최적화된 영상을 제공할 수 있다.
도 7은 입체표식기(500)를 이용한 가상현실 구현 시스템(10)에 따른 가상현실 구현 방법을 나타내는 순서도이다.
도 7을 참조하면, 가상현실 구현 방법은 가상현실을 연산하는 단계(S100), 가상현실 영상의 모드를 판단하는 단계(S200), 상기 가상현실 영상의 상기 모드에 기초하여 입체표식기(500)의 종류를 결정하는 단계(S300), 사용자의 위치 및 방향을 인식하는 단계(S400), 상기 가상현실 영상을 생성하는 단계(S500), 및 상기 가상현실 영상을 표시하는 단계(S600)를 포함할 수 있다.
상기 가상현실 영상의 상기 모드는 상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함할 수 있다.
상기 가상현실 영상의 상기 모드에 기초하여 입체표식기(500)의 종류를 결정하는 단계는 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기(500)를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기(500)를 사용하는 것으로 결정할 수 있다.
즉, 본 발명의 가상현실 구현 방법은 입체표식기(500)를 이용하여 가상현실 영상 내의 사용자 위치 및 방향을 판단함으로써, 복수의 사용자 각각의 가상현실 영상을 최적화할 수 있다.
또한, 본 발명의 가상현실 구현 방법은 가상현실 영상의 모드를 판단하고, 사용자가 동일한 화면을 시청하는 제1 모드에서 동일한 종류의 입체표식기(500)를 사용하고, 사용자가 서로 다른 화면을 시청하는 제2 모드에서 서로 다른 종류의 입체표식기(500)를 사용할 수 있다.
따라서, 본 발명의 가상현실 구현 방법은 사용자 각각의 위치 및 방향을 고려하여 가상현실 환경에 최적화된 영상을 제공할 수 있다.
다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 가상현실 구현 시스템
100: 가상현실 영상 구현부
200: 가상현실 영상 처리부
300: 가상현실 영상 저장부
400: 통신부
500: 입체표식기
600: 중앙제어부

Claims (8)

  1. 가상현실 영상을 표시하는 가상현실 영상 구현부;
    상기 가상현실 영상을 생성하는 가상현실 영상 처리부;
    상기 가상현실 영상을 저장하는 가상현실 영상 저장부;
    유무선 통신망을 사용하는 통신 모듈을 포함하는 통신부;
    상기 가상현실 영상 구현부에 의해 촬영되고, 상기 가상현실 영상 내에서 사용자의 위치 및 방향을 결정하는 기준을 제공하는 입체표식기; 및
    상기 가상현실 영상 구현부, 상기 가상현실 영상 처리부, 상기 가상현실 영상 저장부, 및 상기 통신부의 동작을 제어하는 중앙제어부를 포함하고,
    상기 가상현실 영상의 모드는,
    상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함하고,
    상기 중앙제어부는,
    상기 가상현실 영상의 상기 모드를 판단하고, 상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기를 사용하는 것으로 결정하는 것을 특징으로 하는,
    가상현실 구현 시스템.
  2. 제1항에 있어서,
    상기 제1 모드는 상기 사용자 각각이 동일한 공간에서 동일한 화면을 시청하는 강의 모드이고,
    상기 제1 모드에서 상기 사용자 각각은 동일한 종류의 상기 입체표식기를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정되는 것을 특징으로 하는,
    가상현실 구현 시스템.
  3. 제1항에 있어서,
    상기 제2 모드는 상기 사용자 각각이 서로 다른 공간에서 서로 다른 화면을 시청하는 회의 모드이고,
    상기 제2 모드에서 상기 사용자 각각은 서로 다른 종류의 상기 입체표식기를 이용하여 상기 가상현실 영상 내의 위치 및 방향이 결정되는 것을 특징으로 하는,
    가상현실 구현 시스템.
  4. 제1항에 있어서,
    상기 입체표식기는 복수의 면을 포함하는 입체 형상을 가지고,
    상기 입체표식기의 상기 복수의 면 각각은 서로 다른 마커를 포함하는 것을 특징으로 하는,
    가상현실 구현 시스템.
  5. 제1항에 있어서,
    상기 가상현실 영상 구현부는,
    상기 입체표식기를 촬영함으로써, 상기 입체표식기의 마커 이미지를 획득하고, 상기 마커 이미지를 상기 가상현실 영상 처리부로 전송하는 것을 특징으로 하는,
    가상현실 구현 시스템.
  6. 제1항에 있어서,
    상기 가상현실 영상 구현부는,
    자이로 센서를 포함하고, 상기 자이로 센서를 이용하여 상기 사용자의 동작 및 움직임을 감지함으로써, 상기 사용자의 동작 패턴을 결정하는 것을 특징으로 하는,
    가상현실 구현 시스템.
  7. 제1항에 있어서,
    가상현실 영상 처리부는,
    가상현실을 연산하여 가상현실 연산 정보를 생성하고, 상기 가상현실 연산 정보에 기초하여 상기 가상현실 영상 구현부에 표시되는 상기 가상현실 영상을 생성하는 것을 특징으로 하는,
    가상현실 구현 시스템.
  8. 가상현실을 연산하는 단계;
    가상현실 영상의 모드를 판단하는 단계;
    상기 가상현실 영상의 상기 모드에 기초하여 입체표식기의 종류를 결정하는 단계;
    사용자의 위치 및 방향을 인식하는 단계;
    상기 가상현실 영상을 생성하는 단계; 및
    상기 가상현실 영상을 표시하는 단계를 포함하고,
    상기 가상현실 영상의 상기 모드는,
    상기 사용자가 동일한 화면을 시청하는 제1 모드 및 상기 사용자가 서로 다른 화면을 시청하는 제2 모드를 포함하고,
    상기 가상현실 영상의 상기 모드에 기초하여 입체표식기의 종류를 결정하는 단계는,
    상기 가상현실 영상의 상기 모드가 상기 제1 모드인 경우 상기 사용자 각각이 동일한 종류의 상기 입체표식기를 사용하는 것으로 결정하고, 상기 가상현실 영상의 상기 모드가 상기 제2 모드인 경우 상기 사용자 각각이 서로 다른 종류의 상기 입체표식기를 사용하는 것으로 결정하는 것을 특징으로 하는,
    가상현실 구현 방법.
KR1020220144454A 2022-11-02 2022-11-02 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법 KR20240062676A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220144454A KR20240062676A (ko) 2022-11-02 2022-11-02 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220144454A KR20240062676A (ko) 2022-11-02 2022-11-02 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법

Publications (1)

Publication Number Publication Date
KR20240062676A true KR20240062676A (ko) 2024-05-09

Family

ID=91075303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220144454A KR20240062676A (ko) 2022-11-02 2022-11-02 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법

Country Status (1)

Country Link
KR (1) KR20240062676A (ko)

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
JP7241775B2 (ja) 深度推定システムの自己教師ありトレーニング
US11599747B2 (en) Depth prediction from dual pixel images
KR102493185B1 (ko) 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련
US9613463B2 (en) Augmented reality extrapolation techniques
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US20160247318A2 (en) Techniques for Enhanced Accurate Pose Estimation
US9123272B1 (en) Realistic image lighting and shading
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
US10545215B2 (en) 4D camera tracking and optical stabilization
US11373329B2 (en) Method of generating 3-dimensional model data
Zhang et al. Synthetic aperture photography using a moving camera-IMU system
US9449427B1 (en) Intensity modeling for rendering realistic images
JPWO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
US11770551B2 (en) Object pose estimation and tracking using machine learning
US11080884B2 (en) Point tracking using a trained network
KR20240062676A (ko) 입체표식기를 이용하여 사용자의 위치 및 방향을 인식하는 가상현실 구현 시스템 및 가상현실 구현 방법
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
EP3882846B1 (en) Method and device for collecting images of a scene for generating virtual reality data
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
Xu et al. Visual registration for unprepared augmented reality environments
WO2024070654A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CA3102860C (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method
WO2021065607A1 (ja) 情報処理装置および方法、並びにプログラム
JP7124746B2 (ja) 物体の部分位置推定プログラム、物体の部分位置推定用ニューラルネットワーク構造、物体の部分位置推定方法、および物体の部分位置推定装置