KR20200008478A - 실물도구를 포함하는 가상 체험공간 제공 시스템 - Google Patents

Abstract

본 발명은 실물도구를 이용하여 체험자의 몰입감이 향상되도록 하는 혼합현실을 생성하여 체험자에게 제공하는 가상 체험공간 제공 시스템에 관한 것으로, 본 발명은 서로 다른 방향으로 설치되어 내부에 체험공간을 형성하고, 프로젝터에 의해 출력콘텐츠가 출력되는 복수의 출력면들과; 상기 출력면에 출력콘텐츠를 출력하기 위해 서로 다른 방향으로 설치되는 복수의 프로젝터들과; 상기 체험공간 내에 위치한 사용자 오브젝트를 인식하기 위해, 상기 체험공간을 향해 설치되는 키넥트카메라와; 체험공간 내에 구비되어, 사용자에 의한 운용형태에 따라 사용자에게 제공될 혼합현실콘텐츠를 구성하는 가상콘텐츠 생성을 위한 데이터를 제공하는 실물도구와; 사용자의 두부에 착용되어, 현실영상을 취득하고, 생성된 혼합현실을 사용자에게 제공하는 헤드마운트디스플레이; 그리고 상기 프로젝터들의 출력콘텐츠 출력을 제어하고, 상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 수신하며, 상기 헤드마운트로부터 현실영상과 상기 실물도구의 운용형태에 따라 생성된 가상 콘텐츠를 병합하여 혼합현실을 생성하고, 생성된 상기 혼합현실을 상기 헤드마운트디스플레이에 제공하는 제어시스템을 포함하여 구성된다. 이와 같은 본 발명에 의하면, 본 발명에서는 다수의 사용자가 동시에 체험할 수 있는 가상현실 체험공간 내에서 추가적인 실물도구를 구비하여, 실물도구의 운용에 따라 생성된 가상콘텐츠가 부가된 혼합현실을 각 사용자에게 개별적으로 제공할 수 있으므로, 사용자의 개별적인 인터렉션 효과가 제공되는 가상 체험공간을 제공할 수 있는 효과가 있다.

Description

실물도구를 포함하는 가상 체험공간 제공 시스템 { SYSTEM FOR PROVIDING VIRTUAL EXPERIENCE SPACE HAVING REAL OBJECTS }

본 발명은 실물도구를 이용하여 체험자의 몰입감이 향상되도록 하는 혼합현실을 생성하여 체험자에게 제공하는 가상 체험공간 제공 시스템에 관한 것으로, 2015년도 서울시 산학연 협력사업 기업성장기술개발 지원사업 중 '인터렉티브 실감미디어 기술융합 과학학습 체험관 서비스개발' 과제를 수행함에 있어 산출된 결과물에 대한 발명이다.

근래에 멀티미디어 환경의 급속한 발달에 따라, 가상공간의 영상을 사용자에게 제공하는 기술은 이미 널리 보급된 바 있다.

이에 최근에는 제공되는 가상공간에 참여자가 직접 참여하여, 가상공간의 콘텐츠와 서로 인터렉션하는 기술이 개발되고 있다.

이에 따라, 상기 가상공간은 사용자가 참여할 수 있는 물리적인 공간이 마련되고, 상기 물리적인 공간의 벽면은 콘텐츠를 출력할 수 있도록 구현되어, 상기 공간상에 콘텐츠를 출력하고, 사용자는 해당 공간에 참여하여 상기 콘텐츠와 인터렉션하며, 상기 인터렉션의 결과에 따라 재생산된 콘텐츠가 출력된다.

이와 같은, 실감형 체험공간을 제공하기 위해서는, 기본적으로 물리적인 입체 공간상에 콘텐츠를 출력하는 기술과, 참여자의 행위를 통한 사용자 명령을 처리하는 기술 및 사용자의 행동(명령)에 부합하는 콘텐츠를 생성하여 제공하는 기술이 필요하게 된다.

이때, 체험자의 몰입감을 극대화하기 위하여, 체험공간 내에 실제 소품을 배치하고, 체험자가 소품을 운용하는 형태에 맞춰 콘텐츠를 생산하여 제공하는 기술에 대한 필요성이 대두되고 있다.

한편, 참여자 인터렉션을 위한 참여자의 사용자 명령 인식방법은 크게 사용자가 웨어러블디바이스를 착용하는 방법과, 사용자의 액션을 상용화된 키넥트 카메라와 같은 뎁스카메라를 이용하여 참여자의 행동을 인식하는 방식이 있다.

이와 같은 뎁스카메라(키넥트 카메라)를 이용한 사용자의 명령 입력은, 대한민국 공개특허 제10-2016-0075884호 및 본원 특허의 선행 특허 출원 제10-2016-0104053호 등에 개시된 바 있다.

본 발명은 뎁스카메라에 의해 사용자의 모션을 인식하는 방식에 관한 것으로, 뎁스카메라를 이용하여 사용자의 모션을 인식하는 방식의 경우, 하나의 공간에 하나의 사용자(플레이어, 체험자)가 배정되어 이용하는 방식이 주를 이루고 있다.

이는 사용자 인터렉션을 제공하기 위해서는 사용자의 모션을 인식하여야 하는데, 하나의 체험공간 내에서 다수의 사용자가 활동하는 경우, 중첩되는 사용자의 인식결과들로 인하여 사용자 특정에 오류가 빈번히 발생되기 때문이다.

특히, 각각의 사용자별로 실물 도구를 운용하는 형태에 따라 개별적인 가상 콘텐츠를 제공하고자 하는 경우, 사용자 특정에 오류가 발생되면, 다른 사용자에 의해 운용되는 실물도구의 운용형태에 따라 생성된 가상콘텐츠가 제공되어 맥락에 맞지 않는 가상콘텐츠가 제공되는 문제점이 있었다.

(001) 대한민국 공개특허 제10-2016-0075884호 (002) 대한민국 특허출원 제10-2016-0104053호

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 다수의 사용자가 동시에 체험할 수 있는 가상현실 체험공간 내에 사용자가 실제로 운용할 수 있는 실물도구를 제공하여, 사용자가 직접 운용하는 실물도구를 통해 생성한 가상콘텐츠가 부가된 혼합현실을 각 사용자에게 개별적으로 제공할 수 있는 가상 체험공간 제공 시스템을 제공하고자 하는 것이다.

또한, 본 발명은 실물도구 운용에 따라 생성된 가상 콘텐츠를 상기 실물도구를 운용하는 사용자에게 제공함에 있어, 다수 이용 사용자 중 해당 실물도구 점유 사용자를 특정함에 있어 인식의 오류를 최소화할 수 있는 가상 체험공간 제공 시스템을 제공하고자 하는 것이다.

그리고 본 발명은 사용자에게 제공될 혼합현실을 다면 스크린에 출력된 출력콘텐츠로부터 생성함에 있어, 다수의 프로젝터를 통한 출력영역 중 엣지 영역을 정확하고 신속하게 판별할 수 있도록 하여 일체화된 현실영상을 얻을 수 있도록 하는 가상 체험공간 제공 시스템을 제공하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은, 서로 다른 방향으로 설치되어 내부에 체험공간을 형성하고, 프로젝터에 의해 출력콘텐츠가 출력되는 복수의 출력면들과; 상기 출력면에 출력콘텐츠를 출력하기 위해 서로 다른 방향으로 설치되는 복수의 프로젝터들과; 상기 체험공간 내에 위치한 사용자 오브젝트를 인식하기 위해, 상기 체험공간을 향해 설치되는 키넥트카메라와; 체험공간 내에 구비되어, 사용자에 의한 운용형태에 따라 사용자에게 제공될 혼합현실콘텐츠를 구성하는 가상콘텐츠 생성을 위한 데이터를 제공하는 실물도구와; 사용자의 두부에 착용되어, 현실영상을 취득하고, 생성된 혼합현실을 사용자에게 제공하는 헤드마운트디스플레이; 그리고 상기 프로젝터들의 출력콘텐츠 출력을 제어하고, 상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 수신하며, 상기 헤드마운트로부터 현실영상과 상기 실물도구의 운용형태에 따라 생성된 가상 콘텐츠를 병합하여 혼합현실을 생성하고, 생성된 상기 혼합현실을 상기 헤드마운트디스플레이에 제공하는 제어시스템을 포함하여 구성된다.

이때, 상기 제어시스템은, 상기 실물도구의 점유자를 특징하고, 상기 실물도구 운영형태에 따라 생성된 가상콘텐츠를 포함하는 상기 혼합현실을 상기 실물도구의 점유자 별로 생성하여 제공할 수도 있다.

그리고 상기 실물도구는, 상기 실물도구의 운영형태를 측정하여 상기 제어시스템으로 전송하는 MIU 센서를 포함하여 구성될 수도 있다.

또한, 상기 제어시스템은, 상기 키넥트카메라의 촬영정보에 포함된 사용자의 뎁스정보로부터 스켈레톤 데이터를 생성하고; 상기 스켈레톤 데이터로부터 사용자 오브젝트의 형태를 및 동작을 파악할 수도 있다.

그리고 상기 제어시스템은, 상기 출력면 상에 둘 이상의 프로젝터에 의해 출력콘텐츠가 출력되는 중첩영역을 검출하고, 검출된 중첩영역에 대하여 복수의 프로젝터들 중 어느 하나만을 지정하여 출력콘텐츠를 출력하도록 상기 프로젝터의 출력을 제어할 수도 있다.

또한, 상기 제어시스템의 중첩영역 검출은, 중첩영역을 검출할 복수의 프로젝터에 서로 다른 색상의 출력컬러를 설정하여 출력시키고, 상기 키넥트카메라로부터 획득된 영상의 상기 출력컬러들의 중첩에 의해 생성되는 색상인 엣지컬러가 출력되는 영역이 존재하는지 여부를 판별하여 검출될 수도 있다.

또한, 상기 출력컬러는, 광의 가산혼합원리에 따라 대비가 명확한 R(Red), G(Green) 및 B(Blue) 광원 중에 선택될 수도 있다.

그리고 상기 제어시스템은, 상기 프로젝터들 중 어느 한 프로젝터의 출광 픽셀 중 일부에 대하여 출력광원의 컬러를 출력컬러로부터 상기 엣지컬러로 변경하고, 상기 키넥트카메라의 인식화면상의 출력컬러 증감율을 검사하여, 상기 출력컬러가 소멸되는 출광픽셀을 검출하여 해당 프로젝터의 출력영역을 설정할 수도 있다.

또한, 상기 제어시스템은, 사용자의 전면방향과 상기 실물도구의 위치를 대비하여, 상기 실물도구의 점유자를 식별할 수도 있다.

그리고 상기 사용자의 전면방향은, 누적 저장된 스켈레톤 중 특정 신체부위에 해당하는 위치의 벡터 이동량에 대하여 평균벡터값을 산출하여 판단될 수도 있다.

위에서 살핀 바와 같은 본 발명에 의한 실물도구를 포함하는 가상 체험공간 제공 시스템에서는 다음과 같은 효과를 기대할 수 있다.

즉, 본 발명에서는 다수의 사용자가 동시에 체험할 수 있는 가상현실 체험공간 내에서 추가적인 실물도구를 구비하여, 실물도구의 운용에 따라 생성된 가상콘텐츠가 부가된 혼합현실을 각 사용자에게 개별적으로 제공할 수 있으므로, 사용자의 개별적인 인터렉션 효과가 제공되는 가상 체험공간을 제공할 수 있는 효과가 있다.

그리고 본 발명에서는 다수 사용자 중 실물도구를 점유한 사용자를 정확히 특정할 수 있어, 해당 사용자에 의해 생성된 가상콘텐츠를 개별적으로 제공할 수 있어, 인터렉션의 정확성이 향상되는 효과가 있다.

또한, 본 발명에서는 다면 스크린에 다수의 프로젝터를 이용하여 콘텐츠를 출력함에 있어, 발생되는 엣지영역을 프로젝터의 픽셀 위치별로 구분하여 검출할 수 있으므로 완벽하게 처리된 엣지 영역을 확보할 수 있는 효과가 있다.

도 1은 본 발명에 의한 가상 체험공간 제공 시스템의 구성을 도시한 예시도.
도 2는 본 발명에 의한 키넥트 카메라에 의해 사용자가 인식되는 형태를 도시한 예시도.
도 3은 본 발명을 구성하는 실물도구의 위치에 복수의 사용자가 위치한 경우, 키넥트 카메라에 의해 사용자가 인식되는 형태를 도시한 예시도.
도 4는 본 발명에 의한 가상 체험공간 제공 시스템을 통해 혼합현실을 제공하는 방법의 구체적인 실시예를 도시한 흐름도.
도 5는 본 발명에 의한 혼합현실을 제공 방법에 있어, 사용자 특정 원리를 도시한 예시도.
도 6은 본 발명에 의한 혼합현실을 제공 방법에 있어, 출력 영역 할당의 원리를 도시한 예시도.

이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 사용자 생성 콘텐츠를 포함하는 가상 체험공간 제공 시스템을 살펴보기로 한다.

설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.

즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

도 1은 본 발명에 의한 가상 체험공간 제공 시스템의 구성을 도시한 예시도이고, 도 2는 본 발명에 의한 키넥트 카메라에 의해 사용자가 인식되는 형태를 도시한 예시도이며, 도 3은 본 발명을 구성하는 실물도구의 위치에 복수의 사용자가 위치한 경우, 키넥트 카메라에 의해 사용자가 인식되는 형태를 도시한 예시도이고, 도 4는 본 발명에 의한 가상 체험공간 제공 시스템을 통해 혼합현실을 제공하는 방법의 구체적인 실시예를 도시한 흐름도이며, 도 5는 본 발명에 의한 혼합현실을 제공 방법에 있어, 사용자 특정 원리를 도시한 예시도이고, 도 6은 본 발명에 의한 혼합현실을 제공 방법에 있어, 출력 영역 할당의 원리를 도시한 예시도이다.

먼저, 도 1에 도시된 바와 같이, 본 발명에 의한 가상 체험공간 제공 시스템은 체험공간을 구성하는 다면의 출력면(110, 120, 130, …)들과 실물도구(200), 프로젝터(300), 키넥트카메라(400), 제어시스템(500), 헤드마운트디스플레이(600)를 포함하여 구성된다.

상기 체험 공간은 도시된 바와 같이, 다방향 벽체로 구성된 입체 공간으로, 각각의 벽면은 콘텐츠가 출력되는 출력면들로 구성된다.

이때, 상기 출력면들은 기본적으로 전면(제1출력면, 110), 좌우측면(제2출력면, 120)을 포함하여 구성되고, 바람직하게는 바닥면(제3출력면, 130)을 더 포함하여 구성된다.

그리고 설치환경에 따라 천정면을 더 포함하여 구성되는 것도 가능하나, 후술할 프로젝터(300) 및 키넥트카메라(400)의 설치 공간에 따라 천정면은 제외되는 것도 가능하다.

한편, 일반적으로 상기 체험공간의 배면은 사용자의 출입 및 관리자의 내부관찰을 위하여 개방된 면으로 구성하는데, 이 경우에 배면에도 출력면을 구성하는 것도 가능하다.

그리고 상기 체험공간 내에는 사용자의 가상 콘텐츠 몰입감을 극대화하기 위한 다양한 실물도구(200)가 배치된다.

도시된 예에서는 상기 실물도구로 삽이 구비된 예가 도시되어 있다.

상기 실물도구(200)에는 상기 실물도구의 위치, 방향 및 이동형태를 산출하여 제어시스템으로 전송하기 위한 동작감지센서가 구비된다.

이때, 상기 동작감지센서는 자이로센서와 감속센서를 기본으로 포함하여 상기 실물도구의 위치, 이동, 방향(회전)등을 측정할 수 있는 것으로, 바람직하게는 상용화된 MIU센서(210)가 적용될 수 있다. 이하에서는 상기 동작감지센서로 MIU센서(210)가 적용된 예를 설명하기로 한다.

그리고 상기 실물도구(200)는 이를 사용자가 점유하여 운용(모션을 취하는 것을 포함한다)하는 경우, 사용자의 상기 실물도구(200) 운용형태를 제어시스템(500)으로 전송하고, 상기 제어시스템(500)은 상기 실물도구(200)의 운용형태에 따라 콘텐츠를 생성하여 혼합현실에 부가할 수 있도록 한다.

즉, 사용자는 상기 실물도구(200)를 점유하여 운용하고, 상기 실물도구(200)의 운용형태에 따라 생성된 가상 콘텐츠가 포함된 혼합현실을 제공받는다.

예를 들어, 다수의 체험공간 사용자 중 특정 사용자가 실물도구인 삽을 파지하여 땅을 파는 액션을 취하면, 상기 실물도구를 점유한 사용자는 현실 영상에 흙이 파지는 형태의 가상 콘텐츠가 포함된 혼합현실을 제공받는다.

여기서, 상기 현실영상이라 함은 출력콘텐츠가 출력된 각각의 출력면을 사용자가 착용한 헤드마운트디스플레이(이하 'HMD'라 한다)(600)를 통해 촬상되는 영상으로, 상기 현실영상과 사용자가 생성한 가상콘텐츠가 병합되어 혼합현실 콘텐츠가 생성된다.

이를 위해 상기 각각의 출력면에 출력콘텐츠를 출력하기 위한 프로젝터(300)가 구비되는데, 바람직하게는 상기 프로젝터(300)는 각 프로젝터(300)의 화각에 따른 출력 범위 및 설치위치에 따라 체험공간 전체를 커버 할 수 있도록 설치 위치와 개수가 설정된다.

한편, 상기 키넥트카메라(400)는 사용자의 동작 및 사용자의 뎁스를 측정하여, 공간상에 위치한 사용자(체험자)를 인식하고 추적하기 위한 것이다.

여기서, 상기 키넥트카메라(400)는 오브젝트(피사체)의 형태 및 거리를 인식하고, 상기 오브젝트의 이동을 감지하는 상용화된 뎁스카메라의 대표적인 예로, 동일한 기능을 수행할 수 있는 다양한 뎁스카메라를 포함하는 의미로 사용된다.

여기서, 상기 키넥트 카메라(400)는 단일 키넥트 카메라로 구성될 수도 있고, 오브젝트의 감지 정확성을 향상시키기 위하여, 다수개의 키넥트 카메라들로 구성될 수 있다.

한편, 상기 제어시스템(500)은 각각의 프로젝터(300)의 구동을 제어하여 상기 출력면에 출력콘텐츠를 출력하도록 제어하고, 상기 입력디스플레이(200)를 통해 생성되는 가상콘텐츠를 사용자와 매칭시켜, 해당 사용자가 가상콘텐츠가 포함된 혼합현실콘텐츠를 제공 받도록 하는 부분이다.

이를 위해 상기 제어시스템(500)은 데이터베이스(미도시)를 포함하여 구성되고, 상기 데이터베이스에는 출력콘텐츠 및 가상콘텐츠를 생성하기 위한 다양한 콘텐츠 데이터가 저장된다.

또한, 상기 제어시스템(500)은 상기 키넥트카메라(400)로부터 인식된 사용자를 오브젝트로 인식하는데, 구체적으로 상기 제어시스템(500)은 상기 키넥트카메라(400)로부터 수신된 촬영데이터를 통해 사용자(동적오브젝트)의 스켈레톤 데이터를 산출하여, 상기 스켈레톤 데이터를 통해 상기 사용자의 위치 및 동작을 판단한다.

즉, 상기 제어시스템(500)은 상기 키넥트카메라(400)로부터 수신된 촬영데이터에 포함된 뎁스정보를 이용하여, 상기 동적 오브젝트의 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터의 시계열적 변화를 파악하여, 상기 사용자의 위치 및 동작을 파악한다.

이와 같이 상기 제어시스템(500)이 인식하는 사용자의 스켈레톤 데이터의 일 예가 도 2에 도시되어 있다.

이와 같은, 스켈레톤 데이터를 이용한 동작의 파악은, 정확도와 데이터의 처리효율면에서 뛰어난 장점이 있으나, 오브젝트 근처에 다른 오브젝트가 근접하여 위치하는 경우, 오브젝트 간의 교차인식으로 인하여, 오브젝트를 특정함에 있어 인식오류가 쉽게 발생되는 문제점이 있다.

구체적으로, 도 3에 도시된 바와 같이, 복수의 사용자가 실물도구(200) 앞에 위치한 경우, 제1사용자의 스켈레톤 데이터(810)와 제2사용자의 스켈레톤 데이터(820) 간의 교차인식으로 인하여, 상기 실물도구(200)의 점유자가 제1사용자인지 제2사용자인지 특정함에 오류가 발생될 우려성이 높다.

따라서 실물도구(200)의 운용을 통해 생성되는 가상콘텐츠가 점유자가 아닌 인접 사용자에게 잘못 제공될 우려성이 있다.

이와 같은 사용자 특정의 오류를 방지하기 위한 제어시스템의 구동방법은 다시 상세히 설명하기로 한다.

한편, 상기 HMD(600)는 사용자가 착용하는 개인화 디스플레이 장치로, 사용자의 머리에 착용하여 사용자의 시선 방향에 따른 현실영상을 취득하고, 취득된 현실영상에 생성된 가상콘텐츠를 부가하여 혼합현실 콘텐츠를 생성하여 사용자에게 제공하는 부분이다.

상기 HMD(600)는 다양한 종류의 제품이 상용화되어 제공되고 있으며, 본 발명에서는 다양한 형태의 HMD(600)가 적용될 수 있다.

이하에서는 상기한 바와 같은 본 발명에 의한 실물도구를 포함하는 가상 체험공간 제공 방법을 첨부된 도면을 참고하여 상세하게 설명한다.

먼저, 도 4에 도시된 바와 같이, 본 발명에 의한 가상 체험공간 제공방법은 제어시스템(500)이 다면으로 구성된 각 출력면에 출력할 출력콘텐츠를 선별하는 것으로부터 시작된다(S110).

이후, 상기 제어시스템(500)은 복수의 프로젝터별(300)로 할당된 출력영역을 구분하여 출력콘텐츠를 출력하도록 프로젝터(300)를 구동시킨다(S120).

이때, 상기 각 출력면에 출력되는 출력콘텐츠는 결국 HMD(600)를 통해 입력되어 현실영상을 구성하는 데이터로, 현실감 극대화를 위해서는 각 출력면 사이에 발생되는 중접영역에 대한 엣지 처리(엣지블렌딩)가 매우 중요하다.

이에 본 발명은 제어시스템(500)이 중첩영역을 검출하고, 검출된 중첩영역에 대하여 복수의 프로젝터(300) 중 어느 하나만을 지정하여, 하나의 프로젝터만 해당영역에 출력콘텐츠를 출력하도록 하여 중첩영역을 제거한다.

여기서, 상기 제어시스템(500)의 중첩영역 검출방법은 광의 가산혼합원리를 활용하는 방법으로, 중첩영역을 검출할 복수의 프로젝터(300)를 선별하고, 각 프로젝터(300)에 서로 다른 색상의 출력컬러를 설정하여 출력한다.

그리고 상기 키넥트카메라(400)는 출력화면(공간 디스플레이)을 인식하여, 인식된 출력화면 내에 출력컬러의 중첩에 의해 생성되는 색상(이하 '엣지컬러'라 한다)이 출력되는 영역이 존재하는지 여부를 판별한다.

이때, 도 6에 도시된 바와 같이, 엣지컬러가 인식되면, 해당 영역이 중첩영역(D13, D12)이 된다. 이는 상기 프로젝터(300)에 의해 중첩된 엣지영역이 생성됨을 의미하고, 상기 엣지컬러가 인식되지 않으면, 엣지영역이 발생되지 않음을 의미한다.

따라서, 상기 출력컬러는 광의 가산혼합원리에 따라 엣지컬러와의 대비가 명확한 R(Red), G(Green) 및 B(Blue) 광원 중 어느 둘 이상이 선택되는 것이 바람직하다.

한편, 제어시스템이 엣지 영역에 대한 프로젝터 할당 과정을 간단히 설명하면, 도 6에 도시된 바와 같이, 상기 출력면 내에 엣지컬러가 존재하면, 상기 제어시스템(500)은 프로젝터(300)의 출광 픽셀들 중, 엣지영역을 구성하는 픽셀을 선별하여 출력영역을 설정하는데, 그 과정은 상기 제어시스템(500)이 프로젝터(300)들 중 어느 하나의 프로젝터(이하 '제1프로젝터'라 한다) 픽셀 중 일부 출력광원의 컬러를 출력컬러로부터 엣지컬러로 변경하되, 출력면 내에 출력컬러가 모두 사라질 때까지 점차적으로 프로젝터의 픽셀 출력 색상을 엣지컬러로 변경한다.

이를 좀 더 구체적으로 설명하면, 상기 제어시스템(500)은 상기 제1프로젝터를 통해 출력컬러를 출력한 이후에, 일부픽셀을 출력컬러로부터 엣지컬러로 변경한다. 그리고 상기 키넥트카메라의 인식화면상의 출력컬러 증감율을 검사한다.

그리고 상기 출력컬러의 증감률이 감소하는 방향으로, 상기 프로젝터의 각 픽셀 컬러를 출력컬러 또는 엣지컬러로 설정하고, 이들 과정을 상기 출력컬러가 인식되지 않을 때까지 반복 수행한다.

이후, 상기 인식화면상에, 출력컬러가 모두 사라지면, 해당 상태에서 제1프로젝터의 출력 픽셀 중 출력컬러가 출력되는 픽셀들을 중첩영역으로 설정한다.

이와 같은 과정을 전체 프로젝터에 대하여 반복 수행하고, 검출된 중첩영역에 대하여는 각 프로젝터 중 어느 하나의 프로젝터만이 출력을 담당하도록 설정한다.

이에 따라 본 발명에서는 복수의 프로젝터를 사용하여 하나의 콘텐츠를 출력하면서도, 중첩영역을 효과적으로 제거할 수 있는 효과가 있다.

이후, 상기 제어시스템(150)은 상기 실물도구(200)에 구비된 MIU센서(210)의 변화가 감지되는지 여부를 판단한다(S130).

상기 MIU센서(210)에 변화가 감지되면, 상기 제어시스템(500)은 키넥트카메라(400)를 이용하여 추적하던 사용자 중 해당 실물도구(200)의 점유자를 식별하여 특정한다(S140).

이때, 상기 실물도구(200)에 인접한 사용자가 하나인 경우, 상기 사용자의 식별은 용이하나, 도 3에 도시된 바와 같이, 복수의 사용자가 위치한 경우 식별 오류가 발생될 우려가 높다.

이에 본 발명은 상기 실물도구(200)에 인접한 사용자들의 전면방향을 파악하여, 상기 실물도구(200)의 점유자 식별에 활용한다.

즉, 상기 키넥트카메라(400)와 MIU센서(210)는 사용자 및 실물도구(200)의 전후위치를 파악할 수 있고, 이에 따라 인접한 사용자 중 상기 실물도구(200)를 등지는 방향으로 위치한 사용자는 점유자 식별 대상에서 제외하여 식별 오류를 줄일 수 있다.

여기서 상기 사용자의 전면방향의 파악은, 키넥트카메라(400)로부터 수신된 사용자(동적 오브젝트)의 스켈레톤 동작정보의 벡터 방향으로부터 판단될 수 있다.

즉, 누적 저장된 스켈레톤의 벡터 이동량에 대하여 평균벡터값을 산출하여, 상기 평균 벡터값이 향하는 방향에 따라 상기 동적 오브젝트의 방향을 판별할 수 있다.

예를 들어, 도 5에 도시된 바와 같이, 판단 부위가 팔인 경우, 스켈레톤의 팔부위의 백터 평균을 산출하고, 평균 벡터의 방향이 상기 동적 오브젝트의 전면이 된다.

반면에 판단 부위가 발인 경우, 스켈레톤의 발 부위의 백터 평균을 산출하고, 평균 벡터의 반대 방향이 상기 동적 오브젝트의 전면이 된다.

물론, 이와 같은 판단 기준은 상기 동적 오브젝트가 인간인 경우에 적용되는 것으로, 상기 판단기준은 상기 동적오브젝트의 종류에 따라 다르게 설정되는 것도 가능하다.

이와 같이, 상기 실물도구(200)의 점유자 식별 및 특정이 이루어지면, 상기 특정된 사용자에게 제공될 가상콘텐츠가 상기 실물도구(200)의 운용형태에 따라 생성된다(S150).

상기 제어시스템(500) 또는 사용자가 착용한 HMD(600)는 취득한 현실영상과 특정된 가상콘텐츠를 병합하여 혼합현실 콘텐츠를 생성한다(S170).

그리고 이와 같이 생성된 혼합현실은 상기 HMD(600)를 통해 사용자에게 제공된다.

이와 같이, 가상 콘텐츠를 사용자가 직접 생성하고, 생성된 가상 콘텐츠는 생산자에게 특정되어 혼합현실에 포함되므로, 하나의 체험공간에서 다수의 체험자가 체험을 동시에 체험하면서도 사용자별로 선호도에 따른 맞춤형 혼합현실을 개별적으로 제공할 수 있는 효과가 있다.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

본 발명은 실물도구를 이용하여 체험자의 몰입감이 향상되도록 하는 혼합현실을 생성하여 체험자에게 제공하는 가상 체험공간 제공 시스템에 관한 것으로, 본 발명에서는 다수의 사용자가 동시에 체험할 수 있는 가상현실 체험공간 내에서 추가적인 실물도구를 구비하여, 실물도구의 운용에 따라 생성된 가상콘텐츠가 부가된 혼합현실을 각 사용자에게 개별적으로 제공할 수 있으므로, 사용자의 개별적인 인터렉션 효과가 제공되는 가상 체험공간을 제공할 수 있는 효과가 있다.

110, 120, 130 : 출력면 200 : 실물도구
210 : MIU센서 300: 프로젝터
400 : 키넥트카메라 500 : 제어시스템
600 : 헤드마운트디스플레이

Claims (5)

1. 서로 다른 방향으로 설치되어 내부에 체험공간을 형성하고, 프로젝터에 의해 출력콘텐츠가 출력되는 복수의 출력면들과;
   상기 출력면에 출력콘텐츠를 출력하기 위해 서로 다른 방향으로 설치되는 복수의 프로젝터들과;
   상기 체험공간 내에 위치한 사용자 오브젝트를 인식하기 위해, 상기 체험공간을 향해 설치되는 키넥트카메라와;
   체험공간 내에 구비되어, 사용자에 의한 운용형태에 따라 사용자에게 제공될 혼합현실콘텐츠를 구성하는 가상콘텐츠 생성을 위한 데이터를 제공하는 실물도구와;
   사용자의 두부에 착용되어, 현실영상을 취득하고, 생성된 혼합현실을 사용자에게 제공하는 헤드마운트디스플레이; 그리고
   상기 프로젝터들의 출력콘텐츠 출력을 제어하고, 상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 수신하며, 상기 헤드마운트로부터 현실영상과 상기 실물도구의 운용형태에 따라 생성된 가상 콘텐츠를 병합하여 혼합현실을 생성하고, 생성된 상기 혼합현실을 상기 헤드마운트디스플레이에 제공하는 제어시스템을 포함하여 구성됨을 특징으로 하는 실물도구를 포함하는 가상 체험공간 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 제어시스템은,
   상기 실물도구의 점유자를 특징하고, 상기 실물도구 운영형태에 따라 생성된 가상콘텐츠를 포함하는 상기 혼합현실을 상기 실물도구의 점유자 별로 생성하여 제공함을 특징으로 하는 실물도구를 포함하는 가상 체험공간 제공 시스템.
   
3. 제 2 항에 있어서,
   상기 실물도구는,
   상기 실물도구의 운영형태를 측정하여 상기 제어시스템으로 전송하는 MIU 센서를 포함하여 구성됨을 특징으로 하는 실물도구를 포함하는 가상 체험공간 제공 시스템.
   
4. 제 3 항에 있어서,
   상기 제어시스템은,
   상기 키넥트카메라의 촬영정보에 포함된 사용자의 뎁스정보로부터 스켈레톤 데이터를 생성하고;
   상기 스켈레톤 데이터로부터 사용자 오브젝트의 형태를 및 동작을 파악함을 특징으로 하는 실물도구를 포함하는 가상 체험공간 제공 시스템.
   
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 제어시스템은,
   상기 출력면 상에 둘 이상의 프로젝터에 의해 출력콘텐츠가 출력되는 중첩영역을 검출하고, 검출된 중첩영역에 대하여 복수의 프로젝터들 중 어느 하나만을 지정하여 출력콘텐츠를 출력하도록 상기 프로젝터의 출력을 제어함을 특징으로 하는 실물도구를 포함하는 가상 체험공간 제공 시스템.
   

Images