KR20190077161A - 실감형 가상 콘텐츠 생성 및 제공 시스템 - Google Patents

Abstract

본 발명은 이용자의 현실영상에 가상콘텐츠를 매핑하여 실감형 혼합현실을 제공하는 실감형 가상 콘텐츠 생성 및 제공 시스템에 관한 것으로, 본 발명은 이용자의 환경을 촬영하여 현실영상을 획득하는 촬영모듈과; 이용자에게 생성된 혼합현실을 출력하여 표시하기 위한 글라스 디스플레이와; 상기 촬영모듈로부터 입력된 현실영상과 저장된 가상 콘텐츠를 매칭하여 혼합현실을 생성하는 혼합현실 생성모듈; 그리고 혼합현실을 구성하기 위한 가상콘텐츠들이 저장되는 데이터베이스를 포함하여 구성되고: 상기 혼합현실 생성모듈은, 상기 이용자의 연령 특성에 따라 혼합현실을 생성한다. 이와 같은 본 발명에 의하면, 본 발명에서는 이용자의 연령에 따라 서로 다른 콘텐츠를 선별하여 제공함에 따라, 동일한 서비스를 모든 연령이 이용하면서도 이용자의 정서 교육에 피해가 발생된는 것이 방지되는 효과가 있다.

Description

실감형 가상 콘텐츠 생성 및 제공 시스템 { CREATION AND PROVIDING SYSTEM OF REALISTIC MIXED REALITY }

본 발명은 이용자의 현실영상에 가상콘텐츠를 매핑하여 실감형 혼합현실을 제공하는 실감형 가상 콘텐츠 생성 및 제공 시스템에 관한 것으로, 중소기업청의 기술혁신개발사업 중 『실감형 테마파크를 위한 3차원 실감공간 기반 혼합현실 HMD 서비스 기술개발』과제를 수행함에 있어 산출된 결과물에 대한 발명이다.

최근 연구개발되고 있는 혼합현실(mixed reality)은 가상의 공간(virtual environment)과 실제의 공간(real environment)이 융합된 가상현실(virtual reality)의 한 종류로, 실제공간과 컴퓨터 그래픽으로 구성된 가상공간을 결합하여 이용자에게 혼합된 영상을 제공하고, 이용자의 액션에 따라 가상 콘텐츠를 조작하면서 시스템과의 상호작용을 제공한다.

이때, 혼합현실의 구현은 통상적으로 실제 공간의 인식, 가상 콘텐츠의 생성, 실제 공간과 가상 콘텐츠의 융합 및 혼합현실의 출력 등의 처리과정을 거쳐 구현되는데, 이를 위하여 세부적으로는 3D 모델링, 영상의 융합 기술 및 실시간 렌더링 기술등이 적용된다.

이와 같은 혼합현실의 구현에 있어, 기술의 완성도를 높이는 요소는, 실제 환경과 가상 콘텐츠를 융합(정합)함에 있어, 정합으로 인한 양자의 조화성을 향상시키는 것이다.

즉, 혼합현실의 제공 기술에 있어, 실제 환경과 가상 콘텐츠의 자연스러운 매칭정도가 기술의 완성도를 제공한다.

이에 따라 최근에는 정합에 따른 매칭 정도를 높이기 위하여, 다양한 기술이 개발되어 제공되고있는 실정이다.

일 예로, 대한민국 등록특허 제10-172436호에서는 실제객체 및 가상 환경의 상대적인 원근에 따라 공간상의 전후 배치관계가 고려된 혼합현실을 생성 및 제공하여, 실제환경과 가상환경이 자연스럽게 혼합된 혼합현실을 제공하는 기술내용이 개시되어 있다.

한편, 최근에는 멀티미디어 기기의 이용자 연령이 급속히 낮아지고 있는 실정이고, 이에 따라 연령에 맞지 않는 폭력성 및 선정성 있는 콘텐츠를 낮은 연령에서 손쉽게 접하여 교육상의 문제가 발생되고 있다.

이에 따라 최근에는 게임 등의 콘텐츠 제공 서비스에 있어 이용 연령을 제한하는 기술이 적용되고 있으나, 서비스 이용의 제한은 오히려 이용자의 호기심을 유발하여, 편법적인 방법으로 게임 등의 콘텐츠에 접근하는 사례가 빈번히 발생되고 있는 실정이다.

대한민국 등록특허 제10-172436호

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 이용자의 연령에 따라 콘텐츠의 이용을 막기보다, 이용자 연령에 적합한 콘텐츠를 선별하여 제공하도록 하는 이용자 특성에 따른 혼합현실 생성 및 제공 시스템을 제공하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 이용자의 환경을 촬영하여 현실영상을 획득하는 촬영모듈과; 이용자에게 생성된 혼합현실을 출력하여 표시하기 위한 글라스 디스플레이와; 상기 촬영모듈로부터 입력된 현실영상과 저장된 가상 콘텐츠를 매칭하여 혼합현실을 생성하는 혼합현실 생성모듈; 그리고 혼합현실을 구성하기 위한 가상콘텐츠들이 저장되는 데이터베이스를 포함하여 구성되고: 상기 혼합현실 생성모듈은, 상기 이용자의 연령 특성에 따라 혼합현실을 생성한다.

이때, 상기 혼합현실 생성모듈은, 상기 촬영모듈로부터 촬영된 현실영상을 분석하여, 상기 현실영상을 구성하는 구조물의 형태 및 종류 분석하는 영상분석부와; 상기 혼합현실을 구현할 가상콘텐츠를 선별하기 위하여, 이용자 연령에 대한 이용자 특성을 분석하는 이용자 특성 분석부와; 현실영상과 가상콘텐츠의 매칭위치를 설정하는 렌더링 생성부와; 상기 이용자 특성 분석부에 의해 분석된 이용자 특성에 따라 선택된 가상콘텐츠의 출력 배율을 가공하는 가상콘텐츠 가공부; 그리고 현실영상과 가공된 가상콘텐츠를 병합하여, 혼합현실을 생성하는 영상병합부를 포함하여 구성될 수도 있다.

그리고 상기 데이터베이스는, 다수의 구조물별 구조물의 특성이 구분되어 저장되는 구조물정보 DB와; 상기 영상분석부에서 분석한 영상정보를 저장하는 영상정보 DB; 그리고 사용자 특성에 따른 사용자 연령에 따라 구분된 다수의 가상콘텐츠들이 저장되는 가상콘텐츠 DB를 포함하여 구성될 수도 있다.

또한, 상기 구조물정보 DB는, 구조물 형태정보에 따른 구조물의 종류 및 구성재료와; 각 구조물의 종류에 따라 평균적인 크기를 나타내는 표준크기 정보가 저장될 수도 있다.

그리고 상기 이용자 특성 분석부는, 특징점이 추출된 현실영상으로부터, 현실영상 상의 구조물과 이용자의 원근거리를 산출하여 배율조정값을 산출할 수도 있다.

또한, 상기 이용자 특성 분석부는, 상기 영상분석부로부터 분석된 구조물의 종류에 대하여, 상기 구조물정보 DB에 저장된 표준크기정보와, 상기 현실영상 상의 구조물 크기를 대비하여, 상기 구조물의 원근거리를 산출하고; 상기 원근거리에 따라 가상 콘텐츠의 배율조정값을 산출할 수도 있다.

이때, 상기 이용자 특성 분석부는, 이용자의 로그인 정보를 통해 상기 이용자의 연령을 산출할 수도 있다.

그리고 상기 이용자 특성 분석부는, 상기 촬영모듈을 통해 입력된 영상을 분석하여 상기 이용자 연령을 판단할 수도 있다.

또한, 상기 이용자 특성 분석부의 이용자 연령 판단은, (A) 입력된 현실영상에 대한 특징점을 추출하는 단계와; (B) 상기 현실영상 구조물의 경사각을 산출하는 단계와; (C) 상기 구조물 모서리의 상대적인 경사각을 대비하여 이용자의 시선높이를 추정하는 단계; 그리고 (D) 상기 시선높이에 따라 이용자의 키를 유추하며 유추된 이용자의 키에 따라 이용자의 연령을 파악하는 단계를 포함하여 판단될 수도 있다.

이때, 상기 특징점은, 현실영상을 구성하는 구조물의 형태구조를 구분하기 위한 형태 구분점으로 구성될 수도 있다.

그리고 상기 구조물 모서리는, 구조물의 벽면 모서리 또는 도어 테두리일 수도 있다.

또한, 상기 (B) 단계에서 산출된 경사각은, 상기 이용자 특성 분석부에 의해 산출된 현실영상 상의 구조물과 이용자의 원근거리에 의해 보정될 수도 있다.

그리고 상기 원근거리는, 상기 형태 구분점을 통해 구조물의 형태적 특징을 파악하고, 상기 구조물 정보 DB에 저장된 구조물 특징과 비교하여 해당 구조물의 종류를 파악하며, 상기 구조물 정보 DB에 저장된 해당 구조물의 크기와 입력된 현실영상의 구조물 크기를 대비하여 산출될 수도 있다.

그리고 상기 구조물정보 DB는, 표면 반사도를 포함하는 표면성질에 따라 구분된 구성재료가 구분되어 저장될 수도 있다.

또한, 상기 영상분석부는, 상기 구조물의 종류에 따라, 상기 구조물정보 DB에 저장된 구조물의 재료를 파악할 수도 있다.

그리고 상기 현실영상 분석은, 입력된 현실영상에 대하여, 상기 현실영상을 구성하는 구조물의 형태구조 및 구성재료의 변화위치를 구분하기 구분점을 설정할 수도 있다.

또한, 상기 가상콘텐츠의 선별은, 매칭위치 구조물 재료에 따라 선별될 수도 있다.

그리고 상기 가상 콘텐츠의 매핑 위치는, 출력될 가상 콘텐츠의 특성과, 현실영상에 포함된 구조물의 크기 및 형태에 따라 설정될 수도 있다.

이때, 상기 가상콘텐츠 매핑 시스템은, 이용자의 신체에 착용되는 웨어러블기기로 구현될 수도 있다.

그리고 상기 디스플레이는, 웨어러블 기기에 형성된 투명 스크린일 수도 있고, 모니터 장치일 수도 있다.

위에서 살핀 바와 같은 본 발명에 의한 이용자 특성에 따른 혼합현실 생성 및 제공 시스템에서는 다음과 같은 효과를 기대할 수 있다.

즉, 본 발명에서는 이용자의 연령에 따라 서로 다른 콘텐츠를 선별하여 제공함에 따라, 동일한 서비스를 모든 연령이 이용하면서도 이용자의 정서 교육에 피해가 발생된는 것이 방지되는 장점이 있다.

도 1은 종래기술에 의한 혼합현실 구현 예를 도시한 블록도.
도 2는 본 발명의 구체적인 실시예에 의한 혼합현실 생성 및 제공 시스템의 구성을 도시한 블록도.
도 3은 본 발명의 구체적인 실시예에 의한 혼합현실 생성 및 제공 방법을 도시한 흐름도.
도 4는 본 발명의 구체적인 실시예에 적용되는 사용자 특성 분석 방법의 일예를 도시한 흐름도.
도 5는 본 발명에 구체적인 실시예에 의해 유아용 콘텐츠가 포함되어 생성된 혼합현실의 일 예를 도시한 예시도.
도 6은 본 발명에 구체적인 실시예에 의해 성인용 콘텐츠가 포함되어 생성된 혼합현실의 일 예를 도시한 예시도.
도 7은 본 발명에 구체적인 실시예에 의해 입력된 현실영상을 통해 사용자 시선높이 산출 예를 도시한 예시도.

이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 이용자 특성에 따른 혼합현실 생성 및 제공 시스템을 살펴보기로 한다.

설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 이용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.

즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하에서, 본 발명의 구체적인 실시예에 의한 현실영상 원근에 따른 혼합현실 생성 및 제공 시스템을 설명하기로 한다.

도 2는 본 발명의 구체적인 실시예에 의한 혼합현실 생성 및 제공 시스템의 구성을 도시한 블록도이고, 도 3은 본 발명의 구체적인 실시예에 의한 혼합현실 생성 및 제공 방법을 도시한 흐름도이며, 도 4는 본 발명의 구체적인 실시예에 적용되는 사용자 특성 분석 방법의 일예를 도시한 흐름도이고, 도 5는 본 발명에 구체적인 실시예에 의해 유아용 콘텐츠가 포함되어 생성된 혼합현실의 일 예를 도시한 예시도이며, 도 6은 본 발명에 구체적인 실시예에 의해 성인용 콘텐츠가 포함되어 생성된 혼합현실의 일 예를 도시한 예시도이고, 도 7은 본 발명에 구체적인 실시예에 의해 입력된 현실영상을 통해 사용자 시선높이 산출 예를 도시한 예시도이다.

이때, 본 발명에 의한 혼합현실 생성 및 제공 시스템은 이용자의 신체(바람직하게는 두부)에 착용되는 웨어러블기기(헬멧, 안경 등)로 구현될 수도 있고, 별도의 스크린을 가진 출력스크린을 포함하여 구성될 수도 있다.

이와 같은 시스템 구현의 형태에 따라 본 발명의 구성요소 및 기능수행내용은 시스템 구현 형태에 맞춰 조정될 수 있다.

예를 들어, 본 발명에 의한 혼합현실 생성 및 제공 시스템이 웨어러블 디바이스로 구현되는 경우, 후술할 촬영모듈 및 글라스 디스플레이는 웨어러블 기기에 부착된 카메라 및 이용자 시선 방향에 설치된 투명 스크린일 수 있고, 혼합현실의 생성 및 출력이라 함은 글라스 디스플레이상에 가상 콘텐츠를 특정 위치에 특정 크기로 표시하는 것을 의미할 수도 있다.

반면에, 본 발명에 의한 혼합현실 생성 및 제공 시스템이 별도의 스크린이나 디스플레이 화면(모니터 등)을 포함하여 구현되는 경우, 후술할 촬영모듈 및 글라스 디스플레이는 이용자 인체에 부착된 별도의 카메라 및 별도의 모니터 장치일 수 있고, 혼합현실의 생성 및 출력이라 함은 별도의 모니터에 출력될 혼합 영상을 별개의 영상으로 생성하여 모니터 장치 등을 통해 출력하는 것을 의미할 수도 있다.

먼저, 도 2에 도시된 바와 같이, 본 발명에 의한 혼합현실 생성 및 제공 시스템의 구체적인 실시예는, 촬영모듈(100)과 글라스 디스플레이(200), 혼합현실 생성모듈(300) 및 데이터베이스(400)를 포함하여 구성된다.

상기 촬영모듈(100)은 이용자의 환경을 촬영하여 현실영상을 획득하는 부분으로, 이용자의 신체 일부에 구비되어, 이용자의 시선방향에 따른 현실영상을 촬영한다.

그리고 상기 글라스 디스플레이(200)는 이용자에게 생성된 혼합현실을 출력하여 표시하기 위한 것으로, 전술한 바와 같이, 가상콘텐츠 매핑시스템의 구성형태에 따라 웨어러블 기기에 형성된 투명 스크린일 수도 있고, 별도의 모니터 장치일 수도 있다.

한편, 상기 혼합현실 생성모듈(300)과 데이터베이스(400)는 본 발명에 의한 혼합현실을 생성하기 위한 부분으로, 이하에서 이들의 구성과 기능에 대하여 상세히 설명하기로 한다.

상기 혼합현실 생성모듈(300)은 상기 데이터베이스(400)에 저장된 데이터를 활용하여, 본 발명에 의한 혼합현실을 생성하는 부분으로, 이를 위해 영상분석부(310), 렌더링 생성부(320), 이용자 특성 분석부(330), 가상콘텐츠 가공부(340) 및 영상병합부(350)를 포함하여 구성된다.

먼저, 상기 영상분석부(310)는 상기 촬영모듈(100)로부터 촬영된 현실영상을 분석하는 부분으로, 상기 현실영상을 분석하여 현실영상을 구성하는 구조물의 형태 및 종류 분석한다.

이때, 상기 영상분석부(310)는 상기 구조물의 종류에 따라, 기설정된 구조물의 재료도 함께 파악할 수 있다.

나아가, 상기 영상분석부(310)는 상기 촬영모듈(100)로부터 입력되는 서로 다른 방향의 현실영상들을 병합하여 파노라마 영상에 대한 현실영상을 분석할 수도 있다.

한편, 상기 렌더링 생성부(320)는 상기 영상분석부(310)에서 분석한 현실영상을 분석결과에 따라 혼합현실을 구현할 가상콘텐츠를 선별하고, 현실영상과 가상콘텐츠의 매칭위치를 설정하는 부분이다.

이때, 상기 가상콘텐츠는 정적 이미지뿐만 아니라 동적 이미지일 수 있다.

그리고 상기 렌더링 생성부(320)의 가상콘텐츠 선별은 이용자 특성을 반영하여 수행되며, 여기서 상기 이용자 특성이라 함은 이용자의 연령 특성을 말하는 것으로, 상기 이용자 특성 분석부(330)에 의해 판별된다.

상기 이용자 특성 분석부(330)는 이용자의 연령을 파악하는 부분으로, 다양한 방식을 통해 상기 이용자의 연령을 파악할 수 있다.

먼저, 상기 이용자 특성 분석부(330)는 이용자의 로그인 정보를 통해 상기 이용자의 연령을 파악할 수 있다.

또 다르게는, 상기 이용자 특성 분석부(330)는 상기 촬영모듈(100)을 통해 입력된 영상을 분석하여 상기 이용자 연령을 판단할 수 있다.

즉, 상기 이용자 특성 분석부(330)는 입력된 영상을 분석하여, 이용자의 시선높이를 산출하고, 상기 시선높이에 따라 이용자의 신체크기(신장)를 유추하여 이용자의 연령을 추정한다.

상기 이용자 특성 분석부(330)의 이용자 특성 분석 방법은 이후 다시 설명하기로 한다.

또한, 상기 배율조정값 산출부(330)는 입력된 현실영상의 구조물과 이용자의 원근 거리를 파악하여, 이에 따라 가상 콘텐츠의 출력 배율을 산출하는 부분으로, 상기 배율조정값 산출부(330)에 의한 구조물과 이용자의 원근거리 산출 방법은 도 3을 설명함에 있어, 다시 구체적으로 설명하기로 한다.

한편, 상기 가상콘텐츠 가공부(340)는 현실영상의 원근에 따라 상기 배율조정값을 산출하여, 산출된 상기 배율 조정값에 따라, 가상 콘텐츠의 출력 배율을 가공하는 부분이다.

다음으로, 상기 영상병합부(350)는 현실영상과 선별되어 배율이 가공된 가상 콘텐츠를 병합하여, 혼합현실을 생성하는 부분으로, 상기 혼합현실의 생성 및 출력은, 전술한 바와 같이, 시스템의 구성형태에 따라 글라스 디스플레이상에 가상 콘텐츠를 특정 위치에 특정 크기로 표시하는 것일 수도 있고, 별도의 영상을 생성하여 별도의 모니터 장치 등을 통해 출력하는 것을 의미할 수도 있다.

한편, 상기 데이터베이스(400)는 현실영상의 분석을 위한 구조물의 정보를 제공하고, 혼합현실을 구성하기 위한 가상콘텐츠를 제공하는 부분으로, 이를 위해 구조물정보 DB(410), 영상정보 DB(420) 및 가상콘텐츠 DB(430)를 포함하여 구성된다.

상기 구조물정보 DB(410)는 물체의 형태정보에 따라 구조물의 종류가 구분되어 저장되는 DB로, 상기 구조물정보 DB(410)에는 각 구조물 종류에 따른 구성 재료가 저장된다.

이때, 상기 재료라 함은 해당 구조물을 구성하는 대표적인 재료(재질)을 말하는 것으로, 스틸, 목재, 유리 등으로 구분될 수 있다.

그리고 상기 구조물정보 DB(410)에는 표면성질에 따라 구성 재료가 구분되어 저장될 수 있다.

즉, 표면의 영상 반사도에 따라, 반사도가 고르게 높은 경우 유리, 왜곡이 심한형태로 반사도가 높은 경우 물, 반사정도에 따라 스틸 및 석재 등으로, 표면성질에 따라 구성재료가 구분되어 저장될 수도 있다.

또한, 상기 구조물정보 DB(410)에는 각 구조물의 종류에 따라 평균적인 크기를 의미하는 표준크기 정보와 평균적인 형태를 의미하는 표준형태 정보가 저장된다.

상기 표준크기 정보는 상기 가상콘텐츠 가공부(340)가 상기 구조물의 원근을 대략적으로 파악하기 위한 기준을 제시하기 위한 정보로, 이에 대한 활용방법은 이후에서 다시 설명하기로 한다.

한편, 상기 영상정보 DB(420)는 상기 영상분석부(310)에서 분석한 영상정보를 저장하는 부분으로, 기입력되어 분석된 영상정보와 해당 영상정보에 대하여 산출된 배율조정값이 저장된다.

이는 동일 이용자의 경우, 사용환경이 동일한 경우가 많으므로, 이를 저장하여 영상분석에 따른 자원의 낭비를 방지하고 함이다.

즉, 이용자가 동일 환경에서 본 발명에 의한 혼합현실 생성 및 제공 시스템을 구동하는 경우, 저장된 동일 환경에서의 배율조정값을 수정하여, 현재의 배율조정값을 산출할 수 있으므로, 배율조정값 산출 과정을 간소하게 수행할 수 있는 효과가 있다.

그리고 상기 가상콘텐츠 DB(430)는 이용자 특성에 따라 적용될 다양한 가상콘텐츠들이 저장되는 부분이다.

이때, 상기 가상콘텐츠 DB(400)는 동일한 종류에 대하여, 연령에 따라 다양한 형태의 콘텐츠가 구분되어 저장된다.

예를 들어, 동일한 몬스터 콘텐츠의 경우, 유아용으로 귀여운 형태의 콘텐츠와 성인용으로 무섭고 실감나는 형태의 콘텐츠가 각각 구분되어 저장될 수 있다.

이하에서는 상기한 바와 같은 본 발명에 의한 현실영상 원근에 따른 혼합현실 생성 및 제공 방법을 설명하기로 한다.

본 발명에 의한 혼합현실 생성 및 제공 방법은 도 3에 도시된 바와 같이, 먼저, 촬영모듈(100)이 현실영상을 획득하는 것으로부터 시작된다(S100).

이때, 현실영상은 파노라마 영상일 수 있다.

이후, 상기 이용자 특성 분석부(330)는 이용자의 특성(연령)을 판별한다(S200).

이때, 상기 이용자의 연령 판별은 크게 이용자 접속정보를 통해 판별하는 방법과, 입력된 현실영상을 분석하여 판별하는 방법이 있다.

먼저, 상기 이용자 접속정보를 통한 방법은, 해당 서비스의 이용자 로그인 정보를 통해 이용자의 연령을 판별하는 것이다.

그리고 상기 현실영상의 분석을 통한 방법은 도 4에 도시된 바와 같이, 먼저, 이용자 특성 분석부(330)가 입력된 현실영상에 대한 특징점을 추출한다(S210).

이때, 상기 특징점은 상기 입력된 현실영상과 매칭되는 영상정보가 상기 영상정보 DB(420)에 저장되었는지 여부와 상기 입력된 현실영상에 포함된 구조물의 경계위치 및 형태를 파악하기 위한 것으로, 현실영상을 구성하는 구조물의 형태구조를 구분하기 위한 형태 구분점을 포함하여 구성된다.

다음으로, 상기 이용자 특성 분석부(330)는, 현실영상 상의 구조물과 이용자의 원근거리를 산출한다(S220).

이때, 상기 원근거리의 산출은, 상기 형태 구분점을 통해 구조물의 형태적 특징을 파악하고, 이를 통해 상기 구조물 정보 DB(410)에 저장된 구조물 특징과 비교하여 해당 구조물의 종류를 파악한다.

그리고 해당 구조물 크기를 대비하여, 이용자(정확히는 '촬영모듈'임)와 구조물의 원근거리를 산출한다.

이후, 상기 이용자 특성 분석부(330)는 입력영상 구조물의 경사각을 산출한다(S230).

이때, 상기 구조물 모서리의 상대적인 경사각을 대비하면, 이용자의 시선높이를 추정할 수 있다.

즉, 도 7에 도시된 바와 같이, 이용자의 시선높이가 낮을 수록 구조물의 상단부 경사각이 작아지고(예각), 이용자의 시선높이가 높을 수록 구조물 하부 경사각이 작아진다.

이때, 이와 같은 산출방식은 구조물이 직각 모서리부분들로 구성된 경우, 정확도가 높게 산출되므로, 판별된 구조물의 종류중 일반적으로 장방형으로 형성되는 벽면 모서리, 문의 테두리 등을 기준으로 산출하는 것이 바람직하다.

이후, 상기 이용자 특성 분석부(330)는 상기 경사각의 상대적 차이를 통해 이용자의 시선 높이를 추정하고, 상기 시선높이에 따라 이용자의 키를 유추하며, 유추된 이용자의 키에 따라 이용자의 연령을 파악한다(S240).

이때, 상기 경사각의 상대적 차이값을 보정하기 위하여, 상기 구조물의 원근거리를 적용할 수 있다.

또한, 이와 같은 경계부 경사각의 차이는 구조물이 이용자와 가까운 경우 크게 나타나므로, 판단의 기준이 되는 구조물을 설정하는 경우, 구조물의 원근거리를 활용할 수 있다.

이와 같은 방법에 의해 상기 이용자의 특성이 판단되면, 상기 이용자 특성에 따라 가상 콘텐츠를 선별한다(S300).

이때, 상기 가상 콘텐츠의 선별은 상기 이용자 특성인 이용자 연령에 따라 설정된 콘텐츠츨 추출하는 것을 말한다.

이후, 렌더링 생성부(320)는 획득한 현실 영상 상에 상기 가상 콘텐츠가 매핑될 위치를 선정한다(S400).

이때, 상기 가상 콘텐츠의 매핑 위치는 출력될 가상 콘텐츠의 특성에 따라, 분석될 현실영상의 구조물 크기 및 형태에 따라 설정된다.

다음으로, 상기 가상 콘텐츠 가공부(340)는 기 산출된 이용자와 구조물과의 원근 거리에 따라 상기 가상 콘텐츠의 출력배율을 조절하기 위한 배율 조정값을 산출하여, 상기 가상 콘텐츠를 상기 배율 조정값에 따라 출력배율을 조정하여 가공한다(S500).

다음으로, 상기 영상 병합부(350)는 상기 가공된 가상 콘텐츠를 현실영상과 병합하여, 혼합현실을 생성하고, 생성된 혼합현실을 이용자에게 출력한다(S600, S700).

이때, 상기 혼합현실의 출력은 가상콘텐츠 매핑시스템의 구성형태에 따라 웨어러블 기기에 형성된 투명 스크린을 통해 출력할 수도 있고, 별도의 모니터 장치를 통해 출력할 수도 있다.

상기 혼합현실 출력 결과를 예로 들어 설명하면, 도 5와 도 6은 는 본 발명에의해 유아용 콘텐츠가 선별되어 출력된 예와 성인용 콘텐츠가 출력된 예를 도시한 예시도이다.

이를 살펴보면, 도 5에 도시된 바와 같이, 이용자의 시선높이가 낮은 경우, 이용자를 유아로 판단하여, 유아용 가상 콘텐츠를 통해 혼합현실을 생성한다.

그리고 도 6에 도시된 바와 같이, 이용자의 시선높이가 높은 경우, 이용자을 성인으로 판단하여, 성인용 가상 콘텐츠를 통해 혼합현실을 생성한다.

이에 따라, 유아의 경우 유아에게 적합한 콘텐츠로 구성된 서비스를 제공할수 있을 뿐만 아니라 별도의 이용자에 대한 정보를 제공하지 않아도 이를 시스템이 스스로 판단하여 제공할 수 있게 된다.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

본 발명은 이용자의 현실영상에 가상콘텐츠를 매핑하여 실감형 혼합현실을 제공하는 실감형 가상 콘텐츠 생성 및 제공 시스템에 관한 것으로, 본 발명에 의하면, 이용자의 연령에 따라 서로 다른 콘텐츠를 선별하여 제공함에 따라, 동일한 서비스를 모든 연령이 이용하면서도 이용자의 정서 교육에 피해가 발생된는 것이 방지되는 효과가 있다.

100 : 촬영모듈 200 : 글라스 디스플레이
300 : 혼합현실 생성모듈 310 : 영상분석부
320 : 렌더링 생성부 330 : 이용자 특성 분석부
340 : 가상콘텐츠 가공부 350 : 영상 병합부
400 : 데이터베이스 410 : 구조물정보 DB
420 : 영상정보 DB 430 : 가상콘텐츠 DB

Claims (7)

1. 이용자의 환경을 촬영하여 현실영상을 획득하는 촬영모듈과;
   이용자에게 생성된 혼합현실을 출력하여 표시하기 위한 글라스 디스플레이와;
   상기 촬영모듈로부터 입력된 현실영상과 저장된 가상 콘텐츠를 매칭하여 혼합현실을 생성하는 혼합현실 생성모듈; 그리고
   혼합현실을 구성하기 위한 가상콘텐츠들이 저장되는 데이터베이스를 포함하여 구성되고:
   상기 혼합현실 생성모듈은,
   상기 이용자의 연령 특성에 따라 혼합현실을 생성함을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 혼합현실 생성모듈은,
   상기 촬영모듈로부터 촬영된 현실영상을 분석하여, 상기 현실영상을 구성하는 구조물의 형태 및 종류 분석하는 영상분석부와;
   상기 혼합현실을 구현할 가상콘텐츠를 선별하기 위하여, 이용자 연령에 대한 이용자 특성을 분석하는 이용자 특성 분석부와;
   현실영상과 가상콘텐츠의 매칭위치를 설정하는 렌더링 생성부와;
   상기 이용자 특성 분석부에 의해 분석된 이용자 특성에 따라 선택된 가상콘텐츠의 출력 배율을 가공하는 가상콘텐츠 가공부; 그리고
   현실영상과 가공된 가상콘텐츠를 병합하여, 혼합현실을 생성하는 영상병합부를 포함하여 구성됨을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
3. 제 2 항에 있어서,
   상기 데이터베이스는,
   다수의 구조물별 구조물의 특성이 구분되어 저장되는 구조물정보 DB와;
   상기 영상분석부에서 분석한 영상정보를 저장하는 영상정보 DB; 그리고
   사용자 특성에 따른 사용자 연령에 따라 구분된 다수의 가상콘텐츠들이 저장되는 가상콘텐츠 DB를 포함하여 구성됨을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
4. 제 3 항에 있어서,
   상기 구조물정보 DB는,
   구조물 형태정보에 따른 구조물의 종류 및 구성재료와;
   각 구조물의 종류에 따라 평균적인 크기를 나타내는 표준크기 정보가 저장됨을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
5. 제 4 항에 있어서,
   상기 이용자 특성 분석부는,
   특징점이 추출된 현실영상으로부터, 현실영상 상의 구조물과 이용자의 원근거리를 산출하여 배율조정값을 산출함을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
6. 제 5 항에 있어서,
   상기 이용자 특성 분석부는,
   상기 영상분석부로부터 분석된 구조물의 종류에 대하여, 상기 구조물정보 DB에 저장된 표준크기정보와, 상기 현실영상 상의 구조물 크기를 대비하여, 상기 구조물의 원근거리를 산출하고;
   상기 원근거리에 따라 가상 콘텐츠의 배율조정값을 산출함을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   
7. 제 6 항에 있어서,
   상기 이용자 특성 분석부는,
   이용자의 로그인 정보를 통해 상기 이용자의 연령을 산출함을 특징으로 하는 실감형 가상 콘텐츠 생성 및 제공 시스템.
   

Images