KR20230163053A - 가상 공간 투어 서비스 제공 시스템 - Google Patents

가상 공간 투어 서비스 제공 시스템 Download PDF

Info

Publication number
KR20230163053A
KR20230163053A KR1020220062599A KR20220062599A KR20230163053A KR 20230163053 A KR20230163053 A KR 20230163053A KR 1020220062599 A KR1020220062599 A KR 1020220062599A KR 20220062599 A KR20220062599 A KR 20220062599A KR 20230163053 A KR20230163053 A KR 20230163053A
Authority
KR
South Korea
Prior art keywords
image
gaze
user
virtual space
server
Prior art date
Application number
KR1020220062599A
Other languages
English (en)
Inventor
김명환
황민
이후경
강필도
김상환
박성혁
이세욱
Original Assignee
(주)심스리얼리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)심스리얼리티 filed Critical (주)심스리얼리티
Priority to KR1020220062599A priority Critical patent/KR20230163053A/ko
Publication of KR20230163053A publication Critical patent/KR20230163053A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 공간 투어 서비스 제공 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 가상 공간 투어 서비스 제공 시스템은, 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신하고, 수신한 사용자 시선 정보에 따른 시선 이미지를 사용자 단말에 송신하는 서버를 포함하고, 하나 이상의 시선 이미지를 통해 사용자에게 가상 공간 투어 서비스를 제공한다. 본 발명에 의하면, 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신한 서버가 사용자 시선 정보에 따른 시선 이미지를 사용자 단말로 송신하여, 사용자 단말이 사용자의 시선에 따라 제공받은 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공함으로써, 서버에서 사용자 단말로 투어 대상이 되는 가상 공간 내 모든 이미지를 한 번에 송신하는 종래의 방식에 비하여 투어 시작시 초기 로딩 시간을 단축할 수 있다.

Description

가상 공간 투어 서비스 제공 시스템{Virtual Space Tour Service Provision System}
본 발명은 가상 공간 투어 서비스 제공 시스템에 관한 것으로, 더욱 상세하게는 사용자 단말을 이용하여 가상 공간 투어시, 사용자 단말이 가상 공간 내 사용자 시선 정보를 생성하여 서버로 송신하고 서버는 수신한 사용자 시선 정보에 따른 시선 이미지를 사용자 단말로 송신하여, 사용자 단말이 사용자의 시선에 따라 제공받은 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공하는 가상 공간 투어 서비스 제공 시스템에 관한 것이다.
가상현실(virtual reality, 假想現實)이란 현실이 아닌데도 실제처럼 생각하고 보이게 하는 현실을 의미하는 것으로, 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다.
가상현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 것으로, 교육, 고급 프로그래밍, 원격조작, 원격위성 표면탐사, 탐사자료 분석, 과학적 시각화(scientific visualization) 등의 다양한 분야에 응용되어 사용될 수 있다.
종래에는 가상현실 기술을 군사 훈련, 탱크, 항공기 등의 조종법 훈련, 수술 실습, 게임 등의 전문 분야에 적용하여 사용해 왔으나, 최근에는 부동산 매매를 위한 홍보, 여행지 홍보 등에 가상현실 기술을 적용한 가상 공간 투어 시스템을 제공하고 있다.
가상 공간 투어 시스템은 360도로 둘러볼 수 있는 구형 파노라마 이미지를 지도와 연계하여 제공하는 시스템으로, 가상 공간 투어 동선을 따라 구형 파노라마 이미지를 촬영하여 저장한 후 가상 공간 투어시스템을 이용하는 사용자에게 제공함으로써, 사용자가 가상 공간 투어 동선을 따라 이동하며 다양한 각도의 시야로 가상 공간을 살펴볼 수 있는 투어 서비스이다.
그런데 종래의 가상 공간 투어 시스템은 사용자가 사용자 단말을 이용한 가상 공간 투어 요청시, 요청받은 가상 공간에 해당하는 구형 파노라마 이미지를 서버에서 사용자 단말로 모두 전송하고, 사용자 단말에서 수신한 구형 파노라마 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공하였다.
하지만, 이러한 종래의 방식은 사용자가 가상 공간 투어 요청시 서버에서 해당 가상 공간에 포함되는 모든 구형 파노라마 이미지를 사용자 단말로 전송하기 때문에, 투어 시작 전 초기 로딩 시간이 길어지며, 한 번에 전송 가능한 데이터량의 한계로 인하여 투어 서비스를 제공하는 가상 공간의 크기가 제한되거나 투어시 제공되는 이미지의 화질이 제한된다는 단점이 존재한다.
대한민국 공개특허 제10-2014-0141745호
본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신한 서버가 사용자 시선 정보에 따른 시선 이미지를 사용자 단말로 송신하여, 사용자 단말이 사용자의 시선에 따라 제공받은 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공하는 가상 공간 투어 서비스 제공 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은, 수집한 구형 파노라마 이미지를 평면화 보정한 후에 시선 이미지를 생성하여, 가상 공간 투어시 사용자의 시선 각도에 상관없이 왜곡되지 않은 평면화된 이미지를 제공하는 가상 공간 투어 서비스 제공 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 가상 공간 투어 서비스 제공 시스템은, 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신하고, 수신한 사용자 시선 정보에 따른 시선 이미지를 사용자 단말에 송신하는 서버를 포함하고, 하나 이상의 시선 이미지를 통해 사용자에게 가상 공간 투어 서비스를 제공한다.
이때, 서버는 사용자 단말로부터 사용자 시선 정보를 수신하는 서버 통신부와, 수신한 사용자 시선 정보에 기초하여 시선 이미지를 생성하는 시선 이미지 생성부를 포함하고, 서버 통신부는 생성한 시선 이미지를 사용자 단말로 송신할 수 있다.
또한, 생성한 시선 이미지는 평면화 보정된 이미지일 수 있다.
또한, 서버는 외부로부터 수신한 구형 파노라마 이미지를 평면화 보정하는 이미지 보정부와, 이미지 보정부에서 보정한 이미지를 저장하는 저장부를 더 포함하고, 시선 이미지 생성부는 저장부에 저장된 이미지로부터 시선 이미지를 생성할 수 있다.
또한, 이미지 보정부는 수신한 구형 파노라마 이미지를 평면화 보정하여 육면체 이미지를 생성하는 평면화 보정부를 포함할 수 있다.
또한, 이미지 보정부는 생성한 육면체 이미지를 다수개로 분할하여 분할 이미지를 생성하는 분할 이미지 생성부를 더 포함하고, 생성한 분할 이미지 각각은 분할 위치에 따른 식별코드가 부여된 상태로 저장부에 저장될 수 있다.
또한, 사용자 시선 정보에는 사용자 시선 영역을 포함하는 구형 매쉬맵 정보가 포함되고, 시선 이미지 생성부는 사용자 시선 영역에 기초하여 시선 이미지를 생성할 수 있다.
또한, 시선 이미지 생성부는 식별코드에 기초하여 저장부에 저장된 분할 이미지 중 구형 매쉬맵 정보의 사용자 시선 영역에 대응하는 분할 이미지를 추출하는 분할 이미지 추출부와, 추출한 분할 이미지를 병합하여 시선 이미지를 생성하는 분할 이미지 병합부를 더 포함할 수 있다.
또한, 시선 이미지 생성부는 구형 매쉬맵 정보를 육면체 매쉬맵 정보로 변경하는 시선 영역 식별부를 더 포함하고, 분할 이미지 추출부는 육면체 매쉬맵 정보의 사용자 시선 영역에 부가된 식별코드와 저장부에 저장된 분할 이미지의 식별코드를 비교하여 사용자 시선 영역에 대응하는 분할 이미지를 추출할 수 있다.
본 발명에 의하면, 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신한 서버가 사용자 시선 정보에 따른 시선 이미지를 사용자 단말로 송신하여, 사용자 단말이 사용자의 시선에 따라 제공받은 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공함으로써, 서버에서 사용자 단말로 투어 대상이 되는 가상 공간 내 모든 이미지를 한 번에 송신하는 종래의 방식에 비하여 투어 시작시 초기 로딩 시간을 단축할 수 있다.
또한, 본 발명은 가상 공간 투어 서비스 제공시 해당 가상 공간의 전체 이미지를 송신하지 않고 실제 사용자에게 제공되는 시선 이미지만을 송신하므로 전체 송신 데이터량이 감소하며, 투어 공간의 크기 상관없이 사용자 시선 당 1장의 이미지가 제공되므로 투어 공간의 제약이 없으며 고화질의 이미지를 제공할 수 있다.
또한, 본 발명은 수집한 구형 파노라마 이미지를 평면화 보정한 후에 시선 이미지를 생성하여 가상 공간 투어시 사용자의 시선 각도에 상관없이 왜곡되지 않은 평면화된 이미지를 제공함으로써, 사용자가 왜곡없이 현실감있는 가상 공간 투어를 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 투어 서비스 제공 시스템을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 보정부의 기능 블록도이다.
도 4는 본 발명의 일 실시예에 따른 구형 파노라마 이미지의 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 육면체 이미지 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 분할 이미지 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 시선 이미지 생성부의 기능 블록도이다.
도 8은 본 발명의 일 실시예에 따른 요청 매쉬 영역 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 보정 매쉬 영역 일례를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 기능 블록도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하 첨부한 도면을 참고로 본 발명에 따른 가상 공간 투어 서비스 제공 시스템에 대해 보다 구체적으로 살펴본다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 투어 서비스 제공 시스템을 개념적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 가상 공간 투어 서비스 제공 시스템은 사용자의 시선에 따른 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공는 것이다.
이를 위해, 본 실시예에 따른 가상 공간 투어 서비스 제공 시스템은 구형 파노라마 이미지를 촬영하는 360도 카메라(10)와, 구형 파노라마 이미지를 이용하여 시선 이미지를 생성하는 서버(30), 서버로부터 수신한 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공하는 사용자 단말(50)을 포함하여 구성될 수 있다.
360도 카메라(10)는 투어 서비스를 제공하기 위한 실제 공간을 촬영하여 구형 파노라마 이미지를 수집하며, 수집한 구형 파노라마 이미지를 서버(30)로 제공할 수 있다. 서버(30)로의 구형 파노라마 이미지 제공을 위해 360도 카메라(10)는 서버(30)와 유무선 통신 연결될 수 있으며, 일례로 네트워크(70)를 통해 서버(30)와 무선 통신 연결될 수 있다.
여기서, 360도 카메라(10)는 구형 파노라마 이미지를 수집 가능한 다양한 카메라가 적용될 수 있으며 구형 파노라마 이미지를 수집하기 위한 전용 카메라가 적용될 수 있으나, 파노라마 촬영 기능을 구비하는 스마트폰도 360도 카메라(10)에 적용될 수 있다.
서버(30)는 360도 카메라(10)로부터 제공받은 구형 파노라마 이미지를 저장하고, 사용자가 사용자 단말(50)을 이용한 가상 공간 투어 서비스 요청시 저장한 구형 파노라마 이미지로부터 시선 이미지를 생성하여 사용자 단말(50)로 송신할 수 있다.
여기서, 사용자 단말(50)은 사용자에게 가상 공간 투어 서비스를 제공하는 단말로 사용자에게 이미지를 출력할 수 있는 디스플레이를 구비하며 네트워크(70) 등을 통해 서버(30)와 통신 연결 가능한 단말일 수 있다. 예를 들면 PC, 노트북, 스마트폰, 테블릿 PC 등이 사용자 단말(50)로 적용될 수 있으나 이에 한정하는 것은 아니다.
사용자 단말(50)은 사용자가 가상 공간 투어 서비스 요청시 투어 대상이 되는 가상 공간 내 사용자 시선 정보를 생성할 수 있다. 사용자 단말(50)은 생성한 사용자 시선 정보를 네트워크(70)를 통해 서버(30)로 송신하고, 사용자 시선 정보를 수신한 서버(30)는 수신한 사용자 시선 정보에 따른 시선 이미지를 생성하여 사용자 단말(50)로 송신할 수 있다. 서버(30)로부터 시선 이미지를 수신한 사용자 단말(50)은 수신한 시선 이미지를 사용자에게 출력하여 사용자가 가상 공간 내 시선에 따른 이미지를 제공받을 수 있도록 하며, 사용자의 시선이 변경될 때마다 변경된 시선에 따른 사용자 시선 정보를 생성하고 생성한 사용자 시선 정보에 따른 시선 이미지를 서버(30)로부터 수신하여 출력함으로써, 사용자에게 가상 공간 투어 서비스를 제공할 수 있다.
이와 같이, 본 실시예에 따른 가상 공간 투어 서비스 제공 시스템은 사용자 단말(50)로부터 가상 공간 내 사용자 시선 정보를 수신한 서버(30)가 사용자 시선 정보에 따른 시선 이미지를 사용자 단말(50)로 송신하여, 사용자 단말(50)이 사용자의 시선에 따라 제공받은 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공함으로써, 서버에서 사용자 단말로 투어 대상이 되는 가상 공간 내 모든 이미지를 한 번에 송신하는 종래의 방식에 비하여 투어 시작시 초기 로딩 시간을 단축할 수 있다.
또한, 본 실시예에 따른 가상 공간 투어 서비스 제공 시스템은 가상 공간 투어 서비스 제공시 해당 가상 공간의 전체 이미지를 송신하지 않고 실제 사용자에게 제공되는 시선 이미지만을 송신하므로 전체 송신 데이터량이 감소하며, 투어 공간의 크기 상관없이 사용자 시선 당 1장의 이미지가 제공되므로 투어 공간의 제약이 없으며 고화질의 이미지를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 서버의 기능 블록도이다.
이하에서는 도 2를 참조하여 서버(30)에 관하여 보다 구체적으로 설명하기로 한다.
서버(30)는 통신 연결을 위한 서버 통신부(31)와, 구형 파노라마 이미지를 평면화 보정하는 이미지 보정부(33)와, 평면화 보정한 이미지를 저장하는 저장부(35), 그리고 사용자 시선 정보에 따른 시선 이미지를 생성하는 시선 이미지 생성부(37)를 포함하여 구성될 수 있다.
서버 통신부(31)는 네트워크(70)를 통해 360도 카메라(10) 또는 사용자 단말(50)과 통신 연결될 수 있다. 서버 통신부(31)는 360도 카메라(10)로부터 네트워크(70)를 통해 구형 파노라마 이미지를 수신하여 이미지 보정부(33)에 제공하며, 사용자 단말(50)로부터 네트워크(70)를 통해 사용자 시선 정보를 수신하여 시선 이미지 생성부(37)에 제공할 수 있다. 또한, 서버 통신부(31)는 시선 이미지 생성부(37)에서 생성한 시선 이미지를 네트워크(70)를 통해 사용자 단말(50)로 송신할 수 있다.
이미지 보정부(33)는 제공받은 구형 파노라마 이미지를 평면화 보정하여 육면체 이미지를 생성하며, 생성한 육면체 이미지를 다수개의 분할 이미지로 분할할 수 있다. 이때, 이미지 보정부(33)에서 분할된 분할 이미지는 저장부(35)에 저장되며, 각각의 분할 이미지에는 저장부(35)에 저장되기 전 분할 위치에 따른 식별코드가 부여될 수 있다.
시선 이미지 생성부(37)는 서버 통신부(31)에서 수신한 사용자 시선 정보를 제공받으면, 저장부(35)에 저장된 분할 이미지를 이용하여 제공받은 사용자 시선 정보에 따른 시선 이미지를 생성할 수 있다. 시선 이미지 생성부(37)는 분할 이미지에 부여된 식별코드에 기초하여 사용자 시선에 해당하는 분할 이미지를 선택하며, 선택한 분할 이미지를 병합하여 시선 이미지를 생성할 수 있다. 시선 이미지 생성부(37)에서 생성한 시선 이미지는 서버 통신부(31)에 제공되며, 서버 통신부(31)는 제공받은 시선 이미지를 네트워크(70)를 통해 사용자 단말(50)로 송신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 보정부의 기능 블록도이고, 도 4는 본 발명의 일 실시예에 따른 구형 파노라마 이미지의 일례를 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 육면체 이미지 일례를 도시한 도면이다. 그리고 도 6은 본 발명의 일 실시예에 따른 분할 이미지 일례를 도시한 도면이다.
이하에서는 도 3 내지 도 6을 참조하여 서버의 이미지 보정부(33)에 관하여 보다 구체적으로 설명하기로 한다.
이미지 보정부(33)는 구형 파노라마 이미지를 평면화 보정하고 분할하기 위해, 도 3에 도시된 바와 같이 평면화 보정부(331) 및 분할 이미지 생성부(333)를 구비할 수 있다.
평면화 보정부(331)는 서버 통신부(31)로부터 제공받은 구형 파노라마 이미지를 평면화 보정하여 육면체 이미지를 생성할 수 있다.
평면화 보정부(331)의 육면체 이미지 생성 과정을 구체적으로 살펴보면, 평면화 보정부(331)는 제공받은 구형 파노라마 이미지(gi)를 도 4에 도시된 바와 같이 전면 영역, 후면 영역, 좌측면 영역, 우측면 영역, 상면 영역 및 하면 영역으로 구획할 수 있다. 그리고 구획한 각 면의 왜곡현상을 보정하여 도 5와 같이 사각형 형상으로 평면화 보정함으로써, 육면체 이미지(hi)를 생성할 수 있다.
평면화 보정부(331)는 극좌표 계산과, 극좌표 벡터 형성 및 충돌 면과 픽셀 계산을 통해 평면화 보정할 수 있다. 구체적으로 구형 파노라마 이미지의 좌표가 (i,j)이고 너비가 'w'이고 높이가 'h'인 경우 -1에서 1 사이의 정규화된 좌표(x,y)를 x=2I/w-1, y=2j/h-1 또는 y=1-2j/h(픽셀의 위치에 따라 0)와 같이 정의할 수 있다. 극좌표 세타와 파이는 정규화된 좌표(x,y)에서 파생되므로, theta 범위는 0 ~ 2 pi이고 phi 범위는 -pi/2(남극)에서 pi/2(북극)으로 구면 수직 왜곡의 경우 아래의 [수학식 1]과 같이 정의된다.
[수학식 1]
theta = x pi, phi = y pi/2 또는 phi = asin(y)
그리고 극좌표(theta, phi)는 아래의 [수학식 2]와 같이 단위 벡터로 변환한다. 단, 이것은 오른쪽 좌표계, x는 오른쪽, y는 위쪽, z는 페이지 외부라고 가정하여 계산한다. 육면체 이미지의 정면 영역은 양의 z축을 따라 원점에서 보고 있다는 가정을 가진다.
[수학식 2]
x = cos(phi) cos(theta)
y = sin(phi)
z = cos(phi) sin(theta)
여기서, 각 단위 벡터의 교차점은 입방체의 면이 되며, 교차점 발생시 정사각형 면의 좌표가 되에 해당 픽셀에 관련 색상을 저장한다.
이와 같이, 본 발명은 수집한 구형 파노라마 이미지를 평면화 보정한 후에 시선 이미지를 생성하여 가상 공간 투어시 사용자의 시선 각도에 상관없이 왜곡되지 않은 평면화된 이미지를 제공함으로써, 사용자가 왜곡없이 현실감있는 가상 공간 투어를 제공받을 수 있다.
한편, 상기와 같은 과정을 통해 이미지 보정부(33)에서 육면체 이미지를 생성하면, 분할 이미지 생성부(333)는 육면체 이미지의 각 면을 다수개로 분할하여 분할 이미지를 생성할 수 있다.
도 6을 예로하여 설명하면, 이미지 보정부(33)는 육면체 이미지의 각 면을 3x3으로 분할하여 분할 이미지(pi)를 생성할 수 있다. 이때, 각 면의 분할 개수는 다양하게 설정될 수 있으며, 각각의 분할 이미지 면적은 서로 동일할 수 있다.
각각의 분할 이미지(pi)는 분할 위치에 따른 식별코드가 부가될 수 있다. 도 5를 예로하면, 육면체 이미지(hi) 중 상면 영역의 3번째 분할 이미지(pi)에는 상면 위치를 나타내는 't'와 3번째 위치에 해당하는 '003'이 병합된 식별코드't003'가 부가될 수 있다. 그리고 식별코드가 부가된 각각의 분할 이미지는 저장부(35)에 저장될 수 있다.
도 7은 본 발명의 일 실시예에 따른 시선 이미지 생성부를 구체적으로 도시한 서버의 기능 블록도이고, 도 8은 본 발명의 일 실시예에 따른 요청 매쉬 영역 일례를 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 보정 매쉬 영역 일례를 도시한 도면이다.
이하에서는 도 7 내지 도 9를 참조하여 서버의 시선 이미지 생성부(37)에 관하여 보다 구체적으로 살펴보기로 한다.
시선 이미지 생성부(37)는 수신한 사용자 시선 정보에 따른 시선 이미지를 생성하기 위해, 도 7에 도시된 바와 같이 시선 영역 식별부(371), 분할 이미지 추출부(373) 및 분할 이미지 병합부(375)를 구비할 수 있다.
서버 통신부(31)를 통해 사용자 단말(50)로부터 수신한 사용자 시선 정보에는 사용자 시선 영역이 포함될 수 있다. 도 8을 참조하여 구체적으로 설명하면, 사용자 단말(50)은 사용자의 가상 공간 투어시, 가상 공간 내 사용자 위치(u)를 중심으로 하는 구형 매쉬맵(gm)을 생성하며, 구형 매쉬맵(gm)에 사용자의 시선 각도에 따른 사용자 시선 영역(va1)을 표시하여 사용자 시선 정보를 생성할 수 있다. 따라서, 시선 영역 식별부(371)가 서버 통신부(31)로부터 제공받은 사용자 시선 정보에는 제1 사용자 시선 영역(va1)이 표시된 구형 매쉬맵(gm)이 포함되어 있다.
시선 영역 식별부(371)는 구형 매쉬맵(gm)을 평면화 보정하여 육면체 매쉬맵(hm)으로 변경할 수 있다. 이때 구형 매쉬맵(gm)과 육면체 매쉬맵(hm)의 매쉬 개수는 동일할 수 있으며, 구형 매쉬맵(gm)의 매쉬와 육면체 매쉬맵(hm)의 매쉬는 서로간에 1:1 대응할 수 있다. 따라서, 시선 영역 식별부(371)는 육면체 매쉬맵(hm)에서 구형 매쉬맵의 제1 사용자 시선 영역(va1)과 대응하는 제2 사용자 시선 영역(va2)을 결정할 수 있으며, 결정한 제2 사용자 시선 영역(va2)에 포함되는 매쉬를 선택하고 선택한 매쉬에 부가된 식별코드를 추출할 수 있다. 이때, 각 매쉬에 부가된 식별코드는 배치 면과 위치에 따른 식별코드이며, 각 매쉬에 부가되는 식별코드는 분할 이미지에 부가되는 식별코드와 동일한 방식으로 부가될 수 있다. 또한, 육면체 매쉬맵(hm)의 매쉬 개수는 육면체 이미지의 분할 이미지 개수와 동일할 수 있으며, 육면체 매쉬맵(hm)의 각 매쉬는 육면체 이미지의 각 분할 이미지와 1:1 대응할 수 있지만, 이에 한정하는 것은 아니다. 예를 들어, 육면체 매쉬맵(hm)의 매쉬 개수는 육면체 이미지의 분할 이미지 개수의 4배이며, 4개의 매쉬가 결합하여 1개의 분할 이미지와 1:1 대응할 수 있다.
분할 이미지 추출부(373)는 저장부(35)에 저장된 분할 이미지 중, 구형 매쉬맵 정보의 사용자 시선 영역에 대응하는 분할 이미지를 선택하여 추출할 수 있다. 구체적으로 분할 이미지 추출부(373)는 시선 영역 식별부(371)에서 추출한 식별코드와 저장부(35)에 저장된 분할 이미지의 식별코드를 비교하여 사용자 시선 영역에 대응하는 분할 이미지를 선택하여 추출할 수 있다.
분할 이미지 병합부(375)는 분할 이미지 추출부(373)에서 선택하여 추출한 분할 이미지를 병합하여 시선 이미지를 생성할 수 있다. 이때, 분할 이미지 병합부(375)는 각 분할 이미지에 부가된 식별코드에 기초하여 분할 이미지의 위치를 판단하고, 판단한 위치에 따라 각 분할 이미지를 배치하여 병합할 수 있다.
도 10는 본 발명의 일 실시예에 따른 사용자 단말의 기능 블록도이다.
상술한 바와 같이 사용자 단말(50)은 사용자 시선 정보를 생성하여 서버(30)로 송신하고, 서버(30)로부터 수신한 시선 이미지를 이용해 사용자에게 가상 공간 투어 서비스를 제공할 수 있다.
이를 위해, 사용자 단말(50)은 도 10에 도시된 바와 같이 시선 정보 생성부(51)와, 단말 통신부(53) 그리고 디스플레이(55)를 포함하여 구성될 수 있다.
시선 정보 생성부(51)는 사용자의 가상 공간 투어시, 가상 공간 내 사용자 위치를 중심으로 하는 구형 매쉬맵을 생성하며, 구형 매쉬맵에 사용자의 시선 각도에 따른 사용자 시선 영역을 표시하여 사용자 시선 정보를 생성할 수 있다. 시선 정보 생성부(51)는 생성한 사용자 시선 정보를 단말 통신부(53)로 제공하여 서버(30)로 송신되도록 할 수 있다.
단말 통신부(53)는 네트워크(70)를 통해 서버 통신부(31)와 무선 통신 연결되며, 시선 정보 생성부(51)로부터 사용자 시선 정보를 제공받으면 서버 통신부(31)로 송신하고, 서버 통신부(31)로부터 시선 이미지를 수신하면, 수신한 시선 이미지를 디스플레이(55)로 제공할 수 있다.
디스플레이(55)는 단말 통신부(53)로부터 제공받은 시선 이미지를 시각적으로 출력하여 사용자에게 제공할 수 있다. 사용자는 디스플레이(55)에 출력되는 시선 이미지를 통해 가상 공간 내 시선에 따른 시선 이미지를 볼 수 있다. 만약, 사용자가 가상 공간 내 위치 또는 시선 각도를 변경하면, 시선 정보 생성부(51)에서 새로운 시선 정보를 생성하고, 이에 따라 새로운 시선 이미지가 디스플레이(55)로 제공되면 디스플레이(55)는 새로 제공받은 시선 이미지를 출력하여, 가상 공간 내 위치 변경 또는 시선 각도 변경에 따른 새로운 시선 이미지를 사용자에게 제공할 수 있다.
바람직하게, 사용자 단말(50)은 생성한 사용자 시선 정보가 소정 시간 이내에 생성하였던 사용자 시선 정보와 동일한 중복 시선 정보이면 중복 시선 정보를 서버(30)로 송신하지 않고, 동일한 과거 시선 정보를 통해 기존에 수신하였던 시선 이미지를 다시 출력할 수 있다.
이를 위해, 사용자 단말(50)은 생성한 사용자 시선 정보와 수신한 시선 이미지를 소정 시간 동안 임시 저장하는 임시 저장부(57)와, 생성한 사용자 시선 정보가 중복 시선 정보인지 판단하는 중복 시선 판단부(59)를 포함하여 구성될 수 있다.
임시 저장부(57)는 시선 정보 생성부(51)에서 사용자 시선 정보를 생성하면, 생성한 사용자 시선 정보를 제공받아 저장하고, 단말 통신부(53)에서 시선 이미지를 수신하면, 수신한 시선 이미지를 제공받아 저장할 수 있다. 이때, 사용자 시선 정보가 저장되고 직후에 저장되는 시선 이미지는 서로 매칭되어 저장될 수 있으며, 만약, 사용자 시선 정보가 연속하여 저장된다면 앞서 저장된 사용자 시선 정보에는 시선 이미지가 매칭되지 않을 수 있다.
중복 시선 판단부(59)는 시선 정보 생성부(51)에서 생성한 사용자 시선 정보를 제공받고, 제공받은 사용자 시선 정보를 임시 저장부(57)에 저장된 사용자 시선 정보와 비교하여, 시선 정보 생성부(51)에서 생성한 사용자 시선 정보가 중복 시선 정보인지 판단할 수 있다. 단말 통신부(53)는 중복 시선 판단부(59)의 판단 결과를 제공받고, 중복 시선 정보가 아니라면 시선 정보 생성부(51)에서 생성한 사용자 시선 정보를 서버(30)로 송신하되 중복 시선 정보라면 시선 정보 생성부(51)에서 생성한 사용자 시선 정보를 서버(30)로 송신하지 않는다. 그리고 임시 저장부(57)는 저장된 사용자 시선 정보 중, 중복 시선 판단부(59)가 새롭게 생성된 사용자 시선 정보와 동일하다 판단한 사용자 시선 정보를 선택하고, 선택한 사용자 시선 정보에 매칭된 시선 이미지를 디스플레이(55)로 제공할 수 있다. 디스플레이(55)는 임시 저장부(57)로부터 시선 이미지를 제공받으면, 단말 통신부(53)로부터 시선 이미지를 제공받았을 때와 같이 기존 시선 이미지를 대신하여 새롭게 제공받은 시선 이미지를 출력할 수 있다.
바람직하게, 임시 저장부(57)는 사용자가 가상 공간 투어를 종료시 저장된 사용자 시선 정보와 시선 이미지를 삭제할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 360도 카메라
30: 서버
31: 서버 통신부
33: 이미지 보정부
331: 평면화 보정부
333: 분할 이미지 생성부
35: 저장부
37: 시선 이미지 생성부
371: 매쉬맵 평면화부
373: 분할 이미지 추출부
375: 분할 이미지 병합부
50: 사용자 단말
51: 사용자 시선 정보 생성부
53: 단말 통신부
55: 디스플레이
57: 임시 저장부
59: 중복 시선 판단부
70: 네트워크

Claims (10)

  1. 사용자 단말로부터 가상 공간 내 사용자 시선 정보를 수신하고, 수신한 사용자 시선 정보에 따른 시선 이미지를 상기 사용자 단말에 송신하는 서버를 포함하고,
    하나 이상의 상기 시선 이미지를 통해 사용자에게 가상 공간 투어 서비스를 제공하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  2. 제 1 항에 있어서, 상기 서버는
    상기 사용자 단말로부터 상기 사용자 시선 정보를 수신하는 서버 통신부; 및
    수신한 상기 사용자 시선 정보에 기초하여 상기 시선 이미지를 생성하는 시선 이미지 생성부를 포함하고,
    상기 서버 통신부는 생성한 상기 시선 이미지를 상기 사용자 단말로 송신하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  3. 제 2 항에 있어서,
    생성한 상기 시선 이미지는 평면화 보정된 이미지인 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  4. 제 3 항에 있어서, 상기 서버는
    외부로부터 수신한 구형 파노라마 이미지를 평면화 보정하는 이미지 보정부; 및
    상기 이미지 보정부에서 보정한 이미지를 저장하는 저장부를 더 포함하고,
    상기 시선 이미지 생성부는 상기 저장부에 저장된 이미지로부터 상기 시선 이미지를 생성하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  5. 제 4 항에 있어서, 상기 이미지 보정부는
    수신한 상기 구형 파노라마 이미지를 평면화 보정하여 육면체 이미지를 생성하는 평면화 보정부를 포함하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  6. 제 5 항에 있어서, 상기 이미지 보정부는
    생성한 상기 육면체 이미지를 다수개로 분할하여 분할 이미지를 생성하는 분할 이미지 생성부를 더 포함하고,
    생성한 상기 분할 이미지 각각은 분할 위치에 따른 식별코드가 부여된 상태로 상기 저장부에 저장되는 것을 특징으로 하는 가상 투어 제공 시스템.
  7. 제 6 항에 있어서,
    상기 사용자 시선 정보에는 사용자 시선 영역을 포함하는 구형 매쉬맵 정보가 포함되고,
    상기 시선 이미지 생성부는 상기 사용자 시선 영역에 기초하여 상기 시선 이미지를 생성하는 것을 특징으로 하는 가상 투어 제공 시스템.
  8. 제 7 항에 있어서, 상기 시선 이미지 생성부는
    상기 식별코드에 기초하여 상기 저장부에 저장된 분할 이미지 중 상기 구형 매쉬맵 정보의 사용자 시선 영역에 대응하는 분할 이미지를 추출하는 분할 이미지 추출부; 및
    추출한 상기 분할 이미지를 병합하여 상기 시선 이미지를 생성하는 분할 이미지 병합부를 더 포함하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  9. 제 8 항에 있어서, 상기 시선 이미지 생성부는
    상기 구형 매쉬맵 정보를 육면체 매쉬맵 정보로 변경하는 시선 영역 식별부를 더 포함하고,
    상기 분할 이미지 추출부는 상기 육면체 매쉬맵 정보의 사용자 시선 영역에 부가된 식별코드와 상기 저장부에 저장된 분할 이미지의 식별코드를 비교하여 사용자 시선 영역에 대응하는 분할 이미지를 추출하는 것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.
  10. 제 9 항에 있어서,

    것을 특징으로 하는 가상 공간 투어 서비스 제공 시스템.


KR1020220062599A 2022-05-23 2022-05-23 가상 공간 투어 서비스 제공 시스템 KR20230163053A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220062599A KR20230163053A (ko) 2022-05-23 2022-05-23 가상 공간 투어 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220062599A KR20230163053A (ko) 2022-05-23 2022-05-23 가상 공간 투어 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR20230163053A true KR20230163053A (ko) 2023-11-30

Family

ID=88968597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220062599A KR20230163053A (ko) 2022-05-23 2022-05-23 가상 공간 투어 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR20230163053A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140141745A (ko) 2013-05-30 2014-12-11 서영수 홍보 브이알 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140141745A (ko) 2013-05-30 2014-12-11 서영수 홍보 브이알 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN104331929B (zh) 基于视频地图与增强现实的犯罪现场还原方法
CN109865289B (zh) 一种基于增强现实技术的实景环境娱乐系统及其方法
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
CN110971678B (zh) 一种基于5g网络的沉浸式可视化校园系统
JP4253567B2 (ja) データオーサリング処理装置
JP4757115B2 (ja) 画像処理装置、画像処理方法
US20070291035A1 (en) Horizontal Perspective Representation
CN111242704B (zh) 用于在现实场景中叠加直播人物影像的方法和电子设备
EP3779892A1 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method and image display method
CN105793895A (zh) 用于生成和显示地理区域的立体图像对的系统和方法
CN111508033A (zh) 相机参数确定方法、图像处理方法、存储介质及电子装置
CN115830199B (zh) 基于xr技术的泛在实训校园构建方法、系统及存储介质
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
WO2022023142A1 (en) Virtual window
CN112947756A (zh) 内容导览方法、装置、系统、计算机设备及存储介质
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN112927356B (zh) 一种无人机图像的三维显示方法
EP3690606A1 (en) Virtual-real combination-based human anatomical structure display and interaction method
KR20230163053A (ko) 가상 공간 투어 서비스 제공 시스템
CN112288876A (zh) 远距离ar识别服务器及系统
EP3430591A1 (en) System for georeferenced, geo-oriented real time video streams
CN105893452A (zh) 一种呈现多媒体信息的方法及装置
US11734860B2 (en) Method and system for generating an augmented reality image
JP5649842B2 (ja) 情報提供装置、情報提供方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal