KR101652753B1 - 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템 - Google Patents

3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템 Download PDF

Info

Publication number
KR101652753B1
KR101652753B1 KR1020150129328A KR20150129328A KR101652753B1 KR 101652753 B1 KR101652753 B1 KR 101652753B1 KR 1020150129328 A KR1020150129328 A KR 1020150129328A KR 20150129328 A KR20150129328 A KR 20150129328A KR 101652753 B1 KR101652753 B1 KR 101652753B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
virtual reality
providing
application
Prior art date
Application number
KR1020150129328A
Other languages
English (en)
Inventor
전재익
Original Assignee
주식회사 마이다스아이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마이다스아이티 filed Critical 주식회사 마이다스아이티
Priority to KR1020150129328A priority Critical patent/KR101652753B1/ko
Application granted granted Critical
Publication of KR101652753B1 publication Critical patent/KR101652753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예는 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현될 수 있게 하는데 있다.
이를 위해 본 발명의 일 실시예는 적어도 하나의 카메라를 이용하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 제1 단계; 상기 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환하는 제2 단계; 상기 변환된 구체 이미지를 보정 또는 편집하는 제3 단계; 상기 보정 또는 편집된 구체 이미지를 큐브 타입의 이미지로 분할하는 제4 단계; 및 상기 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 제5 단계를 포함하는 3차원 파노라마 가상현실 이미지 제공방법을 개시한다.

Description

3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템{METHOD FOR PROVIDING 3D PANORAMA VIRTUAL REALITY IMAGE AND SYSTEM FOR PROVIDING 3D PANORAMA VIRTUAL REALITY IMAGE USING THE SAME}
본 발명의 일 실시예는 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템에 관한 것이다.
파노라마 가상 현실(Panorama Virtual Reality, PVR)의 적용 분야에는 제한이 사실상 없다.
일반적인 사진으로 표현하기 어려운 장소라면 PVR로 해결할 수 있다. 일반적인 그래픽 3D에 비해 제작비가 저렴하며, 별도의 설치 프로그램이 없고, 구동이 매우 편리하다. 홍보하고자 하는 장소에 PVR을 적용하면 좋은 시너지 효과를 가져올 수 있다.
PVR를 이용하여 사이버 모델 하우스는 인터넷 공간에서 실제 방문한 듯한 느낌을 줄 수 있고, 항공 VR을 이용하여 실제 건설 현장과 주변에 대한 정보를 전달할 수 있으며, 각 평형 VR로 내부 마감재 등 평형에 대한 정보를 전달할 수 있다.
PVR과 3D 그래픽 기술을 이용하면 현재 건설되지 않은 건설 현장에 3D 그래픽을 이용하여 건설 완공된 PVR을 구현할 수 있다.
여행하고 싶은 장소를 파노라마로 미리 둘러볼 수 있다. 전체적으로 플래쉬나 일반 VR은 관광지의 개략도를 나타내고, 링크를 클릭하면 PVR을 통해 가보고 싶은 여행지를 미리 둘러볼 수 있다.
공개특허공보 제10-2009-0009114호 '합성 이미지 구성 방법' 공개특허공보 제10-2009-0072688호 '360도 동영상 이미지 기반 공간정보 구축 시스템 및 그 구축 방법'
본 발명의 일 실시예는 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현되는 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템을 제공한다.
본 발명의 일 실시예에 의한 3차원 파노라마 가상현실 이미지 제공방법은 적어도 하나의 카메라를 이용하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 제1 단계; 상기 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환하는 제2 단계; 상기 변환된 구체 이미지를 보정 또는 편집하는 제3 단계; 상기 보정 또는 편집된 구체 이미지를 큐브 타입의 이미지로 분할하는 제4 단계; 및 상기 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 제5 단계를 포함할 수 있다.
상기 제1 단계는 제1 카메라를 이용하여 수평으로 회전하면서 360도 촬영하고, 각 카메라의 렌즈의 곡률에 따라 수직 구간을 3 내지 5 분할하여 각 구간을 360도 회전하면서 촬영하는 과정과, 제2 카메라를 이용하여 항공 촬영하는 과정을 포함할 수 있다.
상기 제2 단계는 상기 획득된 2차원 영상을 미리 설정된 스티처(sticher) 프로그램을 이용하여 하나의 이미지로 합성한 후 상기 합성된 이미지를 구체 이미지로 변환할 수 있다.
상기 제3 단계는 상기 변환된 구체 이미지를 미리 설정된 이미지 편집 프로그램을 이용하여 이미지 합성시 발생되는 연결점이나 이미지의 색감, 밝기, 색대비 정보를 보정할 수 있다.
상기 제4 단계는 상기 보정 또는 편집된 구체 이미지를 미리 설정된 3차원 형성 프로그램을 이용하여 큐브 타입 이미지로 매핑하고, 상기 매핑된 큐브 타입 이미지를 양안 시차를 이용한 3차원 분할 화면으로 구성할 수 있다.
상기 제5 단계는 상기 구성된 3차원 분할 화면에 POI(Point Of Information) 또는 팝업 이미지를 추가하여 어플리케이션으로 퍼블리싱(publishing)할 수 있다.
또한, 본 3차원 파노라마 가상현실 이미지 제공방법은 상기 퍼블리싱된 어플리케이션을 가상 현실 제공기기에 적용하여 외부로 출력하는 과정을 더 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공시스템은 적어도 하나의 카메라를 구비하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 영상 획득부; 상기 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환하는 이미지 변환부; 상기 변환된 구체 이미지를 보정 또는 편집하는 이미지 보정부; 상기 보정 또는 편집된 구체 이미지를 큐브 타입의 이미지로 분할하는 이미지 분할부; 상기 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 앱 출판부; 및 상기 퍼블리싱된 어플리케이션을 웹 상으로 제공하여 접속된 사용자 단말로 전송하도록 제어하는 연동 서비스부를 포함할 수 있다.
본 3차원 파노라마 가상현실 이미지 제공시스템은 상기 퍼블리싱된 어플리케이션을 수신하여 외부로 출력하는 가상 현실 제공 기기를 더 포함할 수 있다.
상기 가상 현실 제공 기기는, 복수 개의 접힘선이 구비되고, 상기 접힘선을 따라 접혀 일측이 개방되는 하우징 부재를 형성하는 제1 카드 보드와, 상기 하우징 부재의 개방된 일측에 끼움 결합되고, 사용자의 눈에 대응되도록 양안홀이 형성되는 제2 카드 보드를 구비하되, 상기 제1 카드 보드는 상기 일측의 반대 편에 사용자 단말이 수용되는 수용부가 구비될 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법은 3D 그래픽 소프트웨어를 이용하여 실제 공간 데이터와 동일한 조건을 가지는 가상 공간 데이터를 형성하는 제1 단계; 상기 형성된 가상 공간 데이터에 적어도 하나의 카메라를 배치하는 제2 단계; 상기 배치된 카메라를 통하여 360도 랜더링된 이미지를 생성한 후, 각각의 이미지를 조합하는 제3 단계; 상기 조합된 이미지를 스티칭하여 구체 이미지를 획득하는 제4 단계; 및 상기 획득된 구체 이미지를 큐브 타입의 이미지로 분할하는 제5 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템은 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현함으로써, 사용자 단말에 설치된 2차원 콘텐츠를 사용자에게 보다 효과적으로 3차원으로 인식하도록 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 나타내는 순서도이다.
도 2a 내지 2e는 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 순차적으로 나타내는 도면이다.
도 3은 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 나타내는 순서도이다.
도 4a 내지 4e는 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 순차적으로 나타내는 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공 시스템을 개략적으로 나타내는 블럭도이다.
도 6a 및 6b는 도 5의 가상 현실 제공 기기의 조립 전 후의 상태를 나타내는 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 나타내는 순서도이고, 도 2a 내지 2e는 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 순차적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법은 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현되는 방법으로서, 적어도 하나의 카메라를 이용하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 제1 단계(S10)와, 제1 단계(S10)에서 획득된 2차원 영상을 스티칭(stiching)하여 구체 이미지(Spherical image)로 변환하는 제2 단계(S20)와, 제2 단계(S20)에서 변환된 구체 이미지를 보정 또는 편집하는 제3 단계(S30)와, 제3 단계(S30)에서 보정 또는 편집된 구체 이미지를 큐브 타입의 이미지로 분할하는 제4 단계(S40)와, 제4 단계(S40)에서 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 제5 단계(S50)를 포함한다.
상기와 같이 구성된 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 이루는 제1 단계(S10) 내지 제5 단계(S50)의 실제 구현 상태를 도 2a 내지 2e를 참조하여 보다 구체적으로 설명하기로 한다.
우선, 도 2a에 도시된 바와 같이, 상기 제1 단계(S10)는 제1 카메라를 이용하여 수평으로 회전하면서 360도 촬영하고, 각 카메라의 렌즈의 곡률에 따라 수직 구간을 3 내지 5 분할하여 각 구간을 360도 회전하면서 촬영하는 과정과, 제2 카메라를 이용하여 항공 촬영하는 과정을 포함한다. 예를 들어, 상기 제1 단계(S10)는 일반 PVR 촬영을 위하여 DSLR 카메라를 이용하여 현실 공간의 오브젝트를 수평으로 회전하면서 360도 촬영하고, 각 카메라의 렌즈의 곡률에 따라 수직 구간을 3 내지 5 분할하여 각 구간을 360도 회전하면서 촬영한다. 이와 동시에, 상기 제1 단계(S10)는 SKY VR 항공 촬영을 위하여 UAV(Unmanned Aerial Vehicle) 등의 무인항공기를 이용하여 지상으로부터 수십 미터에서 수천 미터 상공에서 현실 공간의 오브젝트에 대하여 PVR 촬영을 한다. 이에 따라, 상기 제1 단계(S10)는 서로 간에 오프셋을 갖는 두 개의 2차원 영상을 획득한다. 한편, 상기 제1 단계(S10)에서의 SKY VR 항공 촬영은 표현되는 범위가 넓어 주위 환경을 쉽게 조망/조감 할 수 있다는 장점이 있다.
또한, 도 2b에 도시된 바와 같이, 상기 제2 단계(S20)는 제1 단계(S10)에서 획득된 2차원 영상을 미리 설정된 스티처(sticher) 프로그램을 이용하여 하나의 이미지로 합성한 후 상기 합성된 이미지를 구체 이미지로 변환한다. 즉, 상기 제2 단계(S20)는 제1 단계(S10)에서 촬영된 여러 장의 이미지를 전용 프로그램(Sticher 등)을 이용하여 하나의 이미지로 합성한 후 VR(가상현실, Virtual Reality) 제작에 필요한 구체 이미지(Spherical Image)로 변환시킨다.
또한, 도 2c에 도시된 바와 같이, 상기 제3 단계(S30)는 제2 단계(S20)에서 변환된 구체 이미지를 미리 설정된 이미지 편집 프로그램을 이용하여 이미지 합성시 발생되는 연결점이나 이미지의 색감, 밝기, 색대비 정보를 보정한다. 즉, 상기 제3 단계(S30)는 이미지 편집툴(Photoshop 등)을 이용하여 이미지 합성시 생길 수 있는 어긋난 연결점 등을 수정하고 이미지의 색감, 밝기, 색대비 등을 보정한다.
또한, 도 2d에 도시된 바와 같이, 상기 제4 단계(S40)는 제3 단계(S30)에서 보정 또는 편집된 구체 이미지를 미리 설정된 3차원 형성 프로그램을 이용하여 큐브 타입 이미지로 매핑하고, 상기 매핑된 큐브 타입 이미지를 양안 시차를 이용한 3차원 분할 화면으로 구성할 수 있다. 즉, 상기 제4 단계(S40)는 구체 이미지를 각 출력물(Contents)의 3차원 굴곡면에 표현(Mapping)할 수 있도록 6장의 정육면체 이미지(Cube Type Image)로 분할한다.
또한, 도 2e에 도시된 바와 같이, 상기 제5 단계(S50)는 3차원 형성 프로그램(Unity 3D)를 이용하여 6장의 정육면체 이미지(Cube Type Image)를 맵핑하고, 이 모델을 Stereoscopic 3D(양안시차를 이용한 3D) 형태의 균등분할 화면으로 구성한 후, 구성된 화면을 IOS OS 와 Android OS에 적합한 형태로 분기하여 최종 응용프로그램(Application)으로 퍼블리싱한다. 이때, 상기 어플리케이션은 3D PC/모바일 버전, 3D 가상현실 모바일 앱 등으로 구현될 수 있다. 또한, 상기 제5 단계(S50)는 제4 단계(S40)에서 구성된 3차원 분할 화면에 POI(Point Of Information) 또는 팝업 이미지를 추가하여 어플리케이션으로 퍼블리싱할 수 있다. 이에 따라, 사용자가 바라보고 있는 시점 포인터를 화면에 삽입하여 이를 특정한 POI에 일치시킬 경우 공간의 이동 또는 정보창의 생성을 구현할 수 있다. 또한, 상황에 따라서는 시점 이동에 따라 화면 전체가 움직이는 UI를 적용하기도 하고, 공간의 이동의 경우 특정 POI를 일정시간 바라볼 경우 공간의 이동이 발생하는 이벤트를 적용할 수도 있다.
도시되어 있지는 않지만, 본 3차원 파노라마 가상현실 이미지 제공방법은 제5 단계(S50)에서 퍼블리싱된 어플리케이션을 가상 현실 제공기기(도 5 내지 도 6b 참조)에 적용하여 외부로 출력하는 과정을 더 포함할 수 있다. 상기 가상 현실 제공기기에 대한 상세한 설명은 후술하기로 한다.
도 3은 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 나타내는 순서도이고, 도 4a 내지 4e는 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법을 순차적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법은 3D 그래픽 소프트웨어를 이용하여 실제 공간 데이터와 동일한 조건을 가지는 가상 공간 데이터를 형성하는 제1 단계와, 제1 단계에서 형성된 가상 공간 데이터에 적어도 하나의 카메라를 배치하는 제2 단계와, 제2 단계에서 배치된 카메라를 통하여 360도 랜더링된 이미지를 생성한 후, 각각의 이미지를 조합하는 제3 단계와, 제3 단계에서 조합된 이미지를 스티칭하여 구체 이미지를 획득하는 제4 단계(S200)와, 제4 단계(S200)에서 획득된 구체 이미지를 큐브 타입의 이미지로 분할하는 제5 단계(S300)를 포함한다.
즉, 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법은 컴퓨터그래픽 소프트웨어를 사용하여 컴퓨터그래픽(CG) 공간을 생성하고, 소프트웨어에서 지원하는 적어도 하나 이상의 카메라를 이용하여 컴퓨터그래픽 공간의 오브젝트를 다각도로 동시에 촬영하여 360도 랜더링된 이미지를 생성한 후 이를 조합하며, 조합된 이미지를 스티칭하여 구체 이미지를 획득하고, 해당 구체 이미지를 큐브 타입의 이미지로 분할하는 과정을 거치게 된다.
한편, 도 3에서는 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법에서 제1 단계 내지 제3 단계를 하나의 3D VR을 제작하는 단계(S100)로 도시하였다.
여기서, 상기 3D VR을 제작하는 단계(S100)에서 사용되는 3D그래픽 소프트웨어는 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법에서의 PVR(Photographic Virtual Reality)과 그 원리나 비쥬얼 방식은 같다고 볼 수 있으나 다른 점은 실제 현장이 존재하지 않기 때문에 촬영을 할 수 없다는 것이다.
이에 따라, 도 4a에 도시된 바와 같이, 3D 그래픽 소프트웨어를 이용해 추후 준공과 동일한 조건의 가상의 공간을 만들고, 기존 PVR방식과 마찬가지로 도 4b에 도시된 바와 같이, 가상의 공간에 카메라를 설치하고 360도 랜더링된 이미지를 출력 조합하는 방식으로 VR을 구현한다.
또한, 상기 제4 단계(S200)는, 도 4c에 도시된 바와 같이, 가상의 공간 안에서 오브젝트에 질감을 부여하고 실내의 조명값을 계산하여 파노라마 방식으로 랜더링 된 구체 이미지를 생성한다. 이때, 상기 구체 이미지는 일반적인 이미지와 다르게 왜곡 되어 있다.
또한, 상기 제5 단계(S300)는, 도 4d에 도시된 바와 같이, 구체이미지(Spherical Image)를 각 출력물(Contents)의 3차원 굴곡면에 표현(Mapping)할 수 있도록 6장의 정육면체 이미지(Cube Type Image)로 분할한다.
그런 다음, 도 4e에 도시된 바와 같이, 3차원 형성 프로그램(Unity 3D)를 이용하여 6장의 정육면체 이미지를 맵핑하고, 이 모델을 Stereoscopic 3D(양안시차를 이용한 3D) 형태의 균등분할 화면으로 구성한다. 이와 같이 구성된 화면을 iOS와 Android OS에 적합한 형태로 분기하여 최종 어플리케이션으로 퍼블리싱(S400)하게 된다.
도시되어 있지는 않지만, 퍼블리싱(S400)된 최종 어플리케이션은 사용자 단말에 적용되어 가상 현실 제공기기를 통하여 외부로 출력될 수 있다.
이에 따라, 본 발명의 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법은 3D그래픽 소프트웨어를 이용하여 가상 세계의 카메라 시점에서 파노라마 시점의 이미지와 영상을 생성하고, 컴퓨터그래픽 공간(OpenGL, DirectX 등)의 카메라에서 원하는 장면의 이미지와 영상을 출력할 수 있다. 이를 통하여 현실 공간에서의 촬영과는 다르게 카메라의 이동 자유도가 매우 높고 촬영의 어려움 등의 현실 촬영의 어려움이 개선될 수 있다. 예를 들어, 1개의 애니메이션 3차원 데이터에 대하여 다각도를 가지는 이미지 및 영상이 산출 가능하다.
도 5는 본 발명의 또 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공 시스템을 개략적으로 나타내는 블록도이고, 도 6a 및 6b는 도 5의 가상 현실 제공 기기의 조립 전 후의 상태를 나타내는 도면이다.
도 5를 참조하면, 본 발명의 또 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공 시스템은 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현되는 시스템으로서, 영상 획득부(210), 이미지 변환부(220), 이미지 보정부(230), 이미지 분할부(240), 앱 출판부(250) 및 연동 서비스부(260)를 포함한다.
상기 영상 획득부(210)는 적어도 하나의 카메라(10)로부터 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득한다. 이를 위하여, 상기 적어도 하나의 카메라(10)는 일반 PVR 촬영을 위한 DSLR 카메라와 같은 제1 카메라와, SKY VR 항공 촬영을 위한 항공 촬영 카메라와 같은 제2 카메라를 포함할 수 있다. 즉, 상기 영상 획득부(210)는 일반 PVR 촬영을 위하여 DSLR 카메라를 이용하여 현실 공간의 오브젝트를 수평으로 회전하면서 360도 촬영하고, 각 카메라의 렌즈의 곡률에 따라 수직 구간을 3 내지 5 분할하여 각 구간을 360도 회전하면서 촬영하고, SKY VR 항공 촬영을 위하여 UAV(Unmanned Aerial Vehicle) 등의 무인항공기를 이용하여 지상으로부터 수십 미터에서 수천 미터 상공에서 현실 공간의 오브젝트에 대하여 PVR 촬영한다.
상기 이미지 변환부(220)는 영상 획득부(210)에 의하여 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환한다. 즉, 상기 이미지 변환부(220)는 여러 장의 이미지를 전용 프로그램(Sticher 등)을 이용하여 하나의 이미지로 합성한 후 VR(가상현실, Virtual Reality) 제작에 필요한 구체 이미지(Spherical Image)로 변환시킨다. 즉, 상기 이미지 변환부(220)는 카메라(10)로부터 획득한 영상 데이터에서 파노라마 가상현실 데이터를 추출하여 변환한다. 여기서, 파노라마 가상현실 데이터는 카메라(10)를 회전시켜 획득한 이미지 데이터(예를 들면, 카메라를 회전시키면서 촬영한 복수개의 사진 데이터)를 범용 파노라마 프로그램으로 스티칭(Stiching)하여 구체 이미지로 변환시킨다.
상기 이미지 보정부(230)는 이미지 변환부(220)에 의하여 변환된 구체 이미지를 보정 또는 편집한다. 즉, 상기 이미지 보정부(230)는 이미지 편집툴(Photoshop 등)을 이용하여 이미지 합성시 생길 수 있는 어긋난 연결점 등을 수정하고 이미지의 색감, 밝기, 색대비 등을 보정한다.
상기 이미지 분할부(240)는 이미지 보정부(230)에 의하여 보정 또는 편집된 구체 이미지를 큐브 타입의 이미지로 분할한다. 즉, 상기 이미지 분할부(240)는 구체 이미지를 각 출력물(Contents)의 3차원 굴곡면에 표현(Mapping)할 수 있도록 6장의 정육면체 이미지(Cube Type Image)로 분할한다.
상기 앱 출판부(250)는 이미지 분할부(240)에 의하여 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)한다. 즉, 상기 앱 출판부(250)는 3차원 형성 프로그램(Unity 3D)를 이용하여 6장의 정육면체 이미지(Cube Type Image)를 맵핑하고, 이 모델을 Stereoscopic 3D(양안시차를 이용한 3D) 형태의 균등분할 화면으로 구성한 후, 구성된 화면을 IOS OS 와 Android OS에 적합한 형태로 분기하여 최종 어플리케이션으로 퍼블리싱한다.
상기 연동 서비스부(260)는 앱 출판부(250)에 의하여 퍼블리싱된 어플리케이션을 웹 상으로 제공하여 접속된 사용자 단말(30)로 전송하도록 제어한다. 즉, 상기 연동 서비스부(260)는 파노라마 가상현실 콘텐츠를 어플리케이션 형태로 업로드(Upload)하여 로컬 또는 웹 상에서 제공되도록 관리한다. 이러한 연동 서비스부(260)는 로컬 또는 웹으로 접속한 사용자 단말(30)을 검출하고 파노라마 가상현실 콘텐츠를 어플리케이션 형태로 사용자 단말(30)로 전송하여 출력하도록 제어한다. 이때, 상기 사용자 단말(30)은 파노라마 가상현실 콘텐츠를 디스플레이 할 수 있는 뷰어 프로그램이 내장되어 있다. 한편, 상기 어플리케이션은 오프라인에서 직접 체험 용도로 사용될 경우 apk 파일 형태로 사용자 단말(30)에 제공하여 바로 설치하여 사용되도록 할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 3차원 파노라마 가상현실 이미지 제공 시스템은 사용자 데이터베이스부(미도시)를 더 포함하고, 카메라(10)가 설치된 공간의 환경 상태 및 동작 상태의 변동을 데이터베이스화하여 저장하고 통계화된 수치로 사용자 단말(30)로 제공할 수 있다.
이러한 사용자 단말(30)은 가상 현실 제공기기(40)에 수용되어 어플리케이션을 실행시킴으로써, 사용자에게 파노라마 가상현실 콘텐츠를 디스플레이하게 된다.
상기 가상 현실 제공기기(40)는 도 6a 및 6b에 도시된 바와 같이, 복수 개의 접힘선이 구비되고, 접힘선을 따라 접혀 일측이 개방되는 하우징 부재를 형성하는 제1 카드 보드(42)와, 하우징 부재의 개방된 일측에 끼움 결합되고, 사용자의 눈에 대응되도록 양안홀이 형성되는 제2 카드 보드(41)를 구비한다.
이때, 상기 제1 카드 보드(41)는 일측의 반대 편에 사용자 단말(30)이 수용되는 수용부를 구비한다. 상기 하우징 부재의 개방된 일측에는 사용자 단말(30)로부터 디스플레이되는 파노라마 가상현실 콘텐츠를 시청하는 사용자의 얼굴이 위치된다.
한편, 상기 가상 현실 제공기기(40)는 종이 재질로 구성될 수 있으나, 본 발명은 이에 한정되는 것은 아니고, 플라스틱 또는 이를 포함하는 합성 수지 등과 같은 재질로 형성될 수도 있다.
또한, 본 발명에서는 사용자에게 파노라마 가상현실 콘텐츠를 디스플레이하기 위하여 사용자 단말(30)과 가상 현실 제공기기(40)를 별도로 구성하고 있으나, 사용자 단말(30)과 가상 현실 제공기기(40)이 일체화된 HMD(Head Mounted Display) 형태로도 구현될 수 있다.
상기와 같이 구성된 본 발명의 일 실시예에 따른 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템은 2개의 화면에 서로 간에 오프셋을 가지는 2개의 2차원 영상 컨텐츠가 3차원 파노라마 가상 현실 이미지로 구현함으로써, 사용자 단말에 설치된 2차원 콘텐츠를 사용자에게 보다 효과적으로 3차원으로 인식하도록 유도할 수 있다.
이상에서 설명한 것은 본 발명에 의한 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
10: 카메라
20: 3차원 파노라마 가상 현실 이미지제공시스템
30: 사용자 단말
40: 가상 현실 제공기기
210: 영상 획득부
220: 이미지 변환부
230: 이미지 보정부
240: 이미지 분할부
250: 앱 출판부
260: 연동 서비스부

Claims (11)

  1. 적어도 하나의 카메라를 이용하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 제1 단계;
    상기 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환하는 제2 단계;
    상기 변환된 구체 이미지를 보정 또는 편집하는 제3 단계;
    상기 보정 또는 편집된 구체 이미지를 미리 설정된 3차원 형성 프로그램을 이용하여 큐브 타입 이미지로 매핑하고, 상기 매핑된 큐브 타입 이미지를 양안 시차를 이용한 3차원 분할 화면으로 구성하는 제4 단계; 및
    상기 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 제5 단계를 포함하고,
    상기 제1 단계는 제1 카메라를 이용하여 수평으로 회전하면서 360도 촬영하고, 각 카메라의 렌즈의 곡률에 따라 상기 제1 카메라의 촬영을 위한 회전 방향에 대하여 수직인 구간을 3 내지 5 분할하여 각 구간을 360도 회전하면서 촬영하는 과정과, 제2 카메라를 이용하여 항공 촬영하는 과정을 포함하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제2 단계는 상기 획득된 2차원 영상을 미리 설정된 스티처(sticher) 프로그램을 이용하여 하나의 이미지로 합성한 후 상기 합성된 이미지를 구체 이미지로 변환하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공방법.
  4. 청구항 1에 있어서,
    상기 제3 단계는 상기 변환된 구체 이미지를 미리 설정된 이미지 편집 프로그램을 이용하여 이미지 합성시 발생되는 연결점이나 이미지의 색감, 밝기, 색대비 정보를 보정하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공방법.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제5 단계는 상기 구성된 3차원 분할 화면에 POI(Point Of Information) 또는 팝업 이미지를 추가하여 어플리케이션으로 퍼블리싱(publishing)하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공방법.
  7. 청구항 6에 있어서,
    상기 퍼블리싱된 어플리케이션을 가상 현실 제공기기에 적용하여 외부로 출력하는 과정을 더 포함하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공방법.
  8. 제1항, 제3항, 제4항, 제6항 및 제7항 중 어느 한 항에 기재된 3차원 파노라마 가상현실 이미지 제공방법을 실행하는 3차원 파노라마 가상현실 이미지 제공시스템이고,
    적어도 하나의 카메라를 구비하여 현실 공간의 오브젝트에 대하여 상호 간 오프셋을 가지는 2차원 영상을 획득하는 영상 획득부;
    상기 획득된 2차원 영상을 스티칭하여 구체 이미지(Spherical image)로 변환하는 이미지 변환부;
    상기 변환된 구체 이미지를 보정 또는 편집하는 이미지 보정부;
    상기 보정 또는 편집된 구체 이미지를 미리 설정된 3차원 형성 프로그램을 이용하여 큐브 타입 이미지로 매핑하고, 상기 매핑된 큐브 타입 이미지를 양안 시차를 이용한 3차원 분할 화면으로 구성하는 이미지 분할부;
    상기 구성된 3차원 분할 화면을 어플리케이션으로 퍼블리싱(publishing)하는 앱 출판부; 및
    상기 퍼블리싱된 어플리케이션을 웹 상으로 제공하여 접속된 사용자 단말로 전송하도록 제어하는 연동 서비스부를 포함하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공시스템.
  9. 청구항 8에 있어서,
    상기 퍼블리싱된 어플리케이션을 수신하여 외부로 출력하는 가상 현실 제공 기기를 더 포함하는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공시스템.
  10. 청구항 9에 있어서,
    상기 가상 현실 제공 기기는, 복수 개의 접힘선이 구비되고, 상기 접힘선을 따라 접혀 일측이 개방되는 하우징 부재를 형성하는 제1 카드 보드와, 상기 하우징 부재의 개방된 일측에 끼움 결합되고, 사용자의 눈에 대응되도록 양안홀이 형성되는 제2 카드 보드를 구비하되, 상기 제1 카드 보드는 상기 일측의 반대 편에 사용자 단말이 수용되는 수용부가 구비되는 것을 특징으로 하는 3차원 파노라마 가상현실 이미지 제공시스템.
  11. 삭제
KR1020150129328A 2015-09-11 2015-09-11 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템 KR101652753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150129328A KR101652753B1 (ko) 2015-09-11 2015-09-11 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150129328A KR101652753B1 (ko) 2015-09-11 2015-09-11 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Publications (1)

Publication Number Publication Date
KR101652753B1 true KR101652753B1 (ko) 2016-09-01

Family

ID=56942684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150129328A KR101652753B1 (ko) 2015-09-11 2015-09-11 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Country Status (1)

Country Link
KR (1) KR101652753B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782516B1 (ko) 2015-11-24 2017-09-27 한국건설기술연구원 포인터를 이용한 중공관 촬영장치 및 이를 이용하여 중공관을 촬영하는 방법
KR101820359B1 (ko) * 2016-10-21 2018-01-19 서울과학기술대학교 산학협력단 360도 영상 전송 방법 및 장치
KR101887380B1 (ko) * 2017-03-30 2018-08-10 에스피테크놀러지 주식회사 복수 개의 카메라를 이용한 촬영 이미지의 전송 및 처리를 위한 장치 및 방법
WO2019103192A1 (ko) * 2017-11-23 2019-05-31 전자부품연구원 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR20190078800A (ko) * 2017-12-27 2019-07-05 인하대학교 산학협력단 3차 투영법을 이용한 인터랙티브 360 비디오 어노테이션 방법
KR101986227B1 (ko) * 2017-12-05 2019-09-30 서울과학기술대학교 산학협력단 360도 vr 영상 간의 정합 장치 및 방법
WO2020017860A1 (ko) * 2018-07-19 2020-01-23 (주)코믹스브이 파노라마 형식의 이미지를 이용한 가상현실 만화 서비스 제공 방법
KR20200035696A (ko) * 2018-09-27 2020-04-06 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR20200073784A (ko) 2018-12-14 2020-06-24 주식회사 케이티 가상 현실 서비스를 제공하는 서버, 단말 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078663A (ko) * 2001-04-07 2002-10-19 휴먼드림 주식회사 디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을위치 정합시키는 디지털 조각 이미지 정합처리방법 및정합처리장치
KR20090009114A (ko) 2007-07-18 2009-01-22 삼성전자주식회사 합성 이미지 구성 방법
KR20090072688A (ko) 2007-12-28 2009-07-02 주식회사 케이티 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법
KR101212231B1 (ko) * 2012-07-13 2012-12-13 송헌주 이동 자유도를 개선한 융합형 가상현실 구현 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078663A (ko) * 2001-04-07 2002-10-19 휴먼드림 주식회사 디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을위치 정합시키는 디지털 조각 이미지 정합처리방법 및정합처리장치
KR20090009114A (ko) 2007-07-18 2009-01-22 삼성전자주식회사 합성 이미지 구성 방법
KR20090072688A (ko) 2007-12-28 2009-07-02 주식회사 케이티 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법
KR101212231B1 (ko) * 2012-07-13 2012-12-13 송헌주 이동 자유도를 개선한 융합형 가상현실 구현 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
How to make 360 degrees spherical panoramas, QT Luong, under Techniques (2014.06.20.)* *
구글 카드보드가 왔어요(2015.01.09.), URL: http://sangil1018.blog.me/220235154627*

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782516B1 (ko) 2015-11-24 2017-09-27 한국건설기술연구원 포인터를 이용한 중공관 촬영장치 및 이를 이용하여 중공관을 촬영하는 방법
KR101820359B1 (ko) * 2016-10-21 2018-01-19 서울과학기술대학교 산학협력단 360도 영상 전송 방법 및 장치
KR101887380B1 (ko) * 2017-03-30 2018-08-10 에스피테크놀러지 주식회사 복수 개의 카메라를 이용한 촬영 이미지의 전송 및 처리를 위한 장치 및 방법
WO2019103192A1 (ko) * 2017-11-23 2019-05-31 전자부품연구원 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR101986227B1 (ko) * 2017-12-05 2019-09-30 서울과학기술대학교 산학협력단 360도 vr 영상 간의 정합 장치 및 방법
KR102008072B1 (ko) * 2017-12-27 2019-08-06 인하대학교 산학협력단 3차 투영법을 이용한 인터랙티브 360 비디오 어노테이션 방법
KR20190078800A (ko) * 2017-12-27 2019-07-05 인하대학교 산학협력단 3차 투영법을 이용한 인터랙티브 360 비디오 어노테이션 방법
WO2020017860A1 (ko) * 2018-07-19 2020-01-23 (주)코믹스브이 파노라마 형식의 이미지를 이용한 가상현실 만화 서비스 제공 방법
KR20200035696A (ko) * 2018-09-27 2020-04-06 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR20210084411A (ko) * 2018-09-27 2021-07-07 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR102278342B1 (ko) * 2018-09-27 2021-07-16 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR102330984B1 (ko) * 2018-09-27 2021-12-01 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR20200073784A (ko) 2018-12-14 2020-06-24 주식회사 케이티 가상 현실 서비스를 제공하는 서버, 단말 및 방법

Similar Documents

Publication Publication Date Title
KR101652753B1 (ko) 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템
US11012622B2 (en) Digital 3D/360 degree camera system
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
US8797352B2 (en) Method and devices for visualising a digital model in a real environment
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
US10977864B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
DE112016004216T5 (de) Allgemeine Sphärische Erfassungsverfahren
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
CN103843329B (zh) 用于立体图像对的有条件显示的方法和设备
Putra et al. A proposed combination of photogrammetry, Augmented Reality and Virtual Reality Headset for heritage visualisation
GB2519744A (en) Augmented reality systems and methods
KR20200129657A (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
JP2016082328A (ja) 画像合成装置及びそのプログラム
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
US20180213196A1 (en) Method of projection mapping
JP4366165B2 (ja) 画像表示装置及び方法並びに記憶媒体
CN114463520A (zh) 一种实现虚拟现实vr漫游的方法及装置
JP4006105B2 (ja) 画像処理装置およびその方法
Guarnaccia et al. An explorable immersive panorama
US20170221504A1 (en) Photorealistic CGI Generated Character

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 4