KR20150129260A - 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법 - Google Patents

Abstract

스마트폰 등의 휴대용 단말기를 촬영기로 활용함으로써 오브젝트 가상현실 콘텐츠를 손쉽게 제작하고 배포할 수 있는 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법을 개시한다. 본 발명에 따른 오브젝트 가상현실 콘텐츠 서비스 시스템은, 촬영기능을 구비하고 오브젝트 가상현실 콘텐츠를 제작하기 위한 제작조건 설정정보를 입력받는 촬영기; 상기 제작조건 정보에 따라 피사체를 복수의 각도에서 촬영하기 위하여 상기 촬영기를 수평이동 및/또는 수직이동 시키는 오브젝트 가상현실 촬영장치; 및 상기 촬영기를 통해 촬영된 사진이미지를 수신하고, 상기 사진이미지에 대한 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하고, 상기 제작조건 설정정보에 기초하여 상기 오브젝트 가상현실 콘텐츠의 호스팅 영역을 할당하는 콘텐츠 제작 서버를 포함하여 구성될 수 있다.

Description

오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법{Service System and Method for Object Virtual Reality Contents}

본 발명은 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법에 관한 것으로서, 특히 스마트폰 등의 휴대용 단말기를 촬영기로 활용함으로써 오브젝트 가상현실 콘텐츠를 손쉽게 제작하고 배포할 수 있는 시스템 및 방법에 관한 것이다.

가상현실(VR; Virtual Reality)이란 실제가 아닌 요소들로 현실의 세상을 시뮬레이트하는 것으로서, 실제 환경과 유사하게 만들어진 컴퓨터 모델 속에 들어가 시각, 청각, 촉각, 후각, 미각 같은 감각들을 이용하여 가상공간을 체험하고 대화식으로 정보를 주고받는 것을 의미한다.

그리고 가상현실의 응용기술인 오브젝트 가상현실(Object VR)은 사용자의 주관적인 관점으로 사물(Object)을 조사해 볼 수 있도록 하는 기술로서, 사물을 360도의 각도로 회전시켜서 살펴볼 수도 있고 특정 부분의 질감이나 크기를 알아볼 수 있을 정도로 확대해서 살펴볼 수도 있어, 현 IT인프라 상황에 맞춰 여러 분야에서 응용될 수 있는 기술이다.

도 1은 오브젝트 가상현실 콘텐츠의 제작을 위한 사진촬영의 예시를 나타낸 것이다.

오브젝트 가상현실 콘텐츠로 제작될 수 있는 피사체로서는, 크기가 아주 작은 보석류부터 자동차와 같은 큰 제품들도 촬영이 되고 있으며 모델이 직접 옷을 착용하고 촬영을 하면서 다양한 포즈의 연출을 하는 것도 가능하다. 이러한 이유로 오브젝트 가상현실 콘텐츠는, 전자상거래, 의료, 교육, 문화, 건설 등 폭넓은 분야에서 활용될 수 있다.

이러한 오브젝트 가상현실 콘텐츠 제작을 위한 촬영시 주의점을 살펴보면 표1과 같다.

오브젝트 가상현실 콘텐츠 제작을 위한 촬영시 주의점

주의점	확인부
많은 컷을 찍어야 하므로 각 사진들의 노출, 거리, 조명들의 조건이 동일해야 함	장비세팅
촬영 시작 전에 카메라 뷰파인더로 보면서 물체를 회전시켜 회전중심에 맞는지 화면에서 벗어나지 않는지 사전 점검 후에 작업 시작해야 함	카메라
시작점과 각도를 표시해 둬야 함	텐테이블
촬영시 가능하면 셔터 릴리즈 사용하도록 함	카메라
사진 파일의 이름은 각도별로 순차적으로 되어 있어야 편함	제작 프로그램
위치에 따라 반사가 심한 제품도 있으니 고려해야 함	물체
보정작업시 시간 절약을 위해서는 배경이 단순해야 함	이미지 편집
보통 32컷 정도로 제작하나 좀 더 부드러운 움직임을 원하면 72컷을 권장함	소프트웨어 세팅

종래 오브젝트 가상현실 콘텐츠 제작 및 배포 등에 관련된 기술내용을 더욱 구체적으로 살펴보면 다음과 같다.

1. 실사 이미지 기반의 가상현실 기술(Photo Image Based VR)

실사 이미지를 이용하여 3D콘텐츠를 만들어 냄으로써 사용자에게 현장감과 사실감을 제공해 주는 기술로서, Visual Reality가 부족한 3D모델링 기반의 콘텐츠를 보완할 수 있다. 3D모델링 기반의 콘텐츠 생산을 위해서는 각 물체마다 모델링 작업이 필요하므로 고비용이 소요되지만, 이미지 기반의 3D콘텐츠는 물체 사진만 찍으면 손쉽게 3D콘텐츠를 생산해 낼 수 있으므로 저비용으로 생산이 가능하다.

2. 필요 요소

2D사진을 이용하여 Object VR콘텐츠를 만들기 위해서는 사진촬영을 할 수 있는 하드웨어 및 콘텐츠 제작을 위한 소프트웨어가 있어야 한다. 하드웨어는 카메라, 턴테이블, Object VR촬영장비를 포함하고, 소프트웨어는 Object VR촬영기구 제어, Object VR생성 프로그램을 포함할 수 있다. 구체적으로 살펴보면 다음과 같다.

a. Object VR 하드웨어

1) 카메라

각 브랜드에서 제조되는 중급형 DSLR카메라가 주로 사용되며 고가제품들이 주로 사용된다.

2) 턴테이블

Object VR콘텐츠를 생성할 대상을 고정시켜 수평으로 360도 회전시켜 주는 장비이다. 물체의 크기와 하중별로 제작되고 있으며 턴테이블 회전 제어를 위한 펌웨어를 탑재하고 있는 추세이다.

3) Object VR 촬영장치

Object VR의 360도 촬영을 위해서는 오버헤드 암(Overhead Arm)이라 불리우는 보통 2개 이상의 관절을 가진 카메라 지지대로 구성된 촬영장치가 필요하다. 카메라를 물체의 위쪽으로 이동시켜 가면서 촬영을 할 수 있기 때문에 물체의 정면, 측면, 후면, 후면뿐만 아니라 윗부분까지도 촬영을 가능하게 한다. 도 2는 오브젝트 가상현실(Object VR) 촬영장치 및 이를 구성하는 오버헤드 암의 구성을 나타낸 것이다.

b. Object VR 소프트웨어

1) VR Toolbox The VR Worx2.0

* The VR Worx 프로그램은 QuickTime 기반으로 제작된 프로그램으로서 VR Object Worx, VR Pano Worx, VR Scene Worx의 세 가지 프로그램의 통합 패키지로 구성되어 있다.

* VR 제작시 사용자 요구에 부응할 수 있는 각종 옵션 값이 여타의 프로그램 중에서 가장 많고 VR Object Worx 프로그램에서는 Kaidan의 자동 턴테이블(MDT-19/TM-400/M-2500/MT-84/C-60)을 제어할 수 있도록 제작되었다. VR Scene Worx는 파노라마 및 오브젝트를 연계하여 Hotspot을 제작할 수 있는데 그래픽 방식으로 구성되어 있어 프로그램을 처음 접하더라도 빠른 시간 안에 익숙해질 수 있다.

* 파노라마를 위한 스티칭 기능을 제공하며, 오브젝트의 경우 촬영 종류에 맞는 폭넓은 영상 구성을 재현할 수 있으며, 압축률을 조절할 수 있다는 장점을 가진다. 그러나 zoom 스트리밍 기능이 없어서 확대시 깨짐 현상이 발생하며, QuickTime 플러그인이 필요하다는 단점이 있다.

2) Apple Authoring Studio

* Apple QuickTime VR Authoring Studio 프로그램은 QuickTime 기반으로 제작된 프로그램으로서 Panorama Stitcher, Panorama Maker, Object Maker, Scene Maker, Project Manager의 다섯 가지 프로그램의 통합 패키지이다.

* QuickTime을 기반으로 하는 프로그램의 시초라고도 할 수 있는데, 드래그 & 드롭(Drag and drop) 방식과 그래픽 방식으로 구성되어 있어 VR을 제작하는데 있어 빠르고 쉽게 제작할 수 있다.

* Apple Authoring Studio는 모든 종류의 QuickTime VR content를 구성하기 위한 강력한 통합 솔루션이며, 다른 멀티미디어 오브젝트에 링크된 Hotspot과 함께 완벽한 양방향 조절이 가능하다.

* Zoom 스트리밍 기능이 없어서 확대시 깨짐 현상이 발생하며, QuickTime 플러그인이 필요한 것이 단점이다.

3) Object2VR

* Garden Gnome Software제조사의 프로그램으로 window, mac 지원.

* 결과물의 윈도우 크기와 자동회전 옵션을 설정할 수 있으며 이미지의 확대 범위를 설정 가능케 하여 원본이지의 크기에 맞게 줌의 배율을 선택하고 윈도우내에 표시될 컨트롤 바를 지원하고 있으며 출력결과물은 QuickTime 뿐 아니라 flash, HTML55 제공하고 있음.

c. Object VR뷰어

* Object VR콘텐츠를 실사용자들이 사용할 수 있게 하는 뷰어

* 플랫폼별로 Quicktime, 플래시, 실버라이트, HTML5로 구분됨

* QuickTime

· 퀵타임(QuickTime)은 MOV 파일을 재생할 수 있는 플레이어로서, Apple사의 자사 운영체제인 매킨토시 기종에서 멀티미디어 활용에 관한 포괄적인 서비스를 하기 위해 개발한 것이다. 이는 비디오, 오디오, 이미지뿐만 아니라 스트리밍 기술을 한가지로 통합하고 있어 인터넷의 실시간 서비스에도 활용되고 있으며 QuickTimeVR(QTVR)이라는 3차원 가상현실을 구현하여 제품의 광고나 포토그래픽 분야에서 폭 넓게 활용되고 있다.

* QuickTimeVR(QTVR)

· 애플사가 퀵타임 3.0을 발표하면서 같이 발표한 것으로 초창기인 퀵타임 VR을 보기 위해서는 특수한 재생장치가 필요했으나 현재는 퀵타임 플레이어만 설치하면 쉽게 볼 수 있다.

· 여러 개의 사진(또는 비디오)을 촬영한 후 파노라마 형식으로 이어붙여서 만들어 냄.

· 예를 들면 대상 물체를 자신이 바라보는 시점에서 360도 모두 촬영하고 이것을 나열한 후 하나씩 이어 붙여서 ObjectVR 무비를 만듦.

* Flash

· Flash란 Flash Movie를 만드는 툴을 말하며 Flash Movie는 Flash Player를 사용하여 웹사이트에서 동작하는 그래픽, 텍스트, 애니메이션 등을 포함함.

· 비디오, 비트맵 그래픽 그리고 사운드까지도 포함시킬 수 있으며 플래시의 소스파일을 swf인 플래시 무비파일로 변환한다. Object VR은 이러한 Flash로 만들 수 있으며 윈도우 환경에서 만큼은 거의 OS와 브라우저의 영향을 받지 않는 강점이 있다.

· 하지만 Flash 플러그인을 설치해야 하는 번거로움과 모바일 디바이스에서는 지원하지 않는 경우가 많아 Flash 재생이 불가능하다.

* HTML5

· 구글, 애플에서도 최근 지원하기 시작한 웹 표준으로서, 플래시를 지원하지 않는 모바일 디바이스에서도 브라우저를 통해 고화질의 비디오를 감상할 수 있는 것이 장점임.

· Object VR은 HTML5로 변환하여 재생이 가능하며, 최근 애플에서는 이를 이용하여 360도 데모를 시연하기도 함.

· 별도의 애드온 없이 웹표준으로 구현을 할 수 있는 것이 강점이며 애플과 구글이 이를 통해 다양한 데모버전과 소스코드, 튜토리얼을 공개함.

3. 카메라 폰 기술

- 기술개요

a. 카메라 폰은 1990년대 말, 그리고 2000년대 초에 100만 화소가 되지 않은 초기 모델이 출시된 이후로 지속적인 발전을 이루어왔음.

b. 카메라가 탑재되지 않은 휴대폰이 없을 정도로 폭넓게 사용될 뿐만 아니라 전용 카메라보다 더 유용하게 사용되고 있음.

c. 카메라와 휴대폰 모두에게 큰 혜택을 준 카메라 기술의 전반적인 발전 덕택에 오늘날 좋은 카메라 폰은 이전 세대의 똑딱이 카메라와 동등한 수준의 사진을 찍을 수 있음.

d. 현재 카메라 폰은 천만 단위의 화소와 진자 광학 줌, 그리고 HD 동영상을 촬영할 수 있는 능력을 갖추었음.

e. 플릭커의 메타데이터 수집 결과에 따르면 플릭커 사용자들이 가장 많이 사용하는 카메라가 아이폰(스마트폰)이라는 점이 카메라 폰의 활용도가 높아진 점을 증명하고 있음

- 폰카메라 이미지 센서

a. CCD(Charge Coupled Device)

* 센서가 빛에 반응해서 빛에 상응하는 전류를 흘리는 이미지 센서

* 센서의 최종 출력 값은 전류임

b. CMOS(Complementary Metal Oxide Semiconductor)

* CMOS공정으로 제작된 이미지 센서

* 회로가 내장되어 있기 때문에 최종 출력 값은 디지털 데이터임

4. 이미지 분할 기술(Image Segmentation)

- 정의

a. 영상이나 이미지를 물체와 같은 의미 있는 영역들로 분할하는 기술.

- 결과물의 형태에 따른 분류

a. 소프트 분할(soft segmentation)과 하드 분할(hard segmentation)로 나눌 수 있음

b. 이미지를 분할한다고 하면 먼저 떠올릴 수 있는 결과물의 형태로는 '배경'과 '오브젝트(따고자 하는 대상물체)', 2가지로 표현되는 흑백이미지 인데, 이러한 형태의 결과물을 도출하는 분할기술들을 하드분할(hard segmentation)이라고 함.

c. 하지만 하드분할의 경우, 외곽선에서 배경과의 완전한 분할이 이루어지지 않기 때문에 다른 이미지와의 합성이 부자연스러워지는 단점이 있음(도3에 도시된 바와 같이 합성시 얇은 경계선이 나타남)

d. 따라서 분할의 결과물을 배경과 오브젝트의 이분법적인 구분이 아니라 배경과 오브젝트의 비율로 표현하는 방법이 필요로 하는 경우도 있는데 이러한 분할 기술들을 소프트 분할(soft segmentation)이라고 함

e. 그러나 soft segmentation 기술은 보통의 경우 hard segmentation에 비해 연산량이 많기 때문에 상대적으로 느릴 수밖에 없다는 단점을 가지고 있음

- 분할하는 방법에 따른 분류

a. image processing 분야에서 분할에 사용되는 방법들은 적용 가능한 범위와 연산량, 결과물의 형태에 따라 그 종류가 굉장히 다양함

b. 구현이 용이하고 사용자에게 직관적인 UX를 제공할 수 있지만 좋은 결과를 얻기에는 제약조건들이 다소 있는 방법에서부터, 구현이 복잡하지만 많은 경우에 있어 좋은 결과를 얻을 수 있는 방법에 이르기까지 많은 방법들이 존재함

c. thresholding methods와 histogram-based methods

* 도 4에 도시된 바와 같이, 원본 이미지를 오브젝트와 배경이 잘 구별되는 색차원(color space)으로 바꾼 뒤, 적절한 수치를 설정하여 오브젝트와 배경을 나누는 방법

* 간단하게 구현할 수 있고 경우에 따라 좋은 결과를 얻을 수 있는 장점이 있는 반면, 적절한 색차원을 찾는 것이 사용자의 경험과 직관에 의존하게 된다는 단점을 가지고 있음.

* 또한 경우에 따라서는 여러 가지 전처리 과정을 거쳐야 하는 번거로움을 가지고 있기도 함.

d. region growing methods와 split-and-merge methods

* 이미지를 작은 영역으로 쪼개고 인접한 영역 간의 색감이나 밝기 차이를 계산해 비슷한 영역을 합쳐나가고, 최종적으로 남는 영역들로 이미지를 분할하는 방법.

* region growing methods는 작은 영역에서 시작해서 합쳐나가는 방식(bottom-up)이고, split-and-merge methods는 큰 영역에서 작은 영역으로 쪼개가면서 영역을 찾는 방식(top-down)이다.

* 이 방법들은 n·log(n)에 비례하는 상대적으로 빠른 시간 내에 분할결과를 얻을 수 있다는 장점이 있지만, 정확하게 원하는 오브젝트만을 분할하기 어렵기 때문에 추가적인 작업이 필요할 수도 있다는 단점이 있음.

e. Graph partitioning methods

* 도 5에 도시된 바와 같이, 이미지의 각 픽셀(하나하나의 점)을 node로 삼아서 인접하는 픽셀들과는 픽셀 차이 값을 weight로 가지는 edge로 연결된 촘촘한 그래프를 상상해 보면 이러한 하나의 그래프를 미리 정의한 에너지 함수가 최소가 되도록 쪼개는 것이 이 방법의 핵심 기술임.

* 이때 사용되는 에너지 함수의 종류에 따라 다시 여러 가지 방법으로 나뉘게 되는데 이 방법은 반드시 오브젝트에 포함되어야 하는 영역 혹은 포함돼서는 안 되는 영역을 지정해야 하고, 에너지 함수의 종류와 이미지의 크기에 따라 연산량이 다소 많다는 단점을 가지고 있음.

* 반면에 분할의 결과가 좋은 편이고, 다양한 형태의 사용자 입력에 대응하기 용이한 방법이라는 측면도 가지고 있음.

클라우드

- 정의 및 기술개요

a. 일반적인 네트워크나 인터넷 등을 도식화하여 표현할 때 사용하는 구름모양의 아이콘에서 출발한 용어이며, 요즘은 네트워크상에서 컴퓨팅 기능을 내재한 클라우드 컴퓨팅(Cloud Computing)의 줄임말로 통용되고 있음.

b. 클라우드 서비스(Cloud Service)란 말은 어휘자체로는 컴퓨팅의 기능을 네트워크를 통해 제공하는 것이라 말할 수 있음.

c. 미국기술표준원(NIST)의 정의에 따른 핵심적인 특징

* 사용자의 요구기반에 따라 만들 수 있어야 함.

* 광대역 네트워크를 통해서 접속이 이루어져야 함.

* 컴퓨팅 자원이 구축되는 위치는 어디든지 상관이 없어야 함.

* 그 사용량에 따라 순간적으로 자원량이 늘어났다가 줄어들었다 할 수 있는 신축성이 있어야 함.

* 얼마만큼 사용하고 있는지 항상 측정될 수 있어야 함.

c. 클라우드 서비스 분류

* 클라우드 인프라 서비스(IaaS, Cloud Infrastructure as a Service)는 컴퓨팅 시스템이나 네트워크 등을 서비스로 제공한다.

* 클라우드 플랫폼 서비스(PaaS, Cloud Platform as a Service)는 사용자가 컴퓨팅을 사용할 수 있도록 만들어주는 플랫폼이나 솔루션 환경을 제공한다.

* 클라우드 응용 서비스(SaaS, Software as a Service)는 소프트웨어적인 다양한 응용을 서비스의 형태로 제공한다.

- 클라우드 호스팅

a. 클라우드 서비스 중 IaaS영역으로서 IT자원을 가상화하여 원하는 만큼 사용하고 사용한 만큼 비용을 지불하는 서비스이다.

b. 운영 중 서비스 중단 없이 할당된 RAM, CPU 등을 조절할 수 있음.

c. 서비스 사용량에 따라 유연하고 신속하게 서버구성을 변경할 수 있으므로 비용 절감의 효과가 있음

- 호스팅 종류에 따른 비교

a. 서버 호스팅

* 호스팅 업체에서 제공하는 서버를 임대/구매하는 방식이다.

* 사용자가 직접 서버를 구축, 관리자 권한을 가지며 독립된 환경에서 자유롭게 운영 가능함

* 서비스 비용이 비쌈

b. 웹 호스팅

* 서버의 일정공간을 임대해서 사용하는 방식

* 비용부담이 적기 때문에 소규모 서비스에 어울림

c. 코로케이션

* 자신의 서버를 직접 IDC로 운반하여, 미리 준비된 공간에 서버를 입고시킨 후 사용하는 방식.

d. 가상 서버 호스팅

* 하나의 독립서버를 가상화 프로그램(VMware, Xen 등)을 통하여 가상화OS를 만든 후 해당 공간을 할당하는 방식

* 할당된 공간은 서버호스팅처럼 하드웨어를 직접적으로 제어 못할 뿐 일반 서버호스팅과 같다고 생각하면 됨

* 시스템 root 권한 등 모든 형태가 서버호스팅과 동일함

- AWS(Amazon Web Services)

a. AWS 기술개요

* 1995년 인터넷 서점으로 시작한 아마존닷컴(Amazon.com)이 운영하는 클라우드 컴퓨팅 플랫폼을 구성하는 분산 컴퓨팅 서비스의 집합

* AWS 서비스는 2002년 7월 16일에 서비스를 시작했으며, 당시에는 개발자가 사용할 수 있는 제한된 기능만을 제공함

* 아마존(Amazon) 뉴스 자료에 따르면, 2007년에 33만 명이 사용하고 있다고 발표했으며, 2008년 1월 아마존 뉴스 자료에 따르면 Amazon.com보다는 AWS가 훨씬 대역폭(Bandwidth)을 많이 사용하고 있다고 발표

* 최근에 대중들에게 AWS가 알려진 계기는 세계의 비리를 폭로한 위키리크스 사건이었음

* 위키리크스 웹이 AWS를 사용하고 있었는데, 도덕적이고 법률적인 문제가 발생하자, 아마존 측은 카피라이트(copyright)콘텐츠 사용에 대한 약관(term)을 위배했다고 주장하고, 위키리크스 웹을 강제로 내림

* 기존 호스팅업체나, 다른 클라우드 서비스와 차별화된 AWS의 강점은 개발자의 고민이 무엇인지 명확히 알았다는 점, 명확한 과금정책, 복잡하지 않은 플랫폼(PaaS), 사용하기 쉬운 UI 관리콘솔(User Interface-Management Console)과 API를 들 수 있음

* 아마존의 AWS의 대표 서비스는 EC2와 S3로 구성된다. EC2는 개발자가 언제든지 자신이 원하는 스펙으로 하드웨어를 설정할 수 있으며, 대용량 파일을 마음대로 올릴 수 있는 등, 개발자 중심의 편한 아키텍처를 제공한다는 점을 매력으로 꼽을 수 있음

b. AWS 활용사례

* 국내 - 카카오게임 '내가그린 기린그림'

·3억개의 그림 데이터를 S3에 보관중, 손실률 0%

·50억 개의 오답 데이터를, Cassandra Backend(EBS RAID 1)*2로 서비스하고 있음.

·CloudWatch가 개별 인스턴스의 상태를 파악하고, 자동적으로 Scale Up/Down.

·다수의 서버에 배포, 배치 명령 실행은 Fabric과 boto같은 third-party로 쉽게 해결.

·하드웨어에 대한 커다란 이해가 없이도 클라우드 서비스를 이용.

이상 살펴본 배경기술과는 별도로, 스마트TV, 개인용컴퓨터, 휴대단말기 등과 같이 다양한 디스플레이 수단이 제공되는 N-Screen 환경의 기기에서 서비스 가능한 3D 콘텐츠, 음원, 텍스트, 이미지 등의 융합 콘텐츠 서비스 플랫폼의 필요성이 증가하고 있다.

또한 소비자들의 멀티미디어 서비스에 대한 요구(needs)가 다양해지고 있는 상황에서, 여러가지 멀티미디어 콘텐츠 제공 서비스 중 보다 많은 정보를 제공해 줄 수 있는 오브젝트 가상현실(Object VR) 콘텐츠를 쉽게 생성 및 제작하고 배포할 수 있는 솔루션 및 서비스 개발이 필요한 실정이다.

본 발명의 목적은 오브젝트 가상현실 콘텐츠와 관련하여 사진촬영이나 콘텐츠 제작에 대한 전문지식이 없더라도 누구나 오브젝트 가상현실 콘텐츠를 손쉽게 제작하고 배포할 수 있는 서비스 시스템 및 방법을 제공하는 것이다.

본 발명의 또다른 목적은, 오브젝트 가상현실 콘텐츠의 제작에 있어서 촬영기능을 구비한 스마트폰과 같은 단말기를 촬영장치에 장착하고 이를 통해 촬영장치를 제어함으로써 오브젝트 가상현실 콘텐츠 제작에 필요한 사진 촬영을 더욱 효과적으로 수행할 수 있는 시스템 및 방법을 제공하는 것이다.

본 발명의 또다른 목적은 촬영된 이미지에 대하여 자동으로 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하고, 제작된 콘텐츠를 자동으로 배포할 수 있는 시스템 및 방법을 제공하는 것이다.

상기한 과제를 해결하기 위한 본 발명의 일실시예에 따른 오브젝트 가상현실 콘텐츠 서비스 시스템은, 촬영기능을 구비하고 오브젝트 가상현실 콘텐츠를 제작하기 위한 제작조건 설정정보를 입력받는 촬영기; 상기 제작조건 정보에 따라 피사체를 복수의 각도에서 촬영하기 위하여 상기 촬영기를 수평이동 및/또는 수직이동 시키는 오브젝트 가상현실 촬영장치; 및 상기 촬영기를 통해 촬영된 사진이미지를 수신하고, 상기 사진이미지에 대한 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하고, 상기 제작조건 설정정보에 기초하여 상기 오브젝트 가상현실 콘텐츠의 호스팅 영역을 할당하는 콘텐츠 제작 서버를 포함하여 구성될 수 있다.

본 발명의 또다른 관점에 따른 오브젝트 가상현실 콘텐츠 서비스 방법은, 특정 피사체에 대한 오브젝트 가상현실 콘텐츠를 제작하기 위한 제작조건을 설정정보를 입력하는 단계; 설정된 제작조건에 따라 촬영기를 통해 피사체를 촬영하는 단계; 상기 제작조건 설정정보와 함께 촬영된 사진이미지를 콘텐츠 제작서버로 전송하는 단계; 상기 콘텐츠 제작서버에서 상기 사진이미지에 대한 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하는 단계; 및 상기 제작조건 설정정보에 기초하여 상기 콘텐츠 제작서버에서 상기 오브젝트 가상현실 콘텐츠의 호스팅 영역을 할당하는 단계를 포함하여 구성될 수 있다.

본 발명에 따른 오브젝트 가상현실 콘텐츠 시스템에서의 촬영장치와 결합하는 촬영기는, 무겁고 다루기 어려운 카메라 대신에 스마트폰과 같은 슬림하고 가벼운 촬영기로 대체함으로써 촬영 시스템을 간소하게 구성하는 것이 가능하고 제조단가를 낮출 수도 있다.

나아가 본 발명에 따른 오브젝트 가상현실 서비스는, 스마트폰 Object VR 촬영기술, Object VR 콘텐츠 생성 기술, Object VR 콘텐츠 배포 기술을 융합하여 콘텐츠의 제작 및 배포를 자동적으로 처리하도록 구성함으로써, 오브젝트 가상현실 콘텐츠에 대하여 증가하는 수요를 충족시킬 수 있을 것으로 기대된다.

본 발명에 의하여, 스마트폰 카메라를 이용한 Object VR콘텐츠 생성 및 자동 배포가 가능함으로써, 3rd Party 업체들에게 Object VR을 쉽게 이용하여 다양한 서비스를 구성하고 새로운 서비스를 만들 수 있도록 지원할 수 있다.

도 1은 오브젝트 가상현실 콘텐츠의 제작을 위한 사진촬영의 예시를 나타낸 것이다.
도 2는 오브젝트 가상현실(Object VR) 촬영장치 및 이를 구성하는 오버헤드 암의 구성을 나타낸 것이다.
도 3은 이미지 분할기술에 있어서 하드분할 결과물의 예시를 나타낸 것이다.
도 4는 이미지 분할기술에 있어서 쓰레스홀딩 방법(thresholding method)에 의한 진행과정을 예시적으로 나타낸 것이다.
도 5는 이미지 분할기술에 있어서 그래프 분할 방법(Graph partitioning method)의 전체 흐름도를 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 시스템을 개략적으로 나타낸 도면이다.
도7은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 방법을 개략적으로 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 시스템에서의 촬영작업 과정을 개략적으로 나타낸 도면이다.
도 9는 촬영기로부터 수신한 사진이 표시된 단말기 화면의 일예를 나타낸 것이다.
도 10은 본 발명의 일실시예에 따라 촬영된 사진을 모니터링 하는 휴대단말기 화면을 나타낸 것이다.
도 11은 본 발명의 일실시예에 따른 오브젝트 가상현실 콘텐츠의 제작과정을 나타낸 것이다.
도 12는 본 발명의 일실시예에 따른 오브젝트 가상현실 콘텐츠의 배포과정을 나타낸 것이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 상세히 설명한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

도 6은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 시스템을 개략적으로 나타낸 도면이다.

도시된 바와 같이 본 발명에 따른 시스템은, 피사체의 촬영을 위한 촬영기기, 촬영된 사진을 수신하여 오브젝트 가상현실 콘텐츠를 제작하는 콘텐츠 제작 서버(도 6에서 iSmartOVR 서버)를 포함하여 구성될 수 있으며, 추가적으로, 제작된 콘텐츠를 자동배포받는 써드파티 서버를 포함하여 구성될 수 있다.

도7은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 방법을 개략적으로 나타낸 도면이다.

도시된 바와 같이, 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 방법은, 촬영, 생성, 배포의 3단계로 구분될 수 있다. 각 단계의 세부 과정은 이하에서 구체적으로 살펴본다.

도 8은 본 발명의 일실시예에 따른 오브젝트 가상현실 컨텐츠 서비스 시스템에서의 촬영작업을 개략적으로 나타낸 도면이다.

도 8을 참조하여 본 발명에 따른 오브젝트 가상현실 콘텐츠의 촬영작업을 설명하면 다음과 같다.

도 8에 도시된 바와 같이, 본 발명에서는 촬영기로서 기존의 일반적인 카메라(DSRL 등) 대신 촬영기능 및 네트워킹 기능을 구비한 촬영기(스마트폰 등)를 사용할 수 있다.

기존의 카메라를 이용한 파노라마 VR 촬영 장비들은 지속적으로 발전하고 있지만 Object VR 촬영을 위한 기술은 수평(싱글로우)으로 회전하는 정도의 수준으로 이용되고 있는 것에 비해, 본 발명의 실시예에서와 같이 카메라 기능을 구비한 스마트폰을 이용할 경우 손쉽게 멀티로우(피사체의 수평회전촬영 및 수직회전 촬영)가 가능하도록 구성할 수 있다.

한편 Object의 회전을 담당하는 회전기능 및 카메라가 움직이는 제어모듈 및 컨트롤 박스를 무선통신(예: 블루투스 또는 Wi-Fi)을 이용하여 구현할 수 있다. 이 경우 스마트폰 제어 App을 제어용 컨트롤 판넬로 이용할 수 있다.

촬영기는 오브젝트 가상현실 촬영장치(도 6에서 촬영기기)에 착탈가능하도록 결합하여 피사체를 촬영하도록 구성할 수 있다.

구체적으로, 특정 피사체에 대한 오브젝트 가상현실 콘텐츠를 제작하기 위하여는 먼저 제작조건을 설정한다(단계10).

제작조건이라 함은, 예컨대, 콘텐츠 제작을 위한 결과포맷, 오브젝트 가상현실 촬영장치에 있어서 촬영기의 수평/수직 이동각도 범위, 촬영모드, 오토포커스(Auto Focus) 기능 활성화 여부, 플래시모드(Flash Mode) 기능 활성화 여부, 스마트폰 기기 방향 등을 설정하는 것을 의미한다.

이러한 제작조건 설정정보는 오브젝트 가상현실 촬영장치에 장착되는 촬영기(스마트폰 등)에 입력할 수 있고, 촬영기에 입력된 제작조건 설정정보에 따라, 촬영기 자체를 조정하거나 또는 오브젝트 가상현실 촬영장치에서 촬영기의 회전을 담당하는 부분(예: 오버헤드 암) 등과 같은 각 부분을 조정하여 촬영을 수행할 수 있다.

또 다른 예로서 오브젝트 가상현실 촬영장치와 유선 또는 무선 네트워크로 연결된 별도의 입력수단(예: 제작자의 개인용 컴퓨터)을 통해 상기와 같은 제작조건을 설정할 수도 있고, 설정된 제작조건 정보에 따라 촬영기를 조정하거나 또는 오브젝트 가상현실 촬영장치의 각 부분을 조정하여 촬영을 수행할 수 있다.

상기와 같이 제작조건이 설정되면, 설정된 제작조건에 따라 촬영기를 통해 피사체를 촬영한다(단계20).

구체적인 일예로서, 오브젝트 가상현실 촬영장치에는 촬영기와 상호 통신이 가능한 프로그램(예: 펌웨어 등)을 설치할 수 있다. 이에 대응하여 촬영기에는 오브젝트 가상현실 촬영장치와 상호 통신할 수 있는 프로그램(예: 앱 프로그램 등)을 설치할 수 있다.

이와 같이 촬영기와 오브젝트 가상현실 촬영장치 간에 상호 통신이 가능한 상황에서, 촬영기는 설정된 제작조건에 따라 오브젝트 가상현실 촬영장치를 제어하여 촬영을 수행할 수 있는데 이를 순차적으로 설명하면 다음과 같다.

예컨대, 촬영시작 명령이 주어지면 촬영기는 오브젝트 가상현실 촬영장치에게 제작조건 설정정보를 전송할 수 있다(단계21). 오브젝트 가상현실 촬영장치는 수신된 제작조건 설정정보에 따라, 예컨대, 촬영기가 부착되어 있는 이동체의 수평이동 및/또는 수직이동 등을 수행한다(단계22). 이러한 이동이 완료되면 오브젝트 가상현실 촬영장치는 그 취지를 촬영기에 통보한다(단계23). 오브젝트 가상현실 촬영장치로부터 이동이 완료되었음을 통보받은 촬영기는 첫 번째 촬영을 수행하고(단계24), 이러한 첫 번째 촬영이 완료되면 촬영기는 그 취지를 오브젝트 가상현실 촬영장치에 통보한다(단계25). 첫 번째 촬영이 완료되었음을 오브젝트 가상현실 촬영장치가 통보받은 경우 설정정보에 따라 두 번째 촬영을 위해 촬영기가 부착되어 있는 이동체의 수평이동 및/또는 수직이동 등을 수행하고 이후 촬영이 모두 완료될 때까지 상기 단계22~25의 과정을 반복적으로 수행한다.

촬영기를 통해 촬영된 사진은 촬영기와 유선 또는 무선 네트워크로 연결된 콘텐츠 제작서버(도6의 iSmartOVR 서버)로 전송되도록 구성할 수 있다(단계30). 콘텐츠 제작서버로 사진이 전송되면 이에 접속된 제작자 단말기(예: 개인용 컴퓨터 등)를 통해 제작자는 촬영상황을 실시간으로 모니터링 할 수 있게 된다.

도 9는 촬영기로부터 수신한 사진이 표시된 제작자 단말기 화면의 일예를 나타낸 것이다. 도시된 바와 같이 촬영기로부터 수신한 피사체의 촬영사진들이 표시되고, 각 사진에 대한 정보(ID, Name, 결과포맷, 수평각도, 수직각도 등의 정보)를 확인할 수 있다.

또 다른 예로서, 촬영기를 통해 촬영된 사진을 스마트폰 등의 휴대용 단말기를 통해 모니터링 하도록 구성할 수 있다.

예컨대, 촬영기인 스마트폰에 촬영 결과물을 확인할 수 있는 앱 프로그램을 설치하고, 이러한 앱 프로그램을 통해 콘텐츠제작 서버로부터 촬영사진을 다운로드 받을 수 있도록 구성할 수 있다.

이 경우, 촬영기에 설치된 앱 프로그램은 특정 계정에서 결과물을 살펴볼 수 있도록 하거나 다운로드 기능을 제공한다. 이 경우, 예컨대 HTTP(HyperText Transfer Protocol)를 통해 사용이 쉽고 빠르게 통신하도록 지원할 수 있다. 또한, 다양한 스마트폰 기기에 지원하기 위해 하이브리드 앱으로 개발할 경우 운영체제(OS; Operating System)에 종속되지 않도록 표준 웹인 HTML5(HyperText Markup Language 5)를 사용할 경우 기기 특성에 제한받지 않으면서 오브젝트 가상현실 뷰어의 역할을 수행할 수 있다.

도 10은 본 발명의 실시예에 따라 촬영된 사진을 모니터링 하는 휴대단말기 화면을 나타낸 것이다. 도시된 바와 같이, 각각의 오브젝트 가상현실 피사체의 리스트가 표시되는 한편, 각 피사체 사진에 대한 정보가 표시되도록 구성할 수 있다.

한편, 피사체의 촬영사진이 콘텐츠 제작서버로 전송되면, 콘텐츠 제작서버는 전송된 촬영사진을 기초로 하여 오브젝트 가상현실 콘텐츠를 제작한다.

도 11을 참조하여 오브젝트 가상현실 콘텐츠의 제작과정을 설명하면 다음과 같다.

먼저, 콘텐츠 제작서버는 촬영된 초기 이미지(Raw Image) 전체를 전송 받는다(단계1).

그러고 나서 콘텐츠 제작서버는 콘텐츠 제작에 사용될 초기 이미지 전체 또는 일부에 대하여 '자동배경제거' 작업을 수행한다(단계2). 즉, 원본이미지에 있어서, 촬영된 피사체를 제외한 배경부분을 이미지 분할 기술(Image Segmentation)을 이용하여 자동적으로 배경제거 작업을 수행할 수 있다. 이러한 자동배경제거 작업은, 예컨대 공지된 기술을 이용하여 수행할 수 있다.

배경이 제거된 이미지에 대해서는 색감, 밝기 등에 대한 자동보정 작업을 수행한다(단계3).

이미지에 대한 자동보정 작업은, 예컨대 이미지 크기 변경 및 이미지 크롭(crop) 등과 같은 이미지의 물리적인 수정 기능을 수행할 수 있다. 나아가, 이미지에 대한 채도, 명도, 대조(Contrast) 및 간단한 색 필터 등의 기능을 수행할 수도 있다.

그리고, 이러한 자동보정 작업은, 웹/모바일/스마트TV 등 어떤 기기에서도 이미지 보정이 수행될 수 있도록 HTML5 기술을 이용하여 구현할 수 있다.

이처럼 배경제거작업(단계2)과 보정작업(단계3)이 완료된 이미지에 대하여, 제작자는 필요에 따라 이미지에 대한 추가보정작업을 수행할 수 있다(단계4).

예컨대, 촬영된 이미지는 촬영에 사용된 촬영기(예: 스마트폰)에 따라서 다양한 크기와 다양한 효과가 적용되어 있으므로, 콘텐츠 제작자(Content Creator)의 콘셉트와 의도가 적용된 콘텐츠로 구성하기 위하여 이미지의 수정 및 보정기능이 필요할 수 있으므로 이러한 단계4를 별도로 거칠 수 있다.

단계2~4의 과정을 거쳐서 생성된 이미지들은 오브젝트 가상현실 콘텐츠로 객체화(object) 한 후에 HTML 뷰어와 연결된다(단계5).

상기한 도 11에 따른 과정을 거쳐서 제작된 오브젝트 가상현실 콘텐츠의 배포에 대하여, 도 12를 참조하여 설명한다.

도 12에서 호스팅 스테이지(Hosting Stage)의 서버(콘텐츠 제작서버)에는 도11에 따른 과정을 거쳐서 제작된 오브젝트 가상현실 콘텐츠가 저장된다.

구체적으로 각 오브젝트 가상현실 콘텐츠는 일정한 분류기준, 예컨대, 콘텐츠에 부여된 계정이나 상품별로 분류하여 서버 내 저장영역(호스팅 영역)에 저장될 수 있다. 즉, 계정, 상품별로 디스크의 빈 공간을 찾아 호스팅 영역을 할당한 후 해당 호스팅 영역에 접근할 수 있는 유알엘(URL) 주소나 임베디드 코드(Embedded Code) 정보를 써드파티 서버(3rd party server)에 제공할 수 있다.

이 경우, 유알엘 주소와 임베디드 코드는 사용자가 미리 설정할 수 있도록 구성할 수 있는데, 실제적으로는 오브젝트 가상현실 콘텐츠를 표시할 수 있는 뷰어와 연결된 URL주소를 전달할 수 있다.

한편, 호스팅 영역 할당에 있어서는, 예컨대, 아마존 웹 서비스(AWS; Amazon Web Services, 클라우드 컴퓨팅 플랫폼을 구성하는 분산 컴퓨팅 서비스의 집합)와 같은 서비스를 사용하여 서버 안정성 및 확장성을 높이고 디스크의 빈 공간을 적절히 탐지하여 유동적으로 호스팅영역을 할당해 주고, 상품과 스토리지 간의 연결 관리를 위한 관리모듈을 이용하여 호스팅영역 할당시간을 최소화 시킬 수 있다.

3rd party는 미리 3rd party library를 설치/세팅하여 자동배포를 위한 준비를 해야 한다. 준비과정 중에는 콘텐츠 제작서버에 계정등록을 먼저 수행하여 서버가 해당 오브젝트 가상현실 컨텐츠를 어느 영역으로 할당해야 할지를 알 수 있도록 한다.

자동 배포된 오브젝트 가상현실 콘텐츠를 각자 사이트의 특성에 맞게 최초 1회만 프로그래밍 하면 다음부턴 자동으로 배포되어 고객들이 즉시 확인할 수 있도록 한다.

이상 살펴본 바와 같이 본 발명에 따른 오브젝트 가상현실 콘텐츠 제작에 있어서는, 촬영기(예: 스마트폰)로 촬영한 Object VR 요소(단위사진)를 자동으로 한 공간에 저장하여 패키지화시키고 자동 이미지 편집 기술을 적용하여 Object VR콘텐츠 제작시 가장 많은 비용을 소비하는 배경제거작업, 이미지보정작업을 자동으로 수행하도록 구성할 수 있다.

추가적으로, 보안소켓계층(SSL; Secure Sockets Layer) 기술을 적용하여 컨텐츠 제작을 의뢰한 고객에 대한 정보와 산출물의 보안을 강화할 수 있다.

또한, 살펴본 바와 같이 본 발명에 따른 오브젝트 가상현실 콘텐츠 서비스 시스템은, 특정 Object VR콘텐츠 제작을 위한 환경설정이 가능하도록 하는 기능과 실시간으로 촬영한 사진을 수신하여 화면에 나타낼 수 있는 제어기능을 구비한다. 그리고 이러한 환경설정이 가능하도록 하는 기능과 제어기능은, 일예로서 웹을 통하여 GUI 형식으로 제공할 수 있으며, 이로써 사용자가 편리하게 작업하도록 할 수 있다.

이상 살펴본 바와 같이, 본 발명의 실시예에 따른 서비스 시스템은, Objecty VR콘텐츠의 생성을 담당하는 스마트폰 기반의 촬영기술 파트와 Object VR 콘텐츠 생성 및 관리 기능, N-Screen 기반의 다양한 사용을 위한 클라우딩 배포 기술 파트로 구성할 수 있다.

또한 본 발명의 실시예에 따른 서비스 시스템은, Object VR 콘텐츠 촬영을 담당하는 카메라 Application의 제어를 통하여 대용량의 초기이미지를 생성하게 되는데, 이러한 초기이미지를 기초로 하여 제작되는 VR 콘텐츠는 다양한 스마트 디바이스에서 실행이 가능하도록 HTML5 기술이 적용될 수 있다.

또한 본 발명의 실시예에 따른 서비스 시스템은, 콘텐츠의 생성 및 편집 과정에서 이미지 분할기술을 이용하여 배경 자동 제거작업을 수행하도록 구성할 수 있다. 이 경우 알고리즘을 통해 자동으로 제거하되, 일정 수준(예: 90%) 이상의 제거 성공률을 보장하도록 구성할 수 있다.

일예로서, Object VR 콘텐츠는 HTML5 기반의 형식으로 제작될 수 있고, 또는 iOS와 Android 디바이스의 전용 Application 뿐만 아니라 웹브라우저를 통해서 서비스 될 수 있도록 클라우딩 서비스 기반의 임베디드 코드로 제공되어 서비스되도록 구성할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고, 특허청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (2)

1. 촬영기능을 구비하고 오브젝트 가상현실 콘텐츠를 제작하기 위한 제작조건 설정정보를 입력받는 촬영기;
   상기 제작조건 정보에 따라 피사체를 복수의 각도에서 촬영하기 위하여 상기 촬영기를 수평이동 및/또는 수직이동 시키는 오브젝트 가상현실 촬영장치; 및
   상기 촬영기를 통해 촬영된 사진이미지를 수신하고, 상기 사진이미지에 대한 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하고, 상기 제작조건 설정정보에 기초하여 상기 오브젝트 가상현실 콘텐츠의 호스팅 영역을 할당하는 콘텐츠 제작 서버
   를 포함하는 오브젝트 가상현실 콘텐츠 서비스 시스템.
   
2. 특정 피사체에 대한 오브젝트 가상현실 콘텐츠를 제작하기 위한 제작조건 설정정보를 입력하는 단계;
   설정된 제작조건에 따라 촬영기를 통해 피사체를 촬영하는 단계;
   상기 제작조건 설정정보와 함께 촬영된 사진이미지를 콘텐츠 제작서버로 전송하는 단계;
   상기 콘텐츠 제작서버에서 상기 사진이미지에 대한 보정작업을 수행하여 오브젝트 가상현실 콘텐츠를 제작하는 단계; 및
   상기 제작조건 설정정보에 기초하여 상기 콘텐츠 제작서버에서 상기 오브젝트 가상현실 콘텐츠의 호스팅 영역을 할당하는 단계
   를 포함하는 오브젝트 가상현실 콘텐츠 서비스 방법.
   

Images