KR20180113944A

KR20180113944A - Vr 컨텐츠 생성 시스템

Info

Publication number: KR20180113944A
Application number: KR1020180117051A
Authority: KR
Inventors: 임윤섭; 박재범
Original assignee: (주)태원이노베이션; 박재범
Priority date: 2018-10-01
Filing date: 2018-10-01
Publication date: 2018-10-17

Abstract

본 발명에 따른 VR 컨텐츠 생성 시스템은 이미지 생성 장치에 탑재되고, 대상 물품을 여러 각도에서 촬영하여 대상 물품의 2D 이미지를 획득하는 촬상부와, 상기 2D 이미지를 전송받아 3D 이미지 편집 환경을 제공하고 편집된 3D 이미지를 VR 컨텐츠로 생성하는 서버와, 상기 촬상부에서 촬상된 2D 이미지를 서버로 전송하고 이미지 편집 명령을 전송하는 단말기를 포함하여 이루어진다.

Description

VR 컨텐츠 생성 시스템{VR CONTENTS GENERATING SYSTEM}

본 발명은 VR 컨텐츠 생성 시스템에 관한 것으로서, 더욱 상세하게는 사용자로부터 객체를 여러 각도에서 촬상한 복수 개의 2D 이미지를 전송받아 VR 컨텐츠를 생성하여 제공할 수 있는 VR 컨텐츠 생성 시스템에 관한 것이다.

VR(Virtual Reality)은 컴퓨터로 만들어지는 3차원 환경에서 사람이 실재 주변환경과 상호작용하는 것처럼 경험할 수 있도록 제공하는 기술을 말한다. 최근 VR 기술은 오락 게임 분야를 넘어 영상, 광고, 의료, 교육 등 각 분야에서 응용개발되고 있다.

광고 분야의 경우 이미지 또는 영상을 통해 기존의 2차원적 평면 이미지를 소비자에게 제공하고 소비자는 이미지 또는 영상을 통해 원하는 상품을 선택하고 있다. 그러나 이러한 방식은 광고 제작자가 마련한 상품의 일면만 보고 상품의 구매를 결정하게 되어서, 배달된 상품과의 차이로 인해 구매 만족도가 현저하게 떨러지게 되며, 심지어는 상품을 반품하는 경우도 발생하고 있다.

최근 보다 효과적으로 소비자에게 상품을 알리기 위해 가상현실을 이용하여 광고를 제작하려는 기술들이 개발되고 있다.

공개특허공보 제2002-0005336호는 가상현실 모델링을 이용하여 광고 상품을 찾아갈 수 있는 광고방법을 제시하고 있는데, 이동 경로에 대한 정보를 갖는 가상의 3차원 입체공간을 화면상에 출력, 각 지점에 광고 선택창을 분류별로 표시, 광고의 선택, 및 해당 광고의 표시하도록 구성되어 있다.

VR을 이용한 다른 광고의 예로서, 공개특허공보 제2000-0037114호의 가상현실공간에서의 광고기법은 인터넷상에서 사용자들에게 실생활 속의 집과 같은 형태의 가상공간을 제공하고 광고주들이 제공한 실제 제품 모델들과 광고주 회사의 로고나 제품명이 들어가 있는 물건들을 이용해 사용자가 집 내부를 꾸밀 수 있게 제공하고 있다.

공개특허공보 제2000-0037114호의 가상현실공간에서의 광고기법. 공개특허공보 제2002-0005336호의 가상현실 모델링을 통한 인터넷 상에서의 광고방법 및 그 장치. 공개특허공보 제2000-0030712호의 사진을 이용한 사이버 가상 현실 체험식 광고 방법.

본 발명은 사용자가 촬영한 2D 이미지를 3D 이미지로 변환하여 VR 컨텐츠를 생성할 수 있는 VR 컨텐츠 생성 시스템을 제공하려는 데 그 목적이 있다.

본 발명은 가상현실 공간에서 다양한 시점으로 상품을 확인할 수 있는 VR 컨텐츠 생성 시스템을 제공하려는 데 그 목적이 있다.

본 발명의 해결하고자 하는 과제는 언급한 과제로 제한되지 않는다. 언급하지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

또한 이미지 생성 장치는 몸체(Body)의 상측에 설치되는 턴테이블과, 몸체의 측면에 설치되고 측면 가로축을 기준으로 하여 회전하는 “ㄷ"자 형상의 회전대와, 상기 회전대에 설치되고 턴테이블의 중앙 상부를 향하도록 설치되는 카메라 거치부, 및 제어부으로 이루어지고, 상기 회전대가 회전하면 항상 턴테이블의 중앙 상측을 향하도록 설치된다.

본 발명에 따른 VR 컨텐츠 생성 시스템의 서버는 사용자 식별정보 및 대상 물품 식별정보를 입력받는 사용자 정보부와, 사용자 정보, 2D 이미지, 3D 이미지, VR 컨텐츠를 기록하는 데이터 베이스와, 사용자 단말기로 2D 이미지에 대한 편집화면을 제공하는 편집 화면 제공부와, 3D 이미지를 VR 컨텐츠로 변환하는 VR 컨텐츠 생성부를 포함하여 이루어진다.

또한 편집 화면 제공부는 뷰어 편집 모듈과 오브젝트 보정 모듈로 이루어지고, 상기 뷰어 편집 모듈은 이미지 회전과 회전방향 조정과 회전축 조정기능을 수행하고, 상기 오브젝트 보정 모듈은 오브젝트 배경제거와 이미지 컬러 보정기능을 수행한다.

또한 오브젝트 배경 제거는 이미지 선명화 단계, 이진화 단계, 외관선 검출 단계, 및 배경 분리단계로 이루어지고, 사용자에게 외관선 검출을 위한 알고리즘을 선택할 수 있도록 제공한다.

본 발명에 따르면, 사용자가 촬상한 상품의 이미지를 직접 편집토록 하여 VR 컨텐츠에 대한 사용자의 만족도를 향상시킬 수 있다.

또한 여러 각도에서 상품을 회전하면서 촬영한 복수의 이미지들을 사용자가 원하는 속도, 각도로 마치 3차원 이미지처럼 보여줄 수 있어, 사용자가 보고자 하는 상품의 면을 살펴볼 수 있어 소비자 만족도를 높일 수 있다.

또한 촬영한 이미지로부터 상품을 제외한 배경 이미지를 제거할 수 있으므로, 제공하는 VR 컨텐츠에서의 상품에 대한 집중도를 높일 수 있다.

추가적으로 회전하는 상품의 특정 위치에 태그를 제공함으로써 상품의 자세한 설명을 추가할 수 있다.

도 1은 본 발명에 따른 VR 컨텐츠 생성 시스템을 나타낸 것이다.
도 2는 본 발명에 따른 촬상부가 탑재되는 이미지 생성 장치를 나타낸 것이다.
도 3은 이미지 생성 장치를 이용하여 대상 물품을 촬상하는 위치를 나타낸 것이다.
도 4는 본 발명에 따른 서버를 나타낸 것이다.
도 5는 본 발명에 따른 편집 화면 제공부를 나타낸 것이다.
도 6은 본 발명에 따른 배경제거 과정을 나타낸 것이다.

라 거치부는 제1 높이로 위치한다. 텐테이블이 10도 회전한 후 멈추면 카메라는 제1 높이에서 대상 물품를 촬상한다. 이어서 턴테이블은 다시 10도를 회전한다. 이와 같은 턴테이블의 회전과 카메라의 촬상을 반복하여 턴테이블이 1회전을 완료하면, 제1 높이에서 모두 36의 촬상 이미지를 획득한다. 이와 같이 제1 높이에서 모든 촬상이 이루어지면, 제어부는 제1 높이 보다 높은 제2 높이로 카메라 거치부를 상승시킨다. 턴테이블은 1회전을 하며 제2 높이에서 모두 36장의 촬상 이미지를 획득하면 다시 제2 높이에서 제3 높이로 카메라 거치부를 상승시킨다.

본 발명에서는 턴테이블이 10도 간격으로 회전한 후 멈춘 다음 촬상이 이루어지는 것을 실시예로 하였으나, 턴테이블을 멈춤없이 연속하여 회전시키도록 구동시킬 수 있다. 이러한 경우 카메라 거치부에 설치된 카메라의 촬상 모드를 연사모드로 설정하여 촬상이 이루어질 수 있다.

추가적으로 대상 물품의 하부를 촬상하고 하는 경우 상기 턴테이블의 상부에 투명 지지대를 설치한 후 대상 물품을 상기 투명 지지대의 상부에 놓고 촬상이 이루어질 수 있다.

도 3은 촬상 위치를 나타낸 것인데, 단위 높이가 8개로 설정된 경우, 가장 낮은 위치인 제1 높이(C1)에서부터 가장 높은 위치인 제8 높이(C8)에서 다수의 촬상을 수행한다. 도면을 참조하면, 제5 높이(C5)에서 여러 각도로 대상 물품을 촬상하는 것을 보여준다. 각각의 점(point)는 촬상 각도 위치를 나타낸 것이다.

본 발명에 따른 촬상은 이와 같은 대상 물품의 촬상 이전에 배경 촬상이 이루어질 수 있다. 배경 촬상은 대상 물품을 턴테이블에 놓지 않고 촬상하는 것을 말한다. 상기 배경 촬상은 턴테이블이 정지된 상태에서 이루어지는데, 각각의 높이(C1~C8)에는 각각 하나의 배경 촬상 이미지를 획득한다. 도면에서 H1~H8은 배경 촬상이 이루어지는 지점을 나타낸 것인다. 배경 촬상이 이루어진 후, 대상 물품을 턴테이블의 상부에 놓고 대상 물품 촬상을 시작한다. 상기 배경 촬상은 2D 이미지로부터 배경을 분리하기 위한 영상 처리에 사용될 수 있다. 예컨대, 대상 물품의 촬상 이미지와 배경 촬상 이미지를 중첩한 다음 검출된 대상 물품의 촬상 이미지로부터 배경을 삭제하여 대상 물품만의 이미지를 획득할 수 있다.

대상 물품의 촬상 이미지는 촬상 위치정보가 포함된 식별정보를 포함할 수 있다. 예를 들어 촬상 이미지가 ITG_P025_256.jpg 인 경우, ITG는 대상 물품 식별부호이며, 025는 직하방향에서 25도 높이에서 촬상된 각도를 의미하며, 256은 25도 높이에서 촬상된 이미지들 중 256번째 이미지라는 것을 나타낸다.

본 발명에서는 대상 물품의 촬상 이미지로서, 이미지 생성 장치를 사용하여 촬상하는 것을 실시예로 설명하고 있으나, 반드시 이에 한정하지 아니하고 다른 종류의 촬상 생성 장치를 사용하여 대상 물품의 촬상 이미지를 획득할 수 있다.

또한 본 발명에 따른 촬상 이미지는 사용자가 휴대 단말기를 사용하여 여러 각도로 촬상한 이미지로도 대상 물품의 촬상 이미지를 획득할 수 있다. 이러한 경우 사용자는 대상 물품을 위치 고정한 상태에서 대상 물품을 주변을 따라 복수 개의 촬상 이미지를 촬상할 수 있다.

이와 같이 본 발명에 따른 촬상 이미지는 대상 물품을 여러 각도, 서로 다른 방향에서 촬상한 이미지를 획득하는 것으로도 충분하다.

이와 같이 촬상된 2D 이미지들은 단말기로 전송된다. 상기 단말기는 서버와 데이터를 송수신한다. 상기 단말기는 스마트 폰, PDA, 노트북, 사용자 PC일 수 있다.

한편, 상기 카메라 거치부에 결합되는 카메라를 대신하여 카메라를 포함하여 구성되는 단말기를 결합할 수 있다.

상기 촬상부로부터 촬상된 2D 이미지는 단말기를 통해 사용자 정보와 함께 서버로 전송된다.

상기 서버(200)는 촬상된 2D 이미지를 3D 이미지로 변환하고 VR 컨텐츠를 생성한다. 상기 서버는 단말기로부터 2D 이미지를 전송받는다. 또한 상기 서버는 단말기로부터 사용자 명령을 입력받는다. 상기 서버는 사용자 명령에 따라 2D 이미지를 변환하고, VR 컨텐츠를 생성한다. 상기 서버는 단말기의 요청에 따라 생성된 VR 컨텐츠를 단말기로 출력할 수 있다.

도 4는 본 발명에 따른 서버를 나타낸 것이다.

상기 서버(200)는 사용자 정보부(210), 데이터 베이스(220), 편집 화면 제공부(230), VR 컨텐츠 생성부(240)를 포함하여 이루어진다.

상기 사용자 정보부(210)은 사용자 식별정보, 대상 물품 식별정보를 사용자의 단말기로부터 전송받는다. 상기 사용자 정보부은 데이터 베이스와 연결되어 사용자의 관련 컨텐츠를 표시한다.

상기 사용자 식별정보는 사용자의 ID를 포함할 수 있다. 상기 사용자 ID에는 사용자의 이름, 이메일, 전화번호 등과 연관된다. 상기 대상 물품 식별정보는 대상 물품 식별부호와, 높이 각도와, 이미지 인덱스를 포함할 수 있다.

상기 데이터 베이스(220)는 사용자의 단말기로부터 전송받은 사용자 정보, 2D 이미지, 변환된 3D 이미지, 및 VR 컨텐츠를 기록한다.

상기 편집 화면 제공부(230)은 데이터 베이스에 저장된 2D 이미지를 전송받고 사용자 단말기로 편집 화면을 제공한다.

VR 컨텐츠 생성부(240)은 사용자의 입력 명령에 따라 편집이 완료되면, 3D 이미지를 VR 컨텐츠를 변환한다. 변환된 VR컨텐츠는 데이터 베이스에 저장된다.

도 5는 본 발명에 따른 편집 화면 제공부를 나타낸 것이다.

본 발명에 따른 편집 화면 제공부(230)은 뷰어 편집 모듈(231), 오브젝트 보정모듈(232)을 포함한다.

상기 뷰여 편집 모듈(231)은 이미지의 회전기능과 회전방향 조정기능과 회전축 조정기능으로 이루어진다.

상기 이미지 회전기능은 사용자의 터치 동작 또는 드래그 동작에 의해 VR 이미지에서 대상 물품을 회전시키는 기능을 부여한다. 상기 회전방향 조정기능은 뷰어의 회전 방향을 결정한다. 예컨대 화면상에서 좌에서 우측으로 드래그 하면 이에 따라 대상 물품을 우측에서 바라본 이미지를 보여준다. 이때 좌에서 우측으로 드래그 하는 속도를 감지하고 좌에서 우로 회전하는 속도에 비례하도록 표시기능을 부여할 수 있다.

한편, 턴테이블의 정확한 중앙지점에 대상 물품을 놓는다는 것은 쉬운 일이 아니다 이에 따라 상기 회전축 조정기능은 촬상된 복수의 2D 이미지들은 서로 동일한 촬상 중심을 갖도록 회전축을 조정하여, 최종 VR 이미지에 포함된 대상 물품을 회전시켜도 떨림이 없도록 조정된다. 이에 따라 안정된 그리고 균형감 있는 회전 뷰어를 제공할 수 있다.

상기 오브젝트 보정모듈은 오브젝트 배경제거 기능과, 이미지 컬러 보정기능을 포함하여 이루어진다.

상기 오브젝트 배경제거 기능은 촬상된 이미지에서 대상 물품을 제외한 배경을 제거하는 기능을 수행한다. 이에 대한 자세한 설명은 후술한다.

상기 이미지 컬러 보정기능은 이미지 속에 포함된 그늘, 흐릿한 부분을 보정한다. 이러한 보정은 색조, 대비를 증가시켜 뚜렸다 이미지를 획득한다. 예컨대 컬러 보정은 스마트 필터, 미니어쳐 필터, 틸트쉬프트 필터 등과 같은 효과를 부여하여 구현될 수 있다.

이미지 컬러 보정기능은 배경 제거 기능의 이전과 이후에 선택적으로 적용되어 이미지 보정이 이루어질 수 있다. 이미지 컬러 보정기능이 배경 제거 기능 이전에 수행되는 경우 상기 이미지 컬러 보정기능을 배경을 제거하기 위한 경계선을 명확하게 구분하기 위한 전처리 단계로서 수행될 수 있다. 그리고 상기 이미지 컬러 보정기능이 배경 제거 기능 이후에 수행되는 경우 상기 이미지 컬러 보정기능은 대상 물품을 선명하고 또렷한 시각적 효과를 갖도록 하여 화면상에서 마치 입체적인 실물을 살펴보는 듯한 느낌을 줄 수 있다.

도 6은 본 발명에 따른 배경제거 과정을 나타낸 것이다.

본 발명에 따른 배경제거 기능은 이미지 선명화 단계, 이진화 단계, 외곽선 검출 단계, 및 배경분리 단계를 포함할 수 있다.

상기 이미지 선명화 단계와 이진화 단계는 외곽선을 검출하기 위한 전처리 단계로서 수행된다. 상기 선명화 단계는 배경으로부터 대상 물품을 분리하기 위하여 원본 이미지를 뚜렷하게 보정한다. 예를 들어, 촬상된 전체 이미지에 블러(Blur) 처리한 후 색조대비를 통해 뚜렸한 이미지로 보정한다. 이로서 대상 물품의 배경의 경계를 명확히 한다.

상기 이진화 단계는 촬상된 이미지에서 RGB 정보를 제거하고 명암 정보를 이용하여 추출한는 것으로서, 이후의 영상 처리 시 처리량을 간략화하여 연산량을 단축시킨다. 예컨대 상기 흑백 이미지는 8비트 이미지로 변환될 수 있다. 상기 이진화 단계 이후에 잡영 처리 과정이 이루어질 수 있다. 이에 따라 대상 물품과 배경의 경계를 쉽게 획득될 수 있다.

상기 외곽선 검출단계는 픽셀의 불연속적인 명암의 차이, 농도의 차이가 급격한 부분을 외곽선으로 검출한다. 상기 외곽선 검출은 소벨(Sobel) 에지 알고리즘 또는 Canny 에지 알고리즘을 이용하여 수행 될 수 있다. 이와 같은 알고리즘은 사용자에 의해 단말기의 편집화면에서 선택될 수 있다. 특히 소벨 에지 연산자를 이용한 외곽선 검출은 연산속도가 느리지만 밝기에 민감한 검출 성능을 보여준다.

본 발명에서는 외곽선 검출단계로서 소벨 에지 연산자를 이용하여 외곽선을 검출한다. 소벨 에지 연산자는 수직 마스크와 수평 마스크를 이용하여 X, Y방향의 미분을 계산하고, X, Y방향의 미분을 각각 결합하여 지점(x, y)에서의 에지 크기(E(x,y))와 기울기 방향(θ)을 구한다.

본 발명에서는 소벨 경계값은 낮은 경계값으로 설정한다. 낮은 경계값은 외곽선 주변에 잡영을 포함하고 있어 많은 연산을 필요로 하지만 경계를 명확히 추출할 수 있다.

상기 기울기의 방향은, 이후의 단계를 위해, 복수의 분할된 각도 방향으로 라운딩(rounding)한다.

이와 같이 외곽선을 검출이 완료되면, 외곽선을 기준으로 내부는 대상 물품 영역으로 정의하고, 외곽선의 외부는 배경 영역으로 정의한다. 배경분리 단계는 배경으로 정의된 영역을 제거하여 대상 물품만이 포함된 이미지를 획득한다. 원본 이미지로부터 외곽선을 검출한 이미지를 중첩한 다음 검출된 외곽선 외부 영역의 이미지를 삭제함으로써 원본 이미지로부터 배경을 삭제한다.

배경 분리가 완료되면, 일련의 2D 이미지들을 하나의 3D 이미지로 생성한다. 구체적으로는 하나의 대상 물품을 촬상이 복수의 2D 이미지들을 하나의 대상 물품에 대한 3D 이미지로서 결합한다. 이렇게 결합된 이미지는 사용자의 입력 명령에 따라 대상 물품에 대한 3D 이미지로 보는 듯한 시각적 효과를 가진다.

예를 들어, 사용자가 단말기를 사용하여 손가락으로 드래그하면, 드래그된 거리에 따라 미리 정해진 개수의 이미지들을 연속하여 출력한다.

이와 같이 편집이 완료되면, 편집이 완료된 3D 이미지를 VR 컨텐츠로 변환된다. 상기 변환은 사용자 정보의 사용자 식별정보와 대상 물품 식별정보를 이용하여 3D 이미지로부터 VR 컨텐츠 파일을 생성한다.

사용자는 단말기를 통해 서버에 접속하여 VR 컨텐츠를 다운로드할 수 있으며, 광고에 사용할 수 있다.

종래 광고에 사용되는 대상 물품 이미지는 설정한 각도로 촬영된 몇 개의 대상 물품 이미지만 보고 상품의 구매 여부를 결정하여야 한다. 본 발명에 따른 VR 컨텐츠는 소비자가 원하는 위치, 방향에서 상품을 관찰할 수 있어, 대상 물품에 대한 이해도를 높일 수 있다.

이상, 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 본 발명은 상기 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위내에서 통상의 지식을 가진 자에 의하여 여러 가지 변형이 가능하다.

10 : 턴테이블
20 : 회전대
30 : 카메라 거치부
100 : 촬상부
200 : 서버
210 : 사용자 정보부
220 : 데이터 베이스
230 : 편집화면 제공부
231 : 뷰어 편집 모듈
232 : 오브젝트 보정모듈
240 : VR 컨텐츠 생성부
300 : 단말기

Claims

이미지 생성 장치;
상기 이미지 생성 장치에 탑재되고, 대상 물품을 여러 각도에서 촬영하여 대상 물품의 2D 이미지를 획득하는 촬상부;
상기 2D 이미지를 전송받아 3D 이미지 편집 환경을 제공하고 편집된 3D 이미지를 VR 컨텐츠로 생성하는 서버; 및
상기 촬상부에서 촬상된 상기 2D 이미지를 상기 서버로 전송하고 이미지 편집 명령을 전송하는 단말기;
를 포함하여 이루어지고,
상기 서버는 상기 단말기로 2D 이미지에 대한 편집화면을 제공하는 편집 화면 제공부를 포함하고, 상기 편집 화면 제공부는 뷰어 편집 모듈을 포함하며, 상기 뷰어 편집 모듈은 이미지 회전, 회전방향 조정, 복수의 2D 이미지들이 서로 동일한 촬상 중심을 갖도록 회전축을 조정하는 회전축 조정 기능을 수행하는 것을 특징으로 하는 VR 컨텐츠 생성 시스템.
청구항 1에 있어서,
상기 이미지 생성 장치는 몸체(Body)의 상측에 설치되는 턴테이블과, 몸체의 측면에 설치되고 측면 가로축을 기준으로 하여 회전하는 “ㄷ"자 형상의 회전대와, 상기 회전대에 설치되고 턴테이블의 중앙 상부를 향하도록 설치되는 카메라 거치부, 및 제어부으로 이루어지고, 상기 회전대가 회전하면 항상 턴테이블의 중앙 상측을 향하도록 설치되는 것을 특징으로 하는 VR 컨텐츠 생성 시스템.
청구항 1에 있어서,
상기 서버는 사용자 식별정보 및 대상 물품 식별정보를 입력받는 사용자 정보부와, 사용자 정보, 2D 이미지, 3D 이미지, VR 컨텐츠를 기록하는 데이터 베이스와, 3D 이미지를 VR 컨텐츠로 변환하는 VR 컨텐츠 생성부를 포함하여 이루어지는 것을 특징으로 하는 VR 컨텐츠 생성 시스템.
청구항 1에 있어서,
상기 편집 화면 제공부는 오브젝트 보정 모듈을 더 포함하고, 상기 오브젝트 보정 모듈은 오브젝트 배경제거와 이미지 컬러 보정기능을 수행하는 것을 특징으로 하는 VR 컨텐츠 생성 시스템.
청구항 4에 있어서,
상기 오브젝트 배경 제거는 이미지 선명화 단계, 이진화 단계, 외관선 검출 단계, 및 배경 분리단계로 이루어지고, 사용자에게 외관선 검출을 위한 알고리즘을 선택할 수 있도록 제공하는 것을 특징으로 하는 VR 컨텐츠 생성 시스템.