KR101599257B1 - 3d모델 증강현실 서비스 시스템 - Google Patents

3d모델 증강현실 서비스 시스템 Download PDF

Info

Publication number
KR101599257B1
KR101599257B1 KR1020130153874A KR20130153874A KR101599257B1 KR 101599257 B1 KR101599257 B1 KR 101599257B1 KR 1020130153874 A KR1020130153874 A KR 1020130153874A KR 20130153874 A KR20130153874 A KR 20130153874A KR 101599257 B1 KR101599257 B1 KR 101599257B1
Authority
KR
South Korea
Prior art keywords
information
image
terminal
data
affiliate
Prior art date
Application number
KR1020130153874A
Other languages
English (en)
Other versions
KR20150068088A (ko
Inventor
류지혁
Original Assignee
류지혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 류지혁 filed Critical 류지혁
Priority to KR1020130153874A priority Critical patent/KR101599257B1/ko
Publication of KR20150068088A publication Critical patent/KR20150068088A/ko
Application granted granted Critical
Publication of KR101599257B1 publication Critical patent/KR101599257B1/ko

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

3D모델 증강현실 서비스 시스템에 관한 기술이 개시된다. 일 실시 예에 있어서, 상기 3D모델 증강현실 서비스 시스템은 객체의 3D데이터를 저장하는 메인 서버, 상기 메인 서버와 연결되며 상기 3D데이터를 수신하는 제1단말기 및 상기 제1단말기와 연결되며 상기 제1단말기 주변 영상을 획득하는 카메라를 포함한다. 상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함하며, 상기 제1단말기는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이한다. 상기 3D모델 증강현실 서비스 시스템은 상기 객체의 상기 3차원 이미지를 상기 주변 영상에 혼합하는 영상처리부를 더 포함할 수 있다. 상기 영상처리부는 상기 카메라를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합한다.

Description

3D모델 증강현실 서비스 시스템{augmented reality service system for providing 3D model}
본 명세서는 대체로 3D모델 증강현실 서비스 시스템에 관한 것으로, 보다 구체적으로는 카메라로 획득된 주변영상에 객체의 3D데이터를 원근을 고려하여 혼합하는 3D모델 증강현실 서비스 시스템에 관한 것이다.
증강현실(augmented reality, AR)이란 실제 주변 환경에 가상의 사물(예를 들면, 상품이나 상품 홍보문구 등)을 합성하여 실제 주변 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
현실 영상에 컴퓨터로 생성한 가상의 사물에 대한 부가영상을 접목함으로써 가상의 사물에 대한 영상정보만으로는 얻기 어려운 부가적인 정보를 얻을 수 있다. 예를 들면, 증강현실은 가구 등과 같은 구입하려는 상품이 구매자의 실제 주거공간의 구조에 적합한 모양인지, 색상은 실제 주거공간의 분위기에 맞는지 등에 대한 부가적인 정보를 제공해 줄 수 있다.
종래의 증강현실은 획득한 현실 영상에 가상의 사물의 2D 또는 원근을 고려하지 않은 3D이미지를 단순히 혼합한 영상을 제공하고 있다. 이러한 정보만으로는 가상의 사물에 대한 부가적인 정보를 효과적으로 얻기 어렵다. 따라서, 획득한 현실 영상에 원근을 고려한 가상의 사물의 이미지를 혼합한 영상을 효과적으로 제공할 수 있는 서비스의 개발이 필요하다.
증강현실 서비스의 예가 등록특허 KR 10-1085762 “증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법” 등에서 제안된 바 있다. 인용발명의 경우 획득한 현실 영상의 원하는 위치에 주얼리 등과 같은 가상의 사물을 혼합할 수 있다. 하지만, 인용발명의 경우 획득한 현실 영상의 원근을 고려한 가상의 사물의 혼합은 어려운 단점이 있다. 이 점에서 본 명세서에서 제시하는 3D 증강현실 서비스와는 차이가 있다.
일 실시 예에 있어서, 3D모델 증강현실 서비스 시스템이 개시(disclosure)된다. 상기 3D모델 증강현실 서비스 시스템은 객체의 3D데이터를 저장하는 메인 서버, 상기 메인 서버와 연결되며 상기 3D데이터를 수신하는 제1단말기 및 상기 제1단말기와 연결되며 상기 제1단말기 주변 영상을 획득하는 카메라를 포함한다. 상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함하며, 상기 제1단말기는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이한다. 상기 3D모델 증강현실 서비스 시스템은 상기 객체의 상기 3차원 이미지를 상기 주변 영상에 혼합하는 영상처리부를 더 포함할 수 있다. 상기 영상처리부는 상기 카메라를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합한다.
전술한 내용은 이후 보다 자세하게 기술되는 사항에 대해 간략화된 형태로 선택적인 개념만을 제공한다. 본 내용은 특허 청구 범위의 주요 특징 또는 필수적 특징을 한정하거나, 특허청구범위의 범위를 제한할 의도로 제공되는 것은 아니다.
도 1은 일 실시 예에 따른 3D모델 증강현실 서비스 시스템을 나타내는 도면이다.
도 2 내지 도 5는 일 실시 예에 따른 3D모델 증강현실 서비스 시스템의 동작을 설명하기 위한 도면이다.
이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서는 구성요소들 간의 상호관계를 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.
일 구성요소가 다른 구성요소와 "연결되어" 또는 “연결되는”이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다. 또한, 일 구성요소가 다른 구성요소와 "연결되어" 또는 “연결되는”이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소와 유선으로 연결되는 경우는 물론, 무선으로 연결되는 경우도 포함할 수 있다.
일 구성요소가 다른 구성요소 "에 배치" 이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소에 직접 배치되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에” 와 “바로 ~사이에” 등도 마찬가지로 이해되어야 한다.
본 명세서에서 사용하는 “단말기”라는 용어는 휴대폰, 태블릿 피씨, 노트북, 데스크탑 피씨 등 유선 또는 무선으로 정보의 입력, 처리 등이 가능한 전자기기를 총망라하는 용어로 이해되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, 110, 120, 130, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들의 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다. 또한, 본 명세서에서 개시된 내용과 관련된 공지 기능 또는 그 구성에 대한 구체적인 설명이 본 명세서에서 개시된 내용의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 구체적인 설명을 생략하였음에 유의해야 할 것 이다.
도 1은 일 실시 예에 따른 3D모델 증강현실 서비스 시스템을 나타내는 도면이다. 도 2 내지 도 5는 일 실시 예에 따른 3D모델 증강현실 서비스 시스템의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 3D모델 증강현실 서비스 시스템(100)은 메인 서버(110), 제1단말기(120) 및 카메라(130)을 포함한다. 몇몇 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로(optionally) 영상처리부(미도시)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 마커(132)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 3D프린터(140)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 제2단말기(150)를 더 포함할 수 있다. 이 경우 제2단말기(150)는 적어도 하나의 주변기기(160)를 포함할 수 있다.
메인 서버(110)는 객체의 3D데이터를 저장한다. 상기 객체의 상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함한다. 상기 객체의 형상은 예로서 삼각형 등 다각형 모양의 폴리곤(polygon)으로 분할되어 표현될 수 있다. 이 경우, 상기 객체의 형상 정보는 상기 객체를 이루는 폴리곤의 각 꼭지점의 상대적인 좌표값으로 표현될 수 있다. 상기 객체의 표면 정보는 상기 객체의 색채, 질감 등의 정보를 포함한다. 일례로, 상기 객체의 상기 3D데이터는 상품 관련 데이터일 수 있다. 다른 예로, 상기 객체의 상기 3D데이터는 상품홍보물 관련 데이터일 수 있다. 상기의 예시는 이해를 위한 예시로서 상기한 예시 이외에 3D데이터로 표현될 수 있는 한 상기 3D데이터로 표현될 수 있는 대상물에는 제한이 없다. 이하 설명의 편의상 상기 객체의 상기 3D데이터와 관련하여 상품 관련 데이터를 위주로 설명하기로 한다. 이러한 설명이 본 명세서에서 개시하고 있는 기술적 사상의 내용을 상품에 한정하는 것은 아님을 분명히 밝혀둔다.
메인 서버(110)에 저장된 상기 객체의 상기 3D데이터는 제1단말기(120)의 요청에 따라 제1단말기(120)에 제공될 수 있다. 또한, 메인 서버(110)에 저장된 상기 객체의 상기 3D데이터는 제2단말기(150)의 요청에 따라 삭제되거나 변경되어 메인 서버(110)에 저장될 수 있다. 일 실시 예에 있어서, 메인 서버(110)는 데이터베이스(미도시) 및 데이터관리부(미도시)를 포함할 수 있다. 상기 데이터베이스는 상기 객체의 상기 3D데이터를 저장한다. 상기 객체의 상기 3D데이터는 상기 객체의 공급자로 사전 제휴를 통하여 선정된 제휴사의 상품과 관련한 3D데이터일 수 있다. 상기 데이터베이스는 상기 객체의 공급자로 사전 제휴를 통하여 선정된 하나 이상의 제휴사의 정보를 저장할 수 있다. 상기 제휴사의 상기 정보는 상기 제휴사가 공급하는 상기 객체의 상기 3D데이터를 포함하는 상품정보를 포함할 수 있다. 이 경우, 상기 데이터베이스는 상기 3D데이터를 제휴사별, 상품별 및 이들의 조합 중에서 선택되는 어느 하나로 구분하여 저장할 수 있다. 또한, 상기 데이터베이스는 상기 제휴사의 제휴사 식별번호 및 상기 객체의 객체 식별번호를 제공할 수 있다. 이 경우, 제1단말기(120)는 상기 제휴사 식별정보를 통하여 상기 제휴사가 제공하는 상기 상품정보와 연결이 되어 상기 상품정보로부터 상기 객체의 상기 3D데이터를 수신하거나, 상기 객체 식별정보로부터 상기 객체의 상기 3D데이터를 수신할 수 있다. 또한, 상기 데이터베이스는 상기 객체와 관련한 고객의 선호도, 상품평가, 사후관리평가, 판매수량, 재고상황, 판매가격비교, 예상운송기간, 예상제조기간 등의 정보 중 적어도 일부를 저장할 수 있다. 또한, 상기 데이터베이스는 상기 객체를 제공하는 제휴사와 관련한 고객의 선호도, 소재지, 기업매출액, 주식시장상장여부, 고용현황, 기업평가 등의 정보 중 적어도 일부를 저장할 수 있다. 상기 데이터관리부는 상기 제휴사정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 일례로, 상기 데이터관리부는 상기 제휴사의 상기 정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 상기 데이터관리부가 관리하는 내용은 앞서 상기 데이터베이스가 저장하는 내용과 실질적으로 동일하므로 이에 대한 상세한 설명은 설명의 편의상 생략한다.
제1단말기(120)는 메인 서버(110)와 연결되며, 상기 객체의 상기 3D데이터를 수신한다. 제1단말기(120)는 카메라(130)와 연결될 수 있으며, 카메라(130)를 통하여 제1단말기(120) 주변의 영상을 획득할 수 있다. 카메라(130)를 통하여 획득되는 상기 주변의 영상은 이미지 일 수도 있고, 동영상일 수도 있다. 카메라(130)는 제1단말기(120)에 내장될 수도 있으며, 분리된 외장 형태로 제1단말기(120)와 연결될 수 있다. 제1단말기(120)의 상기 주변의 영상을 획득할 수 있는 한 카메라(130)의 종류에는 제한이 없다.
일 실시 예에 있어서, 제1단말기(120)는 상기 데이터베이스와 연결되어 상기 제휴사별 또는 상기 상품별로 저장된 상기 제휴사정보를 검색하여 상기 3D데이터를 수신할 수 있다. 일례로, 메인 서버(110)와 연결한 제1단말기(120)의 소지자는 원하는 상품을 선택할 수 있다. 이 경우, 메인 서버(110)는 제1단말기(120)의 소지자가 선택한 상기 상품에 대한 정보를 제휴사별, 판매수량별, 고객의 선호도별, 판매가격별, 재고상황별 등의 다양한 방법으로 분류하여 제공할 수 있다. 다른 예로, 메인 서버(110)와 연결한 제1단말기(120)의 소지자는 원하는 제휴사를 선택할 수 있다. 이 경우, 메인 서버(110)는 제1단말기(120)의 상기 소지자가 선택한 상기 제휴사에 대한 정보를 상품별, 판매수량별, 고객의 선호도별, 판매가격별, 재고상황별 등의 다양한 방법으로 분류하여 제공할 수 있다.
제1단말기(120)가 메인 서버(110)의 상기 3D데이터를 수신하는 과정은 소프트웨어를 통하여 진행될 수 있다. 상기 소프트웨어는 메인 서버(110) 관리자가 제공하며, 제1단말기(120) 소지자는 상기 소프트웨어를 통하여 본 명세서에서 개시하는 3D모델 증강현실 서비스를 활용할 수 있다. 또는 고객은 메인 서버(110)에 직접 접속하여 본 서비스를 이용할 수도 있다. 제1단말기(120) 소지자는 미리 인지하고 있는 다운로드 경로를 통하거나, 메인 서버(110)의 사용자가 홍보자료 등에서 제시하는 다운로드 경로를 보고 상기 소프트웨어를 제1단말기(120)에 설치할 수 있다. 상기 소프트웨어는 예로서 어플리케이션(application)의 형태로 제1단말기(120)에 설치될 수 있다. 제1단말기(120)의 소지자는 제1단말기(120)에 설치된 상기 소프트웨어를 통하여 메인 서버(110)와 유선 또는 무선으로 연결되어 메인 서버(110)가 제공하는 상기 3D데이터를 수신할 수 있다. 다른 예로, 제1단말기(120)의 소지자는 상기 객체에 부착되거나 상기 객체를 소개하는 상기 제휴사의 홍보자료에 배치되는 NFC 태그(미도시)를 통하여 상기 소프트웨어를 제1단말기(120)에 설치할 수 있다. 상기 NFC 태그는 제1단말기(120)와의 NFC(Near Field Communication) 통신을 통하여 상기 소프트웨어와 메인 서버(110)의 정보를 제1단말기(120)에 제공할 수 있다. 제1단말기(120)의 소지자는 제1단말기(120)에 설치된 상기 소프트웨어를 통하여 메인 서버(110)와 유선 또는 무선으로 연결되어 메인 서버(110)가 제공하는 상기 3D데이터를 수신할 수 있다.
제1단말기(120)는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이한다. 상기 객체의 상기 3차원 이미지는 다양한 방법으로 디스플레이될 수 있다. 일 실시 예에 있어서, 상기 객체의 상기 3차원 이미지는 단독으로 디스플레이될 수 있다. 다시 말하면, 상기 객체의 형상 정보 및 표면 정보를 포함하는 상기 객체의 상기 3D데이터를 활용한 렌더링(rendering) 과정을 통하여 상기 3차원 이미지는 디스플레이될 수 있다. 이 경우, 상기 3차원 이미지의 회전, 명암처리, 확대, 축소 등이 가능하다. 다른 실시 예에 있어서, 상기 객체의 상기 3차원 이미지는 주변 영상에 혼합되어 디스플레이될 수 있다. 이 경우, 상기 객체의 형상 정보 및 표면 정보를 포함하는 상기 객체의 상기 3D데이터를 활용한 렌더링(rendering) 과정을 통하여 상기 3차원 이미지는 상기 주변 영상에 혼합되어 디스플레이될 수 있다. 상기 3차원 이미지의 회전, 명암처리, 확대, 축소 등이 가능하다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 일례로, 제1단말기(120)의 소지자는 디스플레이되는 상기 3차원 이미지를 회전하여 상기 객체 배치 상태를 변경할 수 있다.
상기 주변 영상은 카메라(130)를 통하여 획득될 수 있다. 카메라(130)는 오토포커싱 기능을 가질 수도 있다. 상기 객체의 상기 3차원 이미지는 상기 영상처리부를 통하여 카메라(130)를 통하여 획득된 상기 주변 영상에 혼합될 수 있다. 이 경우, 상기 영상처리부는 카메라(130)를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합할 수 있다. 원근을 고려하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합하는 방법으로는 다양한 방법이 사용될 수 있다. 일 실시 예에 있어서, 마커(132)를 사용하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합할 수 있다. 마커(132)는 상기 3차원 이미지가 혼합될 상기 주변 영상의 상기 소정의 위치에 미리 배치될 수 있다. 일례로, 상기 3차원 이미지는 미리 배치된 마커(132)를 중심점으로 하여 상기 주변 영상에 혼합될 수 있다. 다른 예로, 상기 3차원 이미지는 미리 배치된 마커(132)의 주변 가장자리 중 어느 한 부분을 중심점으로 하여 상기 주변 영상에 혼합될 수 있다. 상기의 예시는 이해를 위한 예시로서 상기 3차원 이미지는 마커(132)를 기준으로 다양한 방법으로 배치될 수도 있다.
마커(132)의 정보는 메인 서버(110) 또는 제1단말기(120)에 저장될 수 있다. 상기 영상처리부는 저장된 마커(132)의 정보와 카메라(130)로 획득된 마커(132)의 영상 정보를 비교하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합할 수 있다. 마커(132)로서 도 2 및 도 3에서 예시한 바와 같이, 책이 사용될 수 있다. 이 경우, 책의 폭, 길이 및 두께의 정보는 미리 메인 서버(110) 또는 제1단말기(120)에 저장된다. 다른 예로, 도면에 도시된 바와 달리, 마커(132)로서 2차원 또는 3차원의 다양한 형상을 지니는 물체가 사용될 수 있다. 상기 영상처리부는 저장된 마커(132)의 정보와 카메라(130)로 획득된 마커(132)의 영상 정보를 비교한다. 도 2에 도시된 바와 같이, 카메라(130)로 획득된 마커(132)의 영상 정보로부터 상기 영상처리부는 카메라(130)에 가까이 있는 마커(132)의 한변의 길이 L2와 카메라(130)에서 멀리 있는 마커(132)의 다른 한변의 길이 L1의 비를 계산할 수 있다. 또한, 상기 영상처리부는 카메라(130)를 기준으로 카메라(130)에 가까이 있는 마커(132)의 한변의 양끝점 사이의 각도 a2와 카메라(130)에서 멀리 있는 마커(132)의 다른 한변의 양끝점 사이의 각도 a1을 계산할 수 있다. 또한, 상기 영상처리부는 카메라(130)를 기준으로 카메라(130)에서 멀어지는 방향으로 인식되는 마커(132)의 한변의 양끝점 사이의 각도 a3와 카메라(130)에서 멀어지는 방향으로 인식되는 마커(132)의 다른 한변의 양끝점 사이의 각도 a4를 계산할 수 있다. 이를 통하여 상기 영상처리부는 카메라(130)로부터 마커(132)가 위치한 상기 주변 영상의 상기 소정의 위치에 이르는 범위의 원근 또는 깊이 정보를 얻을 수 있다. 이를 바탕으로 상기 영상처리부는 상기 주변 영상의 원근 또는 깊이 정보를 얻을 수 있다.
도 3은 상기 영상처리부가 얻은 원근 또는 깊이 정보를 바탕으로 상기 3차원 이미지를 상기 주변 영상(10a)의 상기 소정의 위치에 혼합한 모습을 보여주는 개념도이다. 도 3의 (a)는 카메라(130)를 통하여 획득된 주변 영상(10a)을 보여준다. 도 3의 (b)에서 보여지는 바와 같이, 상기 주변 영상(10a)과 혼합하고자 하는 상기 3차원 이미지가 놓일 위치에 마커(132)를 배치한다. 상기 영상처리부는 카메라(130)로 촬영된 마커(132)의 정보와 저장된 마커(132)의 정보를 비교하여 상기 주변 영상(10a)의 원근 또는 깊이 정보를 계산한다. 도 3의 (c) 및 (d)와 같이, 제1단말기(120)의 소지자가 혼합하고자 하는 객체(20a)를 선택하면 상기 객체(20a)의 3차원 이미지는 원근을 고려하여 제1단말기(120)에 디스플레이된다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체(20a)가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체(20a)가 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다.
다른 실시 예에 있어서, 카메라(130)의 오토포커싱 기능을 사용하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합할 수 있다. 상기 영상처리부는 상기 주변 영상 및 상기 주변 영상의 상기 소정의 위치의 영상을 획득하는 과정에서 얻어지는 카메라(130)의 초점거리 정보로부터 상기 주변 영상에 대한 상기 소정의 위치의 상대적인 거리를 인식할 수 있다. 상기 영상처리부는 인식된 상기 소정의 위치의 상기 상대적인 거리를 이용하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합할 수 있다. 도 4에서 예시한 바와 같이, 카메라(130)의 오토포커싱 기능을 사용하여 가까이 있는 물체의 초점 거리와 멀리 있는 물체의 초점 거리를 계산할 수 있다. 이를 통하여 상기 영상처리부는 카메라(130)로부터 상기 주변 영상의 상기 소정의 위치에 이르는 범위의 원근 또는 깊이 정보를 얻을 수 있다. 이를 바탕으로 상기 영상처리부는 상기 주변 영상의 원근 또는 깊이 정보를 얻을 수 있다.
도 5는 카메라(130)의 오토포커싱 기능을 사용하여 상기 영상처리부가 얻은 원근 또는 깊이 정보를 바탕으로 상기 3차원 이미지(20b)를 상기 주변 영상(10b)의 상기 소정의 위치에 혼합한 모습을 보여주는 개념도이다. 도 5의 (a)는 카메라(130)를 통하여 획득된 주변 영상(10b)을 보여준다. 상기 영상처리부는 카메라(130)의 오토포커싱 기능을 이용하여 상기 주변 영상(10b)의 원근 또는 깊이 정보를 계산한다. 도 5의 (b) 내지 (d)와 같이, 제1단말기(120)의 소지자가 혼합하고자 하는 객체(20b)를 선택하면 상기 객체(20b)의 3차원 이미지는 원근을 고려하여 제1단말기(120)에 디스플레이된다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체(20b)가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체(20b)가 자신의 주변 환경(10b)과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다.
다시 말하면, 제1단말기(120)의 소지자인 고객은 메인 서버(110)와 연결되어 상기 객체의 상기 3D데이터를 수신한다. 고객은 상기 3D데이터만을 이용하여 상기 객체의 상기 3차원 이미지를 제1단말기(120)를 통하여 볼 수 있다. 다르게는, 고객은 카메라(130)를 활용하여 상기 3D데이터를 상기 주변 영상에 혼합할 수 있으며, 상기 주변 영상에 혼합된 상기 객체의 상기 3차원 이미지를 제1단말기(120)를 통하여 볼 수도 있다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체가 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 고객은 원하는 객체를 선택한 후 이를 제1단말기(120)를 통하여 메인 서버(110)에 전송할 수 있다.
3D프린터(140)는 제1단말기(120)와 연결된다. 3D프린터(140)는 제1단말기(120)의 명령에 따라 상기 3D데이터를 사용하여 상기 객체의 입체 형상을 출력할 수 있다. 3D프린터(140)는 입체프린터라고도 불리며, 2차원 프린터와 달리 출력 대상물을 실제 물체로 만들어 주는 프린터를 말한다. 현재 건축, 항공우주, 전자, 공구 제조, 자동차, 디자인, 의료 분야 등에서 그 활용도가 높아지고 있다. 고객은 3D프린터(140)를 통하여 상기 객체의 상기 3차원 이미지를 입체 형상으로 출력할 수 있으며, 이를 통하여 합리적인 상품 구매가 가능하다.
제2단말기(150)는 메인 서버(110)와 연결될 수 있다. 상기 객체의 상기 3D데이터는 제2단말기(150)를 통하여 메인 서버(110)에 저장될 수 있다. 제2단말기(150)는 제휴사가 사용하는 단말기일 수 있다. 앞서 메인 서버(110)와 관련하여 상술한 내용에서 언급한 바와 같이, 메인 서버(110)는 상기 데이터베이스와 상기 데이터관리부를 포함할 수 있다. 제2단말기(150) 또는 제2단말기(150)의 소지자는 상기 데이터베이스와 연결되어 상기 제휴사별 또는 상기 상품별로 저장된 상기 매장정보를 검색할 수 있다. 다시 말하면, 제2단말기(150)는 상기 데이터베이스와 연결되어 상기 제휴사 식별번호 또는 상기 객체 식별번호를 통하여 상기 제휴사의 상기 정보와 연결이 될 수 있다. 연결된 상기 제휴사의 상기 정보에 변동이 있을 경우 제2단말기(150)는 상기 데이터관리부에 변동된 상기 제휴사의 상기 정보를 전송할 수 있고, 상기 데이터관리부는 상기 변동된 상기 제휴사의 상기 정보를 상기 데이터베이스에 저장한다. 제2단말기(150)의 사용자는 자신의 제휴사정보에 변동이 있을 경우 상기 데이터관리부에 자신의 상기 제휴사정보의 변동을 전송할 수 있다. 이 경우, 상기 데이터관리부는 상기 제휴사정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 이를 통하여 제1단말기(120)의 소지자는 최신의 상기 객체의 정보를 얻을 수 있다. 또한, 제2단말기(150) 또는 제2단말기(150)의 소지자는 상기 데이터베이스와 연결되어 자신이 제공하는 상품 등과 관련한 고객의 선호도, 상품평가 등을 확인하여 사업 운영에 참고할 수도 있다.
제2단말기(150)는 적어도 하나의 주변기기(160)와 연결될 수 있다. 주변기기(160)는 객체의 상기 3D데이터를 생성하는 기기를 포함할 수 있다. 주변기기(160)는 예로서 3D스캐너일 수 있다. 제2단말기(150)의 소지자는 상기 3D스캐너를 통하여 객체의 상기 3D데이터를 생성하여 이를 메인 서버(110)에 전송할 수 있다.
도 1 내지 도 5를 다시 참조하면, 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)을 통하여 고객은 객체를 구매하기 전에 웹 상에서 또는 앱 상에서 미리 객체의 3D이미지를 확인할 수 있다. 상기 객체는 앞서 언급한 바와 같이, 그 대상에는 제한이 없다. 이하 설명의 편의상 상기 객체로서 상품을 위주로 설명하기로 한다. 먼저, 본 명세서에서 개시하는 3D모델 증강현실 서비스를 활용하고자 하는 고객은 자신의 단말기에 관련 프로그램을 설치하고 본 서비스를 이용할 수 있다. 또는 고객은 메인 서버(110)에 직접 접속하여 본 서비스를 이용할 수도 있다. 고객은 상품의 3D 이미지만을 볼 수도 있고, 상품 구매 후 자신이 상품을 배치하고자 하는 주변 공간에 상품의 3D 이미지가 혼합된 이미지를 볼 수도 있다. 이를 통하여 고객은 자신이 원하는 위치에 상품이 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상품이 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다. 고객에게 보다 더 편의를 제공하기 위하여 본 명세서의 3D모델 증강현실 서비스 시스템(100)은 주변 공간과의 관계에서 원근 또는 깊이 정보가 반영된 상품의 3D 이미지를 제공한다. 원근 또는 깊이 정보가 반영된 상품의 3D이미지는 마커 또는 오토포커싱에 의하여 구현될 수 있다. 널리 보급되어 있는 휴대용 단말기, 태블릿 피시, 노트북, 데스크 탑 등에 채용되어 있는 카메라를 사용하여 상품의 3D 이미지를 주변 환경에 혼합할 수 있다. 또한, 본 명세서의 3D모델 증강현실 서비스 시스템(100)은 상품별 또는 제휴사별로 정보를 제공한다. 고객은 상품별로 검색하여 원하는 상품을 찾거나 제휴사별로 검색하여 원하는 상품을 검색할 수 있다. 이를 위해 메인 서버(110)의 데이터베이스는 제휴사 식별번호 및 객체 식별번호(또는 상품 식별번호)를 제공할 수 있다. 이 경우, 제1단말기(120)를 소지한 고객은 제휴사 식별정보를 통하여 제휴사가 제공하는 상품정보와 연결이 되어 상품정보로부터 상품의 3D데이터를 수신하거나, 객체 식별정보로부터 객체(또는 상품)의 3D데이터를 수신할 수 있다. 또한, 데이터베이스는 상품과 관련한 고객의 선호도, 상품평가, 사후관리평가, 판매수량, 재고상황, 판매가격비교, 예상운송기간, 예상제조기간 등의 정보를 제공할 수 있다. 또한, 데이터베이스는 제휴사와 관련한 고객의 선호도, 제휴사의 소재지, 기업매출액, 주식시장상장여부, 고용현황, 기업평가 등의 정보를 제공할 수 있다. 이러한 정보는 데이터관리부를 통하여 일괄 관리 및 갱신될 수 있다. 이를 통하여 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)은 현실 영상에 컴퓨터로 생성한 가상의 사물에 대한 부가영상을 접목함으로써 가상의 사물에 대한 영상정보만으로는 얻기 어려운 부가적인 정보를 제공할 수 있다. 예를 들면, 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)은 가구 등과 같은 구입하려는 상품이 구매자의 실제 주거공간의 구조에 적합한 모양인지, 색상은 실제 주거공간의 분위기에 맞는지 등에 대한 부가적인 정보를 제공해 줄 수 있다.
상기로부터, 본 개시의 다양한 실시 예들이 예시를 위해 기술되었으며, 아울러 본 개시의 범주 및 사상으로부터 벗어나지 않고 가능한 다양한 변형 예들이 존재함을 이해할 수 있을 것이다. 그리고 개시되고 있는 상기 다양한 실시 예들은 본 개시된 사상을 한정하기 위한 것이 아니며, 진정한 사상 및 범주는 하기의 청구항으로부터 제시될 것이다.

Claims (9)

  1. 객체의 3D데이터를 저장하는 메인 서버;
    상기 메인 서버와 연결되며, 상기 3D데이터를 수신하는 제1단말기;
    상기 제1단말기와 연결되며, 상기 제1단말기 주변 영상을 획득하는 카메라; 및
    상기 메인 서버와 연결되는 제2단말기를 포함하되,
    상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함하며,
    상기 제1단말기는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이하며,
    상기 객체의 상기 3D데이터는 상기 제2단말기를 통하여 상기 메인 서버에 저장되며,
    상기 메인 서버는
    상기 객체의 공급자로 사전 제휴를 통하여 선정된 하나 이상의 제휴사의 정보를 저장하는 데이터베이스; 및
    상기 제휴사의 상기 정보의 변동을 반영하여 상기 데이터베이스를 관리하는 데이터관리부를 포함하되,
    상기 제휴사의 상기 정보는 상기 제휴사가 공급하는 상기 객체의 상기 3D데이터를 포함하는 상품정보를 포함하며,
    상기 객체의 상기 3D데이터는 상기 데이터베이스에 저장되며,
    상기 제1단말기는 상기 데이터베이스와 연결되어 상기 3D데이터를 수신하되,
    상기 데이터베이스는 상기 제휴사의 제휴사 식별정보 및 상기 객체의 객체 식별정보를 제공하며,
    상기 제1단말기는 상기 제휴사 식별정보를 통하여 상기 제휴사가 제공하는 상기 상품정보와 연결이 되어 상기 상품정보로부터 상기 객체의 상기 3D데이터를 수신하거나, 상기 객체 식별정보로부터 상기 객체의 상기 3D데이터를 수신하는 3D모델 증강현실 서비스 시스템.
  2. 제1항에 있어서,
    상기 객체의 상기 3차원 이미지를 상기 주변 영상에 혼합하는 영상처리부를 더 포함하되,
    상기 영상처리부는 상기 카메라를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합하는 3D모델 증강현실 서비스 시스템.
  3. 제2항에 있어서,
    상기 주변 영상의 상기 소정의 위치에 배치되는 마커를 더 포함하되,
    상기 마커의 정보는 상기 메인 서버 또는 상기 제1단말기에 저장되며,
    상기 영상처리부는 저장된 상기 마커의 상기 정보와 상기 카메라로 획득된 상기 마커의 영상 정보를 비교하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합하는 3D모델 증강현실 서비스 시스템.
  4. 제2항에 있어서,
    상기 카메라는 오토포커싱 기능을 가지며,
    상기 영상처리부는 상기 주변 영상 및 상기 주변 영상의 상기 소정의 위치의 영상을 획득하는 과정에서 얻어지는 상기 카메라의 초점거리 정보로부터 상기 주변 영상에 대한 상기 소정의 위치의 상대적인 거리를 인식하며,
    상기 영상처리부는 인식된 상기 소정의 위치의 상기 상대적인 거리를 이용하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합하는 3D모델 증강현실 서비스 시스템.
  5. 제1항에 있어서,
    상기 제1단말기와 연결되며, 상기 제1단말기의 명령에 따라 상기 3D데이터를 사용하여 상기 객체의 입체 형상을 출력하는 3D프린터를 더 포함하는 3D모델 증강현실 서비스 시스템.
  6. 삭제
  7. 삭제
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2단말기는 상기 데이터베이스와 연결되어 상기 제휴사 식별정보 또는 상기 객체 식별정보를 통하여 상기 제휴사의 상기 정보와 연결이 되며,
    연결된 상기 제휴사의 상기 정보에 변동이 있을 경우 상기 제2단말기는 상기 데이터관리부에 변동된 상기 제휴사의 상기 정보를 전송하며,
    상기 데이터관리부는 상기 변동된 상기 제휴사의 상기 정보를 상기 데이터베이스에 저장하는 3D모델 증강현실 서비스 시스템.
  9. 제8항에 있어서,
    상기 데이터베이스는 상품과 관련한 고객의 선호도, 상품평가, 사후관리평가, 판매수량, 재고상황, 판매가격비교, 예상운송기간 또는 예상제조기간의 정보를 제공하거나, 상기 데이터베이스는 상기 제휴사와 관련한 고객의 선호도, 상기 제휴사의 소재지, 기업매출액, 주식시장상장여부, 고용현황 또는 기업평가의 정보를 제공하는 3D모델 증강현실 서비스 시스템.
KR1020130153874A 2013-12-11 2013-12-11 3d모델 증강현실 서비스 시스템 KR101599257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130153874A KR101599257B1 (ko) 2013-12-11 2013-12-11 3d모델 증강현실 서비스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153874A KR101599257B1 (ko) 2013-12-11 2013-12-11 3d모델 증강현실 서비스 시스템

Publications (2)

Publication Number Publication Date
KR20150068088A KR20150068088A (ko) 2015-06-19
KR101599257B1 true KR101599257B1 (ko) 2016-03-03

Family

ID=53515731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153874A KR101599257B1 (ko) 2013-12-11 2013-12-11 3d모델 증강현실 서비스 시스템

Country Status (1)

Country Link
KR (1) KR101599257B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11257297B1 (en) 2018-06-15 2022-02-22 Baru Inc. System, method, and computer program product for manufacturing a customized product

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068385B2 (en) 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US20170278308A1 (en) * 2016-03-23 2017-09-28 Intel Corporation Image modification and enhancement using 3-dimensional object model based recognition
KR101947650B1 (ko) * 2017-11-14 2019-05-20 국방과학연구소 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법
WO2019112070A1 (ko) * 2017-12-04 2019-06-13 박성호 투명 디스플레이 윈도우를 구비한 삼차원 구조체 출력 장치
CN111492396A (zh) 2017-12-19 2020-08-04 (株)同友E&C 混合现实服务提供方法及系统
CN108765529A (zh) * 2018-05-04 2018-11-06 北京比特智学科技有限公司 视频生成方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510587A (ja) * 2006-11-15 2010-04-02 アイアム・エンタープライジーズ ３次元モデルを創作し、製造し、流通させる方法
JP2012096426A (ja) * 2010-11-01 2012-05-24 Keyence Corp 三次元造形装置用の設定データ作成装置、三次元造形装置用の設定データ作成方法及び三次元造形装置用の設定データ作成プログラム並びにコンピュータで読み取り可能な記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676800B1 (ko) * 2010-06-01 2016-11-16 엘지전자 주식회사 이동 단말기 및 이동 단말기의 영상 처리 방법
KR101619512B1 (ko) * 2010-06-14 2016-05-10 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510587A (ja) * 2006-11-15 2010-04-02 アイアム・エンタープライジーズ ３次元モデルを創作し、製造し、流通させる方法
JP2012096426A (ja) * 2010-11-01 2012-05-24 Keyence Corp 三次元造形装置用の設定データ作成装置、三次元造形装置用の設定データ作成方法及び三次元造形装置用の設定データ作成プログラム並びにコンピュータで読み取り可能な記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11257297B1 (en) 2018-06-15 2022-02-22 Baru Inc. System, method, and computer program product for manufacturing a customized product

Also Published As

Publication number Publication date
KR20150068088A (ko) 2015-06-19

Similar Documents

Publication Publication Date Title
KR101599257B1 (ko) 3d모델 증강현실 서비스 시스템
JP6770034B2 (ja) 拡張現実を使用した物品の視覚化
US11568620B2 (en) Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US20200058064A1 (en) In-store product detection system
US10705785B2 (en) Data rendering on local and remote displays
KR101859856B1 (ko) 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치
AU2013329003A1 (en) Augmented reality for shipping labels
US20150307279A1 (en) Retail automation platform
CN113986004A (zh) 用于在多用户增强现实中表示用户交互的系统和方法
US20160189268A1 (en) Wearable device for interacting with media-integrated vendors
US20180158134A1 (en) Shopping System Using Augmented Reality
US10963150B2 (en) System for designing and configuring a home improvement installation
CN107251079A (zh) 本地销售平台
US20150363897A1 (en) System for providing proposal of decoration for residence or exhibit and method for the same
US20140316946A1 (en) Event-driven sales platform and notification system and method
WO2015195413A1 (en) Systems and methods for presenting information associated with a three-dimensional location on a two-dimensional display
JP5525401B2 (ja) 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム
CN115439599A (zh) 用三维（3d）模型补充数字媒体的系统和方法
EP2955685A1 (en) Interactive vending system and method for selling goods in both actual exhibit spot and online shop
KR101951833B1 (ko) 지나가는 관찰자에게 반응하는 공개 시스템
KR20110125866A (ko) 증강현실을 통한 정보제공 방법 및 장치
KR101683830B1 (ko) 상점 위치 안내 방법 및 이를 이용한 장치
KR102420173B1 (ko) Gis에 기반한 3d 모델링을 통해 전자상거래 플랫폼을 제공하는 방법 및 장치
JP2018077747A (ja) 画像情報処理装置及び画像情報処理方法
US20190220918A1 (en) Methods and devices for an augmented reality experience

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191218

Year of fee payment: 5

R401 Registration of restoration