KR101505090B1 - 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템 - Google Patents

Abstract

본 발명은 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템에 관한 것으로, 제품의 상거래 과정을 간소화시킴으로써 유통 과정 중에 발생되는 비용을 절감하고 매장에 진열된 제품을 영상촬영장치로 다방면에서 근접 촬영하여 촬영한 영상에 제품정보 화면을 추가하여 중첩함으로써 온라인에서 실제 쇼핑을 하는 것과 같은 서비스를 제공하는 증강현실 및 사물인터넷에 기반을 둔 스마트영상 쇼핑 서비스 제공 시스템이다.

Description

증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템{System for providing 3D shopping information service based on augmented reality and IoT}

본 발명은 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템에 관한 것이다. 보다 상세하게는 3D 영상 쇼핑 서비스를 구축하여 무선통신을 통해 오프라인 매장과 연동함으로써 제품의 상거래인 유통→입고→등록→판매→주문→결제→배송 절차를 간소화시킴으로써 유통 과정 중에 발생되는 비용을 절감하며 기존의 온라인 쇼핑몰에서 연출된 사진과 후기에만 의존했던 단점을 보완하여 매장에 진열된 제품을 영상촬영장치로 다방면에서 촬영하여 360°view를 제공하며 제품의 재질을 근접 촬영하여 촬영한 영상에 제품정보 화면을 추가하여 중첩함으로써 온라인에서 실제 제품을 보고 구매 하는 것과 같은 실감나는 서비스를 제공하여 오프라인과 온라인 쇼핑의 장점을 융합한 신개념 쇼핑 시스템을 구축하는 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템에 관한 것이다.

증강현실(augmented reality)은 현실세계에 가상의 객체 및 정보 기술을 혼합하여 실제 상황에서 사용자가 필요로 하는 정보를 실감나게 제공받을 수 있는 기술을 의미한다. 최근 들어, 증강현실을 적용한 기술과 마케팅의 융합은 교육, 의료, 게임 등 다양한 산업 분야에서 적용되고 있으며 소비자들의 흥미를 불러일으켜매출 상승에 영향을 주고 있다.

기존의 온/오프라인 상거래는 유통→입고→등록→판매→주문→결제→배송 형태의 절차상 번거로운 과정을 거쳐야 하며 온라인 쇼핑몰의 특성상 제품의 단면만 확인할 수 있는 경우가 많아 제품의 상세한 정보 획득이 어려우며 오프라인 쇼핑몰은 매장을 직접 방문해야 하기 때문에 많은 시간이 소요된다는 단점이 있다.

따라서, 온라인 쇼핑몰과 오프라인 쇼핑몰의 장점을 융합하여 상거래의 절차를 간소화하여 각 단계에 부과되는 비용 및 시간을 절감하고 온라인 상에서 제품을 실제로 체험할 수 있도록 증강현실 기술을 적용한 서비스를 구축하여 소비자가 오프라인 매장에 직접 방문한 것처럼 매장 내 구조, 제품의 재질, 색상, 사이즈 등 다양한 정보를 생생하게 체험할 수 있도록 제공함으로써 효과적으로 소비자에게 제품을 어필할 수 있도록 하는 차별화된 쇼핑시스템이 필요하다.

선행기술문헌 : KR 공개특허공보 제2012-0076671호(2012.7.9 공개)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 제품의 유통과정을 간소화시켜 유통 단계에서 발생되는 비용을 절감하고 기존의 온라인 쇼핑몰에서 연출된 사진과 후기에만 의존했던 단점을 보완하여 매장에서 실제 쇼핑을 하는 것과 같은 실감나는 서비스를 제공하는 영상 쇼핑 서비스를 제공하는 데 그 목적이 있다.

디스플레이 모듈은 서버에 저장된 제품 정보와 촬영된 매장 영상을 중첩하여 표시하며 사용자가 해당되는 제품을 선택하면 제품을 근접 촬영한 영상 및 360°view를 제공하고 상하좌우 방향버튼을 구비하여 클릭시 사용자가 원하는 방향으로 이동할 수 있도록 하여 오프라인 매장에 방문한 효과를 부여하고, 제품정보등록 모듈은 데스크탑 PC의 입력 프로그램에 의해 통신센서칩을 ON 상태로 한 후 제품정보를 입력받고, 카메라가 통신센서칩을 인식하여 사물인터넷에 의해 제품정보 데이터를 수신하며, 카메라가 서버에 제품영상과 제품정보 데이터를 업로드하는 제1 방식, 스마트기기 애플리케이션에 의해 통신센서칩을 ON상태로 한 후 제품정보를 입력받고, 카메라가 통신센서칩을 인식하여 사물인터넷에 의해 제품정보 데이터를 수신하며, 카메라가 서버에 제품영상과 제품정보 데이터를 업로드하는 제2 방식, 스마트기기 애플리케이션에 의해 통신센서칩을 ON상태로 한 후 스마트기기의 애플리케이션이 서버에 실시간 제품영상 또는 녹화 제품영상과 제품정보 데이터를 업로드하는 제3 방식 중 어느 한 방식이 적용될 수 있다.

삭제

또한, 제품 검색 DB, 제품 관리 DB 를 포함하는 데이터베이스를 구축하고 통신센서칩인식부, 영상촬영부를 포함하여 관리자가 제품의 재고사항 파악 및 매장 내 제품 검색을 가능하도록 하며 촬영된 영상, 제품 정보를 사용자 단말기로 확인할 수 있도록 하는 서버를 더 포함할 수 있다.

본 발명에 의하면 3D 영상 쇼핑 서비스를 구축하여 무선통신을 통해 오프라인 매장과 연동함으로써 제품의 상거래인 유통→입고→등록→판매→주문→결제→배송 절차를 간소화시킴으로써 유통 과정 중에 발생되는 비용을 절감할 수 있는 효과가 있다.

또한, 본 발명에 의하면, 기존의 온라인 쇼핑몰에서 연출된 사진과 후기에만 의존했던 단점을 보완하여 매장에 진열된 제품을 영상촬영장치로 다방면에서 촬영하여 360°view를 제공하며 제품의 재질을 근접 촬영하여 온라인에서 실제 제품을 보고 구매 하는 것과 같은 서비스를 제공하는 효과가 있다.

또한, 본 발명에 의하면, 영상촬영장치와 통신센서칩 간 무선통신을 통한 상호 데이터 교환을 가능하게 하며 단말기와 연동함으로써 오프라인과 온라인 쇼핑의 장점을 융합한 쇼핑 시스템을 구축하고 기존의 화면에 촬영한 영상을 겹침으로써 증강현실 기술을 활용한 3D 영상 쇼핑 서비스를 제공하는 효과가 있다.

또한, 본 발명에 의하면 스마트센서가 부착된 제품이 구매자에게 올바르게 도착하면 구매자의 스마트기기에게 인사와 사용법 등의 안내메시지를 전달하고 관련 후기를 남겨줄 것을 종용하며, 판매자에게도 도착사실을 알림으로써 신뢰도를 확보할 수 있는 효과가 있다.

또한, 본 발명에 의하면 구매자는 동봉된 스마트센서와 스마트기기 및 애플리케이션을 사용하여 용이하게 재판매도 가능하고, 판매자는 스마트센서의 이상발생시 제품판매 중지여부, 영상을 내릴지의 여부를 판매자에게 알림으로써 판매자가 신속히 대처할 수 있도록 하는 효과가 있다.

또한, 본 발명에 의하면 특정 카메라에 이상 발생시 다른 카메라가 이를 인지하여 이상발생 카메라를 대체할 수 있고, 스마트센서가 제품생산시부터 함께 제조될 경우 웨어러블 제품으로 확장이 용이한 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 구조도,
도 2는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 서버와 단말기 구성도,
도 3은 본 발명의 바람직한 실시예에 따른 증강현실에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 개념도,
도 4는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 단말기 예시 화면,
도 5는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 흐름도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 구조도이며, 도 2는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 서버와 단말기 구성도이고, 도 3은 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 개념도이며, 도 4는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 단말기 예시 화면이며, 도 5는 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템의 흐름도이다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

도 3 내지 도 4를 참조하면, 디스플레이 모듈(50)은 서버(200)에 저장된 제품 정보와 촬영된 매장 영상을 중첩하여 표시한다. 매장 내부 코너 및 전체 영상이 재생되면서 제품의 측면에 제품 정보를 열람할 수 있도록 점, 라인 등의 방법으로 표기된다. 또한, 화면 중앙 하단부에는 상하좌우 방향버튼을 구비하여 방향버튼을 클릭하면 사용자가 원하는 방향으로 이동할 수 있도록 하며 사용자가 해당되는 제품을 선택하면 재품의 재질을 근접 촬영한 영상과 360°view를 통해 제품을 상세하게 볼 수 있도록 하여 사용자가 오프라인 매장을 방문하지 않고도 실감나게 제품을 체험할 수 있도록 한다.

디스플레이 모듈(50)은 영상촬영장치(400)로 통신센서칩(300)을 촬영하여 등록된 제품 정보를 읽음으로써 사용자에게 제품 정보를 제공한다. 디스플레이 모듈(50)은 통신센서칩(300)의 좌표값을 통해 현재 화면 위에 레이어 방식으로 씌우는 레이어 방식과 촬영 영상 내부에 데이터를 촬영부터 삽입하여 영상으로 제공하는 데이터 삽입 방식을 사용하여 현재 화면에 촬영 영상을 겹침으로써 서로 다른 화면을 3D공간에 있는 것과 같은 효과를 부여할 수 있다. 여기서, 현재 화면에 새로운 화면을 중첩하는 방식을 한정하는 것은 아니다.

제품결제 모듈(60)은 녹화된 영상 및 실시간 영상을 사용자가 확인한 후 마음에 드는 제품을 장바구니에 담아 제품을 결제하는 단계이다. 또한, 녹화된 영상 및 실시간 영상은 스마트TV를 통해 확인할 수 있으며 단말기(100)로 스마트TV의 해당 화면분을 스캔하여 단말기(100)로 전송하여 제품을 구매할 수 있다.

배송조회 모듈(70)은 제품에 부착된 통신센서칩(300)을 통하여 배송 단계를 추적하여 운송 현황을 확인할 수 있으며 이러한 통신센서칩(300)을 이용한 배송추적 시스템은 소매 거래 뿐만 아니라 재판매를 위한 도매 거래에도 유용할 수 있다.

서버(200)는 제품 검색 DB, 제품 관리DB 를 포함하는 데이터베이스를 구축하고 통신센서칩인식부, 영상송출부를 포함하여 관리자에게 통합적인 관리시스템을 제공하고 사용자에게는 증강현실 기술을 활용한 온라인 쇼핑서비스를 제공한다.

도 5를 참조하면, 본 발명의 바람직한 실시예에 따른 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공 시스템은 제품등록(4), 컨텐츠 이동(5), 구매(컨텐츠 표현)(6)를 포함한다.

제품등록(4)은 크게 3가지의 제품등록방식을 포함한다.

제1 제품등록방식(1)은 데스크탑의 입력 프로그램과, 카메라를 이용한 방식이다.

제1 제품등록방식(1)에 의하면 스마트센서(통신센서칩)를 제품에 부착하고, 데스크탑 컴퓨터에서 입력 프로그램을 실행시킨다. 입력 프로그램은 스마트센서와의 통신을 통해 스마트센서에 제품관련 데이터를 기록하고, 이러한 제품들의 재고관리 등을 수행한다. 데스크탑의 입력 프로그램이 실행된 후 스마트센서와의 통신에 의해 정보 입력모드에서 스마트센서를 인식하면 제품관련 데이터 입력이 이루어지고, 스마트센서의 상태값이 ON이 된다. ON 상태의 스마트센서를 카메라가 인식하고 스마트센서와 카메라의 통신 및 카메라의 촬영을 통해 서버에 영상과 제품관련 데이터 정보가 업로드된다.

제2 제품등록방식(2)은 스마트기기의 제품등록 애플리케이션과, 카메라를 이용한 방식이다.

제2 제품등록방식(2)에 의하면 스마트센서를 제품에 부착하고, 스마트기기의 애플리케이션을 실행시킨다. 애플리케이션은 스마트센서와의 통신을 통해 스마트센서에 제품관련 데이터를 기록하고, 이러한 제품들의 재고관리 등을 수행한다. 스마트기기의 애플리케이션이 실행된 후 스마트센서와의 통신에 의해 정보 입력모드에서 스마트센서를 인식하면 제품관련 데이터 입력이 수행되고, 스마트센서의 상태값이 ON이 된다. ON 상태의 스마트센서를 카메라가 인식하고 스마트센서와 카메라의 통신 및 카메라의 촬영을 통해 서버에 영상과 제품관련 데이터 정보가 업로드된다.

스마트센서와 카메라 사이의 데이터 송수신에서 사물인터넷이 적용될 수 있다. 사물인터넷은 생활속 사물들을 유무선 네트워크로 연결하여 정보를 공유하는 환경을 일컫는 것으로, 가전제품, 전기전자기기를 포함하여 헬스케어, 원격검침, 스마트홈, 스마트가 등 다양한 분야에서 사물을 네트워크로 연결하여 정보를 공유하게 된다.

제3 제품등록방식(3)은 스마트기기의 제품등록 애플리케이션과, 스마트기기에 자체 장착된 카메라를 이용한 방식이다.

제3 제품등록방식(3)에 의하면 스마트센서를 제품에 부착하고, 스마트기기의 애플리케이션을 실행시킨다. 애플리케이션은 스마트센서와의 통신을 통해 스마트센서에 제품관련 데이터를 기록하고, 이러한 제품들의 재고관리 등을 수행한다. 스마트기기의 애플리케이션이 실행된 후 스마트센서와의 통신에 의해 정보 입력모드에서 스마트센서를 인식하면 제품관련 데이터 입력이 수행되고, 스마트센서의 상태값이 ON이 된다. 스마트기기에 장착된 카메라가 제품을 촬영하면서 ON 상태의 스마트센서를 인식하여 스마트기기 애플리케이션이 서버에 실시간 영상 또는 녹화영상과 제품관련 데이터 정보를 업로드한다.

컨텐츠 이동(5)은 일반 TV 등 출력전용단말기에서 스마트기기 등의 단말기로 제품정보 및 영상을 이동시키는 사물인터넷 기술이 적용될 수 있다. 한편, 컨텐츠 이동(5)은 QR코드를 비롯한 식별방식으로 화면스캔을 이용하는 방법, 통신기기를 이용한 순수 데이터 이동 방식도 사용될 수 있음은 물론이다.

예컨대, 일반 TV에 영화가 디스플레이되고, 영화 속에 등장하는 등장인물이 착용한 특정 의류에 관심이 있는 경우 화면상에 구현된 QR코드 또는 화면 자체를 스마트기기로 스캔하면 제품정보와 제품영상이 디스플레이되도록 구현할 수 있다.

구매(컨텐츠 표현)(6)은 제품의 식별, 화면 이동, 실감을 높이기 위해 화면에서 제품정보를 바로 로딩하고 구매할 수 있도록 하는 것으로, 증강현실이 적용될 수 있다.

스마트센서는 ON, OFF, INSERT, DELETE, MODIFY 등의 상태모드를 가질 수 있으며, ON 모드는 스마트센서가 다른 사물인터넷 관련노드(카메라, 스마트기기, TV, 데스크탑 등)와 반응할 수 있는(데이터 송수신이 가능한) 상태이고, INSERT 모드는 데스크탑이나 스마트기기를 이용하여 스마트센서에 제품정보 데이터를 심는 상태이며, DELETE와 MODIFY는 각각 스마트센서에 기록된 제품정보를 삭제 또는 수정하는 상태를 의미한다.

제품 판매자와 제품 구매자의 입장에서 본 발명을 정리하면 다음과 같다.

1. 판매자와 구매자 모두에 적용되는 특징

-생산에서 최종 소비자에 이르기까지 유통과정, 이력 등의 추적이 가능

-스마트센서가 부착된 제품이 구매자에게 올바르게 도착하면 구매자의 스마트기기에게 인사와 사용법 안내 메시지를 전달(구매자의 스마트기기에는 관련된 애플리케이션이 설치되어 있음), 관련 후기를 남겨줄 것을 종용하며, 판매자에게도 구매자에게 제품이 도착했음을 알림

-3차원 실감촬영을 위해 카메라가 이동하고, 스마트센서가 부착된 제품자체 또는 제품진열대도 이동 및 회전하도록 구현

-제품생산시부터 스마트센서가 함께 제조될 경우, 스마트센서는 웨어러블(wearable) 제품으로 확장이 용이함.

2. 판매자에게 적용되는 특징

-전문적 지식없이도 온라인 판매등록을 손쉽게 할 수 있음(사진촬영, 편집, 동영상 포맷 변환 등)

-DP 및 매장구성을 통한 효과적이고 효율적인 제품 프로모션 가능(패션쇼와 같은 연출 및 광고영상과 유사하게 컨텐츠를 제공할 수 있음)

-제품설명 페이지 제작을 생략할 수 있어 저비용으로 상거래가 가능

-전원 OFF, 불량발생 등 스마트센서의 이상발생시 제품판매를 중지할 것인지 영상을 내릴 것인지 등을 판매자에게 알림.

-특정 카메라의 이상발생시 다른 카메라가 인지하여 이상이 발생한 카메라를 이동하여 대체할 수 있음(복수개의 카메라로 촬영이 진행됨)

3. 구매자에게 적용되는 특징

-단순한 이미지에 비해 실제와 가깝고 보다 질높은 제품정보에 접근가능

-동영상 내에서의 제품식별 및 제품정보에 접근하여 구매할 수 있어 간편한 쇼핑 경험(해당 제품을 찾기 위한 스트레스 및 시간소비 방지)

-제품의 기초정보를 접하고, 구매를 위해 헤메는 단계없이 바로 구매 가능함(광고, 드라마, 영화 등을 통해서도 구매가 가능)

-배송 추적에 의한 흥미 유발과 안심거래 가능

-구매자는 동봉된 스마트센서와 스마트기기 및 애플리케이션을 사용하여 재판매도 용이하게 진행가능

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 - 통신센서칩인식 모듈 20 - 제품정보등록 모듈
30 - 영상촬영 모듈 40 - 영상업로드 모듈
50 - 디스플레이 모듈 60 - 제품결제 모듈
70 - 배송조회 모듈 100 - 단말기
200 - 서버 300 - 통신센서칩
400 - 영상촬영장치 500 - 무선통신

Claims (3)

1. (a) 데스크탑 PC의 입력 프로그램에 의해 스마트센서를 ON 상태로 한 후 제품정보를 입력받고, 카메라가 스마트센서를 인식하여 사물인터넷에 의해 제품정보 데이터를 수신하며, 카메라가 서버에 제품영상과 제품정보 데이터를 업로드하는 제1 방식, 스마트기기 애플리케이션에 의해 스마트센서를 ON상태로 한 후 제품정보를 입력받고, 카메라가 스마트센서를 인식하여 사물인터넷에 의해 제품정보 데이터를 수신하며, 카메라가 서버에 제품영상과 제품정보 데이터를 업로드하는 제2 방식, 스마트기기 애플리케이션에 의해 스마트센서를 ON상태로 한 후 스마트기기의 애플리케이션이 서버에 실시간 제품영상 또는 녹화 제품영상과 제품정보 데이터를 업로드하는 제3 방식 중 어느 한 방식을 적용하여 제품정보 및 영상을 등록하는 단계; 및
   (b) TV를 포함한 출력전용단말기에서 스마트기기로 (a)단계에서 등록한 제품정보 및 영상을 이동시키는 사물인터넷 방식, 출력전용단말기의 화면에 나타나는 QR코드를 포함한 코드를 스캔하여 (a)단계에서 등록한 제품 정보 및 영상을 이동시키는 화면스캔 방식 중 어느 한 방식을 적용하여 컨텐츠를 이동시키는 단계
   를 포함하며,
   스마트센서는 ON, OFF, INSERT, DELETE, MODIFY 를 포함하는 상태모드를 가지며, ON 모드는 스마트센서가 카메라, 스마트기기, TV, 데스크탑을 포함한 다른 사물인터넷 관련노드와 반응하여 데이터 송수신이 가능한 상태이고, INSERT 모드는 데스크탑이나 스마트기기를 이용하여 스마트센서에 제품정보 데이터를 심는 상태이며, DELETE와 MODIFY는 각각 스마트센서에 기록된 제품정보를 삭제 또는 수정하는 상태인 증강현실 및 사물인터넷에 기반을 둔 스마트 쇼핑 서비스 제공방법.
2. 삭제
3. 삭제

Images