KR101843335B1 - 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치 - Google Patents

영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101843335B1
KR101843335B1 KR1020170045614A KR20170045614A KR101843335B1 KR 101843335 B1 KR101843335 B1 KR 101843335B1 KR 1020170045614 A KR1020170045614 A KR 1020170045614A KR 20170045614 A KR20170045614 A KR 20170045614A KR 101843335 B1 KR101843335 B1 KR 101843335B1
Authority
KR
South Korea
Prior art keywords
image
user
information
store
movement
Prior art date
Application number
KR1020170045614A
Other languages
English (en)
Inventor
유서현
김용국
조성래
김용진
김준세
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to US16/497,101 priority Critical patent/US20210118229A1/en
Priority to CN201780088845.2A priority patent/CN110462666A/zh
Priority to JP2019551592A priority patent/JP2020511725A/ja
Priority to PCT/KR2017/006421 priority patent/WO2018182092A1/ko
Priority to EP17903250.3A priority patent/EP3605428A4/en
Application granted granted Critical
Publication of KR101843335B1 publication Critical patent/KR101843335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G06Q30/0619—Neutral agent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 영상 기반의 거래 방법은 상품 거래 서비스 서버가 영상 처리 장치로부터 매장 영상 정보를 수신하는 단계, 상품 거래 서비스 서버가 매장 영상 정보를 기반으로 사용자 제공 정보를 생성하는 단계와 상품 거래 서비스 서버가 사용자 제공 정보를 사용자 장치로 전송하는 단계를 포함할 수 있되, 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함할 수 있다.

Description

영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치{Method for transaction based on image and apparatus for performing the method}
본 발명은 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 영상 처리 장치 및 사용자 장치 등을 사용하여 사용자의 오프라인 매장의 방문 없이 거래 활동을 하기 위한 방법 및 장치에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
전방향 영상 장치는 다양한 영역에서 활용될 수 있다. 예를 들어, 방범/보안과 같은 전방향의 영상에 대한 감시가 필요한 영역에서 활용될 수도 있고, 여행을 다닐 때 여행자가 방문했던 장소에 대한 기록을 위해 활용될 수도 있다. 이뿐만 아니라, 전방향 영상 장치를 기반으로 촬영된 전방향 영상은 편집되어 상품의 판매를 위한 영상으로도 활용될 수도 있다.
따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상에 대한 다양한 처리를 통해 전방향 영상을 다양한 분야에서 활용하기 위한 기술 개발이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 영상 처리 장치에 의해 생성된 매장 영상 정보를 기반으로 사용자의 오프라인 매장 방문 없이 상품에 대한 거래를 진행하는 것을 다른 목적으로 한다.
또한, 본 발명은, 매장 영상을 기반을 기반으로 사용자 제공 영상을 생성하고, 사용자 제공 영상을 기반으로 제어 정보를 생성하여 사용자 인터페이스를 통해 입력된 사용자 입력 정보를 기반으로 사용자의 이동 없이 사용자 제공 영상을 통해 필요한 상품에 대한 거래를 효과적으로 진행하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 영상 기반의 거래 방법은 상품 거래 서비스 서버가 영상 처리 장치로부터 매장 영상 정보를 수신하는 단계, 상기 상품 거래 서비스 서버가 상기 매장 영상 정보를 기반으로 사용자 제공 정보를 생성하는 단계와 상기 상품 거래 서비스 서버가 상기 사용자 제공 정보를 사용자 장치로 전송하는 단계를 포함할 수 있되, 상기 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함할 수 있다.
본 발명의 다른 태양에 따르면, 영상 기반의 거래를 위한 상품 거래 서비스 서버는 영상 처리 장치 및 사용자 장치와 데이터 통신을 위한 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있되, 상기 프로세서는 상기 영상 처리 장치로부터 매장 영상 정보를 수신하고, 상기 매장 영상 정보를 기반으로 사용자 제공 정보를 생성하고, 상기 사용자 제공 정보를 사용자 장치로 전송하도록 구현되되, 상기 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함할 수 있다.
본 발명에 의하면, 영상 처리 장치에 의해 생성된 매장 영상 정보를 기반으로 사용자의 오프라인 매장 방문 없이 상품에 대한 거래가 진행될 수 있다.
또한, 본 발명에 의하면, 매장 영상을 기반을 기반으로 사용자 제공 영상을 생성하고, 사용자 제공 영상을 기반으로 제어 정보를 생성하여 사용자 인터페이스를 통해 입력되는 사용자 입력 정보를 기반으로 사용자의 이동 없이 제공되는 영상을 통해 필요한 상품에 대한 거래가 효과적으로 진행될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 기반의 상품 거래 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 상품 거래 서비스의 동작을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예의 영상 처리 장치는 전방향 영상 처리 장치를 포함할 수 있다. 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다.
또한, 이하, 본 발명의 실시예에서 상품은 외형을 가지는 물품뿐만 아니라, 외형을 가지지 않는 서비스 상품도 포함하는 의미로 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 기반의 상품 거래 시스템을 나타낸 개념도이다.
도 1에서는 사용자의 오프라인 매장 방문 없이 영상을 기반으로 상품을 구매하기 위한 상품 거래 시스템이 개시된다.
상품 거래 시스템은 영상 처리 장치(100), 상품 거래 서비스 서버(120), 사용자 장치(140)를 포함할 수 있다.
영상 처리 장치(100)는 상품(또는 매장)에 대한 영상(예를 들어, 전방향 영상)을 생성하기 위해 구현될 수 있다. 예를 들어, 오프라인 매장에서 상품의 판매를 위해 매대(또는 진열대)에 상품이 배치될 수 있다. 영상 처리 장치(100)는 오프라인 매장의 이동로를 통해 이동하고, 매장 및/또는 매장에 배열된 상품에 대한 영상을 생성할 수 있다. 영상 처리 장치(100)에 의해 생성된 매장 및/또는 매장에 배열된 상품에 대한 영상은 매장 영상이라는 용어로 표현될 수 있다.
영상 처리 장치(100)는 실제의 오프라인 매장을 촬상하지 않고, 오프라인 매장에 대한 가상(virtual) 영상을 생성할 수도 있다. 오프라인 매장에 대한 가상 영상은 가상 공간 내에 매장, 매대, 상품, 이동 경로 등을 가상으로 설정하여 생성한 영상일 수 있다. 이하, 본 발명의 실시예에서 매장 영상은 오프라인 매장에 대한 가상 영상을 포함하는 의미로 사용될 수 있다.
상품 거래 서비스 서버(120)는 영상 처리 장치로부터 수신한 매장 영상에 대한 처리를 통해 사용자의 사용자 장치(140)로 상품 구매를 위한 사용자 제공 정보를 생성할 수 있다.
사용자 제공 정보는 사용자 제공 영상 및 사용자 장치(140)에서 사용자의 가상 이동 및 상품 구매를 위한 제어 정보(예를 들어, 이동 제어 정보, 거래 제어 정보) 등을 포함할 수 있다. 사용자 제공 영상은 매장 영상을 기반으로 생성된 사용자 장치(140)로 제공되어 출력되는 매장에 대한 영상일 수 있다.
상품 거래 서비스 서버(120)는 매장 영상에서 중첩되거나 불필요한 부분을 제외하고 매장 내 이동 경로별로 매장 영상을 분할하는 등의 영상 처리를 통해 사용자 제공 영상을 생성할 수 있다. 예를 들어, 상품 거래 서비스 서버(120)는 영상 처리 장치(100)에 의해 생성된 매장 영상 중 중첩되어 촬영된 부분을 제외하여 사용자 제공 영상을 결정할 수 있다. 또한, 매장 영상이 촬상된 위치 정보를 고려하여 경로별로 매장 영상을 분할하여 경로별 사용자 제공 영상을 생성할 수 있다. 예를 들어, 분기점에서 제1 경로 및 제2 경로로 경로가 분할되는 경우, 제1 경로에 대한 제1 매장 영상을 기반으로 제1 경로에 대한 제1 경로 사용자 제공 영상이 생성되고, 제2 경로에 대한 제2 매장 영상을 기반으로 제2 경로에 대한 제2 경로 사용자 제공 영상을 생성될 수 있다.
또한, 상품 거래 서비스 서버(120)는 사용자 제공 영상 상에서 사용자의 가상 이동을 위한 이동 제어 정보를 생성할 수 있다. 예를 들어, 상품 거래 서비스 서버(120)는 사용자 제공 영상 내에 존재하는 매장내 이동 경로의 분기점을 결정하고, 분기점에서 사용자 인터페이스(이동)을 출력하기 위한 이동 제어 정보를 생성할 수 있다. 사용자 인터페이스(이동)은 사용자의 가상 이동 방향을 결정하기 위해 구현될 수 있다. 또한, 상품 거래 서비스 서버(120)는 분기점에서 사용자 인터페이스(이동)를 통한 입력 정보와 사용자 제공 영상을 매칭하는 이동 제어 정보를 생성할 수 있다.
즉, 상품 거래 서비스 서버(120)는 매장 영상 내의 분기점에서 사용자 인터페이스(이동)을 띄우고 사용자 인터페이스(이동)을 통해 사용자 입력 정보를 입력받고, 사용자 입력 정보에 따른 사용자의 가상 이동 방향에 따른 사용자 제공 영상을 제공하기 위한 이동 제어 정보를 생성할 수 있다.
예를 들어, 상품 거래 서비스 서버(120)의 영상 처리를 통해 사용자가 분기점에 위치한 경우, 사용자 장치(140)를 통해 출력되는 사용자 제공 영상 상에서 사용자 인터페이스(이동)가 이동 제어 정보를 기반으로 출력될 수 있다. 사용자 인터페이스(이동)를 통해 이동 방향을 지시하는 사용자 입력 정보가 입력될 수 있다. 이동 제어 정보를 기반으로 사용자 입력 정보에 의해 지시하는 이동 방향에 대응되는 사용자 제공 영상이 사용자에게 제공될 수 있다. 이러한 방식으로 사용자는 사용자 장치(140)를 통해 이동 방향을 지시하고 매장 내를 가상으로 움직일 수 있다.
또한, 상품 거래 서비스 서버(120)는 사용자의 상품 정보 획득, 상품 선택 및 상품 거래 절차를 위한 거래 제어 정보를 생성할 수 있다. 예를 들어, 상품 거래 서비스 서버(120)는 사용자 제공 영상 내에 존재하는 상품 이미지를 객체 정보로서 추출하고, 상품 이미지와 대응되는 상품을 결정할 수 있다. 상품 거래 서비스 서버(120)는 결정된 상품에 대한 상품 정보를 상품 이미지에 매칭하기 위한 거래 제어 정보를 생성할 수 있다.
또한, 상품 거래 서비스 서버(120)는 사용자 인터페이스(거래)를 통해 상품이 선택된 경우, 추가적인 상품 정보의 제공 및 상품에 대한 거래를 진행하기 위한 거래 제어 정보를 생성할 수 있다. 사용자 인터페이스(거래)는 사용자 제공 영상 상에서 상품을 선택하고 거래하기 위해 구현될 수 있다. 거래 제어 정보는 상품의 가격, 상품의 원산지, 상품의 거래 조건 등과 같은 상품의 선택/거래를 위한 정보를 포함할 수 있다.
상품 거래 서비스 서버(120)에 의해 생성된 거래 제어 정보를 기반으로 사용자 제공 영상 내의 상품 이미지에 상품 정보가 매칭되어 이미지 정보로서 출력될 수 있다. 또한, 상품 거래 서비스 서버(120)에 의해 생성된 거래 제어 정보를 기반으로 사용자 인터페이스(거래)를 통한 사용자에 의해 상품 이미지의 선택시 상품에 대한 추가적인 상품 정보가 제공되고 거래 절차가 진행될 수 있다.
또한, 상품 거래 서비스 서버(120)는 사용자에 의해 선택된 상품에 대한 상품 거래 요청 정보를 수신하고, 상품 거래 요청 정보를 기반으로 한 상품 거래 절차를 진행할 수 있다. 예를 들어, 사용자는 사용자 장치(140)를 통해 가상으로 매장을 돌아다니면서 구매한 상품에 대해 결제를 요청할 수 있다. 결제 요청시 상품 거래 요청 정보가 상품 거래 서비스 서버(120)로 전달될 수 있다. 상품 거래 서비스 서버(120)는 사용자 장치(별도의 사용자 장치도 가능)(140)로부터 결제를 위한 결제 정보(예를 들어, 카드 정보)를 수신하고 상품에 대한 결제 절차를 진행할 수 있다. 결제 절차는 별도의 은행 서버와 연동하여 수행될 수도 있다. 상품 거래 서비스 서버(120)에 의해 거래가 완료된 상품은 사용자에게 배송될 수 있다.
상품 거래 서비스 서버(120)는 한번에 사용자 장치로 사용자 제공 영상을 제공할 수도 있고, 사용자 인터페이스를 통해 입력되는 사용자 입력 정보에 따라 사용자 장치(140)로부터 사용자 제공 영상 요청을 수신하고, 요청된 사용자 제공 영상을 제공할 수도 있다.
상품 거래 서비스 서버(120)는 영상 처리 장치 및 사용자 장치와 데이터 통신을 위한 통신부를 포함하고, 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있다. 본 발명의 실시예에서 개시된 상품 거래 서비스 서버(120)의 동작은 프로세서를 기반으로 수행될 수 있다.
보다 구체적인 상품 거래 서비스 서버(120)의 동작은 후술된다.
사용자 장치(140)는 사용자의 상품 구매를 위해 구현될 수 있다. 사용자 장치(140)는 상품 거래 서비스 서버(120)로부터 사용자 제공 정보를 수신하고, 사용자 제공 영상을 출력할 수 있다. 또한, 사용자 장치(140)를 통해 사용자 입력 정보가 입력되고, 사용자 입력 정보에 대응되는 이동 제어 정보 및 거래 제어 정보를 기반으로 가상으로 매장 내를 이동하면서 상품에 대한 구매 절차가 진행될 수 있다.
예를 들어, 사용자 장치(120)는 사용자 인터페이스(이동)를 통해 사용자의 입력 정보를 입력받고 사용자 제공 영상 상에서 사용자의 매장 내의 가상의 움직임을 발생시킬 수 있다. 또한, 사용자 장치(120)는 사용자 인터페이스(거래)를 통해 사용자의 입력 정보를 입력받고 사용자 제공 영상 상에서 사용자의 상품의 선택 및 상품에 대한 정보 제공, 상품에 대한 구매 절차를 진행할 수 있다.
예를 들어, 사용자 장치(120)는 전방향 VR(virtual reality)/AR(augmented reality) 영상을 출력할 수 있고, 손의 움직임을 사용자 입력 정보로서 입력받을 수 있는 장치일 수 있다. 사용자 장치(120)는 HMD(head mounted display)일 수 있고, 사용자의 손의 움직임을 사용자 입력 정보로서 해석하여 수신할 수 있다.
구체적으로 사용자는 사용자 장치(120)를 통해 제공되는 사용자 제공 영상 상에서 사용자 인터페이스(이동)를 통해 이동하고자 하는 방향을 선택하여 매장 내를 가상으로 이동할 수 있다. 예를 들어, 사용자 제공 영상은 분기점에서 사용자 인터페이스(이동)을 출력할 수 있다. 사용자 인터페이스(이동)에 포함되는 이동하고자 하는 방향을 지시하는 아이콘(또는 이미지)이 사용자의 손에 의해 선택될 수 있다. 사용자 장치(120)는 손의 움직임을 사용자 입력 정보로서 인식하고, 이동 제어 정보를 기반으로 사용자에 의해 선택된 특정 방향에 대응되는 사용자 제공 영상이 사용자에게 제공될 수 있다.
또한, 사용자는 사용자 장치(120)를 통해 제공되는 사용자 제공 영상 상에서 사용자 인터페이스(거래)를 통해 구매하고자 하는 상품을 선택하고 구매할 수 있다. 예를 들어, 사용자 제공 영상 상에서 구매하고자 하는 상품이 손으로 선택될 수 있다. 이러한 경우, 사용자 장치(120)는 사용자 인터페이스(거래)를 통해 손의 움직임을 사용자 입력 정보로서 인식하고, 거래 제어 정보를 기반으로 사용자에 의해 선택된 상품에 대한 정보(가격, 원산지 등)를 제공하고, 상품 구매 절차를 진행할 수 있다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치의 동작을 나타낸 개념도이다.
도 2에서는 영상 처리 장치의 영상 생성 동작이 개시된다. 예를 들어, 영상 처리 장치는 전방향 영상 처리 장치이고, 생성되는 영상은 전방향 영상일 수 있다.
도 2를 참조하면, 영상 처리 장치(200)는 매장 내의 상품에 대한 정보를 촬상할 수 있다.
관리자 또는 이동 장치는 영상 처리 장치(200)를 매장 내에서 이동시킬 수 있고, 영상 처리 장치는 매장 내의 360도 영상을 촬상하여 매장 영상을 생성할 수 있다. 본 발명의 실시예에 따른 영상 처리 장치(200)는 웨어러블 360도 영상 촬상 장치일 수 있고, 영상 처리 장치(200)를 착용한 관리자가 매장 내를 이동하면서 매장 영상을 생성할 수도 있다. 즉, 영상 처리 장치(200)는 매장의 다양한 경로를 이동할 수 있고, 매대에 놓인 상품을 촬상하여 매장 영상을 생성할 수 있다.
영상 처리 장치(200)의 이동 경로는 다양하게 설정될 수 있다. 예를 들어, 매장 내 지도 정보가 입력되고, 매장 내 지도 정보에 따라 영상 처리 장치(200)가 이동할 수 있다. 매장 내 지도 정보는 매장 내의 이동 경로 및 매장 내의 상품의 위치(또는 매장 내 위치 별 상품에 대한 정보)를 포함할 수 있다.
매장 내 지도 정보를 기반으로 영상 처리 장치(200)의 이동 경로가 결정될 수 있다. 영상 처리 장치(200)의 이동 경로는 매장 내의 모든 경로를 포함하되, 중첩되는 경로가 최소가 되도록 결정될 수 있다. 또한 영상 처리 장치(200)의 이동 경로는 영상 처리 장치(200)의 촬상 가능 거리를 추가적으로 고려하여 결정될 수 있다. 또한, 영상 처리 장치(200)의 이동 속도는 매장 내 이동 경로 내에 상품이 존재하는지 여부를 기반으로 결정될 수 있다. 이동 경로 내에 상품이 존재하지 않는 경우, 영상 처리 장치(200)의 이동 속도는 상대적으로 작을 수 있고, 이동 경로 내에 상품이 존재하는 경우, 영상 처리 장치(200)의 이동 속도는 상대적으로 클 수 있다.
영상 처리 장치(200)의 이동 경로에 대한 정보 및 중첩되는 경로에 대한 정보는 상품 거래 서비스 서버로 전달될 수 있다. 상품 거래 서비스 서버는 중첩되는 경로에 대한 영상을 제거하고, 영상 처리 장치(200)의 이동 경로에 대한 정보를 기반으로 매장 영상을 분할할 수 있다.
전술한 바와 같이 영상 처리 장치(200)에 의해 생성되는 매장 영상은 가상 영상일 수 있다. 가상 영상은 가상의 매장 공간에 가상 매대를 배치하고, 가상 매대 상에 가상 상품을 배치시켜 생성될 수 있다. 영상 처리 장치(200)는 설정된 가상의 매장 공간, 가상 매대, 가상 상품의 위치를 고려하여 가상의 매장 공간 내부의 경로를 결정하고, 매장 내 경로를 고려하여 가상 매장 영상을 생성할 수도 있다.
도 3은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 3에서는 수신한 매장 영상을 기반으로 사용자 제공 영상을 생성하기 위한 상품 거래 서비스 서버의 동작이 개시된다.
상품 거래 서비스 서버는 영상 처리 장치로부터 매장 영상에 대한 정보를 수신할 수 있다. 매장 영상은 전방향 영상(또는 360도 영상)일 수 있다. 또한, 상품 거래 서비스 서버는 영상 처리 장치로부터 매장 영상이 촬상된 위치 정보, 매장 내 지도 정보도 수신할 수 있다.
도 3의 상단을 참조하면, 상품 거래 서비스 서버는 매장 영상 정보, 매장 영상 촬상 위치 정보, 매장 내 지도 정보를 기반으로 불필요하게 복수번 촬영된 영역을 결정할 수 있다. 상품 거래 서비스 서버는 복수번 촬영된 영역에 대응되는 복수개의 매장 영상 중 하나의 매장 영상을 선택하거나 복수개의 매장 영상을 조합하여 하나의 매장 영상을 생성할 수도 있다.
예를 들어, 영상 처리 장치가 상품 촬상을 위해 매장 내 이동 경로 중 과일 매대가 위치한 이동 경로를 복수번 이동할 수 있다. 예를 들어, 첫번째 이동을 기반으로 제1 매장 영상(310)이 생성되고, 두번째 이동을 기반으로 제2 매장 영상(320)이 생성되고, 세번째 이동을 기반으로 제3 매장 영상(330)이 생성될 수 있다. 이러한 경우, 상품 거래 서비스 서버는 과일 영역에 대한 복수개의 매장 영상 중 하나의 매장 영상(예를 들어, 제1 매장 영상(310))만을 사용자 제공 영상으로 결정하고 나머지 매장 영상(예를 들어, 제2 매장 영상(320), 제3 매장 영상(320))을 제거할 수 있다. 또는 제1 매장 영상(310), 제2 매장 영상(320) 및 제3 매장 영상(320)을 조합하여 하나의 사용자 제공 영상을 생성할 수 있다.
도 3의 하단을 참조하면, 상품 거래 서비스 서버는 매장 내 경로별로 매장 영상을 분할할 수 있다. 예를 들어, 분기점에서 제1 경로(350), 제2 경로(360) 및 제3 경로(370)로 경로가 분할되는 경우, 상품 거래 서비스 서버는 제1 경로(350)에 대한 매장 영상을 제1 사용자 제공 영상(355), 제2 경로(360)에 대한 매장 영상을 제2 사용자 제공 영상(365), 제3 경로(370)에 대한 매장 영상을 제3 사용자 제공 영상(375)으로 생성할 수 있다. 즉, 경로별 매장 영상에 대한 매칭을 기반으로 선택된 경로별 사용자 제공 영상이 생성될 수 있다.
즉, 상품 거래 서비스 서버는 매장 영상 정보, 매장 영상 촬상 위치 정보, 매장 내 지도 정보를 기반으로 불필요하게 복수번 촬영된 영역에 대한 편집을 수행하고, 매장 내 경로별로 매장 영상을 분할하여 사용자 제공 영상을 생성할 수 있다.
상품 거래 서비스 서버는 생성된 사용자 제공 영상을 기반으로 이동 제어 정보 및 거래 제어 정보를 생성할 수 있다. 도 4 및 도 5에서는 생성된 사용자 제공 영상을 기반으로 이동 제어 정보 및 거래 제어 정보를 생성하는 상품 거래 서비스 서버의 동작이 개시된다.
도 4는 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 4에서는 사용자 제공 영상을 기반으로 이동 제어 정보를 생성하는 방법이 개시된다. 이동 제어 정보는 사용자 인터페이스(이동)을 통해 입력되는 사용자 입력 정보에 대응되는 사용자 제공 영상을 제공하기 위한 제어 정보일 수 있다.
상품 거래 서비스 서버는 경로별로 사용자 제공 영상을 매칭하기 위한 이동 제어 정보를 생성할 수 있다. 이동 제어 정보를 기반으로 사용자 인터페이스(이동)을 통해 입력되는 입력 정보에 따라 사용자 제공 영상이 사용자 장치를 통해 제공될 수 있다.
도 4의 상단을 참조하면, 매장 내의 이동 경로가 분기점(400)을 기준으로 복수의 경로로 분기되는 경우, 분기점(400)을 기준으로 각 경로에 맞는 사용자 제공 영상을 매칭하기 위한 이동 제어 정보가 생성될 수 있다.
분기점(400)을 기준으로 제1 경로(410), 제2 경로(420) 및 제3 경로(430)가 존재하는 경우가 가정될 수 있다. 사용자 제공 영상은 제1 경로(410)에 대한 제1 사용자 제공 영상(415), 제2 경로(420)에 대한 제2 사용자 제공 영상(425) 및 제3 경로(430)에 대한 제3 사용자 제공 영상(435)으로 매칭될 수 있다. 이동 제어 정보는 경로별로 사용자 제공 영상을 매칭하기 위한 정보를 포함할 수 있다.
제1 사용자 제공 영상(415)은 제1 경로(410)를 통해 영상 처리 장치의 이동시 촬상된 전방향 영상이고, 제2 사용자 제공 영상(425)은 제2 경로(420)를 통해 영상 처리 장치의 이동시 촬상된 전방향 영상이고, 제3 사용자 제공 영상(435)은 제3 경로(430)를 통해 영상 처리 장치의 이동시 촬상된 전방향 영상일 수 있다.
분기점(400) 상에서 사용자 인터페이스(이동)을 제공하기 위한 이동 제어 정보도 생성될 수 있다.
도 4의 하단을 참조하면, 사용자 인터페이스(이동)이 제공되는 분기점(450)은 경로가 분할되지 않은 경우에도 설정될 수 있다. 동일한 경로 상에 서로 다른 위치에 상품이 위치하는 경우, 분기점(450)을 기준으로 경로가 설정되어 이동 제어 정보가 설정될 수 있다. 즉, 분기점은 사용자 인터페이스(이동)이 출력되도록 설정된 위치일 수도 있다. 분기점은 일정 위치(거리 간격)으로 설정될 수도 있고, 상품의 위치를 고려하여 설정될 수도 있다.
예를 들어, 분기점(450)을 기준으로 제1' 경로(좌측 경로)(460) 상에 제1' 제품(예를 들어, 과일)을 판매하는 매대가 위치하고, 제2' 경로(우측 경로)(470) 상에 제2' 제품(예를 들어, 야채)를 판매하는 매대가 위치하고, 주경로 방향의 제3' 경로(직선 경로)(480) 상에 제3' 제품(예를 들어, 유제품)을 판매하는 매대가 위치할 수 있다.
이러한 경우, 제1 제품에 대한 구체적인 확인을 위해 제1' 경로(460)로 이동하는 제1' 사용자 제공 영상(465)이 매칭되고, 제2 제품에 대한 구체적인 확인을 위해 제2' 경로(470)로 다가가는 제2' 사용자 제공 영상(475)이 매칭되고, 제3 제품에 대한 구체적인 확인을 위해 제3' 경로(480)로 다가가는 제3' 사용자 제공 영상(485)이 매칭되고 매칭에 대한 정보가 이동 제어 정보로서 생성될 수 있다.
상품 거래 서비스 서버는 각 경로별로 경로명을 설정할 수 있고, 사용자의 입력 정보에 따라 출력할 경로별 사용자 제공 영상을 매칭할 수 있다. 예를 들어, 제1 경로로 이동시 과일을 전시한 매대가 나오는 경우, 제1 경로의 경로명을 과일로 설정하고, 제1사용자 제공 영상과 제1 경로를 지시하는 사용자 인터페이스의 입력 정보(좌측 방향 지시자)를 매칭하기 위한 이동 제어 정보가 생성될 수 있다. 마찬가지로, 제2 경로로 이동시 유제품을 전시한 매대가 나오는 경우, 제2 경로의 경로명을 유제품으로 설정하고, 제2 사용자 제공 영상과 제2 경로를 지시하는 사용자 인터페이스의 입력 정보(직진 방향 지시자)를 매칭하기 위한 이동 제어 정보가 생성될 수 있다. 제3 경로로 이동시 야채를 전시한 매대가 나오는 경우, 제3 경로의 경로명을 야채로 설정하고, 제3 사용자 제공 영상과 제3 경로를 지시하는 사용자 인터페이스의 입력 정보(오른쪽 방향 지시자)를 매칭하기 위한 제어 정보가 생성될 수 있다.
설정된 경로명 정보는 사용자 인터페이스의 입력 버튼 상에 출력될 수 있다.
예를 들어, 과일 매대 쪽으로 바로 이동하고 싶은 사용자는 상품 구매 장치의 화면 상에서 '과일'이라고 표시된 사용자 인터페이스의 입력 버튼(과일)을 누를 수 있다. 입력 버튼(과일)에 대응되는 입력 정보가 입력되고, 입력 버튼(과일)에 대응되는 입력 정보에 매칭되는 사용자 제공 영상이 사용자 장치 상에서 출력될 수 있다.
도 5는 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 5에서는 사용자 제공 영상을 기반으로 이동 제어 정보를 생성하는 방법이 개시된다. 특히, 사용자가 원하는 상품 또는 상품 카테고리로 바로 이동하기 위한 이동 제어 정보를 생성하기 위한 방법이 개시된다.
사용자 입력 정보와 사용자 제공 영상 간의 매칭을 기반으로 사용자가 사용자 인터페이스(이동)(500) 상에서 특정한 사용자 입력 정보를 입력한 경우, 사용자 입력 정보에 매칭되는 사용자 제공 영상이 출력될 수 있다. 사용자 입력 정보는 사용자가 구매하기를 원하는 상품, 상품에 대한 카테고리 정보일 수 있다.
상품 거래 서비스 서버는 사용자 제공 영상에 대한 객체 분석을 통해 어떠한 경로 상의 어떠한 위치에 어떠한 상품이 판매되고 있는지에 대한 정보를 이동 제어 정보로서 생성할 수 있다. 예를 들어, 상품 거래 서비스 서버는 딸기가 제1 경로, 제3 지점에 위치하는 것으로 결정하고, 이동 제어 정보로서 관리할 수 있다.
또한, 상품 거래 서비스 서버는 사용자 제공 영상에 대한 객체 분석을 통해 어떠한 경로상의 어떠한 위치에 어떠한 카테고리의 상품들이 판매되고 있는지에 대한 정보를 이동 제어 정보로서 생성할 수 있다. 예를 들어, 특정 위치에 우유, 치즈, 요구르트 등의 상품이 위치한 경우, 상품 거래 서비스 서버는 해당 위치에 유제품 카테고리에 해당하는 상품들이 위치하고 판매되고 있다고 결정할 수 있다. 상품 거래 서비스 서버는 유제품 카테고리, 과일 카테고리 등이 어떠한 경로, 어떠한 지점에 위치하는지 여부를 결정하고, 이동 제어 정보로서 관리할 수 있다.
사용자 인터페이스(이동)(500)을 통해 구매하고자 하는 상품 또는 상품 카테고리(예를 들어, 유제품(520))를 입력할 수 있고, 이동 제어 정보를 기반으로 입력된 상품 또는 상품 카테고리(예를 들어, 유제품(520))에 대응되는 위치의 사용자 제공 영상(유제품)(540)이 바로 출력될 수 있다.
도 6은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 6에서는 사용자 제공 영상을 기반으로 거래 제어 정보를 생성하는 방법이 개시된다. 거래 제어 정보는 사용자 인터페이스(거래)을 통해 입력되는 사용자 입력 정보에 대응되는 사용자 제공 영상을 제공하기 위한 제어 정보일 수 있다.
도 6을 참조하면, 상품 거래 서비스 서버는 상품 정보 제공, 상품 선택, 상품 거래를 위한 거래 제어 정보를 생성할 수 있다. 거래 제어 정보를 기반으로 사용자 인터페이스(거래)(600)을 통해 입력되는 입력 정보에 따라 사용자 제공 영상이 사용자 장치를 통해 제공될 수 있다. 사용자 인터페이스(거래)(600)는 상품의 위치와 사용자의 가상 매장 공간 상의 가상 이동으로 결정된 가상 위치 간의 거리가 임계 거리 이하인 경우 제공될 수도 있다.
사용자 제공 영상 상에서 상품의 이미지가 객체 정보로서 추출될 수 있다. 예를 들어, 사용자 제공 영상에 상품으로서 판매되는 오렌지, 수박, 딸기 등이 포함된 경우가 가정될 수 있다.
상품 거래 서비스 서버는 사용자 제공 영상 내의 개별 객체 각각의 객체 이미지 정보(예를 들어, 오렌지, 수박, 딸기 등의 이미지 정보))를 추출할 수 있다. 추출된 객체 이미지 정보는 영상 분석을 통해 상품 정보와 매칭될 수 있다.
예를 들어, 상품 거래 서비스 서버는 오렌지에 대한 객체 이미지 정보를 추출하고, 오렌지의 객체 이미지 정보와 대응되는 상품이 무엇인지 여부를 결정할 수 있다. 상품 거래 서비스 서버에는 특정 상품(예를 들어, 오렌지)에 대한 기준 이미지가 등록되어 있을 수 있다. 입력된 객체 이미지 정보(예를 들어, 추출된 오렌지의 이미지)와 가장 유사도가 높은 기준 이미지(예를 들어, 등록된 오렌지의 기준 이미지)를 가지는 상품(예를 들어, 오렌지)이 입력된 객체 이미지와 대응되는 상품으로 결정될 수 있다. 즉, 영상 분석을 통해 객체 이미지 정보와 대응되는 상품이 '오렌지'로 결정될 수 있다.
상품 거래 서비스 서버는 오렌지에 대한 상품 정보(가격, 원산지, 세일 여부 등)와 오렌지의 객체 이미지 정보를 매칭시킬 수 있다. 오렌지의 객체 이미지 정보와 매칭된 상품 정보가 이미지 정보로 표현되어 사용자 제공 영상 상에 출력될 수 있다.
또는 본 발명의 실시예에 따르면, 상품 거래 서비스 서버는 사용자 제공 영상 내의 개별 객체 각각의 객체 정보로서 객체 인근에 위치한 객체와 연관된 객체 연관 정보(예를 들어, 객체 설명 텍스트(또는 카드, 표지판, 설명판), 객체 관련 QR(quick response) 코드 등))를 추출할 수 있다. 상품 거래 서비스 서버에 의해 추출된 객체 연관 정보는 영상 분석을 통해 상품 정보와 매칭될 수 있다. 예를 들어, 상품 거래 서비스 서버는 객체 연관 정보로서 오렌지 주변에 위치한 '캘리포니아 오렌지 개당 XXXX원'과 같은 텍스트 또는 오렌지 연관 QR 코드에 대한 이미지 정보를 추출할 수 있다. 객체 연관 정보는 객체 연관 정보의 추출 위치와 가장 인접한 객체(또는 객체 이미지)와 매칭될 수 있다.
이후 상품 거래 서비스 서버는 객체 연관 정보와 대응되는 상품을 결정할 수 있다. 상품 거래 서비스 서버에는 객체 연관 정보와 대응되는 특정 상품(예를 들어, 오렌지)에 대한 상품 정보(가격, 원산지, 세일 여부 등)를 객체 연관 정보(및/또는 객체 정보, 객체 연관 정보)와 매칭시켜 특정 상품에 대한 상품 정보를 사용자에게 제공할 수 있다. 예를 들어, 특정 상품(예를 들어, 오렌지)의 객체 연관 정보(또는 객체 이미지 정보)와 매칭된 상품 정보가 이미지 정보로서 표현되어 사용자 제공 영상 상에 출력될 수 있다.
본 발명의 실시예에 따르면, 추가적으로 위치 정보가 고려되어 추출된 객체 이미지 정보와 상품 정보가 매칭될 수 있다. 상품 거래 서비스 서버는 영상 처리 장치로부터 매장 영상 촬상 위치 정보 및 매장 내 지도 정보를 수신하고, 사용자 제공 영상 내의 상품이 무엇인지 여부를 결정할 수 있다. 전술한 바와 같이 매장 내 지도 정보는 매장 내의 이동 경로 및 매장 내의 상품의 위치(또는 매장 내 위치 별 상품에 대한 정보)를 포함할 수 있다.
예를 들어, 사용자 제공 영상이 제1 장소에서 촬상되고, 사용자 제공 영상에서 제1 방향에 제1 상품에 대한 객체 이미지, 제2 방향에 제2 상품에 대한 객체 이미지가 포함된 경우가 가정될 수 있다. 매장 내 지도 정보를 기반으로 제1 장소의 제1 방향에 위치한 제1 상품이 무엇인지가 결정될 수 있고, 매장 내 지도 정보를 기반으로 제1 장소의 제2 방향에 위치한 제2 상품이 무엇인지가 결정될 수 있다. 즉, 별다른 영상 분석 없이 촬상 위치 정보 및 촬상 방향 정보만으로 추출된 객체 이미지 정보와 매칭될 상품 정보가 결정될 수 있다.
또는 본 발명의 실시예에 따르면, 사용자 제공 영상이 제1 장소에서 촬상된 경우, 제1 장소에 위치한 상품(예를 들어, 오렌지, 딸기, 수박 등)이 우선적으로 결정될 수 있고, 제1 장소에 위치한 상품(예를 들어, 오렌지, 딸기, 수박 등) 중 객체 이미지 정보와 대응되는 상품(예를 들어, 딸기)이 무엇인지 여부를 결정할 수 있다.
또는 본 발명의 실시예에 따르면, 상품 거래 서비스 서버는 사용자 제공 영상 내의 개별 객체 각각의 객체 식별 정보를 처리하여 상품 정보와 매칭시킬 수 있다. 예를 들어, 영상 처리 장치는 매장 영상을 수집하면서 매장 내 위치한 상품의 위치 정보(상품 위치 정보)와 상품들에 대한 식별 정보(상품 식별 정보)를 추가적으로 수집할 수 있다. 매장 내 위치한 상품의 위치 정보와 상품들에 대한 식별 정보는 매장에 위치하거나 상품 주변에 위치한 별도의 통신 모듈에 의해 영상 처리 장치로 전송될 수 있다. 상품 위치 정보는 상품의 매장 내에서의 구체적인 위치에 대한 정보(예를 들어, A 지역, 제1 매대 3층 3열)를 포함할 수 있고, 상품 식별 정보는 상품을 식별할 수 있는 정보(예를 들어, 오렌지에 대한 식별 코드:1010101)를 포함할 수 있다. 상품 위치 정보와 상품 식별 정보는 하나의 그룹화된 정보일 수 있다. 또는 상품 식별 정보가 상품에 대한 위치 정보도 포함할 수도 있다. 이하, 본 발명의 실시예에서는 설명의 편의상 상품 위치 정보와 상품 식별 정보를 별도의 정보로 구분하여 개시한다.
예를 들어, 상품 거래 서비스 서버는 통신 모듈에 의해 전송된 상품 위치 정보 및 상품 식별 정보와 촬상된 매장 영상 정보 및 매장 지도 정보를 추가적으로 고려하여 사용자 제공 영상 내의 상품을 식별하고 상품 정보를 매칭시킬 수 있다.
우선 상품 거래 서비스 서버는 매장 지도 정보를 기반으로 촬상된 매장 영상 정보가 매장 내 어떠한 위치(예를 들어, A 지역)에서 촬상되었는지를 결정할 수 있다. 상품 거래 서비스 서버는 매장 내 촬상 위치(예를 들어, A 지역)에서 촬상된 매장 영상 내에 포함되는 객체 이미지와 상품 위치 정보(예를 들어, A 지역, 제1 매대 3층 3열) 및 상품 식별 정보(예를 들어, 오렌지에 대한 식별 코드:1010101)를 매칭시킬 수 있다. 구체적으로 상품 거래 서비스 서버는 매장 영상에 대한 영상 분석을 수행하여 매장 영상 내의 객체의 상품 위치(예를 들어, 제1 매대 3층 3열)를 판단할 수 있다. 상품 거래 서비스 서버는 객체의 상품 위치와 매칭되는 (상품 위치 정보 및 상품 식별 정보)를 기반으로 제1 매대 3층 3열에 위치한 객체 A를 오렌지로 인식할 수 있다. 이후 상품 거래 서비스 서버는 인식된 매장 내 객체에 대한 상품 정보를 사용자에게 제공할 수 있다.
도 6에서 개시된 방법은 사용자 제공 영상에서 상품 정보를 제공하기 위해 단독 또는 조합으로 사용될 수 있다.
도 7은 본 발명의 실시예에 따른 상품 거래 서비스 서버의 동작을 나타낸 개념도이다.
도 7에서는 이동 제어 정보 및 거래 제어 정보를 기반으로 한 사용자의 상품 구매 절차가 개시된다.
사용자가 사용자 인터페이스(이동)을 통해 매장 내에서 가상 이동을 수행하고, 사용자 인터페이스(거래)를 통해 상품을 선택하고 거래하기 위한 절차가 개시된다. 사용자 인터페이스(이동) 및 사용자 인터페이스(거래)는 사용자의 손의 동작을 입력 정보로서 인식하는 사용자 인터페이스로 가정된다. 하지만, 사용자의 손의 동작이 아닌 다른 다양한 포맷의 입력 정보가 사용자 입력 정보로서 사용될 수 있다.
도 7을 참조하면, 사용자는 사용자 장치를 통해 사용자 제공 영상을 제공받을 수 있다.
예를 들어, 사용자 장치는 HMD(head mounted display)일 수 있다. 또한, 사용자 장치는 사용자의 손 동작을 인식하여 사용자의 손 동작을 입력 정보로서 변화시킬 수 있다.
도 7의 상단을 참조하면, 사용자는 사용자 인터페이스(이동)(700)을 통해 매장 내를 가상으로 움직일 수 있다. 예를 들어, 사용자는 실제 매장 입구를 통해 매장으로 들어와서 상품을 구매하는 것과 마찬가지로 사용자 인터페이스(이동)(700)을 통해 원하는 상품을 가상으로 쇼핑할 수 있다. 사용자 인터페이스(이동)(700) 상에 표시된 이동 지시자(예를 들어, 화살표)를 사용자의 손으로 선택할 수 있고, 선택된 이동 지시자에 따른 사용자 제공 영상이 사용자 장치를 통해 제공될 수 있다.
사용자는 사용자 인터페이스(이동)(700)을 통해 구매를 원하는 상품으로 바로 이동할 수도 있다. 예를 들어, 사용자가 딸기를 사고자 하는 경우, 사용자는 사용자 인터페이스(이동)(700) 상에 '과일'을 입력하거나 사용자 인터페이스(이동)(700)을 통해 '과일'을 선택할 수 있다. 이러한 경우, 과일 판매 매대에 대응되는 사용자 제공 영상이 사용자 장치로 제공될 수 있다.
사용자는 사용자 제공 영상 상에 표시되는 상품을 손을 움직여서 선택할 수 있다. 사용자의 손의 움직임이 특정한 상품 이미지를 선택하는 경우, 사용자 인터페이스(거래)(750)는 사용자의 손의 움직임을 입력 정보로서 인식하고, 상품 이미지에 매칭된 상품 정보를 출력할 수 있다. 예를 들어, 사용자가 물건을 집는 손의 움직임을 수행한 손의 위치와 특정한 상품 이미지의 위치가 일치되는 경우, 사용자 인터페이스(거래)(750)는 사용자의 손의 움직임을 입력 정보로서 인식하고, 상품 이미지에 매칭된 상품 정보를 출력할 수 있다.
사용자 인터페이스(거래)(750)는 사용자로부터 상품을 구매할지 여부에 대한 사용자 입력 정보를 입력받을 수 있다. 사용자가 상품에 대한 구매를 원하는 경우, 사용자 인터페이스(거래)(750)를 통해 구매하고자 하는 수량에 대한 정보가 입력될 수 있고, 구매된 상품은 사용자의 가상 장바구니에 보관될 수 있다.
사용자가 매장 내에서 상품의 선택을 마친 경우, 사용자 인터페이스(거래)(750)를 통해 장바구니에 모인 상품에 대한 결제를 수행할 수 있다. 사용자는 사용자 인터페이스(거래)(750)를 통해 결제 정보(카드 번호 등)을 입력하고, 상품 서비스 서버는 결제 정보를 기반으로 상품에 대한 거래를 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 상품 거래 서비스의 동작을 나타낸 개념도이다.
도 8에서는 가상 매장 공간 내의 상품의 위치를 적응적으로 배열하기 위한 방법이 개시된다.
도 8을 참조하면, 사용자 특성 정보(사용자의 구매 성향/사용자의 구매 기록에 대한 정보)(800)에 따라 상품의 배열 위치가 적응적으로 조정될 수 있다.
예를 들어, 사용자 특성 정보(800)는 사용자의 구매 기록 정보를 포함할 수 있고, 사용자의 구매 기록 정보는 사용자가 이전에 구매한 상품들에 대한 정보를 포함할 수 있다.
구매 기록 정보가 과일 및 유제품류를 포함하는 경우가 가정될 수 있다. 이러한 경우, 과일 판매 매대 및 유제품 판매 매대로 먼저 이동할 수 있도록 과일 판매 매대 및 유제품 판매 매대가 매장 입구에 배치될 수 있도록 가상 매장 내 매장의 위치 및 이동 경로가 조정될 수 있다.
즉, 가상 공간 상에 사용자에 의해 관심이 있을 것이라고 예상되는 상품들의 매대가 우선적으로 배치되고, 사용자가 사용자 장치를 통해 가상 공간으로 입장한 경우, 가상 공간 상에 상품이 사용자의 상품에 대한 관심도를 고려하여 배치될 수 있다. 상품에 대한 사용자의 관심도는 사용자의 이전 구매 기록, 사용자의 성별, 사용자의 나이 등을 고려하여 결정될 수 있다. 이러한 방법을 통해 사용자에게 제공되는 사용자 제공 영상 상에서 사용자의 입장 이후 사용자의 관심 물품이 먼저 사용자에게 보일 수 있다.
또는 본 발명의 실시예에 따르면, 사용자에게 관심이 있을 것이라고 예상되는 상품들의 위치로 바로 이동하기 위한 사용자 인터페이스(이동)가 별도로 제공될 수도 있다. 예를 들어, 사용자가 이전에 구매했던 상품의 위치로 바로 이동할 수 있도록 상품 이미지가 사용자 인터페이스(이동)을 통해 제공될 수 있다. 사용자에 의해 사용자 인터페이스(이동) 상에서 상품 이미지가 선택되는 경우, 상품 이미지에 대응되는 사용자 제공 영상이 바로 제공될 수 있다. 사용자는 바로 제공된 사용자 제공 영상에서 상품을 선택하고 구매 절차를 진행할 수 있다.
이하, 본 발명의 실시예에서는 매장 영상을 생성하기 위해 사용되는 영상 처리 장치가 예시적으로 개시된다. 아래에 개시되는 영상 처리 장치는 하나의 예시이고 다른 다양한 형태의 영상 처리 장치가 매장 영상을 생성하기 위해 활용될 수 있다.
도 9는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 9에서는 전방향 영상 처리 장치의 구조가 개시된다.
도 9를 참조하면, 전방향 영상 처리 장치(900)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(900)는 도 9에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(900)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(900)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.
본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(900)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(900)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(900)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.
사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(900)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.
전방향 영상 처리 장치(900)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(900)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.
예를 들어, 전방향 영상 처리 장치(900)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(910), 영상 촬상부2(920), 영상 촬상부3(930)일 수 있다.
이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(900)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(900)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.
영상 촬상부1(910), 영상 촬상부2(920) 및 영상 촬상부3(930)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(910)에 의해 영상1이 생성되고, 영상 촬상부2(920)에 의해 영상2가 생성되고, 영상 촬상부3(930)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(910), 영상 촬상부2(920), 영상 촬상부3(930) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(900)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(900)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(900) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.
이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 10에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.
도 10의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.
전방향 영상 처리 장치에 포함된 영상 촬상부1(1010) 및 영상 촬상부2(1020)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(1010) 및 영상 촬상부2(1020)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(1010) 및 영상 촬상부2(1020)가 일정 거리 상에 위치할 수 있다.
영상 촬상부1(1010)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(1020)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(1010)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(1020)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.
영상 촬상부1(1010) 및 영상 촬상부2(1020)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(1015)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.
도 10의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.
전방향 영상 처리 장치의 전면부에는 영상 촬상부3(1030)이 위치할 수 있다. 구체적으로 영상 촬상부3(1030)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(1030)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.
영상 촬상부3(1030)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.
구체적으로 영상 촬상부3(1030)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(1030)에 의한 촬상이 수행될 경우, 영상 촬상부1(1010)의 제1 화각과 영상 촬상부3(1030)의 제3 화각에 의한 제2 중첩 영역(1025)이 발생할 수 있다. 영상 촬상부3(1030)에 의한 촬상이 수행될 경우, 영상 촬상부2(1020)의 제2 화각과 영상 촬상부3(1030)의 제3 화각에 의한 제3 중첩 영역(1035)이 발생할 수 있다.
목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(1010), 영상 촬상부2(1020)는 지면을 기준으로 영상 촬상부3(1030)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(1030)은 한쪽 말단부에만 위치하게 된다.
기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(1015), 제2 중첩 영역(1025) 및 제3 중첩 영역(1035)의 크기/형태가 서로 다를 수 있다.
이후, 제1 중첩 영역(1015)/제2 중첩 영역(1025)/제3 중첩 영역(1035)을 고려한 영상 촬상부1(1010), 영상 촬상부2(1020) 및 영상 촬상부3(1030) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.
제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 11은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 11에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.
기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.
본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.
도 11에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.
도 11의 상단은 영상 촬상부1(1110) 및 영상 촬상부2(1120)의 촬상선을 개시한다.
영상 촬상부1(1110) 및 영상 촬상부2(1120)는 영상 촬상부3(1130)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(1110) 및 영상 촬상부2(1120)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(1130)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.
예를 들어, 영상 촬상부1(1110)의 촬상선1(1115)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(1120)의 촬상선2(1125)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 11의 하단을 참조하면, 영상 촬상부3(1130)의 촬상선3(1135)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(1130)의 촬상선3(1135)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.
즉, 촬상선1(1115) 및 촬상선2(1125)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(1135)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 11에서 개시된 촬상선1(1115), 촬상선2(1125) 및 촬상선3(1135)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.
도 12는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 12에서는 도 11과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 12에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.
도 12의 상단은 영상 촬상부1(1210) 및 영상 촬상부2(1220)의 촬상선을 개시한다.
영상 촬상부1(1210) 및 영상 촬상부2(1220)는 영상 촬상부3(1230)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(1210) 및 영상 촬상부2(1220)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(1230)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.
예를 들어, 영상 촬상부1(1210)의 촬상선1(1215)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(1220)의 촬상선2(1215)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 12의 하단은 영상 촬상부3(1230)의 촬상선을 개시한다.
영상 촬상부3(1230)의 촬상선3(1235)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
영상 촬상부3(1230)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.
즉, 촬상선1(1215) 및 촬상선2(1225)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(1235)은 Y 축을 기준으로 촬상선1(1215) 및 촬상선2(1225) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(1215) 및 촬상선2(1225)는 XZ 평면과 평행하나, 촬상선3(1235)은 XZ 평면과 평행하지 않을 수 있다.
본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.
즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 영상 기반의 거래 방법은,
    상품 거래 서비스 서버가 영상 처리 장치로부터 매장 영상 정보를 수신하는 단계;
    상기 상품 거래 서비스 서버가 상기 매장 영상 정보를 기반으로 사용자 제공 정보를 생성하는 단계; 및
    상기 상품 거래 서비스 서버가 상기 사용자 제공 정보를 사용자 장치로 전송하는 단계를 포함하되,
    상기 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함하고,
    상기 사용자 제공 영상 정보는 상기 영상 처리 장치의 이동 경로 및 상기 이동 경로의 중첩을 고려하여 상기 매장 영상 정보에 대한 후처리를 통해 생성되고,
    상기 제어 정보는 이동 제어 정보 및 거래 제어 정보를 포함하고,
    상기 이동 제어 정보는 상기 사용자 제공 영상 정보를 기반으로 출력되는 가상 매장 공간 상에서 사용자의 가상 이동을 위한 제어 정보를 포함하고,
    상기 거래 제어 정보는 상기 가상 매장 공간 상에 위치한 상품에 대한 거래를 위한 제어 정보를 포함하고,
    상기 상품 거래 서비스 서버는 상기 이동 제어 정보의 생성을 위한 분기점을 결정하되,
    상기 영상 처리 장치는 전방향 영상의 생성을 위한 복수의 영상을 생성하도록 구현된 복수의 영상 촬상부를 포함하고,
    상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고,
    상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선이고,
    상기 복수의 촬상선 중 적어도 하나의 촬상선과 xyz 좌표축 공간 상의 xz 평면과의 각도와 상기 복수의 촬상선 중 상기 적어도 하나의 촬상선을 제외한 나머지 촬상선과 상기 xz 평면과의 각도가 다르고,
    상기 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부의 위치는 상기 복수의 영상 촬상부 중 상기 적어도 하나의 영상 촬상부를 제외한 나머지 영상 촬상부의 위치보다 상기 xyz 좌표축 공간 상의 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 이동 제어 정보는 상기 사용자 장치 상에 사용자 인터페이스(이동)을 출력하고, 상기 사용자 인터페이스(이동)로 입력되는 사용자 입력 정보에 대응되는 사용자 제공 영상 정보를 출력하고,
    상기 거래 제어 정보는 상기 사용자 장치 상에 사용자 인터페이스(거래)를 출력하고, 상기 사용자 인터페이스(거래)로 입력되는 사용자 입력 정보에 대응되는 상품 정보를 제공하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 사용자 인터페이스(이동)은 설정된 상기 분기점 상에서 출력되고,
    상기 사용자 인터페이스(거래)는 상기 상품의 위치와 상기 가상 이동으로 결정된 가상 위치 간의 거리가 임계 거리 이하인 경우 제공되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 매장 영상 정보는 상기 영상 처리 장치에 의해 촬상된 매장에 대한 전방향 영상이고,
    상기 사용자 장치는 상기 전방향 영상에 대한 출력이 가능하고, 사용자의 손의 움직임을 상기 사용자 입력 정보로서 인식하는 것을 특징으로 하는 방법.
  5. 삭제
  6. 영상 기반의 거래를 위한 상품 거래 서비스 서버는,
    영상 처리 장치 및 사용자 장치와 데이터 통신을 위한 통신부; 및
    상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
    상기 프로세서는 상기 영상 처리 장치로부터 매장 영상 정보를 수신하고,
    상기 매장 영상 정보를 기반으로 사용자 제공 정보를 생성하고,
    상기 사용자 제공 정보를 사용자 장치로 전송하도록 구현되되,
    상기 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함하고,
    상기 사용자 제공 영상 정보는 상기 영상 처리 장치의 이동 경로 및 상기 이동 경로의 중첩을 고려하여 상기 매장 영상 정보에 대한 후처리를 통해 생성되고,
    상기 제어 정보는 이동 제어 정보 및 거래 제어 정보를 포함하고,
    상기 이동 제어 정보는 상기 사용자 제공 영상 정보를 기반으로 출력되는 가상 매장 공간 상에서 사용자의 가상 이동을 위한 제어 정보를 포함하고,
    상기 거래 제어 정보는 상기 가상 매장 공간 상에 위치한 상품에 대한 거래를 위한 제어 정보를 포함하고,
    상기 상품 거래 서비스 서버는 상기 이동 제어 정보의 생성을 위한 분기점을 결정하되,
    상기 영상 처리 장치는 전방향 영상의 생성을 위한 복수의 영상을 생성하도록 구현된 복수의 영상 촬상부를 포함하고,
    상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고,
    상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선이고,
    상기 복수의 촬상선 중 적어도 하나의 촬상선과 xyz 좌표축 공간 상의 xz 평면과의 각도와 상기 복수의 촬상선 중 상기 적어도 하나의 촬상선을 제외한 나머지 촬상선과 상기 xz 평면과의 각도가 다르고,
    상기 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부의 위치는 상기 복수의 영상 촬상부 중 상기 적어도 하나의 영상 촬상부를 제외한 나머지 영상 촬상부의 위치보다 상기 xyz 좌표축 공간 상의 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 상품 거래 서비스 서버.
  7. 제6항에 있어서,
    상기 이동 제어 정보는 상기 사용자 장치 상에 사용자 인터페이스(이동)을 출력하고, 상기 사용자 인터페이스(이동)로 입력되는 사용자 입력 정보에 대응되는 사용자 제공 영상 정보를 출력하고,
    상기 거래 제어 정보는 상기 사용자 장치 상에 사용자 인터페이스(거래)를 출력하고, 상기 사용자 인터페이스(거래)로 입력되는 사용자 입력 정보에 대응되는 상품 정보를 제공하는 것을 특징으로 하는 상품 거래 서비스 서버.
  8. 제7항에 있어서,
    상기 사용자 인터페이스(이동)은 설정된 상기 분기점 상에서 출력되고,
    상기 사용자 인터페이스(거래)는 상기 상품의 위치와 상기 가상 이동으로 결정된 가상 위치 간의 거리가 임계 거리 이하인 경우 제공되는 것을 특징으로 하는 상품 거래 서비스 서버.
  9. 제8항에 있어서,
    상기 매장 영상 정보는 상기 영상 처리 장치에 의해 촬상된 매장에 대한 전방향 영상이고,
    상기 사용자 장치는 상기 전방향 영상에 대한 출력이 가능하고, 사용자의 손의 움직임을 상기 사용자 입력 정보로서 인식하는 것을 특징으로 하는 상품 거래 서비스 서버.
  10. 삭제
  11. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020170045614A 2017-03-31 2017-04-08 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치 KR101843335B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/497,101 US20210118229A1 (en) 2017-03-31 2017-06-19 Image-based transaction method and device for performing method
CN201780088845.2A CN110462666A (zh) 2017-03-31 2017-06-19 基于图像的交易方法及执行这种方法的装置
JP2019551592A JP2020511725A (ja) 2017-03-31 2017-06-19 画像基盤の取引方法およびこのような方法を遂行する装置
PCT/KR2017/006421 WO2018182092A1 (ko) 2017-03-31 2017-06-19 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
EP17903250.3A EP3605428A4 (en) 2017-03-31 2017-06-19 IMAGE-BASED TRANSACTION METHOD AND DEVICE FOR IMPLEMENTING THE METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170041324 2017-03-31
KR20170041324 2017-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031286A Division KR102206133B1 (ko) 2017-03-31 2018-03-19 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
KR101843335B1 true KR101843335B1 (ko) 2018-03-29

Family

ID=61907154

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170045614A KR101843335B1 (ko) 2017-03-31 2017-04-08 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
KR1020180031286A KR102206133B1 (ko) 2017-03-31 2018-03-19 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180031286A KR102206133B1 (ko) 2017-03-31 2018-03-19 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Country Status (6)

Country Link
US (1) US20210118229A1 (ko)
EP (1) EP3605428A4 (ko)
JP (1) JP2020511725A (ko)
KR (2) KR101843335B1 (ko)
CN (1) CN110462666A (ko)
WO (1) WO2018182092A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치
WO2020054898A1 (ko) * 2018-08-09 2020-03-19 링크플로우 주식회사 영상 공유 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102336264B1 (ko) * 2019-07-03 2021-12-09 인하대학교 산학협력단 매장 내 자동 결제 방법, 시스템 및 프로그램
KR102148379B1 (ko) * 2019-07-24 2020-08-26 신용강 원격 의류매장 서비스 방법
KR102181648B1 (ko) * 2020-08-20 2020-11-24 신용강 원격 의류매장 플랫폼 제공 방법 및 장치
JP7445708B2 (ja) 2022-06-29 2024-03-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715828B1 (ko) * 2016-08-24 2017-03-14 주식회사 팝스라인 단말 및 그의 제어 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133008A1 (en) * 1999-02-02 2003-07-17 Stanley W. Stephenson Wearable panoramic imager
AU2001239518A1 (en) * 2000-03-10 2001-09-24 Richfx Ltd. Natural user interface for virtual reality shopping systems
JP2001256364A (ja) * 2000-03-13 2001-09-21 Kenichi Omae 購買端末、記録媒体、購買方法、販売サーバ及び販売方法
KR100367183B1 (ko) * 2000-04-25 2003-01-09 이젠펌 주식회사 인터넷 쇼핑몰 구성 및 서비스 방법
JP2003030469A (ja) * 2001-07-16 2003-01-31 Ricoh Co Ltd 仮想現実空間を利用したバーチャルデパートによる商品販売システム、商品販売システム、プログラム、及び記録媒体
KR20040011056A (ko) * 2002-07-27 2004-02-05 (주)샵에프엔 3차원 가상현실 쇼핑몰 운영 시스템 및 상품 배치방법
JP2007122248A (ja) * 2005-10-26 2007-05-17 D Net:Kk 電子ショッピングシステム
US8370207B2 (en) * 2006-12-30 2013-02-05 Red Dot Square Solutions Limited Virtual reality system including smart objects
KR20090041192A (ko) * 2007-10-23 2009-04-28 에스케이 텔레콤주식회사 가상의 쇼핑 공간을 제공하는 방법, 시스템 및 서버
WO2012118925A1 (en) * 2011-03-01 2012-09-07 The Procter & Gamble Company Displaying data for a physical retail environment on a virtual illustration of the physical retail environment
JP2012190094A (ja) * 2011-03-09 2012-10-04 Sony Corp サーバ装置、情報処理方法及びプログラム
US9836747B2 (en) * 2011-06-21 2017-12-05 Simon Borrero System and method for shopping goods, virtualizing a personalized storefront
US20140095349A1 (en) * 2012-09-14 2014-04-03 James L. Mabrey System and Method for Facilitating Social E-Commerce
KR20150022064A (ko) * 2013-08-21 2015-03-04 (주)인스페이스 미러월드 기반 인터랙티브 온라인 쇼핑몰 제품의 판매 지원 시스템
JP2015170266A (ja) * 2014-03-10 2015-09-28 株式会社ゼンリンデータコム 施設内案内システム、施設内案内サーバー装置、施設内案内方法および施設内案内プログラム
KR20170031722A (ko) * 2014-07-07 2017-03-21 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 방법
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
TWI540522B (zh) * 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101613287B1 (ko) * 2015-06-15 2016-04-19 김영덕 3d 파노라마 영상을 근거로 한 여행지 원스톱 쇼핑 시스템 및 그의 제어 방법
KR101613278B1 (ko) * 2015-08-18 2016-04-19 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR20170027135A (ko) * 2015-09-01 2017-03-09 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715828B1 (ko) * 2016-08-24 2017-03-14 주식회사 팝스라인 단말 및 그의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치
WO2020054898A1 (ko) * 2018-08-09 2020-03-19 링크플로우 주식회사 영상 공유 방법 및 장치

Also Published As

Publication number Publication date
US20210118229A1 (en) 2021-04-22
CN110462666A (zh) 2019-11-15
KR102206133B1 (ko) 2021-01-22
EP3605428A1 (en) 2020-02-05
WO2018182092A1 (ko) 2018-10-04
KR20180111536A (ko) 2018-10-11
EP3605428A4 (en) 2020-04-15
JP2020511725A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
KR101843335B1 (ko) 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
US11270260B2 (en) Systems and methods for deep learning-based shopper tracking
US10127438B1 (en) Predicting inventory events using semantic diffing
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
US10133933B1 (en) Item put and take detection using image recognition
US20210158053A1 (en) Constructing shopper carts using video surveillance
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US10410253B2 (en) Systems and methods for dynamic digital signage based on measured customer behaviors through video analytics
US9589433B1 (en) Self-checkout anti-theft device
KR20190072562A (ko) 주문 정보 결정 방법 및 장치
CA3072056A1 (en) Subject identification and tracking using image recognition
CN107507017A (zh) 一种线下导购方法和装置
US20160203499A1 (en) Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
CN112639862A (zh) 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法
WO2019038965A1 (ja) 店舗装置、店舗管理方法、プログラム
JP2006350751A (ja) 店舗内の販売分析装置及びその方法
US20230027382A1 (en) Information processing system
CN110322262B (zh) 门店信息处理方法、装置及门店系统
JP2019139321A (ja) 顧客行動分析システムおよび顧客行動分析方法
JP6886537B1 (ja) 顧客情報収集端末、顧客情報収集システム及び顧客情報収集方法
JP2023153148A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US20170300927A1 (en) System and method for monitoring display unit compliance
EP3474184A1 (en) Device for detecting the interaction of users with products arranged on a stand or display rack of a store
CN114967922A (zh) 信息展示方法、装置、电子设备及存储介质
US20230130735A1 (en) Real-time risk tracking

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant