KR20220163929A - 냉각 캐비닛용 스마트 이동식 클로저 시스템 - Google Patents

냉각 캐비닛용 스마트 이동식 클로저 시스템 Download PDF

Info

Publication number
KR20220163929A
KR20220163929A KR1020227024558A KR20227024558A KR20220163929A KR 20220163929 A KR20220163929 A KR 20220163929A KR 1020227024558 A KR1020227024558 A KR 1020227024558A KR 20227024558 A KR20227024558 A KR 20227024558A KR 20220163929 A KR20220163929 A KR 20220163929A
Authority
KR
South Korea
Prior art keywords
product
display
retail
customer
controller
Prior art date
Application number
KR1020227024558A
Other languages
English (en)
Inventor
아르센 아바키안
로버트 이. 드레이븐스토트
Original Assignee
쿨러 스크린스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/741,581 external-priority patent/US11698219B2/en
Priority claimed from US15/931,971 external-priority patent/US11768030B2/en
Application filed by 쿨러 스크린스 인크. filed Critical 쿨러 스크린스 인크.
Publication of KR20220163929A publication Critical patent/KR20220163929A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F3/00—Show cases or show cabinets
    • A47F3/04—Show cases or show cabinets air-conditioned, refrigerated
    • A47F3/0478—Control or safety arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F11/00—Arrangements in shop windows, shop floors or show cases
    • A47F11/06—Means for bringing about special optical effects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F3/00—Show cases or show cabinets
    • A47F3/04—Show cases or show cabinets air-conditioned, refrigerated
    • A47F3/0404—Cases or cabinets of the closed type
    • A47F3/0426—Details
    • A47F3/043—Doors, covers

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Thermal Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Freezers Or Refrigerated Showcases (AREA)
  • Display Racks (AREA)

Abstract

캐비닛의 외부에서 내부로 접근할 수 있게 해주는 스마트 이동형 폐쇄 시스템을 공개한다. 일부 실시예에서, 예를 들어, 소매 환경에서 상하기 쉬운 소비재를 저장할 수 있도록 외부 캐비닛의 주변 온도보다 더 서늘한 온도를 유지하도록 조정된 캐비닛 내부와 이러한 이동형 구조가 결합될 수 있다. 특히, 스마트 이동형 폐쇄 시스템에는 소매 제품 용기에 저장되는 하나 이상의 제품에 상응하는 그래픽 렌더링을 표시하는 전자 구성품이 있을 수 있다. 또한 스마트 이동형 폐쇄 시스템에는 폐쇄 시스템 내 제품의 재고 현황을 판단하고 그러한 재고 현황을 기준으로 그래픽 렌더링을 제어하는 컨트롤러가 있을 수 있다.

Description

냉각 캐비닛용 스마트 이동식 클로저 시스템
관련 출원에 대한 교차 참조
첫째, 본 출원은 2020년 1월 13일에 출원된 미국 특허 출원 일련번호 16/741,581(대리인 참조 번호 009036.00007)의 일부계속출원으로서, 2019년 12월 17일에 출원되어 WO2020/131881으로서 발행된 국제 특허 출원 일련번호 PCT/US2019/066869(대리인 참조 번호 009036.00009)의 우선일의 이익을 주장하는 일부계속출원이며, 2018년 12월 17일에 출원되어 2019년 4월 25일에 미국 특허 출원 발행 번호 US2019/0122263으로서 발행된 미국 특허 출원 일련번호 16/222,643의 우선일의 이익을 주장하는 일부계속출원이다. 둘째, 본 출원은 2020년 5월 14일에 출원된 미국 특허 출원 일련번호 15/931,971(대리인 참조 번호 009036.00013)의 우선일의 이익을 주장하는 일부계속출원으로서, 2020년 1월 13일에 출원된 미국 특허 출원 16/741,581(대리인 참조 번호 009036.00007)의 우선일의 이익을 주장하는 일부계속출원이며, 2019년 12월 17일에 출원되어 WO2020/131881으로서 발행된 국제 특허 출원 일련번호 PCT/US2019/066869(대리인 참조 번호 009036.00009)의 우선일의 이익을 주장하는 일부계속출원이고, 2018년 12월 17일에 출원되어 2019년 4월 25일에 미국 특허 출원 발행 번호 US2019/0122263으로서 발행된 미국 특허 출원 일련번호 16/222,643의 우선일의 이익을 주장하는 일부계속출원이다. 또한 2020년 1월 13일에 출원된 미국 특허 출원 16/741,581(대리인 참조 번호 009036.00007)도 2018년 8월 9일에 출원되어 2019년 2월 14일에 WO2019/032893으로서 발행된 국제 특허 출원 번호 PCT/US2018/046103의 우선일의 이익을 주장하는 일부계속출원으로서, 2017년 8월 10일에 출원된 미국 특허 출원 일련번호 15/674,198의 우선일의 이익을 주장하는 일부계속출원이다. 또한 2020년 1일 13일에 출원된 미국 특허 출원 16/741,581(대리인 참조 번호 009036.00007)도 2017년 8월 10일에 출원된 미국 특허 출원 일련번호 15/674,198의 우선일의 이익을 주장하는 일부계속특허출원이다. 그리고 전술한 모든 출원은 인용함으로써 그 전부가 여기에 통합된다.
캐비닛의 외부에서 내부로 접근할 수 있게 해주는 스마트 이동형 폐쇄 시스템을 공개한다. 일부 실시예에서는, 예를 들어, 소매 환경에서 상하기 쉬운 소비재를 저장할 수 있도록 외부 캐비닛의 주변 온도보다 더 서늘한 온도를 유지하도록 조정된 캐비닛 내부와 이러한 이동형 구조가 결합될 수 있다. 특히, 스마트 이동형 폐쇄 시스템에는 소매 제품 용기에 저장되는 하나 이상의 제품에 상응하는 그래픽 렌더링을 표시하는 전자 구성품이 있을 수 있다.
점점 더 많은 사람들이 물품을 온라인으로 구매하고 있지만, 오프라인 소매 판매(예: 냉각 시스템을 통해 제공됨)는 여전히 상당한 비중을 차지하고 실제로 식품점, 약국, 편의점과 같은 특정 시장 분야에서 성장하고 있다. 오프라인 점포에서 이루어지는 쇼핑의 75% 이상이 충동 구매이다. 연구에 따르면, 충동적인 의사결정은 점포내 메시지전달(in-store messaging)에 의해 크게 영향을 받고 점포내 충동적인 쇼핑 대부분은 냉각기 및 냉동기와 같은 소매 제품 용기에서 발생한다. 그 결과, 소매 제품 용기를 활용한 충동 쇼핑 행태에 대한 개입은 포장된 소비재 브랜드와 소매업자에게 엄청난 가치 창출의 기회를 줄 수 있다.
다음의 요약은 일부 특징을 간략하게 단순화한 것이다. 이 요약은 광범위한 개요가 아니며, 핵심 또는 중요 요소를 파악하려는 목적이 아니다. 하나 이상의 컴퓨터로 구성된 시스템은 작동 중에 작업 수행을 유발하거나 시스템으로 하여금 작업을 수행하게 하는 소프트웨어, 펌웨어, 하드웨어 또는 그 조합이 설치되어 있어, 특정 작동이나 작업을 수행하도록 구성할 수 있다. 하나 이상의 컴퓨터 프로그램은 데이터 처리 장치로 실행될 때 장치로 하여금 작업을 수행하게 하는 명령어가 있어, 특정 작동이나 작업을 수행하도록 구성할 수 있다. 외부 캐비닛 주변 온도보다 더 서늘한(또는 더 따뜻한) 온도를 유지하도록 조정된 캐비닛(또는 기타 외함)이 필요한 소매(또는 소매 이외) 환경에서 설치하도록 구성된 스마트 이동형 폐쇄 시스템이 보편적인 한 가지 양상이다. 시스템에는 일부 사례의 경우 이동형 도어로 인해 내부 저장공간을 볼 수 없다면 소매 환경에서 상하기 쉬운 구매용 품목을 저장하는 소매 제품 용기의 내부 저장 공간이 있다. 또한 시스템에는 이동형 도어에 부착되는 디스플레이 장치도 있는데, 이 경우 최소한 내부 저장 공간의 상품진열도를 표시하도록 디스플레이 장치가 구성된다. 상품진열도에는 하나 이상 제품의 재고소진을 표시하는 메시지나 그래픽을 명시할 수 있다. 시스템에는 소매 제품 용기의 내부 저장 공간에 대한 하나 이상의 이미지를 캡처하도록 이동형 도어에 설치되는 광학 센서(예: 카메라)도 있을 수 있다. 시스템에는 통신을 통해 디스플레이 장치에 연결되는 컨트롤러도 있을 수 있다. 시스템에는 내부 저장 공간에 대해 입력된 상품진열도 매핑과 복수의 제품에 대한 설명을 저장할 수 있는 데이터 저장소도 있으며, 이 설명에는 하나 이상의 복수의 제품의 모양, 색상 및/또는 치수를 표시할 수 있다. 시스템에는 일부 사례의 경우 소매 제품 용기 인근에 하나 이상의 프로세스도 설치할 수 있다. 시스템에는 하나 이상의 프로세서로 실행될 때 하나 이상의 프로세서로 하여금 본 출원에서 공개된 하나 이상의 단계를 수행하게 하는 컴퓨터 판독가능 명령어를 저장하는 메모리도 있다. 예를 들어 방법 절차는 광학 센서에 의해 캡처되는 하나 이상의 이미지를 합성 이미지로 후처리하는 단계; 합성 이미지, 입력된 상품진열도 매핑, 복수의 제품에 대한 설명을 기준으로 소매 제품 용기 내 복수의 제품 중 한 가지 제품의 재고 현황을 판단하는 단계; 판단된 재고 현황을 기준으로 디스플레이 장치에 표시할 광고를 판단하는 단계(이 경우 광고는 제품의 재고 현황이 재고소진일 때 재고소진 표시자를 포함할 수 있음); 디스플레이 장치에 표시할 광고를 컨트롤러에게 전송하는 단계를 포함할 수 있다. 시스템에 의해 실행되는 전술한 방법으로 하나 이상의 그 외 단계(또는 다른 단계)를 수행할 수 있다. 이러한 양상의 다른 실시예로서, 상응하는 컴퓨터 시스템, 장치, 그리고 하나 이상의 컴퓨터 저장 장치에 기록되는 컴퓨터 프로그램 등으로서, 각자는 방법들의 작업을 수행할 수 있도록 구성된다.
일부 구현은 다음 특징 중 하나 이상을 포함할 수 있다. 스마트 이동형 폐쇄 시스템의 입력된 상품진열도 매핑에는 제품에 대한 표시 및 제품의 지정 위치에 대한 표시가 있을 수 있다. 제품의 재고 현황 판단에는 합성 이미지를 기준으로 하여 지정 위치에서 탐지되는 제품이 없다는 판단이 포함될 수 있다. 일부 사례의 경우 안쪽으로 향하고 있는 광학 센서는 이동형 도어의 작동 동안 복수의 이미지를 캡처하도록 구성할 수 있으며, 이 경우 이동형 도어의 개방 및 폐쇄가 작동에 포함될 수 있다. 시스템에는 하나 이상의 프로세서로 실행될 때 하나 이상의 프로세서로 하여금 제품이 소매 제품 용기에 없다는 것을 표시하는 메시지를 컴퓨팅 장치에 전송하게 하는 재고 추적기가 있을 수 있다. 제품의 재고 현황 판단에는 합성 이미지를 기준으로 소매 제품 용기에 저장되는 제품의 표시, 그리고 저장 제품의 위치, 저장 제품의 모양, 저장 제품의 색상, 저장 제품의 치수 및 그 조합 중에서 최소 하나를 선정하는 추가 판단이 포함될 수 있다. 제품의 재고 현황 판단에는 다음 중에서 선정된 최소 하나를 기준으로 소매 제품 용기에 해당 제품이 있다는 판단이 포함될 수 있다: 저장된 제품의 위치가 지정 위치와 대응한다는 판단; 저장된 제품의 모양이 설명에 명시된 제품 모양과 대응한다는 판단; 저장된 제품의 색상이 설명에 명시된 제품 색상과 대응한다는 판단; 저장된 제품의 치수가 설명에 명시된 제품 치수와 대응한다는 판단; 그리고 그 조합. 제품의 재고 현황 판단에는 다음 중에서 선정된 최소 하나를 기준으로 소매 제품 용기의 지정 위치에 다른 제품이 있다는 판단이 포함될 수 있다: 다른 제품의 모양이 설명에 명시된 제품 모양과 대응하지 않는다는 판단; 다른 제품의 색상이 설명에 명시된 제품 색상과 대응하지 않는다는 판단; 혹은 다른 제품의 치수가 설명에 명시된 제품 치수와 대응하지 않는다는 판단. 제품의 재고 현황 판단에는 소매 제품 용기에 있는 제품 수량 판단이 포함될 수 있다. 스마트 이동형 폐쇄 시스템에는 컴퓨팅 장치로부터 입력된 상품진열도 매핑 수신이 있을 수 있다. 일부 사례의 경우 데이터 저장소가 소매 환경에 위치해 있을 수 있고, 이동형 도어의 작동(예: 개방, 폐쇄 등)을 기준으로 하나 이상의 이미지가 캡처된다. 일부 사례의 경우 광고에는 제품과 관련된 삽화가 있을 수 있다. 광고에는 복수의의 제품과 관련된 삽화가 포함될 수 있는 상품진열도가 있을 수 있다. 일부 사례의 경우 광고에는 다른 제품과 관련된 삽화가 있을 수 있다. 설명된 기법의 구현에는 컴퓨터로 액세스 가능한 매체의 하드웨어, 방법이나 프로세스 또는 컴퓨터 소프트웨어가 포함될 수 있다.
내부 저장 공간이 있을 수 있는 소매 제품 용기의 이동형 도어에 부착된 디스플레이 스크린에 광고 콘텐츠를 생성하는 방법이 보편적인 한 가지 양상이다. 방법에는 내부 저장 공간의 상품진열도 매핑 판단과 복수의 제품에 대한 설명도 있을 수 있고, 이 설명에는 복수의 제품 각각의 모양, 색상 및/또는 치수를 표시할 수 있다. 방법에는 이동형 도어에(예: 위, 안 또는 주변에) 설치되는 광학 센서에 의해 캡처되는 하나 이상의 이미지를 합성 이미지로 후처리하는 것도 있다. 방법에는 (i) 합성 이미지, (ii) 상품진열도 매핑, (iii) 복수의 제품에 대한 설명을 기준으로 복수의 제품 중에서 소매 제품 용기 내 특정 제품의 재고 현황을 판단하는 것도 있다. 방법에는 판단된 재고 현황을 기준으로 디스플레이 스크린에 표시할 광고를 판단하는 것도 있을 수 있다. 방법에는 디스플레이 스크린에 표시할 광고를 전송하는 것도 있다. 이러한 양상의 다른 실시예로서, 상응하는 컴퓨터 시스템, 장치, 그리고 하나 이상의 컴퓨터 저장 장치에 기록되는 컴퓨터 프로그램 등이 있으며, 각각은 방법의 작업을 수행하도록 구성된다.
내부 저장 공간이 있는 소매 제품 용기를 포함할 수 있는 냉각 시스템의 컴퓨터 플랫폼도 보편적인 한 가지 양상이다. 컴퓨터 플랫폼에는 하나 이상의 프로세서도 있다. 플랫폼에는 하나 이상의 프로세서로 실행될 때 하나 이상의 프로세서로 하여금 내부 저장 공간의 상품진열도 매핑과 복수의 제품에 대한 설명(설명에는 복수의 제품 각각의 모양, 색상 및/또는 치수가 표시될 수 있음)을 판단하고; 이동형 도어에 설치되는 광학 센서에 의해 캡처되는 하나 이상의 이미지를 합성 이미지로 후처리하며; 합성 이미지, 입력된 상품진열도 매핑, 복수의 제품에 대한 설명을 기준으로 소매 제품 용기 내 복수의 제품 중에서 특정 제품의 재고 현황을 판단하고; 판단된 재고 현황을 기준으로 디스플레이 스크린에 표시할 광고를 판단하며; 디스플레이 스크린에 표시할 광고를 전송하게 하는 컴퓨터 실행가능 명령어를 저장하는 메모리도 있다. 이러한 양상의 다른 실시예로서, 상응하는 컴퓨터 시스템, 장치, 그리고 하나 이상의 컴퓨터 저장 장치에 기록되는 컴퓨터 프로그램 등이 있으며, 각각은 방법의 작업을 수행하도록 구성된다.
구현은 다음 특징 중 하나 이상을 포함할 수 있다. 냉각 시스템의 컴퓨팅 플랫폼은 내부 저장 공간이 있는 소매 제품 용기, 내부 저장 공간을 볼 수 없게 하는 이동형 도어, 이동형 도어에 부착되는 디스플레이, 이동형 도어에 부착되는 광학 센서로 구성할 수 있다. 일부 사례의 경우 디스플레이는 최소한 내부 저장 공간의 상품진열도를 표시하도록 구성한다. 상품진열도 매핑에는 제품에 대한 표시 및/또는 제품의 지정 위치에 대한 표시 중 하나 이상이 있을 수 있다. 제품의 재고 현황 판단에는 합성 이미지와 복수의 제품 설명에 기반한 신뢰 점수 계산 및/또는 신뢰 점수가 임계값 미만일 때 내부 저장 공간에서 제품이 재고소진 상태라는 판단 중 한 가지 이상이 있을 수 있다. 설명된 기법의 구현에는 컴퓨터로 액세스 가능한 매체의 하드웨어, 방법이나 프로세스 또는 컴퓨터 소프트웨어가 포함될 수 있다. 이러한 것과 그 외 특징 및 이점에 대한 설명은 아래에 자세히 나와 있다.
다음의 요약은 일부 특징을 간략하게 단순화한 것이다. 이 요약은 광범위한 개요가 아니며, 핵심 또는 중요 요소를 파악하려는 목적이 아니다. 여기에서 공개되는 한 가지 실시예에서, 컴퓨팅 플랫폼은 하나 이상의 소매 제품 용기, 그리고 냉각 시스템 내 하나 이상 소매 제품 용기의 디스플레이에 서로 다른 광고를 표시하는 컨트롤러를 구성한다. 각 소매 제품 용기에는 하나 이상의 소매 제품을 비축하는 용도의 내부 저장 공간, 도어에 부착된 디스플레이(스크린), 그리고 소매 제품 용기 인근에서 1명 이상의 고객이 있음을 탐지하는 용도의 고객 탐지기가 있을 수 있다. 컨트롤러는 예를 들어 1명 이상의 고객이 볼 수 있도록 광고를 표시하기 위해 통신 채널(예: 무선 채널)로 각 소매 제품 용기와 통신한다. 예를 들어 컨트롤러는 디스플레이에 풀 스크린 광고를 표시할 것을 소매 제품 용기에 명령하도록 구성할 수 있다. 풀 스크린 광고를 표시하는 것은 기본값 절차이거나, 고객 탐지기로 동작(예: 고객의 동작)이나 인간 형상이 탐지되지 않을 때 발생할 수 있다. 미리 지정된 거리 내에서 동작(예: 고객의 동작)이나 인간 형상이 탐지된 후 컨트롤러는 풀 스크린 광고를 종료하고 내부 저장 공간에 있는 제품의 상품진열도를 표시할 것을 소매 제품 용기에 명령할 수 있다.
다른 양상으로, 소매 제품 용기의 고객 탐지기에는 하나 이상의 카메라와 근접 센서가 있을 수 있다. 하나 이상의 카메라와 근접 센서는 소매 제품 용기의 도어 전면에 배치할 수 있다.
다른 양상으로, 고객이 용기 도어와 충분히 가까이에 있는 것으로 탐지되는 경우 초청 표시가 용기의 디스플레이에 나타날 수 있다. 예를 들어 상품진열도 중앙에서 큐알(QR) 코드가 생성될 수 있다. 탐지되는 고객은 초청에 응답하여 참여하고자 하는 경우 무선기기를 통해 QR 코드를 스캔할 수 있다. 고객이 참여할 때 컴퓨팅 플랫폼은 모바일 앱을 통해 고객과 상호작용할 수 있다. 일부 사례의 경우 QR 코드 대신 혹은 QR 코드에 추가하여, QR 코드 이외의 이미지(예: 기계가 탐지할 수 있는 워터마크가 있는 이미지), 블루투스(또는 그 외 단거리 무선 프로토콜) 비콘 또는 기타 메커니즘을 제공하여 고객에게 초청을 표시할 수 있다.
다른 양상으로, 고객이 용기의 디스플레이에 표시되는 초청에 응답하여 참여하는 경우 모바일 앱을 통해 획득된 고객 정보에 따라 맞춤식 광고가 나타날 수 있다. 맞춤식 광고는 소매 제품 용기에 비축된 하나 이상의 제품에 대한 개개인의 요구에 맞춘 가격을 표시할 수 있다.
다른 양상으로, 고객이 초청에 응답하여 참여하지 않는 경우 컴퓨터 플랫폼은 보편적인 정보(예: 기상 상태, 기상 예보, 현재 또는 향후 이벤트)를 기준으로 광고(예: 배너 광고, 현장 판촉행사, 핫 스폿)가 삽입된 상품진열도를 계속 생성할 수 있다.
다른 양상으로, 컴퓨팅 플랫폼은 소매 제품 용기와 관련이 있는 일련의 광고(예: 클라우드 컴퓨팅 서비스를 통해 얻은 것)를 다운로드할 수 있다. 또한 컴퓨팅 플랫폼은 다운로드된 광고 중 하나를 소매 제품 용기의 디스플레이에 표시할 수 있다. 소매 제품 용기에 비축된 제품 유형을 기준으로 일련의 광고를 다운로드할 수 있다. 용기 식별 또는 소매 제품 용기에서 나타나는 재고 정보를 토대로 하여 제품 유형을 판단할 수 있다.
다른 양상으로, 컴퓨팅 플랫폼은 용기와 인접한 기상 상태, 날짜 및/또는 용기와 인접해 있는 고객에 대한 특성을 아우를 수 있는 일련의 규칙을 기준으로 소매 제품 용기의 디스플레이에 표시할 광고를 판단할 수 있다. 예를 들어 고객이 음료 용기 근처에 20초간 서 있고, 바깥이 98도이며, 날짜가 7월 4일 직전인 것을 기준으로 하여 제시할 광고를 선택할 수 있다.
다른 양상으로, 컴퓨팅 플랫폼은 소매 제품 용기의 디스플레이에 표시할 광고의 효과 척도를 판단할 수 있다. 예를 들어 컴퓨팅 플랫폼은 고객이 소매 제품 용기의 지정 거리 내에 있는지 및/또는 미리 지정된 수 이상의 고객이 제시된 광고를 시청하고 있는지를 탐지할 수 있다.
다른 양상으로, 컴퓨팅 플랫폼은 제품 수준에서 목표가 설정된 광고를 생성할 수 있다. 예를 들면 고객 탐지기는 고객이 소매 제품 용기의 상품진열도에 나타나는 특정 광고를 시청하고 있다는 것을 탐지할 수 있다.
다른 양상으로, 첫 번째 소매 제품 용기에 나타나는 광고는 두 번째 소매 제품 용기에 비축된 제품 판매를 촉진할 수 있다. 예를 들어 컴퓨팅 플랫폼은 고객이 고객 정보를 기준으로 첫 번째 소매 제품 용기에서 쇼핑한 후 두 번째 소매 제품 용기에서 쇼핑할 것이라고 예측할 수 있다.
전술한 요약과 전형적인 실시예에 대한 다음의 상세한 설명은, 청구되는 발명에 대하여 국한하지 말고, 사례로서 포함되어 있는 첨부 도면과 연계하여 읽을 때 더욱 잘 이해할 수 있다.
도 1a, 도 1b, 도 1c(통칭 “도 1”이라 함)는 하나 이상의 실시예에 따른 하나 이상의 소매 제품 용기를 지원하는 컴퓨팅 플랫폼의 실시예를 보여준다.
도 2는 구현에 따른 소매 제품 용기의 도어 전면을 보여준다.
도 3은 구현에 따른 소매 제품 용기의 도어 후면을 보여준다.
도 4는 구현에 따른 소매 제품 용기를 보여준다.
도 5a 및 도 5b(통칭 “도 5”라 함)는 하나 이상의 구현에 따른 소매 제품 용기의 도어 부분을 보여준다. 구체적으로 말하자면 도 5a는 소매 제품 용기의 도어 부분의 단면적을 보여주고, 도 5b는 구현에 따른 소매 제품 용기의 도어 부분을 보여준다.
도 6은 구현에 따른 소매 제품 용기의 도어에 부착되는 카메라 배치 사례를 보여준다.
도 7은 구현에 따른 도어 개방 시 다양한 각도에서 소매 제품 용기의 도면을 보여준다.
도 8은 구현에 따른 소매 제품 용기의 디스플레이 스크린에 표시할 수 있는 다양한 유형의 광고를 보여준다.
도 9는 구현에 따른 소매 제품 용기의 내부 저장 공간에 대한 상품진열도 매핑과 다른 제품에 대한 설명을 보여준다.
도 10은 구현에 따른 제품의 지정 재고 현황을 기준으로 소매 제품 용기의 디스플레이 스크린에 표시할 수 있는 다양한 광고를 보여준다.
도 11은 구현에 따른 하나 이상의 소매 제품 용기를 지원하는 광고형 컴퓨터 시스템을 보여준다.
도 12는 구현에 따른 하나 이상의 소매 제품 용기를 지원하는 에지 컴퓨팅 장치를 보여준다.
도 13은 구현에 따른 광고형 시스템을 구성하는 플로우차트를 보여준다.
도 14는 구현에 따른 소매 제품 용기의 스크린에서 광고를 생성하는 플로우차트를 보여준다.
도 15는 구현에 따른 일련의 규칙을 통해 선정되는 광고를 표시하는 플로우차트를 보여준다.
도 16은 구현에 따른 표시되는 광고의 효과 수준을 판단하는 플로우차트를 보여준다.
도 17은 구현에 따른 제품 수준에서 목표가 설정된 광고를 생성하는 플로우차트를 보여준다.
도 18은 구현에 따른 두 번째 소매 제품 용기에 비축된 제품에 대해 첫 번째 소매 제품 용기에서 광고를 표시하는 플로우차트를 보여준다.
도 19는 구현에 따른 소매 제품 용기와 관련된 디스플레이 스크린에서 광고를 판단하고 표시하는 플로우차트를 보여준다.
도 20는 구현에 따른 소매 제품 용기와 관련된 디스플레이 스크린에서 광고를 판단하고 표시하는 플로우차트를 보여준다.
일부 구현의 양상에 따라, 스마트 이동형 폐쇄 시스템을 공개한다. 일부 실시예의 경우 시스템은 캐비닛의 내부 또는 외부의 이미지 및/또는 기타 매체(예: 오디오, 비디오, 적외선 데이터 등의 매체)를 캡처하는 전자 구성품을 구성할 수 있다. 또한 일부 실시예의 경우 시스템은 특히 캐비닛에 저장되는 하나 이상의 제품에 해당하는 그래픽 렌더링 또는 기타 시각적 출력을 표시하는 전자 구성품을 구성할 수 있다. 캐비닛은 예를 들어 소매 환경에서 상하기 쉬운 소비재를 저장할 수 있도록 외부 캐비닛의 주변 온도보다 더 서늘한 온도를 유지하도록 조정할 수 있다. 따라서 소매 제품 용기는 소매 환경에서 사용자와 접하는 시스템을 제공할 수 있다.
컴퓨팅 플랫폼은 소매 제품 용기 근처에 있는 고객에 대한 정보, 소매 제품 용기에 비축된 하나 이상의 제품, 소매 제품 용기 외부의 보편적인 정보를 기준으로 냉각 시스템의 소매 제품 용기에 표시할 콘텐츠를 생성한다. 일부 실시예의 양상에 따라, 컴퓨팅 플랫폼은 하나 이상의 소매 제품 용기에서 선정되는 광고를 생성할 수 있다. 소매 제품 용기에는 하나 이상의 제품을 비축하는 용도의 내부 저장 공간, 용기의 도어에 부착되는 디스플레이, 그리고 소매 제품 용기 인근에서 고객이 있음을 탐지하는 용도의 고객 탐지기가 있다. 실시예에서, 고객이 소매 제품 용기로부터 미리 지정된 거리 내에 위치해 있음이 탐지될 때는 용기의 디스플레이에 초청 표시자가 나타난다. 고객이 참여할 때는 모바일 앱을 통해 구할 수 있는 고객 정보에 따라 맞춤식 광고가 나타날 수 있다. 맞춤식 광고에는 소매 제품 용기에 비축된 하나 이상의 제품에 대한 개개인의 요구에 맞춘 가격도 있을 수 있다. 실시예에서, 소매 제품 용기에 비축된 제품의 재고 현황을 기준으로 광고를 표시할 수 있다. 예를 들어 용기의 디스플레이는 용기 내에서 제품을 더 이상 구할 수 없다는 것을 탐지하여 재고소진 표시자를 표시할 수 있다.
냉각기는 가장 많이 간과되고, 덜 중요한 것으로 인지되며, 기술적 복잡성이 가장 적은 것 중 하나이면서 소매 환경 운영에 있어 가장 힘든 분야 중 하나일 수 있다. 전통적인 소매 제품 용기(예: 냉각기, 냉동기, 자동판매기 등)는 유리 패널이나 도어를 구성할 수 있으며, 고객은 이를 통해 소매 제품 용기에 저장된 제품을 보고 구매할 수 있다. 그러나 저장된 제품이 깔끔하게 전시되지 않고 다른 제품으로 가로막혀 있을 수 있어, 고객이 어떤 제품을 구매할 수 있는지 확인하기가 어려울 수 있다. 또한 매장 직원은 종종 거기에 저장된 제품의 외관을 유지하거나, 재고를 지속적으로 추적하거나, 판촉 태그와 기타 디스플레이(가격 및 판촉과 관련한 디스플레이)를 설치 및 교체하여 해당 물품을 최신 상태로 유지해야 할 수 있다.
위에서 설명한 소매 제품 용기에 대한 이러한 전통적 접근법으로 인해, 식품점 내 냉각기와 냉장고는 브랜드가 효과적인 “현장” 광고와 판촉을 실시하기 어려운 구역일 수 있다. 브랜드는 소매점과 편의점의 냉각기/냉동기 및/또는 냉장고 선반에 비치되는 제품을 판촉하기 위해 보통 그 외 광고 매체(예: 인쇄물, 광고판, 온라인 광고, TV 광고 등)를 활용할 수 있다.
또한 위에서 설명한 이러한 전통적 접근법으로는 광고 노력이 효과적으로 영향 미치지 못할 수 있다. 전통적 접근법의 한계로 인해, 시장 침투율이 매우 작았다.
도 1은 실시예에 따른 하나 이상의 소매 제품 용기를 지원하는 컴퓨팅 플랫폼 100을 보여준다. 컨트롤러 101과 소매 제품 용기 102 및 103을 구성하고 있는 컴퓨팅 플랫폼 100은 소매 제품 용기에 저장된 제품을 기준으로 소매 제품 용기 중 하나에서 선정된 광고를 생성할 수 있다.
소매 제품 용기 102 및 103은 냉각기, 냉동기, 자동판매기 등을 구성할 수 있고, 보통 상응하는 내부 공간에 다양한 유형의 제품(예: 우유, 냉동 음식, 맥주, 아이스크림 등)을 저장할 수 있다.
여기에서 공개되는 시스템의 한 가지 실시예에서(도 1a 참조), 에지 프로세스(컨트롤러) 101은 소매 제품 용기와 인접해 있는 고객, 소매 제품 용기에 저장된 제품, 그리고 소매 제품 용기와 관련이 없는 보편적인 정보(예: 기상 상태)와 같은 한 가지 이상의 기준으로 선정된 광고를 표시할 것을 소매 제품 용기 102 또는 103에 명령한다. 한편, 여기에서 공개되는 시스템의 그 외 실시예들은 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다는 점에서 “신분 미식별형(identity-blind)”이다. 일부 실시예의 경우, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 및/또는 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
일부 실시예의 경우(도 1 참조) 컨트롤러 101은 유선 또는 무선 통신 채널(예: 와이파이, Bluetooth®, Zigbee® 등)을 통해 소매 제품 용기와 통신할 수 있으며, 소매 제품 용기 인근에 있거나 인터넷을 통해 전 세계 어느 곳이라도 있을 수 있다. 도 1b에 나와 있듯이, 일부 실시예의 경우 컨틀로러 101은 소매 제품 용기 내 에지 컴퓨팅 장치 110에 내장/통합할 수 있다. 물론, 컴퓨팅 플랫폼 100에는 소매 제품 용기 102 및 103과 상응하는 하나 이상의 에지 프로세서 101을 클라우드 컴퓨팅 서비스 104와 통신 가능하게 연결하기 위해 하나 이상의 라우터(예: 무선 라우터)가 있을 수 있다. 한 가지 시스템 150에서는 에지 프로세서 101을 클라우드 컴퓨팅 서비스 104와 연결하는 용도로 무선 라우터(도 1a에 나와 있지 않음)를 사용할 수 있다. 이 무선 라우터는 소매 제품 용기 102 및 103을 포함하여 소매점에서 복수의 사물인터넷(IoT) 장치용으로 공유 무선망을 제공할 수 있다. 도 1b에 나와 있는 시스템 160과 관련한 다른 사례의 경우 에지 컴퓨팅 장치 110은 소매점주가 운영하는 공유 무선 라우터 및/또는 모뎀을 사용하지 않고서 클라우드 컴퓨팅 서비스 104와 연결하기 위해 무선 하드웨어(예: LTE/5G 또는 기타 무선전화 표준)를 구성할 수 있으며, 또한 에지 컴퓨팅 장치 110도 에지 프로세서 101 및 데이터 저장소 111을 구성할 수 있다.
각 소매 제품 용기 102 또는 103은 도면에 명시적으로 나와 있지 않은 관련 구성품(예: 센서, 카메라 등)용으로 일반 통신 인터페이스를 통해 무선 채널을 지원할 수 있다. 그러나 일부 실시예는 컨트롤러 101을 활용한 사물인터넷(IoT)을 지원하는 다양한 각 구성품용으로 별도의 무선 통신 채널을 설정할 수 있다. 일부 사례의 경우 소매 제품 용기 102 및 103은 소매 제품 용기 103의 비용과 복잡성을 줄이기 위해 에지 컴퓨팅 장치 110을 공유할 수 있다. 도 1b에 나와 있는 그러한 사례의 경우 첫 번째 소매 제품 용기 102의 에지 컴퓨팅 장치 110은 이 문서에 설명된 하나 이상의 컴퓨팅 단계의 처리를 담당할 수 있다. 따라서 두 번째 소매 제품 용기 103은 첫 번째 소매 제품 용기 102의 에지 컴퓨팅 장치 110에 재고소진 제품 판단과 관련된 컴퓨팅 부하를 분배할 수 있다.
일부 실시예의 경우, 컨트롤러 101은 클라우드 컴퓨팅 서비스 104 또는 하나 이상의 컴퓨터 서버(도면에 명시적으로 나와 있지 않음)와 같은 추가 컴퓨팅 설비와 상호작용하여 광고 콘텐츠를 확보하고 무선 서비스 105로 무선 장치 106을 통해 고객이나 직원과 상호작용할 수 있다. 다른 방법으로서, 무선 장치 106은 소매점에서 공유 무선 라우터(도 1에 나와 있지 않음)를 통해 에지 프로세서 101과 직접 연결할 수 있다. 도 1b는 컴퓨팅 플랫폼 100의 다른 아키텍처를 보여주는데, 이 경우 무선 장치 106은 소매 제품 용기 102 및 103 안에 혹은 그 인근에 있는 에지 컴퓨팅 장치 110과 단거리 무선 통신 채널(예: 와이파이, Bluetooth®, Zigbee® 등)로 통신 가능하게 연결하는 태블릿, 스마트폰, 랩톱 등의 모바일 전자기기일 수 있다.
일부 실시예로서(도 1b 참조), 에지 컴퓨팅 장치 110은 다른 컴퓨팅 장치 115와 통신(예를 들어, 클라우드 컴퓨팅 서비스 104를 통해) 할 수 있다. 컴퓨팅 장치 115는 전문가 사용자와 관련이 있을 수 있고, 에지 컴퓨팅 장치 110의 작동을 제어 및 모니터링하는 용도로 사용할 수 있다. 도 1c에 나와 있듯이 일부 실시예의 경우, 클라우드 컴퓨팅 서비스 104는 중앙 데이터 저장소 112를 구성할 수 있으며, 이에 대한 자세한 설명은 도 9와 관련하여 여기에 나와 있다.
도 2는, 실시예에 따른 소매 제품 용기(예: 도 1에 나와 있는 용기 102 및 103)의 도어 230의 전면도 231을 보여준다.
각 소매 제품 용기 102 및 103에는 도어 230이 있을 수 있다. 디스플레이(스크린) 216은 하나 이상의 근접 센서(히트 맵), 이미지 센서, 인간 형상/특징을 탐지하는 센서나 스캐너, 안구 센서(홍채 추적 센서)와 같은 고객 탐지 하드웨어 218을 따라 도어 230에 장착한다.
일부 실시예로서, 디스플레이 216은 고객이 상호작용하는 하나 이상의 터치 존 232가 있는 LCD 패널을 구성한다. 액세스 패널 234는 디스플레이 216에 디스플레이 콘텐츠를 제공하는 미디어 플레이어 236과 더불어 도어 230의 하단 인근에 배치할 수 있다. 보호 패널(도면에 명시적으로 나와 있지 않음)은 디스플레이 216 위에 장착할 수 있다.
도 3은 실시예에 따른 소매 제품 용기의 도어 230의 후면도 302를 보여준다. 카메라 또는 그 외 유형의 센서(즉, 재고조사 하드웨어 304)는 도어 230의 후면 302에 배치할 수 있고, 소매 제품 용기에 저장되는 제품과 마주볼 수 있다. 재고조사 하드웨어 304는 컨트롤러 101이 소매 제품 용기 내 제품의 재고 현황을 계속 추적하는 용도로 사용할 수 있다.
도 4는 실시예에 따른 소매 제품 용기 102를 보여준다. 각 소매 제품 용기 102는 소매 제품 용기 102의 도어에 부착되는 디스플레이와 같은 최소 하나의 디스플레이 416을 구성한다.
복수의 소매 제품 용기(소매 제품 용기 102와 유사함) 및 관련 디스플레이는 소매점(예: 식품점)의 통로를 따라 나란히 배열할 수 있다. 에지 프로세서(컨트롤러) 101(도 1에 나와 있음)은 예를 들어 고객 탐지기 418 및/또는 재고 추적기 420에 의해 탐지되는 것에 따라 디스플레이 416을 작동하도록 구성할 수 있다.
일부 실시예로서, 고객 탐지기 418은 탐지되는 물체가 인간(사람)(쇼핑 카트와 같은 것이 아님)이라고 간주될 때 고객을 탐지할 수 있다. 고객 탐지기 418은 탐지되는 사람이 (예를 들어 직원의 유니폼으로 혹은 직원에게 부착된 RFID 태그로) 직원인지 여부도 판단할 수 있다. 그러한 경우 고객 탐지기 418은 직원을 무시하여 소매 제품 용기의 디스플레이를 업데이트하지 않는다.
일부 실시예로서, 디스플레이 416은 고객이 디스플레이를 통해 내부 저장 공간에 저장된 제품을 보지 못하게 하는 비투명 디스플레이를 구성한다. 디스플레이 416은 예를 들어 고객이 상호작용할 수 있는 터치스크린을 구 성할 수 있다. 디스플레이 416은 디스플레이 컨트롤러와 연계할 수 있다.
각 소매 제품 용기 102는 모든 또는 특정 개인(예: 고객 대 직원), 동작(예: 고객의 동작), 인간 형상(예: 인간 모양 또는 일반적 고객 얼굴), 열 등을 탐지할 수 있는 고객 탐지기 418도 구성할 수 있다. (예를 들어 고객은 고객 탐지기 418에 의해 탐지되는 소매 제품 용기 인근에 있는 개인일 수 있다.) 일부 실시예로서, 고객 탐지기는 하나 이상의 근접 센서(예: 히트 맵을 통한 센서), 이미지 센서, 인간 형상/특징을 탐지하는 센서, 스캐너, 안구 센서(예: 홍채 추적 센서) 등을 활용할 수 있다. 고객 탐지기 418 외에도, 소매 제품 용기 102는 소매 제품 용기 102 안/주변/위에서의 활동을 탐지하도록 구성된 다른 센서 423을 구성할 수 있다. 예시를 목적으로 고객 탐지기 418이 (예를 들어 도 8의 참조 802 및 804에서) 추가 절차를 유발/활성화하기 위한 입력물로 설명되었지만, 고객 탐지기 418은 다음의 사례를 포함하지만 그에 국한되지 않고 하나 이상의 다른 센서 423으로 대용/보완할 수 있다: 열린 도어를 탐지하도록 구성된 센서; 한 위치에서 다른 위치로의 도어 움직임을 탐지하도록 구성된 센서(예: 폐쇄 위치에서 개방 위치로 또는 개방 위치에서 폐쇄 위치로, 도어가 쾅 닫혀 있는지 여부, 도어 움직임의 각 속도 등); 재고 변동을 탐지하기 위해 소매 제품 용기 102의 선반에 배치된 하중 센서; 소매 제품 용기 102에서 재고소진 제품을 탐지하도록 구성된 광학 센서(예: 카메라); 및/또는 그 외 종류의 센서/카메라 작동.
일부 실시예로서, 하나 이상의 이미지 센서 423은 소매 제품 용기 102의 도어에 장착할 수 있다. 하나 이상의 이미지 센서는 시계 깊이가 20피트 이상일 수 있고, 예를 들어 탐지 기능 150도로 시계 범위가 170도일 수 있다. 예를 들어 탐지 기능은 인간/사람의 전반적 모양이나 일반적 특징이 소매 제품 용기 102 인근에 있는지를 탐지할 수 있다. 이미지 센서와 연계해 컴퓨터 판독가능 명령어를 사용하여 쇼핑객 상호작용을 모니터링하고, 미디어 플레이어 417을 통해 디스플레이 416에 관련 광고 콘텐츠를 표시하며, 점포 내 광고 관여도를 추적할 수 있다. 컨트롤러 101(도 1에 나와 있음)은 각 이미지 센서를 독립적으로 제어하고, 복수의 디스플레이를 집합적으로 제어하여 단일 스크린 및/또는 멀티 스크린 콘텐츠와 상호작용을 제공하도록 구성할 수 있다. 컨트롤러 101과 디스플레이 416은 디스플레이 416에 배너 광고 402와 풀 스크린 광고 401 둘 모두를 표시하도록 구성할 수 있다. 컨트롤러 101은 디스플레이 416에서 출력할 수 있도록 광고 콘텐츠를 디스플레이 컨트롤러에 제공할 수 있다.
각 소매 제품 용기 102는 예를 들어 저장된 소매 제품을 식별, 계수 및/또는 그 외 추적하기 위해 재고 추적기 420을 추가로 구성할 수 있다. 일부 양상에서, 재고 추적기 420은 소매 제품 용기 102 내부에 배치하여 저장된 제품과 마주보게 할 수 있는 추가 카메라 및/또는 센서 423을 활용할 수 있다. 일부 양상에서, 재고 추적기 420은 카메라 및/또는 센서에 의해 캡처되는 이미지 및/또는 기타 데이터를 후처리하기 위해 프로세서, 메모리 및/또는 컴퓨터 판독가능 명령어를 구성할 수 있다. 일부 양상에서, 프로세서 및/또는 컴퓨터 판독가능 명령어를 컨트롤러 101과 통합할 수 있고 컨트롤러 101은 저장된 소매 제품을 식별, 계수 및/또는 그 외 추적하기 위해 이미지/데이터의 후처리 및 분석 작업을 수행할 수 있다.
컨트롤러 101은 각 소매 제품 용기 102의 디스플레이 416을 제어하여 상품진열도를 제공하도록 구성할 수 있다(사례는 도 8의 광고 801~805를 참조). 일부 양상에서, 상품진열도는 소매 제품 용기 102의 내부 저장 공간에 실제로 들어 있는 소매 제품과 관련이 있을 수 있다. 디스플레이 416을 통해 소매 제품을 반드시 볼 수 있는 것은 아니다. 예를 들어 소매 제품 용기 102에 저장된 제품은 깔끔하게 정리되어 있지 않거나, 거기에 저장된 다른 제품으로 인해 가로막혀서 보지 못할 수 있다. 그러나 상품진열도는 재고 추적기 420에 의해 제공되는 재고 정보를 기준으로 내부 저장 공간 내에 저장된 소매 제품을 (예를 들어 고객에게) 보여줄 수 있다. 그 결과, 표시되는 상품진열도는 고객에게 제시할 것을 효과적으로 최적화할 수 있다.
도 1과 같이, 컨트롤러 101은 유선 이더넷, 무선 LAN, 무선전화망 등을 통해 인터넷, 블루투스 등으로 소매 제품 용기 102와 네트워크 연결이 가능하다. 컨트롤러 101은 소매 제품 용기 102의 디스플레이 416을 제어하도록 구성할 수 있고, 또한 디스플레이 416으로부터 수신되는 정보(예: 터치스크린 상호작용에 관한 정보)뿐만 아니라 고객 탐지기 418과 재고 추적기 420으로부터 수신되는 정보를 포함하여 소매 제품 용기 102로부터 정보를 수신하도록 구성할 수 있다.
각 소매 제품 용기 102에는 특히 컨트롤러 101과 소매 제품 용기 102 간 정보의 네트워크 연결과 전송뿐만 아니라 디스플레이 416, 고객 탐지기 418, 재고 추적기 420의 제어를 원활하게 하도록 구성할 수 있는 인터페이스 422도 있을 수 있다.
일부 실시예로서, 컨트롤러 101은 하나 이상의 프로세서, 메모리 저장소, 사용자 인터페이스 등이 있는 서버를 구성할 수 있으며, 디스플레이 416에 무엇을 표시할지 명령하고 소매 제품 용기 102로부터 정보와 데이터를 수신하도록 구성할 수 있다. 또한 컨트롤러 101은 수신되는 정보와 데이터를 기준으로 분석을 수행하도록 구성할 수 있다.
도 4에 명시적으로 나와 있지 않지만, 소매 제품 용기 102의 실시예는 내부 공간 내에 제품을 실제로 저장하는 데 필요한 다른 구성품(예: 냉장 장치 등)을 포함할 수 있다.
현 발명의 실시예는 소매 제품 용기 102 내부에 배치된 제품의 재고를 탐지하고, 디스플레이 416에 제품을 표시하는 상품진열도를 업데이트하는 작업을 자동으로 처리할 수 있다. 재고 추적기 420은 스마트 알고리즘을 활용하여 이미지 분석 및 후속 분석을 실시하는 소프트웨어와 연계하여 소매 제품 용기 102의 내부 선반에 대한 사진을 찍도록 설치된 카메라를 활용할 수 있다. 예를 들어 재고 추적기 420은 제품이 소매 제품 용기 102에 있는지 여부, 소매 제품 용기 102 내 제품 수량, 제품이 소매 제품 용기 102에서 정확한 위치에 있는지 여부 등을 판단할 수 있다. 예를 들어 어떤 품목이 소매 제품 용기 102에 없는 경우 컨트롤러 101은 고객과 매장 운영자가 참고할 수 있도록 디스플레이 416의 정보를 탐지하여 업데이트하도록 구성할 수 있다.
도 5a 및 5b는 소매 제품 용기 102의 도어 230에서 하나 이상의 카메라 540의 배치 사례를 보여준다. 카메라 540은 도어 230의 후면 302의 가장자리에 장착할 수 있으며, 도어 230이 열릴 때 사진을 찍을 수 있는 각도로 기울어져 있는 브래킷 542에 배치할 수 있다.
사례에서는 대규모 면적을 다루기 때문에 광시계(FOV) 카메라(예: 180˚ FOV(“어안(fisheye)”))를 활용할 수 있다. 광시계 카메라에 의해 생성되는 이미지는 가장자리 부분이 심하게 왜곡될 수 있고, 이미지 처리 단계에서 소프트웨어가 이미지를 “인식”하는 능력을 제한할 수 있다. 사례에서는 도어 230의 손잡이 면의 가장자리를 따라 있는 45˚ 각도의 하우징에 120˚ FOV의 소형 카메라를 장착할 수 있다. 도 5a와 같이, 디스플레이 패널 어셈블리 544와 도어 230의 기계적 프레임 546 사이에 있는 빈 베젤 공간 543 안에 카메라 540을 배치할 수 있다.
각 소매 제품 용기 102의 각 도어 내부에는 카메라 540을 아무 대수라도 설치할 수 있다. 예를 들어 도 5b와 같이, 선반 공간(즉, 소매 제품 용기 14 내부)의 전체 높이와 너비를 다룰 수 있도록 도어 230의 높이를 따라 동일한 거리에 3대의 카메라 540을 분산하여 배치할 수 있다. 3대의 카메라는 도어 230이 약 25°보다 더 넓은 아무 각도로 열릴 때 소매 제품 용기의 선반 전체를 캡처할 수 있다. 그 외 일부 사례에서는 사용되는 카메라 유형 및/또는 카메라 사양에 따라 각도가 25°보다 더 크거나 더 작을 수 있다.
카메라 540은 도어 작동 시(즉, 도어 230이 열릴 때) 활성화되어 이미지를 캡처할 수 있다. 카메라 540은 하나 이상의 사건에 대응하여 활성화될 수 있다. 예를 들어 카메라 540은 동작 감지를 기반으로 하여 활성화될 수 있다. 최소 하나의 카메라 540을 사용하여 동작을 감지할 수 있다. 추가로 혹은 다른 방법으로서, 도어 230에 부착된 하나 이상의 가속도계 548(도 5b 참조)을 사용하여 도어의 동작을 감지할 수 있다. 예를 들어 하나 이상의 가속도계 548은 도어가 닫히고 있는 것을 감지하여 카메라 540을 활성화할 수 있다. 카메라 540은 도어 230의 스윙 상태와 위치에 따라 활성화될 수 있다. 예를 들어 카메라 540은 도어 230이 열릴 때 활성화될 수 있다.
카메라 540은 도어 230이 닫히고 있을 때 활성화될 수 있다. 그 덕분에, 재고 추적기 420이 최소한 일부 사례 상황에서 정확한 제품 재고 평가를 생성할 수 있다. 예를 들어 소매 제품 용기 102에 특정 청량음료 1병이 있는 경우 디스플레이 416은 해당 청량음료를 포함한 상품진열도를 표시할 수 있다. 고객이 도어 230을 열어 소매 제품 용기 102를 꺼낸 후 도어 230을 닫는 경우, 재고 추적기 420이 청량음료와 관련된 기록을 업데이트한 후 디스플레이 416은 소매 제품 용기 102에서 청량음료가 현재 재고소진 상태라는 것을 (예를 들어 상품진열도에) 표시하기 위해 업데이트할 수 있다. 일부 실시예에서는, 도어 230이 닫히고 있을 때 이미지를 캡처하면 고객이 소매 제품 용기 102에 접근한 후 재고 추적기 420이 제품 재고를 정확하게 업데이트할 수 있다.
도어 작동 동안에는 복수의 이미지를 캡처할 수 있다. 예를 들어 한 대의 카메라 540이 복수의 이미지를 캡처할 수 있다. 예를 들어 3대의 카메라 540을 사용할 때 첫 번째 카메라가 첫 번째 사진을 캡처하고, 두 번째 카메라가 두 번째 사진을 캡처하며, 세 번째 카메라가 세 번째 사진을 캡처할 수 있다. 다른 방법으로서, 3대의 카메라 540 각각이 복수의 이미지를 캡처할 수도 있다. 이를 활용하면 소매 제품 용기의 내용물과 관련하여 다양한 위치/각도에서 이미지를 캡처할 수 있다.
또한 다른 사례에서는 모션 비디오 카메라를 사용할 수도 있다. 모션 비디오 카메라는 도어 회전의 시작 위치에서부터 미리 지정된 종료 위치까지 복수의 비디오 프레임을 캡처할 수 있다. 종료 위치는 시작 위치로부터 일련의 미리 지정된 위치, 미리 지정된 범위 또는 미리 지정된 상대적 회전각일 수 있다.
컨트롤러(예: 재고 추적기 420 및/또는 컨트롤러 101)는 다양한 요소를 기준으로 카메라 540의 작동 매개변수를 조정할 수 있다. 컨트롤러는 카메라 540의 노출, 초점 위치, 센서 게인/ISO 속도, 조리개 크기 등을 조정할 수 있다. 한 사례에서는 컨트롤러가 도어의 회전 속도를 기준으로 이미지 캡처 빈도를 변경할 수 있다. 예를 들어 컨트롤러는 도어가 더 높은 회전 속도로 스윙하고 있다는 측정치(예: 하나 이상의 가속도계 548 또는 그 외 모션 센서의 측정치)를 수신하는 경우 이미지 캡처 횟수를 늘릴 수 있다. 조도가 낮은 경우 컨트롤러는 저조도에 맞추기 위해 하나 이상 카메라의 작동 매개변수를 조정할 수 있다. 그 외 사례의 경우 컨트롤러는 카메라 렌즈의 습기나 응결을 탐지하여 관련 카메라의 작동 매개변수를 수정할 수 있다.
컨트롤러는 캡처된 이미지에 대한 후처리 작업을 수행할 수 있다. 컨트롤러는 복수의 이미지를 단일 합성 이미지로 디지털 방식으로 조합/결합하기 위해 컴퓨터 실행가능 명령어를 실행할 수 있다. 예를 들어 컨트롤러는 첫 번째 카메라의 여러 사진을 두 번째 카메라와 세 번째 카메라로 찍은 하나 이상의 사진과 조합하여 하나의 합성 이미지를 만들 수 있다. 일부 실시예에서, 합성 이미지는 이미지 크기를 줄이기 위해 후처리 작업을 거칠 수 있다. 한 사례에서는 콘볼루션 신경망과 같은 신경망을 사용하는 인공지능을 활용하여 소매 제품 용기 내용물의 관련 부분의 경계 가장자리를 식별할 수 있다. 컨트롤러는 경계 가장자리 바깥에 있는 이미지 구역을 버릴 수 있다. 경계 가장자리 바깥 구역은 소매 제품 용기 102의 내부 저장 공간 바깥 위치에 해당할 수 있다. 이미지 크기가 작을수록 컨트롤러의 메모리 요구량이 줄어들고, 또한 해당 컨트롤러에서 클라우드상의 1개 이상 원격 서버로 이미지를 전송하는 데 필요한 대역폭도 줄어들 수 있다.
일부 실시예에서, 캡처된 이미지는 흐릿한 부분을 줄이기 위해 후처리 작업을 거칠 수 있다. 컨트롤러의 흐릿함 완화 모듈은 캡처된 이미지의 중복 부분을 식별하고 이러한 중복 부분에서 적합한 부분을 선택하여, 흐릿한 부분(및/또는 원하지 않는 기타 이미지 특성)을 줄일 수 있다. 컨트롤러는 흐릿함 완화 모듈에 의해 식별되어 선택된 부분을 디지털 방식으로 조합/결합하여 합성 이미지를 생성할 수 있다.
도 5a에서 보듯이, 카메라 540은 카메라 540의 회전 시 디스플레이 패널 어셈블리 544의 가장자리를 지나 카메라 540이 돌출되도록 배치할 수 있다. 그러한 배치의 최소 한 가지 이점은 카메라의 시야가 방해받지 않는 것이다. 일부 실시예에서, 이를 고려하면 카메라 540을 힌지 축으로부터 약 28”에 배치할 수 있다. 한편, 다른 실시예에서는 카메라 540을 힌지 축으로부터 다른 거리에 배치할 수 있다.
한 실례를 보여주는 실시예에서, 카메라와 선반 간 거리가 4인치일 수 있고, 선반 위의 소매 제품이 일반적으로 도어 프레임 대비 중앙에 배치될 수 있다. 카메라는 사선 FOV가 약 120°일 수 있고, 카메라의 좁은 치수 방향에서 시야가 더 넓도록 배향할 수 있다. 카메라는 도어 내부 디스플레이 스크린으로 인해 시야가 막히지 않으면서 힌지 측을 향해 45° 기울여 도어의 손잡이 면 인근에 배치할 수 있다. 일부 사례에서는 카메라와 선반 간 거리를 4” 이외의 값으로 설정할 수 있다. 다양한 두께 또는 치수의 도어-용기 어셈블리에 대한 다른 사례의 경우, 도어 내부 디스플레이 스크린으로 인해 시야가 막히지 않으면서 힌지 측을 향해 약 40° 기울여 도어의 손잡이 면 인근에 카메라를 배치할 수 있다.
한 사례에서는 힌지로부터 28” 이상 떨어져 배치되어 도어의 힌지 가장자리 쪽으로 약 50° 회전하는 2대의 카메라를 사용하여 소매 제품 용기 102의 모든 내용물을 캡처할 수 있다. 다른 사례에서는 소매 제품 용기 102의 내용물 캡처를 최적화하기 위해 도어의 힌지 가장자리 쪽으로 약 30°~90°의 회전각으로 하나 이상의 카메라를 설치할 수 있다. 카메라의 회전각은 도어 크기 치수, 도어 개방 및/또는 선반 구성에 따라 달라질 수 있다. 한 사례에서는 하나의 카메라를 도어 230의 상단 가장자리로부터 21”에 배치할 수 있고, 다른 카메라를 도어 230의 하단 가장자리로부터 21”에 배치할 수 있으며, 2대의 카메라 간격은 30”일 수 있다. 다른 사례에서는 소매 제품 용기 102의 내용물 캡처를 최적화하기 위해 수직으로 도어를 따라 대략 등거리에 카메라를 배치할 수 있다. 다양한 카메라 위치 및/또는 배향 위치는 한 사례일 뿐이며, 다른 사례에서는 다른 사양을 사용하여 카메라를 배치 및/또는 배향할 수 있다.
도 6은 소매 제품 용기 102의 도어 230에서 카메라 위치 사례를 보여준다. 카메라 FOV는 투명한 피라미드로 표시되어 있다. 도 14의 사례에서는 상단 카메라 C1 및 하단 카메라 C3이 도어 프레임의 상단 가장자리 및 하단 가장자리로부터 약 16.5”에 있다. 중앙 카메라 C2는 도어 가장자리로부터 중앙에 맞춰져서 다른 카메라 2대 각각으로부터 20”에 있을 수 있다. 도어 203이 소매 제품 용기 102 내부 선반 위에 있는 제품에서 수직으로 중앙에 맞춰져 있지 않은 사례에서는 3대 카메라 중 하나 이상의 위치를 그에 따라 위 또는 아래로 옮길 수 있다. FOV가 도어의 내부 표면을 약간만 벗어나도록 카메라 각도를 설정할 수 있다. 힌지가 선반 가장자리와 가까이 있기 때문에, 이러한 배치는 거의 모든 도어 각도에 대해 장면의 힌지 면을 카메라 이미지의 가장자리에 있게 한다.
도 7은 도어 230이 약 44° 또는 25° 열릴 때 실례를 보여주는 소매 제품 용기와 도어 230의 전면도 및 상면도를 보여준다. 카메라 FOV는 직교도에서 투명한 피라미드로 나와 있고, 상면도에서 삼각형으로 나와 있다. 선반의 정면은 “F”로 표시되어 있다. 도어 230이 30° 이상 열릴 때 전체 장면이 FOV 안에 담긴다. 도어 각도가 25°로 줄어들 때 손잡이 면에 대한 장면 부분이 카메라 FOV를 벗어나 움직이기 시작할 수 있다. 여기에 공개된 전체 내용을 검토한 후 기술에 정통한 사람은 이 내용이 앞의 사례에서 공개한 특정 각도로 국한되지 않는 것을 이해할 것이다. 오히려, 각도와 사양은 본 공개 내용에 대한 기본 학습을 바탕으로 조정할 수 있다.
도 8은 실시예에 따라, 소매 제품 용기 102의 디스플레이 416에 나타낼 수 있는 다양한 종류의 광고 801, 802, 803, 804, 805를 보여준다. 광고 801은 풀 스크린 광고를 보여주는 반면, 광고 802~805(각각 배너 광고, 핫 스폿, 라벨/태그, 현장 판촉행사)는 소매 제품 용기 102용 상품진열도 내에 삽입된 상품을 보여준다. 예를 들어 디스플레이 광고는 제품 이미지의 하단에 있는 라벨과 제품 이미지의 상단에 있는 태그를 디스플레이 스크린에 표시할 수 있다. 미리 지정된 일련의 애니메이션 아이콘을 통해 라벨과 태그를 선택하여 활성화할 수 있다. 예를 들어 디스플레이 광고에서 피자에 대한 네이티브 광고는 김이 나는 피자에 대한 애니메이션 그래픽 렌더링으로 대체할 수 있다. 특허 설명을 목적으로 도 8의 디스플레이 416에 표시된 제품은 브랜딩이 없는 일반 이미지로 나타나지만, 실제로 표시되는 그래픽 이미지는 브랜드와 관련이 있고 브랜드 로고, 이름, 색상 등의 특징을 포함한다.
앞으로 논의하겠지만, 일부 사례에서는 소매 제품 용기 102 인근에 있는 고객을 기준으로 삽입 상품을 맞춤화할 수 있다.
고객 탐지기 418은 고객이 광고(예: 광고 802)의 (시청) 영역 851을 보고 있을 때를 탐지할 수 있다(광고 802 참조). 이 경우 영역 851에 나타나는 하나 이상의 제품을 대상으로 하는 광고가 스크린 416에 나타날 수 있다.
하나의 광고가 스크린 416의 전체 구역을 차지할 수 있지만, 실시예는 스크린 416에 동시에 나타날 수 있는 복수의 광고(서로 다른 디스플레이 구역에 나타남)를 지원할 수 있다(풀 스크린 광고 801 참조).
도 9는 소매 제품 용기 102의 내부 저장 공간에 대한 입력된 상품진열도 매핑 902를 보여준다. 상품진열도 매핑 902는 예를 들어 데이터 저장소 111(예: 컨트롤러 101과 연계되어 있음)에 저장할 수 있다. 상품진열도 매핑 902는 클라우드 서비스 104, 무선 장치 106 및/또는 그 조합으로부터 수신할 수 있다(예: 데이터 저장소에 입력함). 예를 들어 도 1b에 나와 있듯이, 소매점의 사용자는 모바일 무선 장치 106을 사용하여 데이터 저장소 111에 저장되는 상품진열도 매핑 902를 입력(예: 입력, 생성, 업데이트, 확인 등)할 수 있다. 이 사용자는 클라우드 104로부터 예전에 데이터 저장소 111에 다운로드를 받은 상품진열도 매핑 902를 확인하고 업데이트하기 위해 모바일 장치 106을 사용하는 소매점 100의 직원이거나 그 외 승인된 사용자(예: 판매회사, 제품 공급업자, 컨설턴트, 승인된 제3자 또는 기타 사용자)일 수 있다. 일부 사례에서, 기업 본사가 최초의 상품진열도 매핑 902를 준비하여 클라우드 서비스 104를 통해 하나 이상의 소매 제품 용기 102에 배포했을 수 있다.
상품진열도 매핑 902는 다음 중 하나 또는 둘 모두를 구성할 수 있다: 소매 제품 용기 102 내에 저장되는 제품의 제품 표시자 및 제품을 저장할 소매 제품 용기 102 내 위치의 상응하는 위치 표시자. 예를 들어 상품진열도 매핑 902는 제품 P1을 위치 L1에 저장할 수 있고 제품 P2를 위치 L2에 저장할 수 있음을 표시할 수 있다. 소매 제품 용기 102의 디지털 디스플레이 416은 803에 나와 있는 디지털 상품진열도를 표시할 수 있다(사례는 도 8 참조). 데이터 저장소 111에 저장되는 위치 L1의 값은 상단 선반에서 가장 왼쪽 통로/지점이 특정 음료 유형의 슬림 플라스틱 병 용도로 지정되어 있음을 표시할 수 있다. 데이터 저장소 111에 저장된 상품진열도 매핑 902의 위치 L1과 상응하여, 제품 P1의 값은 특정 치수의 슬림 플라스틱 병 모양을 표시할 수 있다. 한편, 상단 선반에서 가장 오른쪽 통로를 표시하는 위치 L2의 경우 제품 P2의 값은 특정 치수의 동일한 슬림 플라스틱 병 모양을 표시하지만 그 병에 관한 색상 특징을 포함할 수 있다. 예를 들어 데이터 저장소 111의 제품 P2는 특정 컬러 스킴과 특정 색상의 “Y”가 적힌 라벨을 표시할 수 있다. 한편, P1은 특정 색상의 “X”가 적힌 라벨을 표시할 수 있다.
따라서 위치는 특정 선반(예: 상단 선반, 하단 선반, 하단 선반 위 세 번째 선반 등) 및/또는 선반 위의 위치(예: 선반에서 가장 왼쪽 통로/지점, 선반의 대략적인 중앙)를 포함할 수 있다. 다른 실시예들의 경우, 위치는 내부 쪽으로 향하는 하나 이상의 카메라에 의해 캡처되는 소매 제품 용기 102의 내부 저장 공간의 정면과 마주하는 평면에서 x 좌표와 y 좌표일 수 있다. 예를 들어 카메라에 의해 생성되는 합성 이미지의 가장 왼쪽 하단 코너는 x-y 평면에서 (0,0) 좌표일 수 있다. 일부 사례에서는 소매 제품 용기 102의 뒷면 쪽으로 향하는 방향에서 내부 저장 공간 측 깊이 방향 거리(distance depth-wise)에 상응하는 위치에 z 좌표를 편입할 수도 있다. 시스템 170, 160, 150은 입력물로서 카메라에 의해 생성되는 합성 이미지를 수신하고, 여기에 설명된 방법 단계 중 하나 이상을 사용하여 이미지에서 선반을 탐지할 수 있다. 합성 이미지 생성에는 여러 카메라 각도로부터 중복 선반을 식별하여 제거하는 것, 선반 가장자리를 식별하는 것 등이 포함될 수 있다. 한 사례의 경우 다양한 상황에서 선반(예: 선반 가장자리)을 식별하도록 시스템을 교육한다. 그런 다음, 일부 사례의 경우 이후 단계에서 별도로 교육된 모델이 선반 위의 물체/제품을 식별할 수 있다. 일부 사례의 경우 상품진열도 제품 이미지 치수와 조합하여 이미지 내 선반 탐지를 활용해 물체 자체 식별과 더불어 어떤 제품이 있는지를 식별할 수 있다. 다른 실시예들의 경우, 소매 제품 용기 102 내 제품 위치가 디테일 측면에서 다소 부족할 수 있다. 예를 들어 위치는 단순히 소매 제품 용기 102에 제품이 있다는 것을 식별하고 어떤 선반, 선반 위치 및/또는 선반 깊이에 제품이 있는지를 구체적으로 식별하지 않을 수 있다. 제품 표시자를 상응하는 위치 표시자로 인덱싱할 수 있다. 제품 표시자는 일부 사례의 경우 재고 관리 코드(SKU) 식별자이거나 제품의 다른 식별자일 수 있다.
데이터 저장소 111은 입력된 상품진열도 매핑 902 외에도 소매 제품 용기 102에 저장되는 제품의 설명 904를 구성할 수 있다. 설명 904는 어떤 소매업자 및/또는 모든/대부분 소매업자가 비축하는 모든 제품과 관련된 설명을 구성할 수 있는 중앙 데이터 저장소 112에서 다운로드를 받을 수 있다. 예를 들어 소매점의 사용자가 상품진열도 매핑 902를 입력하면 에지 컴퓨팅 장치 110이 중앙 데이터 저장소 112로부터 상품진열도 매핑 902에 나와 있는 제품과 관련된 설명을 다운로드하여 로컬 데이터 저장소 111에 저장할 수 있다. 한 사례에서, 사용자는 유선 또는 무선 통신 프로토콜(예: 범용 직렬 버스(USB) 프로토콜, 근거리통신망(LAN) 프로토콜 또는 전기전자학회(IEEE) 802.11 프로토콜)을 사용하여 설명 904를 구성한 파일을 데이터 저장소 111에 수동으로 로드할 수 있다.
최소한 일부 사례의 경우 로컬 데이터 저장소 111은 소매업자가 비축하는 모든 제품(소매 제품 용기 102에 저장된 제품 포함)의 하위세트와 관련된 제품 표시자 및 설명 904를 구성할 수 있다. 제품의 하위세트는 소매 제품 용기 102 내 제품, 소매 제품 용기 102 인근에 저장할 수 있는 그 외 제품, 및/또는 소매 제품 용기 102에 저장된 제품과 관련이 있을 수 있는(예를 들어 이 제품과 동일한 범주에 속할 수 있는) 그 외 제품으로 이루어질 수 있다. 예를 들어 소매 제품 용기 102에 청량음료 병이 있는 경우 설명 904는 청량음료 병과 관련된 설명뿐만 아니라 청량음료 캔과 같은 관련 제품에 관한 설명도 구성할 수 있다. 한 사례의 경우 제품을 복수의 범주(예: 냉동 음식, 고기, 가금류, 유제품, 고기)로 분류할 수 있다. 소매 제품 용기 102를 사용하여 특정 범주의 제품을 비축하는 경우 데이터 저장소는 특정 범주에 속하는 모든 제품과 관련된 설명과 ID를 구성할 수 있다.
설명은 하나 이상의 상응하는 제품 모양(예: 긴 병, 짧은 병, 긴 캔, 유리병, 플라스틱 병, 페이퍼 박스, 짧은 캔, 정사각형 박스, 직사각형 박스, 백, 불규칙적인 모양, 기타 모양), 제품 포장의 상응하는 색상(일부 실시예에서, 장식적 요소 및/또는 로고 포함)(예: 빨간색, 주황색, 노란색, 녹색, 파란색, 흰색 줄무늬의 빨간색 배경, 흰색 굵은 글씨체의 파란색 배경, 피자 사진이 있는 빨간색 박스 등), 상응하는 제품 치수(예: 약 2” 너비 지름의 6” 높이, 미확정 두께의 약 12” x 12” 박스, 1” 두께의 약 10” x 10” 박스, 200픽셀 x 200픽셀 박스 등) 등으로 구성될 수 있다. 예를 들어, 상단 선반에서 가장 왼쪽 통로를 표시하는 위치 L1과 상응하여, 제품 P1의 설명은 빨간색 컬러 스킴이 있는 첫 번째 치수의 병 모양을 표시할 수 있다. 상단 선반의 가장 오른쪽 통로를 표시하는 위치 L2의 경우 제품 P2의 설명은 파란색 컬러 스킴이 있는 두 번째 치수의 병 모양을 표시할 수 있다. 설명은 클라우드 서비스 104 또는 무선 장치 106으로부터 수신하거나, 인터페이스 422를 사용하여 입력할 수 있다.
데이터 저장소 111은 소매 제품 용기 102에 저장된 제품 또는 소매업자가 비축한 제품 하위세트와 관련된 광고 콘텐츠(예: 삽화, 멀티미디어 콘텐츠)도 구성할 수 있다. 예를 들어 소매 제품 용기 102가 유제품용인 경우 데이터 저장소 111은 유제품과 관련된 광고 콘텐츠를 구성할 수 있다. 데이터 저장소 111은 소매 제품 용기 102 인근에 있을 수 있는 다른 소매 제품 용기(예: 소매 제품 용기 103)와 관련된 광고 콘텐츠 또는 소매 제품 용기 내 제품과 동일한 범주에 속하는 제품과 관련된 광고 콘텐츠도 구성할 수 있다. 예를 들어 소매 제품 용기 102가 유제품용이고 인근에 위치한 소매 제품 용기 103이 음료(예: 청량음료, 과일주스)용인 경우 데이터 저장소 111은 유제품 및 음료와 관련된 광고 콘텐츠를 구성할 수 있다.
광고 콘텐츠는 소매업자가 비축한 모든 제품과 관련된 광고 콘텐츠를 구성할 수 있는 중앙 데이터 저장소 112에서 다운로드를 받을 수 있다. 도 11을 참조하여 자세히 설명되어 있듯이, 컨트롤러 111과 관련된 광고 관리자는 한 편의 광고에서부터 수많은(예: 수백 편의) 광고에 이르기까지 일련의 광고를 요청하여 데이터 저장소 111에 다운로드할 수 있다. 다른 사례에서, 사용자는 유선 또는 무선 통신 프로토콜(예: USB 프로토콜, LAN 프로토콜 또는 IEEE 802.11 프로토콜)을 사용하여 광고 콘텐츠를 데이터 저장소에 수동으로 로드할 수 있다.
중앙 데이터 저장소 112는 신제품이 소개되거나, 상품진열도 매핑이 수정되거나 및/또는 제품 설명이 변경될 때면 항상 업데이트할 수 있다. 중앙 데이터 저장소 112는 데이터 저장소 111로 업데이트를 전달할 수 있다. 업데이트는 정기적으로(예: 1주일에 1회, 1달에 1회) 이루어지거나, 소매 제품 용기 102에 저장된 제품과 관련된 정보 변경 또는 상품진열도 매핑 902의 변경에 대응하여 이루어질 수 있다. 데이터 저장소 111에 로컬 캐시 메모리를 저장함에 따른 최소 한 가지 이점은 소매 제품 용기 102와 원격 클라우드 서비스 104 간 연결이 일시적으로 끊기더라도 소매점에서 시스템 100의 작동이 중단되지 않는다는 것이다. 에지 프로세서 101은 소매점에서 고객을 위한 작업을 방해하지 않으면서 작동하고, 이후 원격 클라우드 서비스 104와 동기화할 수 있다.
컨트롤러(예: 에지 컴퓨팅 장치 110)는 (위에 설명되어 있듯이) 카메라에 의해 캡처되는 하나 이상의 이미지를 후처리하여 합성 이미지를 생성할 수 있다. 제품의 합성 이미지, 상품진열도 매핑 902, 설명을 기준으로 컨트롤러는 해당 소매 제품 용기 102에 있는 제품의 재고 현황을 판단할 수 있다. 제품의 재고 현황 판단에는 입력된 상품진열도 매핑 102 내 제품이 소매 제품 용기 102에 있는지 여부, 제품 수량, 그리고 제품이 상품진열도에서 표시된 위치에 있는지 여부 등에 대한 판단이 있을 수 있다.
컨트롤러는 제품의 재고 현황 판단을 기준으로 디스플레이 416에 표시할 광고를 판단할 수 있다. 광고에는 여기에 설명된 하나 이상의 절차에 따라 예를 들어 제품이 소매 제품 용기 102에 없다는 판단에 근거하여 제품이 재고소진 상태라는 것을 표시할 수 있다. 추가로 혹은 다른 방법으로서, 컨트롤러는 제품이 소매 제품 용기 102에 없다는 것을 의미하는 메시지를 생성하여 (예를 들어 직원과 연계된 무선 장치 106 또는 다른 컴퓨팅 장치에) 전송할 수 있다. 광고에는 여기에 설명된 하나 이상의 절차에 따라 예를 들어 제품이 소매 제품 용기 102에 있다는 판단에 근거하여 제품(예: 제품과 관련된 삽화)을 표시할 수 있다.
컨트롤러는 합성 이미지의 후처리에 근거하여 위치에 있는지 여부를 판단할 수 있다. 컨트롤러는 예를 들어 가장자리 탐지 알고리즘을 사용하여 위치에 있는지 여부를 판단할 수 있다.
컨트롤러는 합성 이미지를 후처리하거나 다른 센서 데이터를 사용하여 소매 제품 용기 102의 어떤 위치에 아무 제품도 없다는 것을 판단할 수 있다. 이러한 판단에 근거하여 컨트롤러는 상품진열도 매핑 902의 위치에 매핑된 제품이 소매 제품 용기 102에 없다는 것을 판단할 수 있다. 예를 들어 컨트롤러는 상단 선반에서 가장 왼쪽 통로/지점(예: 제품 P1용으로 지정된 위치 L1)에 아무 제품도 없다는 것을 판단할 수 있다. 이에 근거하여 컨트롤러는 제품 P1이 소매 제품 용기 102에 없다는 것을 판단할 수 있다. 컨트롤러는 소매 제품 용기 102에 제품을 배치할 때의 오프셋을 수용하기 위해 위치 L1 주변에서 제품을 검색할 수 있다. 컨트롤러는 위치 L1에 아무 제품도 없다고 판단하는 경우 제품 P1이 소매 제품 용기 102에 비축되어 있지 않다는 것을 의미하는 광고를 생성하여 디스플레이 416에 표시할 수 있다. 광고에는 제품 P1과 관련된 라벨/태그 대신 제품 P1이 재고소진 상태라는 것을 보여주는 삽화를 표시할 수 있다. 이 컨트롤러는 디스플레이 416과 관련된 디스플레이 컨트롤러에 광고를 전송할 수 있다. 디스플레이 컨트롤러는 디스플레이 416에 광고를 출력할 수 있다.
컨트롤러는 합성 이미지를 후처리하거나 다른 센서 데이터를 사용하여 소매 제품 용기 102 내 위치에 제품이 저장되어 있다고 판단할 수 있다(예: 해당 위치에 물품이 있음). 컨트롤러는 합성 이미지의 후처리에 기반하여 저장된 제품의 다른 속성(예: 모양, 색상, 치수 등)도 판단할 수 있다. 예를 들어 일부 사례에서 후처리 과정에는 합성 이미지에서 제품이 점유하는 픽셀의 수량과 카메라 위치로부터 선반의 알려진 거리를 기준으로 제품의 치수를 판단하는 것이 포함될 수 있다. 예를 들어 합성 이미지 내 박스의 200픽셀 x 200픽셀 이미지는 선반의 미리 지정된 위치에서 10” x 10” 박스에 해당할 수 있다. 후처리 단계에서는 선반 전면의 추가 거리를 감안하기 위해 픽셀 단위의 이미지 크기를 조정할 수 있다. 또한 컨트롤러는 상품진열도 매핑 902에서 위치에 매핑되는 제품에 대한 설명과 저장된 제품에 대한 정해진 속성을 비교할 수 있다. 컨트롤러는 저장된 제품에 대한 정해진 속성이 설명과 일치하는 경우 제품이 소매 제품 용기 102에 있다고 판단할 수 있다. 컨트롤러는 저장된 제품에 대한 정해진 속성이 설명과 일치하지 않는 경우 제품이 소매 제품 용기 102에 없다고 판단할 수 있다.
예를 들어 컨트롤러는 합성 이미지를 후처리하거나 다른 센서 데이터를 사용하여 상단 선반에서 가장 왼쪽 통로(예: 제품 P1용으로 지정된 위치 L1)에 제품이 있다는 것을 탐지할 수 있다. 컨트롤러는 합성 이미지를 후처리하여 위치 L1에서 탐지된 제품의 다른 속성도 판단할 수 있다. 컨트롤러는 탐지된 제품의 모양, 색상 및/또는 치수를 판단할 수 있다. 컨트롤러는 탐지된 제품이 병 모양이라는 판단, 탐지된 제품의 색상이 빨간색이라는 판단, 및/또는 탐지된 제품이 첫 번째 치수를 가진다는 판단에 근거하여 위치 L1에서 탐지된 제품이 제품 P1이라고 판단할 수 있다. 컨트롤러는 예를 들어 탐지된 제품이 병 모양인지 여부, 탐지된 제품의 색상이 빨간색인지 여부, 및/또는 탐지된 제품이 첫 번째 치수를 가지는지 여부와 관련된 개별 신뢰 점수(예: 확률 측정)를 판단할 수 있다. 컨트롤러는 탐지된 제품이 제품 P1인지 여부를 판단하기 위해 위의 신뢰 점수에 기반한 총 신뢰 점수를 생성할 수 있다. 예를 들어 총 신뢰 점수가 임계값(예: 60%, 70% 또는 그 외 어떤 값)보다 더 높은 경우 컨트롤러는 탐지된 제품이 제품 P1인지 여부를 판단할 수 있다.
그러한 판단에 근거하여 컨트롤러는 제품 P1을 의미하는 광고를 생성하여 디스플레이 416에 표시할 수 있다. 광고에는 제품 P1에 대한 삽화(예: 제품 P1과 관련된 라벨/태그)를 표시할 수 있다. 이 컨트롤러는 디스플레이 416과 관련된 디스플레이 컨트롤러에 광고를 전송할 수 있다. 디스플레이 컨트롤러는 디스플레이 416에 광고를 출력할 수 있다.
한 사례의 경우 컨트롤러는 탐지된 제품의 모양이 병 모양이 아니라는 판단, 탐지된 제품의 색상이 빨간색이 아니라는 판단, 및/또는 탐지된 제품의 치수가 첫 번째 치수와 동일하지 않다는 판단에 근거하여 상단 선반의 가장 왼쪽 통로에서 탐지된 제품이 제품 P1이 아니라고 판단할 수 있다. 예를 들어 어떤 개별 신뢰 점수가 임계값(예: 60%, 70% 또는 그 외 어떤 값)보다 더 낮은 경우 컨트롤러는 탐지된 제품이 제품 P1이 아니라고 판단할 수 있다. 예를 들어 총 신뢰 점수가 임계값(예: 60%, 70% 또는 그 외 어떤 값)보다 더 낮은 경우 컨트롤러는 탐지된 제품이 제품 P1이 아니라고 판단할 수 있다.
컨트롤러는 위치 L1에서 탐지된 제품이 제품 P1이 아니라고 판단하는 경우(예: 빨간색이 아니고 및/또는 전술한 첫 번째 치수를 가지지 않는다고 판단하는 경우) 탐지된 제품을 식별하려고 시도할 수 있다. 컨트롤러는 예를 들어 탐지된 제품을 식별하기 위해 입력된 상품진열도 매핑 902에 표시된 (예를 들어 다른 위치와 관련이 있을 수 있는) 제품의 설명을 스캔할 수 있다. 컨트롤러는 예를 들어 탐지된 제품이 병 모양이라는 판단, 탐지된 제품의 색상이 파란색이라는 판단, 및/또는 탐지된 제품이 두 번째 치수를 가진다는 판단에 근거하여 탐지된 제품이 제품 P2라고 판단할 수 있다. 컨트롤러는 위에서 설명한 바와 같이 개별 신뢰 점수 및/또는 총 신뢰 점수를 사용할 수 있다.
한 예시의 경우 하나 이상의 머신 러닝 알고리즘/모델이 실행하고 있는 인공지능망이 여기에 공개된 시스템에 포함된다. 머신 러닝 알고리즘의 기본틀에는 하나 이상의 구성요소(때때로 3가지 구성요소)가 조합될 수 있다. (1) 표현, (2) 평가, (3) 최적화 구성요소가 그것이다. 표현 구성요소는 하나 이상의 의사결정 나무, 일련의 규칙, 인스턴스, 그래픽 모델, 신경망, 서포트 벡터 머신, 모델 앙상블 등을 포함하지만 그에 국한되지 않고 다양한 방식으로 지식을 표현하기 위한 절차를 수행하는 컴퓨팅 장치를 의미한다. 평가 구성요소는 정확도/예측/재현율, 제곱오차, 가능성, 사후 확률, 비용, 마진, 엔트로피 k-L 발산 등을 포함하지만 그에 국한되지 않고 가설(예: 후보 프로그램)을 평가하는 방식을 표현하기 위한 절차를 수행하는 컴퓨팅 장치를 의미한다. 최적화 구성요소는 조합 최적화, 볼록 최적화, 제한적 최적화 등을 포함하지만 그에 국한되지 않고 다양한 방식으로 후보 프로그램을 생성하는 절차를 수행하는 컴퓨팅 장치를 의미한다. 일부 실시예의 경우, 전술한 머신 러닝 기능성을 더욱 향상하고 보완하기 위해 다른 구성요소 및/또는 전술한 구성요소의 하위구성요소가 시스템에 있을 수 있다.
전술한 인공신경망은 의사결정을 내리도록 구성할 수 있다. 설명을 목적으로 단순화한 사례로서, 인공신경망은 입력된 이미지에서 제품의 특성을 탐지하도록 구성할 수 있다. 입력물로서 사진 이미지를 신경망에 제공할 수 있다. 신경망의 노드 레이어는 각각 도 20의 2004, 2006, 2008 단계에 예시된 특정 단계를 수행하도록 구성할 수 있다. 복수의 후속 레이어는 각각 더 구체적인 작업을 찾으면서 이 처리를 더욱 향상하며, 각 노드는 해당 작업 진행 시 작동하지 않아도 되는 일부 형태의 처리를 수행한다. 그런 다음, 인공신경망은 제품의 식별된 모양, 색상, 치수 및/또는 그 외 특성이 특정 소매 제품 용기 내 선반의 특정 위치에 있어야 하는 제품의 제품 설명과 일치하는지를 예측할 수 있다. 예측은 정확할 수도, 부정확할 수도 있으며 신경망은 예측이 정확한지, 부정확한지에 따라 그에 적합한 신뢰 값/점수를 생성할 수 있다.
인공신경망의 피드백 시스템은 인공신경망이 정확한 의사결정을 내렸는지 여부를 판단하도록 구성할 수 있다. 피드백에는 정답 및/또는 오답 및/또는 정답 확률(예: %)을 표시할 수 있다. 예를 들어 위에 제시된 제품 설명 인식 사례에서는 제품이 올바르게 식별되었는지를 판단하도록 피드백 시스템을 구성할 수 있다. 피드백 시스템은 이미 정답을 알고 있으므로 올바른 결정을 내렸는지 여부를 표시하여 인공신경망을 교육할 수 있다. 피드백 시스템은 올바른 결정을 내렸는지 여부를 인공신경망 700에 알려주는 컴퓨팅 머신 115의 전문가 사용자와 같은 인간 입력을 구성할 수 있다. 피드백 시스템은 인공신경망에 피드백(예: 이전의 출력이 맞는지, 틀렸는지에 대한 표시)을 제공할 수 있다. 피드백 시스템은 추가로 혹은 다른 방법으로서 출력물을 저장할 수 있도록 데이터 저장소와 결합할 수 있다. 피드백 시스템은 정답이 전혀 없고, 대신 추가 처리에 기반한 피드백을 제공할 수 있다. 예를 들어 피드백 시스템은 이미지상 선반에서 제품을 식별하도록 프로그래밍된 시스템을 구성하여, 인공신경망이 이 피드백을 활용해 그 결과를 수동으로 프로그래밍된/엄선된 시스템의 결과와 비교할 수 있게 한다.
한 사례에서는 학습을 통해 더 나은 입력물을 제공하도록 인공신경망을 동적으로 수정할 수 있다. 예를 들어 이전의 입력과 출력뿐만 아니라 피드백 시스템으로부터 받은 피드백에 기반하여 인공신경망은 자동으로 수정될 수 있다. 예를 들어 노드에서의 처리가 변할 수 있으며 및/또는 연결에 대한 가중치가 다르게 매겨질 수 있다. 앞에서 제시된 사례에 따라, 알고리즘에 제공된 사진은 모든 제품이 빨간색으로 보이도록 착색되었기 때문에 제품 식별이 부정확했을 수 있다. 따라서 일부 노드는 거짓 양성을 탐지하므로 신뢰할 수 없는 것으로 간주할 수 있고, 해당 노드에 대한 연결 가중치의 유의성이 떨어질 수 있다. 추가로 혹은 다른 방법으로서, 노드는 이미지를 다르게 처리하도록 재구성할 수 있다. 수정은 인공신경망에 의한 예측 및/또는 추측일 수 있으므로, 인공신경망은 가설을 검증하기 위해 해당 노드와 연결을 변경할 수 있다.
인공신경망은 처리 노드의 세트 수 또는 처리 노드 세트의 수를 가질 필요가 없지만, 그 복잡성을 높이거나 줄일 수 있다. 예를 들어 인공신경망은 하나 이상의 처리 노드가 불필요하거나 용도를 변경해야 한다고 판단하여 그에 근거해 처리 노드를 폐기하거나 재구성할 수 있다. 다른 사례로서, 인공신경망은 입력물 전부 또는 일부의 추가 처리가 필요하다고 판단하여 그에 근거해 추가 처리 노드 및/또는 처리 노드 세트를 추가할 수 있다.
피드백 시스템에 의해 제공되는 피드백은 단순한 강화이거나(예: 출력이 올바르거나 올바르지 않다는 표시 제공, 머신 러닝 알고리즘에 다양한 점수 부여 등), 구체적일 수 있다(예: 올바른 출력 제공).
다른 형태의 머신 러닝으로 인공신경망을 지원하거나 대체할 수 있다. 예를 들어 인공신경망의 하나 이상의 노드는 의사결정 나무, 연관 규칙 세트, 로직 프로그래밍, 회귀모델, 클러스터 분석 메커니즘, 베이지안 네트워크, 명제 공식, 생성 모델 및/또는 기타 알고리즘이나 형태의 의사결정을 구현할 수 있다. 인공신경망은 딥 러닝을 실시할 수 있다.
한 사례의 경우 머신 러닝 알고리즘은 고유한 컴퓨팅 시스템 구조에 의존하고, 때때로 신경망을 활용할 수 있다. 그러한 구조는 전통적인 컴퓨터 시스템보다 훨씬 더 복잡하지만 머신 러닝 구현 시 유용하다. 예를 들어 인공신경망은 뇌에서의 뉴런과 같이 학습과 의사결정을 실시하도록 동적으로 구성할 수 있는 대규모 세트의 노드로 이루어질 수 있다. 각 노드를 하나 이상의 다른 노드에 연결할 수 있다. 연결부는 노드의 출력을 다른 노드의 입력에 연결할 수 있다. 연결과 가중치 값의 상관관계를 만들 수 있다. 예를 들어 하나의 연결 가중치를 다른 것보다 더 중요하거나 유의한 것으로 매겨 입력물이 인공신경망을 가로질러 지나감에 따라 어느 정도 추가 처리되는지에 영향을 미칠 수 있다. 인공신경망이 학습하고 및/또는 동적으로 재구성될 수 있도록 그러한 연결을 수정할 수 있다. 일부 인공신경망은 비선형 처리를 사용할 수 있지만, 그 외 형태의 비선형 처리를 사용하여 여기에 설명된 특징에 따라 머신 러닝 알고리즘을 구현할 수 있다.
다른 사례의 경우 교육된 콘볼루션 신경망(CNN)(피드 포워드 네트워크의 한 사례)은 입력 데이터(예: 사람에 대한 도)를 콘볼루션 레이어(은닉 레이어라 함)으로 가져와서 각 콘볼루션 레이어에서 입력 데이터에 일련의 교육된 가중치 또는 필터를 적용한다. 첫 번째 콘볼루션 레이어의 출력은 활성화 맵(도면에 없음)으로서, 교육된 가중치 또는 필터(도면에 없음)가 적용되는 두 번째 콘볼루션 레이어에 대한 입력이다. 여기에서 후속 콘볼루션 레이어의 출력은 첫 번째 레이어에 대한 점점 더 복잡해지는 입력 데이터 특징을 나타내는 활성화 맵을 낳는다. 각 콘볼루션 레이어 이후 비선형 레이어(도면에 없음)를 적용하여 문제에 비선형성을 도입하며, 비선형 레이어는 tanh, sigmoid 또는 ReLU를 포함할 수 있다. 일부 경우 다운샘플링 레이어라고도 하는 비선형 레이어 뒤에 풀링 레이어(도면에 없음)를 적용하며, 이는 기본적으로 동일한 길이의 필터 및 스트라이드를 취하여 필터가 주변에서 감기는 모든 하위구역에서 최대 횟수로 입력 및 출력에 적용한다. 그 외 풀링 옵션은 평균 풀링 및 L2-norm 풀링이다. 풀링 레이어는 입력 볼륨의 공간 차원을 줄여 계산 비용을 줄이며 과적합을 제어한다. 네트워크의 최종 레이어는 완전하게 연결된 레이어로서, 마지막 콘볼루션 레이어의 출력을 가져와서 예측할 수량을 나타내는 n 차원 출력 벡터를 출력한다(예: 이미지 분류 확률 20% 자동차, 75% 보트, 5% 버스, 0% 자전거는 예측 출력(O*)을 낳으며, 이는 보트에 대한 사진일 가능성이 높다). 출력은 네트워크에 의해 예측되는 스칼라 값 데이터 포인트일 수 있다(예: 주가). 아래에서 더 자세히 설명하겠지만, 교육된 가중치는 콘볼루션 레이어마다 다를 수 있다. 이러한 실제 예측/탐지(예: 이것은 보트이다)를 달성하기 위해서는 알려진 데이터 입력 또는 교육 사례에 대해 신경망을 교육하여 교육된 CNN을 만들어야 한다. CNN을 교육하려면 수많은 다양한 교육 사례(예: 보트에 대한 여러 도)를 모델에 입력한다. 신경망에 대한 숙련된 전문가는 위의 설명이 본 논의에 대한 일부 맥락을 제공하기 위해 CNN을 다소 단순하게 설명했다는 것을 완벽하게 이해할 것이며, CNN의 단독 적용이나 다른 신경망과 조합한 적용이 여기에 설명된 일부 실시예의 범위에 속하고 똑같이 적용할 수 있다는 것을 전적으로 인정할 것이다.
한 사례에서는 콘볼루션 레이어가 콘볼루션 레이어 n-1까지 개별 은닉 콘볼루션 레이어로 표시되고, 최종 n번째 레이어가 완전하게 연결된 레이어이다. 마지막 레이어는 하나를 초과하는 완전 연결 레이어일 수 있다는 것을 이해할 수 있을 것이다. 교육 사례가 콘볼루션 레이어에 입력되고 비선형 활성화 함수(도면에 없음)와 가중치가 n까지 시리즈로 교육 사례에 적용된다. 이 경우 최종 n번째 완전 연결 레이어 n이 출력물을 생산할 때까지 은닉 레이어의 출력이 다음 레이어에 계속 입력된다. 출력 또는 예측을 교육 사례(예: 보트에 대한 도)와 비교하면 출력 또는 예측과 교육 사례 간 차이가 발생한다. 차이 또는 손실이 미리 설정된 손실보다 적다면(예: 출력 또는 예측은 대상물이 보트라고 예측한다) CNN이 수렴되고 교육된 것으로 간주된다. CNN이 수렴하지 않은 경우 역전파 기법을 사용하여 예측이 알려진 입력과 얼마나 가까운지에 따라 가중치를 업데이트한다. 물론, 역전파 이외의 방법을 사용하여 가중치를 조정할 수도 있다. 두 번째 교육 사례(예: 보트에 대한 다른 도)가 입력되고 이 프로세스가 업데이트된 가중치로 다시 반복된다. 이후 n번째 교육 사례(예: n번째 보트에 대한 n번째 도)가 입력 완료될 때까지 가중치가 계속 업데이트된다. 콘볼루션 신경망(CNN)이 알려진 입력에 대한 올바른 출력에 관해 교육되거나 수렴할 때까지 동일한 n 교육 사례로 이를 계속 반복한다. CNN이 교육되면 가중치를 고정하고 교육된 CNN에서 사용한다. 콘볼루션 레이어마다 그리고 완전 연결 레이어마다 가중치가 다르다. 이후 교육된 CNN 또는 모델은 여기에 설명되어 있듯이 예측/식별하도록 교육된 것(예: 보트)을 판단하거나 예측하기 위해 이미지 데이터를 제공받는다. 교육된 모델, CNN, RNN 등은 추가 교육 사례로 심층 교육을 받거나, 이후 교육 사례로 활용할 모델에 의해 예측된 데이터 출력물로 심층 교육을 받는다. 즉, 가중치의 수정이 허용될 수 있다. 머신 러닝 모델은 “오프라인”으로 교육을 받은(예: 교육된 모델을 사용/실행하는 플랫폼으로부터 분리된 컴퓨테이션 플랫폼에서 한 번 교육을 받은) 후 해당 플랫폼으로 전송이 가능하다. 다른 방법으로서, 여기에 설명된 실시예들은 새로 획득되는 교육 데이터를 기준으로 머신 러닝 모델을 정기적으로 혹은 지속적으로 업데이트할 수 있다. 이러한 업데이트된 교육은 네트워크 연결을 통해 재교육된 모델을 사용/실행하는 플랫폼으로 교육된 최신 모델을 전달하는 별도의 컴퓨테이션 플랫폼에서 발생할 수 있다. 혹은 교육/재교육/업데이트 과정은 새로운 데이터가 획득됨에 따라 플랫폼 자체에서 발생할 수 있다. CNN은 고정 배열의 데이터(예: 도, 문자, 낱말 등) 또는 데이터의 타임 시퀀스에 적용할 수 있다. 예를 들어 시퀀싱 처리된 측정 데이터 및 기타 요인 데이터는 CNN을 사용하여 모델링할 수 있다. 일부 실시예에서는, 예측 계산 점수(예: 계산된 점수, 가중치, 활동 수준 또는 일부 심장 불규칙성)의 확률분포를 구하기 위해 피드 포워드, 스킵 커넥션이 있는 CNN 및 가우시안 혼합 모델 출력을 활용한다.
일부 실시예에서는 다른 유형과 구성의 신경망을 활용할 수 있다. 완전하게 연결된 레이어의 수뿐만 아니라 콘볼루션 레이어의 수도 늘리거나 줄일 수 있다. 일반적으로 완전하게 연결된 레이어 대비 콘볼루션 레이어의 최적 개수와 비율은 실험 방식으로 어떤 구성이 주어진 데이터세트에 대해 최상의 성능을 발휘하는지를 판단하여 설정할 수 있다. 콘볼루션 레이어의 수는 완전하게 연결된 네트워크를 남기면서 0으로 줄일 수 있다. 콘볼루션 필터의 수와 각 필터의 너비도 늘리거나 줄일 수 있다. 일부 사례의 경우 신경망의 출력은 일차 타임 시퀀스에 대한 정확한 예측과 상응하면서 하나의 스칼라 값일 수 있다. 다른 방법으로서, 신경망의 출력은 로지스틱 회귀일 수 있다. 이 경우 각 범주는 일차 타임 시퀀스 값의 특정 범위 또는 등급과 상응하고, 이는 숙련된 전문가가 쉽게 평가할 수 있는 아무 개수의 대체 출력이다. 한편, 일부 실시예에서, 가우시안 혼합 모델 출력을 사용하는 목적은 네트워크를 잘 형성된 확률분포 학습으로 제한하고 제한적인 교육 데이터에 대한 보편화를 개선하는 것이다. 가우시안 혼합 모델의 일부 실시예에서 여러 요소를 사용하는 목적은 모델이 다중모드 확률분포를 학습할 수 있게 하는 것이다. 다양한 신경망의 결과를 조합하거나 취합하는 머신 러닝 모델도 사용할 수 있으며, 이 경우 결과를 조합할 수 있다.
컨트롤러는 탐지된 제품이 올바른지 여부를 판단한 후, 그 판단에 근거하여 제품 P2를 의미하는(및/또는 제품 P1을 의미하지 않는) 광고를 생성하여 디스플레이 416에 표시할 수 있다. 광고에는 제품 P2에 대한 삽화(예: 제품 P2와 관련된 라벨/태그)를 표시할 수 있다. 이 컨트롤러는 디스플레이 416과 관련된 디스플레이 컨트롤러에 광고를 전송할 수 있다. 디스플레이 컨트롤러는 내부 저장 공간 내 실제 위치와 상응하는 디스플레이 416의 위치에서 디스플레이 416의 광고를 출력할 수 있다. 예를 들어 제품 P2가 내부 저장 공간의 가장 왼쪽 위치에서 상단 선반에 있는 경우 디스플레이 컨트롤러는 디스플레이 416의 상응하는 픽셀 위치에 적합한 삽화 그래픽을 출력한다. 추가로 혹은 다른 방법으로서, 컨트롤러는 제품 P2가 제품 P1과 상응하는 위치 L1에 있다는 메시지를 생성하여 (예를 들어 직원과 연계된 무선 장치 106 또는 다른 컴퓨팅 장치에) 전송할 수 있다.
최소한 일부 사례의 경우 소매 제품 용기 102 내 제품을 식별하기 위한 위의 절차는 컨트롤러가 소매 제품 용기 902와 관련된 상품진열도 매핑 902만을 처리해야 하기 때문에 자원 효율적일 수 있다. 예를 들어 상품진열도 매핑 902는 소매 제품 용기 102와 관련이 있을 수 있고, 소매 제품 용기 902가 저장하도록 구성된 제품과 관련한 상세정보만을 구성할 수 있다(소매업자가 비축한 제품 전체에 대한 정보는 필요하지 않음). 그 결과, 절차는 컴퓨팅 용량이 낮은 편인 에지 프로세서로 수행할 수 있으며 높은 용량으로 전송할 필요가 없다.
또한 상품진열도 매핑 902를 위치별로 인덱싱할 수 있으므로 컨트롤러는 제품 설명을 신속하게 검색하여 저장된 제품의 속성과 비교할 수 있다. 예를 들어 컨트롤러는 제품이 탐지되는 위치를 식별하고 단순히 상품진열도 매핑 902 내 위치와 상응하는 항목을 스캐닝하여 제품을 식별하고 제품이 소매 제품 용기의 정확한 위치에 비축되어 있는지 여부를 판단할 수 있다.
컨트롤러는 머신 러닝 알고리즘을 사용하여 소매 제품 용기 102에 저장된 제품을 식별할 수 있다. 컨트롤러는 머신 러닝 알고리즘에서 저장된 제품의 속성(예: 모양, 색상, 치수 등)을 사용하여 저장된 제품을 식별할 수 있다. 컨트롤러는 예를 들어 상품진열도 매핑 902와 제품 설명을 기준으로 제품을 식별할 수 없는 경우 머신 러닝 알고리즘을 사용할 수 있다.
한 사례에서, 컨트롤러는 제품을 식별할 수 없는 경우 (예를 들어 직원과 연계된 무선 장치 106 또는 원격지에 있는 전문가 사용자와 연계된 컴퓨팅 장치 115에) 알림을 발송할 수 있다. 알림에는 직원/전문가 사용자가 식별할 수 있도록 소매 제품 용기 102의 ID, 합성 이미지 및/또는 미식별 제품의 속성(예: 모양, 색상, 치수 등)을 표시할 수 있다. 직원/전문가 사용자는 제품을 식별한 후 무선 장치 106/컴퓨팅 장치 115를 사용하여 제품의 ID를 수동으로 입력할 수 있다. 무선 장치 106 또는 컴퓨팅 장치 115는 컨트롤러에 제품의 ID를 전송할 수 있다. 한 사례에서, 컨트롤러는 제품을 식별할 수 없는 경우 식별을 위해 클라우드 기반의 중앙 처리 시스템(예: 클라우드 서비스 104)에 구해진 제품 속성을 발송할 수 있다. (예를 들어 직원/전문가 사용자 또는 클라우드 기반의 처리 시스템에 의한) 식별에 기반하여, 컨트롤러는 데이터 저장소 111에서 상품진열도 매핑 902를 업데이트하고 및/또는 제품과 관련된 삽화를 포함한 광고를 생성할 수 있다. 컨트롤러는 예를 들어 제품과 관련된 정보(예: 제품 표시자, 위치 표시자, 설명 등)를 포함한 상품진열도 매핑 902에 새 항목을 추가할 수 있다.
한 사례에서, 컨트롤러가 이미지 내 제품을 식별할 수 없는 경우 사용자(예: 직원/전문가 또는 기타 인간)는 제품을 수동으로 식별하여 제품 ID를 선택할 수 있다. 머신 러닝에서는 때때로 책무를 비지도 학습 또는 지도 학습으로 광범위하게 분류할 수 있다. 비지도 학습의 경우 머신 러닝 알고리즘은 피드백 없이(예를 들어 인간의 개입 없이) 아무 출력(예: 원하는 라벨)을 생성하도록 방치된다. 머신 러닝 알고리즘은 스스로 학습할 수 있고(예: 과거의 출력을 관찰함), 예를 들어 인간 관리자로부터 피드백을 받지 않고서(거의 받지 않고서) 작동한다. 한편, 지도 학습의 경우 머신 러닝 알고리즘은 출력에 대한 피드백을 받는다. 능동 학습, 준지도 학습 및/또는 강화 학습 등을 통해 다양한 방식으로 피드백이 제공될 수 있다. 능동 학습의 경우 머신 러닝 알고리즘은 관리자의 답변을 쿼리할 수 있다. 예를 들어 머신 러닝 알고리즘은 인간 형상 또는 일반적인 인간 얼굴 탐지 알고리즘에서 추측을 생성하고, 도면에서 해당 사진을 식별할 것을 관리자에게 요구하며, 그 추측과 관리자의 응답을 비교할 수 있다. 준지도 학습의 경우 머신 러닝 알고리즘은 라벨링되지 않은 데이터와 더불어 일련의 사례 라벨을 제공받는다. 예를 들어 머신 러닝 알고리즘은 라벨링된 일반적인 인간 얼굴이 있는 700개의 사진과 10,000개의 라벨링되지 않은 무작위 사진으로 구성된 데이터세트를 제공받을 수 있다. 강화 학습의 경우 머신 러닝 알고리즘은 올바른 라벨에 대한 보상을 받아, 보상을 일관성 있게 얻을 수 있을 때까지 조건을 반복적으로 관찰할 수 있다. 예를 들어 모든 일반적인 인간 얼굴이 정확하게 식별되는 경우 머신 러닝 알고리즘은 포인트 및/또는 신뢰 점수(예: “75% 정확도”)를 받을 수 있다.
지도 학습의 기본 이론 중 하나는 귀납적 학습이다. 귀납적 학습에서는 데이터 표현이 함수 (f(x))의 입력 샘플 데이터(x)와 출력 샘플로서 제공된다. 귀납적 학습의 목표는 새 데이터(x)의 함수에 관한 우수한 근사치를 학습하는 것이다. 즉, 미래에 새 입력 샘플에 대한 출력을 추정하는 것이다. 다양한 유형의 함수에 귀납적 학습을 사용할 수 있다: (1) 학습할 함수가 불연속적인 분류 함수; (2) 학습할 함수가 연속적인 회귀 함수; (3) 함수의 출력이 확률인 확률 추정.
실제로, 머신 러닝 시스템 및 그 기본 구성요소는 완벽한 머신 러닝 시스템을 위한 수많은 단계를 수행할 수 있도록 데이터 과학자가 조정합니다. 이 과정은 때때로 반복적이고 일련의 단계를 거쳐 루핑을 수반할 수 있습니다: (1) 분야, 사전 지식, 목표에 대한 이해; (2) 데이터 통합, 선정, 정리, 전처리; (3) 학습 모델; (4) 결과 해석; 및/또는 (5) 발견된 지식의 통합 및 배포. 여기에는 머신 러닝 시스템에서 최적화할 수 있는 거의 무한한 수의 변수를 감안하여 목표를 구체화하고 더욱 명확하게 하기 위해 분야 전문가와 협의하는 것도 포함될 수 있다. 한편, 하나 이상의 데이터 통합, 선정, 정리 및/또는 전처리 단계는 “쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)”라는 오래된 격언이 머신 러닝 시스템에서도 적용되기 때문에 때때로 매우 시간 소모적인 절차일 수 있다.
한 사례의 경우 AI 시스템은 xg 향상된 의사결정 나무, 자동 인코더, 퍼셉트론, 의사결정 나무, 지원 벡터 머신, 회귀 및/또는 신경망을 포함한 수많은 머신 러닝 모델 중 하나를 사용할 수 있다. 신경망은 피드 포워드 네트워크, 방사 기저 네트워크, 순환 신경망, 장/단기 메모리, 게이트 순환 유닛, 자동 인코더, 변이 자동인코더, 콘볼루션 네트워크, 잔차 네트워크, 코호넨 네트워크 및/또는 기타 유형을 포함한 수많은 유형의 신경망 중 하나일 수 있다. 신경망의 중간 레이어는 콘볼루션 레이어, 풀링 레이어, 밀집된(완전하게 연결된) 레이어 및/또는 기타 유형일 수 있다. 입력 레이어는 입력을 중간 레이어에 전달할 수 있다. 한 사례의 경우 신경망의 레이어는 시그모이드 함수, Tanh 함수, ReLu 함수 및/또는 기타 함수와 같은 활성화 함수를 사용할 수 있다. 또한 신경망에는 손실 함수도 포함될 수 있다. 신경망을 교육할 때는 출력 레이어의 출력을 예측으로 사용할 수 있다. 머신 러닝 시스템의 출력 데이터는 차원이 더 높은 데이터로 2차원 테이블(예: 행렬)의 확장인 다차원 배열로서 표현할 수 있다. 또한 오차를 구하기 위해 교육 인스턴스의 목표 값과 신경망을 비교할 수 있다. 오차를 사용하여 신경망의 각 레이어에서 가중치를 업데이트할 수 있다. 신경망은 경사 하강법을 사용하여 가중치를 업데이트할 수 있다. 다른 방법으로서, 신경망은 옵티마이저를 사용하여 각 레이어에서 가중치를 업데이트할 수 있다. 예를 들어 옵티마이저는 다양한 기법 또는 여러 기법의 조합을 사용하여 각 레이어에서 가중치를 업데이트할 수 있다. 적합한 경우 신경망에는 정규화(예: L1 또는 L2), 드롭아웃 및/또는 기타 기법과 같은 과적합 방지를 위한 메커니즘을 구성할 수 있다. 신경망은 과적합 방지에 사용되는 교육 데이터 양도 늘릴 수 있다.
머신 러닝용 데이터를 생성한 경우 최적화 프로세스를 사용하여 머신 러닝 모델을 변형할 수 있다. 한 사례의 경우 클라우드 서비스 104를 사용하여 소매 제품 용기 102에서 캡처된 이미지를 통합할 수 있고, 그 이미지 데이터를 사용하여 여기에 설명된 교육 대상 콘볼루션 신경망(CNN) 등의 모델과 같은 새 모델을 교육 및 테스트할 수 있다. 일부 사례의 경우 도 1c에 나와 있듯이, 모델은 에지 컴퓨팅 장치로 소매점 현장에서 작동할 수 있지만 컴퓨테이션 집중적인 교육/재교육을 클라우드 컴퓨팅 서비스 104에 오프로드하여 그 서비스에서 수행할 수 있다. 예를 들어 유연한 솔루션을 제공하기 위해 캡처된 이미지 부분을 클라우드에 업로드하여 모델을 거기에서 교육/업데이트할 수 있다. 모델이 업데이트 및/또는 확정되면 클라우드는 실행을 위해 하나 이상의 소매점에 있는 하나 이상의 에지 컴퓨팅 장치 110에 새 모델 버전을 배포할 수 있다. 물론, 에지 컴퓨팅 프로세서 101의 처리 능력과 속도가 향상되고 로컬 데이터 저장소 111의 제약이 개선됨에 따라 오프사이트 처리를 위한 클라우드 컴퓨팅 서비스 104의 사용량이 추가로 줄어들 수 있다. 한 사례에서, 소매점 100의 컴퓨팅 플랫폼과 클라우드 컴퓨팅 서비스 104 간 일시적인 연결 손실은 에지 컴퓨팅 장치 110이 적합하게 에지 컨트롤러 101에서 모델을 실행하고 로컬 데이터 저장소 111을 사용하고 있는 경우 일정 시간 동안 발생하지 않을 수 있다. 이후 재연결 시, 클라우드 컴퓨팅 서비스 104는 소매점 100과 데이터 및 기타 정보를 동기화하여 교환할 수 있다.
모델이 교육 및 업데이트된 상태에서, 최적화 프로세스를 사용하여 머신 러닝 모델을 변형할 수 있다. 최적화 프로세스에는 (1) 결과물을 예측하도록 데이터를 교육하는 것, (2) 머신 러닝 모델의 성능을 평가하기 위해 정확한 척도로서 역할을 하는 손실 함수를 정의하는 것, (3) 예를 들어 경사 하강법 알고리즘 또는 기타 알고리즘을 통해 손실 함수를 최소화하는 것, 및/또는 (4) 각 단계의 컴퓨테이션을 위해 머신 러닝 알고리즘에 전체 데이터세트를 제공하는 대신 데이터의 하위세트를 순차적으로 샘플링하는 확률적 경사 하강법(SGD)을 사용하는 것과 같은 샘플링 방법을 최적화하는 것이 포함될 수 있다.
예를 들어 컨트롤러는 위치 L1에서 탐지되는 제품을 식별하지 못할 수 있다. 컨트롤러는 탐지된 제품이 세 번째 치수를 지닌 박스 모양이고 색상이 갈색이라는 것을 판단할 수 있다. 컨트롤러는 미식별 제품에 대한 합성 이미지와 판단된 속성에 관한 알림을 직원과 연계된 무선 장치 106에 전송할 수 있다. 직원을 해당 제품을 제품 P3으로 식별할 수 있다. 무선 장치는 제품 P3에 대한 표시를 컨트롤러에 전송하고, 이후 컨트롤러는 상품진열도 매핑 902를 업데이트하여 위치 L1에 제품 P3을 표시할 수 있다. 컨트롤러는 위치 L1에서 제품 P3에 대한 설명을 추가로 포함하여, 제품 P3이 세 번째 치수를 지닌 박스 모양이고 색상이 갈색이라는 것을 표시할 수 있다. 컨트롤러는 제품 P3을 의미하는 광고를 생성하여 디스플레이 416에 표시할 수 있다.
한 예시의 경우 컨트롤러는 교육 절차를 기준으로 제품 설명을 판단할 수 있다. 예를 들어 직원은 상품진열도 매핑 902를 기준으로 소매 제품 용기 102를 비축하고 컨트롤러에서 교육 절차를 개시할 수 있다. 컨트롤러는 합성 이미지와 상품진열도 매핑 902를 기준으로 소매 제품 용기 102에 비축된 제품의 관련 설명(예: 모양, 색상, 치수 등)을 판단할 수 있다. 예를 들어 컨트롤러는 위치 L1을 스캔하여 위치 L1에 저장된 제품 P1과 관련된 설명을 판단할 수 있다.
제품의 재고 현황 판단에는 소매 제품 용기 102 내 제품 수량(예: 제품 포장 수) 판단이 포함될 수 있다. 한 사례의 경우 소매 제품 용기 내 제품 포장이 서로 겹쳐 쌓여 있을 수 있으며, 컨트롤러는 합성 이미지에 대한 이미지 처리 알고리즘뿐만 아니라 제품 설명(예: 모양, 치수, 색상)도 사용하여 수량을 판단할 수 있다.
한 사례의 경우 첫 번째 제품 포장이 그 뒤에 배치된 다른 제품 포장을 잘 보이지 않게 할 수 있다. 첫 번째 포장을 치우면 다음 포장이 드러날 수 있다. 컨트롤러는 복수의 합성 이미지를 비교하여 포장 배치/배향의 미세한 변경을 판단해 첫 번째 포장이 제거되었는지 여부를 판단할 수 있다. 예를 들어 컨트롤러는 첫 번째 합성 이미지에 처음 방식으로 배향된 포장이 나타나고 다음 합성 이미지에 다른 방식으로 배향된 포장이 나타난다고 판단하는 경우 포장이 제거되었다고 판단할 수 있다.
한 사례의 경우 각 포장은 고유한 SKU 식별자와 관련이 있을 수 있고, 컨트롤러는 복수의 합성 이미지를 비교하여 제품과 관련된 SKU 식별자를 판단할 수 있다. 컨트롤러는 첫 번째 합성 이미지에 첫 번째 SKU 식별자가 있는 첫 번째 포장이 나타나고 다음 합성 이미지에 다른 SKU 식별자가 있는 두 번째 포장이 나타난다고 판단하는 경우 첫 번째 포장이 제거되었다고 판단할 수 있다.
컨트롤러는 포장이 제거된 횟수를 계산할 수 있다. 소매 제품 용기 102에 비축된 최초 포장 수량과 계수를 기준으로, 컨트롤러는 소매 제품 용기에 남아 있는 제품 수량을 판단할 수 있다. 최초 포장 수량을 상품진열도 매핑 902 또는 제품 설명에 표시할 수 있다. 최초 수량은 소매 제품 용기 102를 비축하는 직원이 입력할 수 있다.
컨트롤러는 제품 수량을 표시하는 메시지를 생성하여 (예를 들어 무선 장치 106 또는 다른 컴퓨팅 장치에) 전송할 수 있다. 컨트롤러는 제품 수량에 대한 판단뿐만 아니라 수량이 (예를 들어 미리 지정된) 임계 수량 이하라는 판단에 근거해 제품 재고가 적다는 것을 표시하는 메시지를 생성하여 전송할 수 있다. 각 제품에 대한 임계 수량은 제품과 관련된 설명에 명시할 수 있다.
제품의 재고 현황 판단에는 소매 제품 용기 102에 있는 포장의 재고 보유 시간 판단이 포함될 수 있다. 각 제품 포장이 고유한 SKU 식별자와 관련이 있는 한 사례의 경우 컨트롤러는 합성 이미지와 합성 이미지가 캡처된 시점을 사용하여 특정 SKU 식별자와 상응하는 포장과 관련된 재고 보유 시간을 판단할 수 있다. 예를 들어 (화요일 오후 12시 시점의) 첫 번째 합성 이미지에 첫 번째 SKU가 있는 포장이 나타나고 (오후 9시 시점의) 두 번째 합성 이미지에 첫 번째 SKU가 있는 동일한 포장이 나타나는 경우 컨트롤러는 포장의 재고 보유 시간이 9시간이라고 판단할 수 있다. 한 사례의 경우 컨트롤러는 제품 수량이 줄어들지 않는 기간과 동일한 재고 보유 시간을 판단할 수 있다. 컨트롤러는 예를 들어 제품의 재고 보유 시간이 임계값을 초과한 경우 알림 메시지를 생성하여 (예를 들어 무선 장치 106 또는 다른 컴퓨팅 장치에) 전송할 수 있다. 위의 사례를 참고하면서, 임계값이 14일로 정해진 경우 컨트롤러는 포장의 재고 보유 시간이 임계값을 초과했다는 것을 표시하는 알림 메시지를 전송할 수 있다. 각 제품에 대한 임계 시간은 제품과 관련된 설명에 명시할 수 있다.
한 사례의 경우 컨트롤러는 합성 이미지를 사용하여 (예를 들어 제품 라벨에 적힌 대로 혹은 SKU를 활용해) 만기일을 정할 수 있다. 컨트롤러는 예를 들어 제품이 만기일을 지난 경우 알림 메시지를 생성하여 (예를 들어 무선 장치 106 또는 다른 컴퓨팅 장치에) 전송할 수 있다.
컨트롤러는 소매 제품 용기 102와 통합하거나, (예를 들어 소매 제품 용기가 배치된 소매점에서) 인근에 배치할 수 있다. 이렇게 하면 컨트롤러가 여기에 설명된 다양한 절차를 수행하는 데 있어 (예를 들어 클라우드 기반의 서비스와의) 외부 연결 없이도 작동할 수 있다.
도 10은 소매 제품 용기 102 내 제품의 재고 현황 판단을 기준으로 디스플레이 416에 표시할 수 있는 다양한 광고 1004~1020을 보여준다. 컨트롤러는 제품 1024가 소매 제품 용기 102에 비축되어 있지 않다고 판단할 수 있다. 광고 1008과 같이, 컨트롤러는 재고소진 알림(예: 표준화된 재고소진 이미지)을 제품 1024와 관련된 라벨/태그 위에 덮어씌울 수 있다.
다른 방법으로서, 광고 1012와 같이 컨트롤러는 다른 제품과 관련된 라벨/태그를 제품 1024와 관련된 라벨/태그 위에 덮어씌울 수 있다. 다른 제품과 이 제품 1024는 동일한 브랜드와 관련이 있거나 다른 브랜드와 관련이 있을 수 있다.
다른 브랜드와 관련된 라벨/태그를 표시하지 못하도록, 제품 1024와 상응하는 브랜드는 소매 제품 용기 102가 특정 제품의 그래픽을 특정 소매 제품 용기에 표시하거나 표시하지 못하게 하는 컴퓨팅 플랫폼 100에 대한 제한 규칙을 설정하는 방식으로 제품 1024와 관련된 라벨/태그를 보호할 수 있다. 이 규칙에 기반하여, 해당 브랜드의 다른 제품과 관련된 라벨/태그를 표시하도록 광고 그래픽을 구성할 수 있다. 예를 들어 광고 1016과 같이, 컨트롤러는 브랜드별로 다른 제품을 광고하는 라벨/태그를 덮어씌울 수 있다. 브랜드는 이와 유사한 방식으로 광고 1008에서 모든 라벨/태그를 보호하기 위한 계약을 협상할 수 있다.
다른 방법으로서, 광고 1020과 같이 컨트롤러는 판촉행사와 관련된 라벨/태그를 덮어씌울 수 있다. 예를 들어 소매 제품 용기 102가 있는 소매업자는 자신이 제공하는 다른 제품과 관련된 판촉행사에 관한 라벨/태그를 덮어씌울 수 있다.
도 11은 실시예에 따른, 하나 이상의 소매 제품 용기를 지원하는 광고 컴퓨터 시스템 1100을 보여준다. 컴퓨터 시스템 1100에는 에지 프로세서(컨트롤러) 101, 소매 제품 용기 102~103, 클라우드 서비스 104와의 인터페이스가 있다(도 1 참조). 예를 들어, 일부 실시예의 경우, 구성요소 1102~1105 및 1107은 에지 프로세서 101에서 구현할 수 있고, 구성요소 1106 및 1108~1109는 소매 제품 용기 102~103에서 구현할 수 있다.
광고 관리자 1107은 도 11을 참고하여, 광고 저장소 1104와 상호작용하여 클라우드 서비스 1101로부터 광고 콘텐츠를 다운로드할 수 있다. 광고 관리자 1107은 광고 저장소 1104를 통해 클라우드 서비스 1101로부터 (예를 들어 제품 유형을 기준으로 복수의 광고에 상응하는) 선정된 광고 콘텐츠를 요청할 수 있으며, 스크린 플레이어 1108을 통해 스크린(디스플레이) 1109에 복수의 광고 중 하나를 표시할 것을 명령할 수 있다. 앞서 논의했듯이, 스크린 플레이어 1108은 미디어 플레이어 417을 구성할 수 있으며 소매 제품 용기 102와 103 및/또는 컨트롤러 101에서 구현할 수 있다.
광고 관리자 1107은 한 편의 광고에서부터 수많은(예: 수백 편의) 광고에 이르기까지 일련의 광고를 요청하여 소매 제품 용기 102에 다운로드할 수 있다. 소매 제품 용기 102에 비축된 제품 유형을 기준으로 요청할 수 있다. 예를 들어 광고 관리자 1107은 재고 추적기 420(도 4 참조)을 통해 받거나 지정된 저장 제품에 대한 용기 식별의 매핑을 통해 얻은 재고 정보를 기준으로 이러한 요청을 실시할 수 있다.
광고 관리자 1107은 도어 센서/카메라 1106(예: 도 2와 같이 도어 230에 배치되어 있음), 제3자 데이터 모듈 11011 및/또는 휴대폰 앱 지원 모듈 1103으로부터 받은 센서/카메라 정보를 기준으로 다운로드된 광고 중 하나를 선정할 수 있다.
앞으로 더 자세히 논의하겠지만, 광고 평가자 1102는 도어 센서/카메라 1106과 휴대폰 앱 지원 모듈 1103으로부터 받은 정보를 기준으로 스크린 1109에 표시할 광고의 효과를 판단할 수 있다. 예를 들어 도어 이미지 센서 1106은 고객이 표시된 광고의 특정 영역을 시청하고 있다는 것을 표시할 수 있으며, 및/또는 고객은 모바일 앱을 통해 효과를 표시할 수 있다. 효과 수준(도 16의 블록 1606~1610에 나와 있음)은 다양한 방식으로 정할 수 있다. 예를 들어 그 수준은 고객이 표시되는 광고 내 제품을 시청하고 있는 지속시간의 다양한 값에 매핑하거나, 모바일 앱으로 고객이 입력한 항목을 통해 직접 구할 수 있다.
클라우드 서비스를 사용하여 광고 컴퓨터 시스템 1100에 필요한 추가 컴퓨터 자원을 제공할 수 있지만, 클라우드 서비스 1101에서 제공할 수 있는 하나 이상의 컴퓨터 서버가 컴퓨터 자원을 제공할 수도 있다. 예를 들어 광고 관리자 1107, 광고 평가자 1102, 휴대폰 앱 지원 1103 및/또는 제3자 데이터 11011이 모두 클라우드 1110에 있을 수 있다. 또한 전술한 시스템은 모두 합쳐서 또는 개별적으로 클라우드 서비스 1101이라 부를 수 있다. 예를 들어 판매회사는 광고 관리자 1107이 클라우드 1110으로부터 광고 콘텐츠를 다운로드할 수 있도록 광고 저장소 1104를 통해 광고 콘텐츠를 제공할 수 있다. 광고 관리자 1107은 클라우드 1110으로부터 (예를 들어 제품 유형을 기준으로 복수의 광고에 상응하는) 선정된 광고 콘텐츠를 요청하여 스크린 플레이어 1108을 통해 스크린(디스플레이) 1109에 표시할 수 있다. 도 11의 구성요소는 별도로 표시되지만, 공개 내용은 그에 국한되지 않으며 하나 이상의 구성요소를 병합/분리할 수 있다.
도 12는 실시예에 따라 하나 이상의 소매 제품 용기(예: 소매 제품 용기 102 및 103)를 지원할 수 있는 에지 컴퓨팅 장치(컨트롤러) 1200을 보여준다. 컨트롤러 1200은 컨트롤러 101과 상응할 수 있다.
컨트롤러 1200은 여기에서 논의된 프로세스(예: 도 13~19에 나와 있는 각 프로세스 1300~1900)를 구현할 수 있는 처리 장치 1201을 포함할 수 있다. 처리 장치 1201은 컨트롤러 1200 및 그와 관련된 구성요소의 전반적 작동을 제어할 수 있다. 처리 장치 1201은 다양한 컴퓨터 판독가능 매체를 다룰 수 있는 메모리 장치 1204의 컴퓨터 판독가능 명령어에 접속하여 이를 실행할 수 있다. 예를 들어 컴퓨터 판독가능 매체는 처리 장치 1201로 액세스할 수 있는 이용 가능한 아무 매체일 수 있으며, 휘발성 및 불휘발성 매체와 분리가능 및 분리불가능 매체 모두를 포함할 수 있다. 제한이 아닌 사례로써, 컴퓨터 판독가능 매체는 컴퓨터 스토리지 매체와 통신 매체의 조합을 구성할 수 있다.
또한 처리 장치 1201은 클라우드 인터페이스 1203을 통해 클라우드 서비스로부터 광고 콘텐츠를 다운로드하며, 다운로드된 콘텐츠를 메모리 장치 1205에 저장하고, 메모리 장치 1205를 통해 다운로드된 콘텐츠(예: 선정된 광고)에 액세스하며, 스크린 인터페이스 1206을 통해 디스플레이 416에 광고 콘텐츠를 제공할 수 있다. 앞서 논의했듯이, 도 4와 같이 미디어 플레이어 417을 통해 디스플레이 412에 광고 콘텐츠를 제공할 수 있다.
앞서 논의했듯이, 컨트롤러 1200은 클라우드 컴퓨팅 인터페이스 1203을 통해 클라우드 서비스 1101로부터 광고 콘텐츠(도 11과 같이 광고 저장소 1104를 통해) 및 제3자 데이터(제3자 데이터 모듈 1105를 통해)를 구할 수 있다. 또한 컨트롤러 1200은 무선 통신(예: 휴대폰 앱 지원 모듈 1103)을 통해 고객과 상호작용하고, 클라우드 컴퓨팅 인터페이스 1203을 통해 광고 평가(예: 광고 평가 1102를 통해)를 제공할 수 있다.
컴퓨터 스토리지 매체에는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 방법이나 기술로 구현되는 휘발성 및 불휘발성 매체, 그리고 분리가능 및 분리불가능 매체가 있을 수 있다. 컴퓨터 스토리지 매체는 원하는 정보를 저장하는 데 사용할 수 있고 컴퓨팅 장치로 액세스할 수 있는 랜덤 액세스 메모리(RAM), 읽기전용 메모리(ROM), 전자적으로 소거 및 프로그래밍 가능한 읽기전용 메모리(EEPROM), 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 기타 광학 디스크 스토리지, 마그네틱 카세트, 마그네틱 테이프, 마그네틱 디스크 스토리지 또는 기타 마그네틱 스토리지 장치 등의 매체를 포함하지만 이에 국한되지 않는다.
통신 매체는 반송파 등의 전송 메커니즘과 같은 변조된 데이터 신호에서 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 포함하고, 정보 전달 매체가 있을 수 있다. 변조된 데이터 신호는 하나 이상의 특성 세트가 있거나 신호 내 정보를 인코딩하는 방식으로 변경된 신호일 수 있다. 제한이 아닌 사례로써, 통신 매체에는 유선 매체(예: 유선 네트워크 또는 직접 유선 연결) 및 무선 매체(예: 음향, RF, 적외선 및 기타 무선 매체)가 있을 수 있다.
처리 장치 1201은 인터페이스 1202를 통해 고객 탐지기 418과 재고 추적기 420으로부터 이미지 센서 데이터도 구할 수 있다. 처리 장치 1201은 이 데이터를 사용하여 (예를 들어 고객 탐지기 418을 통해) 소매 제품 용기 102 대비 고객 위치와 소매 제품 용기 102의 현재 재고를 판단할 수 있다.
(메모리 1204의 컴퓨터 판독가능 명령어를 실행하는) 컨트롤러 1200은 각 소매 제품 용기 102(도 4에 나와 있음)의 디스플레이 416이 소매 제품 용기 102의 내부 저장 공간에 실제로 들어 있는 제품에 대한 현재 가격 정보를 표시하도록 구성할 수 있으며, 이 경우 가격은 컨트롤러 1200이 정할 수 있다. 일부 사례의 경우 현재 가격 정보 및 기타 제품 상세정보는 소매점 구내에 있는 POS 가격 시스템으로부터 수신할 수 있다. 이 POS 시스템은 유선 또는 무선 방식으로 소매 제품 용기 102의 컨트롤러 1200과 통신하여 소매 제품 용기 102의 디스플레이 장치에 표시할 콘텐츠를 업데이트할 수 있다. 다른 사례의 경우 현재 가격 정보 및 기타 정보는 클라우드 기반의 서비스를 통해 소매점의 소매 제품 용기 102에 전송할 수 있다.
컨트롤러 1200은 인터페이스 1202를 통해 고객 탐지기 418(도 4에 나와 있음)이 제공하는 정보로 고객을 탐지하도록 구성할 수 있으며, 고객 탐지기 418의 정보를 기준으로 스크린 인터페이스 1206을 통해 디스플레이 3112에 판촉행사를 표시하도록 구성할 수 있다.
컨트롤러 1200은 (이미지 인식 소프트웨어와 더불어 재고 추적기 420을 통해) 각 소매 제품 용기 102의 재고 정보를 효과적으로 구할 수 있다. 컨트롤러 1200은 클라우드 인터페이스 1203을 통해 유통업자에게 데이터를 전송하고 및/또는 복수의 소매 제품 용기의 재고조사와 관련한 전체 재고를 저장하도록 구성할 수 있다. 예를 들어 시스템 150(도 1a에 나와 있음)은 재입고 알림을 발행하고 상품 업데이트, 가격책정 관리, 실시간 판매 데이터, 고객 행동 분석을 제공하도록 구성할 수 있다.
컨트롤러 1200은 고객 탐지기 418을 통해 고객이 소매 제품 용기와 충분히 가깝게 있지 않을 때(예: 도 14의 블록 1401) 풀 스크린 광고를 표시할 것을 디스플레이 416에 명령하도록 구성할 수 있다. 예를 들어 고객이 통로에 접근하고 있지만 미리 지정된 값보다 더 먼 거리에서 탐지될 때 해당 고객은 디스플레이 416에서 풀 스크린 광고를 볼 수 있다. 다른 사례로서, 고객 탐지기 418의 능력 내에서 탐지되는 고객이 없을 때 컨트롤러 1200은 기본 절차에 따라 풀 스크린 광고를 표시할 것을 디스플레이 416에 명령할 수 있다. 여기에 공개된 시스템에 따른 한 실시예에서, 고객 탐지기 418은 동작을 사용하여 고객이 있는지 여부를 탐지할 수 있다. 여기에 공개된 시스템에 따른 다른 실시예에서, 고객 탐지기 418은 인간의 형상을 탐지하는 방식으로 작동할 수 있다. 예를 들어, 한 실시예에서, 고객 탐지기 418은 단순히 동작이 탐지될 때가 아니라 일반적인 성인 얼굴이 탐지될 때 활성화될 수 있다. 그러한 실시예들은 거짓 양성 횟수를 줄일 수 있다. 예를 들어, 애완동물, 아기 또는 인간 이외의 동작(예: 바람)으로 인해 고객 탐지기 418이 활성화되지 않을 수도 있다. 일부 실시예에서는, 사람의 고유한 식별 특징 없이 인간의 형상만을 탐지한다는 점에서 인간의 형상을 익명으로 처리할 수 있다. 다른 실시예들에서, 이미지 센서 423 등을 포함하여 여기에서 공개되는 시스템의 구성요소 하나 이상과 연계하여 고객 탐지기 418이 그 외 수준의 상세사항을 탐지, 캡처 및/또는 필터링할 수 있다.
사례로써, 소매 제품 용기 102의 20피트 이내에서 동작이나 인간의 형상이 탐지된 경우(이 경우 고객 탐지기 418은 해당 소매 제품 용기 102의 도어에 장착됨) 컨트롤러 1200은 풀 스크린 광고 표시를 종료하고 소매 제품 용기 102 내부에 있는 제품의 상품진열도 표시로 전환하도록 구성할 수 있다. 배너 광고와 가격표도 메모리 1205로부터 로딩하여 상품진열도 표시와 동시에 표시할 수 있다. 컨트롤러 1200은 상품 광고 대상물과 레이어를 관리하도록 구성할 수도 있다.
컨트롤러 1200은 쇼핑객(예: 고객)이 소매 제품 용기 102에 가까이 접근함에 따라 디스플레이 416의 광고 콘텐츠가 바뀔 수 있도록 구성할 수 있다. 예를 들어 디스플레이 416은 라벨(예: 도 8과 같이 유기농, 유전자 조작 없는 농산물 등) 및 태그(예: 로컬 카드로 판매, 현지에서 생산, 인기 품목 등)를 포함하도록 바뀔 수 있다. 컨트롤러 1200을 통해 판촉행사 라벨과 태그를 활성화하여 미리 지정된 일련의 정적 애니메이션 아이콘으로 선택하거나, 사업 및 마케팅 목적으로 소매업자 및/또는 브랜드가 맞춤화할 수 있다. 여기에서 공개되는 시스템의 양상에 따른 한 실시예에서, 컨트롤러 1200은 하나 이상의 고객 검토 정보원을 사용하여(예: 도 11과 같이 제3자 데이터 1105를 사용하여) 고객 평가 점수(예: 1~5개의 별표, 인기 품목 또는 선호 품목)를 포함하도록 구성할 수 있다. 한편, 여기에서 공개되는 시스템의 그 외 실시예들은 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다는 점에서 “신분 미식별형(identity-blind)”이다. 일부 실시예의 경우, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 및/또는 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
컨트롤러 1200은 쇼핑객이 특정 소매 제품 용기 102 앞에 서 있거나 머무를 때 디스플레이 416에 출력되는 콘텐츠(예: 그래픽 렌더링)가 다시 바뀔 수 있도록 구성할 수 있다. 일부 실시예에서, 컨트롤러 1200은 고객 탐지기 418의 정보를 사용하여 성별, 연령, 기분 등과 같은 그러한 특정 고객에 대한 자세한 정보를 효과적으로 학습할 수 있다. (다른 방법으로서 혹은 조합하여, 앞으로 논의하겠지만 컨트롤러 1200은 고객이 표시된 초청에 응답하여 참여할 때 모바일 앱을 통해 고객 정보를 얻을 수 있다.) 일부 실시예에서, 컨트롤러 1200은 탐지된 고객 정보를 처리하여 특정 또는 맞춤식 광고를 판단해 그러한 특정 고객에게 디스플레이 416으로 해당 광고를 보여주도록 구성할 수 있다. 쇼핑객이 시청할 수 있는 거리 내에서 모든 소매 제품 용기의 디스플레이에 광고 콘텐츠를 표시하면서 쇼핑객 데이터를 추적하는 방식으로, 소매업자는 구매 의사결정 시점에 영향을 미치는 새로운 기회를 포착하여 전통적 접근법 대비 마케팅 비용을 최적화하고 새로운 수입원을 창출할 수 있다. 한편, 여기에 공개된 시스템의 다른 실시예는 개인정보보호와 보안 기능이 기술 플랫폼과 운영 모델에 통합되도록 설계되어 있다. 또한 그러한 실시예는 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다. 그러한 실시예에서, “신분 미식별형(identity-blind)”인 소매 고객 안전 플랫폼이 만들어진다. 일부 실시예에서, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다. 컨트롤러 1200은 쇼핑객이 디스플레이 416 앞에 서 있는 동안(이는 그러한 특정 소매 제품 용기 102의 도어에 장착된 이미지 센서로 탐지할 수 있음) 신규 이벤트, 날씨, 스포츠 이벤트 등을 기준으로 관련 조건부 광고가 디스플레이 416에 표시되도록 구성할 수 있다.
위에서 논의했듯이, 컨트롤러 1200은 소매 제품 용기 102 내부에서 하나 이상의 카메라 및/또는 센서를 구성할 수 있는 재고 추적기 420을 통해 소매 제품 용기 102의 재고를 계속 추적하도록 구성할 수 있다. 컨트롤러 1200이 특정 제품의 재고가 소진되었다고 판단한 경우, 컨트롤러 1200이 디스플레이 416에 표시되는 콘텐츠를 수정할 수 있다. 예를 들어, 재고 소진 삽화가 표시되거나 광고가 교체될 수 있다.
앞으로 논의하겠지만, 프로세스 1300~1900(각각 도 13~19에 나와 있음)은 하나 이상의 실시예 양상에 따라 실행할 수 있는 프로세스 중 일부이다. 처리 장치 1201은 메모리 장치 1204의 컴퓨터 판독가능 명령어를 실행하여 프로세스 1300~1900을 수행할 수 있다(도 12 참조).
도 13은, 실시예에 따라, 광고 컴퓨터 시스템 1100을 지원하는 컴퓨팅 플랫폼 100(도 1에 나와 있음)을 구성하는 플로우차트 1300을 보여준다.
블록 1301에서, 컨트롤러 1200은 컨트롤러 1200에 의해 지원되어야 하는 소매 제품 용기(예: 용기 102 및 103)를 검색한다. (컨트롤러는 소매 제품 용기에 표시되는 광고를 제어할 때 그러한 소매 제품 용기를 지원한다.) 실시예들은 센서와 카메라를 포함하여 소매 제품 용기 및 관련 장치의 알려진 목록을 활용하거나, 검색 절차(예: 센서와 카메라를 포함한 IoT 장치를 검색하고 이를 해당 소매 제품 용기와 연계하는 절차)를 활용한다.
지원되는 소매 제품 용기가 검색되면 컨트롤러 1200은 블록 1302에서 특정 소매 제품 용기(예: 소매 제품 용기 103)에 저장된 제품 유형/제조자를 판단한다. 예를 들어 소매 제품 용기는 비축된 제품에 대한 스캐닝된 범용 제품 코드를 보고할 수 있다. 다른 방법으로서 혹은 조합하여, 컨트롤러 1200은 지원되는 각 소매 제품 용기와 비축된 해당 제품 유형 간 매핑에 액세스할 수 있다. 블록 1303에서, 컨트롤러 1200은 특정 소매 제품 용기의 비축 제품과 관련된 광고(광고 세트라고 할 수 있음)를 다운로드할 수 있다.
지원되는 추가 소매 제품 용기가 있는 경우 블록 1304에서 정해진 대로 지원되는 다음 소매 제품 용기에 대해 블록 1302~1303을 반복할 수 있다.
관련 광고의 콘텐츠를 다운로드한 후 컨트롤러 1200은 다양한 기준(예: 프로세스 1400, 1500, 1600, 1700에 의해 정해진 것)에 따라 다운로드된 광고 중 하나를 표시할 것을 각 소매 제품 용기에 명령할 수 있다.
도 14는, 실시예에 따라, 소매 제품 용기의 스크린에서 광고를 생성하는 플로우차트 1400을 보여준다. 처음에는 블록 1401에서 소매 제품 용기의 디스플레이에 풀 스크린 광고를 표시한다. 예를 들어 앞서 논의했듯이, 컨트롤러 1200은 소매 제품 용기 102에 비축된 제품을 기준으로 적합한 광고를 표시할 것을 소매 제품 용기 102에 명령할 수 있다.
블록 1402에서 고객이 미리 지정된 거리 내에 있다는 것이 고객 탐지기 418(도 4에 나와 있음)에 나타나면 컨트롤러 1200은 소매 제품 용기 102에 비축된 제품을 반영하는 블록 803의 상품진열도를 표시할 것을 소매 제품 용기 102에 명령할 수 있다.
블록 1404에서 고객이 소매 제품 용기 102에 훨씬 더 가까이(미리 지정된 거리 내, 예를 들어 12~15피트 내) 접근하는 것이 고객 탐지기 418에 나타나면 컨트롤러 1200은 블록 1405의 표시되는 상품진열도 내에 참여 초청을 생성할 수 있다. 예를 들어 초청 화면의 중앙에는 큐알(QR) 코드가 있을 수 있다. 고객은 참여를 원하는 경우 고객의 스마트폰을 통해 QR 코드를 스캔하여 링크를 열거나 QR 코드와 관련된 모바일 앱을 다운로드할 수 있다. 다른 사례의 경우 QR 코드 대신 혹은 QR 코드에 추가하여, QR 코드 이외의 이미지(예: 기계가 탐지할 수 있는 워터마크가 있는 이미지), 블루투스(또는 그 외 단거리 무선 프로토콜) 비콘 또는 기타 메커니즘을 제공하여 고객에게 초청을 표시할 수 있다. 일부 사례의 경우 가장 선호하는 메커니즘을 선택할 수 있도록 고객에게 선택권을 제공하기 위해 해당 사용자의 장치에 여러 초청을 동시에 전송할 수 있다. 다른 사례의 경우 고객이 소매 제품 용기 102로부터 특정 거리에 있을 때 첫 번째 방법(예: 무선 비콘)을 사용할 수 있고, 고객이 용기 102와 더 가까이 있을 때 두 번째 방법(예: QR 코드)을 사용할 수 있도록 초청 표시를 시리즈로 전송할 수 있다. 앞의 사례 중 하나에서는 미리 지정된 12~15피트 거리의 사례가 설명되었지만, 공개 내용은 그에 국한되지 않는다. 예를 들어 고객에게 초청을 표시하는 용도로 사용되는 메커니즘에 따라, 미리 지정된 거리는 15피트를 초과하거나 12피트 미만의 거리일 수 있다.
고객이 참여하는 경우 블록 1406에서 정해진 대로 컨트롤러 1200은 모바일 앱을 통해 구한 고객 정보를 기준으로 맞춤식 광고를 소매 제품 용기 102의 디스플레이에 생성할 수 있다. (예를 들어 고객은 제시된 QR 코드를 스캐닝하여 모바일 앱에 대한 사용 계약을 수락하는 방식으로 초청을 수용할 때 참여하게 된다.) 소매 고객 안전 플랫폼에 따라, 고객이 참여할 때까지 시스템은 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다는 점에서 “신분 미식별형(identity-blind)” 상태를 유지할 수 있다. 소매 고객 안전 플랫폼은 개인정보보호와 보안 기능이 기술 플랫폼과 운영 모델에 통합되도록 설계할 수 있다. 그러한 실시예들은 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인을 식별하려고 하지 않는다. 일부 실시예에서, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
블록 1409에서, 컨트롤러 1200은 소매 제품 용기 102에 비축된 하나 이상의 제품에 대해 고객의 스마트폰을 통해 특가 판매를 생성할 수 있다. 프로세스 1400은 고객 탐지기 418이 고객의 존재를 계속 탐지하는 동안 블록 1410에서 이 모드를 지속한다. 그렇지 않으면 프로세스 1400은 블록 1401로 되돌아가고, 이 경우 풀 스크린 광고가 나타난다.
고객이 참여하지 않는 경우 블록 1406에서 정해진 대로 일반적인 정보(고객 관련 정보 아님)를 기준으로 블록 1407에 표시된 상품진열도 내에 광고를 삽입할 수 있다. 사례로는 도 8의 광고 802~805 및 도 10의 광고 1008과 1020이 있다. 프로세스 1400은 고객이 탐지되는 동안 블록 1408에서 모드를 지속한다. 그렇지 않다면 프로세스 1400은 블록 1401로 되돌아간다.
프로세스 1400이 블록 1408 또는 1410으로부터 블록 1401로 되돌아가는 경우, 블록 1402에서 고객 탐지기 418이 후속 고객을 탐지할 때 프로세스 1400이 블록 1403~1410의 실행을 반복한다.
도 15는, 실시예에 따른 일련의 규칙을 통해 선정되는 광고를 표시하는 플로우차트 1500을 보여준다. 컴퓨팅 플랫폼 100은 기상 상태, 날짜 및/또는 용기와 인접해 있는 고객에 대한 특성을 아우를 수 있는 일련의 규칙을 기준으로 용기의 디스플레이에 표시할 광고를 판단한다. 예를 들어 고객이 음료 용기 근처에 20초간 서 있고, 바깥이 98도이며, 날짜가 7월 3일(즉, 7월 4일 직전)인 것을 기준으로 하여 제시할 광고를 선택할 수 있다.
일련의 규칙 1505는 다양한 요소를 기준으로 일련의 광고 1504에서 표시할 적합한 광고를 선택한다(도 15 참조). 공개의 다양한 양상에 따른 한 실시예에서, 이러한 요소에는 고객 특성 1501, 고객 시청 정보 1502 및/또는 일반 정보 1503이 포함될 수 있다. 예를 들어 고객은 (예시로 참여한 후) 모바일 앱을 통해 브로콜리를 싫어하고 아이스크림을 좋아한다는 것을 표현할 수 있다. 또한 고객 탐지기 418은 아이스크림 제품이 나타날 때 고객이 표시된 상품진열도의 특정 구역을 시청하고 있다는 것을 표시할 수 있다. 그러한 시나리오에서, 컴퓨터 플랫폼 100은 아이스크림 제품에 관한 광고를 개시할 수 있다. 그러나 여기에 공개된 시스템의 다른 실시예들은 일련의 규칙 1505가 “신분 미식별형”이 되도록 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능한다. 또한 시스템의 이러한 실시예들은 개인을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다. 일부 실시예에서, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
블록 1506에서 컴퓨팅 플랫폼 100이 적합한 광고를 식별한 경우 블록 1507에서 해당 소매 제품 용기에 그 광고를 표시할 수 있다.
도 16은, 실시예에 따라 표시되는 광고의 효과 수준을 판단하는 플로우차트 1600을 보여준다. 컴퓨팅 플랫폼 100은 소매 제품 용기의 디스플레이에 표시되는 광고의 효과를 평가한다. 예를 들어, 컴퓨팅 플랫폼 100은 고객이 소매 제품 용기의 지정 거리 내에 있는지 및/또는 한 명 이상의 고객이 제시된 광고를 시청하고 있는지를 탐지할 수 있다.
블록 1601에서 컴퓨팅 플랫폼 100은 정보(예: 용기로부터 탐지되는 고객의 거리, 고객이 시청하고 있는 디스플레이 영역, 및/또는 고객이 시청하고 있는 위치)를 구할 수 있다(도 16 참조).
블록 1602에서, 컴퓨터 플랫폼 100은 고객이 미리 지정된 거리 내에 있는지 여부(즉, 소매 제품 용기와 충분히 가까이에 있는지 여부)를 판단한다. 그렇다면 블록 1604에서 고객 탐지기 418은 (예를 들어 홍채 스캐닝 센서를 통해) 고객의 눈 동작을 추적하고, 눈 동작 정보에 근거해 효과 수준(예: 성공 척도)을 판단할 수 있도록 컨트롤러 101에 눈동작 정보를 제공할 수 있다.
블록 1605, 1606, 1609에서 컴퓨팅 플랫폼 100은 정보를 평가하여 블록 1607, 1608, 1610, 1611에서 효과 수준을 판단할 수 있다. 예를 들어 고객은 복수의 영역을 스캐닝하는 대신 광고 802(도 8에 나와 있음)의 디스플레이 영역 851을 응시하고 있을 수 있다. 효과 수준은 여러 방식으로 측정할 수 있다. 예를 들어 고객이 표시된 제품을 시청하는 기간으로 측정하거나, (고객이 참여한 경우) 모바일 앱을 통한 고객의 직접 입력 항목으로 측정할 수 있다.
그러나 컴퓨팅 플랫폼 100이 효과 수준을 판단할 수 없는 경우에는 블록 1603에서 프로세스 1600이 종료된다.
도 17은, 실시예에 따른 제품 수준에서 목표가 설정된 광고를 생성하는 플로우차트 1700을 보여준다. 컴퓨팅 플랫폼 100은 소매 제품 용기의 디스플레이에서 제품 수준을 목표로 하는 광고를 생성할 수 있다. 예를 들면 고객 탐지기는 고객이 소매 제품 용기의 상품진열도에 나타나는 특정 광고를 시청하고 있다는 것을 탐지할 수 있다.
고객 탐지기 418은 블록 1701에서 탐지된 고객이 시청하고 있는 디스플레이 영역을 판단할 수 있다(도 17 참조). 예를 들어 고객이 광고 802의 하부 영역 851을 시청하고 있을 수 있다.
블록 1702에서, 컴퓨팅 플랫폼 100은 탐지되는 디스플레이 영역에 비축된 하나 이상의 제품을 식별할 수 있다. 컴퓨팅 플랫폼 100은 다양한 방식으로 하나 이상의 제품을 식별할 수 있다. 예를 들어 컴퓨팅 플랫폼 100은 표시되는 상품진열도의 서로 다른 영역에 대한 제품의 매핑에 접근할 수 있다. 다른 방법으로서 혹은 조합하여, 컴퓨팅 플랫폼 100은 재고 추적기 420을 통해 소매 제품 용기의 재고 제품에 대한 재고 정보를 구할 수 있다.
블록 1703에서, 컴퓨팅 플랫폼 100은 식별된 제품에 대한 적합한 광고를 용기의 디스플레이에 표시할 수 있다.
도 18은 실시예에 따른 두 번째 소매 제품 용기에 비축된 제품에 대해 첫 번째 소매 제품 용기에서 광고를 표시하는 플로우차트 1800을 보여준다. 첫 번째 소매 제품 용기(예: 소매 제품 용기 102)에 표시되는 광고는 두 번째 소매 제품 용기(예: 소매 제품 용기 103)에 비축된 제품의 판매를 촉진할 수 있다. 여기에 공개된 시스템의 한 실시예에서, 컴퓨팅 플랫폼 100은 고객이 고객 정보를 기준으로 첫 번째 소매 제품 용기에서 쇼핑한 후 두 번째 소매 제품 용기에서 쇼핑할 것이라고 예측할 수 있다. 한편, 여기에서 공개되는 시스템의 그 외 실시예들은 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다는 점에서 “신분 미식별형(identity-blind)”이다. 일부 실시예에서, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
블록 1801(도 18 참조)에서, 컴퓨팅 플랫폼 100은 여기에 공개된 시스템의 한 실시예의 경우 첫 번째 소매 제품 용기 인근에 있는 고객에 대한 고객 정보를 구할 수 있다. 예를 들어, 컴퓨팅 플랫폼 100은 고객이 참여하는 경우 모바일 앱을 통해 좋아하는 것과 싫어하는 것에 대한 고객 정보를 구할 수 있다. 이전 사례에 이어서, 고객은 브로콜리를 싫어하고 아이스크림을 좋아할 수 있다. 한편, 여기에 공개된 시스템의 다른 실시예는 개인정보보호와 보안 기능이 기술 플랫폼과 운영 모델에 통합되도록 설계되어 있다. 그러한 실시예들은 개별 쇼핑객/고객에 대해 알지 못한 상태로 작동/기능하며, 시스템은 개인 자체 또는 개인이 좋아하는/싫어하는 것을 식별하려고 하지 않는다. 즉, 개인 식별 정보나 연관 정보를 수집 또는 사용하지 않는다. 그러한 실시예에서, “신분 미식별형(identity-blind)”인 소매 고객 안전 플랫폼이 만들어진다. 일부 실시예에서, 일련의 “신분 미식별형” 기능 등을 실행할지 여부에 대한 선택은 고객이 개인정보보호를 원하거나 및/또는 해당 법률이 적용되는 국가나 주 내에서 시스템을 설치하는지 여부에 따라 좌우될 수 있다.
블록 1802에서, 컴퓨팅 플랫폼 100은 (예를 들어 고객 탐지기에 의한 탐지를 통해) 고객이 첫 번째 소매 제품 용기에 있는지 여부를 판단할 수 있다. 고객이 첫 번째 제품 용기에 있는 경우 블록 1803에서 컴퓨팅 플랫폼 100은 고객이 보통 예를 들어 아이스크림이 비축된 두 번째 소매 제품 용기로 이동하는지 여부를 판단할 수 있다. 이 사례에 이어서, 블록 1804에서 컴퓨팅 플랫폼 100은 두 번째 소매 제품 용기에 비축된 것으로 식별된 제품(예: 아이스크림)에 대해 첫 번째 소매 제품 용기에서 광고를 생성할 수 있다.
도 19는 실시예에 따른 소매 제품 용기와 관련된 디스플레이에서 광고를 판단하고 표시하는 플로우차트 1900을 보여준다. 블록 1902에서, 컨트롤러(예: 소매 제품 용기를 제어하기 위해 프로세서와 회로망을 구성하는 에지 컴퓨팅 장치 101)는 (예를 들어 사용자 입력항목을 기준으로 혹은 클라우드 컴퓨팅 서비스를 통해) 소매 제품 용기(예: 소매 제품 용기 102)와 관련된 상품진열도 매핑뿐만 아니라 소매 제품 용기와 관련된 제품 설명을 수신할 수 있다. 컨트롤러는 상품진열도 매핑과 설명을 데이터 저장소 111에 저장할 수 있다. 예를 들어 플랫폼 매핑은 소매 제품 용기의 상단 선반이 첫 번째 치수를 지닌 빨간색의 병 모양 음료용이라는 것을 표시할 수 있다. 블록 1904에서, 컴퓨팅 플랫폼 100은 소매 제품 용기 내 하나 이상의 카메라로 캡처되는 하나 이상의 이미지를 기준으로 합성 이미지를 판단할 수 있다.
단계 1906에서, 컨트롤러는 제품이 소매 제품 용기의 특정 위치(예: 상단 선반)에 배치되어 있는지 여부를 판단할 수 있다. 컨트롤러는 합성 이미지를 활용하여 이러한 판단을 내릴 수 있다. 컨트롤러는 상단 선반에 어떤 제품도 없다고 판단하는 경우 (단계 1918에서) 음료가 소매 제품 용기에 비축되어 있지 않다고 판단할 수 있다. 단계 1920에서, 컨트롤러는 음료가 비축되어 있지 않다는 판단에 근거해 표시할 첫 번째 광고를 판단할 수 있다. 첫 번째 광고에는 예를 들어 음료가 재고소진 상태라는 것을 의미하는 삽화가 있을 수 있다. 컨트롤러는 첫 번째 광고를 디스플레이 장치에 표시할 수 있도록 디스플레이 컨트롤러에 전송할 수 있다.
이 사례에 이어서, 컨트롤러는 제품이 상단 선반에 저장되어 있다고 판단하는 경우 합성 이미지를 기준으로 저장된 제품의 속성을 판단할 수 있다. 컨트롤러는 판단된 속성을 음료 설명과 비교할 수 있다. 단계 1908에서, 컨트롤러는 저장된 제품이 병 모양인지 여부를 판단할 수 있다. 단계 1910에서, 컨트롤러는 저장된 제품의 색상이 빨간색인지 여부를 판단할 수 있다. 단계 1912에서, 컨트롤러는 저장된 제품이 첫 번째 치수를 가지는지 여부를 판단할 수 있다. 컨트롤러는 단계 1908~1912를 다양한 순서로 수행하거나 단계 1908~1912 중 하나 이상을 생략할 수 있다. 한 사례의 경우 합성 이미지는 흐릿할 수 있고, 컨트롤러는 위의 비교에 대한 흐릿함의 영향을 줄이기 위해 하나 이상의 후처리 단계를 실시할 수 있다.
단계 1908~1912 각각에서, 컨트롤러는 저장된 제품의 속성이 음료에 대한 설명과 일치하는지 여부와 관련된 해당 신뢰 점수를 판단할 수 있다(예: 1~10 값의 확률, 값이 클수록 더 높은 신뢰도를 의미함). 예를 들어 컨트롤러는 저장된 제품이 병 모양인지 여부와 관련된 신뢰 점수, 저장된 제품의 색상이 빨간색인지 여부와 관련된 신뢰 점수, 및/또는 저장된 제품이 첫 번째 치수를 가지는지 여부와 관련된 신뢰 점수를 판단할 수 있다. 판단된 신뢰 점수를 기준으로 컨트롤러는 저장된 제품의 속성이 음료에 대한 설명과 일치할 확률에 해당하는 하나의 총 신뢰 점수를 판단할 수 있다. 총 신뢰 점수가 임계값(예: 60%, 70% 또는 기타 적합한 값)보다 더 높은 경우 (예를 들어 단계 1914에서) 컨트롤러는 저장된 제품이 음료이고 음료가 소매 제품 용기에 비축되어 있다고 판단할 수 있다. 단계 1916에서, 컨트롤러는 음료가 비축되어 있다는 판단에 근거해 표시할 두 번째 광고를 판단할 수 있다. 두 번째 광고에는 예를 들어 음료와 관련된 삽화가 있을 수 있다. 컨트롤러는 두 번째 광고를 디스플레이 장치에 표시할 수 있도록 디스플레이 컨트롤러에 전송할 수 있다.
이 사례에 이어서, 컨트롤러는 단계 1908~1912에 근거해 상단 선반에 저장된 제품의 모양, 색상 및/또는 치수가 음료의 모양, 색상, 치수에 대응하지 않는다고 판단하는 경우 저장된 제품을 식별하려고 시도할 수 있다. 예를 들어 컨트롤러는 제품(예: 데이터 저장소 111에 저장된 것)의 설명을 스캔하여 저장된 제품을 식별할 수 있다(자세한 설명은 도 20 참조). 단계 1922에서, 컨트롤러는 저장된 제품이 두 번째 음료라고 판단할 수 있다. 단계 1924에서, 컨트롤러는 저장된 제품이 두 번째 음료라는 판단에 근거해 표시할 세 번째 광고를 판단할 수 있다. 세 번째 광고에는 예를 들어 두 번째 음료와 관련된 삽화가 있을 수 있다. 컨트롤러는 두 번째 광고를 디스플레이 장치에 표시할 수 있도록 디스플레이 컨트롤러에 전송할 수 있다.
도 20은 실시예에 따른 소매 제품 용기와 관련된 디스플레이에서 광고를 판단하고 표시하는 플로우차트 2000을 보여준다. 컨트롤러는 예를 들어 단계 1908~1912에 근거해 상단 선반에 저장된 제품의 모양, 색상 및/또는 치수가 음료의 모양, 색상, 치수에 대응하지 않는다고 판단하는 경우 도 20의 방법을 수행할 수 있다. 단계 2002에서, 컨트롤러는 데이터 저장소 111에 있는 다른 제품의 설명을 스캔하여 다른 제품과 관련된 모양, 색상, 치수를 판단할 수 있다. 위의 사례에 이어서, 데이터 저장소 111에는 두 번째 치수를 지닌 파란색의 병 모양 두 번째 음료에 대한 설명이 있을 수 있다.
컨트롤러는 합성 이미지를 기준으로 저장된 제품의 속성을 판단할 수 있다. 컨트롤러는 판단된 속성을 두 번째 음료 설명과 비교할 수 있다. 단계 2004에서, 컨트롤러는 저장된 제품이 병 모양인지 여부를 판단할 수 있다. 단계 2006에서, 컨트롤러는 저장된 제품의 색상이 파란색인지 여부를 판단할 수 있다. 단계 2008에서, 컨트롤러는 저장된 제품이 두 번째 치수를 가지는지 여부를 판단할 수 있다. 컨트롤러는 단계 2004~2008을 다양한 순서로 수행하거나 단계 2004~2008 중 하나 이상을 생략할 수 있다. 컨트롤러는 저장된 제품의 속성이 (예를 들어 도 19를 참조하여 위에 설명된 대로) 두 번째 음료 설명에 대응할 확률에 해당하는 총 신뢰 점수를 판단할 수 있다. 총 신뢰 점수가 임계값(예: 60%, 70% 또는 그 외 아무 값)보다 더 높은 경우 컨트롤러는 저장된 제품이 두 번째 음료이고 두 번째 음료가 소매 제품 용기에 비축되어 있다고 판단할 수 있다. 단계 2010에서, 컨트롤러는 두 번째 음료가 비축되어 있다는 판단에 근거해 표시할 광고를 판단할 수 있다. 광고에는 예를 들어 두 번째 음료와 관련된 삽화가 있을 수 있다. 컨트롤러는 광고를 디스플레이 장치에 표시할 수 있도록 디스플레이 컨트롤러에 전송할 수 있다.
이 사례에 이어서, 컨트롤러는 단계 2004~2008에 근거해 상단 선반에 저장된 제품의 모양, 색상 및/또는 치수가 상품진열도 매핑에 표시된 제품의 모양, 색상, 치수에 대응하지 않는다고 판단하는 경우 단계 1916에서 (예를 들어 소매점 재고조사 점원이 이용할 수 있는 무선 장치 106 또는 다른 컴퓨팅 장치에) 알림을 전송할 수 있다. 알림에는 미식별 제품이 소매 제품 용기에 있다는 것을 표시할 수 있다.
여기에 공개된 하나 이상의 양상에 따라 실례를 보여주는 많은 실시예가 아래에 기재되어 있다. 아래에 기재된 실시예 중 많은 것들이 다른 실시예에 의존적인 것으로 설명되어 있지만, 그 의존성은 그렇게 제한적이지는 않다. 예를 들어, 실시예 #3(아래 참조)은 실시예 #2(아래 참조)의 특징을 포함하는 것으로 명확하게 설명되어 있지만 공개 내용은 그렇게 제한적이지 않다. 예를 들어, 실시예 #3은 앞의 실시예(즉, 실시예 #1, 실시예 #2 및/또는 그 외 적합한 실시예) 중 하나 이상과 관련이 있을 수 있다. 또한, 본 공개 내용에서는 실시예 #2~#14 중 하나 이상이 단독으로 혹은 다른 실시예와 조합하여 실시예 #1에 편입될 수 있다는 것을 감안한다. 이와 같이, 실시예 #1, 15, 18 및/또는 32 중 어떤 것이라도 실시예 #2~14, 16~17, 19~31 및/또는 33~34에 나와 있는 특징 중 하나와 조합할 수 있다. 추가로, 본 공개 내용에서는 실시예 #1, 15, 18 및/또는 32에 나와 있는 특징 중 하나 이상을 조합할 수 있다는 것을 감안한다. 또한, 본 공개 내용에서는 실시예 #1~34에 나와 있는 특징 중 하나 이상을 조합할 수 있다는 것을 감안한다.
실시예 #1.
외부 캐비닛 주변 온도보다 더 서늘한 온도를 유지하기 위해 조절되는 캐비닛이 필요한 소매 환경에 설치하도록 구성된 스마트 이동형 폐쇄 시스템은 다음을 구성한다:
소매 환경에서 상하기 쉬운 구매용 품목을 저장하는 소매 제품 용기의 내부 저장 공간;
내부 저장 공간을 볼 수 없게 하는 이동형 도어;
이동형 도어에 부착되는 디스플레이 장치. 이 경우 최소한 내부 저장 공간의 상품진열도를 표시하도록 디스플레이 장치를 구성하고, 상품진열도에는 재고소진 표시자가 있다;
소매 제품 용기의 내부 저장 공간에 대한 하나 이상의 이미지를 캡처하도록 이동형 도어에 설치되는 광학 센서;
디스플레이 장치에 통신 가능하게 연결되는 컨트롤러;
내부 저장 공간에 대해 입력된 상품진열도 매핑과 복수의 제품에 대한 설명이 있는 데이터 저장소. 이 경우 설명에는 복수의 제품 각각의 모양, 색상, 치수를 명시한다;
소매 제품 용기 근처에 있는 하나 이상의 프로세서, 그리고
하나 이상의 프로세서로 실행될 때 하나 이상의 프로세서로 하여금 다음과 같이 하게 하는 컴퓨터 판독가능 명령어를 저장하는 메모리:
광학 센서에 의해 캡처된 하나 이상의 이미지를 합성 이미지로 후처리한다;
합성 이미지, 입력된 상품진열도 매핑, 복수의 제품에 대한 설명을 기준으로 소매 제품 용기에 있는 복수의 제품 중 특정 제품의 재고 현황을 판단한다;
판단된 재고 현황을 기준으로 디스플레이 장치에 표시할 광고를 판단하며, 이 경우 광고에는 제품이 재고소진 상태일 때 표시되는 재고소진 표시자가 있다; 그리고
디스플레이 장치에 표시할 광고를 컨트롤러에 전송한다.
실시예 #2.
실시예 #1의 스마트 이동형 페쇄 시스템. 이 경우 상품진열도 매핑은 다음으로 구성된다:
제품의 표시; 그리고
제품의 지정 위치에 대한 표시.
실시예 #3
실시예 #2의 스마트 이동형 폐쇄 시스템. 이 경우 제품의 재고 현황 판단에는 합성 이미지를 기준으로 하여 지정 위치에서 탐지되는 제품이 없다는 판단이 포함된다.
실시예 #4
실시예 #3의 스마트 이동형 폐쇄 시스템. 이 경우 광학 센서는 이동형 도어의 작동 동안 복수의 이미지를 캡처하도록 구성하며, 작동에는 이동형 도어의 개방 및 폐쇄를 포함한다.
실시예 #5
실시예 #3의 스마트 이동형 폐쇄 시스템. 이 경우 광고에는 다른 제품과 관련된 삽화가 있다.
실시예 #6
실시예 #3의 스마트 이동형 폐쇄 시스템. 재고 추적기는 하나 이상의 프로세서로 실행될 때 하나 이상의 프로세서로 하여금 제품이 소매 제품 용기에 없다는 것을 표시하는 메시지를 컴퓨팅 장치에 전송하게 한다.
실시예 #7
실시예 #2의 스마트 이동형 폐쇄 시스템. 이 경우 제품의 재고 현황 판단에는 합성 이미지를 기준으로 한 소매 제품 용기에 저장된 제품에 대한 식별 및 다음 중에서 선정된 최소 하나에 대한 추가 판단이 포함된다:
저장된 제품의 위치;
저장된 제품의 모양;
저장된 제품의 색상;
저장된 제품의 치수; 그리고 그 조합.
실시예 #8
실시예 #7의 스마트 이동형 폐쇄 시스템. 이 경우 제품의 재고 현황 판단에는 다음 중에서 선정된 최소 하나를 기준으로 하여 제품이 소매 제품 용기에 있다는 판단이 포함된다:
저장된 제품의 위치가 지정 위치에 대응한다는 판단;
저장된 제품의 모양이 설명에 있는 제품 모양에 대응한다는 판단;
저장된 제품의 색상이 설명에 있는 제품 색상에 대응한다는 판단; 그리고
저장된 제품의 치수가 설명에 있는 제품 치수에 대응한다는 판단; 그리고 그 조합.
실시예 #9
실시예 #2의 스마트 이동형 폐쇄 시스템. 이 경우 제품의 재고 현황 판단에는 다음 중에서 선정된 최소 하나를 기준으로 하여 다른 제품이 소매 제품 용기의 지정 위치에 있다는 판단이 포함된다:
다른 제품의 모양이 설명에 있는 제품 모양에 대응하지 않는다는 판단;
다른 제품의 색상이 설명에 있는 제품 색상에 대응하지 않는다는 판단;
다른 제품의 치수가 설명에 있는 제품 치수에 대응하지 않는다는 판단; 그리고 그 조합.
실시예 #10
실시예 #7의 스마트 이동형 폐쇄 시스템. 이 경우 광고에는 제품과 관련된 삽화가 있다.
실시예 #11
실시예 #1의 스마트 이동형 폐쇄 시스템. 이 경우 제품의 재고 현황 판단에는 소매 제품 용기 내 제품 수량 판단이 포함된다.
실시예 #12
실시예 #1의 스마트 이동형 폐쇄 시스템. 이 경우 광고에는 복수의 제품과 관련된 삽화가 포함된 상품진열도가 있다.
실시예 #13
실시예 #1의 스마트 이동형 폐쇄 시스템. 이 경우 입력된 상품진열도 매핑을 컴퓨팅 장치로부터 수신하는 것이 추가로 포함된다.
실시예 #14
실시예 #1의 스마트 이동형 폐쇄 시스템. 이 경우 데이터 저장소가 소매 환경에 배치되어 있고, 이동형 도어의 작동을 기준으로 하나 이상의 이미지가 캡처된다.
실시예 #15
외부 캐비닛 주변 온도보다 더 서늘한 온도를 유지하기 위해 조절되는 캐비닛이 필요한 소매 환경에 설치하도록 구성된 스마트 이동형 폐쇄 시스템은 다음을 구성한다:
애플리케이션이 설치되어 있는 고객의 무선 통신 장치;
다음 품목이 있는 첫 번째 소매 제품 용기:
내부 저장 공간;
내부 저장 공간을 볼 수 없게 하는 이동형 도어;
이동형 도어에 부착되는 첫 번째 디스플레이. 이 경우 첫 번째 디스플레이는 최소한 내부 저장 공간의 상품진열도를 표시하도록 구성한다; 그리고
고객을 탐지하도록 구성된 고객 탐지기; 그리고
다음을 구성하는 컨트롤러:
하나 이상의 프로세서; 그리고
하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 하는 컨트롤러 명령어를 저장하는 메모리:
고객 탐지기를 활용하여 첫 번째 소매 제품 용기의 미리 지정된 거리 내에서 고객의 인간 형상을 탐지한다; 그리고
탐지에 응답하여 고객의 무선 통신 장치로 실행되는 애플리케이션을 통해 고객과 상호작용한다.
실시예 #16
실시예 #15의 스마트 이동형 폐쇄 시스템. 이 경우 고객의 인간 형상에는 인간의 얼굴이 포함되고, 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 추가로 컨트롤러로 하여금 다음과 같이 하게 한다:
탐지에 응답하여, 첫 번째 소매 제품 용기의 첫 번째 디스플레이에 이미 출력된 첫 번째 그래픽 렌더링 내에서 문자 메시지를 생성한다;
고객이 문자 메시지에 응답할 때 알림을 수신한다;
수신에 응답하여, 고객의 무선 통신 장치로 실행되는 애플리케이션을 통해 고객과 상호작용한다;
고객이 응답할 때 애플리케이션을 통해 고객 정보를 수신한다; 그리고
고객 정보를 기준으로 첫 번째 소매 제품 용기의 첫 번째 디스플레이에 표시되는 두 번째 그래픽 렌더링을 맞춤화한다.
실시예 #17
실시예 #15의 스마트 이동형 폐쇄 시스템. 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 추가로 컨트롤러로 하여금 다음과 같이 하게 한다:
고객 정보에 근거해 고객이 방문할 두 번째 소매 제품 용기를 예측한다; 그리고
두 번째 소매 제품 용기에 비축된 제품에 관해 첫 번째 소매 제품 용기의 첫 번째 디스플레이에 세 번째 그래픽 렌더링을 표시한다.
실시예 #18
다음을 구성하는 냉각 시스템의 컴퓨터 플랫폼:
다음 품목이 있는 첫 번째 소매 제품 용기:
내부 저장 공간;
내부 저장 공간을 볼 수 없게 하는 이동형 도어;
이동형 도어에 부착되는 첫 번째 디스플레이. 이 경우 첫 번째 디스플레이는 최소한 내부 저장 공간의 상품진열도를 표시하도록 구성한다; 그리고
고객 탐지기; 그리고
다음을 구성하는 컨트롤러:
하나 이상의 프로세서; 그리고
하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 하는 컨트롤러 명령어를 저장하는 메모리:
통신 채널로 첫 번째 소매 제품 용기와의 통신을 설정한다;
풀 스크린 광고를 표시할 것을 첫 번째 소매 제품 용기에 명령한다;
고객 탐지기를 활용해 첫 번째 소매 제품 용기로부터 미리 지정된 첫 번째 거리 내에서 고객이 탐지된다는 표시를 첫 번째 소매 제품 용기로부터 수신한다; 그리고
표시를 수신한 후 풀 스크린 광고를 종료하고 내부 저장 공간에 배치된 제품의 상품진열도를 표시할 것을 첫 번째 소매 제품 용기에 명령한다.
실시예 #19
실시예 #18의 컴퓨터 플랫폼. 이 경우 첫 번째 디스플레이는 비투명 디스플레이를 구성한다.
실시예 #20
실시예 #18의 컴퓨터 플랫폼.
이 경우 첫 번째 소매 제품 용기는 다음과 같이 하도록 구성한다:
고객 탐지기를 통해 첫 번째 소매 제품 용기 근처에 있는 고객에 대한 첫 번째 센서 정보를 수신한다. 이 경우 첫 번째 센서 정보에는 고객의 눈 동작에 대한 정보가 포함된다; 그리고
고객에 대한 첫 번째 센서 정보를 컨트롤러에 전송한다;
그리고 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
고객에 대해 수신된 첫 번째 센서 정보를 통해 고객에 대한 고객 정보를 판단한다;
고객 정보에 근거해 고객에게 적합한 광고를 선정한다;
고객 정보를 기준으로 첫 번째 디스플레이에 선정된 광고를 표시할 것을 첫 번째 소매 제품 용기에 명령한다; 그리고
눈 동작 정보를 기준으로 선정된 광고의 성공 여부를 판단한다.
실시예 #21
실시예 #18의 컴퓨터 플랫폼. 이 경우 첫 번째 소매 제품 용기에는 첫 번째 위치에서부터 두 번째 위치까지 이동형 도어의 움직임을 탐지하도록 구성된 센서도 있으며, 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
첫 번째 디스플레이에서 상품진열도 표시를 종료할 것을 첫 번째 소매 제품 용기에 명령한다.
실시예 #22
실시예 #20의 컴퓨터 플랫폼.
이 경우 첫 번째 소매 제품 용기는 다음과 같이 하도록 구성한다:
고객 탐지기를 통해 선정된 광고를 시청하는 고객 수를 판단한다; 그리고
선정된 광고를 시청하는 고객 수에 대한 정보를 컨트롤러에 전송한다; 그리고
이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
선정된 광고를 시청하는 고객 수에 대한 정보를 첫 번째 소매 제품 용기로부터 수신한다; 그리고
고객 수를 기준으로 선정된 광고의 효과 수준을 판단한다.
실시예 #23
실시예 #20의 컴퓨터 플랫폼.
이 경우 첫 번째 소매 제품 용기는 다음과 같이 하도록 구성한다:
고객 탐지기를 통해 첫 번째 소매 제품 용기 근처에 있는 고객이 시청하는 상품진열도의 영역에 대한 두 번째 센서 정보를 수신한다; 그리고
고객에 대한 첫 번째 센서 정보를 컨트롤러에 전송한다; 그리고
이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
상품진열도의 영역에 대한 두 번째 센서 정보를 첫 번째 소매 제품 용기로부터 수신한다; 그리고
상품진열도의 영역을 기준으로 고객이 시청하는 상품진열도 내 제품을 식별한다; 그리고
이 경우 고객에게 적합한 광고 선정은 고객이 시청하는 상품진열도에서 식별되는 제품도 기준으로 한다; 그리고
이 경우 첫 번째 디스플레이에 선정된 광고를 표시할 것을 첫 번째 소매 제품 용기에 명령하는 것은 식별된 제품도 기준으로 한다.
실시예 #24
실시예 #20의 컴퓨터 플랫폼.
이 경우 첫 번째 소매 제품 용기는 다음과 같이 하도록 구성한다:
고객 탐지기를 통해 고객이 첫 번째 디스플레이 앞에 있다는 것을 의미하는 실시간 데이터를 수신한다; 그리고
실시간 데이터를 컨트롤러에 제공한다;
그리고 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
실시간 데이터를 첫 번째 소매 제품 용기로부터 수신한다;
실시간 데이터를 기준으로 고객에게 적합한 조건부 광고를 판단한다; 그리고
실시간 데이터를 기준으로 첫 번째 디스플레이에 조건부 광고를 표시할 것을 첫 번째 소매 제품 용기에 명령한다.
실시예 #25
실시예 #24의 컴퓨터 플랫폼. 이 경우 조건부 광고 판단은 추가로 컨트롤러로 이용할 수 있는 일련의 규칙을 기반으로 하고, 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
실시간 데이터를 통해 고객이 미리 지정된 두 번째 거리 내에 머무르는 기간과 첫 번째 소매 제품 용기 인근의 기상 상태를 판단한다.
실시예 #26
추가로 두 번째 소매 제품 용기를 구성하는 실시예 #20의 컴퓨터 플랫폼,
이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
첫 번째 소매 제품 용기에 저장된 첫 번째 제품 유형과 두 번째 소매 제품 용기에 저장된 두 번째 제품 유형을 판단한다. 이 경우 첫 번째 제품 유형은 두 번째 제품 유형과 다르다;
첫 번째 제품 유형과 관련된 첫 번째 파일 세트와 두 번째 제품 유형과 관련된 두 번째 파일 세트를 다운로드한다. 이 경우 첫 번째 파일 세트에는 첫 번째 복수의 파일이 포함되고, 두 번째 파일 세트에는 두 번째 복수의 파일이 포함되며, 첫 번째 파일 세트 또는 두 번째 파일 세트의 각 파일은 관련 광고와 대응한다;
첫 번째 파일 세트로부터 첫 번째 소매 제품 용기의 첫 번째 디스플레이에 첫 번째 광고를 개시한다; 그리고
두 번째 파일 세트로부터 두 번째 소매 제품 용기의 두 번째 디스플레이에 두 번째 광고를 개시한다. 이 경우 두 번째 광고는 첫 번째 광고와 다르다.
실시예 #27
실시예 #26의 컴퓨터 플랫폼. 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
첫 번째 소매 제품 용기의 첫 번째 식별 정보를 기준으로 첫 번째 제품 유형을 판단한다; 그리고
두 번째 소매 제품 용기의 두 번째 식별 정보를 기준으로 두 번째 제품 유형을 판단한다.
실시예 #28
실시예 #26의 컴퓨터 플랫폼. 이 경우 첫 번째 제품 유형 판단은 추가로 첫 번째 소매 제품 용기로부터 얻은 첫 번째 재고 정보를 기준으로 하며, 두 번째 제품 유형 판단은 추가로 두 번째 소매 제품 용기로부터 얻은 두 번째 재고 정보를 기준으로 한다.
실시예 #29
추가로 두 번째 소매 제품 용기를 구비한 실시예 #20의 컴퓨터 플랫폼,
이 경우 두 번째 소매 제품 용기는 추가로 다음과 같이 하도록 구성한다:
두 번째 소매 제품 용기의 고객 탐지기를 통해 고객이 미리 지정된 세 번째 거리 내에 있다는 표시를 수신한다; 그리고
고객이 미리 지정된 세 번째 거리 내에 있다는 표시를 컨트롤러에 전송한다;
그리고 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
고객이 미리 지정된 세 번째 거리 내에 있다는 표시를 두 번째 소매 제품 용기로부터 수신한다;
첫 번째 소매 제품 용기의 첫 번째 디스플레이에 참여 초청을 생성하여 표시한다;
첫 번째 소매 제품 용기의 첫 번째 디스플레이에 참여 초청을 표시할 것을 첫 번째 소매 제품 용기에 명령한다; 그리고
고객이 통신 장치를 통해 초청 표시를 스캐닝하여 참여하기로 선택했다는 알림을 첫 번째 소매 제품 용기로부터 수신한다;
그리고 이 경우 첫 번째 소매 제품 용기는 추가로 다음과 같이 하도록 구성한다:
첫 번째 소매 제품 용기의 첫 번째 디스플레이에 참여 초청을 표시한다;
고객이 통신 장치를 통해 초청 표시를 스캐닝하여 참여하기로 선택했다는 표시를 수신한다;
고객이 통신 장치를 통해 초청 표시를 스캐닝하여 참여하기로 선택했다는 알림을 컨트롤러에 전송한다; 그리고
통신 장치로 실행되는 애플리케이션을 통해 고객과 상호작용한다.
실시예 #30
실시예 #29의 컴퓨터 플랫폼. 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
고객이 참여할 때(알림으로 표시됨) 애플리케이션을 통해 얻은 고객 정보를 기준으로 첫 번째 소매 제품 용기의 첫 번째 디스플레이에 표시되는 광고를 고객에게 적합하게 조정한다;
이 경우 표시되는 맞춤식 광고에는 고객에게 적합하게 조정된 가격이 포함된다.
실시예 #31
실시예 #29의 컴퓨터 플랫폼. 이 경우 컨트롤러 명령어는 하나 이상의 프로세서로 실행될 때 컨트롤러로 하여금 다음과 같이 하게 한다:
고객이 방문할 세 번째 소매 제품 용기를 예측한다;
세 번째 소매 제품 용기에 비축된 제품에 대해 표시되는 광고를 맞춤화한다; 그리고
고객이 초청 표시에 응답하여 참여하지 않는 경우 일반 정보를 기준으로 한 상품진열도를 계속 생성한다.
실시예 #32
소매 제품 용기의 이동형 도어에 부착된 디스플레이 스크린에 광고 콘텐츠를 생성하는 방법은 다음으로 구성된다:
첫 번째 소매 제품 용기의 디스플레이 스크린에 첫 번째 광고를 표시하는 것;
첫 번째 소매 제품 용기의 미리 지정된 거리 내에서 고객의 인간 형상을 탐지하는 것; 그리고
탐지에 응답하여, 첫 번째 광고를 종료하고 첫 번째 소매 제품 용기의 내부 저장 공간에 배치된 제품의 상품진열도를 디스플레이 스크린에 표시할 것을 첫 번째 소매 제품 용기에 명령하는 것.
이 경우 첫 번째 소매 제품 용기의 내부 저장 공간에 배치된 제품은 이동형 도어로 인해 보이지 않게 된다.
실시예 #33
실시예 #32의 방법. 이 경우 고객의 인간 형상은 인간 얼굴로 구성되며, 방법은 추가로 다음으로 구성된다:
탐지에 응답하여, 첫 번째 소매 제품 용기의 디스플레이에 참여 초청을 생성하여 표시하는 것;
첫 번째 소매 제품 용기의 통신 인터페이스를 통해 고객 참여 알림을 수신하는 것;
수신에 응답하여, 고객의 통신 장치로 실행되는 애플리케이션을 통해 고객과 상호작용하는 것; 그리고
고객의 선호도를 기준으로 첫 번째 소매 제품 용기의 디스플레이에 두 번째 광고를 맞춤화하여 표시하는 것.
실시예 #34
실시예 #33의 방법은 추가로 다음으로 구성된다:
고객이 방문할 두 번째 소매 제품 용기를 예측하는 것; 그리고
두 번째 소매 제품 용기에 비축된 제품에 관해 첫 번째 소매 제품 용기의 디스플레이에 세 번째 광고를 표시하는 것.
일부 실시예에서, 그에 대한 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체를 공개한다. 여기에 설명된 작업을 수행하기 위해 하나 이상의 컴퓨터 또는 다른 장치로 실행되는 컴퓨터 판독가능 매체에 저장된 하나 이상의 프로그램 모듈에서와 같이, 컴퓨터 사용가능 데이터 또는 컴퓨터 실행가능 명령어에서 하나 이상의 공개 양상을 실시할 수 있다. 일반적으로, 프로그램 모듈에는 컴퓨터 또는 다른 데이터 처리 장치에서 하나 이상의 프로세서로 실행될 때 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등이 포함된다. 컴퓨터 실행가능 명령어는 컴퓨터 판독가능 명령어로서 하드 디스크, 광 디스크, 이동식 저장 매체, 반도체 메모리, RAM 등과 같은 컴퓨터 판독가능 매체에 저장할 수 있다. 프로그램 모듈의 기능은 다양한 실시예에서 원하는 대로 결합하거나 분산할 수 있다. 또한 집적회로, 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 등과 같은 펌웨어나 하드웨어 동등물에서 기능을 전부 또는 일부 구현할 수 있다. 특정 데이터 구조를 사용하여 공개 내용의 하나 이상의 양상을 더욱 효과적으로 구현할 수 있고, 그러한 데이터 구조는 여기에 설명된 컴퓨터 실행가능 명령어 및 컴퓨터 사용가능 데이터의 범위 내에 속하는 것으로 간주할 수 있다.
여기에 설명된 다양한 양상은 하나의 방법이나 기구로서 혹은 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 매체로서 실시할 수 있다. 따라서, 이러한 양상은 전체적으로 하드웨어 실시예, 전체적으로 소프트웨어 실시예, 전체적으로 펌웨어 실시예, 또는 아무 조합으로든 소프트웨어, 하드웨어, 펌웨어 양상을 조합하는 실시예의 형태를 띨 수 있다. 또한 여기에 설명된 대로 데이터 또는 이벤트를 나타내는 다양한 신호는 금속 와이어, 광섬유 또는 무선 전송 매체(예: 공기나 공간)와 같은 신호 전도성 매체를 통과해 이동하는 광파 또는 전자기파의 형태로 발생지와 목적지 간 전송이 가능하다. 일반적으로 하나 이상의 컴퓨터 판독가능 매체는 하나 이상의 비일시적 컴퓨터 판독가능 매체이거나 및/또는 이를 포함할 수 있다.
여기에 설명된 대로, 하나 이상의 컴퓨팅 서버 및 하나 이상의 네트워크 전반적으로 다양한 방법과 동작이 작동할 수 있다. 기능은 어떤 식으로든 분산하거나 하나의 컴퓨팅 장치(예: 서버, 클라이언트 컴퓨터 등)에 배치할 수 있다. 예를 들어, 다른 실시예에서, 위에서 논의한 컴퓨팅 시스템 중 하나 이상을 하나의 컴퓨팅 시스템에 결합하고, 각 컴퓨팅 시스템의 다양한 기능을 하나의 컴퓨팅 시스템으로 수행할 수 있다. 그러한 방식의 경우 컴퓨팅 시스템 간 전술한 통신 일부 및/또는 전부는 단일 컴퓨팅 시스템으로 액세스, 이동, 수정, 업데이트 및/또는 사용할 수 있는 데이터와 상응할 수 있다.
공개 내용의 여러 양상이 그에 대한 실례를 보여주는 실시예 측면에서 설명되어 있다. 본 공개 내용 검토 후 해당 기술에 통상적으로 정통한 사람에게는 첨부된 청구의 범위와 정신 내에서 그 외 다양한 실시예, 수정, 변동 등이 있을 수 있다. 예를 들어, 실례를 보여주는 도면들에 묘사되어 있는 절차 중 하나 이상을 명시된 순서 이외의 순서로 수행할 수 있으며, 설명된 절차 중 하나 이상이 공개 내용의 양상에 따라 선택사항일 수 있다.

Claims (21)

  1. 외부 캐비닛 주변 온도보다 더 서늘한 온도에 유지되는 캐비닛이 필요한 소매 환경에 설치하도록 구성된 스마트 이동형 폐쇄 시스템으로서,
    애플리케이션이 설치되어 있는 고객의 무선 통신 장치;
    소매 제품 컨테이너의 미리 지정된 거리 내에서 상기 고객의 인간 형상을 탐지하도록 구성된 고객 탐지기;
    상기 소매 환경에서 구입하기 위한 상하기 쉬운 품목을 저장하는 상기 소매 제품 컨테이너의 내부 저장 공간;
    상기 내부 저장 공간을 볼 수 없게 하는 이동형 도어;
    상기 이동형 도어에 부착되는 디스플레이 장치로서, 최소한 상기 내부 저장 공간의 상품진열도를 표시하도록 구성되고, 상기 상품진열도는 재고소진 표시자를 포함하는 상기 디스플레이 장치;
    상기 소매 제품 컨테이너의 상기 내부 저장 공간에 대한 하나 이상의 이미지를 캡처하도록 상기 이동형 도어에 설치되는 광학 센서;
    상기 디스플레이 장치에 통신 가능하게 연결되는 컨트롤러로서, 상기 고객 탐지기에 의한 탐지에 응답하여, 상기 고객의 무선 통신 장치로 실행되는 상기 애플리케이션을 통해 상기 고객과 상호작용하도록 구성된 상기 컨트롤러;
    상기 내부 저장 공간의 입력된 상품진열도 매핑과, 복수의 제품에 대한 설명으로서, 상기 복수의 제품 각각의 모양, 색상, 치수를 포함하는 상기 설명을 포함하는 데이터 저장소;
    상기 소매 제품 컨테이너 근처에 있는 하나 이상의 프로세서, 및
    컴퓨터 판독가능 명령어를 저장하는 메모리를 포함하고, 상기 명령어는 하나 이상의 프로세서로 실행될 때 상기 하나 이상의 프로세서로 하여금:
    상기 광학 센서에 의해 캡처된 상기 하나 이상의 이미지를 합성 이미지로 후처리하고;
    상기 합성 이미지, 상기 입력된 상품진열도 매핑, 상기 복수의 제품에 대한 설명에 기초하여, 상기 소매 제품 컨테이너에 있는 상기 복수의 제품 중 특정 제품의 재고 현황을 판단하고;
    상기 판단된 재고 현황에 기초하여, 상기 디스플레이 장치에 표시할 광고로서, 상기 제품의 상기 재고 현황이 재고소진 상태일 때는 상기 재고소진 표시자를 포함하는 상기 광고를 판단하고; 그리고
    상기 디스플레이 장치에 표시할 상기 광고를 전송하게 하는, 스마트 이동형 폐쇄 시스템.
  2. 청구항 1에 있어서, 상기 입력된 상품진열도 매핑은:
    상기 제품의 표시; 및
    상기 제품의 지정 위치의 표시를 포함하는, 스마트 이동형 폐쇄 시스템.
  3. 청구항 2에 있어서, 상기 제품의 상기 재고 현황을 판단하는 것은, 상기 합성 이미지에 기초하여, 상기 지정 위치에서 탐지되는 제품이 없다고 판단하는 것을 포함하는, 스마트 이동형 폐쇄 시스템.
  4. 청구항 3에 있어서, 상기 광학 센서는 상기 이동형 도어의 작동 동안 복수의 이미지를 캡처하도록 구성되고, 상기 작동은 상기 이동형 도어의 개방 및 폐쇄를 포함하는, 스마트 이동형 폐쇄 시스템.
  5. 청구항 3에 있어서, 상기 광고는 다른 제품과 관련된 삽화를 포함하는, 스마트 이동형 폐쇄 시스템.
  6. 청구항 3에 있어서, 상기 재고 추적기는 상기 하나 이상의 프로세서로 실행될 때 상기 하나 이상의 프로세서로 하여금 상기 제품이 상기 소매 제품 컨테이너에 없다는 것을 표시하는 메시지를 컴퓨팅 장치에 전송하게 하는, 스마트 이동형 폐쇄 시스템.
  7. 청구항 2에 있어서, 상기 제품의 상기 재고 현황을 판단하는 것은, 상기 합성 이미지에 기초하여, 상기 소매 제품 컨테이너에 저장된 제품을 식별하고,
    상기 저장된 제품의 위치;
    상기 저장된 제품의 모양;
    상기 저장된 제품의 색상;
    상기 저장된 제품의 치수; 및 그 조합
    으로부터 선정된 최소한 하나를 추가로 판단하는 것을 포함하는, 스마트 이동형 폐쇄 시스템.
  8. 청구항 7에 있어서, 상기 광고는 상기 제품과 관련된 삽화를 포함하고, 상기 제품의 상기 재고 현황을 판단하는 것은:
    상기 저장된 제품의 상기 위치가 상기 지정 위치에 대응한다는 판단;
    상기 저장된 제품의 상기 모양이 상기 설명에 있는 상기 제품의 모양에 대응한다는 판단;
    상기 저장된 제품의 상기 색상이 상기 설명에 있는 상기 제품의 색상에 대응한다는 판단; 및
    상기 저장된 제품의 상기 치수가 상기 설명에 있는 상기 제품의 치수에 대응한다는 판단; 및 그 조합
    으로부터 선정된 최소한 하나에 기초하여, 상기 제품이 상기 소매 제품 컨테이너에 있다고 판단하는 것을 포함하는, 스마트 이동형 폐쇄 시스템.
  9. 청구항 2에 있어서, 상기 제품의 상기 재고 현황을 판단하는 것은:
    다른 제품의 모양이 상기 설명에 있는 상기 제품의 모양에 대응하지 않는다는 판단;
    상기 다른 제품의 색상이 상기 설명에 있는 상기 제품의 색상에 대응하지 않는다는 판단;
    상기 다른 제품의 치수가 상기 설명에 있는 상기 제품의 치수에 대응하지 않는다는 판단; 및 그 조합
    으로부터 선정된 최소한 하나에 기초하여, 상기 다른 제품이 상기 소매 제품 컨테이너의 상기 지정 위치에 있다고 판단하는 것을 포함하는, 스마트 이동형 폐쇄 시스템.
  10. 청구항 1에 있어서, 상기 제품의 상기 재고 현황을 판단하는 것은, 상기 소매 제품 컨테이너 내의 상기 제품의 수량을 판단하는 것을 포함하는, 스마트 이동형 폐쇄 시스템.
  11. 청구항 1에 있어서, 상기 광고는 상기 복수의 제품과 관련된 삽화를 포함하는 상품진열도를 포함하는, 스마트 이동형 폐쇄 시스템.
  12. 청구항 1에 있어서, 상기 입력된 상품진열도 매핑을 컴퓨팅 장치로부터 수신하는 것을 추가로 포함하는, 스마트 이동형 폐쇄 시스템.
  13. 청구항 1에 있어서, 상기 데이터 저장소가 소매 환경에 배치되어 있고, 상기 이동형 도어의 작동에 기초하여 상기 하나 이상의 이미지가 캡처되는, 스마트 이동형 폐쇄 시스템.
  14. 청구항 1에 있어서, 상기 고객의 인간 형상은 인간의 얼굴을 포함하고, 상기 컨트롤러는:
    상기 탐지에 응답하여, 상기 소매 제품 컨테이너의 디스플레이에 이미 출력된 첫 번째 그래픽 렌더링 내에서 문자 메시지를 생성하고;
    상기 고객이 상기 문자 메시지에 응답할 때 알림을 수신하고;
    상기 수신에 응답하여, 상기 고객의 상기 무선 통신 장치에 실행되는 애플리케이션을 통해 상기 고객과 상호작용하고;
    상기 고객이 응답할 때 상기 애플리케이션을 통해 고객 정보를 수신하고; 그리고
    상기 고객 정보에 기초하여, 상기 소매 제품 컨테이너의 상기 디스플레이에 두 번째 그래픽 렌더링을 커스터마이즈하도록 구성되는, 스마트 이동형 폐쇄 시스템.
  15. 청구항 1에 있어서, 상기 컨트롤러는:
    상기 고객 정보에 기초하여, 상기 고객이 방문할 두 번째 소매 제품 컨테이너를 예측하고; 그리고
    상기 두 번째 소매 제품 컨테이너에 비축된 제품에 관해 상기 소매 제품 컨테이너의 디스플레이에 그래픽 렌더링을 표시하도록 구성된, 스마트 이동형 폐쇄 시스템.
  16. 내부 저장 공간을 구비한 소매 제품 컨테이너의 이동형 도어에 부착된 디스플레이 스크린에 광고 콘텐츠를 생성하는 방법으로서,
    상기 내부 저장 공간의 상품진열도 매핑, 및 복수의 제품의 설명으로서, 상기 복수의 제품 각각의 모양, 색상, 치수를 포함하는 상기 설명을 판단하는 것;
    상기 이동형 도어에 설치된 광학 센서에 의해 캡처되는 하나 이상의 이미지를 합성 이미지로 후처리하는 것;
    상기 합성 이미지, 상기 상품진열도 매핑, 및 상기 복수의 제품에 대한 설명에 기초하여, 상기 소매 제품 컨테이너에 있는 상기 복수의 제품 중 특정 제품의 재고 현황을 판단하는 것;
    상기 판단된 재고 현황에 기초하여, 상기 디스플레이 스크린에 표시할 광고를 판단하는 것; 그리고
    상기 디스플레이 스크린에 표시할 광고를 전송하는 것을 포함하는 방법.
  17. 청구항 16에 있어서, 상기 상품진열도 매핑은:
    상기 제품의 표시; 및
    상기 제품의 지정 위치의 표시를 포함하는, 방법.
  18. 청구항 17에 있어서,
    상기 제품의 상기 재고 현황을 판단하는 것은, 상기 합성 이미지에 기초하여 상기 지정 위치에서 탐지되는 제품이 없다고 판단하는 것을 포함하고,
    상기 광고는 상기 제품이 재고소진 상태라는 것을 표시하는 재고소진 표시자를 포함하는, 방법.
  19. 내부 저장 공간이 있는 소매 제품 컨테이너, 상기 내부 저장 공간을 볼 수 없게 하는 이동형 도어, 상기 이동형 도어에 부착되고 최소한 상기 내부 저장 공간의 상품진열도를 표시하도록 구성되는 디스플레이, 및 상기 이동형 도어에 부착된 광학 센서를 갖춘 냉각 시스템의 컴퓨터 플랫폼으로서,
    하나 이상의 프로세서; 및
    컴퓨터 실행가능 명령어를 저장하는 메모리를 포함하고, 상기 명령어는 상기 하나 이상의 프로세서로 실행될 때 상기 하나 이상의 프로세서로 하여금:
    상기 내부 저장 공간의 상품진열도 매핑, 및 복수의 제품의 설명으로서, 상기 복수의 제품 각각의 모양, 색상, 치수를 포함하는 상기 설명을 판단하고;
    상기 이동형 도어에 설치된 광학 센서에 의해 캡처되는 하나 이상의 이미지를 합성 이미지로 후처리하고;
    상기 합성 이미지, 상기 입력된 상품진열도 매핑, 및 상기 복수의 제품에 대한 설명에 기초하여 상기 소매 제품 컨테이너에 있는 상기 복수의 제품 중 특정 제품의 재고 현황을 판단하고;
    상기 판단된 재고 현황에 기초하여 디스플레이 스크린에 표시할 광고를 판단하고; 그리고
    상기 디스플레이 스크린에 표시할 상기 광고를 전송하게 하는, 컴퓨터 플랫폼.
  20. 청구항 19에 있어서, 상기 상품진열도 매핑은:
    상기 제품의 표시; 및
    상기 제품의 지정 위치의 표시를 포함하는, 컴퓨팅 플랫폼.
  21. 청구항 20에 있어서, 상기 제품의 재고 현황 판단하는 것은:
    상기 합성 이미지 및 상기 복수의 제품의 상기 설명에 기초하여 신뢰 점수를 계산하는 것; 그리고
    상기 신뢰 점수가 임계값 미만일 때 상기 제품이 상기 내부 저장 공간에서 재고소진 상태라고 판단하는 것을 포함하고, 표시할 상기 광고는 상기 제품이 재고소진 상태라는 것을 표시하는 재고소진 표시자를 포함하는, 컴퓨팅 플랫폼.
KR1020227024558A 2020-01-13 2021-01-13 냉각 캐비닛용 스마트 이동식 클로저 시스템 KR20220163929A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/741,581 2020-01-13
US16/741,581 US11698219B2 (en) 2017-08-10 2020-01-13 Smart movable closure system for cooling cabinet
US15/931,971 US11768030B2 (en) 2017-08-10 2020-05-14 Smart movable closure system for cooling cabinet
US15/931,971 2020-05-14
PCT/US2021/013247 WO2021150406A1 (en) 2019-12-17 2021-01-13 Smart movable closure system for cooling cabinet

Publications (1)

Publication Number Publication Date
KR20220163929A true KR20220163929A (ko) 2022-12-12

Family

ID=76993231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227024558A KR20220163929A (ko) 2020-01-13 2021-01-13 냉각 캐비닛용 스마트 이동식 클로저 시스템

Country Status (7)

Country Link
EP (1) EP4078053A4 (ko)
JP (1) JP2023515297A (ko)
KR (1) KR20220163929A (ko)
CN (1) CN115023578A (ko)
CA (1) CA3162267A1 (ko)
MX (1) MX2022007541A (ko)
WO (1) WO2021150406A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061055A1 (en) * 2020-09-17 2022-03-24 Kooick Inc. Hardware system for identifying grab-and-go transactions in a cashierless store
AU2021204493B1 (en) * 2021-05-21 2022-08-25 Sensetime International Pte. Ltd. Edge computing-based control method and apparatus, edge device and storage medium
US20230180948A1 (en) 2021-12-09 2023-06-15 Anthony, Inc. Display case door with sealed glass unit and electronic display
USD1019576S1 (en) 2022-02-28 2024-03-26 Anthony, Inc. Door switch casing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154141A1 (en) * 2001-09-18 2003-08-14 Pro Corp Holdings International Ltd. Image recognition inventory management system
US20060174641A1 (en) * 2004-12-13 2006-08-10 Liu Chi W Refrigerator with a display module
KR101493748B1 (ko) * 2008-06-16 2015-03-02 삼성전자주식회사 물품 제공장치, 디스플레이 장치 및 이를 이용한 ｇｕｉ제공방법
US20110191154A1 (en) * 2010-01-29 2011-08-04 Cedric Tremayne Johnson Methods and Apparatus for Networking and Controlling Electronic Displays
US8683745B2 (en) * 2011-05-10 2014-04-01 Anthony, Inc. Refrigerated display case door with transparent LCD panel
WO2014181324A1 (en) * 2013-05-05 2014-11-13 Trax Technology Solutions Pte Ltd. System and method of monitoring retail units
KR20150093289A (ko) * 2014-02-06 2015-08-18 지민수 고객 응대 및 가격 조정 기능을 구비한 무인 점포 시스템
US9928527B2 (en) * 2014-02-12 2018-03-27 Nextep Systems, Inc. Passive patron identification systems and methods
US20150269593A1 (en) * 2014-03-19 2015-09-24 Thao Le Product Authentication System
WO2016021751A1 (ko) * 2014-08-07 2016-02-11 엘지전자 주식회사 투명 디스플레이를 포함한 냉장고 및 제어 방법
KR102327848B1 (ko) * 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
US10769666B2 (en) * 2017-08-10 2020-09-08 Cooler Screens Inc. Intelligent marketing and advertising platform

Also Published As

Publication number Publication date
EP4078053A1 (en) 2022-10-26
CN115023578A (zh) 2022-09-06
MX2022007541A (es) 2022-09-29
CA3162267A1 (en) 2021-07-29
EP4078053A4 (en) 2024-01-10
WO2021150406A1 (en) 2021-07-29
JP2023515297A (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
US11768030B2 (en) Smart movable closure system for cooling cabinet
CN109414119B (zh) 用于在环境内计算机视觉驱动应用的系统和方法
KR20220163929A (ko) 냉각 캐비닛용 스마트 이동식 클로저 시스템
JP7021361B2 (ja) カスタマイズされた拡張現実品目フィルタリングシステム
US10769666B2 (en) Intelligent marketing and advertising platform
US10672032B2 (en) Intelligent marketing and advertising platform
US11763252B2 (en) Intelligent marketing and advertising platform
JP2024055919A (ja) インテリジェントなマーケティングおよび広告のためのプラットフォーム
US10628792B2 (en) Systems and methods for monitoring and restocking merchandise
WO2020163217A1 (en) Systems, method and apparatus for frictionless shopping
US11725866B2 (en) Intelligent marketing and advertising platform
CN111696258B (zh) 智能货架系统及其控制方法
US20220128291A1 (en) Artificial intelligence (ai) refrigerator
US20240005271A1 (en) Intelligent Marketing and Advertising Platform
US20240144173A1 (en) Suggesting a recipe to a customer of an online concierge system based on items likely to be available