KR20210081375A

KR20210081375A - 신경 자판기

Info

Publication number: KR20210081375A
Application number: KR1020217014914A
Authority: KR
Inventors: 마크 로버트 해커; 레겐 헨리 시그프리트
Original assignee: 더 노르담 그룹 엘엘씨
Priority date: 2018-10-20
Filing date: 2019-09-11
Publication date: 2021-07-01
Also published as: CA3117141A1; US20200125888A1; EP3867885A4; JP2022508808A; US10984282B2; EP3867885A1; WO2020081170A1; JP2024073629A; BR112021007540A2

Abstract

자동화된 자판기(28)에서 제품(n)을 판매하는 방법으로서, 디스플레이 선반(34) 상의 여러 제품(n)의 초기 재고(S)를 진열하는 단계, 및 제거된 제품(13) 자체를 검출하지 않고 남은 재고(S-(S-P))의 사후 이미지(52)에서 누락된 임의의 제품(13)을 결정하도록 제품이 제거되기 전후에 진열된 재고(S)의 이미지(50, 52)를 비교함으로써 고객(48)에 의해 그로부터 제거된 임의의 제품(13)을 식별하는 단계, 및 그 후에 고객(48)에게 누락된 제품(13)을 결제를 청구하는 단계;를 포함한다.

Description

신경 자판기

본 발명은 일반적으로 자동화된 자판기에 관한 것으로, 더 상세하게는 비행 중 상업용 항공기의 승객 서비스에 관한 것이다.

승객 및 비행 경제 역학의 끊임없는 변화로 인해 기내식(onboard catering) 및 제품 서비스는 승객에게 선택을 제공하는 동시에 항공사의 수익원으로 간주된다. 그러나 기존의 식사 서비스 및 판매 시스템(merchandising system)은 여전히 객실 승무원과 전통적인 트롤리 기반 유통(trolley based distribution)에 의존한다.

승객의 안락함과 안전을 보장하기 위해 상업용 항공기에 부과되는 많은 정부 규제 요건으로 인해 비행 중 여객기에서 식사 및 제품 또는 제품 판매를 자동화하는 것은 상당한 과제를 안겨준다.

항공기 자동 판매 서비스(vending service)는 예를 들어 승객 상호 작용, 결제, 속도, 유용성, 물리적 크기, 항공기 위치, F.A.A. 규제 인증, 내공성(airworthiness) 및 무게를 포함하는 고유한 문제를 수반한다.

상업적으로 사용 가능한 자판기는 안전한 항공기 작동을 위한 다양한 규제 요건을 충족하도록 설계되지 않았기 때문에 그리고 실제로는 기본적으로 복잡한 구성, 큰 크기, 과도한 무게 및 재료 구성으로 인해 주로 항공기에서 금지된다.

일반적인 자판기는 상당히 크고 무겁고 복잡하며 선택된 제품을 고객 또는 사용자에게 진열하고 선택하고 정확하게 분배하기 위한 수 많은 기계 시스템을 포함하며, 이는 여객기에서 사용하기에는 비현실적이므로 현재 내부에서 찾을 수 없다.

기존의 자판기는 일반적으로 음료 캔, 식품 및 스낵 품목, 소형 제품 품목과 같은 사용자가 선택한 품목을 정확하게 분배할 수 있도록 개별적으로 식별된 미리 결정되고 미리 구성된 트레이 또는 슬롯 또는 구획 또는 빈에 제품을 보관할 필요가 있으므로 복잡한 기계적으로 구동된 분배 슈트(complex mechanically driven dispensing chute)가 필요하다.

제품은 일반적으로 식별을 위한 유비쿼터스 범용 바코드를 포함하지만 이를 위한 자동 판매 장비는 대응하는 바코드 스캐너 및 관련 장비가 필요하므로 복잡성 및 무게가 증가한다.

또한 제품은 상대적으로 비용이 많이 드는 일반적인 RFID(Radio Frequency Identification) 태그가 장착될 수 있지만, 복잡성과 무게를 다시 증가시키는 대응하는 스캐닝 및 관련 장비가 다시 필요하다.

그럼에도 불구하고 항공기용으로 특별히 제작된 자판기는 바람직하며, 비행 중 여객기에 사용하기 위한 새로운 솔루션이 필요한 매력적인 개념적 또는 디자인적 과제를 제시한다.

셀프 서비스 또는 자동화된 자판기는 어디에나 있으며 고객이 잘 이해하고 있으므로 항공기 여행 중에 승객이 쉽게 받아들일 수 있다. 항공기용으로 특별히 구성된 자판기는 제품을 신속하게 판매해야 하며; 대기열과 승객의 이동을 줄이기 위해 작고 가벼우며 객실에 전략적으로 배치되어야 한다. 설계 과제는 승객과 항공사 모두에게 바람직한 솔루션을 제공하도록 이러한 제품을 안전히 비행할 수 있도록 만드는 것이다.

자판기는 승객이 직접 조작할 수 있어야 하며 그로부터 제거된 제품에 대해 안전하게 결재해야 하며, 재입고 또는 오작동 해결로 제한된 최소한의 승무원 지원이 있어야 한다.

따라서, 비행 중 상업용 항공기에서 사용하도록 특별히 설계된 새롭고 개선된 자동화된 자판기를 제공하는 것이 요구된다.

자동화된 분배기에서 제품을 분배하는 방법은 디스플레이 선반에 여러 제품의 초기 재고를 진열하는 단계 및 제거된 제품 자체를 검출하지 않고 남은 재고의 사후 이미지에서 누락된 임의의 제품을 결정하도록 제품 제거 전후에 진열된 재고의 이미지를 비교한 다음 누락된 제품을 사용자에게 계산하여 사용자가 분배기로부터 제거된 임의의 제품을 식별하는 단계를 포함한다.

본 발명은 바람직한 그리고 예시적인 실시예에 따른 추가적인 목적과 장점과 함께 첨부된 도면과 함께 다음의 상세한 설명에서 보다 구체적으로 설명된다.
도 1은 객실 내부에 설치된 셀프 서비스 자동화된 자판기(AVM)를 갖는 여객기의 등각투영도(isometric view)이다.
도 2는 도 1에 도시된 AVM의 측면 입면도(side elevational view)이다.
도 3은 도 1에 도시된 AVM의 정면 입면도이다.
도 4는 도 1에 도시된 AVM의 분해 개략도이다.
도 5는 진열된 재고의 사전 및 사후 이미지 차이를 구별하기 위해 훈련된 인공 신경망(Artificial Neural Network, ANN)에 의해 식별되는 제거된 제품과 함께 AVM으로부터 제품을 선택하고 제거하는 고객에 의한 AVM의 작동을 나타내는 흐름도이다.
도 6은 도 5의 AVM에 도시된 ANN의 사전 훈련을 나타내는 흐름도이다.
도 7은 제거된 제품을 사후 이미지에 누락된 제품으로 식별하기 위해 다른 ANN으로 구성된 도 5에 도시된 AVM의 흐름도이다.
도 8은 도 5에 도시된 AVM에서 사용하기 위한 다른 ANN의 훈련을 나타내는 흐름도이다.
도 9는 도 5 및 7에 도시된 AVM의 작동의 흐름도이다.

발명을 수행하기 위한 모드

도 1에 도시된 것은 원통형 동체(cylindrical fuselage, 22) 및 대응하는 길이방향 또는 축방향 축(24)을 갖는 예시적인 상업용 여객기(20)이다. 항공기(20)는 고도에서의 일반적인 비행 작동을 위해 그 날개에 장착된 트윈 터보 팬 엔진에 의해 동력을 공급받는다. 동체(22)는 통상적으로 승객 시트의 열(미도시), 서비스 조리실(service galley) 및 화장실로 구성된 내부 캐빈(26)을 포함한다.

본 발명에 따르면, 셀프 서비스 자동화된 분배 또는 자판기(AVM, 28)는 비행 중에 승객이 사용하기 위한 임의의 편리한 위치에서 캐빈(26) 내부에 적합하게 장착된다. 추가 AVM은 원하는 대로 캐빈 전체에 배포될 수 있다.

AVM(28)은 내공성 및 안정성을 만족시키도록 적용 가능한 F.A.A 정부 규제 하에서 항공기에서 사용하도록 특별히 구성되며, 추가적으로 최소 무게를 갖는 최소 부품으로 구성되어 승무원의 일반적인 도움 없이 셀프 서비스로 비행 중에 승객에게 제품을 정확하고 안전하게 판매할 수 있다.

도 2, 3 및 4는 승객이 편리하게 접근할 수 있도록 객실(26) 내부의 곡선 동체와 바닥에 장착된 예시적인 구성에서 AVM(28)의 측면, 전면 및 등각 투영도를 도시한다. 이 독립형(stand-alone) 실시예에 추가하여, 조리실 및 더 작은 벽걸이형 구성(wall-mounted configuration)은 사용 가능한 공간에 따라 객실에서 사용할 수 있다.

모든 항공기 구성에서 AVM(28)은 원하는 제품의 기내 셀프 서비스 판매를 허용하기 위해 가볍고, 안정적이며, 신속하며 그리고 인증 가능하도록 구성된다. 자판기의 항공기 구성은 비행 중 작도에 대한 적용 가능한 정부 규제를 인증하고 만족하기가 비교적 간단한 일반적인 항공 우주 설계 특징, 재료 및 관행을 사용할 것이다.

도 2-4에 도시된 AVM(28)은 잠기고 투명한 디스플레이 도어(32)를 갖고 도어를 통해 판매를 위한 상품 또는 제품(n)의 초기 및 제한된 재고를 디스플레이하기 위한 다중 디스플레이 선반(34)을 포함하는 적절하게 고정된 디스플레이 캐비닛(30)을 포함한다.

식품 및 음료 또는 소규모 소매 제품과 같은 임의의 수 및 유형의 제품(n)이 판매용으로 제공될 수 있으며, 총 사용 가능한 제품의 수는 항공사에 의해 선택되며, 각 제품 P(n)은 1, 2, 3, … N 범위의 숫자 값 n에 의해 식별되며, 여기서 N은 잡재적 제품의 최대 수를 나타내며 원하는 대로 10, 100, 500 및 심지어 1000 이상과 같은 적절한 값을 가질 수 있다.

이 독립형 구성의 디스플레이 캐비닛(30)은 베이스 케비닛 또는 단순한 베이스(36) 위에 장착될 수 있으며 바람직하게는 2 개 또는 유사한 종래의 케이터링 카트(38)를 수용하도록 구성될 수 있으며, 여기에는 판매 제품(n)의 추가 인벤토리 또는 재고를 포함하는 항공기 서비스에 필요한 임의의 항목이 저장될 수 있다. 캐비닛(30)은 제품의 제한된 수 또는 양(S)을 진열하도록 특별히 구성되며 잉여 및 추가 제품은 하나 또는 두 카트(38)에 편리하게 보관될 수 있다. 카트(38)는 베이스(36)에 적절하게 고정되거나 잠기며 디스플레이 도어(32)는 적절한 전기 활성화된 도어 락(40)에 의해 캐비닛(30)에 잠긴다.

처음에 도 4에 도시된 바와 같이, 캐비닛(30)은 바람직하게는 모든 디스플레이 선반(34)을 특별히 포함하도록 수평 및 수직 둘 다로 연장하는 시야(F)를 갖는 캐비닛의 상부 내부에 장착되는 항공 우주 등급 디지털 카메라(42)를 포함하며, 이에 따라 여러 선반(34)에 진열된 제품(n)의 전체 재고(S)를 동시에 본다. 하나 이상의 카메라(42)는 원하는 대로 하나 이상의 상이한 관점에서 캐비닛에 캐비닛에 진열되는 모든 제품의 전체보기 범위를 보장하기 위해 사용될 수 있다.

수평 디스플레이 선반(34)은 바람직하게는 수직 층으로 배열되며, 예를 들어 카메라(42)에 의해 차단되지 않은 보기를 위해 여러 제품을 가장 잘 분배하도록 4 개가 도시된다. 각각의 진열된 제품은 진열된 근처의 제품에 의한 부분적이거나 완전한 차단 없이 카메라에 의해 개별적으로 보일 수 있는 것이 바람직하다.

디지털 컴퓨터(44)는 공간이 허용되는 캐비닛(30) 또는 베이스(36) 내부에 적합하게 장착되고, AVM(28)의 작동을 제어하기 위해 카메라(42) 및 잠금 장치(40)에 작동 가능하게 결합된다. 가장 간단한 구성에서 AVM(28)은 주로 보안 디스플레이 캐비닛(30), 카메라(42) 및 컴퓨터(44)이다.

이 카메라 기반 비전 시스템은 복잡하고 무거운 메커니즘의 필요성을 없애 무게를 줄이고 덜 어려운 항공기 인증을 가능하게 한다. AVM(28)은 거의 모든 크기를 가질 수 있으며 캐빈 내부의 최소 공간을 차지하도록 구성될 수 있으며 통신 및 전력을 위해 최소 항공기 인터페이스가 필요하다. 이는 현금 없는 전자 회계 및 결제 시스템을 포함하며, 항공기 사용을 위해 특별히 구성된 메커니즘 없는 컴퓨터 기반 비전 시스템(mechanism-less computer-based vision system)에 의해 모니터링 및 제어될 것이다.

디지털 컴퓨터(44)는 제거된 제품 자체를 초기에 식별하거나 검출하는 것이 아니라 남은 재고의 사후 이미지에서 임의의 제품 누락을 결정하여 사용자에 의해 선택되거나 제거된 하나 이상의 제품을 예측하거나 추론하기 위한 제품 제거 전후의 진열된 재고의 카메라(42)에 의해 촬영된 사전 및 사후 이미지를 비교함으로써 사용자 또는 고객에 의해 캐비닛으로부터 제거된 임의의 제품을 식별하기 위한 소프트웨어로 특별히 구성된다.

컴퓨터(44)는 전기 도어 잠금 장치(40)에 연결되고 등록 또는 승인된 고객에 대한 액세스을 승인하도록 구성되며 제품 제거 전 후에 도어를 잠금 해제하고 다시 잠근 다음, 누락 또는 선택된 제품에 대해 고객에게 과금(accounting) 또는 귀속(attribution)을 수행하고 그에 대한 결제를 처리한다.

고객 액세스 및 통신은 컴퓨터(44)에 작동 가능하게 결합된 도 4에 개략적으로 도시된 적절한 디스플레이 패널(46)에 의해 제공될 수 있다. 승객 또는 고객과 같은 임의의 사용자(48)는 디스플레이 패널(46)을 통해 AVM(28)에 간단히 액세스할 수 있으며, 이는 통상적으로 고객(48)에 의해 제시된 신용 카드 또는 휴대폰 결제 앱(어플리케이션 또는 소프트웨어)으로부터 신용 또는 결제를 등록하거나 승인하기 위한 신용 카드 리더기, RFID 센서 및 블루투스 시스템으로 구성될 수 있다.

도 5에 도시된 바와 같이, 항공기 승객-고객(48)에게 상품(n)을 분배 또는 판매하는 기본 방법은 단순히 AVM(28)의 디스플레이 캐비닛(30) 내부에 잠긴 다층(multi-tiered) 디스플레이 선반과 같은 디스플레이 선반(34)에 여러 제품(n)의 초기 재고(S)를 진열하는 단계를 포함한다. 위에 표시된 바와 같이, 제품(n)의 전체 또는 마스터 인벤토리(N)는 원하는 대로 제품의 총 개수(N)를 가질 것이다.

도 5에서, 선반(34) 상의 예시적인 상품 레이아웃 분포가 도시되며, 진열된 재고(S(n))는 16개의 총 개수(S)를 포함하며, 예를 들어 제품(P(n))은 도시된 4 개의 예시적인 선반과 같은 여러 개의 선반(34) 상의 캐비닛(30)의 이용 가능한 공간에 맞는 임의의 크기 및 구성일 수 있다.

제품 선반 레이아웃은 일반적으로 무작위일 수 있지만 특정 제품 판매를 촉진하기 위해 미리 결정할 수 있다. 여러 개의 선반(34)은 공간이 허용되는 제품 배치의 임의의 무작위 위치를 허용하고, 제품은 미리 결정된 선반 위치 또는 그 위의 물리적으로 보완적인 시트에 한정될 필요가 없다.

초기 디스플레이 재고(S(n))는 예시적인 제품(1, 2, 3, … 16)을 포함하며, 여기서 초기 재고 제품(S(n))은 서로 다른 3차원(3D) 또는 바닥 또는 제1 선반 상의 콘(1-5), 제2 선반 상의 긴 직사각형 상자(6-9), 제3 선반 상의 짧은 직사각형 상자(10-13) 및 제4 또는 상부 선반 상의 원통형 캔(14-16)을 포함하는 물리적 형태로 개략적으로 도시된다.

이들 16 개의 제품(n)은 중복을 포함하거나 판매를 위해 원하는 대로 서로 다를 수 있으며 16 개의 참조 번호(1-16)는 서로 다른 제품의 식별 및 서로 다른 그래픽, 텍스트, 색상, 바코드 및 이러한 제품의 외부 표면에 표시되거나 인쇄된 모든 표시(indicia)를 나타낸다.

제품(n)의 수는 1에서 N까지의 범위이므로 각 제품(n)은 P(n)으로 지정된 마스터 인벤토리의 제품 번호 또는 S(n)으로 지정된 하위 세트 재고 인벤토리에 진열된 제품 번호로 대안적으로 식별될 수 있으며, 각 제품의 상이한 모양은 여기서 제품의 참조 번호 n = 1, 2, 3, … N으로 간단히 참조된다.

예를 들어, 제품(14-16)은 서로 다른 그래픽 패턴 및 색상을 갖는 서로 다른 제조업체의 서로 다른 음료 캔을 나타낼 수 있으며, 음료 캔(14)은 대응하는 그래픽 및 텍스트와 함께 색상이 주로 빨간색이고 음료 캔(15)은 대응하는 그래픽 및 텍스트와 함께 색상이 파란 색이다.

제품(6-13)은 판매를 위한 예시적인 식품 또는 소매 제품을 나타낼 수 있지만 다른 제조업체에 의해 다른 그래픽과 색상을 가질 수 있다.

그리고, 제품(1-5)은 다른 제조업자에 의해 판매되고 다른 그래픽 및 색상을 갖는 사탕, 기타 식품 또는 소매 제품과 같은 예시적인 추가 품목을 나타낼 수 있다.

도 5의 정면 입면도에 도시된 계층형 선반(34)의 바람직한 구성에서, 캐비닛(30)에 진열된 제품(n)의 전체 재고(S)는 근처 제품에 의한 방해 없이 캐비닛에서 카메라(42)에 의해 전체 보기를 제공하기 위해 겹치지 않고 수평 및 수직으로 적절하게 이격된다. 각 제품은 항공기 AVM 적용을 위해 대응하는 유지 시트 또는 접착제 또는 VELCRO(TM)에 의해 선반(34) 상에 적절하게 고정될 수 있지만, AVM의 움직임이 없는 육상 기반 구성에서 단순히 중력에 의해 선반에 놓일 수 있다.

AVM(28)은 제거된 제품 자체를 검출하는 것이 아니라 대신에 남은 재고의 이미지에서 임의의 제품 누락을 결정하도록 제품이 제거되기 전후의 진열된 재고의 이미지를 비교함으로써 고객에 의해 디스플레이 선반(34)으로부터 제거된 임의의 제품을 식별하기 위해 특별히 구성된다. 고객(48)은 그 후에 누락된 제품에 대해 청구되고 결제하고, 이는 그러한 제품이 고객에 의해 캐비닛(30)으로부터 선택되고 제거되었음을 추론한다.

이 판매 절차는 선택된 제품이 대응하는 장비와 복잡성 및 무게로 어떤 방식으로든 직접 식별되어야 하는 일반 자판기와는 매우 다르다.

일반적인 제품 바코드는 구매 시 제품을 식별하기 위해 대응하는 바코드 스캐너가 필요하다. RFID 태그가 달린 제품도 마찬가지로 구매 시 스캐너와 장비가 필요하다. 이러한 바코드 및 RFID 제품 식별은 복잡성과 무게로 인해 항공기 AVM에서 바람직하지 않으며 일반적으로 객실 승무원의 감독이 필요하다. 따라서 셀프 서비스 및 보안 운영에 쉽게 도움이 되지 않는다.

도 5에 도시된 AVM(28)은 매우 적은 구성요소를 가지며 고객(48)에 의해 제품이 캐비닛(30)으로부터 제거되기 전후에 진열된 재고를 이미징하기 위해 카메라(42)를 사용한다. 컴퓨터(44)는 제품 재거 전의 초기 재고 및 제품 제거 후의 남은 재고에서 모든 제품을 카메라 이미징으로부터 식별하도록 특별히 구성된다.

초기 디스플레이 재고(S)는 모든 제품(1-16)을 포함하고 고객(48)은 예를 들어 제품(13)과 같은 단일 제품만 취하거나 제거했으며, 남은 재고(S-(S-P))에서 15 개의 제품(1-12 및 14-16)이 남는다.

컴퓨터(44)는 그 후에 예시적인 제품(13)과 같은 그 사이의 누락된 제품을 결정하기 위해 초기 및 남은 재고에서 식별된 제품을 비교하고, 이에 의해 누락된 제품(13)을 제거된 또는 고객이 선택한 제품으로 추론하고 지정한다.

카메라(42)는 바람직하게는 컴퓨터(44)에 의해 작동되어 제품 제거 전에 제품(n)의 초기 재고(S)를 사전 이미징하고, 그 후 제품 제거 후의 제품의 남은 재고를 사후 이미징하고, 사후 이미지(52)로부터 제품의 남은 재고를 식별한다. 그런 다음 그렇게 식별된 남은 재고와 그렇게 식별된 초기 재고를 비교함으로써 임의의 누락된 제품을 식별하고 과금할 수 있다.

도 5에서, 재고(S) 사전 이미지(50)는 16 개의 진열된 제품(1-16)의 입면 정면도로 개략적으로 도시되며, 사후 이미지(52)는 남은 15 개의 진열된 제품(1-12 및 14-16)의 입면 정면도로 개략적으로 도시된다.

개략적으로 도 5에서, 초기 재고(S)는 16 개의 제품을 가지고 제품 P(13)은 남은 것에서 제거되거나(S-P) 또는 15 개의 제품이 디스플레이에 남아 있다. 사전 및 사후 이미지(50, 52)의 비교는 (S-(S-P))에 해당하며, 이는 도 5에 도시된 예에서 단일 제품(13)과 같이 P가 제거된 제품이 된다.

예를 들어 2 개의 제품(13 및 7)이 캐비닛(30)에서 제거되면, 비교(S-(S-P))는 누락된 제품(13 및 7)이 제거되어 현재 누락된 것으로 식별되도록 초래할 것이다.

사후 이미지(52)는 고객이 진열된 재고 제품(n) 중 몇 개를 처리하고 예시적인 제품(13)을 최종적으로 선택하고 제거하기 전에 그들 중 일부를 재배열했음을 주목한다. 원래 선반 위치에 관계 없이 고객에 의한 단순히 보고 터치하고 검사하고 심지어 임의의 제품을 디스플레이 캐비닛(30)에 되돌리는 이 능력은 AVM(28)의 뛰어난 다용성과 판매 단순성을 보여준다.

따라서, 초기 재고(n)는 투명 디스플레이 도어(32)를 통해 고객(48)에 의한 초기 보기(initial viewing)를 위해 잠긴 디스플레이 캐비닛(30) 내의 디스플레이 선반(34) 중 하나 이상의 상에 무작위로 또는 원하는 레이아웃 또는 패턴으로 간단하게 진열될 수 있다. 그리고, 제품을 수동으로 잡고 검사할 수 있으므로 고객은 캐비닛에서 제품 레이아웃을 무작위로 재배열하는 능력을 갖는다.

그 다음, 고객(48)은 캐비닛(30)으로부터의 구매를 위한 액세스를 승인하기 위해 디스플레이 패널(46) 또는 적절하게 표시된 통신 영역에 블루투스 또는 RFID 결제 앱(애플리케이션)이 있는 신용 카드 또는 휴대폰을 제시한다. 컴퓨터(44)는 카메라(42)를 작동시켜 디스플레이 상의 초기 재고(S)의 사전 이미지(50)를 찍고, 그 후에 캐비닛(30)을 잠금 해제하기 전에 그 초기 재고의 각각의 모든 제품(n)을 사전 이미지(50)로부터 적절하게 식별한다.

그 후에 컴퓨터(44)는 캐비닛 도어(32)를 잠금 해제하여 캐비닛 내부에 진열된 모든 제품에 고객이 액세스할 수 있도록 하며, 이 제품 중 하나 이상은 검사 및 구매를 위해 고객이 수동으로 처리 및 제거하거나 원하지 않는 경우 캐비닛으로 반환될 수 있다.

고객은 제품 검사가 끝나면 단순히 디스플레이 도어(32)를 닫고, 그 후에 컴퓨터(44)는 도어를 잠그고, 다시 카메라(42)를 작동시켜 사후 이미지(52)를 찍고, 그리고 고객이 임의의 제품을 제거한 후 그 사후 이미지로부터 제품의 남은 재고를 적절하게 식별한다.

컴퓨터(44)는 두 이미지에서 발견되고 식별된 제품을 매칭하기 위해 사전 이미지(50)와 사후 이미지(52)를 비교하고 어떤 제품이 사후 이미지(52)로부터 누락되었는지를 결정하도록 특별히 구성된다.

도 5에서, 사전 이미지(50)는 컴퓨터에 의해 식별된 모든 16개의 초기 재고(S) 제품(1-16)을 포함하고, 사후 이미지(52)는 컴퓨터에 의해 다시 식별되는 15 개의 (S-P) 제품(1-12 및 14-16)만을 포함한다. 이러한 결과(S-(S-P))를 비교하면 제품 13(P(13))이 사후 이미지(52)에서 누락됨을 나타낸다.

이에 따라 제품(13)은 디스플레이 재고에서 누락되기 때문에 추론에 의해 식별되고, 그렇게 식별된 누락 제품(13)에 대해 고객에게 결제를 청구하여 프로세스가 완료된다.

AVM(28)은 근본적으로 그 비전 또는 광학 카메라(42) 및 소프트웨어에 특별히 프로그래밍된 관련 컴퓨터(44)에 의존하여 제품 및 재고의 사전 및 사후 이미지를 찍고, 그 이미지를 적절하게 분석하여 그 안에 캡쳐된 제품(n)을 식별하고 이에 따라 고객이 디스플레이 도어를 닫은 후 사후 이미지에 임의의 제품이 누락되었는지 결정한다.

고객은 진열된 제품(n)을 수동으로 제거 및 검사하고 임의로 원래 위치 또는 다른 위치에 있는 캐비닛으로 반환할 수 있으며, 이러한 고객 개입 전후에 진열된 재고의 시각적 식별을 수행해야 한다. 고객이 제품을 선택 및 제거하지 않을 수 있으므로 캐비닛에서 제거되지 않은 제품이나 캐비닛 내부에 단순히 재 배열된 제품에 대해 고객에게 비용이 청구되지 않아야 한다.

따라서, 컴퓨터(44)는 디스플레이 도어가 고객에 의해 잠금 해제되고 열리기 전과 도어가 다시 닫히고 다시 잠김 후에 제품 재고의 정확한 이미지를 만들기 위해 카메라(42)를 작동시키도록 특별히 구성된다. 그 후에 디스플레이 선반(34) 상의 위치 및 배향에 관계없이 사전 이미지(50) 및 사후 이미지(52)에 포함된 각각의 모든 제품(n)을 정확하게 검출하고 인식한다.

재고 이미지로부터의 정확한 인식은 모든 진열된 제품의 정확한 식별, 및 정확한 과금 및 적절한 청구를 위해 고객에 의해 제거된 임의의 제품의 정확한 추론을 가능하게 한다.

이 절차는 또한 캐비닛(30)에 진열된 모든 제품 인벤토리 또는 재고의 식별에 의존하고 고객이 실제로 제거한 제품을 직접 식별할 필요가 없기 때문에 제품 판매 시 향상된 보안을 제공한다.

고객이 일반적인 바코드 스캐너를 지나 개별 제품을 셀프 스캔하여 제품을 식별하고 결과적인 송장(resulting invoice)에서 해당 제품을 표로 만들어야 하는 의무가 있는 일반적인 셀프 서비스 체크아웃 시스템을 비교한다. 물론, 항목을 스캔하지 않으면 해당 항목이 표로 작성되거나 대금이 지급되지 않을 것이다. 그리고 상당히 중요하게, 이러한 셀프 스캐닝은 바코드 스캐너 장비가 대응하게 필요하다. 항공기의 제한된 환경에서, 바코드 스캐너와 같은 셀프 서비스 장비는 실용적이지 않으며 승무원의 작동 없이는 충분히 안전하지 않다.

따라서, 위에서 소개된 AVM(28)은 예를 들어 여객기 구성에서 선택된 제품의 정확한 식별과 안전한 셀프 서비스 판매를 제공하기 위해 적은 구성요소, 적은 무게 및 상대적 단순성에서 상당한 이점을 제공한다.

재고 사후 이미지(50) 및 재고 사전 이미지(52) 모두에서 각 제품(n)을 검출하고 인식하도록 훈련된 인공 신경망(A.N.N 또는 단순히 ANN)을 컴퓨터(44)에 배치함으로써 재고 제품(n)의 정확한 식별이 AVM(28)에서 제공될 수 있다.

인공 신경망은 일반적으로 작업 별 규칙으로 프로그래밍하지 않고 예시를 고려하여 다양한 작업을 수행하도록 훈련할 수 있는 생물학적 신경망에서 영감을 받은 기존의 알려진 컴퓨팅 시스템이다.

예를 들어 하나의 Wikipedia 참조에서, ANN은 이미지 인식을 위해 훈련될 수 있으며 고양이와 같은 객체를 포함하는 이미지를 식별할 수 있다. 훈련 단계에서, 다수의 예시 또는 훈련 이미지가 수동으로 고양이 또는 고양이 없음으로 레이블이 지정되고 분석된 다음 다른 이미지에서 고양이를 식별하는데 사용된다.

ANN은 예를 들어, 모피, 꼬리, 수염 및 고양이 같은 얼굴을 갖는 고양이에 대한 사전 지식 없이 이를 수행한다. 대신, ANN은 처리하는학습 자료에서 식별 특성을 자동으로 생성하고 적절한 훈련 후에 고양이와 같은 각 객체에 대해 대응하는 휴리스틱(heuristic) 또는 신경 서명을 개발한다.

ANN은 예를 들어, 컴퓨터 비전, 음성 인식, 기계 번역, 소셜 네트워크 필터링, 보드 및 비디오 게임 재생, 의료 진단을 포함하는 다양한 작업에 사용되었다.

AVM(28)에서, 컴퓨터(44)에 배치된 ANN은 컴퓨터 비전을 사용하고 내부에 캡쳐된 재고 제품 이미지를 검출하고 인식하기 위해 사전 이미지(50) 및 사후 이미지(52)를 분석하도록 특별히 구성된다. 특히, ANN은 디스플레이 캐비닛(30)에서 제거되는 실제 제품(13)을 직접 이미지화하고 식별하도록 구성되지 않지만, 대신 위에서 설명하고 아래서 더 설명하는 바와 같이 전후 재고를 이미징하여 누락된 제품을 예측하거나 추론한다.

컴퓨터(44)에 배치된 ANN은 재고 사전 이미지(50)뿐만 아니라 재고 사후 이미지(52)에서의 각 제품을 검출하고 인식하도록 훈련된다. 그 다음 컴퓨터(44)는 사후 이미지(52)와 사전 이미지(50) 사이의 ANN-인식 재고 제품 이미지를 비교하여 제품(13)과 같은 임의의 누락 제품을 식별한다.

도 5의 AVM(28)에 배치된 바와 같이, ANN은 사전 이미지(50) 및 사후 이미지(52)에서 캡쳐된 여러 제품(n)을 정확하게 검출하고 인식하는데 사용하기 위해 이미 훈련되었거나 사전 훈련된다. 이런 방식으로 자동화된 자판기(28)는 인공 신경망 자판기 또는 재고 제품을 이미지화하고 그 이미지로부터 내부에 캡쳐된 다양한 객체 또는 제품을 검출 또는 인식하기 위해 컴퓨터 비전에 의존하는 단순한 신경 자판기로 특별히 구성된다.

도 6은 AVM(28)에서 사용하기 위해 특별히 수정된 경우를 제외하고는 기존 프로세스에서 ANN을 훈련하는 방법을 개략적으로 도시한다. 도 6은 이하에서 더 상세히 설명되는 바와 같이 AVM(28)에서의 사용을 위해 제1 ANN-1 및 제2 ANN-2의 두 개의 다른 ANN에 대한 유사한 훈련을 도시한다.

제1 ANN-1과 제2 ANN-2는 모두 제품 판매에 사용하기 전에 사전 훈련되어 마스터 인벤토리의 수많은 제품(N) 각각을 정확하게 식별한다. 각각의 제품(n)은 외관 및 색상 또는 임의의 적절한 물리적 속성을 포함하는 물리적 구성, 크기 및/또는 기하학적 구조에 기초하여 그 고유한 식별을 제공하기 위해 적절한 각도로 카메라(42)에 의해 초기에 캡쳐된다. 예를 들어, 2 개의 동일한 크기의 음료 캔은 구별되는 라벨의 색상과 패턴으로 식별되고 구별될 수 있다.

그런 다음 제품 식별 훈련의 결과는 판매용으로 진열된 하위 세트 재고(S) 제품(n)이 승객에게 판매용으로 인증될 수 있는 적절하게 큰 제품 인벤토리(N)의 정확한 데이터베이스를 제공하기 위해 AVM(28)에서 사용된다.

기존의 사전 훈련은 초기 제품 재고(S)를 포함하는 다수의 제품(n)의 원하는 마스터 인벤토리를 먼저 이미징하는 것을 포함한다. 위에 표시된 바와 같이, 디스플레이 재고(S)가 선택되는 제품(n)의 마스터 인벤토리는 원하는 만큼 크고 다양할 수 있으며, 여기서 N은 잠재적 제품의 최대 수를 나타내며 10, 100, 500 및 심지어 1000 이상과 같은 임의의 적절한 값을 가질 수 있다.

각 제품(n)은 물리적 3차원(3D) 구성을 가지며 도 6에 도시된 제품 번호 1, 2, 3, … 18 … N으로 개략적으로 참조되며 외부 표면 상에 인쇄되는 대응하는 그래픽, 텍스트, 색상 구성표(color scheme) 및 바코드을 가질 것이다.

훈련되는 제품(n)은 의도된 AVM(28)에서 후속 사용을 위한 실제 제품이다. AVM에 진열된 재고(S)는 마스터 인벤토리(N)의 적절한 하위 세트이며 예를 들어 도 5에 도시된 바와 같이 예를 들어 제품(1-16)을 포함한다.

적절한 훈련 카메라(54)는 다른 일반적으로 메임 프레임 컴퓨터(56)에 작동 가능하게 결합되고 2 개의 ANN에서 학습 또는 훈련을 받는 각 제품(n)의 다수의 훈련 이미지가 촬영된다.

각 훈련 이미지는 훈련 기술자가 완전한 이미징을 보장하도록 수동 박싱(boxing) 또는 프레이밍을 위해 적절하게 이격된 하나 이상의 제품을 포함할 수 있으며, 각 제품의 다수의 이미지는 서로 다른 배향, 각도 조명, 배경, 위치, 박싱 등을 취한다.

예를 들어, 처음에 훈련된 제품은 정확하게 검출 및 인식하도록 ANN을 훈련하기 위해 각각 500 내지 1000 개의 이미지가 필요할 수 있다. 이후에 훈련된 제품은 ANN의 정확한 훈련을 위해 약 70 내지 100 개의 서로 다른 이미지만이 필요할 수 있다.

위에서 표시된 바와 같이, 일반적으로 ANN은 기존 방식이며 이에 대한 훈련이다. 각 ANN은 각 제품 훈련 이미지를 분석하고 그 안의 제품을 검출하고 분석된 제품의 예측과 함께 해당 제품을 인식하도록 구성된다.

처음에는 훈련되지 않은 ANN에 의해 예측된 제품이 훈련 이미지에 포함된 실제 제품과 비교할 때 훈련 프로세스에서 부정확할 것이며 그 후에 대응하는 가중치 또는 편향이 다음 예측을 위해 다시 실행되는 ANN 모델에 의해 조정된다. 이 반복 프로세스는 ANN이 적절하게 훈련되고 각 제품(n)에 대한 대응하는 신경 서명(X(n))을 학습할 때까지 여러 반복 또는 에포크(epoch)을 위해 반복된다.

위에 표시된 바와 같이, 기존 ANN은 처리하는 학습 자료에서 식별 특성을 자동으로 생성하며, 이 특성은 수학적 개념(mathematical abstraction)이지만, 각 제품을 정확하게 검출하고 인식하기 위해 ANN에 의해 이해되는 제품 또는 신경 서명(X(n))을 나타낸다.

훈련 프로세스는 모든 제품(n)이 대응하는 개발된 신경 서명(X(n))을 기반으로 이미지에서 정확하게 검출 및 인식될 수 있을 때까지 제품별로 계속되며, 각 제품에 대한 대응하는 신경 서명은 모든 제품(n)에 대한 적절한 서명 인벤토리 또는 데이터베이스의 AVM에 나중에 사용하기 위해 저장된다.

6 개의 테스트 객체를 감지하고 인식하는 하나의 개발 프로그램 동안, 대응하는 이미지에서 6 개의 테스트 객체를 식별하기 위한 충분한 정확도로 12 세대 ANN을 개발하기 위해 6 개의 하루 24시간 전체의 컴퓨터 시간이 필요한 백만번의 훈련 반복 또는 에포크가 수행되었으며, 따라서 개념 증명(proof of concept)을 지원한다.

위에서 표시된 바와 같이, 2 개의 ANN은 도 6 흐름도에서 유사하게 훈련되고, 도 5는 AVM 컴퓨터(44)에 배치된 하나 이상의 이러한 사전 훈련된 ANN을 개략적으로 도시한다.

최상의 제품 식별을 위해, 동일한 사전 훈련된 ANN이 도 5에 도시된 AVM(28)의 사전 이미지(50) 및 사후 이미지(52) 모두에서 제품(n)을 검출하고 인식하는데 사용된다. 대응하게, AVM 카메라(42)는 이미지 및 학습된 서명 인벤토리 또는 데이터베이스로부터 검출된 신경 제품 서명(X(n))의 최상의 매칭을 보장하기 위해 적절한 광학 및 디지털 성능을 갖는 훈련 카메라(54)와 동일하거나 유사하다.

도 6에 도시된 훈련 컴퓨터(56)가 바람직하게는 ANN 훈련을 위한 향상된 계산 능력을 가진 메인 프레임 컴퓨터인 반면, 도 5에 도시된 AVM 컴퓨터(44)는 제품 식별을 위한 훈련된 ANN을 배치하는데 적절하게 사용학 위해 크기와 계산 처리 성능이 상당히 작을 수 있다.

도 7은 컴퓨터(44)가 재고 이미지에서 각 제품(n)을 검출하고 인식하도록 사전 훈련된 제1 인공 신경망(ANN-1) 및 동일한 재고 이미지에서 각 제품을 검출하고 인식하도록 사전 훈련된 제1 ANN-1과 다르게 구성되는 제2 인공 신경망(ANN-2)을 포함하는 2 개의 상이한 ANN을 포함하도록 소프트웨어에서 구성되는 도 5에 도시된 AVM(28)의 바람직한 구성을 도시한다.

제1 ANN-1은 신경 서명(X(n))의 자체 훈련된 제1 데이터베이스 또는 인벤토리-1을 가지고, 제2 ANN-2은 제1 ANN-1의 서명과 상이할 신경 서명(X(n))의 자체 훈련된 제2 데이터베이스 또는 인벤토리-2를 가진다.

2 개의 서로 다른 ANN은 신디케이트 풀링 평가(syndicate pooling evaluation, SPE)에서 병행하여 배치되어 사전 이미지(50) 및 사후 이미지(52)에서 제품을 독립적으로 검출하고 인식한다. 제1 ANN-1은 적절한 정확도 또는 오류 임계값을 갖는 사전 이미지(50) 및 사후 이미지(52)의 제품을 검출하고 인식하는데 사용되며, 제2 ANN-2은 적절한 정확도 또는 오류 임계값을 갖는 동일한 사전 이미지(50) 및 동일한 사후 이미지(52)에서 제품을 검출하고 인식하기 위해 병행하여 사용된다.

그 후에 2 개의 ANN은 이러한 사전 및 사후 이미지의 모든 제품(n)을 예측하며, 컴퓨터 소프트웨어는 사후 이미지(52) 및 사전 이미지(50) 사이에서 이러한 ANN 인식 재고 제품(n)을 비교하도록 구성된다. 제1 및 제2 ANN에 의한 제품 인식은 제품 식별의 정확성을 높이는데 동의해야 하며 이미지에서 발견된 예상 제품(n)이 일치하지 않는 경우, AVM(28)은 디스플레이 패널(46)에 오류를 보고한 다음 객실 승무원 개입이 필요하다.

2 개의 ANN 제품 예측 사이의 일치는 사후 이미지(52)에서 제거되거나 누락된 제품의 보다 정확한 식별을 보장하고 고객에게 비용이 청구되어 구매 거래가 완료되도록 한다.

대응하는 상이한 신경 서명(X(n))을 갖는 서로 다른 ANN 모델 또는 기술의 대응하는 이점을 활용하기 위해 AVM(28)에서 2 개의 서로 다른 ANN이 선호된다. 많은 유형의 기존 ANN이 알려져 있으며 성능이 크게 다르다.

AVM(28)의 경우 검출 및 인식에 대해 서로 다른 접근 방식을 갖는 2 개의 서로 다른 ANN을 갖는 것이 바람직하다. 제품 식별은 제품 이미지의 분석에 따라 달라지므로, 먼저 각 이미지를 분석하여 그 안의 상이한 객체 또는 제품을 검출해야 한다. 객체 검출 시 객체 또한 적절하게 인식되어야 한다.

도 5 및 7에 도시된 예시적인 제품 재고(S) 사전 이미지(50)에서 16 개의 진열된 제품(n)은 서로 다른 구성 및 형상 및 외관을 가지며, ANN은 먼저 사전 이미지(50)에서 발견한 16 개의 제품을 검출하고 구별해야 한다. 그리고 후에 ANN은 ANN에 대한 광범위한 훈련과 대응하는 신경 서명(X(n))을 기반으로 16 개의 제품(n)을 각각 인식해야 한다.

신경 AVM(28)에 2 개의 매우 다른 ANN을 통합하면 각 제품(n)을 식별할 때 2 개의 ANN 사이의 일치를 요구하여 제품 식별의 정확성을 크게 향상시킬 수 있거나 그렇지 않으며 판매 거래가 오류로 종료되어 승무원 개입이 필요하다.

기존 ANN의 적합한 유형 중 하나는 이미지 인식 및 분류를 위해 구성된 CNN 또는 ConvNet(Convolutional Neural Network)이다. CNN은 로봇 및 자율 주행 자동차의 비전 시스템에 전력을 공급하기 위해 얼굴, 객체 및 교통 표지판을 식별하는데 성공했다.

기존 ANN의 다른 적합한 유형은 선택적 검색 슬라이딩 윈도우를 사용하여 평가할 타겟 영역이 있는 RCNN(Region-based Convolutional Neural Network)이다. 예시적인 RCNN은 2013년 11월 11일에 제출되고(v1) 2014년 10월 22일에 최종 수정되어(v5) arXiv.org에서 온라인으로 제공되는 arVix 논문 1311.2524에 공개된다.

기존 ANN의 다른 적합한 유형은 CNN이 입력 이미지에 대해 한번만 작동하고 특징 맵을 계산하는 SSD(Single Shot Detector)이다. 단일 샷 멀티 박스 검출기 형태의 예시적인 SSD는 2015년 12월 8일에 제출되고(v1) 2016년 12월 29일에 최종 수정되어(v5) arXiv.org에서 온라인으로 제공되는 arVix 논문 1512.02325에 공개된다.

이 특징 맵의 작은 3×3 크기의 컨볼루션 커널(convolutional kernel)은 경계 박스와 분류 확률을 예측하는데 사용된다. SSD는 또한 RCNN과 유사한 다양한 종횡비로 앵커 박스(anchor box)를 사용한다. 스케일을 처리하기 위해, SSD는 다중 컨볼루션 레이어 이후의 경계 박스를 예측한다. 각 컨볼루션 레이어는 서로 다른 스케일로 작동하므로 다양항 스케일의 객체를 검출할 수 있다.

도 7에 도시된 AVM(28)에서 2 개의 서로 다른 ANN은 바람직하게는 SSD(Single Shot Detector) 형태의 제1 ANN-1 및 RCNN(Region-based Convolutional Neural Network) 형태의 제2 ANN-2를 포함한다.

이 선택의 목적은 검출 및 인식에 대한 접근 방식이 다른 2 개의 매우 다른 네트워크를 갖는 것이다. RCNN은 일반적으로 기능이 더 크고 집약적이므로 성능이 느려지므로 인식 능력이 향상된다. SSD는 일반적으로 기능이 더 작고 대응하게 성능이 더 빠르며 검출 임계값이 더 넉넉하다.

그 후에 2 개의 서로 다른 ANN은 AVM(28)에서 결합되어 각 네트워크, SSD 및 RCNN이 동일한 사전 이미지(50) 및 사후 이미지(52)에서 병행하여 작동하여 어떤 제품(n)이 인식되었는지 독립적으로 예측하는 신디케이트 풀링 평가에 총체적으로 영향을 미치며, 그 후에 이러한 예측이 함께 풀링되고(pooled), 비교에 의해 평가되어 이미지에서 캡쳐된 제품의 재고(S)에 대한 제품별 예측의 일치만이 사후 이미지(52)에서 누락된 임의의 제품을 추론하고 식별하게 할 수 있다.

이러한 예측 풀링이 일치하면, 누락된 제품이 더 정확하게 추론되고 고객에게 대금을 청구하여 판매 거래를 완료할 수 있게 한다.

이러한 풀링이 임의의 제품 이미지에 대해 일치하지 않으면, 승무원 개입을 요구하기 위해 오류 결과가 디스플레이 패널(46)로 전송된다.

도 7에 도시된 누락된 제품(13)을 식별하는 추가 정확도는 컴퓨터(44)에 SVRS(Secondary Visual Recognition System, 58)를 추가 소프트웨어 또는 알고리즘으로 배치하여 적절한 2차 서명(Y(n))으로부터 재고 사전 이미지(50) 및 재고 사후 이미지(52) 모두에서의 각 제품(n)을 식별할 수 있음으로써 선택적으로 영향을 받을 수 있다.

도 6은 도 7의 AVM 캐비닛(30)에 진열되는 초기 제품 재고(S)를 포함하는 마스터 인벤토리 또는 다수의 제품(N)을 도시한다.

도 7에 도시된 바와 같이, 2차 서명(Y(n))은 서로 상이한 신경 제품 서명(X(n))을 설정하기 위해 ANN 훈련에 사용되는 휴리스틱 접근 방식만이 아니라 실제 제품 외관에 기반하여 마스터 인벤토리(N)의 각 제품(n)에 대해 적절하게 정의될 수 있다.

각 제품(n)은 상이한 그래픽, 텍스트, 색상, 바코드 및 그 외부 표면 상에 표시되거나 인쇄되는 다른 표시를 갖는 3D 물리적 형상 및 크기를 포함하는 적절한 구성을 가진다.

AVM 컴퓨터(44)에서 2차 서명(Y(n))의 적절한 데이터베이스(60)에 저장된 2차 서명(Y(n))으로서 사용하기 위해 제품의 임의의 적절한 물리적 외관 특징이 선택되고 훈련 이미지로부터 추출될 수 있다.

그 다음, 신경 서명(X(n))을 사용하여 2 개의 ANN에 의해 독립적으로 제공된 SPE 비교에 추가하여 2차 서명(Y(n))에 기초하여 누락된 제품(13)을 식별하기 위해 재고 사전 이미지(50) 및 재고 사후 이미지(52)의 컴퓨터(44)에 의해 추가적인 비교가 이루어질 수 있다.

예를 들어, 2차 서명(Y(n))은 제품(n)의 색상 서명일 수 있으며, SVRS(58)는 색상 서명(Y(n))의 기존 BLOB(Binary Large Object) 검출을 포함하도록 적절한 소프트웨어 알고리즘으로 구성될 수 있다.

다른 예에서, 2차 서명(Y(n))은 제품에 인쇄된 텍스트 또는 라벨일 수 있으며, SVRS(58)는 텍스트 서명(Y(n))을 인식하기 위한 기존의 OCR(Optical Character Recognition) 소프트웨어 또는 알고리즘을 포함할 것이다.

어느 구성에서든, 캡쳐된 제품의 물리적 외관을 기반으로 한 사전 이미지(50) 및 사후 이미지(52)의 2차 평가는 2 개의 ANN에 의해 제공되는 신경 기반 SPE 평가와 병행하여 다른 평가에서 이들 제품을 적절하게 식별하는데 사용될 수 있다.

누락된 제품(13)의 1차 식별은 판매 거래를 승인 및 완료하고 고객에게 지불을 청구하기 위해 서로 일치(YES)해야 하는 2 개의 SPE-ANN에 의해 수행된다.

누락된 제품(13)의 SVRS 식별 또한 성공한 경우(YES), 판매 거래는 여전히 승인되지만 제거된 제품(13)을 식별하는데 추가적인 확실성이 있다. SVRS 식별이 누락된 제품(13)을 식별하지 못하는 경우 오류가 단순히 기록되거나 로그되며(logged) 2 개의 SPE-ANN의 단일 일치(YES)를 기반으로 거래가 여전히 승인된다.

한 고객과의 초기 판매 거래 후 다른 고객은 AVM(28)에 접근하여 위에서 설명한 판매 거래를 반복할 수 있다. 도 5 및 7에 대해 위에서 언급한 바와 같이, 이전 고객은 예를 들어 현재 진열된 재고(S-P13)에서 누락된 제품(13)을 구매했을 수 있다. 또한, 이전 고객은 사후 이미지(52)에 도시된 바와 같이 진열된 제품을 재배치했을 수 있다.

객실 승무원이 AVM(28)을 서비스하거나 재입고하는 경우 캐비닛은 원래 레이아웃 또는 다른 재구성된 레이아웃의 제품(1-16)의 원래 전체 디스플레이 재고(S)로 복원될 수 있다. 승무원이 이전 판매 후 AVM(28)을 서비스하지 않는 경우 진열된 재고(S-P13)는 사후 이미지(52)에 도시된 배열로 유지될 것이다.

다음 고객이 판매 거래를 시작할 때, 결과적인 사전 이미지(50)는 카메라(42)에 의해 다시 촬영될 수 있고 그 후 이전의 사후 이미지(52)와 매치될 것이며, 새로운 사후 이미지(52)는 카메라에 의해 촬영되어 다음 고객에 의한 구매를 위해 디스플레이 캐비닛(30)으로부터 제거된 제품이 있다면 어떤 제품이 제거되었는지 결정할 것이다.

이 판매 프로세스는 진열된 재고가 소진되거나 감소하거나 항공기 비행이 종료될 때까지 계속될 것이며, 각 연속적인 판매 거래가 카메라(42)에 의해 촬영된 각 사후 이미지(52)에서 제거되거나 누락된 제품을 식별하기 위해 위에서 설명한 ANN 기반 시각적 검출 및 인식에 뒤따른다.

AVM(28)은 지상 기반을 포함하는 임의의 적절한 환경에서 사용하도록 구성될 수 있지만, 특수 ANN 기반 구성은 내공성을 위해 초기에 F.A.A. 정부 규정을 요구하며 경량이어야 하며 오류 또는 오작동 상태 또는 재입고를 제외하고 객실 승무원의 운영이나 감독의 필요 없이 개별 고객에 의해 안전한 셀프 서비스를 제공해야 하는 항공기 응용 분야에서 특히 유용하고 유익하게 한다.

따라서, AVM(28)은 도 1 및 도 2에 도시된 바와 같이 승객 객실(26) 내부의 임의의 적절한 위치에서 항공기 동체(22)에 편리하게 장착될 수 있으며, 디스플레이 캐비닛(30)은 비행 중에 승객이 쉽게 접근할 수 있다. 위에 표시된 바와 같이, 디스플레이 캐비닛(30) 자체는 공간이 허용되는 객실 내부에 적절한 분배를 위해 다양한 구성을 가질 수 있다.

항공기 구성 AVM(28)은 AVM(28)에 제공되지 않고 필요하지 않은 것으로 도 3에 개략적으로 도시된 바와 같이 바코드 판독기(62), 무선 주파수 식별(Radio-Frequency Identification, RFID) 검출기(64) 및 기계적으로 구동되는 분배 슈트(66)를 포함하는 디스플레이 캐비닛에서 임의의 제품을 직접 식별하고 자동적으로 배치시키기 위한 기존 시스템의 명시적 부재를 특징으로 하는 최소한의 복잡성과 무게를 가질 수 있다.

따라서 대부분의 기존 자동화된 판매 장비는 작동에 필요하지 않으며, 기본 구성은 제품(n)의 재고(S)를 진열하기 위한 적절한 선반(34)을 갖는 잠긴 디스플레이 캐비닛(30)만을 필요로 하며, 카메라(42)는 고객에 의해 선택되고 자동화된 구매를 위해 캐비닛(30)으로부터 제거된 임의의 제품의 인공 신경망 식별을 포함하여 AVM(28)의 모든 기능을 작동시키도록 소프트웨어로 사전 프로그래밍된 컴퓨터(44)에 작동 가능하게 결합된다.

도 8은 특정 항공사가 AVM(28)에서 판매하기 위한 원하는 상품 또는 제품을 선택하고 제1 또는 마스터 ANN-1 및 슬레이브 또는 제2 ANN-2가 AVM(28)에서 후속 배치를 위해 각 제품(n)에 대한 대응하는 휴리스틱 또는 신경 서명(X(n))을 개발하도록 적절하게 훈련되는 보다 상세한 훈련 흐름도(58)를 나타낸다.

ANN 훈련은 기존 방식이지만 항공기 AVM(28)에서 사용하기 위한 개발 테스트는 이에 대한 특정 개선을 제안한다. 훈련은 각 제품 이미지와 제품-객체 및 유형을 나타내는 경계 박스를 갖는 신경망을 제공하며, 그 후에 네트워크는 모든 훈련 이미지를 반복적으로 보고 내부 속성을 조정하여 최적화된 솔루션으로 수렴한다.

새로운 제품(n)은 AVM을 에뮬레이트하는 제어된 환경에서 제품의 상이한 각도 및 거리에서 정적 이미지를 촬영함으로써 추가될 수 있다. 그 후에 이미지는 압축되고 숫자 형식으로 변환하여 신경망을 훈련시킬 수 있다.

ANN 훈련 파라미터는 다음을 포함할 수 있다: 적절한 사전 구성 인공 신경망의 선택; 과도한 피팅을 피하기 위한 네트워크의 컨버젼스 견고성(convergence robustness); 원하는 제품(n)의 선택; 3 개의 SKU(Stock Keeping Unit) 한번에 3 개(three at time); 훈련 이미지 당 하나 이상의 제품(n); 70, 100, 200, 300, 600, 1000 또는 그 초과의 훈련 이미지; 크거나 작은 인식 경계 박스 및 근거가 있는 진실(grounded truth); 정렬 및/또는 비정렬된 경계 박스; 및 훈련 이미지 품질.

처음에 훈련된 제품은 각각 500 개 이상의 훈련 이미지를 필요로 할 수 있지만, 후속 훈련된 제품은 ANN의 정확한 훈련을 위해 70 내지 100 개와 같이 더 적은 훈련 이미지를 필요로 할 수 있다.

시스템은 새로운 상품 항목을 인식하도록 시각적으로 훈련되어야 하므로 상품은 분류를 허용하도록 시각적으로 다를 필요가 있다. 유사하게 보이는 항목은 동일하게 분류될 것이다. 이는 가격 책정 및 완전한 인벤토리 제어 전략에만 영향을 미치기 때문에 운영 상의 문제를 유발할 수도 있고 그렇지 않을 수도 있다.

전달 학습은 바람직하게는 필요한 이미지의 수를 줄이는데 사용된다. 전달 학습은 사전 훈련된 ANN을 재훈련하여 새로운 이미지의 세트를 분류한다. 전달 학습이 없으면 빈 네트워크는 유용한 정확도로 훈련하기 위해 1000 개의 이미지가 필요하다.

훈련 단계 동안 각 이미지는 어떤 객체 또는 제품이 각 훈련 이미지에 포함되는지 그리고 이미지에서 각 객체가 있는 위치를 컴퓨터에게 알리기 위해 트레이너에 의해 수동으로 주석이 달려야 한다. 라벨링된(labelled) 경계 박스는 트레이너에 의해 생성된다. 이 원시 이미지는 결과를 추정하는 훈련되는 네트워크에 제공된다. 네트워크가 이미지 컨텐츠를 얼마나 잘 추측하는지에 대한 오류값이 제공된다.

훈련을 시작할 때 네트워크가 추측하는 것과 같이 오류가 매우 높으며; 학습 알고리즘의 목적은 네트워크의 각 뉴런에 대한 가중치 또는 편향 값을 최적화하여 오류 객체 인식을 줄이는 것이다.

하나의 ANN의 실험적인 개발은 새로운 상품 항목이 제품(n)을 올바르게 검출하고 인식할 수 있도록 정확하고 신뢰할 수 있는 결과를 생성하는데 최소 70 내지 100 개의 이미지가 사용될 수 있다는 것을 제안한다.

훈련되는 특정 네트워크는 훈련 단계 동안 휴리스틱 특징 또는 속성을 추출할 것이다. 따라서 더 많은 이미지와 더 다양한 이미지(위치, 조명, 배향 등의 측면)를 통해 네트워크 훈련은 특정 제품(n)에 대한 신경 서명(X(n))을 개발하여 높은 수준의 고품질 특징을 추출할 수 있다. 인간의 두뇌와 마찬가지로 식별 특징은 형상, 색상 및 크기와 같은 낮은 수준에서 시작하여 얼굴, 머리, 신체 등과 같이 더 높은 수준과 추상적이 되고 더 나은 특징 훈련은 더 나은 객체 또는 제품 인식을 달성한다. ANN의 인식 단계에서만 새로운 상품이 추가될 때 재 훈련이 필요하다. 훈련은 실제 상품의 단지 물리적인 한 개(one physical piece)만 필요하다.

그 후에 배경, 조명, 카메라, 각도 등의 제어된 환경에서 다양한 각도 및 상품 위치에서 이미지가 촬영된다. 이들 이미지는 바람직하게는 최대 카메라 해상도에서 촬영된다. 각 제품(n)의 70 내지 100 개의 시각적으로 정량화할 수 있는 상이한 이미지는 일반적으로 몇 가지 초기 제품을 훈련한 후에 필요하며, 이는 훨씬 더 많은 훈련 이미지를 필요로 한다.

훈련 이미지는 작업자 또는 기술자가 각 제품(n)을 강조하거나 지정하기 위해 수동으로 적용된 적절한 경계 박스를 사용하여 단일 또는 상이한 상품 항목을 포함할 수 있다. 즉, 각 이미지에 대한 상품 각각에 대해 ANN의 검출 단계가 재 훈련되지 않기 때문에 사용자는 가장 큰 경계 박스를 정의해야 한다. 사용자 주석과 함께 훈련 이미지는 ANN 을 훈련하는데 사용되는 데이터 세트에서 근거가 있는 진실을 제공한다. 실제 훈련 프로세스는 수치 해석 반복 수렴 프로세스이다. 이는 많은 처리 능력을 필요하며 로컬에서 수행되거나 컴퓨팅을 위해 클라우드로 푸쉬될 수 있다.

훈련 이미지는 바람직하게는 테스트 또는 평가를 위해 약 20% 그리고 실제 훈련을 위해 약 80%로 나누어진다. 훈련 데이터 세트는 ANN을 훈련하고 가중치 편향을 조정하는데 사용된다. 그 후에 각 에포크 또는 루프 반복에서 테스트 데이터는 분류가 얼마나 성공적인지 평가하는데 사용된다. 훈련은 분류 손실이 허용 가능한 기준 내에 있을 때 완료된다. 훈련은 일회성 오프라인 활동이며 실제 AVM(28) 자체에서 수행되지 않는다.

따라서 최적의 훈련 데이터의 생성은 일반적으로 다음을 포함할 것이다: 제품 배경; 조명 환경; 객체 대 객체 검출 및 상대적인 위치; 훈련 이미지 당 단일 또는 다수의 객체; 훈련 이미지의 수; 훈련 이미지의 품질, 크기, 비트 심도(bit depth); 근거가 있는 진실 경계 박스 정의; 및 ANN의 상이한 유형에 대해 상이한 정확도 또는 손실이 있는 훈련 컨버젼스. 훈련 이미지는 각 제품의 완전한 경계를 숨기는 객체 폐색 또는 중첩을 피해야 한다.

일단 훈련되면, ANN은 추론 또는 예측 평가의 속도를 높이기 위해 효율적인 실행 형식으로 저장 및 압축되고 AVM 컴퓨터(44)로 적절하게 로드되거나 전송된다.

AVM 카메라(42)는 그로부터 제공된 이미지로부터 훈련된 특정 ANN의 성능과 가장 일치하도록 훈련 카메라(56)의 성능과 적절하게 일치하는 광학 및 디지털 성능을 가져야 한다.

도 9는 AVM(28)을 사용하는 고객에 의한 일반적인 판매 거래의 상세한 판매 흐름도(70)를 나타낸다. 위의 훈련으로부터 최적화된 사전 훈련된 ANN은 분류, 상품, 이름 룩업 테이블(name look-up table)과 함께 AVM 컴퓨터(44)의 메모리로 로드된다.

진열된 제품(n)의 이미지는 예를 들어 약 1024×1024 픽셀의 적절한 해상도 또는 일반 심도로 AVM 카메라(42)에 의해 촬영되어야 한다. 이미지 데이터는 적절하게 숫자 배열로 변환되고 ANN에서 사용될 수 있는 형식으로 정규화된다.

일단 이미지 데이터가 제공된 ANN은 해당 데이터를 처리하고 훈련된 검출 및 인지 추론 루틴은 예측 정확도의 표시로 신뢰 등급을 제공한다. 사전 정의된 제품 클래스 각각에 대한 신뢰 등급이 있다.

이 평가는 정확하지 않다. 검출 및 인식 추론 단계는 모두 대응하는 신뢰 수준과 함께 제공되며, 이는 전체 객체 인식 비율을 제공하기 위해 결합된다. 적절한 시각적 임계값보다 큰 신뢰 수준을 갖는 객체만 인벤토리로 분류된다. 이러한 임계값의 설정은 마스터 상품 인벤토리의 정확성을 제어한다.

정확도 로직은 1차 및 2차 개념을 기반으로 할 수 있다. 1차 SPE가 일치하지 않으면 사람의 상호 작용을 요구하는 오류가 호출되며, 이는 일반적으로 상품을 재배열하고 새로운 인벤토리 이미지로 AVM(28)을 다시 재설정하는 것을 의미한다.

2차 SVRS(58) 시스템이 기본 SPE와 일치하지 않는 경우 오류는 작동 가능한 허용 오차를 벗어난 경우에만 호출되며, 예를 들어 1차는 이미지의 20 개의 제품을 검출하며 2차는 동일한 이미지에서 10 개의 제품만을 검출하면 오류가 생성된다.

개발 실험 결과는 전체적으로 최상의 정확도를 얻기 위해 제품 디스플레이는 제품 레이아웃 사이의 공백, 제품 간 현저한 겹침이 없음, 제품 설명 또는 이름 표시, 전체 재고 보기를 위한 카메라 정렬 또는 배향, 디스플레이 상의 100 개 미만의 제품, RCNN의 경우 약 0.05 미만 SSD의 경우 약 2.0 미만의 허용 가능한 손실 수준으로 해결된 ANN 성능을 가져야 한다는 것을 제시한다.

기본 구매 순서는 사용자 또는 승객이 단순히 AVM(28)에 접근하고 결제를 사전 승인하고 캐비닛 도어(32)를 열고 하나 이상의 제품(n)을 검사하고 수동으로 선택하고 도어(32)를 닫는 매우 간단한 단계를 가지며, 그 후에 AVM(28)을 사용하여 제거된 제품을 자동으로 식별하고 승객의 사전 승인된 결제 형식으로 결제 또는 청구한다.

사전 훈련된 제1 및 제2 ANN은 대응하는 사전 이미지(50) 및 사후 이미지(52)에서 재고 제품을 검출하고 식별하여 사후 이미지(52)에서 제거되거나 누락된 제품을 추론하여 고객에 의해 선택되도록 특별히 구성된다.

구매 순서 흐름도(70)에서, 승객은 자판기(28)로 가서 투명 창 디스플레이 도어(32)를 통해 이용 가능한 제품(n)을 검토하며; 기기 디스플레이 패널(46)에 휴대폰 또는 결제 카드를 탭하며(RFID, 블루투스 또는 이와 유사한건 또는 항공사 전화 앱을 통해 이루어질 수도 있음); 캐비닛 도어(32)를 잠금 해제하며; 기기는 제품 인벤토리(S)의 초기 인벤토리 스냅샷 또는 사전 사진(50)을 찍으며; 승객은 도어(32)를 열고 원하는 경우 하나 이상의 제품(n)을 가져가며; 자체 잠금되는 도어(32)를 닫으며; 기기는 수정된 인벤토리(S-(S-P))의 제2 인벤토리 스냅샷 또는 사후 사진(52)을 찍고 하나 이상의 제품 항목, 예를 들어 취해진 제품 13(P13)의 주문 또는 구매를 계산하며; 결제 시스템은 주문을 해결하고 구매된 항목을 승객의 결제 방법으로 청구한 후 기기의 남은 재고(S-(S-P))가 자동으로 업데이트 된다.

캐비닛(30)을 비축할 때, 카메라(42)에 의해 일련의 인벤토리 이미지가 촬영되어 자판기에 실제로 비축된(S) 제품(n)의 초기 재고를 결정하고 기록하고 제품 인벤토리 데이터베이스가 대응하게 업데이트된다.

각 사용자 또는 고객 선택 직전에 카메라에 의해 새로운 이미지가 촬영되며, 이 새로운 이미지는 캐비닛(30)에 비축된 모든 제품을 시각적으로 검출하고 인식하는데 사용된다. 인벤토리 데이터는 정확성과 견고성을 개선하기 위해 사전 선택 이미지의 확인으로 사용된다.

제품 선택 후에, 카메라에 의해 제2 이미지가 촬영되어 디스플레이 캐비닛(3)에 포함된 진열된 재고의 현재 상태가 검출되고 인식된다. 제품 인벤토리가 업데이트되어 제품 이동, 오정렬 및 캐비닛(30)에서의 배치 이탈뿐만 아니라 디스플레이 캐비닛으로부터 제거된 하나 이상의 디스플레이 항목의 현장 결정(in-situ determination)을 허용한다.

이 제2 이미지는 초기 인벤토리 데이터베이스 및 사전 선택 인벤토리 데이터베이스에 대해 확인되며 예상 기기 재고는 필요에 따라 조정되거나 수정된다.

위에 표시된 바와 같이, ANN 기반 항공기 자판기(28)는 보안 또는 잠금 가능 디스플레이 캐비닛(30), 전체 진열된 재고(S)의 하나 이상의 이미지를 정확하게 기록하기 위한 적절한 시야를 갖는 정밀 카메라(42) 및 특별하게 구성된 그 내부의 소프트웨어를 갖는 공통 프로그래밍 가능 컴퓨터(44)에 의해 모두 제어되는 통합 전자 지불 기기를 포함하는 최소한의 기본 구성요소를 갖는 물리적 구성으로 매우 단순할 수 있다.

이러한 기본 기계적 구성요소는 항공기 용으로 쉽게 설계될 수 있으며 필수 정부 항공기 규정에 따라 적절하게 인증될 수 있다. 편리한 결제 옵션을 제공하기 위해 임의의 적절한 결제 지원 시스템이 사용될 수 있다.

임의의 적절한 제품 인벤토리 지원 시스템은 자판기에 대한 초기 인벤토리 데이터베이스를 유지하고 그 후에 자판기가 사용되고 그 내부의 인벤토리 재고(S)가 편리할 때 승무원에 의해 고갈되고 보충됨에 따라 그에 대한 현장 업데이트를 제공하는데 사용될 수 있다.

AVM 카메라(42)는 승객이 디스플레이 선반에서 하나 이상의 항목을 제거하여 선택하기 직전과 직후에 디스플레이 캐비닛 내부에 정확한 인벤토리를 설정하는데 적합하게 사용된다.

그런 다음 제거된 항목은 훈련된 인벤토리 데이터베이스와 비교되어 판매 거래를 완료하여 그들의 신원과 판매 가격을 정확하게 결정한 후 인벤토리 데이터베이스가 업데이트 된다. 다음 후속 판매 구매는 구매를 위해 제거된 임의의 추가 제품(n)을 정확하게 식별하기 위해 디스플레이 선반의 전후 이미지에 의해 유사하게 이루어 진다.

일련의 판매 중에 디스플레이 선반에 품목이 고갈됨에 따라 사용 가능한 선반 공간에 새로운 항목을 배치하고 캐비닛 도어를 닫는 것만으로 승무원이 디스플레이 선반을 재입고할 수 있다. 다음 판매 전 이미지는 이전에 훈련된 인벤토리 식별을 사용하여 디스플레이 선반 인벤토리를 자동으로 업데이트하고 다음 선택 후 이미지는 임의의 제거된 제품(n)의 식별 및 그에 대한 판매 가격을 정확하게 결정할 것이다.

따라서, 개별 제품(n)을 검출하고 식별하기 위해 보안 캐비닛(30)에 저장된 시작 인벤토리 재고의 사전 이미지를 분석하고; 임의의 저장된 제품의 사용자에 의한 분배 또는 제거를 허용하고; 인벤토리 재고의 사후 이미지를 분석하여 그러한 제거된 제품을 검출하고 인식하고; 그런 다음 이러한 제거된 제품을 일반적인 자판기 거래에서 이에 대해 적절하게 청구될 수 있는 사용자에게 과금 또는 귀속시킴으로써 정확한 인벤토리 관리가 먼저 유지될 수 있다. 인벤토리 관리는 그 후에 업데이트되어 제거된 제품을 반영하고 후속 사용을 위해 디스플레이 캐비닛의 컨텐츠에 대한 정확한 인벤토리 기록을 유지할 것이다.

제품 검출 및 인식은 검출 및 인식을 위한 상이한 단계를 갖는 단일 사전 훈련된 인공 신경망을 사용하여 수행될 수 있으며; 또는 제품 구성 및 우너하는 식별 정확도에 따라 제품 검출 및 인식을 위해 신디케이트 풀링 구성에서 다수의 사전 훈련된 인공 신경망이 사용될 수 있다.

검출 단계는 팩토리 훈련(factory train)될 수 있으며 이에 따라 데이터베이스에 고정될 수 있다. 인식 단계는 원하는 대로 마스터 인벤토리에 새로운 또는 추가 제품이 추가될 수 있다.

상술한 AVM(28)은 새로운 기내 판매 솔루션을 제공하여 매우 가볍고 신뢰할 수 있으며 신속하며 인증을 받을 수 있으므로 추가 항공사 수익원을 제공한다. 항공 우주 설계, 재료 및 관행을 효과적으로 사용하여 비행 중에 사용하기 위해 여객기에서 사용하기 위한 AVM을 특별히 구성할 수 있다.

AVM 기기는 특정 항공기의 제한된 이용 가능한 공간을 보완하기 위해 거의 모든 크기와 구성이 가능하며 통신 및 전력 인터페이스만이 필요하다. 사실상 AVM 기기는 인증하기가 더 간단한 보안 캐비닛에 표준 우주 항공 컴퓨터와 카메라 구성요소를 포함할 수 있다.

카메라 기반 비전 시스템은 복잡한 메커니즘이 필요하지 않아 상당한 무게를 절약할 수 있으며, 기내 항공기 사용에 대해 더 쉽게 인증할 수 있다. AVM은 현금 없는 전자 지불 시스템을 사용할 수 있으며, 물품 선택은 메커니즘 없는 컴퓨터 기반 비전 시스템에 의해 평가, 모니터링 및 제어될 것이다.

셀프 서비스 AVM은 새로운 기술을 우아하게 결합하면서 실내 인테리어 제품과 자연스럽고 본능적인 상호 작용을 달성할 수 있는 방법을 보여주는 승객 우선 경험을 제공한다. AVM은 인공 지능(A.I.)을 사용하여 승객이 셀프 서비스 디스플레이에서 제품을 선택하기만 하면 자동으로 계정에 청구된다.

AVM은 인공 지능과 결합된 고품질 항공기 객실 내무 제품에 완전히 통합된 개방적이고 접근 가능한 제품 디스플레이를 사용하여 자연스럽고 비 침습적이며(non-invasive) 본능적이며 동적이며 간단한 선택 상호 작용을 제공한다.

AVM은 유리 전면 디스플레이 선반을 갖는 맞춤형 캐비닛, 제품 인벤토리의 카메라 보기(camera viewing), 전화 또는 e(전자)카드 활성 액세스 도어 엑세스, 및 제품 선택 및 구매 거래 세부 정보를 보여주는 전자 디스플레이를 포함하도록 상이한 항공기의 승객 또는 조리실 구획(galley compartment)의 상이한 위치에 대한 기하학적 형상으로 특별히 구성될 수 있다. 디스플레이 케이스는 보충 제품 인벤토리를 보유하기 위해 표준 항공기 보관 카트 위에 장착될 수 있으며, 추가 폐기물 구획이 함께 제공될 수 있다.

AVM은 기술 개발과 능숙하게 실행될 설계를 결합하여 항공기 케이터링 제품(aircraft catering product)에 개선되고 단순한 인터페이스를 제공한다. 이는 쉽고 친근하며 반응이 빠른 방식으로 객실 내 승객 상호 작용을 개선하고 더 자연스럽고 덜 실망스러운 경험을 제공하는 것을 포함하는 잠재적인 이점을 제공한다. 객실 승무원은 판매 의무에서 해방되는 동시에 승객에게 매력적인 개인 서비스르 제공하는 동시에 케이터링 수익원을 제공한다.

객실 전체의 비즈니스 등급 스타일 셀프 서비스는 다수의 AVM 기기와 함께 제공될 수 있다. AVM은 정적이고 가볍고 신뢰할 수 있는 판매 기술을 제공하며; 제품 분배를 위한 움직이는 부품이나 메커니즘 없이 소유 비용을 낮추며; 승객 친화적인 방식으로 복잡한 기술을 도입하고 사용할 수 있다.

인공 지능과 컴퓨터 비전의 개발은 이제 다양한 객체를 정확하게 검출, 식별 및 인식할 수 있음을 의미한다. 휴대 전화, 탑승권 또는 신용 카드는 제품 디스플레이 케이스를 간단히 열 수 있고 승객은 임의의 하나 이상의 항목을 간단히 선택한다.

비전 시스템이 감시하는 동안 승객이 선택하고 도어를 닫으면, 선택한 항목에 대해 요금이 부과된다. 잘못된 선택 번호를 입력하지 않아도 되고, 막힌 패킷(stuck packet)도 없고, 적지 않은 실망도 없다: 단순히 픽업 하고 간다.

물론 이 영리한 기술은 승객에게 완전히 보이지 않고 숨겨져 있으며 백그라운드에서 조용히 작동하며, 독립형 장치, 조리실 장치 또는 벽걸이형 디스플레이 장치의 객실 내부의 사용 가능한 공간에 원활하게 혼합되도록 기하학적 형상에 맞게 조정된 아름다운 항공기 AVM 기기 내부에서 작동한다.

따라서 항공기 AVM 기기는 승무원의 도움 없이 일반 대중이 사용할 수 있다. 정직하거나 신뢰 기반 시스템이 필요하지 않다. 훈련이 필요하지 않다. 이는 비접촉 결제 카드, 전화 앱, 항공사 앱 또는 결제 바우처 또는 코드를 통해 결제할 수 있는 현금 없는 전자 결제 시스템을 포함한다.

요약하면, 제품 인벤토리를 시각적으로 식별하기 ㅜ이해 항공기 비행에 사용하기 위한 AVM 기기를 특별히 구성함으로써, 기존 자판기의 복잡성과 무게 없이 자동화된 구매를 위해 그 내부의 모든 품목의 구매를 시각적으로 쉽게 식별할 수 있다.

또한, 본 명세서에서 설명된 신경 분배기(28)는 비 항공기 애플리케이션에도 적합하게 구성될 수 있고, 기존 자판기가 사용되는 곳이라면, 또는 재고 분배 및 관리가 필요한 곳이라면 어디든지 가능하다. 인공 신경망에 의한 광학적 검출 및 인식에 적합한 모든 유형의 제품 또는 항목을 사용할 수 있으며 접근이 통제된 캐비닛에 보관하거나 전시할 수 있다.

사용자에 의한 이러한 항목의 선택 및 제거는 위에서 설명한 바와 같이 진열된 재고의 사후 이미지와 사전 이미지를 비교함으로써 자동으로 검출될 수 있다. 관리, 재고 및 오작동 또는 오류 개입에 필요한 경우를 제외하고 항목의 제거를 승인된 사용자에게 과금하거나 귀속시키는 것은 관리자, 운영자 또는 교환원 없이도 안전한 셀프 서비스 작동을 허용한다. 수많은 다른 적합한 분배 애플리케이션 중 단일 예일 뿐인 항공기 판매 애플리케이션을 갖는 의도된 애플리케이션에서 원하는 대로 지불하거나 지불하지 않고 정확한 과금 또는 귀속으로 승인된 사용자에게 안전한 캐비닛으로부터 항목이 정확하게 식별되고 분배될 수 있다.

위에서 개시한 것은 본 발명의 바람직한 실시예로서, 다양한 특징은 일반적인 용어 및 보다 구체적인 용어를 사용하여 주제에서 설명되었으며, 이러한 특징은 상술한 바와 같은 그리고 첨부된 청구항에서 언급된 바와 같은 조합으로 하나 이상의 예시적인 상세한 종(species)에 대해 연속적으로 상세하게 점진적으로 결합된다.

따라서, 첨부된 청구항 중 하나 이상에 언급되거나 위의 설명되거나 또는 도면에 도시된 특정 특징 중 하나 이상은 상기 설명, 대응하는 도면 및/또는 첨부된 청구항에 따른 다양한 조합 및 하위조합으로 발명의 다양한 수정을 정의하여 선행 또는 부모 청구항을 포함하는 하나 이상의 첨부된 청구항으로 결합될 수 있다. 따라서 아래의 청구 범위는 단지 본 발명의 사상 및 범위의 예시로서 위에서 제시된 원래 주제에 따라 이러한 원래 첨부된 청구범위 자체로부터 제한 없이 추가 특징으로 해석되고 수정되거나 보정되거나 보충될 수 있다.

Claims

제품(n)을 분배하는 방법으로서,
디스플레이 선반(34) 상에 여러 제품(n)의 초기 재고(S)를 진열하는 단계;
상기 제거된 제품(13) 자체를 검출하지 않고 남은 재고의 상기 이미지(52)에서 누락된 임의의 제품을 결정하도록 상기 제품이 제거되기 전후에 상기 진열된 재고(S)의 이미지(50, 52)를 비교함으로써 사용자에 의해 상기 디스플레이 선반(34)으로부터 제거된 임의의 제품(n)을 식별하는 단계; 및
상기 사용자에게 상기 누락된 제품(13)을 과금하는 단계;를 포함하는,
제품을 분배하는 방법.
제1항에 있어서,
상기 제품(13)이 상기 사용자에 의해 그로부터 제거되기 전후에 상기 진열된 재고(S)를 이미징(50, 52)하는 단계;
상기 이미징(50, 52)으로부터 제거 전의 상기 초기 재고(S) 및 제품 제거 후에 상기 남은 재고(S-(S-P)) 둘 다의 모든 제품(n)을 식별하는 단계;
그 사이에서 임의의 누락된 제품(13)을 결정하도록 상기 초기 및 남은 재고에서 식별된 상기 제품(n)을 비교하고 이로 인해 상기 누락된 제품(13)을 상기 제거된 제품(13)으로 지정하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제3항에 있어서,
제품 제거 전에 제품(n)의 상기 초기 재고(S)를 사전 이미징(50)하는 단계;
상기 사전 이미지(50)로부터 제품(n)의 상기 초기 재고(S)를 식별하는 단계;
제품 제거 후에 제품(n)의 상기 남은 재고(S-(S-P))를 사후 이미징(52)하는 단계;
상기 사후 이미지(52)로부터 제품(n)의 상기 남은 재고(S-(S-P))를 식별하는 단계; 및
상기 누락된 제품(13)을 식별하기 위해 상기 식별된 남은 재고(S-(S-P))와 상기 식별된 초기 재고(S)를 비교하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제3항에 있어서,
상기 재고 사전 이미지(50)의 각 제품(n)을 검출 및 인식 둘 다를 위해 훈련된 인공 신경망(ANN)을 배치하는 단계;
상기 재고 사후 이미지(52)의 각 제품(n)을 검출 및 인식 둘 다를 위해 훈련된 인공 신경망(ANN)을 배치하는 단계; 및
상기 누락된 제품(13)을 식별하기 위해 상기 사후 이미지(52)와 상기 사전 이미지(50) 사이에서 상기 ANN-인식된 재고 제품(n)을 비교하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제4항에 있어서,
상기 ANN은 상기 제품을 분배하는데 사용하기 전에 사전 훈련되며,
상기 사전 훈련은:
상기 초기 제품 재고(S)를 포함하는 다수의 제품(n)의 인벤토리(N)를 이미징하고; 그리고
대응하는 개발된 신경 서명(X(n))에 기초하여 상기 인벤토리(N)의 각 제품(n)을 이미징하는 것으로부터 검출 및 인식하도록 상기 ANN을 훈련시키는 것;을 포함하는,
제품을 분배하는 방법.
제4항에 있어서,
동일한 사전 훈련된 ANN은 상기 사전 이미지(50) 및 사후 이미지(52)의 상기 제품(n)을 검출하고 인식하는데 사용되는,
제품을 분배하는 방법.
제4항에 있어서,
2 개의 상이한 ANN(-1, -2)은 상기 사전 이미지(50) 및 사후 이미지(52) 둘 다의 상기 제품(n)을 독립적으로 검출 및 인식하도록 신디케이트 풀링 평가로 병행하여 배치되며,
제품 인식은 상기 누락된 제품(13)을 식별하기 위해 상기 재고 사전 이미지(50) 및 재고 사후 이미지(52) 둘 다에 대한 상이한 ANN(-1, -2) 둘 다에 대해 일치해야 하는,
제품을 분배하는 방법.
제7항에 있어서,
상기 2 개의 상이한 ANN은:
SSD(Single Shot Detector-ANN-1); 및
RCNN(Region-based Convolutional Neural Network-ANN-2)을 포함하는,
제품을 분배하는 방법.
제4항에 있어서,
상기 초기 제품 재고(S)를 포함하는 다수의 제품(n)의 인벤토리(N)를 이미징하는 단계;
제품 외관에 기초하여 상기 인벤토리의 각 제품(n)에 대한 2차 서명(Y(n))을 생성하는 단계;
상기 재고 사전 이미지(50) 및 상기 재고 사후 이미지(52) 둘 다의 각 제품(n)을 상기 2차 서명(Y(n))으로부터 식별하도록 SVRS(Secondary Visual Recognition System, 58)를 배치하는 단계; 및
그것의 상기 2차 서명(Y(n))에 기초하여 상기 누락된 제품(13)을 식별하도록 상기 재고 사전 이미지(50) 및 재고 사후 이미지(52)를 비교하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제9항에 있어서,
상기 2차 서명(Y(n))은 상기 제품(n)의 색상 서명이며, 상기 SVRS(58)는 상기 색상 서명(Y(n))의 BLOB(Binary Large Object) 검출을 포함하는,
제품을 분배하는 방법.
제9항에 있어서,
상기 2차 서명(Y(n))은 상기 제품(n) 상에 텍스트 인쇄되며, 상기 SVRS(58)는 그의 OCR(Optical Character Recognition)을 포함하는,
제품을 분배하는 방법.
제4항에 있어서,
자판기(28) 내부의 잠긴 디스플레이 캐비닛(30)의 상기 디스플레이 선반(34) 상에 제품(n)의 상기 초기 재고(S)를 진열하는 단계;
상기 디스플레이 캐비닛(30)으로부터 구매를 위한 상기 사용자로의 접근을 승인하는 단계;
상기 캐비닛(30)을 잠금 해제하기 전에 제품(n)의 상기 초기 재고(S)를 사전 이미징(50)하고 그로부터 식별하는 단계;
상기 진열된 제품(n) 중 하나 이상을 제거하기 위해 상기 사용자에 의해 그것으로의 접근을 허용하도록 상기 캐비닛(30)을 잠금 해제하는 단계;
제품(13)이 상기 사용자에 의해 제거된 후에 제품(n)의 상기 남은 재고(S-(S-P))를 사후 이미징(52)하고 그로부터 식별하는 단계;
상기 사후 이미지(52)로부터 누락된 상기 제품(13)을 결정하도록 상기 사전 이미지(50) 및 상기 사후 이미지(52)의 식별된 제품(n)을 일치시키는 단계; 및
상기 누락된 제품(13)을 위한 상기 사용자에게 결제를 청구하는 단계;를 포함하는,
제품을 분배하는 방법.
제12항에 있어서,
잠긴 디스플레이 도어(32) 뒤의 상기 디스플레이 캐비닛(30) 내부의 다수의 선반(34) 상에 상기 제품(n)을 진열하는 단계;
상기 다수의 선반(34) 상에 진열된 제품(n)의 전체 재고(S)의 캡쳐 이미지(50, 52)에 수평 및 수직 시야로 상기 캐비닛(30) 내부에 디지털 카메라(42)를 장착하는 단계;
그 내부에 프로그래밍된 상기 훈련된 ANN을 포함하는 상기 컴퓨터(44)로 상기 자판기 내부에 수용된 디지털 컴퓨터(44)에 상기 카메라(42)를 결합시키는,
상기 카메라(42)를 사용하여 사전 이미징(50)하고 상기 사용자가 상기 도어(32)를 개방하기 전에 상기 다수의 선반(34) 상에 진열된 제품(n)의 상기 초기 재고(S)를 상기 훈련된 ANN을 사용하여 식별하는 단계;
상기 카메라(42)를 사용하여 사후 이미징(52)하고 상기 사용자가 제품(13)을 제거하고 상기 도어(32)를 닫은 후에 상기 다수의 선반(34) 상에 진열된 제품(n)의 상기 남은 재고(S-(S-P))를 상기 훈련된 ANN을 사용하여 식별하는 단계; 및
상기 사후 이미지(52)로부터 누락된 상기 제품(13)을 결정하고 상기 사용자에게 그에 대한 결제를 청구하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제13항에 있어서,
동일한 사전 훈련된 ANN은 상기 사전 이미지(50) 및 사후 이미지(52) 둘 다의 상기 제품(n)을 검출 및 식별하는데 사용되는,
제품을 분배하는 방법.
제13항에 있어서,
2 개의 상이한 ANN(ANN-1, ANN-2)은 상기 사전 이미지(50) 및 사후 이미지(52) 둘 다의 상기 제품(n)을 독립적으로 검출 및 인식하도록 신디케이트 풀링 평가로 병행하여 배치되며,
제품 인식은 상기 누락된 제품(13)을 식별하기 위해 상기 재고 사전 이미지(50) 및 재고 사후 이미지(52) 둘 다에 대한 상이한 ANN 둘 다에 대해 일치해야 하는,
제품을 분배하는 방법.
제15항에 있어서,
상기 2 개의 상이한 ANN은:
SSD(Single Shot Detector-ANN-1); 및
RCNN(Region-based Convolutional Neural Network-ANN-2)을 포함하는,
제품을 분배하는 방법.
제16항에 있어서,
상기 초기 제품 재고(S)를 포함하는 다수의 제품(n)의 인벤토리(N)를 이미징하는 단계;
제품 외관에 기초하여 상기 인벤토리의 각 제품(n)에 대한 2차 서명(Y(n))을 생성하는 단계;
상기 재고 사전 이미지(50) 및 상기 재고 사후 이미지(52) 둘 다의 각 제품(n)을 상기 2차 서명(Y(n))으로부터 식별하도록 SVRS(Secondary Visual Recognition System, 58)를 배치하는 단계; 및
그것의 상기 2차 서명(Y(n))에 기초하여 상기 누락된 제품(13)을 식별하도록 상기 재고 사전 이미지(50) 및 재고 사후 이미지(52)를 비교하는 단계;를 더 포함하는,
제품을 분배하는 방법.
제13항에 있어서,
승객 객실(26) 내부의 항공기 동체(22)에 상기 자판기(28)를 장착하는 단계 ― 상기 디스플레이 캐비닛(30)은 비행 중에 승객에게 접근 가능함 ―;를 더 포함하며,
상기 자판기(28)는 바코드 판독기(62), RFID(Radio-Frequency Identification) 검출기(64) 및 기계적으로 구동되는 분배 슈트(66)를 포함하는 상기 디스플레이 캐비닛으로부터 임의의 제품을 직접 식별하고 자동으로 분배하기 위한 시스템의 명시적 부재를 특징으로 하는 최소 복잡성 및 무게를 갖는,
제품을 분배하는 방법.
제1항에 있어서,
통해서 상기 제품을 볼 수 있는 잠긴 디스플레이 도어(32)를 갖는 자동화된 자판기(28)에서 디스플레이 캐비닛(30)의 다수의 디스플레이 선반(34) 상의 랜덤 위치에 제품(n)의 상기 초기 재고(S)를 진열하는 단계;를 더 포함하며,
상기 캐비닛(30)은 상기 선반(34) 상에 진열된 제품(n)의 전체 재고(S)를 포함하는 시야를 갖는 디지털 카메라(42)를 포함하며,
남은 재고(S-(S-P))의 상기 사후 이미지(52)에서 누락된 임의의 제품(13)을 결정하도록 상기 제품 제거 전후에 상기 진열된 재고(S)의 상기 카메라(42)에 의해 촬영된 사전 및 사후 이미지(50, 52)를 비교함으로써 상기 캐비닛(30)으로부터 상기 사용자에 의해 제거된 상기 제품(13)을 식별하기 위해 소프트웨어로 구성된 디지털 컴퓨터(44)에 상기 카메라(42)가 동작 가능하게 결합되며,
상기 컴퓨터(44)는 상기 잠긴 캐비닛(30)에 사용자 접근을 승인하고, 상기 제품 제거 전후에 상기 도어(32)를 잠금 해제하고 다시 잠그고, 상기 누락된 제품(13)을 위해 상기 사용자로부터 결제를 처리하도록 추가로 구성되는,
제품을 분배하는 방법.
제19항에 있어서,
상기 컴퓨터 소프트웨어는:
상기 재고 이미지(50, 52)의 각 제품(n)을 검출 및 인식 둘 다를 위해 사전 훈련된 제1 인공 신경망(ANN-1);
상기 재고 이미지(50, 52)의 각 제품(n)을 검출 및 인식 둘 다를 위해 사전 훈련되고 제1 ANN과 상이하게 구성되는 제2 인공 신경망(ANN-2);을 포함하며,
상기 제1 및 제2 ANN은 상기 사전 이미지(50) 및 사후 이미지(52) 둘 다의 상기 제품(n)을 독립적으로 검출 및 인식하기 위해 신디케이트 풀링 평가로 병행하여 결합되며,
상기 소프트웨어는 상기 누락된 제품(13)을 식별하도록 상기 사후 이미지(52) 및 상기 사전 이미지(50) 사이의 상기 ANN 인식된 재고 제품(n)을 비교하도록 추가로 구성되며,
상기 제품 인식은 상기 제1 및 제2 ANN에 의해 상기 누락된 제품(13)을 식별하도록 상기 재고 사전 이미지(50) 및 상기 재고 사후 이미지(52) 둘 다에 대해 일치해야 하는,
제품을 분배하는 방법.
자동화된 자판기(28)로서,
판매를 위해 여러 개의 제품(n)의 초기 재고(S)를 상기 도어(32)를 통해 진열하기 위한 다수의 디스플레이 선반(34)을 포함하며, 잠긴 디스플레이 도어(32)를 갖는 디스플레이 캐비닛(30);
상기 선반(34) 상에 진열된 제품(n)의 전체 재고(S)를 포함하는 시야를 갖는, 상기 캐비닛(30) 내부에 장착된 디지털 카메라(42);
제거된 제품(13) 자체를 검출하지 않고 남은 재고(S-(S-P))의 상기 사후 이미지(52)에서 누락된 임의의 제품을 결정하도록 상기 제품이 제거되기 전후에 상기 진열된 재고(S)의 상기 카메라(42)에 의해 촬영된 사전 및 사후 이미지(50, 52)를 비교함으로써 사용자에 의해 상기 캐비닛(30)으로부터 제거된 임의의 제품(n)을 식별하기 위한 소프트웨어로 구성되며, 상기 카메라(42)에 작동 가능하게 결합되는 디지털 컴퓨터(44);를 포함하며,
상기 컴퓨터(44)는 상기 사용자에게 접근을 승인하고, 제품 제거 전후에 상기 도어(32)를 잠금 해제 및 재 잠금하고, 상기 누락된 제품(13)에 대한 상기 사용자로부터 결제를 처리하도록 추가로 구성되는,
자동화된 자판기.
제21항에 있어서,
상기 컴퓨터 소프트웨어는:
상기 재고 이미지(50, 52)의 각 제품(n)을 검출 및 인식 둘 다를 위해 사전 훈련된 제1 인공 신경망(ANN-1);
상기 재고 이미지(50, 52)의 각 제품(n)을 검출 및 인식 둘 다를 위해 사전 훈련되고 제1 ANN과 상이하게 구성되는 제2 인공 신경망(ANN-2);을 포함하며,
상기 제1 및 제2 ANN은 상기 사전 이미지(50) 및 사후 이미지(52) 둘 다의 상기 제품(n)을 독립적으로 검출 및 인식하기 위해 신디케이트 풀링 평가로 병행하여 결합되며,
상기 소프트웨어는 상기 누락된 제품(13)을 식별하도록 상기 사후 이미지(52) 및 상기 사전 이미지(50) 사이의 상기 ANN 인식된 재고 제품(n)을 비교하도록 추가로 구성되며,
상기 제품 인식은 상기 제1 및 제2 ANN에 의해 상기 누락된 제품(13)을 식별하도록 상기 재고 사전 이미지(50) 및 상기 재고 사후 이미지(52) 둘 다에 대해 일치해야 하는,
자동화된 자판기.