KR102454539B1 - 검증을 수행하는 무인 결제 장치 및 방법 - Google Patents

Abstract

본 발명은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 검증을 수행하는 무인 결제 방법을 제안한다. 상기 방법은 적어도 하나의 상품에 대한 영상을 1차 촬영하는 단계, 인공 지능(Artificial Intelligence, AI)을 기반으로 상기 1차 촬영된 영상을 분석하여, 상기 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하는 단계, 상기 인식된 상품에 대한 영상을 2차 촬영하는 단계, 상기 2차 촬영된 영상에서 상품에 대한 경계값을 추출하는 단계, 상기 추출된 경계값을 통해 상기 인식된 상품을 검증하는 단계 및 상기 검증이 완료된 상품에 대하여 결제를 수행하는 단계를 포함할 수 있다.

Description

검증을 수행하는 무인 결제 장치 및 방법{Unmanned payment device and method for performing verification}

본 발명은 비전(vision) 센서 기반의 무인 결제 장치에 관한 것이다. 더욱 상세하게는, 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 검증을 수행하는 무인 결제 장치 및 방법에 관한 것이다.

인공지능(AI)은 인간의 학습능력, 추론능력 및 지각능력 등의 일부 또는 전부를 컴퓨터 프로그램을 이용하여 인공적으로 구현하는 기술을 의미한다. 인공지능(AI)과 관련하여, 기계 학습(machine learning)은 다수의 파라미터로 구성된 모델을 이용하여 주어진 데이터로 파라미터를 최적화하는 학습을 의미한다.

한편, 무인 점포(unmanned store)는 상품의 결제 및 관리를 수행하는 판매자 매장 내에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와 직접 결제하는 점포를 말한다.

최근 들어, IT(Information Technology) 산업기술의 발달, 인건비 상승과 심야 시간대의 효율적인 운영 등의 이유로 무인 점포에 대한 관심이 높아지고 있는 추세다. 이와 같은, 무인 점포는 주로 커피 전문점, 아이스크림 전문점 등과 같이 고객의 다양한 니즈를 반영하지 않아도 되는 상품을 취급하는 매장에서 제한적으로 적용되고 있으나, 최근 그 적용 영역이 확대되고 있다.

이와 같은, 무인 점포 내에는 고객이 구매하고자 하는 상품을 직접 결제할 수 있는 무인 셀프 결제기(예를 들어, 키오스크 등)가 설치되어 있으며, 무인 점포 내에 비치되어 있는 각종 제품과 무인 셀프 결제기의 도난이나 파손 등을 감시하기 위해 폐쇄 회로 텔레비전(Closed Circuit TeleVision, CCTV)이 설치되어 있다.

일반적으로, 무인 셀프 결제기는 상품의 포장재에 구비된 바코드 또는 QR 코드를 스캔하고, 스캔된 바코드 또는 QR 코드를 통해 상품을 인식하고, 인식된 상품의 정보를 이용하여 결제를 진행하게 된다.

이와 같은 바코드 또는 QR 코드를 이용한 상품 인식 방식의 무인 셀프 결제기는 판매상이 판매 장소에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와서 직접 결제할 수는 있으나, 바코드 또는 QR 코드를 이용하여 상품을 인식하기 때문에, 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품(비정형 분야)에 대해서는 적용이 힘든 문제점이 있었다.

대한민국 공개특허공보 제10-2020-0023990호, ‘무인 점포의 결제 처리 시스템, 방법 및 컴퓨터 프로그램’, (2020.03.06. 공개)

본 발명의 일 목적은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 검증을 수행하는 무인 결제 장치를 제공하는 것이다.

본 발명의 다른 목적은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 검증을 수행하는 무인 결제 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 무인 결제 방법을 제안한다. 상기 방법은 적어도 하나의 상품에 대한 영상을 1차 촬영하는 단계, 인공 지능(Artificial Intelligence, AI)을 기반으로 상기 1차 촬영된 영상을 분석하여, 상기 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하는 단계, 상기 인식된 상품에 대한 영상을 2차 촬영하는 단계, 상기 2차 촬영된 영상에서 상품에 대한 경계값을 추출하는 단계, 상기 추출된 경계값을 통해 상기 인식된 상품을 검증하는 단계 및 상기 검증이 완료된 상품에 대하여 결제를 수행하는 단계를 포함할 수 있다.

구체적으로, 상기 인식하는 단계는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다.

상기 경계값을 추출하는 단계는 상기 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 상기 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.

상기 검증하는 단계는 상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 개수를 비교하고, 개수가 동일한 경우 결제를 수행할 수 있다.

상기 검증하는 단계는 상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 위치를 비교하고, 위치가 동일한 경우 결제를 수행하도록 할 수 있다.

상기 인식하는 단계는 상기 1차 촬영된 영상에 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력할 수 있다.

상기 인식하는 단계는 상기 인식되지 않는 상품이 포함된 이미지를 출력하되, 상기 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.

상기 인식하는 단계는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.

상기 인식하는 단계는 상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 알림 신호를 출력할 수 있다.

상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 무인 결제 장치를 제안한다. 상기 장치는 적어도 하나의 상품에 대한 영상을 1차 촬영하는 제1 촬영부, 상기 제1 촬영부에 의해 1차 촬영된 적어도 하나의 상품을 2차 촬영하는 제2 촬영부, 인공 지능(Artificial Intelligence, AI)을 기반으로 상기 제1 촬영부에 의해 촬영된 영상을 분석하여, 상기 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 상기 제2 촬영부에 의해 촬영된 영상에서 상품에 대한 경계값을 추출하고, 상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품을 비교하여 결제 여부를 결정하는 제어부를 포함할 수 있다.

본 발명의 실시 예들에 따르면, 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품을 비교하여, 인식된 상품을 검증함으로써, 상품이 누락되거나, 결제할 상품이 아닌 다른 물건이 인식되는 것을 방지할 수 있다.

도 1은 본 발명의 다양한 실시 예에 따른 무인 결제 시스템을 나타낸 개략도이다.
도 2는 본 발명의 다양한 실시 예에 따른 무인 결제 장치를 나타낸 개략도이다.
도 3은 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 논리적 구성도이다.
도 4는 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 하드웨어 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 9는 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 10은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 무인 결제 방법을 설명하기 위한 순서도이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

한편 무인 셀프 결제기는 상품의 포장재에 구비된 바코드 또는 QR 코드를 스캔하고, 스캔된 바코드 또는 QR 코드를 통해 상품을 인식하고, 인식된 상품의 정보를 이용하여 결제를 진행하게 된다.

이와 같은 바코드 또는 QR 코드를 이용한 상품 인식 방식의 무인 셀프 결제기는 판매상이 판매 장소에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와서 직접 결제할 수는 있으나, 바코드 또는 QR 코드를 이용하여 상품을 인식하기 때문에, 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품(비정형 분야)에 대해서는 적용이 힘든 문제점이 있었다.

이러한 어려움을 극복하기 위하여, 본 발명은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하고, 인식된 상품의 결제를 수행할 수 있는 수단들을 제안하고자 한다.

도 1은 본 발명의 다양한 실시예에 따른 무인 결제 시스템을 나타낸 개략도이다.

도 1을 참조하면, 본 발명의 다양한 실시예에 따른 무인 결제 시스템(400)은 무인 결제 장치(100) 및 고객 인식 장치(300)를 포함하여 구성될 수 있다.

한편, 무인 결제 시스템(400)이 적용되는 무인 점포에는 신선 제품 보관용 냉동/냉장고, 디저트류 진열 공간, 비건 및 유기농 상품 진열 공간, 냉장식품 진열 공간, 신제품 진열 공간, 실온 보관 제품 진열 공간 무인 결제 장치(100)가 진열될 공간 등으로 구성될 수 있다. 여기서 무인 점포에 비치되는 상품들은 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품이 될 수 있다.

각각의 구성 요소에 대하여 설명하면, 무인 결제 장치(100)는 구매자가 무인 점포에 입장하여, 원하는 상품을 선택한 후에, 특정 공간에 선택한 상품을 올려 놓게 되면, 구매자가 선택된 상품을 인식하여, 상품과 관련한 결제 정보를 추출하고, 추출된 결제 정보를 통해 결제를 수행할 수 있다.

구체적으로, 무인 결제 장치(100)는 비전(vision) 센서를 통해 촬영된 영상에서 상품의 형상 정보를 식별하여 해당 상품을 인식할 수 있다. 여기서 비전 센서는 카메라의 일종으로 사람의 눈처럼 상품의 형태, 크기, 패턴 등을 판별할 수 있도록 특정 영역의 영상을 생성할 수 있다. 이러한 비전 센서는 카메라(camera), 라이다(lidar), 레이더(radar) 및 초음파 센서(ultrasonic sensor) 중 적어도 하나가 될 수 있다. 바람직하게, 비전 센서는 상품의 영상과 거리 정보를 획득할 수 있는 뎁스 카메라(depth camera)가 될 수 있다.

특징적으로, 무인 결제 장치(100)는 무인 결제 장치(100)는 인공 지능(Artificial Intelligence, AI)을 기반으로 비전 센서로부터 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 이때 무인 결제 장치(100)는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 분류기는 무인 결제 장치(100)를 통해 자체적으로 학습될 수 있다.

여기서, 무인 결제 장치(100)는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다.

한편 비전 센서를 통해 상품을 인식하는 경우, 적어도 하나의 고정된 지점에서 촬영된 영상을 기반으로 상품을 인식하기 때문에, 겹쳐진 상품에 대한 고려가 필요하다.

이에 따라, 무인 결제 장치(100)는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.

또한 무인 결제 장치(100)는 겹쳐진 상품에 대하여 상품을 이동시키는 복수의 컨베이어의 속도 및 방향 중 적어도 하나를 제어하여 상품이 겹쳐진 상태로 인식되는 것을 방지할 수 있다. 한편 상품의 겸침 방지를 위한 구체적인 구성은 도 7 내지 도 11을 통해 구체적으로 설명하도록 한다.

또한, 무인 결제 장치(100)는 상기와 같이 인식된 상품에 대하여, 2차 촬영을 실시하고, 2차 촬영을 통해 획득한 영상을 통해 인식된 상품의 검증을 수행할 수 있다.

이러한 무인 결제 장치(100)는 인식된 상품에 대하여 현금 결제, 카드 결제 등의 결제를 수행할 수 있다. 여기서 무인 결제 장치(100)는 카드 결제를 수행하는 경우, 통신망을 통해 카드사 서버와 보안 회선, 공용 유선 통신망 또는 이동 통신망 중 하나 이상이 조합된 네트워크를 이용하여 데이터를 송수신하여 결제를 수행할 수 있다.

예를 들어, 공용 유선 통신망에는 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH)가 포함될 수 있으나, 이에 한정되는 것도 아니다. 그리고, 이동 통신망에는 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication)가 포함될 수 있으나, 이에 한정되는 것은 아니다.

다음 구성으로, 고객 인식 장치(300)는 무인 점포에 입장한 구매자를 촬영하고, 촬영된 영상을 통해 구매자의 행동을 인식하여, 구매자의 이상 행동을 판단할 수 있다.

또한 고객 인식 장치(300)는 무인 점포 내의 영상을 촬영하고, 누적 저장하여 관리할 수 있다.

이와 같은, 일 실시예에 따른 무인 결제 시스템(400)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.

이하 본 발명의 다양한 실시예에 따른 무인 결제 장치에 대하여 상세히 설명하도록 한다.

도 2는 본 발명의 다양한 실시예에 따른 무인 결제 장치를 나타낸 개략도이다.

도 2를 참조하면, 본 발명의 다양한 실시예에 따른 무인 결제 장치(100)는 본체(110), 이송부(120) 및 촬영부(130)를 포함하여 구성될 수 있다.

본체(110)는 무인 결제 장치(100)의 몸체를 구성하며, 이송부(120) 및 촬영부(130)를 설치하기 위한 공간을 형성할 수 있다. 여기서 본체(110)는 육면체 형상으로 형성된 것으로 도시하지만, 내부에 무인 결제 장치(100)를 구동하기 위한 하드웨어 들이 삽입될 공간과, 이송부(120) 및 촬영부(130)를 설치하기 위한 공간을 형성할 수 있는 다양한 형태로 형성될 수 있다.

이송부(120)는 구매자가 구매하고자 하는 상품을 올려 놓으면, 촬영부(130)를 통해 상품을 인식할 수 있도록 촬영부(130) 방향으로 상품을 이동시킬 수 있다.

이러한, 이송부(120)는 상품을 이동시킬 수 있도록 컨베이어를 포함할 수 있다. 여기서 컨베이어는 벨트 컨베이어(belt conveyor), 나사 컨베이어(screw conveyor), 버킷 컨베이어(bucket conveyor), 롤러 컨베이어(roller conveyor), 트롤리 컨베이어(trolley conveyor) 등 상품을 이동시킬 수 있는 다양한 컨베이어가 적용될 수 있다.

또한, 이송부(120)는 복수의 컨베이어로 구성되고, 겹쳐진 상품에 대하여 복수의 컨베이어의 속도 및 방향 중 적어도 하나를 달리하여 겹쳐진 상품을 분리시킬 수 있다.

또한, 이송부(120)는 복수의 컨베이어로 구성되고, 겹쳐진 상품에 대하여 복수의 컨베이어 사이의 단차를 달리하여 겹쳐진 상품을 분해시킬 수 있다.

한편 상품의 겹침을 방지할 수 있는 이송부(120)의 다양한 실시 예에 대해서는 도 7 내지 도 11을 참조하여 후술하도록 한다.

촬영부(130)는 이송부(120)를 통해 이동하는 적어도 하나의 상품을 인식하기 위하여, 상품을 촬영하여 영상을 생성할 수 있다. 이러한 촬영부(130)는 이송부(120)에 의해 상품이 이동되는 경로 상에 위치할 수 있다.

여기서, 촬영부(130)는 적어도 하나의 비전 센서를 포함하여 구성될 수 있다. 비전 센서는 카메라(camera), 라이다(lidar), 레이더(radar) 및 초음파 센서(ultrasonic sensor) 중 적어도 하나가 될 수 있다. 바람직하게, 비전 센서는 상품의 영상과 거리 정보를 획득할 수 있는 뎁스 카메라(depth camera)가 될 수 있다.

예를 들어, 촬영부(130)는 적어도 하나의 상품의 상부에 구비된 메인 비전 센서(vision sensor) 및 적어도 하나의 상품의 측부에 구비된 보조 비전 센서를 통해 이송부(120)에 올려진 상품을 촬영하여 영상을 생성할 수 있다.

도 3은 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 논리적 구성도이다.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 무인 결제 장치(100)는 통신부(205), 입출력부(210), 저장부(215), 상품 인식부(220), 겹침 방지부(225) 및 상품 결제부(230)를 포함하여 구성될 수 있다.

이와 같은, 무인 결제 장치(100)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.

각각의 구성 요소에 대하여 설명하면, 통신부(205)는 인식된 상품의 결제를 위하여, 카드, 포인트 등을 이용하여 결제를 수행할 경우, 외부의 카드사 서버, 포인트 제공 서버 등과 데이터를 송수신할 수 있다.

구체적으로 통신부(205)는 결제를 수행할 인식된 상품에 대한 결제 정보를 외부로 송신하고, 상품 결제에 따른 결제 처리 결과를 수신할 수 있다.

다음 구성으로, 입출력부(210)는 사용자 인터페이스(UI)를 통해 사용자로부터 신호를 입력 받거나 연산 결과를 외부로 출력할 수 있다.

구체적으로, 입출력부(210)는 구매하고자 하는 상품에 대한 인식 결과를 화면을 통해 출력하고, 인식된 상품에 대한 결제 정보를 화면을 통해 출력하고, 결제를 완료한 후에 결제 처리 정보를 화면을 통해 출력할 수 있다.

저장부(215)는 무인 결제 장치(100)의 동작에 필요한 데이터를 저장할 수 있다.

구체적으로, 저장부(215)는 상품을 인식하기 위한 프로그램, 겹쳐진 상품을 분리시키기 위하여 이송부를 제어하기 위한 프로그램, 상품 결제를 수행하기 위한 프로그램을 저장하기 위한 버퍼(buffer)를 포함하여 구성될 수 있다.

상품 인식부(220)는 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 여기서, 상품 인식부(220)는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 사전에 학습된 분류기는 메인 비전 센서 및 보조 비전 센서를 이용하여 학습을 위한 상품을 회전시키면서 연속적으로 촬영된 영상을 기반으로 학습될 수 있다. 또한 사전에 학습된 분류기는 복수의 상품이 겹쳐진 상태에서 촬영된 영상을 통해 학습될 수 있다.

또한, 상품 인식부(220)는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다.

또한, 상품 인식부(220)는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.

또한, 상품 인식부(220)는 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증할 수 있다. 여기서 상품 인식부(220)는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.

또한, 상품 인식부(220)는 1차 촬영된 영상의 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력하려 사용자에게 알릴 수 있다. 이때, 상품 인식부(220)는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.

또한, 상품 인식부(220)는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.

다음 구성으로, 겹침 방지부(225)는 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 복수의 상품 중 겹쳐진 상품에 대하여 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어의 속도를 제1 컨베이어의 속도보다 빠르게 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어의 방향을 제1 컨베이어의 방향과 반대로 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 겹침방지롤러의 방향 및 속도 중 적어도 하나를 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 상기 바리케이드의 탄성력을 제어할 수 있다.

또한 겹침 방지부(225)는 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 겹쳐진 상품에 대하여 복수의 컨베이어의 단차를 제어할 수 있다.

또한 겹침 방지부(225)는 복수의 롤러 컨베이어의 인접한 롤러 축이 서로 엇갈리도록 왕복 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 복수의 컨베이어의 단차를 제어할 수 있다.

또한 겹침 방지부(225)는 제1 촬영부를 통해 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 겹침방지롤러의 속도 및 방향 중 적어도 하나를 제어할 수 있다.

다음 구성으로, 상품 결제부(230)는 인식이 완료된 상품 또는 인식된 후 검증이 완료된 상품에 대하여 결제를 수행할 수 있다.

도 4는 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 하드웨어 구성도이다.

도 4에 도시된 바와 같이, 무인 결제 장치(100)는 프로세서(Processor, 250), 메모리(Memory, 255), 송수신기(Transceiver, 260), 입출력장치(Input/output device, 265), 데이터 버스(Bus, 270) 및 스토리지(Storage, 275)를 포함하여 구성될 수 있다.

프로세서(250)는 메모리(255)에 상주된 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)에 따른 명령어를 기초로, 무인 결제 장치(100)의 동작 및 기능을 구현할 수 있다. 메모리(255)에는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)가 상주(loading)될 수 있다.

송수신기(260)는 인식된 상품의 결제를 위하여, 카드, 포인트 등을 이용하여 결제를 수행할 경우, 외부의 카드사 서버, 포인트 제공 서버 등과 데이터를 송수신할 수 있다. 즉 송수신기(260)는 결제를 수행할 인식된 상품에 대한 결제 정보를 외부로 송신하고, 상품 결제에 따른 결제 처리 결과를 수신할 수 있다.

데이터 버스(270)는 프로세서(250), 메모리(255), 송수신기(260), 입출력장치(265) 및 스토리지(275)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.

스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280b) 및 데이터베이스(285)를 저장할 수 있다.

본 발명의 일 실시 예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 센서들의 제어 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가 적어도 하나의 상품을 촬영하고, 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 인식된 상품에 대하여 결제를 수행하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

또한 본 발명의 다른 실시 예에 따르면, 적어도 하나의 상품에 대한 영상을 1차 촬영하고, 인공 지능(Artificial Intelligence, AI)을 기반으로 1차 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증하고, 검증이 완료된 상품에 대하여 결제를 수행하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

또한 본 발명의 다른 실시 예에 따르면, 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 복수의 상품 중 겹쳐진 상품에 대하여 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

또한 본 발명의 또 다른 실시 예에 따르면, 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 겹쳐진 상품에 대하여 복수의 컨베이어의 단차를 제어하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

보다 구체적으로, 프로세서(250)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(255)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(260)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(265)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.

본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(255)에 상주되고, 프로세서(250)에 의해 실행될 수 있다. 메모리(255)는 프로세서(250)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(250)와 연결될 수 있다.

도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이하 본 발명의 다양한 실시 예에 따른 무인 결제 장치에 대하여 예시도를 참조하여 구체적으로 설명하도록 한다. 한편 본 발명의 다양한 실시 예에 따른 무인 결제 장치들은 일부 구성을 제외하고는 서로 실질적으로 동일한 구성을 갖는다. 따라서 동일한 구성에 대해서는 동일한 참조 부호를 부여하도록 한다.

도 5는 본 발명의 일 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 무인 결제 장치의 촬영부(130)는 비전 센서를 설치하기 위한 공간을 형성하는 프레임(131), 프레임(131)의 내측면에 적어도 하나의 상품의 상부에 구비된 메인 비전 센서(131a) 및 적어도 하나의 상품의 측부에 구비된 보조 비전 센서(131b)를 포함할 수 있다.

여기서 메인 비전 센서(131a)는 다양한 각도에서 상품을 촬영할 수 있도록 좌우로 이동 가능하게 구성될 수 있다. 보조 비전 센서(131b)는 다양한 각도에서 상품을 촬영할 수 있도록 상하로 이동 가능하게 구성될 수 있다.

즉 촬영부(130)는 상부에 메인 비전 센서(131a)가 배치되고, 측부에 보조 비전 센서(131b)가 배치되며, 메인 비전 센서(131a) 및 보조 비전 센서(131b)가 각각 좌우 또는 상하로 이동 가능하게 구성함으로써, 다양한 각도에서 상품을 촬영하여 영상을 생성함에 따라, 학습 효율을 높일 수 있고, 상품 인식에 대한 정확성을 높일 수 있다.

또한 촬영부(130)는 학습을 수행하는 경우, 상품을 배치하는 영역(132)이 회전되도록 구성될 수 있다. 즉 촬영부(130)는 메인 비전 센서(131a) 및 보조 비전 센서(131b)를 통해 상품을 촬영하면서, 상품을 배치하는 영역(132)을 회전시킴으로써, 다양한 각도에서 상품을 촬영하여 영상을 생성함에 따라, 학습 효율을 높일 수 있고, 상품 인식에 대한 정확성을 높일 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 이송부(120)의 경로 상에 설치되는 제1 촬영부(130`) 및 제2 촬영부(130)를 포함하여 구성될 수 있다.

즉, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 제1 촬영부(130`)를 통해 적어도 하나의 상품에 대한 영상을 촬영하고, 제2 촬영부(130)를 통해 1차 촬영된 적어도 하나의 상품을 2차 촬영할 수 있다.

무인 결제 장치는 인공 지능(Artificial Intelligence, AI)을 기반으로 제1 촬영부(130`)에 의해 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 제2 촬영부(130)에 의해 촬영된 영상에서 상품에 대한 경계값을 추출하고, 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품을 비교하여 결제 여부를 결정할 수 있다.

여기서 무인 결제 장치는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.

또한 무인 결제 장치는 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품의 개수를 비교하고, 개수가 동일한 경우 결제를 수행하도록 할 수 있다.

또한 무인 결제 장치는 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품의 위치를 비교하고, 위치가 동일한 경우 결제를 수행하도록 할 수 있다.

또한 무인 결제 장치는 1차 촬영된 영상에 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력할 수 있다.

또한 무인 결제 장치는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.

또한 무인 결제 장치는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.

또한 무인 결제 장치는 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 알림 신호를 출력할 수 있다.

도 7 및 도 8은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 7 및 도 8을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 복수의 상품이 투입되는 투입 영역에 구비되는 제1 컨베이어(121), 제1 컨베이어(121)로부터 일정 간격 이격되어 배치되는 제2 컨베이어(122) 및 제1 컨베이어(121) 및 제2 컨베이어(122) 사이에 구비되어, 복수의 상품의 겹침을 방지하는 겹침방지롤러(123)를 포함하여 구성될 수 있다. 여기서 겹침 방지 롤러(123)는 제1 컨베이어(121) 및 제2 컨베이어(122)와 단차를 갖도록 돌출되어 배치될 수 있다.

또한 무인 결제 장치는 제1 컨베이어(121) 상에 배치되어, 제1 컨베이어(121)를 통해 이동하는 복수의 상품을 촬영하는 제1 촬영부(133) 및 제2 컨베이어(122) 상에 배치되어, 제1 컨베이어(121)로부터 전달되어 제2 컨베이어(122)를 통해 이동하는 복수의 상품을 촬영하는 제2 촬영부(133)를 포함할 수 있다.

여기서 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어(122)의 속도를 제1 컨베이어(121)의 속도보다 빠르게 제어할 수 있다.

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어(122)의 방향을 제1 컨베이어(121)의 방향과 반대로 제어할 수 있다.

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 겹침방지롤러(123)의 방향 및 속도 중 적어도 하나를 제어할 수 있다.

이와 같이, 본 발명의 또 다른 실시예에 따른 무인 결제 장치는 복수의 상품 중 겹쳐진 상품에 대하여 제1 컨베이어(121), 제2 컨베이어(122) 및 겹침방지롤러(123)의 중 적어도 하나의 속도 및 방향 중 적어도 하나를 제어함으로써, 상품 인식이 용이하도록 상품의 겹침을 방지할 수 있다.

도 9는 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 9를 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 탄성력을 가지며, 컨베이어(120)를 따라 이동하는 복수의 상품의 경로 상에 위치하여, 컨베이어(120) 내에서 복수의 상품에 대한 이동 경로를 변경하는 적어도 하나의 바리케이드(124)를 포함하여 구성될 수 있다.

즉 무인 결제 장치는 상품이 투입되면, 바리케이드(124)를 통해 상품의 이동 경로를 변경하여, 겹쳐진 상품을 분리시킬 수 있다.

이때 본 발명의 다른 실시 예에 따른 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 바리케이드의 탄성력을 제어할 수 있다.

도 10은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 10을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 복수의 상품을 이동시키는 제1 컨베이어(121`) 및 복수의 상품이 이동하는 방향에 대하여 수직하게 제1 컨베이어(121`)와 밀착 배치되는 제2 컨베이어(122`)를 포함할 수 있다.

여기서 제1 컨베이어(121`) 및 제2 컨베이어(122`)는 제1 촬영부(133)에 의해 촬영된 영상을 통해 겹쳐진 상품이 없을 경우, 동일한 방향으로 동일한 속도로 상품을 이송시킬 수 있다.

무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹치진 것으로 판단되면, 제1 컨베이어(121`) 및 제2 컨베이어(122`)의 속도 및 방향 중 적어도 하나를 제어하여 겹쳐진 상품을 분리시킬 수 있다.

도 11은 본 발명의 또 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.

도 11을 참조하면, 본 발명의 또 다른 실시 예에 따른 무인 결제 장치는 복수의 상품을 투입하는 투입 영역에 구비되는 제1 컨베이어(121``), 제1 컨베이어(121``)로부터 투입된 복수의 상품을 촬영부(130)를 통해 촬영하는 스캔 영역에 구비되는 제2 컨베이어(122``) 및 제2 컨베이어(122``)로부터 촬영이 완료되어 배출되는 복수의 상품을 적재하는 적재부(123``)를 포함하여 구성될 수 있다.

여기서 제1 컨베이어(121``)는 복수의 상품을 이동시키는 복수의 롤러 컨베이어(roller conveyor)를 포함할 수 있다. 또한 제1 컨베이어(121``)는 인접한 롤러 축의 높이가 상이하게 배치될 수 있다.

무인 결제 장치는 제1 컨베이어(121``)의 인접한 롤러 축이 서로 엇갈리도록 왕복 제어하여, 겹쳐진 상품을 분리시킬 수 있다. 즉 무인 결제 장치는 롤러 축을 상하로 왕복 제어하되, 인접한 롤러 축이 서로 엇갈리도록 하여 상품을 유동시킴에 따라, 겹쳐진 상품을 분리시킬 수 있다.

제2 컨베이어의(122``)는 제1 컨베이어(121``)의 보다 낮은 위치에 배치될 수 있다. 이를 통해 제1 컨베이어(121``)로부터 제2 컨베이어(122``)로 이동하는 상품이 단차에 의해 제2 컨베이어(122``)로 낙하하면서, 겹쳐진 상품이 분리되도록 할 수 있다.

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 제1 컨베이어(121``) 또는 제2 컨베이어(122``)의 단차를 제어할 수 있다.

또한 무인 결제 장치는 도시되지는 않지만, 제1 컨베이어(121``) 또는 제2 컨베이어(122``) 사이에 구비되어, 복수의 상품의 겹침을 방지하는 겹침방지롤러를 더 포함할 수 있다. 여기서, 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 겹침방지롤러의 속도 및 방향 중 적어도 하나를 제어할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 무인 결제 방법을 설명하기 위한 순서도이다.

도 12를 참조하면, 먼저 무인 결제 장치는 구매자가 구매하고자 하는 상품을 촬영한다(S100). 구체적으로, 무인 결제 장치는 구매자가 구매하고자 하는 상품을 이송부에 올려 놓으면, 이송부를 구동시켜 상품을 이동시키고, 이동되는 상품을 촬영부를 통해 촬영할 수 있다.

다음으로, 무인 결제 장치는 촬영된 영상을 통해 상품을 인식할 수 있다(S200). 즉 무인 결제 장치는 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 여기서, 무인 결제 장치는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 사전에 학습된 분류기는 메인 비전 센서 및 보조 비전 센서를 이용하여 학습을 위한 상품을 회전시키면서 연속적으로 촬영된 영상을 기반으로 학습될 수 있다. 또한 사전에 학습된 분류기는 복수의 상품이 겹쳐진 상태에서 촬영된 영상을 통해 학습될 수 있다.

또한, 무인 결제 장치는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다.

또한, 무인 결제 장치는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.

다음으로, 무인 결제 장치는 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증할 수 있다(S300). 여기서, 상품 인식부는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.

또한, 무인 결제 장치는 1차 촬영된 영상의 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력하려 사용자에게 알릴 수 있다. 이때, 무인 결제 장치는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.

또한, 무인 결제 장치는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.

그리고, 무인 결제 장치는 인식이 완료된 상품 또는 인식된 후 검증이 완료된 상품에 대하여 결제를 수행할 수 있다(S400).

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 무인 결제 장치 110: 본체
120: 이송부 130: 촬영부
205: 통신부 210: 입출력부
215: 저장부 220: 상품 인식부
225: 겹침 방지부 230: 상품 결제부
300: 고객 인식 장치 400: 무인 결제 시스템

Claims (10)

1. 제1 촬영부가, 적어도 하나의 상품에 대한 영상을 1차 촬영하는 단계;
   제어부가, 인공 지능(Artificial Intelligence, AI)을 기반으로 상기 1차 촬영된 영상을 분석하여, 상기 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하는 단계;
   제2 촬영부가, 상기 인식된 상품에 대한 영상을 2차 촬영하는 단계;
   상기 제어부가, 상기 2차 촬영된 영상에서 상품에 대한 경계값을 추출하는 단계;
   상기 제어부가, 상기 추출된 경계값을 통해 상기 인식된 상품을 검증하는 단계; 및
   상기 제어부가, 상기 검증이 완료된 상품에 대하여 결제를 수행하는 단계;를 포함하고,
   상기 인식하는 단계는
   사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식하는 것을 특징으로 하며,
   상기 인식하는 단계는
   상기 1차 촬영된 영상에 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 무인 결제 장치에 구성된 화면에 출력하는 것을 포함하고,
   상기 인식하는 단계는
   상기 인식되지 않는 상품이 포함된 이미지를 상기 화면에 출력하되, 상기 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력하는 것을 특징으로 하며,
   상기 2차 촬영하는 단계는,
   상기 적어도 하나의 상품의 상부에 구비된 메인 비전 센서(vision sensor) 및 상기 적어도 하나의 상품의 측부에 구비된 보조 비전 센서를 통해 상기 적어도 하나의 상품을 촬영하는 것을 특징으로 하고,
   상기 메인 비전 센서는
   상기 적어도 하나의 상품의 상부에서 좌우로 이동 가능하게 구성되며,
   상기 보조 비전 센서는
   상기 적어도 하나의 상품의 측부에서 상하로 이동 가능하게 구성되고,
   상기 2차 촬영하는 단계에서
   상기 메인 비전 센서는 상기 적어도 하나의 상품에 대한 영상 및 상기 영상에 포함된 상품까지의 거리(depth)를 측정하는 것을 특징으로 하며,
   상기 사전에 학습된 분류기는
   상기 메인 비전 센서 및 상기 보조 비전 센서에 의해 촬영된 영상을 기반으로 학습되고,
   상기 검증하는 단계는
   상기 촬영된 영상 및 상기 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 상기 측정된 높이 값을 통해 해당 상품을 인식하는 것을 특징으로 하며,
   상기 검증하는 단계는
   인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 상기 측정된 높이 값이 상기 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단하는 것을 특징으로 하고,
   상기 검증하는 단계는
   상기 보조 비전 센서에 의해 촬영된 상기 적어도 하나의 상품에 대한 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 상기 겹쳐진 상품에 대한 경계값을 추출하여 상기 겹쳐진 상품의 개수를 판단하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 방법.
   
2. 제1 항에 있어서, 상기 인식하는 단계는
   상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 알림 신호를 출력하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 방법.
   
3. 제1 항에 있어서, 상기 인식하는 단계는
   상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시키는 것을 특징으로 하는, 검증을 수행하는 무인 결제 방법.
   
4. 제1 항에 있어서, 상기 검증하는 단계는
   상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 개수를 비교하고, 개수가 동일한 경우 결제를 수행하도록 하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 방법.
   
5. 제1 항에 있어서, 상기 검증하는 단계는
   상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 위치를 비교하고, 위치가 동일한 경우 결제를 수행하도록 하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 방법.
   
6. 적어도 하나의 상품에 대한 영상을 1차 촬영하는 제1 촬영부;
   상기 제1 촬영부에 의해 1차 촬영된 적어도 하나의 상품을 2차 촬영하는 제2 촬영부; 및
   인공 지능(Artificial Intelligence, AI)을 기반으로 상기 제1 촬영부에 의해 1차 촬영된 영상을 분석하여, 상기 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 상기 제2 촬영부를 통해 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 상기 추출된 경계값을 통해 상기 인식된 상품을 검증하고, 상기 검증이 완료된 상품에 대하여 결제를 수행하는 제어부;를 포함하고,
   상기 제어부는
   사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식하는 것을 특징으로 하며,
   상기 1차 촬영된 상품에 대한 인식 결과를 출력하는 화면을 포함하고,
   상기 제어부는,
   상기 1차 촬영된 영상에 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 상기 화면에 출력하는 것을 특징으로 하며,
   상기 제어부는,
   상기 인식되지 않는 상품이 포함된 이미지를 상기 화면에 출력하되, 상기 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력하는 것을 특징으로 하고,
   제2 촬영부는,
   상기 적어도 하나의 상품을 상부에서 촬영하는 메인 비전 센서(vision sensor) 및 상기 적어도 하나의 상품을 측부에서 촬영하는 보조 비전 센서를 포함하는 것을 특징으로 하며,
   상기 메인 비전 센서는
   상기 적어도 하나의 상품의 상부에서 좌우로 이동 가능하게 구성되고,
   상기 보조 비전 센서는
   상기 적어도 하나의 상품의 측부에서 상하로 이동 가능하게 구성되며,
   상기 메인 비전 센서는
   상기 적어도 하나의 상품에 대한 영상 및 상기 영상에 포함된 상품까지의 거리(depth)를 측정하는 것을 특징으로 하고,
   상기 사전에 학습된 분류기는
   상기 메인 비전 센서 및 상기 보조 비전 센서에 의해 촬영된 영상을 기반으로 학습되며,
   상기 제어부는,
   상기 촬영된 영상 및 상기 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 상기 측정된 높이 값을 통해 해당 상품을 인식하는 것을 특징으로 하고,
   상기 제어부는,
   인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 상기 측정된 높이 값이 상기 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단하는 것을 특징으로 하며,
   상기 제어부는,
   상기 보조 비전 센서에 의해 촬영된 상기 적어도 하나의 상품에 대한 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 상기 겹쳐진 상품에 대한 경계값을 추출하여 상기 겹쳐진 상품의 개수를 판단하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 장치.
   
7. 제6 항에 있어서, 상기 제어부는
   상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 알림 신호를 출력하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 장치.
   
8. 제6 항에 있어서, 상기 제어부는
   상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 상기 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시키는 것을 특징으로 하는, 검증을 수행하는 무인 결제 장치.
   
9. 제6 항에 있어서, 상기 제어부는
   상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 개수를 비교하고, 개수가 동일한 경우 결제를 수행하도록 하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 장치.
   
10. 제6 항에 있어서, 상기 제어부는
    상기 1차 촬영을 통해 인식된 상품과, 상기 2차 촬영을 통해 경계값이 추출된 상품의 위치를 비교하고, 위치가 동일한 경우 결제를 수행하도록 하는 것을 특징으로 하는, 검증을 수행하는 무인 결제 장치.

Images