KR102430486B1

KR102430486B1 - 로드셀 배치 구조를 활용한 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치, 방법 및 프로그램

Info

Publication number: KR102430486B1
Application number: KR1020220067664A
Authority: KR
Inventors: 한상진; 김현호
Original assignee: (주) 인터마인즈
Priority date: 2022-06-02
Filing date: 2022-06-02
Publication date: 2022-08-08
Also published as: KR20230167681A; WO2023234605A1

Abstract

본 개시는 로드셀 배치 구조를 활용한 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치에 관한 것으로, 복수의 컬럼(column)으로 구분된 진열대의 선반에 배치된 상품의 위치를 센싱하기 위한 복수의 로드셀 및 상기 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 상기 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 위치 정보를 산출하는 제1 프로세서를 포함한다.

Description

로드셀 배치 구조를 활용한 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치, 방법 및 프로그램 {Device, method and program for calculating the position of products in a product showcase based on artificial intelligence using a load cell arrangement structure}

본 개시는 상품 위치 산출 장치에 관한 것으로, 보다 상세하게는 로드셀 배치 구조를 활용하여 인공지능 기반으로 상품 쇼케이스 내 배치된 상품의 위치를 산출하는 장치에 관한 것이다.

최근 들어, 무인으로 운영되는 냉장고, 판매 장치의 수요가 증가하고 있다.

이러한 장치들의 특징은 선반에 배치된 상품을 정확하게 인식하고 해당 컬럼에 제대로 된 상품이 배치되었는지, 현재 배치되어 있는 상품의 개수는 몇 개인지를 산출하여 자동으로 재고 관리가 진행되어야 하지만 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.

또한, 무게 측정 센서를 이용하여 상품의 배치 여부를 판단하는 장치는 고정된 크기의 상품 배치만을 판단하고 있을 뿐, 상품의 크기 변경은 고려하고 있지 않기 때문에 상품 배치의 유연성이 떨어지는 문제점이 있다.

또한, 현재 이용되고 있는 장치들은 상품의 판매 개수를 정확하게 판단하지 못하는는 오작동이 발생하여 상품 결제 과정에서 정확한 결제정보를 획득하지 못하는 문제점이 존재한다.

대한민국 등록특허공보 제10-1797656호, (2017.11.08)

본 개시에 개시된 실시예는 로드셀의 배치 구조를 활용하여 인공지능 기반으로 상품 쇼케이스 내 배치된 상품의 위치 산출 장치를 제공하는데 그 목적이 있다.

본 개시에 개시된 실시예는 상품 인식 알고리즘을 이용하여 인공지능 기반으로 상품 판매 개수를 산출하는 장치를 제공하는데 그 목적이 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치는, 복수의 컬럼(column)으로 구분된 진열대의 선반에 배치된 상품의 위치를 센싱하기 위한 복수의 로드셀; 및 상기 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 상기 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 위치 정보를 산출하는 제1 프로세서를 포함하고, 상기 복수의 로드셀은 상기 복수의 컬럼을 각각 구분하기 위한 각 라인 선상에 둘 이상 배치된다.

또한, 상기 복수의 로드셀은 상기 각 라인 선상의 일측에 제1 로드셀, 상기 각 라인 선상의 타측에 제2 로드셀이 마련되고, 상기 제1 프로세서는, 상기 각 라인 선상의 상기 제1 로드셀 및 상기 제2 로드셀에서 센싱된 센싱값을 내분 계산하여 상기 선반에 배치된 상품의 위치 정보를 산출할 수 있다.

또한, 상기 복수의 로드셀은 상기 각 라인 선상의 일측에 제1 로드셀 및 제2 로드셀이 마련되고, 상기 제1 프로세서는, 상기 각 라인 선상의 상기 제1 로드셀 및 상기 제2 로드셀에서 센싱된 센싱값을 외분 계산하여 상기 선반에 배치된 상품의 위치 정보를 산출할 수 있다.

또한, 상기 제1 프로세서는, 상기 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 무게와 하부 형상 예상값을 산출하고, 상기 산출된 상기 상품의 무게 및 상기 상품의 하부 형상 예상값을 기반으로 상기 상품의 종류를 판단할 수 있다.

또한, 상기 제1 프로세서는, 상기 산출된 상품의 위치 정보 및 상기 판단된 상기 상품의 종류를 기반으로 상기 선반에 배치된 상기 상품의 정상 배치 여부를 판단할 수 있다.

또한, 상기 선반은 상기 선반의 적어도 일부 영역을 복수의 서로 다른 화각으로 촬영 가능한 카메라를 포함하고, 상기 제1 프로세서는, 상기 카메라가 복수의 서로 다른 화각으로 상기 선반을 촬영하여 복수의 촬영 이미지를 생성하도록 제어하고, 상기 산출된 상기 상품의 위치 정보를 상기 복수의 촬영 이미지와 매칭하여 상기 상품의 위치 정보 산출 결과를 검증할 수 있다.

또한, 상기 제1 프로세서는, 상기 복수의 촬영 이미지를 기반으로 상기 상품의 이미지 위치 정보를 산출하고, 상기 산출된 이미지 위치 정보와 상기 산출된 위치 정보의 일치 여부를 판단할 수 있다.

또한, 상기 선반은 양 측면 각각에 라이다 센서가 마련되고, 상기 제1 프로세서는, 상기 라이다 센서를 통해 센싱된 센싱값을 기반으로 상기 산출된 상품의 위치 정보를 검증할 수 있다.

또한, 상기 선반은 내부 일측면에 제1 라이다 센서가 마련되고, 내부 타측면에 제2 라이다 센서가 마련되고, 상기 제1 프로세서는, 상기 제1 라이다 센서를 통해 센싱된 센싱값 및 상기 제2 라이다 센서를 통해 센싱된 센싱값을 기반으로, 상기 선반에 배치된 상품의 위치 정보를 산출하고, 상기 산출된 상품의 위치 정보 및 상기 산출된 상품의 위치 정보를 비교하여 상기 산출된 상품의 위치 정보를 검증할 수 있다.

또한, 상기 선반은 내부 일측면에 제1 라이다 센서가 마련되고, 내부 타측면에 제2 라이다 센서가 마련되고, 상기 제1 프로세서는, 상기 산출된 상품의 위치 정보를 기반으로, 상기 제1 라이다 센서 및 상기 제2 라이다 센서 각각에 복수의 센싱 포인트를 할당하고, 상기 할당된 복수의 센싱 포인트에 대하여 상기 제1 라이다 센서 및 상기 제2 라이다 센서를 통해 센싱된 센싱값을 기반으로 상기 산출된 상품의 위치 정보를 검증할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 방법은, 장치에 의해 수행되는 방법으로, 선반에 상품이 배치된 것을 감지하는 단계; 및 복수의 컬럼(column)으로 구분된 진열대의 상기 선반에 배치된 상품의 위치를 센싱하기 위한 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 상기 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 위치 정보를 산출하는 단계를 포함한다.

상술한 과제(상품 판매 개수 산출)를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치는, 상품의 표준무게 및 미리 설정된 보정지수를 저장하는 메모리, 적어도 하나의 카메라 및 무게측정 센서를 포함하는 상품 위치 산출 장치와 통신을 수행하는 통신모듈, 및 상기 메모리와 통신을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상품수납부의 문이 열리면, 상기 상품 위치 산출 장치로부터 제1 상품정보를 수신하고, 상기 상품수납부의 문이 닫히면, 상기 상품 위치 산출 장치로부터 제2 상품정보를 수신하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 무게정보를 기초로 절대연산을 수행하여 상기 상품의 판매개수를 산출하고, 상기 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생한 것으로 판단되면, 상기 절대연산을 중단하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 상기 무게정보 차이 값을 기초로 상대연산을 수행하여 상기 상품의 판매개수를 산출하고, 상기 상품 위치 산출 장치로부터 수신한 로드셀의 기울기 정보에 기초하여 상기 보정지수를 변경하여 상기 오류가 해소된 것으로 판단되면, 상기 상대연산을 중단하고 상기 절대연산을 다시 수행한다.

또한, 상기 절대연산 및 상기 상대연산은, 상기 카메라로부터 촬영된 상기 상품 이미지에 기초하여 기계학습이 수행되어 각각에 대한 연산 값이 결정되고, 상기 기계학습을 수행하는 학습모델은 다중클래스 분류(Multiclass classification) 및 이진 분류(Binary classification)를 구현할 수 있고, 상기 다중클래스 분류는, 제1 합성곱 신경망(CNN, Convolutional neural network) 모델에 의해 수행되고, 상기 이진 분류는, 제2 합성곱 신경망 모델에 의해 수행되고, 상기 미리 결정된 오류검출 알고리즘은, 상기 제2 합성곱 신경망 모델에 의해 상기 로드셀에 상기 상품이 없는 것으로 판단된 경우로서, 상기 무게측정 센서에 의해 측정된 상기 로드셀의 무게정보에 기초하여 상기 상품이 존재하는 것으로 판단되는 경우는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘이고, 상기 오류가 발생한 것으로 판단되면, 상기 미리 설정된 보정지수의 변경이 필요한 것으로 판단하고, 상기 상품 위치 산출 장치로부터 상기 로드셀의 기울기 정보를 수신하고, 상기 로드셀의 기울기 정보에 기초하여 상기 미리 설정된 보정지수를 변경하고, 상기 미리 설정된 보정지수가 변경되면, 상기 오류가 해소된 것으로 판단할 수 있다.

상술한 과제(상품 판매 개수 산출)를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 방법은, 상품 위치 산출 장치는 상품의 표준무게 및 미리 설정된 보정지수를 메모리에 저장하고, 상품수납부의 문이 열리면, 카메라 및 무게측정 센서를 포함한 상품 위치 산출 장치로부터 제1 상품정보를 수신하는 단계, 상기 상품수납부의 문이 닫히면, 상기 상품 위치 산출 장치로부터 제2 상품정보를 수신하는 단계, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 무게정보를 기초로 절대연산을 수행하여 상기 상품의 판매개수를 산출하는 단계, 상기 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생한 것으로 판단되면, 상기 절대연산을 중단하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 상기 무게정보 차이 값을 기초로 상대연산을 수행하여 상기 상품의 판매개수를 산출하는 단계, 상기 상품 위치 산출 장치로부터 수신한 로드셀의 기울기 정보에 기초하여 상기 보정지수를 변경하여 상기 오류가 해소된 것으로 판단되면, 상기 상대연산을 중단하고 상기 절대연산을 다시 수행하는 단계를 포함한다.

또한, 상기 제1 상품정보는, 상기 상품수납부의 문이 열리면, 상기 카메라로부터 촬영된 상기 상품 이미지 및 상기 무게측정 센서로부터 측정된 상기 로드셀의 무게에 대한 정보이고, 상기 제2 상품정보는, 상기 상품수납부의 문이 닫히면, 상기 카메라로부터 촬영된 상기 상품 이미지 및 상기 무게측정 센서로부터 측정된 상기 로드셀의 무게에 대한 정보인 것을 특징으로 한다.

또한, 상기 절대연산 및 상기 상대연산은, 상기 카메라로부터 촬영된 상기 상품 이미지에 기초하여 기계학습이 수행되어 각각에 대한 연산 값이 결정되고, 상기 기계학습을 수행하는 학습모델은 다중클래스 분류(Multiclass classification) 및 이진 분류(Binary classification)를 구현할 수 있고, 상기 다중클래스 분류는, 제1 합성곱 신경망(CNN, Convolutional neural network) 모델에 의해 수행되고, 상기 이진 분류는, 제2 합성곱 신경망 모델에 의해 수행될 수 있다.

또한, 상기 미리 결정된 오류검출 알고리즘은, 문이 닫혔을 때를 기준으로, 상기 절대연산에 기초하여 재고수가 판단되면, 상기 재고수에 상기 상품의 표준무게를 곱한 값과 상기 무게측정 센서에 의해 측정된 상기 로드셀의 무게에 대한 정보를 비교하여 비율을 산출하고, 상기 비율이 미리 설정된 값 이상으로 차이가 나면, 상기 오류가 발생한 것으로 판단하고, 상기 비율이 미리 설정된 값 미만으로 차이나면, 상기 오류가 발생하지 않은 것으로 판단하는 알고리즘인 것을 특징으로 한다

또한, 상기 오류가 발생한 것으로 판단되면, 상기 미리 설정된 보정지수의 변경이 필요한 것으로 판단하고, 상기 상품 위치 산출 장치로부터 상기 로드셀의 기울기 정보를 수신하고, 상기 로드셀의 기울기 정보에 기초하여 상기 미리 설정된 보정지수를 변경하고, 상기 미리 설정된 보정지수가 변경되면, 상기 오류가 해소된 것으로 판단할 수 있다.

또한, 상기 미리 결정된 오류검출 알고리즘은, 상기 제2 합성곱 신경망 모델에 의해 상기 로드셀에 상기 상품이 없는 것으로 판단된 경우로서, 상기 무게측정 센서에 의해 측정된 상기 로드셀의 무게정보에 기초하여 상기 상품이 존재하는 것으로 판단되는 경우는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘인 것을 특징으로 한다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 개시의 전술한 과제 해결 수단에 의하면, 로드셀의 배치 구조를 활용하여 인공지능 기반으로 상품 쇼케이스 내 배치된 상품의 위치 산출 장치를 제공하는 효과를 제공한다.

또한, 본 개시의 전술한 과제 해결 수단에 의하면, 상품 인식 알고리즘을 이용하여 인공지능 기반으로 상품 판매 개수를 산출하는 장치를 제공하는 효과를 제공한다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 상품 위치 산출 장치를 예시한 도면이다.
도 2는 본 개시의 실시예에 따른 상품 위치 산출 시스템의 개략도이다.
도 3은 본 개시의 실시예에 따른 상품 위치 산출 장치의 블록도이다.
도 4는 본 개시의 실시예에 따른 상품 위치 산출 방법의 흐름도이다.
도 5는 S200의 세부 내용을 예시한 흐름도이다.
도 6은 선반의 각 라인 선상의 일측에 제1 로드셀, 타측에 제2 로드셀이 마련된 것을 예시한 도면이다.
도 7은 선반의 각 라인 선상의 일측에 제1 로드셀 및 제2 로드셀이 마련된 것을 예시한 도면이다.
도 8 및 도 9는 카메라 촬영 영상을 이용하여 S200의 산출 결과를 검증하는 것을 예시한 도면이다.
도 10 및 도 11은 라이다 센서를 통해 센싱된 센싱값을 이용하여 S200의 산출 결과를 검증하는 것을 예시한 도면이다.
도 12는 일 실시예에 따른 상품 위치 산출 장치가 서버와의 통신이 이루어지는 것을 개략적으로 나타낸 도면이다.
도 13은 일 실시예에 따른 상품 위치 산출 장치와 서버에 포함된 구성을 개략적으로 나타낸 도면이다.
도 14는 일 실시예에 따른 상품인식 알고리즘에 따른 모드전환을 나타낸 도면이다.
도 15는 일 실시예에 따른 카메라 및 무게 측정 센서를 포함한 상품 위치 산출 장치(100)의 모습을 개략적으로 나타낸 도면이다.
도 16은 일 실시예에 따른 상품 위치 산출 장치 및 서버에서 이루어지는 단계를 나타낸 순서도이다.
도 17은 일 실시예에 따른 기울기 측정 센서에 의해 로드셀의 경사각을 측정하는 모습을 개략적으로 나타낸 도면이다.
도 18은 일 실시예에 따른 모드전환이 이루어지고 오류가 해소되기까지의 과정을 알고리즘으로 나타낸 도면이다.
도 19는 일 실시예에 따른 ABS모드에 따른 절대연산이 수행되는 과정을 알고리즘으로 나타낸 도면이다.
도 20은 일 실시예에 따른 REL모드에 따른 상대연산이 수행되는 과정을 알고리즘으로 나타낸 도면이다.
도 21은 일 실시예에 따른 오류가 발생된 경우, 오류를 해소하는 과정을 알고리즘으로 나타낸 도면이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

도 1은 종래의 상품 위치 산출 장치를 예시한 도면이다.

도 1을 참조하면, 진열 선반에 배치된 상품의 위치를 산출하는 장치가 예시되어 있으며, 이러한 종래의 장치는 로드셀 라인 상의 제품을 하나씩 인식하도록 제작된다.

즉, 미리 설정된 간격의 복수의 컬럼(Column)으로 구분된 선반에 정해진 크기의 상품이 배치되면 장치가 로드셀의 센싱값을 이용하여 상품의 배치 여부, 배치 위치를 산출하게 된다.

따라서, 종래의 기술은 정해진 크기의 상품을 배치하는 것에만 이용 가능할 뿐, 상품의 크기가 변경되거나 종류가 변경되면 제대로 작동하지 못하는 문제점이 있다.

이에, 본 개시의 발명자는 다양한 형태, 무게의 상품이 선반 상에 배치되더라도 상품의 배치 여부, 배치 위치를 정확하게 산출하기 위해 본 개시에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치를 제공하고자 한다.

아래에서는 본 개시에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치에 관하여 설명하도록 한다.

도 2는 본 개시의 실시예에 따른 무인 판매 시스템(10)의 개략도이다.

도 2를 참조하면, 본 개시의 실시예에 따른 무인 판매 시스템(10)은 위치 산출 장치(100) 및 서버(200)를 포함할 수 있다.

본 개시의 실시예에서 무인 판매 시스템(10)은 무인 판매 장치 및 서버(200)를 포함하며, 무인 판매 장치는 본 개시의 실시예에 따른 위치 산출 장치(100)를 포함할 수 있다. 이때, 도 1에 도시된 무인 판매 시스템(10)은 하나의 예시일 뿐이며 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

이와 같이 구성되는 이유는 무인 판매 시스템(10)을 위해서는 무인 판매 장치가 필요하고, 무인 판매 장치가 무인으로 관리되기 위해서는 본 개시의 실시예에 따른 위치 산출 장치(100)가 필요하기 때문이다.

따라서, 본 개시의 실시예에서 위치 산출 장치(100)는 무인 판매 장치, 시스템(10)을 위한 구성일 수 있다.

무인 판매 장치는 특정한 종류의 상품들을 판매자 없이 판매하기 위한 장치(100)로서, 판매하고자 하는 상품들을 진열하는 진열대(예: 쇼케이스) 형태로 구성되어 상기 진열된 상품들의 출입을 감지하고 재고를 판단하여, 최종적으로 구매자의 구매 상품에 대한 결제를 수행하도록 한다.

일 실시예에 있어서, 무인 판매 장치는 상품을 구매하고자 하는 사용자(즉, 구매자)가 도어를 개폐함에 따라 내부에 진열된 상품들의 출입 여부를 감지하고, 그 결과를 서버(200)로 전송할 수 있다.

또한, 무인 판매 장치는 본 개시의 실시예에 따른 위치 산출 장치(100)에서 생성된 재고 정보를 수신하고 이를 이용하여 무인 판매 장치 내 각 상품의 재고를 관리할 수 있다.

즉, 무인 판매 장치는 무인 판매를 위한 다양한 기능을 수행하는데 필요한 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.

예를 들어, 무인 판매 장치는 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 각종 프로그램과 데이터를 저장하기 위한 제1 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로제1 프로세서 등을 구비하는 다양한 컴퓨팅 장치, 본 개시의 위치 산출 장치(100) 등을 포함할 수 있다.

무인 판매 장치는 내부에 상품들을 진열하는 진열대 형태로 구성될 수 있으며, 진열대 내부는 복수의 선반이 적층되는 구조로 구성될 수 있다. 또한, 복수의 선반 각각은 복수의 컬럼(column)으로 구분되고, 복수의 컬럼 각각에는 상품들을 배치할 수 있다.

무인 판매 장치 내에 배치되는 상품은 다양한 종류의 상품들을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 무인 판매 장치 내에 배치되는 상품은 부피에 비해서 무게가 가벼운 상품(예: 일반 담배, 전자 담배, 과자 등)일 수 있다. 다만, 이는 하나의 예시일 뿐이고 반드시 이에 한정되는 것은 아니다.

일 실시예에 있어서, 무인 판매 장치 내 각 선반은 소정의 기울기를 가지도록 구성될 수 있으며, 이 경우 각 선반의 각 컬럼 상에 배치된 상품들은 상기 소정의 기울기에 의해서 선반 상의 앞쪽으로 밀려서 이동될 수 있도록 한다.

또한, 일 실시예로, 무인 판매 장치 내 각 선반은 복수개의 탄성부재를 더 구비할 수 있다. 즉, 각 선반 상에 구분된 복수개의 컬럼에 대응하여 복수개의 탄성부재가 설치될 수 있다. 예를 들어, 선반 상의 각 컬럼마다 하나씩 탄성부재가 설치될 수 있고, 이때 탄성부재는 선반의 뒤쪽에 설치되어 선반의 앞쪽 방향으로 나아가는 힘(즉, 탄성력)을 가지는 스프링 등을 이용하여 구성될 수 있다. 다시 말해, 탄성부재는 각 컬럼 상에 배치된 가장 앞쪽의 상품이 빠질 때 마다 탄성력에 의해 각 컬럼 상에 배치된 나머지 상품들을 선반의 앞쪽으로 위치되도록 미는 힘을 가할 수 있다.

위치 산출 장치(100)는 각 선반에 배치된 상품의 무게를 측정할 수 있는 로드셀(120)을 구비할 수 있다.

위치 산출 장치(100)는 각 선반의 각 컬럼 상에 배치된 상품들을 촬영할 수 있는 카메라를 구비할 수 있다. 카메라는 무인 판매 장치 내의 각 선반별로 설치될 수 있으며, 각 선반에 진열된 상품들을 상부에서 대각선 방향으로 내려다보는 위치에 설치될 수 있다. 이때, 무인 판매 장치 내 선반과 선반 사이의 높이(즉, 진열대 내 각 층의 높이), 선반 상의 컬럼의 수, 상품의 너비(상품의 종류에 따라 다름, 예컨대 전자담배가 일반 담배보다 상품 너비가 클 수 있음) 등을 기반으로 카메라의 화각을 고려하여 최적의 카메라의 위치 및/또는 카메라의 개수가 정해질 수 있다. 즉, 각 층의 높이, 상품의 너비 등에 따라 하나의 카메라가 인식할 수 있는 영역(즉, 컬럼의 개수)이 제한되므로, 일 실시예로 카메라는 무인 판매 장치 내의 각 선반별로 좌측 상부 및 우측 상부에서 대각선 방향으로 내려다보는 위치에 설치될 수 있다. 예를 들어, 각 선반별로 좌측 및 우측에 각각 카메라(즉, 좌측 카메라 및 우측 카메라)가 설치될 수 있다. 다만, 이는 하나의 예시일 뿐이고 반드시 이에 한정되는 것은 아니다.

위치 산출 장치(100)는 각 선반별로 각 컬럼에 진열(배치)될 상품에 대한 정보(예컨대, 상품명, 상품 가격, 상품 크기 등)를 설정하고 저장할 수 있다. 일 예로, 위치 산출 장치(100)는 서버(200)로부터 각 선반별로 각 컬럼에 배치될 상품에 대한 정보를 수신할 수도 있고, 서버(200)의 요청에 따라 각 컬럼별로 배치될 상품에 대한 정보를 변경할 수도 있다.

서버(200)는 클라이언트 또는 다른 웹서버의 작업수행 요청에 대응하는 작업 결과를 도출하여 제공하는 컴퓨터 시스템, 컴퓨터 소프트웨어(웹서버 프로그램)를 포함할 수 있다. 서버(200)는 전술한 웹서버 프로그램 이외에, 웹서버상에서 동작하는 일련의 응용 프로그램(Application Program) 또는 장치(100) 내부에 구축되어 있는 각종 데이터베이스를 포함할 수 있다. 예를 들어, 서버(200)는 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.

여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.

상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버)로써, 애플리케이션 서버), 컴퓨팅 서버), 데이터베이스 서버), 파일 서버), 게임 서버), 메일 서버), 프록시 서버) 및 웹 서버) 등을 포함할 수 있다.

상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.

서버(200)는 네트워크를 경유하여 매장 별로 적어도 하나 이상의 무인 판매 장치와 연동할 수 있다. 일 예로, 서버(200)는 무인 판매 장치에서 판매되는 상품들에 대한 정보(예컨대, 전체 상품별 개수, 각 상품의 가격, 각 상품의 크기, 각 상품의 진열 위치, 식별 정보, 상품의 상/하/좌/우 이미지 등)를 관리할 수 있다. 서버(200)는 무인 판매 장치로 각 컬럼별로 배치될 상품에 대한 정보(예컨대, 상품명, 상품 가격, 상품 크기 등)를 전송하여 무인 판매 장치 내에 설정되도록 할 수 있다.

서버(200)는 구매자가 무인 판매 장치의 도어 개폐를 통해 외부로 반출시킨 구매 상품에 대한 정보(예: 구매 상품의 상품명, 개수 등)를 무인 판매 장치로부터 수신하고, 이를 기반으로 상기 구매자의 구매 상품에 대한 결제 금액을 산출하여 결제장치로 전송할 수 있다. 이후, 구매자는 결제장치를 통해 구매한 상품에 대한 결제를 수행할 수 있다.

한편, 네트워크는 서버 및 적어도 하나 이상의 무인 판매 장치 간의 다양한 정보를 송수신할 수 있다. 네트워크는 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.

네트워크는 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

도 2를 통해 설명한 바와 같이, 본 개시의 실시예에 따른 위치 산출 장치(100)는 최종적으로는 무인 판매 장치가 무인으로 운영되기 위해 재고를 관리하는 장치(100)로, 아래에서는 다른 도면들을 참조하여 위치 산출 장치(100)의 구성들의 상세한 설명과 재고 관리에 대한 제1 프로세서(110)의 제어 방법에 대해서 설명하도록 한다.

도 3은 본 개시의 실시예에 따른 상품 위치 산출 장치(100)의 블록도이다.

도 3을 참조하면, 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치(100)는 제1 프로세서(110), 로드셀(120), 산출부(130), 검증부(140), 제1 메모리(150), 카메라(160), 라이다 센서(170) 및 제1 통신부(180)를 포함한다. 다만, 몇몇 실시예에서 상품 위치 산출 장치(100)는 도 2에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

본 개시의 실시예에 따른 장치(100)에서 로드셀(120)은 복수개가 구비되며, 상세하게는 장치(100)는 복수의 컬럼(Column)으로 구분된 진열대의 선반에 배치된 상품의 위치를 센싱하기 위한 복수의 로드셀(120)을 포함한다.

또한, 복수의 로드셀(120)은 복수의 컬럼을 각각 구분하기 위한 각 라인 선상에 둘 이상이 배치된다.

그리고, 각 라인 선상에 제1 로드셀(121)과 제2 로드셀(122)의 배치 방식과 배치 방식에 따른 위치 산출 방법에 따라서 상품의 위치 산출 방법이 제1 실시예, 제2 실시예로 구분될 수 있다.

산출부(130)는 상품의 위치를 산출하기 위한 알고리즘, 명령어가 저장되어 있으며, 대표적으로는 제1 실시예에서 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 내분 계산하여 상품의 위치 정보를 산출하는 알고리즘, 제2 실시예에서 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 외분 계산하여 상품의 위치 정보를 산출하는 알고리즘을 포함할 수 있다.

따라서, 제1 프로세서(110)는 산출부(130)를 제어하여 선반에 배치된 상품의 제1 위치 정보를 산출할 수 있다.

검증부(140)는 산출부(130)에서 산출된 결과를 검증할 수 있다.

이때, 검증부(140)는 선반을 촬영하는 카메라(160)의 촬영 영상, 라이다 센서(170)의 센싱 데이터를 이용하여 산출 결과를 검증할 수 있다.

제1 메모리(150)는 상품 위치 산출 장치(100)를 구동하기 위한 각종 알고리즘, 명령어, 인공지능 모델 등이 저장될 수 있다.

또한, 제1 메모리(150)는 현재 장치(100) 내에 배치된 상품의 리스트, 상품의 개수가 저장될 수 있고, 각 선반에 배치되는 상품의 리스트와 각 상품의 무게, 형상 정보가 저장될 수 있다.

제1 메모리(150)는 본 장치의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

이러한, 제1 메모리(150)는 플래시 제1 메모리(150) 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 제1 메모리(150)(예를 들어 SD 또는 XD 제1 메모리(150) 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 제1 메모리(150), 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 제1 메모리(150)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.

검증부(140)는 이와 같이 제1 메모리(150)에 저장되어 있는 상품의 무게, 형상 정보를 함께 이용하여 산출부(130)의 산출 결과에 대한 검증을 수행할 수 있다.

카메라(160)는 각 선반에 하나 이상 설치될 수 있으며, 선반의 적어도 일부 영역이 촬영 가능하도록 선반의 상부에 설치될 수 있다.

보다 상세하게는, 본 개시의 실시예에서 카메라(160)는 각 선반에 적어도 하나가 설치되되, 복수의 서로 다른 화각으로 선반을 촬영하여 촬영 이미지를 생성할 수 있다.

라이다 센서(170)는 선반의 양 측면에 각각 마련될 수 있으며, 제1 프로세서(110)의 제어에 따라 선반 방향을 센싱하여 센싱값을 생성할 수 있다.

상기 구성요소들 중 제1 통신부(180)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

제1 프로세서(110)는 상품 위치 산출 장치(100), 무인 판매 장치 내 구성들의 제어를 담당하며, 알고리즘, 명령어, 인공지능 모델을 이용하여 상품 위치 산출 방법, 무인 판매 방법을 실행할 수 있다.

제1 프로세서(110)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 제1 메모리, 및 제1 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 제1 프로세서로 구현될 수 있다. 이때, 제1 메모리와 제1 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 제1 메모리와 제1 프로세서는 단일 칩으로 구현될 수도 있다.

또한, 제1 프로세서(110)는 이하의 도 2 내지 도 N에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

센싱부는 본 장치의 내 정보, 본 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부는 이러한 센싱 신호에 기초하여, 본 장치의 구동 또는 동작을 제어하거나, 본 장치에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.

본 개시의 실시예에서 로드셀(120), 카메라(160), 라이다 센서(170)는 센싱부의 구성으로 포함될 수 있다.

상기와 같은, 센싱부는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 중 적어도 하나를 포함함), 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 장치는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

몇몇 실시예에서, 제1 프로세서(110)는 카메라(160)에서 촬영된 이미지를 획득하는 이미지 획득부, 획득된 이미지를 분석하여 상품을 인식하는 상품 인식부, 그리고 상품의 위치가 변경된 것을 감지하고 변경된 위치를 판단/산출하는 위치변경 판단부를 더 포함할 수 있다. 또한, 제1 프로세서(110)는 산출부(130)를 이용하여 선반에 배치된 상품의 개수를 산출할 수 있다.

도 4는 본 개시의 실시예에 따른 상품 위치 산출 방법의 흐름도이다.

도 5는 S200의 세부 내용을 예시한 흐름도이다.

제1 프로세서(110)가 선반에 상품이 배치된 것을 감지한다. (S100)

본 개시의 실시예에서 선반에 마련되어 있는 복수의 로드셀(120)은 영점이 조절된 상태로 선반 위에 상품이 배치되어 있지 않은 경우, 모든 로드셀(120)은 센싱값이 "0"으로 센싱될 수 있다.

그리고, 선반에 적어도 하나의 상품이 배치되면 적어도 하나의 로드셀(120)에서 "0"이 아닌 값이 센싱되며, 이때 제1 프로세서(110)는 선반에 상품이 배치된 것으로 판단할 수 있다.

하지만, 이에 한정되는 것은 아니며 무인 판매 장치에 마련된 센서에서 사람이 선반에 상품을 배치하는 동작이 센싱되는 경우, 제1 프로세서(110)는 S100을 실행할 수 있다. 이와 같이 동작하는 경우 제1 프로세서(110)는 선반의 로드셀(120)을 슬립(Sleep) 모드에서 웨이크업(Wake up) 모드로 전환하여 로드셀(120)이 동작을 시작하도록 제어할 수 있다.

제1 프로세서(110)가 선반에 배치된 상품의 위치 정보를 산출한다. (S200)

제1 프로세서(110)가 복수의 로드셀(120)에서 센싱되는 센싱값 및 센싱값을 센싱한 복수의 로드셀(120) 각각의 위치 정보를 기반으로 선반에 배치된 상품의 제1 위치 정보를 산출한다.

상세하게는, 제1 프로세서(110)는 선반에 상품이 배치되어 적어도 하나의 로드셀(120)에서 "0"이 아닌 값이 센싱되는 경우, "0"이 아닌 센싱값이 센싱된 로드셀(120)의 위치 정보와 해당 로드셀(120)에서 센싱된 센싱값을 기반으로 제1 위치 정보 및 무게 중 적어도 하나를 산출할 수 있다.

아래에서는 S200 프로세스를 보다 상세하게 설명하도록 한다.

도 6은 선반의 각 라인 선상의 일측에 제1 로드셀(121), 타측에 제2 로드셀(122)이 마련된 것을 예시한 도면이다.

본 개시의 제1 실시예에서 복수의 로드셀(120)은 각 라인 선상의 일측에 제1 로드셀(121)이 마련되고, 각 라인 선상의 타측에 제2 로드셀(122)이 마련된다.

제1 프로세서(110)는 각 라인 선상의 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 내분 계산하여 선반에 배치된 상품의 제1 위치 정보를 산출할 수 있다.

도 6을 참조하면, 선반 상에 8개의 라인이 예시되어 있으며, 8개의 라인 일측(도 6에서 상측) 각각에 제1 로드셀(121)이 마련되어 있고, 8개의 라인 타측(도 6에서 하측) 각각에 제2 로드셀(122)이 마련되어 있다.

제1 프로세서(110)는 제1 로드셀(121-1, 121-2, 121-3)에서 "8"이 센싱되었고, 제2 로드셀(122-1, 122-2, 122-3)에서 "4"가 센싱되었기 때문에 좌측에서 4번째, 5번째, 6번째 라인 선상에 상품이 배치된 것으로 판단할 수 있다.

이에 대하여, 제1 프로세서(110)는 상품의 x축 상의 배치값을 산출할 수 있으며, 도 6에서 상품의 x축 상의 배치값은 4, 5, 6으로 산출될 수 있다.

그리고, 제1 프로세서(110)는 상품이 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 내분(내분점 공식) 계산하여 상품의 제1 위치 정보를 산출할 수 있다.

일 실시예로, 제1 프로세서(110)는 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 내분점 공식으로 계산하여 선반에 배치된 상품의 제1 위치 정보(예: 좌표)를 산출하는 방식이라면 무엇이든 적용 가능하다.

일 예로, 제1 프로세서(110)는 수학식 1을 기반으로 상품의 제1 위치 정보를 산출할 수 있다.

상품의 위치 정보 = (na + mb) / (m + n), (m: 제1 로드셀 센싱값, n: 제2 로드셀 센싱값, a: 제1 로드셀 좌표, b: 제2 로드셀 좌표)

이때, 상품이 여러 컬럼에 걸쳐 배치된 경우, 자판기, 냉장고 선반의 특성상 측정/센싱되는 무게값이 컬럼마다 다를 수 있다. 일 실시예로, 제1 프로세서(110)는 컬럼별 무게의 차이가 임계치 이하인 경우 동일한 물체로 인식하고 처리할 수 있다.

도 7은 선반의 각 라인 선상의 일측에 제1 로드셀(121) 및 제2 로드셀(122)이 마련된 것을 예시한 도면이다.

도 7을 참조하면, 선반 상의 8개의 라인이 예시되어 있으며, 8개의 라인 일측(도 7의 상측) 각각에 제1 로드셀(121) 및 제2 로드셀(122)이 마련되어 있다.

그리고, 제1 프로세서(110)는 상품이 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 외분(외분점 공식) 계산하여 상품의 제1 위치 정보를 산출할 수 있다.

일 실시예로, 제1 프로세서(110)는 제1 로드셀(121) 및 제2 로드셀(122)에서 센싱된 센싱값을 외분점 공식으로 계산하여 선반에 배치된 상품의 제1 위치 정보(예: 좌표)를 산출하는 방식이라면 무엇이든 적용 가능하다.

일 예로, 제1 프로세서(110)는 수학식 2를기반으로 상품의 제1 위치 정보를 산출할 수 있다.

상품의 제1 위치 정보 = (mb - na) / (m - n), (m: 제1 로드셀 센싱값, n: 제2 로드셀 센싱값, a: 제1 로드셀 좌표, b: 제2 로드셀 좌표)

제1 실시예와 같이 본 개시를 적용하는 경우, 로드셀(120)을 라인의 양쪽에 배치할 수 있게 된다. 그리고, 제2 실시예와 같이 본 개시를 적용하는 경우에는 로드셀(120)을 라인의 한쪽 끝에 배치할 수 있게 된다.

최종적으로 제1 실시예와 제2 실시예에서 생성되는 결과는 동일하며, 선반의 특성, 선반이 적용되는 장치(냉장고, 진열대 등)의 특성을 고려하여 발명의 실시자가 용이하게 선택할 수 있다.

제1 프로세서(110)가 S200의 산출 결과를 검증한다. (S300)

도 8 및 도 9는 카메라(160) 촬영 영상을 이용하여 S200의 산출 결과를 검증하는 것을 예시한 도면이다.

본 개시의 실시예에서 S200의 산출 결과를 검증하는 것은 다양한 방식이 적용 가능하며, 하나의 방식이 적용될 수도 있고 다양한 방식이 혼합되어 적용될 수도 있다.

도 8 및 도 9를 참조하면, 제1 프로세서(110)가 상품이 배치된 선반에 대한 복수의 카메라(160) 촬영 영상을 획득한다. (S310)

제1 프로세서(110)가 S310에서 획득된 복수의 촬영 이미지를 기반으로 S200의 산출 결과를 검증한다. (S330)

일 실시예로, 선반은 선반의 적어도 일부 영역을 복수의 서로 다른 화각으로 촬영 가능한 적어도 하나의 카메라(160)가 설치되어 있다.

제1 프로세서(110)는 카메라(160)가 복수의 서로 다른 화각으로 선반을 촬영하여 복수의 촬영 이미지를 생성하도록 제어한다. 제1 프로세서(110)는 S200에서 산출된 상품의 제1 위치 정보를 복수의 촬영 이미지와 매칭하여 상품의 제1 위치 정보 산출 결과를 검증할 수 있다.

일 실시예로, 제1 프로세서(110)는 복수의 촬영 이미지를 기반으로 상품의 이미지 제2 위치 정보(카메라 영상을 기반으로 산출된 위치 정보)를 산출하고, 산출된 이미지 제2 위치 정보와 산출된 제1 위치 정보(로드셀 센싱값을 기반으로 산출된 위치 정보)의 일치 여부를 판단할 수 있다.

일 실시예로, 선반은 기 설정된 복수의 지점에 선반 상의 위치(예: 좌표)를 인식할 수 있는 마커가 형성될 수 있다.

제1 프로세서(110)는 서로 다른 화각으로 촬영된 복수의 선반 촬영 이미지 내에서 상품의 이미지와 마커를 인식하고, 상품의 선반 상의 제2 위치 정보를 산출할 수 있다.

일 실시예로, 제1 프로세서(110)는 복수의 선반 촬영 이미지에서 식별되지 않는 마커의 위치에 상품이 배치되어 있는 것으로 인식하여 상품의 제2 위치 정보를 산출할 수 있다.

일 예로, 선반에 1~100의 마커가 존재하고, 복수의 선반 촬영 이미지에서 10~15, 20~25, 30~35 마커가 식별되지 않는 경우 해당 마커들이 존재하는 위치에 상품이 배치된 것으로 제2 위치 정보를 산출할 수 있다.

이때, 제1 프로세서(110)는 인접하지 않은 둘 이상의 마커가 식별되지 않는 경우 카메라(160) 촬영이 잘못되었거나, 선반 상에 복수의 상품이 배치된 것으로 인식하고 오류 신호를 발생시킬 수 있다.

도 10 및 도 11은 라이다 센서(170)를 통해 센싱된 센싱값을 이용하여 S200의 산출 결과를 검증하는 것을 예시한 도면이다.

일 실시예로, 선반은 양 측면 각각에 라이다 센서(170)가 마련/설치되어 있다.

제1 프로세서(110)가 라이다 센서(170)를 통해 센싱된 센싱값을 획득한다. (S350)

제1 프로세서(110)가 라이다 센서(170)의 센싱값을 기반으로 S200의 산출 결과를 검증한다. (S370)

제1 프로세서(110)는 양 측면의 라이다 센서(170)를 통해 센싱된 센싱값을 기반으로 S200에서 산출된 상품의 제3 위치 정보를 검증할 수 있다.

구체적으로, 선반은 내부 일측면에 제1 라이다 센서(171)가 마련되어 있고, 내부 타측면에 제2 라이다 센서(172)가 마련되어 있다.

제1 프로세서(110)는 제1 라이다 센서(171)를 통해 센싱된 센싱값 및 제2 라이다 센서(172)를 통해 센싱된 센싱값을 기반으로 선반에 배치된 상품의 제3 위치 정보를 산출할 수 있다. 제1 프로세서(110)는 산출된 상품의 제2 위치 정보 및 산출된 제3 위치 정보를 비교하여 산출된 제2 위치 정보를 검증할 수 있다.

이때, 제1 프로세서(110)는 제1 라이다 센서(171)를 통해 센싱된 센싱값 및 제2 라이다 센서(172)를 통해 센싱된 센싱값을 기반으로 선반에 배치된 상품의 외형 정보를 생성할 수 있으며, 외형 정보를 기반으로 상품의 종류를 판단할 수 있다.

제1 프로세서(110)는 외형 정보를 제1 메모리(150)에 저장되어 있는 상품 리스트의 각 상품 정보와 매칭하여 상품의 종류를 판단할 수 있다.

일 실시예로, 제1 프로세서(110)는 산출된 상품의 제1 위치 정보를 기반으로 제1 라이다 센서(171) 및 제2 라이다 센서(172) 각각에 복수의 센싱 포인트를 할당할 수 있다. 제1 프로세서(110)는 할당된 복수의 센싱 포인트에 대하여 제1 라이다 센서(171) 및 제2 라이다 센서(172)를 통해 센싱된 센싱값을 기반으로 상품의 제1 위치 정보를 검증할 수 있다.

제1 프로세서(110)가 선반에 배치된 상품의 종류를 판단한다. (S400)

일 실시예로, 제1 프로세서(110)는 복수의 로드셀(120)에서 센싱된 센싱값 및 센싱값을 센싱한 복수의 로드셀(120) 각각의 위치 정보를 기반으로 선반에 배치된 상품의 무게와 하부 형상 예상값을 산출할 수 있다.

제1 프로세서(110)는 산출된 상품의 무게 및 상품의 하부 형상 예상값을 기반으로 상품의 종류를 판단할 수 있다.

본 개시의 실시예에서 제1 메모리(150)는 선반에 배치되는 상품 각각의 정보, 무게, 하부 형상 정보가 저장될 수 있다.

제1 프로세서(110)가 상품의 정상 배치 여부를 판단한다. (S500)

제1 프로세서(110)는 산출된 상품의 제1 위치 정보 및 판단된 상품의 종류를 기반으로 선반에 배치된 상품의 정상 배치 여부를 판단할 수 있다.

제1 메모리(150)는 각 선반에 배치되어야 하는 상품의 종류, 해당 상품의 무게, 해당 상품의 외형 정보, 해당 상품의 하부 형상 정보 중 적어도 하나가 저장될 수 있다.

제1 프로세서(110)는 각 선반에 배치되어야 하는 상품의 외형 정보 또는 하부 형상 정보를 제1 위치 정보와 비교하여 해당 선반에 배치되어야 하는 상품이 배치된 것이 맞는지, 또는 상품이 제대로 진열이 되었는지 여부를 판단할 수 있다.

이는, 제1 프로세서(110)가 상품 종류가 제대로 배치되었음을 판단하는 것은 물론 상품이 상하, 좌우가 제대로 배치되었는지도 판단할 수 있음을 의미한다.

이상으로 설명한 본 개시의 실시예에 따른 인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치(100)에 따르면, 다양한 형태, 무게의 상품이 선반에 배치되더라도 정확하게 위치를 산출할 수 있고, 제대로 된 상품이 제대로 배치되었는지 판단할 수 있게 되는 것은 물론, 산출된 위치 정보에 대한 검증을 수행하여 정확도를 더욱 향상시키는 효과를 발휘하게 된다.

이상으로 본 개시의 실시예에 따른 상품 위치 산출 방법 및 장치(100)에 대해서 설명하였으며, 아래에서는 상품 위치 산출 장치(100)가 상품인식 알고리즘을 이용하여 상품 판매 개수를 산출하는 실시예에 대해서 추가적으로 설명하도록 한다.

상품의 위치를 산출하는 알고리즘과 상품을 인식하여 판매 개수를 산출하는 알고리즘은 각각이 독립적으로 실시될 수도 있고 함께 사용될 수도 있으므로, 2개의 실시예 각각을 실시할 수도 있고 2개의 실시예를 혼합하여 사용할 수도 있다.

따라서, 본 개시의 실시예에 따른 상품 위치 산출 장치(100)는 아래에서 설명하는 상품 판매 개수를 산출하는 알고리즘을 위한 구성, 기능의 적어도 일부를 포함할 수 있다.

아래에서는 본 개시의 추가적인 실시예에 따른 상품인식 알고리즘을 이용한 상품 판매개수 산출 알고리즘에 대해서 설명하도록 한다.

본 개시의 실시예에 따른 상품 위치 산출 장치(100)는 상품 판매 개수를 산출할 수 있으며, 아래와 같은 구성들을 포함할 수 있다.

본 개시의 실시에 따른 상품 위치 산출 장치(100)는 상품의 표준무게 및 미리 설정된 보정지수를 저장하는 메모리, 적어도 하나의 카메라(160) 및 무게측정 센서를 포함하는 외부장치(100)와 통신을 수행하는 통신모듈, 및 상기 메모리와 통신을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상품수납부의 문이 열리면, 상기 외부장치(100)로부터 제1 상품정보를 수신하고, 상기 상품수납부의 문이 닫히면, 상기 외부장치(100)로부터 제2 상품정보를 수신하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 무게정보를 기초로 절대연산을 수행하여 상기 상품의 판매개수를 산출하고, 상기 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생한 것으로 판단되면, 상기 절대연산을 중단하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 상기 무게정보 차이 값을 기초로 상대연산을 수행하여 상기 상품의 판매개수를 산출하고, 상기 외부장치(100)로부터 수신한 로드셀(120)의 기울기 정보에 기초하여 상기 보정지수를 변경하여 상기 오류가 해소된 것으로 판단되면, 상기 상대연산을 중단하고 상기 절대연산을 다시 수행한다.

또한, 상기 절대연산 및 상기 상대연산은, 상기 카메라(160)로부터 촬영된 상기 상품 이미지에 기초하여 기계학습이 수행되어 각각에 대한 연산 값이 결정되고, 상기 기계학습을 수행하는 학습모델은 다중클래스 분류(Multiclass classification) 및 이진 분류(Binary classification)를 구현할 수 있고, 상기 다중클래스 분류는, 제1 합성곱 신경망(CNN, Convolutional neural network) 모델에 의해 수행되고, 상기 이진 분류는, 제2 합성곱 신경망 모델에 의해 수행되고, 상기 미리 결정된 오류검출 알고리즘은, 상기 제2 합성곱 신경망 모델에 의해 상기 로드셀(120)에 상기 상품이 없는 것으로 판단된 경우로서, 상기 무게측정 센서에 의해 측정된 상기 로드셀(120)의 무게정보에 기초하여 상기 상품이 존재하는 것으로 판단되는 경우는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘이고, 상기 오류가 발생한 것으로 판단되면, 상기 미리 설정된 보정지수의 변경이 필요한 것으로 판단하고, 상기 외부장치(100)로부터 상기 로드셀(120)의 기울기 정보를 수신하고, 상기 로드셀(120)의 기울기 정보에 기초하여 상기 미리 설정된 보정지수를 변경하고, 상기 미리 설정된 보정지수가 변경되면, 상기 오류가 해소된 것으로 판단할 수 있다.

또한, 본 개시의 실시예에 따른 상품 위치 산출 장법은 상품 판매 개수를 산출할 수 있으며, 아래와 같은 구성들을 포함할 수 있다.

상품 위치 산출 장치(100)는 상품의 표준무게 및 미리 설정된 보정지수를 메모리에 저장하고, 상품수납부의 문이 열리면, 카메라(160) 및 무게측정 센서를 포함한 외부장치(100)로부터 제1 상품정보를 수신하는 단계, 상기 상품수납부의 문이 닫히면, 상기 외부장치(100)로부터 제2 상품정보를 수신하는 단계, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 무게정보를 기초로 절대연산을 수행하여 상기 상품의 판매개수를 산출하는 단계, 상기 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생한 것으로 판단되면, 상기 절대연산을 중단하고, 상기 제1 상품정보 및 상기 제2 상품정보 각각에 포함된 상기 무게정보 차이 값을 기초로 상대연산을 수행하여 상기 상품의 판매개수를 산출하는 단계, 상기 외부장치(100)로부터 수신한 로드셀(120)의 기울기 정보에 기초하여 상기 보정지수를 변경하여 상기 오류가 해소된 것으로 판단되면, 상기 상대연산을 중단하고 상기 절대연산을 다시 수행하는 단계를 포함한다.

또한, 상기 제1 상품정보는, 상기 상품수납부의 문이 열리면, 상기 카메라(160)로부터 촬영된 상기 상품 이미지 및 상기 무게측정 센서로부터 측정된 상기 로드셀(120)의 무게에 대한 정보이고, 상기 제2 상품정보는, 상기 상품수납부의 문이 닫히면, 상기 카메라(160)로부터 촬영된 상기 상품 이미지 및 상기 무게측정 센서로부터 측정된 상기 로드셀(120)의 무게에 대한 정보인 것을 특징으로 한다.

또한, 상기 절대연산 및 상기 상대연산은, 상기 카메라(160)로부터 촬영된 상기 상품 이미지에 기초하여 기계학습이 수행되어 각각에 대한 연산 값이 결정되고, 상기 기계학습을 수행하는 학습모델은 다중클래스 분류(Multiclass classification) 및 이진 분류(Binary classification)를 구현할 수 있고, 상기 다중클래스 분류는, 제1 합성곱 신경망(CNN, Convolutional neural network) 모델에 의해 수행되고, 상기 이진 분류는, 제2 합성곱 신경망 모델에 의해 수행될 수 있다.

또한, 상기 미리 결정된 오류검출 알고리즘은, 문이 닫혔을 때를 기준으로, 상기 절대연산에 기초하여 재고수가 판단되면, 상기 재고수에 상기 상품의 표준무게를 곱한 값과 상기 무게측정 센서에 의해 측정된 상기 로드셀(120)의 무게에 대한 정보를 비교하여 비율을 산출하고, 상기 비율이 미리 설정된 값 이상으로 차이가 나면, 상기 오류가 발생한 것으로 판단하고, 상기 비율이 미리 설정된 값 미만으로 차이나면, 상기 오류가 발생하지 않은 것으로 판단하는 알고리즘인 것을 특징으로 한다

또한, 상기 오류가 발생한 것으로 판단되면, 상기 미리 설정된 보정지수의 변경이 필요한 것으로 판단하고, 상기 외부장치(100)로부터 상기 로드셀(120)의 기울기 정보를 수신하고, 상기 로드셀(120)의 기울기 정보에 기초하여 상기 미리 설정된 보정지수를 변경하고, 상기 미리 설정된 보정지수가 변경되면, 상기 오류가 해소된 것으로 판단할 수 있다.

또한, 상기 미리 결정된 오류검출 알고리즘은, 상기 제2 합성곱 신경망 모델에 의해 상기 로드셀(120)에 상기 상품이 없는 것으로 판단된 경우로서, 상기 무게측정 센서에 의해 측정된 상기 로드셀(120)의 무게정보에 기초하여 상기 상품이 존재하는 것으로 판단되는 경우는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘인 것을 특징으로 한다.

본 개시의 실시예에서 도 3과 도 13을 비교하면, 장치(100)가 무게 측정 센서(133), 기울기 측정 센서(137) 및 도어부(190)를 더 포함하고 있다.

이와 같이, 상품인식 알고리즘을 통한 상품 판매 개수 산출 방법, 알고리즘을 실행하기 위해서는 도 3의 상품 위치 산출 장치(100)에서 몇몇 구성이 생략되거나 몇몇 구성이 더 포함될 수도 있다.

또한, 도 3의 로드셀(120), 카메라(160)는 도 3 내지 도 11에서 도시된 로드셀(120), 카메라(160)의 구성을 그대로 채택할 수도 있고, 별개의 추가적인 로드셀(120), 카메라(160)가 추가적으로 더 구비될 수도 있다. 이러한 경우, 상품 위치 산출 장치(100)는 적어도 하나의 제3 로드셀(120), 적어도 하나의 제2 카메라(160)를 포함할 수 있다.

따라서, 본 개시의 실시예에서 로드셀(120)은 적어도 하나의 제1 로드셀 적어도 하나의 제2 로드셀 및 적어도 하나의 제3 로드셀을 포함할 수 있으며, 카메라(160)는 적어도 하나의 제1 카메라, 적어도 하나의 제2 카메라를 포함할 수 있다.

도 12는 일 실시예에 따른 상품 위치 산출 장치(100)가 서버와의 통신이 이루어지는 것을 개략적으로 나타낸 도면이고, 도 13은 일 실시예에 따른 상품 위치 산출 장치(100)와 서버에 포함된 구성을 개략적으로 나타낸 도면이다.

도 12 및 도 13를 참고하면 본 발명의 동작을 수행하기 위해서는 상품 위치 산출 장치(100) 및 서버가 마련될 수 있다.

또한, 아래에서 설명하는 실시예에서 상품 위치 산출 장치(100)에서 수집된 데이터를 서버에서 분석, 처리하는 것이 예시되어 있으나, 이에 한정되는 것은 아니며 서버의 제2 프로세서(210)에서 수행되는 모든 동작은 상품 위치 산출 장치(100)의 제1 프로세서(110)에서도 수행될 수 있다. 즉, 상품 위치 산출 장치(100)는 서버로 데이터를 전송하지 않고 상품 위치 산출 장치(100) 내에서 상품을 인식하고 상품 판매 개수를 산출할 수 있다.

도 13을 참조하면, 상품 위치 산출 장치(100)는 제1 프로세서(110), 로드셀(120), 산출부(130), 무게 측정 센서(133), 기울기 측정 센서(137), 검증부(140), 제1 메모리(150), 카메라(160), 라이다 센서(170), 제1 통신부(180) 및 도어부(190)를 포함한다.

서버는 제2 메모리(220), 상품 위치 산출 장치(100)와 통신을 수행할 수 있는 제2 통신부(230) 및 제2 프로세서(210) 등을 포함하도록 마련될 수 있다.

한편 로드셀(120)은 상품 위치 산출 장치(100) 내에 상품을 수납할 수 있는 수납공간을 의미할 수 있다. 로드셀(120)은 경사각(θ1)만큼 기울어져 있기 때문에 이용자가 상품을 수취해 가면 경사면을 타고 상품이 도어부(190) 쪽으로 이동할 수 있다. 로드셀은 상품 위치 산출 장치(100) 내에 상품을 수납할 수 있는 수납공간 내에 마련/설치될 수 있다. 또한, 본 개시의 실시예에서 상품 위치 산출 장치는 상품을 판매하기 위해서 진열/전시 쇼케이스 내에 구비될 수 있다.

한편 상품 위치 산출 장치(100)에 수납된 상품의 무게를 측정하기 위해, 로드셀(120)에는 무게 측정 센서(133)가 장착될 수 있다.

본 발명의 일 실시예에 따르면 무게 측정 센서(133)는 로드셀(120)의 아랫부분에 부착되어 로드셀(120) 위의 상품의 무게에 따라 센싱거리 및 센싱 저항값이 달라지고, 이에 기초하여 무게를 측정할 수 있다. 예를 들어, 로드셀(120) 위에 상품이 10개 남은 경우와 상품이 5개 남은 경우를 비교하여 볼 때, 상품이 10개 남아있는 경우에 센싱거리가 짧아짐에 따라 센싱 저항값이 커지며, 상품이 5개 남아이 있는 경우는 센싱거리가 길어짐에 따라 센싱 저항값이 작아질 수 있어 이에 기초하여 무게가 측정될 수 있다.

한편 로드셀(120)의 기울기를 측정하기 위해, 상품 위치 산출 장치(100)에는 기울기 측정 센서(137)가 마련될 수 있다. 기울기 측정 센서(137)는 후술하는 바에 따라 보정지수(k1)를 미리 설정하고, 오류가 발생한 경우 새로운 경사각을 측정하여 보정지수(k2)를 변경하는 데에 이용될 수 있다.

한편 무게 측정 센서(133) 및 기울기 측정 센서(137)는 본 장치(100)의 내 정보, 본 장치(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 프로세서(110 or 210)는 이러한 센싱 신호에 기초하여, 본 장치(100)의 구동 또는 동작을 제어하거나, 본 장치(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.

한편 도어부(190)는 상품 위치 산출 장치(100), 상품 쇼케이스에 장착된 상품수납부의 문일 수 있다. 후술하는 바에 따라 상품 판매 개수 산출 시 ABS모드의 절대연산을 수행하는 경우, 도어부(190)의 문이 열릴 때와 문이 닫힐 때를 기준으로 상기 연산이 수행될 수 있다.

한편 카메라(160)는 상품 위치 산출 장치(100)에 장착된 인공지능 기반의 머신비전 카메라를 의미할 수 있다. 카메라(160)에서 촬영된 상품의 이미지는 서버에 전달되어 제2 프로세서(210)에서 상기 수신한 이미지를 기초로 기계학습을 수행할 수 있다.

전술한 바와 같이, 도 13의 카메라(160)는 도 3 내지 도 11을 통해서 설명하였던 카메라(160)와 다른 구성으로 적용될 수 있다. 예를 들어, 도 3의 카메라는 각 선반을 촬영하기 위한 구성이었다면 도 13의 카메라는 상품개수를 산출할 수 있도록 구비된 장치를 의미할 수 있다.

즉, 본 개시의 실시예에서 장치(100)는 상품 쇼케이스의 각 선반에 설치되어 있는 카메라(160)의 촬영 영상을 기반으로 상품 판매 개수를 산출할 수도 있고, 추가적으로 다른 위치에 설치되어 있는 카메라(160)의 촬영 영상을 기반으로 상품 판매 개수를 산출할 수도 있다.

또한, 장치(100)의 제1 프로세서(110) 또한 카메라(160)에서 촬영된 이미지를 기초로 기계학습을 수행할 수 있다.

한편 머신비전 카메라는 상품 영상을 촬영하여 서버에 전송할 수 있다. 머신비전 카메라는 렌즈와 이미지 센서, 메인보드 및 인터페이스 보드로 구성될 수 있으나, 이에 제한되는 것은 아니다. 또한, 렌즈와 이미지 센서를 통해 만들어진 영상은 메인보드에서 필요에 따라 적합한 형태로 보정될수 있다. 이렇게 메인보드에서 처리된 영상은 서버에 전송될 수 있다. 머신비전 카메라는 GigE Vision 카메라(Gigabit Ethernet Vision Camera), USB3.0 카메라, CameraLink 카메라, CoaXPress 카메라 등이 포함될 수 있다.

한편 메모리는, 후술하는 바에 따른 상품의 표준무게 및 미리 설정된 보정지수(k1)을 저장할 수 있다.

상품의 표준무게는 로드셀(120) 위의 상품의 일반적 무게로서 메모리에 미리 저장되는 고정값일 수 있다.

상품의 표준무게는 로드셀(120)의 상품의 종류에 따라 다르게 저장될 수 있다. 예를 들어, 로드셀1의 상품이 185ml 캔사이다인 경우, 상기 캔사이다의 표준무게를 200g으로 저장될 수 있고, 로드셀2의 상품이 250ml 캔콜라인 경우, 상기 캔콜라의 표준무게를 300g으로 저장될 수 있다.

메모리는 본 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(110, 210)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

이러한, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 본 장치(100)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.

적어도 하나의 프로세서(110 or 210)는 본 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행할 수 있다. 이때, 메모리와 프로세서(110 or 210)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서(110 or 210)는 단일 칩으로 구현될 수도 있다.

또한, 프로세서(110 or 210)는 이하의 도 13 내지 도 21에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

상기 구성요소들 중 상품 위치 산출 장치(100)의 제1 통신부(180) 및 서버의 제2 통신부(230)는 외부 장치(100)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나일 수 있다.

유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 이동통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 이동통신 신호 변환 모듈을 더 포함할 수 있다.

무선 통신 모듈은 이동통신 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 이동통신 신호 변환 모듈을 더 포함할 수 있다.

근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

본 개시의 실시예에서 제1 프로세서(110) 또는 제2 프로세서(210)는 후술하는 바에 따라 ABS모드의 절대연산 및 REL모드의 상대연산을 수행하는 상품 판매 개수 연산부(213)와 머신비전 카메라(160)에 의해 촬영된 상품이미지를 기초로 인공지능 학습모델의 기계학습이 수행되는 기계학습부(215)를 포함할 수 있다.

한편, 도 13에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.

도 14는 일 실시예에 따른 상품인식 알고리즘에 따른 모드전환을 나타낸 도면이고 도 15는 일 실시예에 따른 카메라(160) 및 무게 측정 센서(133)를 포함한 상품 위치 산출 장치(100)의 모습을 개략적으로 나타낸 도면이다.

도 14을 참고하면 경사각이 θ1인 로드셀(120)에는 상품이 수납될 수 있고, 경사면에 따라 이용자가 상품(30)을 수취한 경우 도어부(190)쪽으로 상품이 이동될 수 있다. 카메라(160)는 도어부(190)쪽과 가까운 로드셀(120)의 앞부분을 촬영할 수 있다. 따라서, 머신비전 카메라(160)에 의해 촬영된 상품 이미지가 프로세서(110 or 210)에 전달된 경우, 후술하는 바에 따라 제2 합성곱 신경망(CNN) 모델에 의해 학습이 수행되어 상품(30)이 존재하는지 유무를 판단할 수 있다. 후술하는 바에 따라 ABS모드의 절대연산 및 REL모드의 상대연산 시, 상품이 존재하는 경우 이미지 디지털 인식에 따른 코드 값인 Nv가 1로 판단될 수 있고, 상품이 존재하지 않는 경우 Nv는 0으로 판단될 수 있다.

한편 도 14에서의 상품(30)은 로드셀(120)에 진열된 상품(30) 각각을 의미할 수 있다.

도 14을 참고하면 본 발명은 기본적으로 ABS모드(Absolute mode, 310)가 설정되어 있고, ABS모드(310)에 따라 상품 판매 개수 산출 시 절대연산이 수행될 수 있다. 이 때 미리 결정된 오류검출 알고리즘에 따라 오류가 발생한 것으로 판단되면 ABS모드(310)에 따른 절대연산을 중단하고, REL모드(Relative mode, 320)로 전환되어 상대연산을 수행할 수 있다(S410). 또한, 미리 결정된 보정 알고리즘에 따라 오류가 해소된 것으로 판단되면 REL모드(320)에 따른 상대연산을 중단하고, 다시 ABS모드(310)로 전환되어 절대연산을 수행할 수 있다(S420).

도 15를 참고하면 무게 측정 센서(133)는 전술한 바와 같이 로드셀(120)의 아랫부분에 장착되어 로드셀(120) 위의 상품 무게를 측정할 수 있다.

한편 무게 측정 센서(133)는 상품 위치 산출 장치(100)의 도어부(190)의 문이 열리면 상품의 무게를 측정하고, 도어부(190)의 문이 닫히면 상품의 무게를 측정하도록 설정될 수 있다.

제1 상품정보는 도어부(190)의의 문이 열렸을 때를 기준으로 상품의 무게정보 및 카메라(160)에 의해 촬영된 상품의 이미지 정보를 포함할 수 있으나, 이에 제한되지 않는다.

제2 상품정보는 도어부(190)의 문이 닫혔을 때를 기준으로 상품의 무게정보 및 카메라(160)에 의해 촬영된 상품의 이미지 정보를 포함할 수 있으나, 이에 제한되지 않는다.

한편, 제1 상품정보 및 제2 상품정보는 로드셀(120) 상의 동일한 컬럼의 상품에 관한 정보로서, 문이 열렸을 때와 문이 닫혔을 때를 기준으로 한 상품정보일 수 있다.

이렇게 제1 상품정보 및 제2 상품정보는 상품 위치 산출 장치(100)의 제1 통신부(180)와 서버의 제2 통신부간의 통신을 통해 상품 위치 산출 장치(100)에서 서버로 전송될 수 있다.

도 16은 일 실시예에 따른 서버 및 상품 위치 산출 장치(100)에서 이루어지는 단계를 나타낸 순서도이다.

본 발명의 일 실시예에 따르면 이용자는 상품결제를 위하여 체크카드 및 신용카드를 포함하여 상품 결제가 가능한 결제수단을 상품 위치 산출 장치(100)에 인식시킬 수 있다(S601). 이렇게 인식된 카드정보는 서버의 제2 통신부를 통해 프로세서(210)에 전달될 수 있다(S602). 서버는 이렇게 전달된 카드정보를 수신할 수 있다(S603). 서버에서 올바른 카드정보라고 인식한 경우, 서버는 상품 위치 산출 장치(100)에 도어부(190) 문열림 명령을 전달할 수 있다(S604). 도어부(190) 문열림 명령이 전달됨에 따라, 상품 위치 산출 장치(100)의 도어부(190) 문이 열리면(S605), 도어부(190)의 문이 열렸다는 정보가 서버에 전달될 수 있다(S606). 도어부(190) 문이 열림에 따라, 서버는 제1 상품정보를 수신할 수 있다(S607). 이용자 상품 위치 산출 장치(100)에서 상품을 수취하고(S608) 도어부(190)의 문이 닫히면(S609), 도어부(190)의 문이 닫혔다는 정보가 서버에 전달될 수 있다(S610). 도어부(190)의 문이 닫힘에 따라, 프로세서(110 or 210)는 제2 상품정보를 수신할 수 있다(S611). 서버는 제1 상품정보 및 제2 상품정보를 수신함에 따라 제1 상품정보 및 제2 상품정보를 기초로 연산을 수행하여 이용자가 수취한 상품의 판매 개수를 산출할 수 있다(S612). 산출된 상품 판매 개수는 상품 위치 산출 장치(100)에 전달되어(S613) 판매 개수에 따른 상품결제가 진행될 수 있다(S614).

도 17은 일 실시예에 따른 기울기 측정 센서(137)에 의해 로드셀(120)의 경사각을 측정하는 모습을 개략적으로 나타낸 도면이다.

한편 도 17에서의 상품(30)은 로드셀(120)에 진열된 상품 각각을 의미할 수 있다.

로드셀(120)은 평지를 기준으로 경사각(θ1)만큼 경사질 수 있어, 이용자가 상품 위치 산출 장치(100)에서 상품을 수취하는 경우, 경사면을 따라 도어부(190)에서 먼 쪽에 있는 상품이 도어부(190)쪽으로 이동할 수 있다.

본 발명의 일 실시예에 따른 기울기 측정 센서(137)는 로드셀(120)의 아래쪽에 부착되어 로드셀(120)의 기울기를 측정할 수 있다.

한편 측정된 경사각(θ1)은 메모리에 저장되는 미리 설정된 보정지수(k1)를 결정하는데에 이용될 수 있다. 경사진 로드셀(120)에서의 무게는 평지에서의 무게와 다를 수 있기 때문에 미리 설정된 보정지수에 의한 보정모델을 이용할 수 있다. 즉, 로드셀(120)의 경사로 인해 발생하는 무게 측정 오차를 보정할 수 있는 보정지수를 이용하여 무게를 보정할 수 있다.

일 실시예에 따라 보정모델의 수학식은 다음 수학식 1과 같이 표현될 수 있다.

수학식 1을 참고하면 Mb는 경사진 로드셀(120) 위에서의 무게를 의미하고, k1은 미리 설정된 보정지수를 의미하고, Ma는 평지 위에서의 무게를 의미할 수 있다.

한편 로드셀(120)의 경사각이 θ1인 경우 미리 설정된 보정지수 k1은 cos θ1 또는 cscθ1일 수 있으나 이에 제한되는 것은 아니다.

또한 일 실시예에 따른 미리 설정된 보정지수(k1)는 로드셀(120) 설치 시점에 무게 측정 센서(133) 위에 단위 무게(예를 들어, 100g, 200g 등) 추를 올려 놓으면서 해당 추의 실제 무게값으로 읽힐 수 있도록 무게 측정 센서(133)의 영점을 조정함으로써 설정될 수도 있다.

도 18은 일 실시예에 따른 모드전환이 이루어지고 오류가 해소되기까지의 과정을 알고리즘으로 나타낸 도면이다.

본 발명은 기본적으로 ABS모드로 시작되며(S810), 제1 상품정보 및 제2 상품정보 각각에 포함된 무게정보에 기초하여 절대연산을 수행할 수 있다(S820). 이에 따라 상품 판매 개수가 산출될 수 있고(S830), 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생된 것으로 판단(S840)하는 과정이 이루어진다. 오류가 발생하지 않은 경우 지속적으로 ABS모드에 따른 절대연산이 수행되며 오류가 발생한 것으로 판단되면 REL모드로 전환된다(S850). REL모드로 전환됨에 따라, 제1 상품정보 및 제2 상품정보 각각에 포함된 무게정보의 차이 값에 기초하여 상대연산을 수행할 수 있다(S860). 이에 따라 상품 판매 개수가 산출될 수 있고(S870), 동시에 미리 결정된 보정 알고리즘에 따라 상품 위치 산출 장치(100) 내에 포함된 기울기 측정 센서(137)로부터의 로드셀(120)의 기울기 정보에 기초하여 미리 설정된 보정지수(k1)을 변경할 수 있다(S880). 이에 따라 오류가 해소된 것으로 판단되면 다시 ABS모드에로 재 전환되어 절대연산을 수행할 수 있으나 오류가 해소되지 않은 것으로 판단되면 REL모드가 유지되어 상대연산에 따른 상품 판매 개수를 산출할 수 있다(S890).

도 19는 일 실시예에 따른 ABS모드에 따른 절대연산이 수행되는 과정을 알고리즘으로 나타낸 도면이다.

먼저 상품의 표준무게(Wm)를 메모리에 저장하고(S910), 문을 열었을 때 제1 상품정보가 수신(S920), 문을 닫았을 때 제2 상품정보가 수신될 수 있다(S930). 한편 제1 상품정보 및 제2 상품정보는 전술한 바와 같이, 문을 열었을 때와 문을 닫았을 때 각각에 대하여 무게 측정 센서(133)에 의한 로드셀(120)의 무게정보 및 머신비전 카메라(160)에 의해 촬영된 상품의 이미지정보를 포함할 수 있다.

프로세서(110 or 210)는 학습모델에 의한 기계학습이 수행될 수 있다. ABS모드 절대연산 및 후술하는 바에 따른 REL모드 상대연산의 연산 값은 머신비전 카메라(160)로부터 촬영된 상품의 이미지를 데이터로 하여 기계학습을 수행하여 연산 값이 결정될 수 있다. 기계학습을 수행하는 학습모델은 다중클래스 분류(Multiclass classification) 및 이진 분류(Binary classification)를 구현할 수 있다. 한편 다중클래스 분류는, 제1 합성곱 신경망(CNN, Convolutional neural network) 모델에 의해 수행되고, 이진 분류는, 제2 합성곱 신경망 모델에 의해 수행될 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 상기 학습모델은, Random Forest (RF), Support Vector Machine (SVC), eXtra Gradient Boost (XGB), Decision Tree (DC), Knearest Neighbors (KNN), Gaussian Naive Bayes (GNB), Stochastic Gradient Descent (SGD), Linear Discriminant Analysis (LDA), Ridge, Lasso 및 Elastic net 중 적어도 하나의 알고리즘을 포함할 수 있다.

도어부(190)의 문이 닫혔을 때 상품이 존재하는지 여부는 제2 합성곱 신경망 모델에 의해 이진분류(Binary classification)가 구현됨에 따라 결정될 수 있다.

이용자의 상품 수취 후 문을 닫았을 때를 기준으로, 상품이 존재하는 경우로 인식하면 디지털코드 값인 Nv=1, 상품이 존재하지 않는 경우로 인식하면 디지털코드 값인 Nv=0으로 인식할 수 있다.

또한, 이용자의 상품 수취 후 문을 닫았을 때를 기준으로, 상품이 존재하는 경우로 인식하면 머신비전 카메라(160)가 인식한 상품의 표준무게 Wv를 메모리로부터 수신할 수 있고, 상품이 존재하지 않는 경우로 인식하면 머신비전 카메라(160)가 인식한 상품의 표준무게(Wv)가 0으로 판단될 수 있다.

프로세서(110 or 210)는 ABS모드에 따른 절대연산을 수행(S970)할 수 있고, 절대연산의 수식은 다음 수학식 2와 같이 표현될 수 있다.

수학식 2를 참고하면 Ns는 상품 판매 개수를 의미하고, Nb는 문을 열었을 때 재고수를 의미하고, Nt는 문을 닫았을 때 재고수를 의미하고, Wm는 상품의 표준무게를 의미하고, Wc는 문을 닫았을 때 로드셀(120)의 무게를 의미하고, Wv는 카메라(160)에서 인식한 상품의 표준무게를 의미하고, Nv는 카메라(160)에서 인식한 상품의 디지털 코드 값을 의미할 수 있다.

절대연산이 수행됨에 따라 상품의 판매 개수(Ns)가 산출될 수 있다(S980). 이 때 정확한 판매 개수를 산출하기 위해, 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘에 따라 오류가 발생했는지 여부가 판단될 수 있다(S990). 오류가 발생한 경우 REL모드로 전환되어 상대연산이 수행될 수 있고(S9100), 오류가 발생하지 않은 경우 ABS모드가 유지되어 절대연산이 수행될 수 있다(S9110).

도 20은 일 실시예에 따른 REL모드에 따른 상대연산이 수행되는 과정을 알고리즘으로 나타낸 도면이다.

먼저 상품의 표준무게(Wm)를 메모리에 저장하고(S1010), 문을 열었을 때 제1 상품정보가 수신(S1020), 문을 닫았을 때 제2 상품정보가 수신될 수 있다(S1030). 문을 열었을 때 로드셀(120)의 무게를 W1으로 하고, 문을 닫았을 때 로드셀(120)의 무게를 W2이라 할 때, 제1 상품정보 및 제2 상품정보에 포함된 각각의 로드셀(120)의 무게정보에 기초하여 그 차이 값인 Wd=W1-W2이 계산될 수 있다(S1040).

REL모드 상대연산의 경우도 ABS모드 절대연산과 마찬가지로, 도어부(190)의 문이 닫혔을 때 상품이 존재하는지 여부는 제2 합성곱 신경망 모델에 의해 이진분류(Binary classification)가 구현됨에 따라 결정될 수 있다.

프로세서(110 or 210)는 REL모드에 따른 상대연산을 수행(S1080)할 수 있고, 상대연산의 수식은 다음 수학식 3으로 표현될 수 있다.

수학식 3를 참고하면 Ns는 상품 판매 개수를 의미하고, W1는 문을 열었을 때 로드셀(120)의 무게를 의미하고, W2는 문을 닫았을 때 로드셀(120)의 무게를 의미하고, Wd는 문을 열었을 때와 문을 닫았을 때의 로드셀(120)의 무게 차이 값을 의미하고, Wm는 상품의 표준무게를 의미하고, Wv는 카메라(160)에서 인식한 상품의 표준무게를 의미하고, Nv는 카메라(160)에서 인식한 상품의 디지털 코드 값을 의미할 수 있다.

상대연산이 수행됨에 따라 상품의 판매 개수(Ns)가 산출될 수 있다(S1090). 이 때 상품 위치 산출 장치(100)에 포함된 기울기 측정 센서(137)는 상기 로드셀(120)의 경사각(θ2)을 다시 측정할 수 있다. 상품 위치 산출 장치(100)로부터 수신한 로드셀(120)의 기울기 정보에 기초하여 보정지수(k1)을 변경하고, 오류가 해소되었는지 여부가 판단될 수 있다(S1100). 오류가 해소되었는지 여부는 제2 상품정보를 기초로 미리 결정된 오류검출 알고리즘을 다시 수행하면서 판단될 수 있다. 오류가 해소된 것으로 판단되면 REL모드에 따른 상대연산은 중단되어 ABS모드에 따른 절대연산이 다시 수행될 수 있고(S1110), 오류가 해소되지 않은 것으로 판단되면 REL모드가 유지되어 상대연산에 따른 상품 판매 개수가 산출됨과 동시에 지속적으로 보정지수 변경에 따른 오류 해소 알고리즘이 진행될 수 있다.

도 21은 일 실시예에 따른 오류가 발생된 경우, 오류를 해소하는 과정을 알고리즘으로 나타낸 도면이다.

일 실시예에 따르면 기울기 측정 센서(137)에 의해 경사진 로드셀(120)의 기울기(θ1)을 측정하고(S110) 이에 기초하여 미리 설정된 보정지수(k1)을 산출할 수있다(S1120). 이 때, 미리 설정된 보정지수(k1)은 cosθ1 값 또는 cscθ1일 수 있으나 이에 제한되는 것은 아니다. 미리 설정된 보정지수(k1)는 메모리에 저장될 수 있다(S1130). ABS모드에 따른 절대연산이 수행되고(S1140), 오류검출 알고리즘에 따라 오류가 발생된 것으로 판단되면(S1150), REL모드에 따른 상대연산이 수행되어(S1160) 상품 판매 개수가 산출될 수 있다(S1170). 이와 동시에 오류발생 신호에 따라, 상품 위치 산출 장치(100)의 기울기 측정 센서(137)는 로드셀(120)의 기울기(θ2)를 다시 측정할 수 있다. 이에 따라 미리 설정된 보정지수(k1)은 새로운 보정지수(k2)로 변경되어 보정할 수 있다(S1190). 이 때, 새로운 보정지수(k2)은 cosθ2 값 또는 cscθ2일 수 있으나 이에 제한되는 것은 아니다. 오류가 해소되었는지 여부를 판단하는 과정에 따라(S11100) 오류가 해소된 것으로 판단되면 REL모드에 따른 상대연산이 중단되어(S1180) ABS모드에 따른 절대연산이 다시 수행될 수 있고, 오류가 해소되지 않은 것으로 판단되면 REL모드에 따른 상대연산이 유지되어 지속적으로 오류 해소 알고리즘이 진행될 수 있다.

한편 오류가 해소되었는지 여부를 판단하는 과정(S11100)은 오류가 검출되었는지 여부를 판단하는 과정과 동일한 과정에 의해 진행될 수 있다. 미리 결정된 오류검출 알고리즘은 상품의 유무를 판단할 수 있는 이진분류(Binary classification)를 구현하는 제2 합성곱 신경망 모델이 인식한 결과값과, 로드셀(120)의 무게를 측정할 수 있는 무게 측정 센서(133)의 측정 값의 차이를 기초로 하여 오류를 판단하는 알고리즘일 수 있으나 이에 제한되는 것은 아니다.

일 실시예에 따른 오류가 검출되었는지 여부를 판단하는 과정은 문이 닫혔을 때를 기준으로, ABS모드의 절대연산에 기초하여 재고수가 판단되면, 상기 재고수(Nt)에 상품의 표준무게(Wm)를 곱한 값과 상기 무게 측정 센서(133)에 의해 측정된 상기 로드셀(120)의 무게에 대한 정보를 비교하여 비율을 산출하고, 산출된 비율이 미리 설정된 값 이상으로 차이가 나면, 상기 오류가 발생한 것으로 판단하고, 산출된 비율이 미리 설정된 값 미만으로 차이나면, 상기 오류가 발생하지 않은 것으로 판단하는 알고리즘일 수 있다.

일 실시예에 따른 오류가 검출되었는지 여부를 판단하는 과정은 이진분류를 구현하는 제2 합성곱 신경망 모델에 의해 로드셀(120)에 상품이 없는 것으로 판단된 경우(Nv=0)로서, 무게 측정 센서(133)에 의해 측정된 상기 로드셀(120)의 무게정보에 기초하여 상기 상품이 존재하는 것으로 판단되는 경우(Wc

)는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘일 수 있다.

일 실시예에 따른 오류가 검출되었는지 여부를 판단하는 과정은 이진분류를 구현하는 제2 합성곱 신경망 모델에 의해 로드셀(120)에 상품이 있는 것으로 판단된 경우(Nv=1)로서, 메모리에 미리 저장된 상품의 표준무게(Wm)가 머신비전 카메라(160)에서 인식한 상품의 표준무게(Wv)와 일치하지 않는 경우는 오류가 발생한 것으로 판단하고, 그렇지 않은 경우 오류가 발생하지 않은 것으로 판단하는 알고리즘일 수 있다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서(110 or 210)에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치(100) 등이 있을 수 있다.

한편 도 18 내지 도 21에서 설명한 내용은 본 발명의 동작을 설명하기 위한 일 예시에 불과하며 서버가 상품 위치 산출 장치(100)와의 통신을 수행하여 상품 판매 개수를 산출하는 하는 동작에는 그 제한이 없다.

이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 제1 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 제1 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 제1 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 제1 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 제1 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 제1 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 제1 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 제1 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 무인 판매 시스템
30: 상품
100: 상품 위치 산출 장치
110: 제1 프로세서
120: 로드셀
121: 제1 로드셀
122: 제2 로드셀
130: 산출부
133: 무게 측정 센서
137: 기울기 측정 센서
140: 검증부
150: 제1 메모리
160: 카메라
170: 라이다 센서
171: 제1 라이다 센서
172: 제2 라이다 센서
200: 서버
210: 제2 프로세서
220: 제2 메모리
230: 제2 통신부

Claims

복수의 컬럼(column)으로 구분된 진열대의 선반에 배치된 상품의 위치를 센싱하기 위한 복수의 로드셀; 및
상기 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 상기 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 위치 정보를 산출하는 제1 프로세서를 포함하고,
상기 복수의 로드셀은 상기 복수의 컬럼을 각각 구분하기 위한 각 라인 선상에 둘 이상 배치되고,
상기 복수의 로드셀은 상기 각 라인 선상의 일측에 제1 로드셀, 상기 각 라인 선상의 타측에 제2 로드셀이 마련되고,
상기 제1 프로세서는,
상기 각 라인 선상의 상기 제1 로드셀 및 상기 제2 로드셀에서 센싱된 센싱값을 내분 계산하여 상기 선반에 배치된 상품의 위치 정보를 산출하고,
상기 제1 프로세서는,
상기 복수의 로드셀에서 센싱되는 센싱값 및 상기 센싱값을 센싱한 복수의 로드셀 각각의 위치 정보를 기반으로 상기 선반에 배치된 상품의 무게와 하부 형상 예상값을 산출하고,
상기 산출된 상기 상품의 무게 및 상기 상품의 하부 형상 예상값을 기반으로 상기 상품의 종류를 판단하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
삭제
삭제
삭제
제1항에 있어서,
상기 제1 프로세서는,
상기 산출된 상품의 위치 정보 및 상기 판단된 상기 상품의 종류를 기반으로 상기 선반에 배치된 상기 상품의 정상 배치 여부를 판단하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
제5항에 있어서,
상기 선반은 상기 선반의 적어도 일부 영역을 복수의 서로 다른 화각으로 촬영 가능한 카메라를 포함하고,
상기 제1 프로세서는,
상기 카메라가 복수의 서로 다른 화각으로 상기 선반을 촬영하여 복수의 촬영 이미지를 생성하도록 제어하고,
상기 산출된 상기 상품의 위치 정보를 상기 복수의 촬영 이미지와 매칭하여 상기 상품의 위치 정보 산출 결과를 검증하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
제6항에 있어서,
상기 제1 프로세서는,
상기 복수의 촬영 이미지를 기반으로 상기 상품의 이미지 위치 정보를 산출하고,
상기 산출된 이미지 위치 정보와 상기 산출된 위치 정보의 일치 여부를 판단하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
제1항에 있어서,
상기 선반은 양 측면 각각에 라이다 센서가 마련되고,
상기 제1 프로세서는,
상기 라이다 센서를 통해 센싱된 센싱값을 기반으로 상기 산출된 상품의 위치 정보를 검증하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
제8항에 있어서,
상기 선반은 내부 일측면에 제1 라이다 센서가 마련되고, 내부 타측면에 제2 라이다 센서가 마련되고,
상기 제1 프로세서는,
상기 제1 라이다 센서를 통해 센싱된 센싱값 및 상기 제2 라이다 센서를 통해 센싱된 센싱값을 기반으로, 상기 선반에 배치된 상품의 위치 정보를 산출하고,
상기 산출된 상품의 위치 정보 및 상기 산출된 상품의 위치 정보를 비교하여 상기 산출된 상품의 위치 정보를 검증하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.
제8항에 있어서,
상기 선반은 내부 일측면에 제1 라이다 센서가 마련되고, 내부 타측면에 제2 라이다 센서가 마련되고,
상기 제1 프로세서는,
상기 산출된 상품의 위치 정보를 기반으로, 상기 제1 라이다 센서 및 상기 제2 라이다 센서 각각에 복수의 센싱 포인트를 할당하고,
상기 할당된 복수의 센싱 포인트에 대하여 상기 제1 라이다 센서 및 상기 제2 라이다 센서를 통해 센싱된 센싱값을 기반으로 상기 산출된 상품의 위치 정보를 검증하는 것을 특징으로 하는,
인공지능 기반의 상품 쇼케이스 내의 상품 위치 산출 장치.