KR20230106297A - 전자 장치 및 그 제어 방법 - Google Patents

Abstract

전자 장치가 개시된다. 본 전자 장치는 보관실, 카메라, 보관실에 보관된 물품에 대한 데이터베이스가 저장된 메모리 및 카메라 및 메모리에 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는 카메라를 통해 보관실의 일측을 촬영하여 제1 물품이 보관실로 입고되는 것으로 식별되면 제1 물품의 제1 피쳐(feature)를 획득하고, 제1 피쳐를 메모리에 저장하여 데이터베이스를 업데이트하고, 카메라를 통해 보관실의 일측을 촬영하여 제2 물품이 보관실로부터 출고되는 것으로 식별되면 제2 물품의 제2 피쳐를 획득하고, 데이터베이스로부터 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

Description

전자 장치 및 그 제어 방법 { ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF }

본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 물품의 입고 및 출고를 자동으로 관리하는 서비스를 제공하는 전자 장치 및 그 제어 방법에 대한 것이다.

전자 기술의 발달에 힘입어 다양한 기능을 제공하는 전자 장치가 개발되고 있다. 특히, 최근에는 냉장고 등과 같이 전자 장치의 내부에 보관되는 물품을 관리하는 전자 장치가 개발되고 있다.

과거에는 물품 관리를 위해 사용자가 수작업으로 재고 리스트를 작성하는 방법이 있었다. 이 경우, 사용자는 타이핑, 정의된 항목 선택, 음성 입력 등으로 직접 입출고 물품의 명칭을 등록하고, 출고 처리하였으나, 입출고 단계가 번거로우며, 입출고 과정에서 오류/누락이 발생할 수도 있고, 시간도 오래 걸리는 문제도 있었다.

또는, 사용자가 물품에 장착된 바코드 정보를 이용하여 단순 태깅 형태로 물품을 인식시켜 재고를 관리하는 방법이 있으며, 대형 창고나 물류 시스템에서는 유용하나, 일반 소비재 등의 가전 제품에는 바코드를 별도로 구매하여 붙여야 하는 등의 불편이 있고, 바코드가 없는 경우에는 물품 인식이 불가능한 문제가 있었다.

이상과 같은 방법들보다 좀더 자동화된 방법으로, 최근에는 장치에 장착된 감지 센서(ex : 카메라, RFID 등)를 이용한 재고 관리 방법이 개발되었다. 구체적으로, 장치에 장착된 카메라 혹은 추가 센서를 통해 입고된 물품을 감지/인식하여 재고를 관리하는 방법이다. 다만, RFID 등의 장치는 매번 부착이 필요한 불편함이 있고 비용이 발생하며, 보관된 물품 간 가려짐 등에 의해 인식되지 않는 문제도 있다. 이러한 문제를 해결하기 위해 복수의 센서를 이용할 수도 있으나, 비용이 증가하는 문제가 있다.

또한, 물품 인식 과정에서 신경망 모델이 이용될 수도 있으나, 종래의 신경망 모델은 여러 다양한 물품이 혼재한 상태에서의 인식을 위한 사전 학습이 필요하며, 이를 위해 많은 양의 학습 데이타 수집 및 반복적인 추가 수집과 재학습이 필요하다. 그리고, 입고와 출고 시에 다른 포즈(pose)를 취함에 따라, 이미지 형상이 달라지므로, 사전에 모든 포즈에 대한 이미지 학습이 필요하며, 이는 많은 비용이 소요되는 문제가 있다.

따라서, 이상과 같은 문제를 해결하면서도 좀더 자동화된 물품 관리 방법이 개발될 필요가 있다.

본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 좀더 자동화된 물품의 재고 관리가 가능한 전자 장치 및 그 제어 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 보관실, 카메라, 상기 보관실에 보관된 물품에 대한 데이터베이스가 저장된 메모리 및 상기 카메라 및 상기 메모리에 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하며, 상기 프로세서는 상기 카메라를 통해 상기 보관실의 일측을 촬영하여 제1 물품이 상기 보관실로 입고되는 것으로 식별되면 상기 제1 물품의 제1 피쳐(feature)를 획득하고, 상기 제1 피쳐를 상기 메모리에 저장하여 상기 데이터베이스를 업데이트하고, 상기 카메라를 통해 상기 보관실의 일측을 촬영하여 제2 물품이 상기 보관실로부터 출고되는 것으로 식별되면 상기 제2 물품의 제2 피쳐를 획득하고, 상기 데이터베이스로부터 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

또한, 상기 메모리는 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델을 더 저장하고, 상기 프로세서는 상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 또는 상기 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고, 상기 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하고, 상기 제1 신경망 모델은 동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 상기 제2 신경망 모델은 상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 상기 제3 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델일 수 있다.

그리고, 상기 프로세서는 상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 상기 복수의 제2 피쳐를 가중합하고, 상기 데이터베이스로부터 상기 가중합된 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

또한, 상기 프로세서는 상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델의 우선 순위에 기초하여 상기 복수의 제2 피쳐의 우선 순위를 획득하고, 상기 복수의 제2 피쳐의 우선 순위에 기초하여 상기 데이터베이스로부터 상기 복수의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 프로세서는 우선 순위가 가장 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

또한, 상기 프로세서는 상기 제1 차이가 상기 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 재식별하고, 상기 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 상기 제1 임계 값 이상이면, 상기 제3 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 프로세서는 상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고, 상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 상기 제1 유사도 및 상기 제2 유사도가 제3 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고, 상기 제1 유사도와 상기 제2 유사도의 차이가 상기 제2 임계 값 미만이고, 상기 제1 유사도 및 상기 제2 유사도가 상기 제3 임계 값 이상이면, 상기 제2 물품의 이미지를 상기 제2 신경망 모델에 입력하여 상기 제2 피쳐 2를 획득하고, 상기 데이터베이스로부터 상기 제2 피쳐 2에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

또한, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 프로세서는 상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고, 상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 상기 제2 물품의 이미지를 상기 제3 신경망 모델에 입력하여 상기 제2 피쳐 3을 획득하고, 상기 데이터베이스로부터 상기 제2 피쳐 3에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 프로세서는 상기 복수의 물품의 개수가 임계 개수 이상이면, 상기 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행할 수 있다.

또한, 상기 프로세서는 상기 카메라를 통해 상기 보관실의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득하고, 상기 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역을 식별하며, 상기 복수의 연속된 촬영 이미지로부터 상기 식별된 영역의 움직임에 기초하여 상기 입고 또는 상기 출고를 식별할 수 있다.

그리고, 도어(door)를 더 포함하며, 상기 프로세서는 상기 도어가 오픈되면 상기 카메라를 통해 상기 보관실의 일측을 촬영할 수 있다.

한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 상기 전자 장치의 보관실의 일측을 촬영하여 제1 물품이 상기 보관실로 입고되는 것으로 식별되면 상기 제1 물품의 제1 피쳐(feature)를 획득하는 단계, 상기 제1 피쳐를 상기 전자 장치의 메모리에 저장하여 상기 보관실에 보관된 물품에 대한 데이터베이스를 업데이트하는 단계, 상기 보관실의 일측을 촬영하여 제2 물품이 상기 보관실로부터 출고되는 것으로 식별되면 상기 제2 물품의 제2 피쳐를 획득하는 단계 및 상기 데이터베이스로부터 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계를 포함한다.

또한, 상기 제2 피쳐를 획득하는 단계는 상기 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 또는 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고, 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하고, 상기 제1 신경망 모델은 동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 상기 제2 신경망 모델은 상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 상기 제3 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델일 수 있다.

그리고, 상기 제2 피쳐를 획득하는 단계는 상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 상기 복수의 제2 피쳐를 가중합하고, 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 데이터베이스로부터 상기 가중합된 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

또한, 상기 제2 피쳐를 획득하는 단계는 상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델의 우선 순위에 기초하여 상기 복수의 제2 피쳐의 우선 순위를 획득하고, 상기 복수의 제2 피쳐의 우선 순위에 기초하여 상기 데이터베이스로부터 상기 복수의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 우선 순위가 가장 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

또한, 상기 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 제1 차이가 상기 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 재식별하고, 상기 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 상기 제1 임계 값 이상이면, 상기 제3 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 제2 피쳐를 획득하는 단계는 상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고, 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 상기 제1 유사도 및 상기 제2 유사도가 제3 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고, 상기 제1 유사도와 상기 제2 유사도의 차이가 상기 제2 임계 값 미만이고, 상기 제1 유사도 및 상기 제2 유사도가 상기 제3 임계 값 이상이면, 상기 제2 물품의 이미지를 상기 제2 신경망 모델에 입력하여 상기 제2 피쳐 2를 획득하고, 상기 데이터베이스로부터 상기 제2 피쳐 2에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

또한, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 제2 피쳐를 획득하는 단계는 상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고, 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는 상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고, 상기 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 상기 제2 물품의 이미지를 상기 제3 신경망 모델에 입력하여 상기 제2 피쳐 3을 획득하고, 상기 데이터베이스로부터 상기 제2 피쳐 3에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트할 수 있다.

그리고, 상기 데이터베이스는 상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 상기 제어 방법은 상기 복수의 물품의 개수가 임계 개수 이상이면, 상기 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행하는 단계를 더 포함할 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 입출고 과정의 물품의 형상을 식별하여 재고 데이터베이스를 자체 구축 및 업데이트하므로, 비교 범위가 축소되고 유지 보수가 간단하며 바코드를 구비하지 않아도 되는 이점이 있다.

또한, 전자 장치는 적어도 하나의 신경망 모델을 이용하여 물품의 형상을 비교하기 때문에 포즈가 변화하더라도 물품의 유사도 판단에 있어서 정확도가 향상되는 이점이 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 물품의 입출고 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시 예에 따른 보관실 및 카메라의 배치를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 물품의 입고를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 물품의 출고를 설명하기 위한 도면이다.
도 7 내지 도 9는 본 개시의 다양한 실시 예에 따른 유사도 판단 방법을 설명하기 위한 도면들이다.
도 10은 본 개시의 일 실시 예에 따른 리맵핑 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 다른 실시 예에 따른 물품의 입출고 동작을 설명하기 위한 흐름도이다.
도 12는 본 개시의 일 실시 예에 따른 피쳐 추출 및 리맵핑을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서, 사용자라는 용어는 건조 장치를 사용하는 사람 또는 건조 장치를 사용하는 장치(예: 인공 지능 장치)를 지칭할 수 있다.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.

도 1에 따르면, 전자 장치(100)는 보관실(110), 카메라(120), 메모리(130) 및 프로세서(140)를 포함한다.

전자 장치(100)는 물품을 보관하는 장치로서, 냉장고, 냉동고, 와인 셀러, 의류 관리기 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 물품을 보관하는 장치라면 어떤 장치라도 무방하다.

보관실(110)은 물품이 거치되는 구성으로서, 단순히 선반일 수도 있고, 전자 장치(100) 내의 빈 공간일 수도 있다. 다만, 이에 한정되는 것은 아니며, 보관실(110)은 물품이 거치될 수 있는 구성이라면 어떠한 구성이라도 무방하다.

물품은 보관실(110)의 일측을 통해 입고 또는 출고될 수 있다. 예를 들어, 전자 장치(100)는 도어를 더 포함하며, 도어가 오픈되면 보관실(110)의 일측이 개방되어 개방된 공간을 통해 물품이 입고 또는 출고될 수 있다. 다만, 이에 한정되는 것은 아니며, 물품의 입고 또는 출고 방식은 얼마든지 다양할 수 있으며, 입고 또는 출고 방식에 따라 보관실(110) 역시 얼마든지 다양한 형태로 구현될 수 있다.

카메라(120)는 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(120)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.

카메라(120)는 보관실(110)의 일측을 촬영할 수 있다. 예를 들어, 카메라(120)는 보관실(110)의 일측을 촬영하여 물품의 입고 장면 또는 출고 장면을 촬영할 수 있다. 다만, 이에 한정되는 것은 아니며, 카메라(120)는 보관실(110) 내부를 촬영할 수도 있다. 예를 들어, 카메라(120)는 보관실(110) 내부를 촬영하여 보관실(110) 내부에 배치된 물품을 촬영할 수도 있다. 또한, 카메라(120)는 촬영 방향을 변경할 수도 있다. 예를 들어, 카메라(120)는 구동부를 통해 촬영 방향을 변경하여 보관실(110)의 일측을 촬영할 수도 있고, 보관실(110)의 내부를 촬영할 수도 있다.

카메라(120)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 카메라(120)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.

메모리(130)에는 전자 장치(100) 또는 프로세서(140)의 동작에 필요한 적어도 하나의 인스트럭션(instruction) 또는 모듈이 저장될 수 있다. 여기서, 인스트럭션은 전자 장치(100) 또는 프로세서(140)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 언어인 기계어로 작성된 것일 수 있다. 모듈은 작업 단위의 특정 작업을 수행하는 일련의 인스트럭션의 집합체(instruction set)일 수 있다.

또한, 메모리(130)에는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 정보인 데이터가 저장될 수 있다. 예를 들어, 메모리(130)에는 보관실(110)에 보관된 물품에 대한 데이터베이스가 저장될 수 있다. 여기서, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐(feature)를 포함할 수 있다. 또한, 메모리(130)에는 물품을 식별하기 위한 적어도 하나의 신경망 모델이 저장될 수 있다.

여기서, 신경망 모델은 복수의 신경망 레이어들로 구성되며, 각 레이어는 복수의 가중치(weight values)를 포함하고, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산이 수행될 수 있다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서는 이상의 언급한 신경망 뿐만 아니라 얼마든지 다양한 신경망이 이용될 수 있다. 또한, 신경망 모델은 다양한 개념, 조건, 관계 내지는 합의된 지식이 컴퓨터가 처리할 수 있는 형태로 표현된 온톨로지 기반의 데이터 구조로 구성될 수도 있다.

신경망 모델은 다양한 학습 알고리즘을 통해 전자 장치(100) 또는 별도의 서버/시스템을 통해 학습된 것일 수 있다. 학습 알고리즘은 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)를 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 얼마든지 다양한 학습 알고리즘이 이용될 수 있다.

물품을 식별하기 위한 적어도 하나의 신경망 모델은 동일 형상의 물품이 유사한 피쳐 공간(feature space)에 배치되도록 학습하는 DML (Deep Metric Learning)에 기초하여 구성될 수 있다.

메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의해 인스트럭션, 모듈, 신경망 모델 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

프로세서(140)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 카메라(120), 메모리(130), 디스플레이(미도시), 통신 인터페이스(미도시), 사용자 인터페이스(미도시) 등과 같은 구성과 연결되어 전자 장치(100)의 동작을 제어할 수 있다.

일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 제1 물품이 보관실(110)로 입고되는 것으로 식별되면 제1 물품의 제1 피쳐(feature)를 획득할 수 있다. 예를 들어, 프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득할 수 있다. 그리고, 프로세서(140)는 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역, 가령 살색과 같은 색상의 영역을 식별하며, 복수의 연속된 촬영 이미지로부터 식별된 영역의 움직임에 기초하여 입고를 식별할 수 있다. 가령, 프로세서(140)는 식별된 영역이 보관실(110)로 향했다가 다시 보관실(110)로부터 멀어지는 것을 식별할 수 있으며, 식별된 영역이 보관실(110)로 향하는 경우에 식별된 영역의 근처 영역에서 물품이 식별되었으나, 식별된 영역이 보관실(110)로부터 멀어지는 경우에 근처 영역에서 물품이 식별되지 않으면, 물품이 입고된 것으로 식별할 수 있다.

프로세서(140)는 제1 물품의 제1 피쳐를 획득할 수 있다. 상술한 예에서, 프로세서(140)는 식별된 영역의 근처 영역을 신경망 모델에 입력하여 물품을 식별할 수 있다. 또는, 프로세서(140)는 촬영 이미지를 신경망 모델에 입력하여 물품을 식별할 수도 있다. 또는, 프로세서(140)는 복수의 연속된 촬영 이미지를 신경망 모델에 입력하여 물품을 식별할 수도 있다.

프로세서(140)는 제1 피쳐를 메모리(130)에 저장하여 데이터베이스를 업데이트할 수 있다. 즉, 프로세서(140)는 입고되는 물품의 피쳐를 저장하여 데이터베이스를 구축할 수 있다.

프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 제2 물품이 보관실로부터 출고되는 것으로 식별되면 제2 물품의 제2 피쳐를 획득할 수 있다. 예를 들어, 프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득할 수 있다. 그리고, 프로세서(140)는 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역, 가령 살색과 같은 색상의 영역을 식별하며, 복수의 연속된 촬영 이미지로부터 식별된 영역의 움직임에 기초하여 출고를 식별할 수 있다. 가령, 프로세서(140)는 식별된 영역이 보관실(110)로 향했다가 다시 보관실(110)로부터 멀어지는 것을 식별할 수 있으며, 식별된 영역이 보관실(110)로 향하는 경우에 식별된 영역의 근처 영역에서 물품이 식별되지 않았으나, 식별된 영역이 보관실(110)로부터 멀어지는 경우에 근처 영역에서 물품이 식별되면, 물품이 출고된 것으로 식별할 수 있다.

프로세서(140)는 제2 물품의 제2 피쳐를 획득할 수 있다. 상술한 예에서, 프로세서(140)는 식별된 영역의 근처 영역을 신경망 모델에 입력하여 물품을 식별할 수 있다. 또는, 프로세서(140)는 촬영 이미지를 신경망 모델에 입력하여 물품을 식별할 수도 있다. 또는, 프로세서(140)는 복수의 연속된 촬영 이미지를 신경망 모델에 입력하여 물품을 식별할 수도 있다.

프로세서(140)는 데이터베이스로부터 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다. 예를 들어, 프로세서(140)는 데이터베이스에 저장된 복수의 피쳐 각각과 제2 피쳐의 거리에 기초하여 제2 피쳐에 대응되는 물품을 식별하고, 데이터베이스에서 해당 물품이 출고된 것으로 업데이트할 수 있다.

한편, 메모리(130)는 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델을 더 저장하고, 프로세서(140)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 또는 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고, 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다. 여기서, 제1 신경망 모델은 동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 제2 신경망 모델은 상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 제3 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델일 수 있다.

여기서, 프로세서(140)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 복수의 제2 피쳐를 가중합하고, 데이터베이스로부터 가중합된 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

또는, 프로세서(140)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델의 우선 순위에 기초하여 복수의 제2 피쳐의 우선 순위를 획득하고, 복수의 제2 피쳐의 우선 순위에 기초하여 데이터베이스로부터 복수의 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다.

가령, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 우선 순위가 가장 큰 제2 피쳐와 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

또는, 프로세서(140)는 제1 차이가 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 복수의 피쳐 각각의 유사도를 재식별하고, 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 제1 임계 값 이상이면, 제3 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

한편, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 제2 물품의 이미지를 제1 신경망 모델에 입력하여 제2 피쳐 1을 획득하고, 제2 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고, 제1 유사도와 제2 유사도의 차이가 제2 임계 값 미만이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상이면, 제2 물품의 이미지를 제2 신경망 모델에 입력하여 제2 피쳐 2를 획득하고, 데이터베이스로부터 제2 피쳐 2에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다.

또는, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 제2 물품의 이미지를 제1 신경망 모델에 입력하여 제2 피쳐 1을 획득하고, 제2 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 제2 물품의 이미지를 제3 신경망 모델에 입력하여 제2 피쳐 3을 획득하고, 데이터베이스로부터 제2 피쳐 3에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다.

한편, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 복수의 물품의 개수가 임계 개수 이상이면, 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행할 수 있다.

한편, 전자 장치(100)는 도어(door)를 더 포함할 수 있다. 이 경우, 프로세서(140)는 도어가 오픈되면 카메라(120)를 통해 보관실(110)의 일측을 촬영할 수도 있다. 이러한 동작을 통해 카메라(120)의 전력 소모를 줄일 수 있다.

이상에서는 제1 신경망 모델 내지 제3 신경망 모델이 이용되는 것으로 설명하였으나, 이는 일 실시 예에 불과하다. 예를 들어, 제1 신경망 모델 내지 제3 신경망 모델은 하나의 신경망 모델로 구현될 수도 있다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 세부 구성을 나타내는 블럭도이다. 전자 장치(100)는 보관실(110), 카메라(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 또한, 도 2에 따르면, 전자 장치(100)는 디스플레이(150), 통신 인터페이스(160), 사용자 인터페이스(170), 스피커(180), 마이크(190)를 더 포함할 수도 있다. 도 2에 도시된 구성 요소들 중 도 1에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.

디스플레이(150)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(150) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(150)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.

통신 인터페이스(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 전자 장치(100)는 통신 인터페이스(160)를 통해 서버와 통신을 수행할 수 있다.

통신 인터페이스(160)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.

무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

또는, 통신 인터페이스(160)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.

그 밖에 통신 인터페이스(160)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.

사용자 인터페이스(170)는 버튼, 터치 패드, 마우스 및 키보드 등으로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

스피커(180)는 프로세서(140)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.

마이크(180)는 사운드를 입력받아 오디오 신호로 변환하기 위한 구성이다. 마이크(180)는 프로세서(140)와 전기적으로 연결되며, 프로세서(140)의 제어에 의해 사운드를 수신할 수 있다.

예를 들어, 마이크(180)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 또는, 마이크(180)는 전자 장치(100)와는 별도의 리모컨 등에 구비될 수도 있다. 이 경우, 리모컨은 마이크(180)를 통해 사운드를 수신하고, 수신된 사운드를 전자 장치(100)로 제공할 수도 있다.

마이크(180)는 아날로그 형태의 사운드를 수집하는 마이크, 수집된 사운드를 증폭하는 앰프 회로, 증폭된 사운드를 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.

한편, 마이크(180)는 사운드 센서의 형태로 구현될 수도 있으며, 사운드를 수집할 수 있는 구성이라면 어떠한 방식이라도 무방하다.

이상과 같은 동작을 통해, 전자 장치(100)는 입출고 과정의 물품의 형상을 식별하여 재고 데이터베이스를 자체 구축 및 업데이트하므로, 비교 범위가 축소되고 유지 보수가 간단하며 바코드를 구비하지 않아도 되는 이점이 있다. 또한, 전자 장치(100)는 적어도 하나의 신경망 모델을 이용하여 물품의 형상을 비교하기 때문에 포즈가 변화하더라도 물품의 유사도 판단에 있어서 정확도가 향상되는 이점이 있다.

이하에서는 도 3 내지 도 12를 통해 전자 장치(100)의 동작을 좀더 구체적으로 설명한다. 특히, 도 3 내지 도 12에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 3 내지 도 12의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.

도 3은 본 개시의 일 실시 예에 따른 물품의 입출고 동작을 설명하기 위한 흐름도이다.

프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영할 수 있다(S310). 예를 들어, 전자 장치(100)는 도어를 포함하며, 프로세서(140)는 도어가 오픈되면 카메라(120)를 통해 보관실(110)의 일측을 촬영할 수 있다. 또는, 전자 장치(100)는 보관실(110)의 일측에 배치된 적외선 센서를 포함할 수도 있다. 이 경우, 프로세서(140)는 적외선 센서를 통해 보관실(110)의 일측 부근의 모션이 감지되면 카메라(120)를 통해 보관실(110)의 일측을 촬영할 수도 있다.

프로세서(140)는 카메라(120)를 통해 획득된 복수의 연속된 촬영 이미지로부터 식별된 영역의 움직임에 기초하여 입고 또는 출고를 식별할 수 있다. 예를 들어, 프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득하고, 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역을 식별하며, 복수의 연속된 촬영 이미지로부터 식별된 영역의 움직임에 기초하여 입고 또는 출고를 식별할 수 있다. 가령, 프로세서(140)는 복수의 연속된 촬영 이미지로부터 모션이 감지되는 영역의 픽셀을 식별하고, 식별된 영역의 픽셀 개수가 감소하면 물품이 입고되는 것으로 식별하고, 식별된 영역의 픽셀 개수가 증가하면 물품이 출고되는 것으로 식별할 수 있다. 또는, 프로세서(140)는 식별된 영역의 근처 영역에서 물품이 식별되다가 식별되지 않는지 또는 식별되지 않다가 식별되는지에 기초하여 물품의 입고 또는 출고를 식별할 수도 있다.

프로세서(140)는 물품이 입고되는 것으로 식별되면, 물품 영역을 식별하고(S330), 물품의 종류를 인식할 수 있다(S340). 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 물품의 종류를 인식하는 동작 없이 물품 영역을 식별할 수도 있다.

프로세서(140)는 물품 영역을 포함하는 이미지를 적어도 하나의 신경망 모델에 입력하여 피쳐를 획득할 수 있다(S350). 예를 들어, 프로세서(140)는 물품 영역을 포함하는 이미지를 적어도 하나의 신경망 모델에 입력하여 약 천 개의 피쳐를 획득할 수 있다.

프로세서(140)는 피쳐를 데이터베이스에 추가하는 방식으로 물품을 등록할 수 있다(S360). 또는, 프로세서(140)는 피쳐와 물품의 종류를 매칭하여 데이터베이스에 추가할 수도 있다. 또는, 프로세서(140)는 사용자로부터 물품의 명칭을 수신하고, 물품의 명칭과 피쳐를 매칭하여 데이터베이스에 추가할 수도 있다.

한편, 프로세서(140)는 물품이 출고되는 것으로 식별되면, 물품 영역을 식별하고(S335), 물품의 종류를 인식할 수 있다(S345). 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 물품의 종류를 인식하는 동작 없이 물품 영역을 식별할 수도 있다.

프로세서(140)는 물품 영역을 포함하는 이미지를 적어도 하나의 신경망 모델에 입력하여 피쳐를 획득할 수 있다(S355). 예를 들어, 프로세서(140)는 물품 영역을 포함하는 이미지를 적어도 하나의 신경망 모델에 입력하여 약 천 개의 피쳐를 획득할 수 있다.

프로세서(140)는 데이터베이스에 저장된 복수의 피쳐 각각과 획득된 피쳐를 비교하여(S365), 매칭된 물품을 출고 처리할 수 있다(S375).

이상과 같이 프로세서(140)는 입고된 물품에 대한 데이터베이스만을 구축하므로, 출고되는 물품의 비교 과정이 좀더 간단해질 수 있다. 또한, 프로세서(140)는 입고되는 물품이 정확히 어떤 물품인지를 식별하는 것이 아니라, 입고되는 물품의 피쳐를 추출하여 데이터베이스로 저장하므로, 새롭게 출시된 물품이더라도 물품에 대한 데이터베이스의 구축이 가능하다. 또한, 종래에는 물품이 정확히 어떤 물품인지 식별하기 위해 모든 물품에 대한 정보가 필요했으나, 본 개시에 의하면 모든 물품에 대한 정보가 불필요하므로, 구현이 용이한 장점이 있다.

도 4는 본 개시의 일 실시 예에 따른 보관실(110) 및 카메라(120)의 배치를 설명하기 위한 도면이다.

도 4에서는 설명의 편의를 위해, 전자 장치(100)가 냉장고인 것으로 가정하였다. 카메라(120)는 우측 상단에 배치되며, 보관실(110)을 촬영할 수 있다. 특히, 카메라(120)는 도어의 오픈에 따라 촬영을 수행할 수 있다.

다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 냉동고, 와인 셀러, 의류 관리기 등일 수 있으며, 보관실(110)이 구비된 장치라면 어떠한 장치라도 무방하다.

또한, 도 4에서는 카메라(120)의 식별을 위해 매우 큰 형태로 도시되었으나, 실제로는 소형의 카메라(120)가 힌지 부근에 배치될 수도 있다.

도 5는 본 개시의 일 실시 예에 따른 물품의 입고를 설명하기 위한 도면이다.

프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득할 수 있다. 예를 들어, 프로세서(140)는 도 5의 상단 도면과 같은 촬영 이미지를 획득하고, 이후 도 5의 하단 도면과 같은 촬영 이미지를 획득할 수 있다.

프로세서(140)는 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역을 식별할 수 있다. 예를 들어, 프로세서(140)는 살색의 영역을 식별하여 사용자의 손이 어떻게 움직이는지 식별할 수 있다. 그리고, 프로세서(140)는 사용자의 손의 근처 영역에서 물품이 식별되는지 여부로 물품의 입고 또는 출고를 식별할 수 있다. 가령, 프로세서(140)는 도 5의 상단 도면과 같이 사용자의 손의 근처 영역에서 물품이 식별된 후, 도 5의 하단 도면과 같이 사용자의 손의 근처 영역에서 물품이 식별되지 않으면 물품이 입고된 것으로 식별할 수 있다.

또는, 프로세서(140)는 복수의 연속된 촬영 이미지로부터 모션이 감지되는 영역의 픽셀을 식별할 수도 있다. 예를 들어, 프로세서(140)는 도 5의 상단 도면에서는 사용자의 손, 팔 및 고기를 식별할 수 있고, 도 5의 하단 도면에서는 사용자의 손 및 팔을 식별할 수 있다. 그리고, 프로세서(140)는 도 5의 상단 도면보다 도 5의 하단 도면에서 식별된 영역들의 픽셀 개수가 감소한 것으로 식별되면, 물품이 입고된 것으로 식별할 수도 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 얼마든지 다양한 방법으로 물품의 입고를 식별할 수도 있다.

도 6은 본 개시의 일 실시 예에 따른 물품의 출고를 설명하기 위한 도면이다.

프로세서(140)는 카메라(120)를 통해 보관실(110)의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득할 수 있다. 예를 들어, 프로세서(140)는 도 6의 상단 도면과 같은 촬영 이미지를 획득하고, 이후 도 6의 하단 도면과 같은 촬영 이미지를 획득할 수 있다.

프로세서(140)는 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역을 식별할 수 있다. 예를 들어, 프로세서(140)는 살색의 영역을 식별하여 사용자의 손이 어떻게 움직이는지 식별할 수 있다. 그리고, 프로세서(140)는 사용자의 손의 근처 영역에서 물품이 식별되는지 여부로 물품의 입고 또는 출고를 식별할 수 있다. 가령, 프로세서(140)는 도 6의 상단 도면과 같이 사용자의 손의 근처 영역에서 물품이 식별되지 않은 후, 도 6의 하단 도면과 같이 사용자의 손의 근처 영역에서 물품이 식별되면 물품이 출고된 것으로 식별할 수 있다.

또는, 프로세서(140)는 복수의 연속된 촬영 이미지로부터 모션이 감지되는 영역의 픽셀을 식별할 수도 있다. 예를 들어, 프로세서(140)는 도 6의 상단 도면에서는 사용자의 손 및 팔을 식별할 수 있고, 도 6의 하단 도면에서는 사용자의 손, 팔 및 고기를 식별할 수 있다. 그리고, 프로세서(140)는 도 6의 상단 도면보다 도 6의 하단 도면에서 식별된 영역들의 픽셀 개수가 증가한 것으로 식별되면, 물품이 출고된 것으로 식별할 수도 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 얼마든지 다양한 방법으로 물품의 입고를 식별할 수도 있다.

도 7 내지 도 9는 본 개시의 다양한 실시 예에 따른 유사도 판단 방법을 설명하기 위한 도면들이다.

메모리(130)는 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델을 저장할 수 있다. 여기서, 제1 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이다.

제2 신경망 모델은 상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델로서, 제1 신경망 모델보다 지엽적인 특징에 기초하여 피쳐를 추출하는 모델일 수 있다.

제3 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러 처리, 색도 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델로서, 제1 신경망 모델보다 대략적인 특징에 기초하여 피쳐를 추출하는 모델일 수 있다.

프로세서(140)는 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 또는 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 피쳐를 획득하고, 적어도 하나의 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

구체적으로, 프로세서(140)는 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 피쳐를 획득하고, 복수의 피쳐를 가중합하고, 데이터베이스로부터 가중합된 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

또는, 프로세서(140)는 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 피쳐를 획득하고, 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델의 우선 순위에 기초하여 복수의 피쳐의 우선 순위를 획득하고, 복수의 피쳐의 우선 순위에 기초하여 데이터베이스로부터 복수의 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다.

예를 들어, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 물품에 대응되는 복수의 피쳐 중 우선 순위가 가장 큰 피쳐와 데이터베이스에 포함된 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다. 가령, 제1 신경망 모델의 우선 순위가 가장 높은 경우, 프로세서(140)는 제1 신경망 모델로부터 출력된 피쳐와 데이터베이스에 포함된 복수의 피쳐 각각의 유사도를 식별할 수 있다. 복수의 유사도 중 하나의 유사도가 나머지와 상당한 차이를 보이는 경우, 물품이 보관실(110)에 보관된 복수의 물품 중 하나와 매우 유사하고 나머지와는 차이가 있는 것을 의미하며, 프로세서(140)는 해당 물품에 대한 피쳐를 데이터베이스에서 삭제할 수 있다.

다만, 프로세서(140)는 제1 차이가 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 피쳐와 데이터베이스에 포함된 복수의 피쳐 각각의 유사도를 재식별할 수 있다. 상술한 예에서, 제2 신경망 모델의 우선 순위가 제1 신경망 모델 다음인 경우, 제1 차이가 제1 임계 값 미만이면, 프로세서(140)는 제2 신경망 모델로부터 출력된 피쳐와 데이터베이스에 포함된 복수의 피쳐 각각의 유사도를 재식별할 수 있다. 프로세서(140)는 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 제1 임계 값 이상이면, 제3 유사도에 대응되는 물품이 출고된 것으로 식별할 수도 있다. 즉, 복수의 유사도 중 하나의 유사도가 나머지와 상당한 차이를 보이는 경우, 물품이 보관실(110)에 보관된 복수의 물품 중 하나와 매우 유사하고 나머지와는 차이가 있는 것을 의미하며, 프로세서(140)는 해당 물품에 대한 피쳐를 데이터베이스에서 삭제할 수 있다. 이는, 프로세서(140)가 신경망 모델을 변경하여 유사도가 높은 물품을 찾는 동작을 수행할 수도 있음을 의미한다.

또는, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 물품의 이미지를 제1 신경망 모델에 입력하여 피쳐 1을 획득하고, 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

다만, 제1 유사도와 제2 유사도의 차이가 제2 임계 값 미만이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상일 수도 있으며, 이는 물품과 유사한 형상의 복수의 물품이 있을 가능성이 높음을 의미한다. 이 경우, 프로세서(140)는 물품의 이미지를 제2 신경망 모델에 입력하여 피쳐 2를 획득하고, 데이터베이스로부터 피쳐 2에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다. 즉, 프로세서(140)는 좀더 지엽적인 특징에 기초하여 피쳐를 추출하는 제2 신경망 모델을 이용함에 따라 로고 등에 따른 유사도를 판단할 수 있게 된다.

또는, 데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 물품의 이미지를 제1 신경망 모델에 입력하여 피쳐 1을 획득하고, 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 물품의 이미지를 제3 신경망 모델에 입력하여 피쳐 3을 획득하고, 데이터베이스로부터 피쳐 3에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수도 있다. 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 물품의 포즈가 상당히 달라졌음을 의미한다. 따라서, 프로세서(140)는 좀더 대략적인 특징에 기초하여 피쳐를 추출하는 제3 신경망 모델을 이용함에 따라 포즈에 대한 기준이 좀더 완화된 상태로 유사도를 판단할 수 있게 된다.

이상과 같은 동작을 도면을 통해 좀더 구체적으로 설명하기 위해, 먼저 도 7의 가방의 피쳐가 기저장된 상태를 가정한다.

프로세서(140)는 도 7의 컵의 피쳐를 획득하기 위해, 컵의 이미지를 제1 신경망 모델이 입력하여 피쳐를 획득하고, 가방의 피쳐와 비교할 수 있다. 이 경우, 물품의 형태는 다르나 로고 등에 의해 유사도가 일정 수준 이상으로 나올 수 있다. 다만, 물품의 형태가 다르므로 다른 물품이 추가로 있는 경우 다른 물품과의 유사도 차이가 크지 않을 수 있다.

이 경우, 프로세서(140)는 컵의 이미지를 제2 신경망 모델이 입력하여 피쳐를 획득하고, 가방의 피쳐와 비교할 수 있다. 제2 신경망 모델은 로고 등을 반영할 수 있으므로, 좀더 유사도가 높게 나오며, 다른 물품이 로고 다르다면 유사도 간의 차이가 커질 수 있다.

도 8에서는 우측 컵의 피쳐가 기저장된 상태를 가정한다.

프로세서(140)는 도 8의 좌측 컵의 피쳐를 획득하기 위해, 컵의 이미지를 제1 신경망 모델이 입력하여 피쳐를 획득하고, 우측 컵의 피쳐와 비교할 수 있다. 이 경우, 로고의 유무 차이가 있으나, 물품의 형태가 유사하므로, 유사도가 높게 나올 수 있다.

도 9에서는 동일한 물품이나 포즈가 상이하며, 포즈가 달라 지엽적인 특징도 상이한 경우를 가정하였다.

이 경우, 프로세서(140)는 좌측 상단의 물품의 이미지 및 좌측 하단의 물품의 이미지 각각을 smoothing 처리, 블러 처리, 색도 낮추기 또는 색상값 낮추기 중 적어도 수행한 후, 영상 처리된 두 이미지를 제3 신경망 모델이 입력하여 각각의 피쳐를 획득할 수 있다. 특히, 물품이 출고된 것으로 식별되었음에도, 유사도가 높은 물품이 식별되지 않은 경우, 제3 신경망 모델을 이용할 수 있다.

도 10은 본 개시의 일 실시 예에 따른 리맵핑 동작을 설명하기 위한 도면이다.

데이터베이스는 보관실(110)에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 프로세서(140)는 복수의 물품의 개수가 임계 개수 이상이면, 복수의 피쳐 간의 유사도가 감소하도록 리맵핑 동작을 수행할 수 있다.

또는, 프로세서(140)는 보관실(110)에 보관된 복수의 물품과 유사한 형상의 물품이 입고되는 경우, 복수의 피쳐 간의 유사도가 감소하도록 리맵핑 동작을 수행할 수도 있다.

프로세서(140)는 서로 다른 물품 간에는 유사도 비교(ex : euclidian distance, cosine similarity 등) 관점에서의 피쳐 간 거리를 멀게 떨어지게 하는 리맵핑 동작을 수행할 수 있다. 이 경우, 데이터베이스에 포함된 복수의 피쳐가 변환되고, 리맵핑 동작 이후 출고되는 물품의 영상에서 추출된 피쳐에 적용하여 유사도를 비교하는데 사용될 수 있다.

프로세서(140)는 보관실(110)에 보관된 복수의 물품의 개수 또는 유형에 따라 기설정된 시간 간격으로 리맵핑 동작을 수행할 수 있다.

리맵핑 동작에서 이용되는 리맵핑 함수는 기 정의된 복수의 함수 중에 현재 보관중인 물품으로부터 추출된 피쳐가 최대한 분산될 수 있는 함수일 수 있다. 또는, 리맵핑 함수는 도 10에 도시된 바와 같이, 각 특징점이 분산되어 멀어질 수 있는 변환식을 간단한 신경망으로 구성하여 구현된 신경망 모델일 수도 있다.

도 11은 본 개시의 다른 실시 예에 따른 물품의 입출고 동작을 설명하기 위한 흐름도이다.

도 11의 각 단계 중 일부는 도 3와 동일하여 중복되는 부분에 대한 설명은 생략한다.

프로세서(140)는 물품이 입고된 것으로 식별된 후, 피쳐를 획득하기 전 영상을 전처리할 수 있다(S1150). 다만, 이는 선택적인 동작일 수 있다.

프로세서(140)는 피쳐가 획득되면, 데이터베이스를 업데이트할 수 있다(S1170). 예를 들어, 도 11의 좌측 하단의 도면과 같이 고기의 이미지로부터 피쳐(f1, f2, ...)가 획득될 수 있으며, 프로세서(140)는 피쳐를 데이터베이스에 추가할 수 있다.

프로세서(140)는 데이터베이스가 업데이트되면, 리맵핑 조건을 충족하는지 식별하고(S1180), 리맵핑이 필요하다고 식별되면 데이터베이스와 피쳐를 비교하여(S1190), 리맵핑 동작을 수행할 수 있다.

또는, 프로세서(140)는 물품이 출고된 것으로 식별된 후, 피쳐를 획득하기 전 영상을 전처리할 수 있다(S1155). 다만, 이는 선택적인 동작일 수 있다.

프로세서(140)는 피쳐가 획득되면, 데이터베이스를 리맵핑할 수 있다(S1175). 즉, 프로세서(140)는 유사도 식별 동작을 수행하기 전, 유사도 식별이 좀더 용이하게 데이터베이스를 리맵핑할 수도 있다. 다만, 이는 선택적인 동작일 수 있다.

도 12는 본 개시의 일 실시 예에 따른 피쳐 추출 및 피쳐 리맵핑을 설명하기 위한 도면이다.

피쳐 추출 레이어(feature extraction layer, 1210)는 DNN 특징 추출 레이어 및 추가 DNN 특징 추출 레이어를 포함할 수 있다. 피쳐 추출 레이어(1210)는 물품의 특성 혹은 범용적인 목적으로 구성할 수 있다. 즉, 피쳐 추출 레이어(1210)는 발생 가능한 모든 물품을 고려하여 DNN이 구성될 수 있다.

피쳐 리맵핑 레이어(feature remap layer, 1220)는 built-in 함수를 이용하거나, on-device 모델링 또는 서버에서의 데이터 분석 및 학습 등의 방법으로 제공될 수 있다. 피쳐 리맵핑 레이어(1220)는 사용자 특화 용으로 최적화될 수 있고, 특히 좀더 간단한 구성의 DNN 혹은 변환 함수로 구성될 수 있다.

도 13은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.

먼저, 전자 장치의 보관실의 일측을 촬영하여 제1 물품이 보관실로 입고되는 것으로 식별되면 제1 물품의 제1 피쳐(feature)를 획득한다(S1310). 그리고, 제1 피쳐를 전자 장치의 메모리에 저장하여 보관실에 보관된 물품에 대한 데이터베이스를 업데이트한다(S1320). 그리고, 보관실의 일측을 촬영하여 제2 물품이 보관실로부터 출고되는 것으로 식별되면 제2 물품의 제2 피쳐를 획득한다(S1330). 그리고, 데이터베이스로부터 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트한다(S1340).

여기서, 제2 피쳐를 획득하는 단계(S1330)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 또는 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하고, 제1 신경망 모델은 동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 제2 신경망 모델은 상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고, 제3 신경망 모델은 동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델일 수 있다.

그리고, 제2 피쳐를 획득하는 단계(S1330)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 복수의 제2 피쳐를 가중합하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 데이터베이스로부터 가중합된 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

또한, 제2 피쳐를 획득하는 단계(S1330)는 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델의 우선 순위에 기초하여 복수의 제2 피쳐의 우선 순위를 획득하고, 복수의 제2 피쳐의 우선 순위에 기초하여 데이터베이스로부터 복수의 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

여기서, 데이터베이스는 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 우선 순위가 가장 큰 제2 피쳐와 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

그리고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 제1 차이가 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 복수의 피쳐 각각의 유사도를 재식별하고, 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 제1 임계 값 이상이면, 제3 유사도에 대응되는 물품이 출고된 것으로 식별할 수 있다.

한편, 데이터베이스는 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 제2 피쳐를 획득하는 단계(S1330)는 제2 물품의 이미지를 제1 신경망 모델에 입력하여 제2 피쳐 1을 획득하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 제2 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상이면, 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고, 제1 유사도와 제2 유사도의 차이가 제2 임계 값 미만이고, 제1 유사도 및 제2 유사도가 제3 임계 값 이상이면, 제2 물품의 이미지를 제2 신경망 모델에 입력하여 제2 피쳐 2를 획득하고, 데이터베이스로부터 제2 피쳐 2에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

그리고, 데이터베이스는 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 제2 피쳐를 획득하는 단계(S1330)는 제2 물품의 이미지를 제1 신경망 모델에 입력하여 제2 피쳐 1을 획득하고, 제2 피쳐에 대응되는 물품을 식별하여 데이터베이스를 업데이트하는 단계(S1340)는 제2 피쳐 1과 복수의 피쳐 각각의 유사도를 식별하고, 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 제2 물품의 이미지를 제3 신경망 모델에 입력하여 제2 피쳐 3을 획득하고, 데이터베이스로부터 제2 피쳐 3에 대응되는 물품을 식별하여 데이터베이스를 업데이트할 수 있다.

한편, 데이터베이스는 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고, 제어 방법은 복수의 물품의 개수가 임계 개수 이상이면, 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행하는 단계를 더 포함할 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 입출고 과정의 물품의 형상을 식별하여 재고 데이터베이스를 자체 구축 및 업데이트하므로, 비교 범위가 축소되고 유지 보수가 간단하며 바코드를 구비하지 않아도 되는 이점이 있다.

또한, 전자 장치는 적어도 하나의 신경망 모델을 이용하여 물품의 형상을 비교하기 때문에 포즈가 변화하더라도 물품의 유사도 판단에 있어서 정확도가 향상되는 이점이 있다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 건조 장치(예: 건조 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 전자 장치 110 : 보관실
120 : 카메라 130 : 메모리
140 : 프로세서 150 : 디스플레이
160 : 통신 인터페이스 170 : 사용자 인터페이스
180 : 스피커 190 : 마이크

Claims (20)

1. 전자 장치에 있어서,
   보관실;
   카메라;
   상기 보관실에 보관된 물품에 대한 데이터베이스가 저장된 메모리; 및
   상기 카메라 및 상기 메모리에 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하며,
   상기 프로세서는,
   상기 카메라를 통해 상기 보관실의 일측을 촬영하여 제1 물품이 상기 보관실로 입고되는 것으로 식별되면 상기 제1 물품의 제1 피쳐(feature)를 획득하고,
   상기 제1 피쳐를 상기 메모리에 저장하여 상기 데이터베이스를 업데이트하고,
   상기 카메라를 통해 상기 보관실의 일측을 촬영하여 제2 물품이 상기 보관실로부터 출고되는 것으로 식별되면 상기 제2 물품의 제2 피쳐를 획득하고,
   상기 데이터베이스로부터 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 전자 장치.
2. 제1항에 있어서,
   상기 메모리는, 제1 신경망 모델, 제2 신경망 모델 및 제3 신경망 모델을 더 저장하고,
   상기 프로세서는,
   상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 또는 상기 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고,
   상기 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하고,
   상기 제1 신경망 모델은,
   동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고,
   상기 제2 신경망 모델은,
   상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고,
   상기 제3 신경망 모델은,
   동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델인, 전자 장치.
3. 제2항에 있어서,
   상기 프로세서는,
   상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고,
   상기 복수의 제2 피쳐를 가중합하고,
   상기 데이터베이스로부터 상기 가중합된 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 전자 장치.
4. 제2항에 있어서,
   상기 프로세서는,
   상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고,
   상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델의 우선 순위에 기초하여 상기 복수의 제2 피쳐의 우선 순위를 획득하고,
   상기 복수의 제2 피쳐의 우선 순위에 기초하여 상기 데이터베이스로부터 상기 복수의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 전자 장치.
5. 제4항에 있어서,
   상기 데이터베이스는,
   상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
   상기 프로세서는,
   우선 순위가 가장 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 식별하고,
   상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하는, 전자 장치.
6. 제5항에 있어서,
   상기 프로세서는,
   상기 제1 차이가 상기 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 재식별하고,
   상기 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 상기 제1 임계 값 이상이면, 상기 제3 유사도에 대응되는 물품이 출고된 것으로 식별하는, 전자 장치.
7. 제2항에 있어서,
   상기 데이터베이스는,
   상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
   상기 프로세서는,
   상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고,
   상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고,
   상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 상기 제1 유사도 및 상기 제2 유사도가 제3 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고,
   상기 제1 유사도와 상기 제2 유사도의 차이가 상기 제2 임계 값 미만이고, 상기 제1 유사도 및 상기 제2 유사도가 상기 제3 임계 값 이상이면, 상기 제2 물품의 이미지를 상기 제2 신경망 모델에 입력하여 상기 제2 피쳐 2를 획득하고,
   상기 데이터베이스로부터 상기 제2 피쳐 2에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 전자 장치.
8. 제2항에 있어서,
   상기 데이터베이스는,
   상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
   상기 프로세서는,
   상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고,
   상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고,
   상기 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 상기 제2 물품의 이미지를 상기 제3 신경망 모델에 입력하여 상기 제2 피쳐 3을 획득하고,
   상기 데이터베이스로부터 상기 제2 피쳐 3에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 전자 장치.
9. 제1항에 있어서,
   상기 데이터베이스는,
   상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
   상기 프로세서는,
   상기 복수의 물품의 개수가 임계 개수 이상이면, 상기 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행하는, 전자 장치.
10. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 상기 보관실의 일측을 촬영하여 복수의 연속된 촬영 이미지를 획득하고,
    상기 복수의 연속된 촬영 이미지로부터 기설정된 색상의 영역을 식별하며,
    상기 복수의 연속된 촬영 이미지로부터 상기 식별된 영역의 움직임에 기초하여 상기 입고 또는 상기 출고를 식별하는, 전자 장치.
11. 제1항에 있어서,
    도어(door);를 더 포함하며,
    상기 프로세서는,
    상기 도어가 오픈되면 상기 카메라를 통해 상기 보관실의 일측을 촬영하는, 전자 장치.
12. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치의 보관실의 일측을 촬영하여 제1 물품이 상기 보관실로 입고되는 것으로 식별되면 상기 제1 물품의 제1 피쳐(feature)를 획득하는 단계;
    상기 제1 피쳐를 상기 전자 장치의 메모리에 저장하여 상기 보관실에 보관된 물품에 대한 데이터베이스를 업데이트하는 단계;
    상기 보관실의 일측을 촬영하여 제2 물품이 상기 보관실로부터 출고되는 것으로 식별되면 상기 제2 물품의 제2 피쳐를 획득하는 단계; 및
    상기 데이터베이스로부터 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계;를 포함하는, 제어 방법.
13. 제12항에 있어서,
    상기 제2 피쳐를 획득하는 단계는,
    상기 제2 물품의 이미지를 제1 신경망 모델, 제2 신경망 모델 또는 제3 신경망 모델 중 적어도 하나에 입력하여 적어도 하나의 제2 피쳐를 획득하고,
    상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 적어도 하나의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하고,
    상기 제1 신경망 모델은,
    동일한 물품의 복수의 포즈(pose)의 형상이 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고,
    상기 제2 신경망 모델은,
    상이한 물품의 로고, 형상 또는 텍스쳐 중 적어도 하나가 동일한 경우가 동일한 클래스로 매핑된 학습 데이터에 기초하여 학습된 모델이고,
    상기 제3 신경망 모델은,
    동일한 물품의 복수의 포즈의 형상이 동일한 클래스로 매핑된 학습 데이터에 대해 smoothing 처리, 블러(blur) 처리, 색도(chromacity) 낮추기 또는 색상값 낮추기 중 적어도 하나가 수행된 학습 데이터에 기초하여 학습된 모델인, 제어 방법.
14. 제13항에 있어서,
    상기 제2 피쳐를 획득하는 단계는,
    상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고,
    상기 복수의 제2 피쳐를 가중합하고,
    상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 데이터베이스로부터 상기 가중합된 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 제어 방법.
15. 제13항에 있어서,
    상기 제2 피쳐를 획득하는 단계는,
    상기 제2 물품의 이미지를 상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델에 각각 입력하여 복수의 제2 피쳐를 획득하고,
    상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 제1 신경망 모델, 상기 제2 신경망 모델 및 상기 제3 신경망 모델의 우선 순위에 기초하여 상기 복수의 제2 피쳐의 우선 순위를 획득하고,
    상기 복수의 제2 피쳐의 우선 순위에 기초하여 상기 데이터베이스로부터 상기 복수의 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 제어 방법.
16. 제15항에 있어서,
    상기 데이터베이스는,
    상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
    상기 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    우선 순위가 가장 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 식별하고,
    상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 제1 차이가 제1 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하는, 제어 방법.
17. 제16항에 있어서,
    상기 상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 제1 차이가 상기 제1 임계 값 미만이면, 우선 순위가 두 번째로 큰 제2 피쳐와 상기 복수의 피쳐 각각의 유사도를 재식별하고,
    상기 재식별된 유사도 중 가장 큰 제3 유사도와 두 번째로 큰 제4 유사도의 제2 차이가 상기 제1 임계 값 이상이면, 상기 제3 유사도에 대응되는 물품이 출고된 것으로 식별하는, 제어 방법.
18. 제13항에 있어서,
    상기 데이터베이스는,
    상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
    상기 제2 피쳐를 획득하는 단계는,
    상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고,
    상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고,
    상기 식별된 유사도 중 가장 큰 제1 유사도와 두 번째로 큰 제2 유사도의 차이가 제2 임계 값 이상이고, 상기 제1 유사도 및 상기 제2 유사도가 제3 임계 값 이상이면, 상기 제1 유사도에 대응되는 물품이 출고된 것으로 식별하고,
    상기 제1 유사도와 상기 제2 유사도의 차이가 상기 제2 임계 값 미만이고, 상기 제1 유사도 및 상기 제2 유사도가 상기 제3 임계 값 이상이면, 상기 제2 물품의 이미지를 상기 제2 신경망 모델에 입력하여 상기 제2 피쳐 2를 획득하고,
    상기 데이터베이스로부터 상기 제2 피쳐 2에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 제어 방법.
19. 제13항에 있어서,
    상기 데이터베이스는,
    상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
    상기 제2 피쳐를 획득하는 단계는,
    상기 제2 물품의 이미지를 상기 제1 신경망 모델에 입력하여 상기 제2 피쳐 1을 획득하고,
    상기 제2 피쳐에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는 단계는,
    상기 제2 피쳐 1과 상기 복수의 피쳐 각각의 유사도를 식별하고,
    상기 식별된 유사도 중 가장 큰 유사도가 제4 임계 값 미만이면, 상기 제2 물품의 이미지를 상기 제3 신경망 모델에 입력하여 상기 제2 피쳐 3을 획득하고,
    상기 데이터베이스로부터 상기 제2 피쳐 3에 대응되는 물품을 식별하여 상기 데이터베이스를 업데이트하는, 제어 방법.
20. 제12항에 있어서,
    상기 데이터베이스는,
    상기 보관실에 보관된 복수의 물품에 대한 복수의 피쳐를 포함하고,
    상기 제어 방법은,
    상기 복수의 물품의 개수가 임계 개수 이상이면, 상기 복수의 피쳐 간의 유사도가 감소하도록 리맵핑(remapping) 동작을 수행하는 단계;를 더 포함하는, 제어 방법.

Images