KR20230038020A

KR20230038020A - 상품 인식 장치 및 이의 제어 방법

Info

Publication number: KR20230038020A
Application number: KR1020210121240A
Authority: KR
Inventors: 이건희; 신철호
Original assignee: 롯데정보통신 주식회사
Priority date: 2021-09-10
Filing date: 2021-09-10
Publication date: 2023-03-17
Also published as: KR102635277B1

Abstract

상품 인식 장치 및 이의 제어 방법이 개시된다. 이에 의한 상품 인식 장치는, 상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 영상 처리부; 와, 상기 복수개의 영상을 복수개의 영역으로 분할하고, 상기 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하며, 상기 중복 블록들을 연결하는 중복기준선을 생성한 후 상기 중복기준선의 외측영역에 위치한 객체들을 필터링하는 중복영역 인식부; 와, 상기 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 상품 인식부; 및, 상기 상품데이터에 기초하여 재고 수준을 모니터링 하는 제어부; 를 포함한다.

Description

상품 인식 장치 및 이의 제어 방법{PRODUCT RECOGNIZING APPARATUS AND CONTROLLING METHOD OF THE SAME}

본 발명은 상품 인식 장치 및 이의 제어 방법에 관한 것으로서, 보다 상세하게는 상품 인식을 위한 촬영 영상 간의 중복 객체를 검출하고 이에 기초하여 상품 개수를 인식하는 상품 인식 장치 및 이의 제어 방법에 관한 것이다.

기존에 매장이나 상품 보관 장소에서의 상품 관리는 높은 상품 폐기율, 결품으로 인한 판매기회 손실, 과다재고로 인한 재고관리 비용 증가의 문제를 가지고 있다. 상품 재고 관리를 위한 기존의 방법은 상품의 개수를 각각 세고 수기로 입력하기 때문에, 많은 시간과 인적 자원을 필요로 한다. 이를 개선하기 위하여 바코드 스캐너를 사용하고 있으나, 이 경우에도 모든 상품에 대한 태깅을 필요로 하므로 실효성은 높지 않다. 이와 같은 문제점을 해결하기 위하여, 상품을 촬영하여 영상을 획득하고 영상으로부터 상품에 대한 데이터를 수집하는 방법이 제안되었다.

유통매장의 선반 구성은 여러 대의 선반을 연이어 배치한 형태이므로, 단일 카메라 촬영만으로는 하나의 영상에 전체의 선반 구성을 담을 수 없다. 또한, 파노라마 사진 촬영이나 광각 카메라를 사용하는 경우에도, 사진의 왜곡으로 인해 수많은 상품이 배치된 선반의 구성을 상세하게 담기 어렵다. 나아가, 수평 또는 수직으로 연속된 사진 촬영을 하는 경우에는, 렌즈 굴절 및 화각의 변화로 인한 중복 영역이 발생할 수 있으며, 영상의 기하학적 변형(geometric transformation)으로 인해 해당 영역을 고정된 값으로 필터링 할 수 없다.

한국등록특허공보 제10-1648677호(2016.08.09.)

본 발명이 해결하고자 하는 과제는, 상품 인식을 위한 촬영 영상 간의 중복 객체를 검출하고 이에 기초하여 상품 개수를 인식하는 상품 인식 장치 및 이의 제어 방법을 제공하는 것이다.

본 발명의 일 실시예에 의한 상품 인식 장치는, 상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 영상 처리부; 와, 상기 복수개의 영상을 복수개의 영역으로 분할하고, 상기 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하며, 상기 중복 블록들을 연결하는 중복기준선을 생성한 후 상기 중복기준선의 외측영역에 위치한 객체들을 필터링하는 중복영역 인식부; 와, 상기 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 상품 인식부; 및, 상기 상품데이터에 기초하여 재고 수준을 모니터링 하는 제어부; 를 포함할 수 있다.

상기 상품 인식 장치에 있어서, 상기 중복영역 인식부는, 상기 제1영역을 복수개의 제1기준블록으로 분할하고 상기 제2영역을 복수개의 제2비교블록으로 분할하며, 상기 제1영역의 우측에 배치된 상기 복수개의 제1기준블록과 상기 제2영역의 좌측에 배치된 상기 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고 상기 특징 벡터들 간의 유사도를 비교하여 상기 중복 블록들을 판단할 수 있다.

상기 상품 인식 장치에 있어서, 상기 상품 인식부는, 상기 제1영역의 경우 상기 중복기준선을 기준으로 좌측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하고, 상기 제2영역의 경우 상기 중복기준선을 기준으로 우측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행할 수 있다.

상기 상품 인식 장치에 있어서, 상기 중복영역 인식부는, 상기 제1영역과 상기 제2영역 각각을 복수개의 블록으로 분할하고, 상기 복수개의 블록으로부터 특징 벡터들을 추출하여 상기 특징 벡터들 간의 거리를 계산한 후, 계산된 상기 거리가 임계값 이하인 지점들에 기초하여 상기 중복 블록들을 판단할 수 있다.

상기 상품 인식 장치에 있어서, 상기 중복영역 인식부는, 동적 슬라이딩 윈도우(dynamic sliding window) 방식으로 상기 복수개의 영상 각각을 상기 복수개의 영역으로 분할할 수 있다.

상기 상품 인식 장치에 있어서, 상기 제어부는, 상기 상품데이터를 실시간으로 인식하여 상기 상품의 상기 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시키고, 상기 이벤트의 시간대별 로그에 기초하여 상기 재고 수준을 관리하고 상기 상품의 주문시기 및 주문량 중 적어도 하나를 결정할 수 있다.

본 발명의 다른 실시예에 의한 상품 인식 장치의 제어 방법은, 상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 단계; 와, 상기 복수개의 영상을 복수개의 영역으로 분할하고, 상기 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하는 단계; 와, 상기 중복 블록들을 연결하는 중복기준선을 생성한 후 상기 중복기준선의 외측영역에 위치한 객체들을 필터링하는 단계; 와, 상기 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 단계; 및, 상기 상품데이터에 기초하여 재고 수준을 모니터링 하는 단계; 를 포함할 수 있다.

상기 상품 인식 장치의 제어 방법에 있어서, 상기 제1영역을 복수개의 제1기준블록으로 분할하고 상기 제2영역을 복수개의 제2비교블록으로 분할하며, 상기 제1영역의 우측에 배치된 상기 복수개의 제1기준블록과 상기 제2영역의 좌측에 배치된 상기 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고 상기 특징 벡터들 간의 유사도를 비교하여 상기 중복 블록들을 판단할 수 있다.

상기 상품 인식 장치의 제어 방법에 있어서, 상기 제1영역의 경우 상기 중복기준선을 기준으로 좌측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하고, 상기 제2영역의 경우 상기 중복기준선을 기준으로 우측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행할 수 있다.

상기 상품 인식 장치의 제어 방법에 있어서, 상기 제1영역과 상기 제2영역 각각을 복수개의 블록으로 분할하고, 상기 복수개의 블록으로부터 특징 벡터들을 추출하여 상기 특징 벡터들 간의 거리를 계산한 후, 계산된 상기 거리가 임계값 이하인 지점들에 기초하여 상기 중복 블록들을 판단할 수 있다.

상기 상품 인식 장치의 제어 방법에 있어서, 동적 슬라이딩 윈도우 방식으로 상기 복수개의 영상 각각을 상기 복수개의 영역으로 분할할 수 있다.

상기 상품 인식 장치의 제어 방법에 있어서, 상기 상품데이터를 실시간으로 인식하여 상기 상품의 상기 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시키고, 상기 이벤트의 시간대별 로그에 기초하여 상기 재고 수준을 관리하고 상기 상품의 주문시기 및 주문량 중 적어도 하나를 결정할 수 있다.

본 발명의 실시예에 따르면, 상품 인식을 위한 촬영 영상 간의 중복 객체를 검출하고 이에 기초하여 상품 개수를 인식할 수 있다.

또한, 본 발명의 실시예에 따르면, 수작업으로 상품 개수를 세어 재고 관리를 했던 기존의 방식에서 벗어나, 매장 및 상품 보관 장소에 산재되어 있는 상품에 대해 카메라 촬영만으로도 해당 상품의 재고와 브랜드 및 치수 등의 데이터를 수집할 수 있다.

도 1은 상품 검출을 위해 일반적인 스티칭 기술에 의해 이미지를 연결하는 경우를 도시한다.
도 2는 일반적인 이미지 스티칭을 위해 affine 변환이 필요한 경우를 도시한다.
도 3은 본 발명에 따른 상품 인식 장치의 구성을 도시한 블록도이다.
도 4a와 도 4b는 본 발명에 따른 상품 인식 장치가 중복 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 5a와 도 5b는 본 발명에 따른 상품 인식 장치가 블록 단위로 중복 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 상품 인식 장치가 블록 단위로 중복 영역을 검출하는 구체적인 예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 상품 인식 장치가 생성하는 중복기준선을 도시한 도면이다.
도 8a 내지 도 8e는 본 발명에 따른 상품 인식 장치가 중복 객체를 검출하여 재고 관리를 수행하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 의한 상품 인식 장치의 구성을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 상품 인식 장치의 제어 과정을 도시한 도면이다.
도 11은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 상품 검출을 위해 일반적인 스티칭 기술에 의해 이미지를 연결하는 경우를 도시한다.

일반적으로, 넓은 매대에서의 중복 상품 검출을 위해 이미지를 이어 붙이는 스티칭 기술을 사용한다. 이미지 스티칭 기술은 다수의 이미지를 하나로 만드는 경우 일반적으로 사용하는 기술이다. 이미지 스티칭 알고리즘은, 먼저 특징점을 추출하고, 특징점끼리 매칭한 모든 선을 생성한 후, 가장 올바른 매칭을 선정하는 과정을 거쳐 이미지 간 매칭을 시킨다. 그러나, 이와 같은 이미지 스티칭 알고리즘은 시간 복잡도가 높아 실시간 영상 분석에 적합하지 않다.

또한, 이미지 스티칭 알고리즘을 수행하는 경우, 영상 간의 중복 영역을 30~50% 정도 포함시켜야만 중복 상품의 빠른 검출이 가능하다는 문제점이 존재한다.

도 1을 참조하면, 좌측의 제1이미지(110)와 우측의 제2이미지(120)를 스티칭 한다. 이 경우, 제1이미지(110) 내에서의 제1중복영역(115)과 제2이미지(120) 내에서의 제2중복영역(125)을 설정하게 되는데, 이에 의해 중복영역으로 각 이미지의 50% 정도를 사용하게 된다. 따라서, 상품 매대를 촬영하는 경우 각 이미지의 30~50%가 중복영역으로 설정되도록 촬영하게 되면, 방법적 측면 및 시간적 측면에서 비효율적이다.

도 2는 일반적인 이미지 스티칭을 위해 affine 변환이 필요한 경우를 도시한다.

일반적으로 사진을 촬영하여 획득하는 경우 촬영된 각도가 기울어지거나 중복영역이 생길 수 있다. 따라서, 이미지 스티칭 기법을 사용하여 중복영역을 검출하는 경우에는, 공간 왜곡에 대한 보정이 필요하다. 즉, 이미지를 같은 각도로 회전시켜 맞추기 위해서, 이미지에 대해 affine 변환을 수행해야 한다.

도 2에서, 좌측 도면(210)과 우측 도면(220)은 동일한 상품을 각각 다른 각도로 촬영한 사진이다. 이 경우, 일반 픽셀로 비교하게 되면, 각도에 따라 동일한 상품(215, 225)을 다른 상품으로 인지하거나, 공간의 중복 감지에 실패할 수 있다. 따라서, 동일한 영역이라고 판단하기 위해서는, affine 변환을 수행하여 각도 왜곡에 대한 보정 처리를 해주어야 한다. 이와 같은 affine 변환은 연산 과정이 복잡하고 시간이 많이 걸린다.

본 발명에서는 이러한 문제점을 해결하기 위하여, 특징 벡터를 추출하고 이에 기초하여 중복 영역을 판단한다. 특징 벡터(Feature Vector)를 추출하게 되면 특징점을 통해 서로 다르게 보이는 두 이미지의 블록이 같은 영역임을 인식할 수 있고, 이를 통해 중복 상품임을 인식하는 것이 가능하게 된다.

구체적으로, 특징 벡터를 사용하여 중복 영역을 검출하는 경우 다음과 같은 장점을 가진다.

특징 벡터를 이용하는 경우 유사도만 판단하기 때문에, affine 변환과 같은 왜곡 보정을 위한 복잡한 알고리즘을 사용하지 않고도 중복영역 검출이 가능하다. 이 경우, 복잡한 알고리즘을 사용하지 않아도 되므로, 중복 영역을 신속하게 검출할 수 있게 되어 검출 시간이 단축되고 실시간 검출이 가능하게 된다.

또한, 다른 화각에서 영상을 촬영하는 경우에도 중복 영역의 검출이 가능하다. 이에 의해, 중복 영역 검출 시 특징 벡터를 이용함으로써, 다양한 화각에서도 중복 영역을 검출할 수 있게 된다.

나아가, 이러한 특성을 이용하여, 일반적인 2D 카메라뿐만 아니라 3D 카메라를 사용하는 경우에도 다양한 화각에서의 중복 영역 검출이 용이하다.

도 3은 본 발명에 따른 상품 인식 장치의 구성을 도시한 블록도이다.

본 발명에 따른 상품 인식 장치(300)는 다수의 이미지를 하나로 연결하는 기술을 응용하여, 가로 또는 세로로 되어 있는 넓은 매대에 대한 복수개의 영상에서 중복된 상품을 검출할 수 있다.

본 발명에 따른 상품 인식 장치(300)는 영상 처리부(310), 중복영역 인식부(320), 상품 인식부(330) 및 제어부(340)를 포함하여 구성될 수 있다.

영상 처리부(310)는 상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득할 수 있다.

이를 위해, 영상 처리부(310)는 상품이 진열된 매대를 수직 방향 또는 수평 방향으로 연속적으로 촬영할 수 있다.

중복영역 인식부(320)는 복수개의 영상을 복수개의 영역으로 분할하고, 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단할 수 있다. 이 경우, 중복영역 인식부(320)는 중복 블록들을 연결하는 중복기준선을 생성하고, 중복기준선의 외측영역에 위치한 객체들을 필터링할 수 있다.

구체적으로, 중복영역 인식부(320)는 제1영역을 복수개의 제1기준블록으로 분할하고 제2영역을 복수개의 제2비교블록으로 분할하며, 제1영역의 우측에 배치된 복수개의 제1기준블록과 제2영역의 좌측에 배치된 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고, 특징 벡터들 간의 유사도를 비교하여 중복 블록들을 판단할 수 있다.

일 실시예에 의하면, 중복영역 인식부(320)는 제1영역과 제2영역 각각을 복수개의 블록으로 분할하고, 복수개의 블록으로부터 특징 벡터들을 추출하여 특징 벡터들 간의 거리를 계산한 후, 계산된 거리가 임계값 이하인 지점들에 기초하여 중복 블록들을 판단할 수 있다.

중복영역 인식부(320)는 동적 슬라이딩 윈도우(dynamic sliding window) 방식으로 복수개의 영상 각각을 복수개의 영역으로 분할할 수 있다.

상품 인식부(330)는 중복기준선의 내측영역에 위치한 객체들에 대해 상품인식을 수행하여 상품데이터를 수집할 수 있다.

구체적으로, 상품 인식부(330)는 제1영역의 경우 중복기준선을 기준으로 좌측 방향에 존재하는 내측영역에 대해서 상품인식을 수행하고, 제2영역의 경우 중복기준선을 기준으로 우측 방향에 존재하는 내측영역에 대해서 상품인식을 수행할 수 있다.

상품 인식부(330)는 객체의 형태, 바코드나 QR 코드 등의 표식, 브랜드 정보 등에 기초하여 상품데이터를 인식할 수 있다.

제어부(340)는 상품데이터에 기초하여 재고 수준을 모니터링할 수 있다.

구체적으로, 제어부(340)는 상품데이터를 실시간으로 인식하여 상품의 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시킬 수 있다.

제어부(340)는 이벤트의 시간대별 로그에 기초하여 재고 수준을 관리하고, 상품의 주문시기 및 주문량 중 적어도 하나를 결정할 수 있다.

도 4a와 도 4b는 본 발명에 따른 상품 인식 장치가 중복 영역을 검출하는 방법을 설명하기 위한 도면이다.

본 발명에서는 시간복잡도를 개선하기 위하여, 최종계층(FC)에서 출력 가능한 특징 벡터를 추출하고 특징 벡터의 거리를 사용하여 중복 영역을 계산할 수 있다. 중복 영역은 다음과 같은 과정에 의해 검출될 수 있다.

구체적으로, 도 4a는 윈도우(window) 구역 별로 중복 정도를 계산하는 방법을 도시한다. 기준 이미지의 우측에서 임의의 구역을 산정하여 분할된 블록(block)을 기준으로 한다. 여기서, 임의의 구역은 매대의 크기, 상품의 크기 등의 다양한 기준에 따라 설정될 수 있다. 이 경우, 블록 단위의 이미지를 사전에 학습된 딥러닝 네트워크에 입력하여 특징점(특징 벡터)을 추출한다. 또한, 비교 이미지의 좌측에서 임의의 구역을 산정하여 분할된 블록에 대해서도 동일한 방법으로 특징점을 추출하고, 비교 이미지의 좌측 블록부터 추출된 특징 벡터의 유사도를 비교하여 중복 정도를 계산한다. 중복 정도 계산은 유클리디안 거리(Euclidean Distance) 또는 코사인 유사도(Cosine Similarity) 등의 방법으로 특징 벡터 간의 거리나 유사도를 측정하여 수행할 수 있다.

최대 유사도 윈도우 지점을 검출한다. 앞서 계산한 유사도 점수 중에서 가장 높은 값을 갖는 지점이 N번째 이미지의 중복 시작점으로 설정된다. 여기서, 유사도 점수 계산 시에는 각 특징 벡터의 거리를 이용할 수 있다. 또한, 계산된 값이 임계값 미만인 경우에는 중복이 없다고 판단하고 최종적으로 반환한다.

최종적으로 중복 영역을 반환한다. 이 경우, N번째 이미지의 중복 시작점의 우측 모든 영역을 중복 영역으로서 반환한다.

도 4a를 참조하면, 중복 영역(O)을 가진 N번째 이미지(410)와 N+1번째 이미지(420)가 입력된다. N번째 이미지(410)의 우측 구역에서 우측 블록을 추출하고, N+1번째 이미지(420)의 좌측 구역에서 좌측 블록을 추출한다. 가장 높은 유사도를 가지는 지점을 N번째 이미지(410)의 중복 시작점으로 설정하고, N번째 이미지(410)의 중복 시작점의 우측 모든 영역(415)을 중복 영역으로서 반환한다. 또한, 가장 높은 유사도를 가지는 지점을 N+1번째 이미지(420)의 중복 시작점으로 설정하고, N+1번째 이미지(420)의 중복 시작점의 좌측 모든 영역(425)을 중복 영역으로서 반환한다. 이로부터, 중복 영역(O)을 제외한 N번째 이미지(410)와 N+1번째 이미지(420)가 얻어질 수 있다.

도 4b는 중복 정도 계산을 위한 유사도 비교 방법의 일 예이다. 도 4b에 도시된 바와 같이, 각 블록의 중복 정도를 계산하기 위하여, 입력된 이미지 각각에 대하여 Stem, 4 X Inception-A, Reduction-A, 7 X Inception-B, Reduction-B, 3 X Inception-C, Average Pooling 등을 순차적으로 수행한다. 이러한 영상 처리 방법들은 기존의 공지된 기술로서 당업자에게 자명하고, 본 발명의 핵심적인 특징이 아니므로 여기에서는 상세한 설명은 생략한다.

도 5a와 도 5b는 본 발명에 따른 상품 인식 장치가 블록 단위로 중복 영역을 검출하는 방법을 설명하기 위한 도면이다.

본 발명은 CNN 모델에서 추출 가능한 특징 벡터의 유사도가 동일한 지점을 중복 영역으로 판단하여 가상의 선을 그리고, 이외에 있는 영역은 모두 제거하는 기법을 사용한다.

특징 벡터의 유사도를 판단하는 경우, 블록 단위로 유사도를 판단할 수 있다. 블록 단위는 실시예에 따라 다양하게 설정할 수 있다. 일 실시예에 의하면, 블록 단위는 전체 이미지의 1/8(12.5%)가 되도록 설정될 수 있다. 블록 단위는 화각에 따라 다르나, 검출된 상품의 3개의 넓이로 자동으로 설정될 수 있다. 이 경우, 상단에 상품 3개를 기준으로 하여 블록의 가로 및 세로의 기준을 선정할 수 있다.

기존의 이미지 스티칭 기법 활용 시 발생하는 N개의 점과 N개의 점을 잇는 방법에 비하여, 본 발명에 따라 블록 단위로 유사도를 선정하는 방법은 영역을 대비하여 중복 영역을 빠르게 산출할 수 있으므로 시간적으로 우위를 갖는다.

구체적으로, 도 5a는 슬라이딩 윈도우의 경계를 선정하는 방법을 도시한다.

Block(h)는 원본 이미지(500)의 기준 블록의 높이이고, Block(w)는 원본 이미지(500)의 기준 블록의 너비이다. 여기서, Block(h) = height/n X 2 이고, Block(w) = width/m X 2 로 설정된다.

Stride(h)는 비교대상 이미지(510)의 비교 블록의 높이이고, Stride(w)는 비교대상 이미지(510)의 비교 블록의 너비이다. 여기서, Stride(h) = height/n 이고, Stride(w) = width/m 로 설정된다.

이 경우, 기준 블록이 비교 블록보다 큰 이유는, 한 영역을 2회 이상 비교하여 가장 높은 유사성을 가진 벡터를 찾기 위함이다.

비교 연산 수는 총 (n-1) X (m-1)이 된다. 이는 이미지 스티칭 기법과 비교하여 작은 시간복잡도를 가진다.

한편, n과 m의 기준은 매대의 크기 또는 상품의 크기를 기준으로 설정할 수 있다.

도 5b는 기준 블록과 비교 블록의 크기를 비교한 도면이다. 도 5b를 참조하면, 기준 블록의 너비와 높이가 각각 비교 블록보다 2배가 큰 것을 알 수 있다. 이와 같이, 기준 블록을 비교 블록보다 크게 설정함으로써, 한 영역을 2회 이상 비교하여 가장 높은 유사성을 가진 벡터를 찾을 수 있게 된다.

도 6은 본 발명에 따른 상품 인식 장치가 블록 단위로 중복 영역을 검출하는 구체적인 예를 설명하기 위한 도면이다.

도 6에서는 n=8이고, m=12라고 가정한다.

이 경우, Block(h) = height/4 이고, Block(w) = width/6 이다. 또한, Stride(h) = height/8 이고, Stride(w) = width/12 이다.

따라서, 총 비교 연산 수 = (n-1) X (m-1) = (7) X (11) = 77 이다. 즉, 총 비교 연산 수는, 가로 11회 x 세로 7회로서 총 77회가 된다.

도 7은 본 발명에 따른 상품 인식 장치가 생성하는 중복기준선을 도시한 도면이다.

상품 인식 장치(300)는 중복기준선을 생성하고, 중복기준선을 기준으로 중복 객체를 인식할 수 있다. 일 실시예에 의하면, 중복기준선 외에 위치한 객체들을 중복으로 인식하여 필터링하고, 중복기준선 내의 영역에 위치한 객체들에 대해서는 상품인식을 수행할 수 있다.

도 7을 참조하면, 이미지 상에 중복기준선(700)이 생성되어 있다. 이 경우, 중복기준선(700) 외에 위치한 객체들, 즉 중복기준선(700)을 기준으로 우측 방향에 위치한 객체들을 중복으로 인식하여 필터링할 수 있다. 반면, 중복기준선(700) 내에 위치한 객체들, 즉 중복기준선(700)을 기준으로 좌측 방향에 위치한 객체들에 대해서는 상품인식을 수행할 수 있다.

도 8a 내지 도 8e는 본 발명에 따른 상품 인식 장치가 중복 객체를 검출하여 재고 관리를 수행하는 과정을 설명하기 위한 도면이다.

도 8a에는 실제 선반이 도시되어 있다. 실제 선반은 가로 방향 및 세로 방향으로 연장되어 있으므로, 하나의 영상에 담기가 어렵다.

도 8b는 실제 선반에 대해 복수개의 영상을 획득하는 경우이다. 실제 선반을 가로 방향 또는 세로 방향으로 이어서 촬영한 이미지(810)를 생성하거나, 촬영된 영상들을 연결하여 연속된 이미지(820)를 생성한다.

도 8c는 최종적으로 생성된 이미지이다.

도 8d는 중복 영역을 검출하는 경우이다. 선반에 대한 이미지로부터 중복 영역(830)을 검출하고, 중복 영역(830)에 포함되는 중복 객체를 필터링한 후, 선반 상품에 대한 정보를 추출한다.

도 8e는 상품 재고를 모니터링 하는 경우이다. 중복 객체가 필터링 된 후의 선반 상품의 재고 수준을 실시간으로 모니터링 하고, 재고 주문 시기 및 주문량을 산정한다. 예를 들어, 선반의 빈 공간(840)을 파악하고, 재고 주문 시기와 주문량을 산출한다.

도 9는 본 발명의 일 실시예에 의한 상품 인식 장치의 구성을 도시한 도면이다.

본 발명의 일 실시예에 의한 상품 인식 장치는, 이미지 스티칭 기술을 사용하는 대신, CNN 모델에서 추출 가능한 특징 벡터의 유사도를 이용하여 중복영역을 검출하고, 중복된 상품을 제외한 후 상품 검출을 수행할 수 있다.

구체적으로, 특징 벡터의 유사도를 판단하여 중복 영역을 검출할 수 있다. 이 경우, 스티칭 기법 사용 시 문제가 되는 공간적으로 왜곡된 사진 처리에 대한 개선을 수행할 수 있다. 스티칭 기법은 영역 검출에 있어서 왜곡된 사진에 대해서 중복 영역 검출을 위한 전처리가 필요하다. 그러나, 본 발명의 경우, 전처리가 필요하지 않으며, 특징 벡터 간 유사성을 파악하여 해당 중복 영역에 유사한 상품이 존재함을 감지하여 기준선을 그어 이를 해결하게 된다. 이 경우, 두 특징 벡터의 거리를 통해 유사도를 비교할 수 있다.

또한, 획득한 영상의 영역을 동적 슬라이드 방식(Dynamic Sliding-Window)으로 분할하여 인공지능 기반의 CNN(Convolutional Neural Network) 모델로 임베딩하는 방식을 통해 영역을 벡터화하고 영역 벡터간 거리 비교 연산을 사용하여 중복 여부를 판단할 수 있다. 이에 의해, 실시간으로 연속된 영상 속의 중복 영역을 판단할 수 있다. 또한 인식 결과에 대한 모니터링을 통해, 적정 재고 수준, 주문 시기 및 주문량을 결정하는 정책을 적절하게 활용해 재고관리를 효과적으로 시행할 수 있게 한다.

도 9를 참조하면, 영상 처리부(310)는 영상 촬영부(910)를 포함한다. 영상 촬영부(910)는 수직 방향 또는 수평 방향으로 연속된 영상을 촬영할 수 있다. 이를 위해, 영상 촬영부(910)는 스캐너, 2D 카메라, 3D 카메라 등의 장치로 구현될 수 있다.

중복영역 인식부(320)는 중복 객체에 대한 인식을 수행한다. 이 경우, 중복영역 인식부(320)는 영역 분할부(922), 패턴 획득부(924), 거리 계산부(926) 및 중복 판단부(928)를 포함하여 구성될 수 있다.

영역 분할부(922)는 동적 슬라이딩 윈도우 방식으로 영역을 분할한다. 패턴 획득부(924)는 분할한 윈도우 영역 영상에 대해 CNN(Convolutional Neural Network) 모델을 통한 임베딩을 수행한다. 패턴 획득부(924)를 통해 임베딩 벡터가 생성된다. 거리 계산부(926)는 패턴 획득부(924)로부터 입력된 임베딩 결과에 대해 중복 객체인식을 수행한다. 거리 계산부(926)는 특정 영역 벡터를 다른 영상의 벡터들과 거리 계산(L2 distance)을 수행하여 중복 윈도우 영역을 판단할 수 있다. 중복 판단부(928)는 중복 윈도우 영역을 연결하여 중복기준선을 생성하고, 중복기준선 외에 위치한 객체들에 대해 필터링을 수행한다.

상품 인식부(330)는 중복영역 인식부(320)에 의한 인식 결과인, 중복 객체를 제외한 상품 영역에 대해 인공지능 기반의 상품 검출기(Object Detector)에 의해 상품 검출 및 인식을 수행한다. 인식 결과인 상품 코드에 대해 상품데이터베이스(360)의 상품 정보와 매핑(mapping)하여 상품 인식 결과를 반환한다.

데이터부(350)에는, 상품 인식부(330)로부터 추출된 상품의 인식 데이터(952)가 저장된다. 인식 데이터(952)는 상품 인식부(330)의 결과인 영상 속 상품의 정보를 담고 있는 데이터로서, 실시간으로 적재 및 모니터링하여 상품 정보 확인 및 이벤트 발생 여부를 판단하기 위해 사용된다. 인식 데이터(952)는 인식된 상품명과 제조사, 영양성분, 바코드 정보, 상품의 가로 세로 길이, 포장 용기, 영상 속 상품 위치에 대한 데이터를 포함할 수 있다.

또한, 데이터부(350)에는, 제어부(340)로부터 입력되는 이벤트 로그 데이터(954)가 저장된다. 이벤트 로그 데이터(954)는 제어부(340)의 결과 비교부(942) 로부터 인식 데이터(952)의 변화가 발생하는 경우 이에 대응하여 생성되는 이벤트 정보를 포함하는 데이터로서, 재고 관리를 수행하기 위해 사용된다. 이벤트 로그 데이터(954)는 결품 발생 여부, 위치 이동, 판매, 회수에 대한 이벤트 코드와 이벤트 별 상세 데이터를 포함할 수 있다.

제어부(340)는 실시간으로 적재되는 인식 데이터(952)를 모니터링하여 재고 관리를 수행한다. 제어부(340)는 결과 비교부(942), 이벤트 발생부(944), 결과 분석부(946) 및 관리 수행부(948)를 포함할 수 있다.

결과 비교부(942)는 새롭게 적재되는 인식 데이터(952)에 대해서 이전 프레임의 데이터와 비교하여 변화여부를 판단한다. 이벤트 발생부(944)는 변화가 일어난 내용을 분석하여 이벤트 코드를 지정하며, 이를 상세 데이터와 함께 이벤트 로그 데이터(954)로 저장한다. 결과 분석부(946)는 시간대별로 이벤트 로그 데이터(954)를 분석한다. 관리 수행부(948)는 결과분석부(946)로부터 분석한 결과를 이용하여, 재고 수준 확인, 상품 주문 시기 및 주문량을 결정하는 재고 관리를 수행한다.

한편, 상품데이터베이스(360)는 상품정보를 저장한다. 상품정보는 상품 코드, 상품명, 제조사, 상품 분류 정보, 용기, 용량, 바코드, 가로, 세로, 높이, 영양기능정보에 대한 데이터를 포함할 수 있다.

도 10은 본 발명의 일 실시예에 의한 상품 인식 장치의 제어 과정을 도시한 도면이다.

본 발명에 따른 상품 인식 장치의 제어 방법에 의하면, 상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 단계; 와, 복수개의 영상을 복수개의 영역으로 분할하고, 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하는 단계; 와, 중복 블록들을 연결하는 중복기준선을 생성한 후 중복기준선의 외측영역에 위치한 객체들을 필터링하는 단계; 와, 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 단계; 및, 상품데이터에 기초하여 재고 수준을 모니터링 하는 단계; 를 포함할 수 있다.

구체적으로, 제1영역을 복수개의 제1기준블록으로 분할하고 제2영역을 복수개의 제2비교블록으로 분할하며, 제1영역의 우측에 배치된 복수개의 제1기준블록과 제2영역의 좌측에 배치된 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고 특징 벡터들 간의 유사도를 비교하여 중복 블록들을 판단할 수 있다.

제1영역의 경우 중복기준선을 기준으로 좌측 방향에 존재하는 내측영역에 대해서 상품인식을 수행하고, 제2영역의 경우 중복기준선을 기준으로 우측 방향에 존재하는 내측영역에 대해서 상품인식을 수행할 수 있다.

또한, 제1영역과 상기 제2영역 각각을 복수개의 블록으로 분할하고, 복수개의 블록으로부터 특징 벡터들을 추출하여 특징 벡터들 간의 거리를 계산한 후, 계산된 거리가 임계값 이하인 지점들에 기초하여 중복 블록들을 판단할 수 있다. 이 경우, 동적 슬라이딩 윈도우 방식으로 복수개의 영상 각각을 복수개의 영역으로 분할할 수 있다.

한편, 상품데이터를 실시간으로 인식하여 상품의 상기 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시키고, 이벤트의 시간대별 로그에 기초하여 재고 수준을 관리하고 상품의 주문시기 및 주문량 중 적어도 하나를 결정할 수 있다.

이하, 도 10을 참조하여, 상품 인식을 위한 촬영 영상 간 중복 객체 인식 방법 및 이를 이용한 상품 관리 방법을 설명한다.

영상을 촬영한다(S1001).

가로 방향 또는 세로 방향으로 연속된 영상을 촬영하거나, 고정된 위치를 촬영할 수 있다.

영역 별 임베딩을 수행한다(S1002).

실시간으로 수집되는 영상에 대하여 동적 슬라이딩 윈도우 방식으로 영역을 분할하고, CNN 모델을 사용하여 임베딩을 수행한다.

중복 영역을 판단한다(S1003).

하나의 영상의 영역 데이터를 이웃한 영상의 영역 데이터들과 비교하여 거리 계산(L2 distance)을 수행하고, 계산 결과가 임계값(threshold) 이하인 지점에 대해 중복 윈도우 영역으로 판단한다.

중복기준선 내에 객체가 위치하는지 판단한다(S1004).

중복 윈도우 영역을 이어서 중복기준선을 생성하고, 중복기준선 외에 위치한 객체들에 대하여 중복으로 인식하고 필터링을 수행한다.

만일, 중복기준선 내에 객체가 위치하면(S1004-Yes), 객체에 대해 상품인식을 수행한다. 반면, 중복기준선 내에 위치하지 않으면(S1004-No), 즉 중복기준선 외에 위치하면, 객체에 대해 필터링을 수행하고 상품 인식을 수행하지 않는다.

상품 인식을 수행한다(S1005).

중복기준선 내의 영역에 대해, 인공지능 기반의 상품 검출기에 의해 상품 검출 및 인식을 수행한다.

결과를 적재한다(S1006).

인식 결과에 대해 상품데이터베이스의 상품코드와 매핑(mapping)하여 상품의 세부 정보를 추출한다. 추출한 정보는 상품인식 데이터로서 저장된다.

이전 프레임과 비교해 결과 변화가 있는지 판단한다(S1007).

실시간으로 적재되는 상품인식 데이터를 이전 프레임(frame)의 결과와 비교한다. 만일, 결과 변화가 존재하면(S1007-Yes), 지정한 이벤트 로그를 발생시킨다(S1008). 반면, 결과가 그대로이면(S1007-No), 다음 프레임에 대한 영상 분석을 실시한다.

재고 관리를 수행한다(S1009).

시간대별 이벤트 로그를 통해 재고 수준, 주문 시기 및 주문량을 결정하는 재고관리를 수행한다.

도 11은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 11의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 상품 인식 장치(300) 일 수 있다.

도 11의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

110: 제1이미지 115: 제1중복영역
120: 제2이미지 125: 제2중복영역
300: 상품 인식 장치 310: 영상 처리부
320: 중복영역 인식부 330: 상품 인식부
340: 제어부

Claims

상품 인식 장치에 있어서,
상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 영상 처리부;
상기 복수개의 영상을 복수개의 영역으로 분할하고, 상기 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하며, 상기 중복 블록들을 연결하는 중복기준선을 생성한 후 상기 중복기준선의 외측영역에 위치한 객체들을 필터링하는 중복영역 인식부;
상기 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 상품 인식부; 및
상기 상품데이터에 기초하여 재고 수준을 모니터링 하는 제어부; 를 포함하는, 상품 인식 장치.
제1항에 있어서,
상기 중복영역 인식부는,
상기 제1영역을 복수개의 제1기준블록으로 분할하고 상기 제2영역을 복수개의 제2비교블록으로 분할하며, 상기 제1영역의 우측에 배치된 상기 복수개의 제1기준블록과 상기 제2영역의 좌측에 배치된 상기 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고 상기 특징 벡터들 간의 유사도를 비교하여 상기 중복 블록들을 판단하는, 상품 인식 장치.
제2항에 있어서,
상기 상품 인식부는,
상기 제1영역의 경우 상기 중복기준선을 기준으로 좌측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하고, 상기 제2영역의 경우 상기 중복기준선을 기준으로 우측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하는, 상품 인식 장치.
제1항에 있어서,
상기 중복영역 인식부는,
상기 제1영역과 상기 제2영역 각각을 복수개의 블록으로 분할하고, 상기 복수개의 블록으로부터 특징 벡터들을 추출하여 상기 특징 벡터들 간의 거리를 계산한 후, 계산된 상기 거리가 임계값 이하인 지점들에 기초하여 상기 중복 블록들을 판단하는, 상품 인식 장치.
제1항에 있어서,
상기 중복영역 인식부는,
동적 슬라이딩 윈도우(dynamic sliding window) 방식으로 상기 복수개의 영상 각각을 상기 복수개의 영역으로 분할하는, 상품 인식 장치.
제1항에 있어서,
상기 제어부는,
상기 상품데이터를 실시간으로 인식하여 상기 상품의 상기 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시키고, 상기 이벤트의 시간대별 로그에 기초하여 상기 재고 수준을 관리하고 상기 상품의 주문시기 및 주문량 중 적어도 하나를 결정하는, 상품 인식 장치.
상품 인식 장치의 제어 방법에 있어서,
상품이 진열된 매대를 소정 방향으로 연속적으로 촬영하여 복수개의 영상을 획득하는 단계;
상기 복수개의 영상을 복수개의 영역으로 분할하고, 상기 복수개의 영역 중에서 어느 하나의 제1영역과 상기 제1영역에 인접한 제2영역을 비교하여 중복 블록들을 판단하는 단계;
상기 중복 블록들을 연결하는 중복기준선을 생성한 후 상기 중복기준선의 외측영역에 위치한 객체들을 필터링하는 단계;
상기 중복기준선의 내측영역에 위치한 상기 객체들에 대해 상품인식을 수행하여 상품데이터를 수집하는 단계; 및
상기 상품데이터에 기초하여 재고 수준을 모니터링 하는 단계; 를 포함하는, 상품 인식 장치의 제어 방법.
제7항에 있어서,
상기 제1영역을 복수개의 제1기준블록으로 분할하고 상기 제2영역을 복수개의 제2비교블록으로 분할하며, 상기 제1영역의 우측에 배치된 상기 복수개의 제1기준블록과 상기 제2영역의 좌측에 배치된 상기 복수개의 제2비교블록 각각으로부터 특징 벡터들을 추출하고 상기 특징 벡터들 간의 유사도를 비교하여 상기 중복 블록들을 판단하는, 상품 인식 장치의 제어 방법.
제8항에 있어서,
상기 제1영역의 경우 상기 중복기준선을 기준으로 좌측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하고, 상기 제2영역의 경우 상기 중복기준선을 기준으로 우측 방향에 존재하는 상기 내측영역에 대해서 상기 상품인식을 수행하는, 상품 인식 장치의 제어 방법.
제7항에 있어서,
상기 제1영역과 상기 제2영역 각각을 복수개의 블록으로 분할하고, 상기 복수개의 블록으로부터 특징 벡터들을 추출하여 상기 특징 벡터들 간의 거리를 계산한 후, 계산된 상기 거리가 임계값 이하인 지점들에 기초하여 상기 중복 블록들을 판단하는, 상품 인식 장치의 제어 방법.
제7항에 있어서,
동적 슬라이딩 윈도우 방식으로 상기 복수개의 영상 각각을 상기 복수개의 영역으로 분할하는, 상품 인식 장치의 제어 방법.
제7항에 있어서,
상기 상품데이터를 실시간으로 인식하여 상기 상품의 상기 재고 수준에 변화가 생기는 경우 이에 대한 이벤트를 발생시키고, 상기 이벤트의 시간대별 로그에 기초하여 상기 재고 수준을 관리하고 상기 상품의 주문시기 및 주문량 중 적어도 하나를 결정하는, 상품 인식 장치의 제어 방법.