KR102466396B1 - 상품 정보 관리 방법 및 장치 - Google Patents

Abstract

본 발명은 이미지 인식을 통해서 사용자가 구매한 상품에 대한 정보를 편리하고 효율적으로 관리하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른, 상품 정보 관리 장치에서 이미지 인식을 기반으로 상품 정보를 관리하는 방법은, 유통기한 이미지를 수신하는 단계; 서로 다른 유형의 복수의 인공지능 모델 중에서, 상기 유통기한 이미지의 유형에 해당하는 제1 인공지능 모델을 선택하는 단계; 상기 유통기한 이미지를 상기 선택한 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델에서 출력되는 유통기한을 확인하는 단계; 및 상기 확인한 유통기한을 상품의 유통기한으로서 저장하는 단계를 포함한다.

Description

상품 정보 관리 방법 및 장치{METHOD AND APPARATUS FOR MANAGING COMMODITY INFORMATION}

본 발명은 상품 정보를 관리하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 본 발명은 이미지 인식을 통해서 사용자가 구매한 상품에 대한 정보를 편리하고 효율적으로 관리하는 방법 및 장치에 관한 것이다.

현재 대부분의 마트, 편의점 등의 매장에는 POS(POS: Point Of Sales) 시스템이 설치되어, 사용자는 상품을 구매한 후, POS 시스템을 통해서 출력되는 영수증을 사용자에게 획득한다. 상기 영수증에는, 구매한 상품명, 구매 수량, 비용 등이 기록되어 있고, 사용자는 영수증을 통해서 자신이 구매한 상품이 정확한지 여부를 확인한다.

한편, 외식업체, 교육기관 등과 같은 단체에서는, 식자재 마트 등의 매장에 수시로 방문하여 필요한 상품을 대량으로 구매하기도 한다. 특히, 중형 또는 대형 기관에서는, 현재 보유중인 각 상품의 재고를 확인하여, 각 상품의 재고량에 기반하여 필요 물품을 구매한다.

그런데 사용자 또는 기관은 상품 재고량(즉, 보유 수량) 정확하게 파악하기 힘들 뿐 아니라 또한 상품별 재고 수량을 데이터베이스화하는데도 많은 시간이 필요한 문제점이 있다. 또한, 사용자 또는 기관은 보유중인 상품의 유통기한을 정확하게 파악하지 못하여, 유통기한이 지난 제품을 폐기 처분하기도 한다.

이에 따라, 편리하고 상품별 재고 정보와 유통기한을 관리할 수 있는 기술이 요구되고 있다.

한국공개특허 10-2020-0084144 (2020.07.10)

본 발명이 해결하고자 하는 기술적 과제는, 재고 수량과 유통기한 등의 상품 정보를 편리하게 관리할 수 있는 상품 정보 관리 방법 및 장치를 제공하는 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 이미지의 촬영을 통해서 상품 정보를 손쉽게 입력할 수 있는 상품 정보 관리 방법 및 장치를 제공하는 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 강화된 유통기한을 이용하여 제품의 유통기한을 좀 더 엄격하게 관리할 수 있는 상품 정보 관리 방법 및 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 상품 정보 관리 장치에서 이미지 인식을 기반으로 상품 정보를 관리하는 방법은, 유통기한 이미지를 수신하는 단계; 서로 다른 유형의 복수의 인공지능 모델 중에서, 상기 유통기한 이미지의 유형에 해당하는 제1 인공지능 모델을 선택하는 단계; 상기 유통기한 이미지를 상기 선택한 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델에서 출력되는 유통기한을 확인하는 단계; 및 상기 확인한 유통기한을 상품의 유통기한으로서 저장하는 단계를 포함한다.

몇몇 실시예에서, 상기 방법은, 상기 유통기한 이미지에서 특징 데이터를 추출하고, 상기 추출한 특징 데이터와 기 저장된 유통기한 이미지 유형별 특징 데이터를 비교하여, 상기 유통기한 이미지의 유형을 식별하는 단계를 더 포함할 수 있다.

몇몇 실시예에서, 상기 식별하는 단계는, 유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 스티커의 가로 세로 비율 중에서 하나 이상을 포함하는 특징 데이터를 상기 유통기한 이미지에서 추출할 수 있다.

몇몇 실시예에서, 상기 방법은 상기 상품의 제조날짜에서부터 현재 날짜까지의 기상 상태를 확인하는 단계; 상기 상품을 판매한 유통점에 부여된 평가점수 및 상기 기상 상태를 이용하여, 상기 상품의 유통 신뢰 점수를 계산하는 단계; 및 상기 유통 신뢰 점수가 정상범위에서 이탈하면, 상기 확인한 유통기한을 단축시켜 저장하는 단계를 더 포함할 수 있다.

몇몇 실시예에서, 상기 방법은 저장중인 재고 상품들 중에서 유통기한이 임박한 상품이 존재하는지 여부를 모니터링하는 단계; 및 상기 모니터링 결과 유통기한이 임박한 상품이 확인되면 상품명과 유통기한을 포함하는 유통기한 임박 정보를 사용자에게 제공하는 단계를 더 포함할 수 있다.

몇몇 실시예에서, 상기 방법은 영수증 이미지를 수신하는 단계; 상기 영수증 이미지의 유형을 식별하는 단계; 영수증 이미지를 인식하는데 이용되는 복수의 인공지능 모델 중에서, 상기 영수증 이미지의 유형에 해당하는 제2 인공지능 모델을 선택하는 단계; 및 상기 제2 인공지능 모델에 상기 영수증 이미지를 입력하여, 상기 제2 인공지능 모델에서 출력되는 상품명과 수량을 확인하는 단계를 더 포함할 수 있다.

몇몇 실시예에서, 상기 영수증 이미지의 유형을 식별하는 단계는 상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 중에서 하나 이상을 포함하는 특징 데이터를 상기 영수증 이미지에서 추출하고, 상기 추출한 특징 데이터와 기 저장된 영수증 이미지 유형별 특징 데이터를 비교하여, 상기 영수증 이미지의 유형을 식별할 수 있다.

몇몇 실시예에서, 상기 방법은 POS(Point of Sale) 시스템으로부터 상기 상품의 판매 정보를 수신하는 단계; 및 상기 판매 정보에 포함된 판매 수량을 토대로, 상기 상품의 소모량을 확인하고, 저장중인 상기 상품의 재고 수량에서 상기 소모량을 차감하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 상품 정보 관리 장치는, 하나 이상의 프로세서; 상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및 재고 목록을 저장하는 스토리지;를 포함하고, 상기 컴퓨터 프로그램은 유통기한 이미지를 수신하는 오퍼레이션; 서로 다른 유형의 복수의 인공지능 모델 중에서, 상기 유통기한 이미지의 유형에 해당하는 제1 인공지능 모델을 선택하는 오퍼레이션; 상기 유통기한 이미지를 상기 선택한 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델에서 출력되는 유통기한을 확인하는 오퍼레이션; 및 상기 확인한 유통기한을 상품의 유통기한으로서 상기 재고 목록에 저장하는 오퍼레이션을 포함한다.

본 발명의 실시예에 따르면, 이미지 촬영을 통해서 상품 정보를 자동으로 인식하여 저장함으로써, 사용자가 보유중인 각 상품의 정보를 간편하게 데이터베이스화하는 효과가 있다.

또한, 본 발명의 실시예에 따르면, 서로 다른 유형의 복수의 인공지능 모델 중에서 이미지의 유형과 대응하는 인공지능 모델을 선택하고, 선택한 인공지능 모델을 이용하여 이미지에서 필요 데이터를 빠르고 정확하게 인식하는 장점이 있다.

게다가, 본 발명의 실시예에 따르면, 유통점에 부여한 평가점수 및 유통과정에서의 기상 정보를 이용하여 구매 상품에 대한 유통 신뢰 점수를 산출하고, 상기 유통 신뢰 점수에 기초하여 유통기한을 선택적으로 단축함으로써, 변질될 가능성이 높은 상품이 사용되는 것을 미리 예방하는 효과가 있다.

또한, 본 발명의 실시예에 따르면, POS(Point Of Sale) 시스템으로부터 수신한 판매 정보를 토대로 재고 목록을 자동으로 갱신하여, 재고 목록을 관리하는데 있어서의 편의성을 극대화하는 효과가 있다.

게다가, 본 발명의 실시예에 따르면, 유통기한이 임박한 상품 또는 소진이 임박한 상품에 대한 정보를 사용자에게 미리 알리는 장점도 있다.

도 1은 본 발명의 일 실시예에 따른, 상품 정보 관리 장치가 적용되는 시스템 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 상품 정보 관리 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른, 상품 정보 관리 장치에서 기계 학습을 통해서 영수증 이미지 유형별 인공지능 모델을 구축하는 것을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른, 상품 정보 관리 장치에서 기계 학습을 통해서 유통기한 이미지 유형별 인공지능 모델을 구축하는 것을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 상품 정보 관리 장치가 영수증 이미지에서 상품 정보를 인식하여 재고 목록에 등록하는 방법을 설명하는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른, 상품 정보 관리 장치가 유통기한 이미지에서 유통기한을 인식하여 저장하는 방법을 설명하는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 상품 정보 관리 장치를 구현할 수 있는 예시적인 컴퓨팅 장치를 나타내는 하드웨어 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른, 상품 정보 관리 장치(100)가 적용되는 시스템 환경을 나타내는 도면이다.

도 1에 도시된 바와 같이, 상품 정보 관리 장치(100)는 네트워크(400)를 이용하여 사용자 단말(210), POS 시스템(220), 기상 정보 서버(300) 각각과 통신할 수 있다. 상기 네트워크(400)는 유선 통신망, 이동통신망 등을 포함하는 것으로서, 본 발명의 있어서 주지의 관용기술에 해당하므로 자세한 설명은 생략한다.

사용자 단말(210)은 스마트폰, 태블릿 컴퓨터 등으로서, 촬영 가능한 카메라를 포함한다. 상기 사용자 단말(210)은 상품의 영수증 이미지를 촬영한 후, 영수증 이미지를 상품 정보 관리 장치(100)로 전송함으로써, 사용자가 구매한 상품 정보가 사용자의 재고 목록에 자동으로 저장되도록 할 수 있다. 또한, 사용자 단말(210)은 상품의 겉면에 인쇄된 유통기한 이미지를 촬영하고, 상기 유통기한 이미지를 상품 정보 관리 장치(100)에 전송함으로써, 상기 상품의 유통기한과 제조날짜를 추가적으로 재고 목록에 저장되게 할 수 있다. 즉, 사용자는 사용자 단말(210)을 이용하여 영수증 이미지와 유통기한 이미지를 촬영함으로써, 자신이 구매한 상품의 이름과 수량 및 유통기한을 재고 목록에 기록할 수 있다. 상기 유통기한 이미지는, 유통기한 또는 제조 년월일이 인쇄된 상품 겉면을 촬영한 이미지이거나, 제조 년월일과 유통기한 모두가 인쇄된 상품 겉면을 촬영한 이미지일 수 있다. 또한, 사용자 단말(210)은 상품 정보 관리 장치(100)로 접속하여 재고 목록을 획득함으로써, 현재 보유중인 상품의 수량과 유통기한을 확인할 수 있다. 게다가, 사용자 단말(210)은 유통기한이 임박한 상품 정보를 상품 정보 관리 장치(100)로부터 수신할 수 있으며, 소진이 임박한 상품 정보를 상품 정보 관리 장치(100)로부터 수신할 수 있다. 상기 사용자 단말(210)은 상기 상품 정보를 푸시 메시지 형태로 상품 정보 관리 장치(100)로부터 수신할 수 있다. 상기 사용자 단말(210)은 상품 정보 관리를 위한 전용의 애플리케이션을 설치함으로써, 상기 푸시 메시지를 수신할 수 있으며 더불어 촬영된 이미지를 상품 정보 관리 장치(100)로 전송할 수 있다.

기상 정보 서버(300)는 날씨 정보를 제공하는 서버로서, 온도와 습도 등이 포함된 기상 정보를 상품 정보 관리 장치(100)로 제공한다. 상기 기상 정보 서버(300)는 해당 날짜의 최고 온도, 최저 온도, 평균 온도, 최고 습도, 최저 습도, 평균 습도 등이 포함된 날짜별 기상 정보를 상품 정보 관리 장치(100)로 제공할 수 있다. 또한, 기상 정보 서버(300)는 제1 날짜에서부터 제2 날짜까지의 평균 온도와 평균 습도를 상품 정보 관리 장치(100)로 제공할 수 있다.

POS 시스템(220)은 식당, 커피숍 등의 매장에서 구비된 판매 관리 시스템으로서, 매장에서 판매되는 상품을 관리한다. 상기 POS 시스템(220)은 바코드 리더기, 터치 스크린과 같은 입력수단을 구비하고, 이 입력수단으로 통해서 판매된 상품명, 판매 수량 등이 포함된 판매 정보를 입력받아 저장한다. 본 발명의 실시예에 따르면, 상기 POS 시스템(220)은 상기 판매 정보를 상품 정보 관리 장치(100)로 전송함으로써, 재고 목록이 자동으로 갱신되게 한다.

상품 정보 관리 장치(100)는 사용자가 구매한 상품에 대한 정보를 관리하기 위한 컴퓨팅 장치로서, 영수증 이미지와 유통기한 이미지를 분석하여 구매된 상품의 이름과 수량, 제조날짜 및 유통기한을 확인한 후, 상품명, 수량, 제조날짜 및 유통기한을 포함하는 상품 정보를 생성하여 사용자의 재고 목록에 기록한다. 또한, 상품 정보 관리 장치(100)는 후술하는 바와 같이, 서로 다른 유형의 복수의 인공지능 모델 중에서 상품 이미지의 유형과 대응되는 인공지능 모델을 선택하고 상기 선택한 인공지능 모델에 상품 이미지를 입력함으로써, 영수증 이미지에서 상품명과 수량을 신속하고 정확하게 인식할 수 있다. 또한, 상품 정보 관리 장치(100)는 서로 다른 유형의 복수의 인공지능 모델 중에서 유통기한 이미지의 유형과 대응되는 인공지능 모델을 선택하고 상기 선택한 인공지능 모델에 유통기한 이미지를 입력함으로써, 유통기한 이미지에서 유통기한을 신속하고 정확하게 인식할 수 있다. 상품 정보 관리 장치(100)는 POS 시스템(220)으로부터 판매 정보를 수신하면, 판매 정보에 포함된 상품명과 판매 수량을 기초로, 재고 상품의 소모량을 확인하고, 재고 목록에 해당 재고 상품의 수량에 상기 소모량을 차감함으로써, 재고 목록을 자동으로 갱신한다.

이러한 상품 정보 관리 장치(100)는 독립된 서버 형태로 구현될 수 있고, 또는 클라우드 컴퓨팅 시스템에서 가상화되어 동작될 수도 있다. 또한, 상품 정보 관리 장치(100)는 스마트폰, 태블릿 컴퓨터, POS 시스템(220) 등에 탑재될 수도 있다. 즉, 상품 정보 관리 장치(100)는 사용자 단말(210) 또는 POS 시스템(220)에 프로그램 형태로 탑재될 수도 있다.

도 2는 본 발명의 일 실시예에 따른, 상품 정보 관리 장치(100)의 구성을 나타내는 도면이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상품 정보 관리 장치(100)는 인공지능 모듈(110), 유형 확인 모듈(120), 데이터 인식 모듈(130), 정보 관리 모듈(140) 및 저장 모듈(150)을 포함하고, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 또는 하드웨어와 소프트웨어의 결합을 통해서 구현될 수 있다. 또한, 상기 인공지능 모듈(110), 유형 확인 모듈(120), 데이터 인식 모듈(130) 및 정보 관리 모듈(140)은 후술하는 바와 같이 컴퓨팅 장치의 프로세서에 의해서 실행될 수 있도록, 프로그램 형태로 메모리로 로딩될 수 있다.

저장 모듈(150)은 스토리지와 같은 저장수단으로서, 상품 정보 관리 장치(100)가 동작하기 위한 각종 데이터를 저장한다. 또한, 저장 모듈(150)은 영수증 이미지 유형별 특징 데이터를 저장할 수 있다. 상기 특징 데이터는 특정 유형의 영수증 이미지에서 특징적으로 나타나는 데이터로서, 상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 등 중에서 하나 이상을 포함할 수 있다. 예를 들어, 영수증 이미지들 중에서 A 유형에 해당하는 특징 데이터는, "A마트"라는 텍스트, "080-XXXX-XXXX"의 전화번호를 가지는 고객센터 전화번호, "www.A마트.XXX"로 지칭되는 A마트의 홈페이지 주소 등 중 어느 하나를 포함할 수 있다.

또한, 저장 모듈(150)은 유통기한 이미지 유형별 특징 데이터를 저장할 수 있다. 유통기한 이미지의 유형에 대한 특징 데이터는, 유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 글씨체, 스티커의 가로 세로 비율 중에서 하나 이상을 포함할 수 있다. 상기 세부 정보 배열 형식은, 제조년월일, 유통기한, 상품명, 원산지 등의 기재가 표기되는 순서를 의미할 수 있다. 또한, 제품에 부착된 유통기한 스티커에 대한 가로 길이와 세로 길이의 비율을 나타내는 것으로서, 이러한 스티커는 주로 신선식품에 부착되어 있다.

상기 저장 모듈(150)은 상품명 데이터베이스(151)(이하, "상품명 DB"로 지칭함), 재고 데이터베이스(152)(이하 "재고 DB"로 지칭함) 및 사용량 데이터베이스(153)(이하, "사용량 DB"로 지칭함)를 포함한다.

상기 상품명 DB(151)는 실제 상품명, 다수의 유사 단어 및 표준 유통기간이 매핑된 데이터를 상기 실제 상품명별로 구분하여 저장한다. 실제 상품명이 잘못 인식되는 경우를 대비하여, 상품명 DB(151)는 실제 상품명과 유사하게 인식될 수 있는 복수의 유사 단어를 상기 실제 상품명과 매핑하여 저장한다. 예컨대, 실제 상품명인 "간고등어"와, 유사 단어인 "긴고등어", "간고동어", "간고둥어", "간고등이"가 서로 매핑되어 상품명 DB(151)에 저장될 수 있다. 또한, 상품명 DB(151)는 유통점별 상품 목록을 구분하여 저장하고, 더불어 해당 유통점의 상품 목록에 기록된 실제 상품명과 복수의 유사단어를 매핑하여 저장할 수 있다. 상기 유통점의 상품 목록은, 해당 유통점에서 판매되는 상품들이 기록된다. 상기 표준 유통기간은 제조년월일을 기준으로 해당 상품의 유통이 허락되는 표준 기간을 나타낸다.

사용자가 유료 회원 또는 프리미엄 회원인 경우에, 상기 유통점별 상품 목록을 제공받을 수 있다. 상기 유통점별 상품 목록을 이용하는 경우에, 상품명의 검색 범위가 축소되어, 데이터 인식 모듈(130)에서 상품명을 보다 빠르게 식별할 수 있다.

재고 DB(152)는 사용자가 보유중인 상품명, 수량, 제조날짜 및 유통기한이 매핑된 재고 목록을 저장한다.

사용량 DB(153)는 사용자가 상품을 사용한 시기, 사용되거나 판매된 상품의 수량, 각 제품의 일일 사용량 등의 제품 사용량 데이터를 저장한다.

인공지능 모듈(110)은 인공지능 모델에 다수의 영수증 이미지를 입력하여 인공지능 모델을 학습시켜, 인공지능 모델의 데이터 인식 정확도를 향상시킨다. 상기 인공지능 모듈(110)은 영수증 이미지의 유형에 대응하는 인공지능 모델을 선택하고, 선택한 인공지능 모델에 동일한 유형의 영수증 이미지를 대량으로 입력함으로써, 인공지능 모델에 대한 기계 학습을 진행시킬 수 있다. 부연하면, 이미지 유형에 따라 학습되는 복수의 인공지능 모델이 마련되어 있고, 인공지능 모듈(110)은 이미지 유형과 대응하는 인공지능 모델에 해당 이미지를 대량으로 입력하여 인공지능 모델을 학습시킬 수 있다.

일 실시예로서, 영수증 이미지를 입력받는 인공지능 모델은, 영수증 이미지에서 상품명과 수량을 인식하여 출력할 수 있다. 영수증 이미지를 인식하는 인공지능 모델은 영수증 전체 이미지를 일정한 크기의 칸으로 균등하게 분할하여 기계 학습을 진행하여, 상품명이 표출되는 칸에 대한 행렬 좌표 범위와 수량이 표출되는 칸에 대한 행렬 좌표 범위를 설정할 수 있으며, 학습이 진행됨에 따라 좌표 범위의 정확도가 향상될 수 있다. 다른 실시형태로서, 영수증 이미지를 인식하는 인공지능 모델은, 영수증 이미지의 전체 픽셀 영역을 대상으로 좌표를 설정하여 기계 학습을 진행하여, 상품명이 표출되는 픽셀 좌표 범위와 상품 수량이 표출되는 픽셀 좌표 범위를 설정할 수 있으며, 학습이 반복되는 경우 픽셀 좌표의 범위의 정확도가 향상된다.

또한, 인공지능 모듈(110)은 유통기한 이미지의 유형에 대응하는 인공지능 모델을 선택하고, 선택한 인공지능 모델에 해당 유통기한 이미지를 입력함으로써, 인공지능 모델에 대한 기계 학습을 진행시킬 수 있다.

일 실시예로서, 유통기한 이미지를 입력받는 인공지능 모델은, 유통기한 이미지에서 유통기한과 제조날짜 중에서 하나 이상을 인식하여 출력할 수 있다. 유통기한 이미지를 입력받는 인공지능 모델은 유통기한 이미지 전체에서 제조날짜가 표출되는 영역, 유통기한이 표출되는 영역 및 날짜 표기형식 등에 대한 학습을 진행하여, 제조날짜의 표출 영역와 유통기한의 표출 영역을 설정하고 유통기한 표기형식을 정확하게 식별할 수 있다.

신선식품 등과 같은 상품은, 유통점에서 자체적으로 인쇄한 유통기한 스티커가 부착되기도 한다. 예를 들어, 야채, 과일, 생선 등과 같은 신선식품의 유통기한은 유통점에서 직접 설정하고, 유통점에서는 유통기한이 인쇄된 스티커를 신선식품 포장지에 부착한다. 그런데 이러한 스티커 형태의 유통기한 표기 방식은 유통점마다 상이할 수 있다. 예컨대, A 유통점은 유통기한과 제조날짜를 년월일 순으로 기록하고, B 유통점은 월일년 순으로 유통기한과 제조날짜를 기록하기도 한다. 또한, 유통기한 스티커에는 유통기한뿐만 아니라 상품 세부 정보가 기록되는데, 이러한 세부 정보의 배열 방식도 유통점마다 상이하다. 이렇게 유통점마다 상이한 형태로 유통기한이 제품에 부착된 경우, 하나의 영상 인식 방법으로 데이터를 인식하는 경우, 데이터 인식에 대한 정확도가 떨어지게 된다.

이렇게 유통점에서 자체적으로 관리하는 유통기한과 제조날짜를 정확하게 파악하기 위하여, 인공지능 모듈(110)은 서로 다른 유형의 다수의 인공지능 모델 중에서 유통기한 이미지와 동일한 유형의 인공지능 모델을 선택하고, 선택한 인공지능 모델에 동일 유형의 유통기한 이미지를 대량으로 입력함으로써, 해당 유형에 특화된 인공지능 모델을 구축할 수 있다. 상기 인공 지능 모듈(110)은 인공지능 모델로서 CNN(Convolution Neural Network)을 이용할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 상품 정보 관리 장치(100)에서 기계 학습을 통해서 영수증 이미지 유형별 인공지능 모델을 구축하는 것을 설명하는 도면이다.

도 3을 참조하면, 인공지능 모듈(110)은 유형들이 혼합된 다수의 영수증 이미지과 해당 이미지의 유형 정보를 입력받는다. 상기 인공지능 모듈(110)은 이미지를 선명하게 하는 보정 필터를 이용하여, 각각의 영수증 이미지를 선명하게 보정할 수 있다. 상기 인공지능 모듈(110)은 공지된 보정 필터(예컨대, Sharpen Filter 등)를 이용하여 영수증 이미지를 선명하게 보정하는 전처리를 수행할 수 있다. 상기 유형 정보는, "A 마트", "B 마트", "A 편의점" 등과 같이 영수증의 발행한 유통점에 대한 정보일 수 있다.

이어서, 인공지능 모듈(110)은 입력 데이터인 다수의 영수증 이미지를 유형별로 분류하여 저장한다. 그리고 인공지능 모듈(110)은 저장중인 영수증 이미지들을 동일 유형을 대응하는 인공지능 모델로 입력하여, 유형별 인공지능 모델을 학습시킨다.

도 3에 예시된 바와 같이, A 유형, B 유형, C 유형, D 유형에 따른 영수증 이미지를 기초로 기계 학습을 진행하는 복수의 인공지능 모델이 준비되고, 다수의 영수증 이미지가 동일 유형의 인공지능 모델로 입력되어 학습이 진행된다.

인공지능 모델은 학습이 진행되면, 출력 결과로서 영수증 이미지에서 인식한 상품명과 수량을 출력한다. 서로 다른 유형의 인공지능 모델에서 학습이 반복적으로 진행되면, 해당 유형의 영수증에서 상품명과 수량을 인식하는 정확도가 향상된다.

한편, 인공지능 모델은 학습을 진행하면서, 영수증 이미지 유형에 대한 특징 데이터를 도출할 수 있으며, 인공지능 모듈(110)은 각 인공지능 모델에서 도출한 영수증 이미지 유형별 특징 데이터를 확인하여 저장 모듈(150)에 저장할 수 있다. 상기 특징 데이터는 상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 등 중에서 하나 이상을 포함할 수 있다.

이러한 방법을 통해서, 인공지능 모듈(110)은 서로 다른 유형별 인공지능 모델을 구축하고, 더불어 각 영수증 이미지 유형에 대한 특징 데이터를 획득할 수 있다.

도 4는 본 발명의 다른 실시예에 따른, 상품 정보 관리 장치(100)에서 기계 학습을 통해서 유통기한 이미지 유형별 인공지능 모델을 구축하는 것을 설명하는 도면이다.

도 4를 참조하면, 인공지능 모듈(110)은 유형들이 혼합된 다수의 유통기한 이미지과 해당 이미지의 유형 정보를 입력받는다. 상기 인공지능 모듈(110)은 이미지를 선명하게 하는 보정 필터를 이용하여, 각각의 유통기한 이미지를 선명하게 보정할 수 있다. 상기 인공지능 모듈(110)은 공지된 보정 필터(예컨대, Sharpen Filter 등)를 이용하여 유통기한 이미지를 선명하게 보정하는 전처리를 수행할 수 있다. 상기 유형 정보는, "A 마트", "B 마트", "A 편의점" 등과 같이 상품이 구매된 유통점 타입에 대한 정보일 수 있다.

이어서, 인공지능 모듈(110)은 입력 데이터인 다수의 유통기한 이미지를 유형별로 분류하여 저장한다. 그리고 인공지능 모듈(110)은 저장중인 유통기한 이미지들을 동일 유형을 대응하는 인공지능 모델로 입력하여, 각 인공지능 모델을 학습시킨다.

도 4에 예시된 바와 같이, A 유형, B 유형, C 유형, D 유형에 따른 유통기한 이미지를 기초로 기계 학습을 진행하는 복수의 인공지능 모델이 준비되고, 다수의 유통기한 이미지가 동일 유형의 인공지능 모델로 입력되어 학습이 진행된다.

인공지능 모델은 학습이 진행되면, 출력 결과로서 유통기한 이미지에서 인식한 유통기한과 제조날짜가 출력한다. 서로 다른 유형의 인공지능 모델에서 학습이 반복적으로 진행되면, 해당 유형의 유통기한 이미지에서 유통기한과 제조날짜를 인식하는 정확도가 향상된다.

한편, 인공지능 모델은 학습을 진행하면서 유통기한 이미지 유형에 대한 특징 데이터를 도출할 수 있으며, 인공지능 모듈(110)은 각 인공지능 모델에서 도출한 유통기한 이미지 유형별 특징 데이터를 확인하여 저장 모듈(150)에 저장할 수 있다. 상기 특징 데이터는 유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 글씨체, 스티커의 가로 세로 비율 중에서 하나 이상을 포함할 수 있다.

이러한 방법을 통해서, 인공지능 모듈(110)은 서로 다른 유형별 인공지능 모델을 구축하고, 더불어 각 유통기한 이미지 유형에 대한 특징 데이터를 획득할 수 있다.

일 실시예로서, 유통기한 이미지를 분석하는 인공지능 모델들과 영수증 이미지를 분석하는 인공지능 모델들은 동일한 유형끼리 하나로 통합되어 구현될 수 있다. 이 경우, 하나의 인공지능 모델은 입력된 이미지가 유통기한 이미지인 경우 유통기한과 제조날짜의 인식을 수행하고, 입력된 이미지가 상품 이미지인 경우 상품명과 수량 인식을 수행한다. 다른 실시예로서, 동일한 유형의 유통기한 이미지와 영수증 이미지는 이원화된 인공지능 모델을 통해서 인식될 수도 있다. 즉, A 유형의 영수증 이미지는 A-1 유형의 인공지능 모델을 통해서 분석되고, A 유형의 유통기한 이미지는 A-2 유형의 인공지능 모델을 통해서 분석될 수 있다.

다시 도 2를 참조하면, 유형 확인 모듈(120)은 입력된 영수증 이미지를 분석하여, 해당 영수증 이미지 유형을 식별하는 기능을 수행한다. 구체적으로, 유형 확인 모듈(120)은 상기 영수증 이미지를 분석하여, 상기 영수증 이미지에서 상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 등 중에서 하나 이상을 포함하는 특징 데이터를 추출하고, 상기 추출한 특징 데이터와 인공지능 모듈(110)을 통해서 획득한 영수증 이미지 유형별 특징 데이터와 비교함으로써, 상기 영수증 이미지의 유형을 식별한다. 또한, 유형 확인 모듈(120)은 유통기한 이미지가 입력되면, 상기 유통기한 이미지를 분석하여, 상기 유통기한 이미지에서 유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 글씨체, 스티커의 가로 세로 비율 등 중에서 하나 이상을 포함하는 특징 데이터를 추출하고, 상기 추출한 특징 데이터와 인공지능 모듈(110)을 통해서 획득한 유통기한 이미지 유형별 특징 데이터와 비교함으로써, 상기 유통기한 이미지의 유형을 식별한다.

데이터 인식 모듈(130)은 이미지에서 필요한 데이터를 선별적으로 인식하는 기능을 수행한다. 상기 유형 확인 모듈(120)이 영수증 이미지 유형을 식별하면, 데이터 인식 모듈(130)은 상기 식별된 영수증 이미지의 유형에 해당하는 인공지능 모델을 선택하고, 상기 선택한 인공지능 모델에 상기 영수증 이미지를 입력하여 해당 인공지능 모델에서 출력되는 상품명과 수량을 확인한다. 또한, 상기 유형 확인 모듈(120)이 유통기한 이미지 유형을 식별하면, 데이터 인식 모듈(130)은 상기 식별된 유통기한 이미지의 유형에 해당하는 인공지능 모델을 선택하고, 상기 선택한 인공지능 모델에 상기 유통기한 이미지를 입력하여 해당 인공지능 모델에서 출력되는 유통기한과 제조날짜를 확인한다.

정보 관리 모듈(140)은 데이터 인식 모듈(130)에서 확인한 상품명과 수량 및 유통기한을 사용자의 재고 목록에 등록한다. 상기 정보 관리 모듈(140)은 상기 상품명을 가지는 재고 수량이 이미 재고 목록에 기록된 경우, 상기 재고 수량에 상기 확인된 수량을 가산함으로써 재고 목록을 갱신할 수 있다. 또한, 정보 관리 모듈(140)은 사용자로부터 사용된 상품명과 수량을 입력받을 수 있으며, 이 경우 재고 목록에 기록된 상기 상품명의 재고 수량을 상기 입력받은 수량만큼 차감하여 재고 목록을 갱신하고, 상기 상품명과 수량 및 현재 날짜를 매핑하여 사용량 DB(153)에 기록한다. 특히, 정보 관리 모듈(140)은 POS 시스템(220)으로부터 판매 정보를 수신할 수 있다. 이 경우, 정보 관리 모듈(140)은 상기 판매 정보에 포함된 상품명과 판매 수량을 기초로 재고 상품의 소모량을 확인하고, 재고 목록의 기록된 해당 재고 상품의 수량에 상기 소모량을 차감함으로써, 재고 목록을 자동으로 갱신한다.

소모량 확인을 위하여, 저장 모듈(150)은 POS 시스템(220)에 등록된 판매 상품 1 개당를 재고 목록의 상품(이하, 재고 상품) 소모량이 매핑된 테이블을 저장할 수 있다. 예를 들어, 판매 상품인 카페라떼 1개와 매핑되어 재고 상품인 우유의 소모량과 원두의 소모량이 상기 테이블에 기록될 수 있다. 또 다른 예로서, 판매 상품인 아메리카노와 매핑되어 재고 상품인 원두의 소모량이 상기 테이블에 기록될 수 있으며, 판매 상품인 사과 주스와 매핑되어 재고 상품인 사과의 소모량이 상기 테이블에 기록될 수 있다. 상기 정보 관리 모듈(140)은 상기 판매 정보에 포함된 상품명과 매핑된 재고 상품의 소모량을 상기 테이블에서 확인하고, 상기 확인한 재고 상품의 수량(재고 수량)에 상기 소모량을 차감함으로써 상기 재고 목록을 자동으로 갱신한다. 또한, 정보 관리 모듈(140)은 상기 상품명과 소모량 및 현재 날짜를 매핑하여 사용량 DB(153)에 기록한다.

상기 정보 관리 모듈(140)은 데이터 인식 모듈(130)에서 인식한 상품명과 동일한 실제 상품명이 상품명 DB(151)에 존재하는지 여부를 확인하여 존재하지 않으면, 상기 인식된 상품명과 일치하는 유사 단어가 상품명 DB(151)에 검색되지는 여부를 확인한다. 정보 관리 모듈(140)은 인식된 상품명과 유사 단어가 상품명 DB(151)에 검색되면, 상기 유사 단어와 매핑된 실제 상품명을 상품명 DB(151)에서 확인하고, 상기 인식한 상품명을 유사 단어와 매핑된 실제 상품명으로 변경하고, 이렇게 변경된 상품명, 수량 및 유통기한을 포함한 상품 정보를 상기 재고 목록에 기록한다.

한편, 정보 관리 모듈(140)은 인식된 상품명과 일치하는 유사 단어와 실제 상품명 모두가 상품명 DB(151)에서 검색되지 않으면, 수동으로 구매 상품의 정보를 입력하는 것을 요구하는 메시지를 사용자 단말(210)로 전송하고, 사용자가 입력한 상품명을 기초로 상품 정보를 생성하여 재고 목록에 기록할 수 있다.

정보 관리 모듈(140)은 유통기한 이미지에서 유통기한, 제조년월일 중에서 어느 하나만을 인식할 수 있다. 이 경우, 정보 관리 모듈(140)은 상품명과 대응하는 표준 유통기간을 상품명 DB(151)에서 확인하고, 상기 인식한 제조년월일(또는 유통기한)에 상기 확인한 표준 유통기간을 가산(또는 감산)함으로써, 해당 상품의 유통기한(또는 제조날짜)를 예측하여 재고 목록에 기록할 수 있다.

또한, 정보 관리 모듈(140)은 각 상품별 일일 사용량을 사용량 DB(153)에서 확인하고, 상기 상품별 일일 사용량과 재고 DB(152)에서 남아있는 상품의 수량을 비교하여, 각각의 상품이 소진되는 날짜(즉, 소진 예측일)를 예측하여 재고 목록에 기록할 수 있다. 즉, 정보 관리 모듈(140)은 재고 목록에 기록된 상품의 수량이 변동되면, 상품의 변동 수량과 일일 평균 사용량을 기초로, 해당 상품의 소진 날짜도 갱신한다. 정보 관리 모듈(140)은 재고 목록에 기록된 소진 날짜를 모니터링하여, 특정 상품의 소진날짜가 임박하면(예컨대, 소진날짜로부터 3일 전이면), 상기 상품명과 소진 날짜가 포함된 소진 알림 정보를 이메일, 팝업 창 또는 푸시 메시지 형태로 사용자 단말(210)로 전송할 수 있다.

게다가, 정보 관리 모듈(140)은 재고 목록에 포함된 상품들 중에서 유통기한이 임박하면(예컨대, 유통기한일로부터 2일 전이면), 상품명과 유통기한을 포함하는 유통기한 임박 정보를 사용자 단말(210)로 전송할 수 있다. 상기 정보 관리 모듈(140)은 상기 유통기한 임박 정보를 이메일, 팝업 창 또는 푸시 메시지 형태로 사용자 단말(210)로 전송할 수 있다.

한편, 정보 관리 모듈(140)은 상품의 유통경로 및 상품의 제조년월일에서부터 현재 날짜까지의 기상 정보를 이용하여, 유통 신뢰 점수를 계산하고, 상기 유통 신뢰 점수를 기초로 해당 상품의 유통기한을 선택적으로 단축하여 재고 목록에 기록할 수 있다.

정보 관리 모듈(140)은 아래의 수학식 1을 이용하여 유통 신뢰 점수를 계산할 수 있다.

(수학식 1)

Score = (α×P) - (β×T) - (γ×H)

여기서, Score는 유통 신뢰 점수이고, P는 유통점에 대한 평가 점수로서, 각각의 유통점은 평가점수가 사전에 설정되어 있다. 일 실시예로서, 백화점, 대형마트 등과 같이 전국적으로 유통망이 형성된 유통점은 신뢰할 수 유통점으로 판단되어, 상대적으로 높은 평가 점수가 부여될 수 있다. T는 상품이 제조된 날짜부터 현재 날짜까지의 평균 온도이고, H는 상품이 제조된 날짜부터 현재 날짜까지의 평균 습도이며, α, β, γ는 해당 인자에 부여되는 가중치이다. 상기 가중치 α, β, γ는 사전에 설정될 수 있다. 상기 수학식 1에 따르면, 상기 유통 신뢰 점수(Score)는 상품을 판매한 유통점의 평가 점수(P)와 비례하고, 평균 온도(T)와 평균 습도(H)와는 반비례한다.

정보 관리 모듈(140)은 유형 확인 모듈(120)에서 식별한 영수증 이미지 또는 유통기한 이미지의 유형을 토대로, 해당 상품을 판매한 유통점을 식별할 수 있다. 부연하면, 이미지의 유형과 유통점 식별정보(예컨대, 'A 마트', 'B 마트' 등)과 사전에 매핑되어 저장되어 있고, 정보 관리 모듈(140)은 유형 확인 모듈(120)에서 식별한 영수증 이미지 또는 유통기한 이미지의 유형을 매칭되는 유통점을 확인할 수 있다.

정보 관리 모듈(140)은 해당 상품의 유통점에 대한 평가 점수를 확인하고, 기상 정보 서버(300)와 연동하여 상품의 제조월일에서부터 현재 날짜까지의 평균 온도와 평균 습도를 확인한 후, 상기 평가 점수, 상기 평균 온도 및 상기 평균 습도를 상기 수학식 1에 대입하여, 상기 상품의 유통 신뢰 점수를 계산할 수 있다.

정보 관리 모듈(140)은 산출한 유통 신뢰 점수가 사전에 설정한 정상범위를 이탈하는 경우, 상기 상품의 유통기한을 단축하고, 상기 단축한 유통기한을 강화된 유통기한으로서 해당 상품에 적용할 수 있다. 이때, 정보 관리 모듈(140)은 상기 유통 신뢰 점수가 상기 정상범위에서 이탈되는 크기에 비례하여 상기 유통기한이 단축되는 차감 일수를 설정하고, 상품의 유통기한을 상기 차감 일수만큼 단축하여 유통기한을 조정한다. 정보 관리 모듈(140)은 상기 강화된 유통기한을 재고 목록에 기록할 수 있다.

도 5는 본 발명의 일 실시예에 따른, 상품 정보 관리 장치(100)가 영수증 이미지에서 상품 정보를 인식하여 재고 목록에 등록하는 방법을 설명하는 흐름도이다.

도 5 및 도 6에 따른 절차는, 기계 학습이 완료된 이후에 진행된다.

도 5를 참조하면, 상품 정보 관리 장치(100)는 사용자가 촬영한 영수증 이미지를 사용자의 단말(200)로부터 수신한다(S501).

그러면, 유형 확인 모듈(120)은 상기 영수증 이미지에서 상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 등 중에서 하나 이상을 포함하는 특징 데이터를 추출한다. 그리고 유형 확인 모듈(120)은 상기 추출한 특징 데이터와 저장 모듈(150)에 저장된 영수증 이미지 유형별 특징 데이터와 비교하여, 상기 추출한 특징 데이터와 유사도가 가장 높은 영수증 이미지 유형을 확인하고, 서로 다른 유형의 인공지능 모델 중에서, 상기 유형에 해당하는 제1 인공지능 모델을 선택한다(S503).

이어서, 데이터 인식 모듈(130)은 상기 선택한 제1 인공지능 모델을 이용하여 상기 상품 이미지에서 상품명과 수량을 인식한다(S507). 즉, 데이터 인식 모듈(130)은 상기 제1 인공지능 모델에 상기 영수증 이미지를 입력하고, 상기 제1 인공지능 모델에서 출력되는 수량과 상품명을 확인한다.

다음으로, 정보 관리 모듈(140)은 상기 인식된 상품명과 일치하는 실제 상품명이 상품명 DB(151)에서 검색되는지 여부를 확인하여 검색되면(S509), 상기 인식한 상품명과 수량을 포함하는 상품 정보를 사용자의 재고 목록에 등록한다.

반면에, 정보 관리 모듈(140)은 상기 인식된 상품명과 일치하는 실제 상품명이 상품명 DB(151)에서 검색되지 않으면, 상기 인식된 상품명과 일치하는 유사 단어를 상품명 DB(151)에서 검색하고, 상기 유사 단어와 매핑된 실제 상품을 상품명 DB(151)에서 확인한다(S513). 다음으로, 정보 관리 모듈(140)은 영수증 이미지에서 인식된 상기 상품명을 상기 확인한 실제 상품명으로 변경하고(S515), 변경된 상품명과 상기 수량을 포함하는 상품 정보를 사용자의 재고 목록에 등록한다.

한편, 정보 관리 모듈(140)은 인식된 상품명과 일치하는 유사 단어와 실제 상품명이 상품명 DB(151)에서 전혀 검색되지 않으면, 수동으로 재고 DB(152)에 데이터를 입력하는 것을 요구하는 메시지를 사용자 단말(210)로 전송하고, 사용자가 입력한 상품명을 기초로 상품 정보를 생성하여 재고 목록에 등록한다.

이어서, 정보 관리 모듈(140)은 상기 상품명을 가지는 상품에 대한 일일 평균 사용량을 사용량 DB(153)에서 확인하고, 상기 상품의 총 재고량을 재고 목록에서 확인한다(S517). 상기 정보 관리 모듈(140)은 재고 목록에서 상기 상품의 수량을 합산함으로써, 상기 상품의 총 재고량을 확인할 수 있다.

다음으로, 정보 관리 모듈(140)은 상기 확인한 재고 수량과 일일 평균 사용량을 기초로, 상기 상품이 소진되는 날짜를 예측하고, 이 예측한 소진 날짜를 재고 목록에 기록한다(S519). 그리고 정보 관리 모듈(140)은 상기 예측한 상품의 소진 날짜가 포함된 소진 알림 정보를 사용자 단말(210)로 전송함으로써, 해당 상품의 재구매가 필요함을 사용자에게 상기시킬 수 있다(S521). 상기 정보 관리 모듈(140)은 상기 예측한 상품의 소진 날짜가 임박하면(예컨대, 소진 날짜로부터 3일 전이면), 상기 상품명과 소진 날짜가 포함된 소진 알림 정보를 이메일, 팝업 창 또는 푸시 메시지 형태로 사용자 단말(210)로 전송할 수 있다.

또한, 정보 관리 모듈(140)은 재고 목록에 포함된 상품들 중에서 유통기한이 임박한지 여부를 모니터링하여(예컨대, 유통기한일로부터 2일 전에 도달하는지 여부를 모니터링하여), 상기 모니터링 결과 유통기한이 임박하면 상품명과 유통기한을 포함하는 유통기한 임박 정보를 사용자 단말(210)로 전송할 수 있다.

도 6은 본 발명의 다른 실시예에 따른, 상품 정보 관리 장치(100)가 유통기한 이미지에서 유통기한을 인식하여 저장하는 방법을 설명하는 흐름도이다.

도 6에 따른 프로세스는 도 5에 따른 프로세스 이후에 진행될 수 있다.

도 6을 참조하면, 상품 정보 관리 장치(100)는 사용자가 구매한 상품의 유통기한 이미지를 사용자의 단말(200)로부터 수신한다(S601).

그러면, 유형 확인 모듈(120)은 상기 유통기한 이미지에서 유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 글씨체, 스티커의 가로 세로 비율 중에서 하나 이상을 포함하는 특징 데이터를 추출한다. 그리고 유형 확인 모듈(120)은 상기 추출한 특징 데이터와 저장 모듈(150)에 저장된 유통기한 이미지 유형별 특징 데이터와 비교하여, 상기 추출한 특징 데이터와 유사도가 가장 높은 유통기한 이미지 유형을 확인하고, 서로 다른 유형의 인공지능 모델 중에서 상기 유형에 해당하는 제2 인공지능 모델을 선택한다(S602). 상기 제2 인공지능 모델은 상술한 제1 인공지능 모델과 동일한 모델일 수도 있고, 상이한 모델일 수도 있다.

이어서, 데이터 인식 모듈(130)은 상기 선택한 제2 인공지능 모델을 이용하여 상기 유통기한 이미지에서 유통기한과 제조날짜를 인식한다(S605). 즉, 데이터 인식 모듈(130)은 상기 제2 인공지능 모델에 상기 유통기한 이미지를 입력하고, 상기 제2 인공지능 모델에서 출력되는 유통기한과 제조날짜를 확인한다.

다음으로, 정보 관리 모듈(140)은 S507 단계에서 인식된 상품명을 가지는 상품 정보에 상기 유통기한과 제조년월일 추가 기록함으로써, 해당 상품의 유통기한과 제조날짜를 재고 목록에 저장한다(S607).

한편, 영수증 이미지에서 인식된 상품명이 복수일 수도 있다. 이 경우, 정보 관리 모듈(140)은 상기 복수의 상품명 목록을 사용자 단말(210)로 제공하고, 이 중에서 상기 유통기한 이미지와 관련된 어느 한 상품명을 사용자 단말(210)로부터 수신한 후, 이 수신한 상품명을 가지는 상품정보에 상기 유통기한과 제조년월일 추가 기록하여 재고 목록을 갱신할 수 있다.

다른 실시형태로서, 데이터 인식 모듈(130)은 유통기한 이미지에서 유통기한 또는 제조날짜 중 어느 하나만을 인식할 수 있다. 데이터 인식 모듈(130)은 제조날짜만이 인식된 경우, 인식된 상품명과 대응되는 표준 유통기간을 상품명 DB(151)에서 확인하고, 상기 제조날짜에 상기 표준 유통기간을 가산함으로써, 해당 상품의 유통기한을 확인하여 재고 목록에 기록할 수 있다. 다른 실시예로서, 데이터 인식 모듈(130)은 유통기한만이 인식된 경우, 상기 상품명과 대응되는 표준 유통기간을 상품명 DB(151)에서 확인하고, 상기 유통기한에 상기 표준 유통기간을 차감하여 제조날짜를 확인하여 재고 목록에 기록할 수 있다.

또 다른 실시예로서, 데이터 인식 모듈(130)이 유통기한 이미지에서 유통기한 및 제조날짜 모두를 인식하지 못하는 경우, 상품 정보 관리 장치(100)는 제조날짜와 유통기한을 입력 사용자 단말(210)로 요청하여, 사용자가 직접 입력한 유통기한과 제조날짜를 재고 목록에 기록할 수 있다.

상품의 유통기한과 제조날짜의 저장이 완료되면, 정보 관리 모듈(140)은 상기 상품의 제조날짜에서부터 현재 날짜까지의 평균 온도 및 평균 습도를 기상 정보 서버(300)로부터 획득한다. 또한, 정보 관리 모듈(140)은 식별한 영수증 이미지 유형과 대응되는 유통점의 평가 점수를 확인한다. 그리고 정보 관리 모듈(140)은 상기 평균 온도, 평균 습도 및 평가 점수를 수학식 1에 대입하여 구매된 상기 상품의 유통 신뢰 점수를 계산한다(S609).

이어서, 정보 관리 모듈(140)은 상기 유통 신뢰 점수가 사전에 설정한 정상범위를 이탈하였는지 여부를 확인한 후(S611), 이탈하지 않은 경우 상기 상품에 대한 유통기한 조정을 진행하지 않고 종료한다(S613).

반면에, 정보 관리 모듈(140)은 상기 유통 신뢰 점수가 상기 정상범위를 이탈한 경우, 상기 상품의 유통기한을 단축시켜 상기 유통기한을 더 짧게 조정하여 재고 목록에 기록한다(S615). 이때, 정보 관리 모듈(140)은 상기 평가 점수가 상기 정상범위에서 이탈되는 크기에 비례하여 상기 유통기한이 단축되는 차감 일수를 결정하고, 상품의 유통기한을 상기 차감 일수만큼 단축하여 상품의 유통기간을 조정한다. 정보 관리 모듈(140)은 상기 조정된 유통기한을 상기 상품의 강화된 유통기한으로 설정하여 재고 목록에 기록할 수 있으며, 또는 재고 목록에 기록된 유통기한을 단축된 유통기한으로 변경할 수 있다.

지금까지 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 상품 정보 관리 방법 및 장치에 대해서 설명하였다. 이하에서는, 본 발명의 일 실시예에 따른 상품 정보 관리 장치(100)를 구현할 수 있는 컴퓨팅 장치(500)에 대하여 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 상품 정보 관리 장치(100)를 구현할 수 있는 예시적인 컴퓨팅 장치(500)를 나타내는 하드웨어 구성도이다.

도 7에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(520), 통신 인터페이스(530), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(551)을 로드(load)하는 메모리(540)와, 컴퓨터 프로그램(551)을 저장하는 스토리지(550)를 포함할 수 있다. 다만, 도 7에는 본 발명의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 7에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(540)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(540)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(550)로부터 하나 이상의 컴퓨터 프로그램(551)을 로드 할 수 있다. 메모리(540)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.

버스(520)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(520)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(530)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(530)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(530)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

몇몇 실시예들에 따르면, 통신 인터페이스(530)는 생략될 수도 있다.

스토리지(550)는 상기 하나 이상의 컴퓨터 프로그램(551)과 각종 데이터를 비임시적으로 저장할 수 있다. 또한, 스토리지(550)는 상술한 상품명 DB(151), 재고 DB(152) 및 사용량 DB(153)를 포함할 수 있다. 스토리지(550)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(551)은 메모리(540)에 로드 될 때 프로세서(510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션(instruction)들을 포함할 수 있다. 즉, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 상기 컴퓨터 프로그램(551)은, 인공지능 모듈(110), 유형 확인 모듈(120), 데이터 인식 모듈(130), 정보 관리 모듈(140) 각각에 해당하는 기능이 실행될 수 있도록 코드화된 프로그램일 수 있다.

위와 같은 경우, 컴퓨팅 장치(500)를 통해 본 발명의 일 실시예에 따른 상품 정보 관리 장치(100)가 구현될 수 있다.

지금까지 도 1 내지 도 7을 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 1 내지 도 7을 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행 되어야만 하거나 또는 모든 도시 된 동작들이 실행 되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

1. 상품 정보 관리 장치에서 이미지 인식을 기반으로 상품 정보를 관리하는 방법으로서,
   유통기한 이미지를 수신하는 단계;
   서로 다른 유형의 복수의 인공지능 모델 중에서, 상기 유통기한 이미지의 유형에 해당하는 제1 인공지능 모델을 선택하는 단계;
   상기 유통기한 이미지를 상기 선택한 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델에서 출력되는 유통기한을 확인하는 단계; 및
   상기 확인한 유통기한을 상품의 유통기한으로서 저장하는 단계를 포함하고,
   상기 상품의 제조날짜에서부터 현재 날짜까지의 기상 상태를 확인하는 단계;
   상기 상품을 판매한 유통점에 부여된 평가점수 및 상기 기상 상태를 이용하여, 상기 상품의 유통 신뢰 점수를 계산하는 단계; 및
   상기 유통 신뢰 점수가 정상범위에서 이탈하면, 상기 확인한 유통기한을 단축시켜 저장하는 단계를 더 포함하고,
   상기 유통 신뢰 점수는, 상기 유통점의 평가점수와 비례하고 상품이 제조된 날짜부터 현재 날짜까지의 평균 온도와 상품이 제조된 날짜부터 현재 날짜까지의 평균 습도에는 반비례하는 것이고,
   상기 유통점의 평가점수는 유통점의 유통망에 따라 사전에 설정되는,
   상품 정보 관리 방법.
2. 제1 항에 있어서,
   상기 유통기한 이미지에서 특징 데이터를 추출하고, 상기 추출한 특징 데이터와 기 저장된 유통기한 이미지 유형별 특징 데이터를 비교하여, 상기 유통기한 이미지의 유형을 식별하는 단계를 더 포함하는,
   상품 정보 관리 방법.
3. 제2 항에 있어서,
   상기 식별하는 단계는,
   유통기한 표기 형식, 상호명, 세부 정보 배열 형식, 스티커의 가로 세로 비율 중에서 하나 이상을 포함하는 특징 데이터를 상기 유통기한 이미지에서 추출하는,
   상품 정보 관리 방법.
4. 삭제
5. 제1 항에 있어서,
   상기 유통기한 이미지에서 제조날짜가 인식되고 유통기한 인식에 실패하는 경우, 상기 상품의 표준 유통기간을 확인하고, 상기 제조날짜에 상기 표준 유통기간을 가산하여 상기 상품의 유통기한을 확인하여 저장하는 단계를 포함하는,
   상품 정보 관리 방법.
6. 제1 항에 있어서,
   저장중인 재고 상품들 중에서 유통기한이 임박한 상품이 존재하는지 여부를 모니터링하는 단계; 및
   상기 모니터링 결과 유통기한이 임박한 상품이 확인되면 상품명과 유통기한을 포함하는 유통기한 임박 정보를 사용자에게 제공하는 단계를 더 포함하는,
   상품 정보 관리 방법.
7. 제1 항에 있어서,
   영수증 이미지를 수신하는 단계;
   상기 영수증 이미지의 유형을 식별하는 단계;
   영수증 이미지를 인식하는데 이용되는 복수의 인공지능 모델 중에서, 상기 영수증 이미지의 유형에 해당하는 제2 인공지능 모델을 선택하는 단계; 및
   상기 제2 인공지능 모델에 상기 영수증 이미지를 입력하여, 상기 제2 인공지능 모델에서 출력되는 상품명과 수량을 확인하는 단계를 더 포함하고,
   상기 저장하는 단계는, 상기 유통기한, 상기 상품명 및 상기 수량을 저장하는,
   상품 정보 관리 방법.
8. 제7 항에 있어서,
   상기 영수증 이미지의 유형을 식별하는 단계는,
   상호명, 고객센터 전화번호, 홈페이지 주소, 세부 정보 배열 형식 중에서 하나 이상을 포함하는 특징 데이터를 상기 영수증 이미지에서 추출하고, 상기 추출한 특징 데이터와 기 저장된 영수증 이미지 유형별 특징 데이터를 비교하여, 상기 영수증 이미지의 유형을 식별하는,
   상품 정보 관리 방법.
9. 제7 항에 있어서,
   유형에 따라 분류된 다수의 영수증 이미지와 다수의 유통기한 이미지를 해당 유형의 인공지능 모델에 입력하고 기계 학습을 진행하여, 유형에 따라 구분되는 상기 복수의 인공지능 모델을 구축하는 단계를 더 포함하는,
   상품 정보 관리 방법.
10. 제7 항에 있어서,
    상기 저장하는 단계는,
    상기 확인한 상품명과 일치하는 실제 상품명을 데이터베이스에서 검색하고, 상기 검색 결과 상기 확인한 상품명과 일치하는 실제 상품명이 검색되면 상기 확인한 상품명을 저장하는,
    상품 정보 관리 방법.
11. 제10 항에 있어서,
    상기 저장하는 단계는,
    상기 상품명과 일치하는 실제 상품명이 상기 데이터베이스에서 검색되지 않으면, 상기 확인한 상품명과 일치하는 유사 단어를 상기 데이터베이스에서 검색하는 단계; 및
    상기 검색한 유사 단어와 매핑된 실제 상품명으로 상기 인식한 상품명을 변경하고, 변경한 상품명을 저장하는 단계를 포함하는,
    상품 정보 관리 방법.
12. 제7 항에 있어서,
    POS(Point of Sale) 시스템으로부터 상기 상품의 판매 정보를 수신하는 단계; 및
    상기 판매 정보에 포함된 판매 수량을 토대로, 상기 상품의 소모량을 확인하고, 저장중인 상기 상품의 재고 수량에서 상기 소모량을 차감하는 단계를 더 포함하는
    상품 정보 관리 방법.
13. 제12 항에 있어서,
    상기 저장중인 상품의 재고 수량과 일일 사용량을 기초로, 상기 상품의 소진 날짜를 예측하는 단계; 및
    상기 소진 날짜가 임박하면, 상기 상품의 이름과 소진 날짜를 사용자에게 제공하는 단계를 포함하는,
    상품 정보 관리 방법.
14. 하나 이상의 프로세서;
    상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    재고 목록을 저장하는 스토리지;를 포함하되,
    상기 컴퓨터 프로그램은,
    유통기한 이미지를 수신하는 오퍼레이션;
    서로 다른 유형의 복수의 인공지능 모델 중에서, 상기 유통기한 이미지의 유형에 해당하는 제1 인공지능 모델을 선택하는 오퍼레이션;
    상기 유통기한 이미지를 상기 선택한 제1 인공지능 모델에 입력하고, 상기 제1 인공지능 모델에서 출력되는 유통기한을 확인하는 오퍼레이션; 및
    상기 확인한 유통기한을 상품의 유통기한으로서 상기 재고 목록에 저장하는 오퍼레이션을 포함하고,
    상기 상품의 제조날짜에서부터 현재 날짜까지의 기상 상태를 확인하는 오퍼레이션;
    상기 상품을 판매한 유통점에 부여된 평가점수 및 상기 기상 상태를 이용하여, 상기 상품의 유통 신뢰 점수를 계산하는 오퍼레이션; 및
    상기 유통 신뢰 점수가 정상범위에서 이탈하면, 상기 확인한 유통기한을 단축시켜 저장하는 오퍼레이션을 더 포함하고,
    상기 유통 신뢰 점수는, 상기 유통점의 평가점수와 비례하고 상품이 제조된 날짜부터 현재 날짜까지의 평균 온도와 상품의 제조된 날짜부터 현재 날짜까지의 평균 습도에는 반비례하는 것이고,
    상기 유통점의 평가점수는 유통점의 유통망에 따라 사전에 설정되는,
    상품 정보 관리 장치.
15. 삭제
16. 제14 항에 있어서,
    상기 컴퓨터 프로그램은,
    영수증 이미지를 수신하는 오퍼레이션;
    상기 영수증 이미지의 유형을 식별하는 오퍼레이션;
    영수증 이미지를 인식하는데 이용되는 복수의 인공지능 모델 중에서, 상기 영수증 이미지의 유형에 해당하는 제2 인공지능 모델을 선택하는 오퍼레이션; 및
    상기 제2 인공지능 모델에 상기 영수증 이미지를 입력하여, 상기 제2 인공지능 모델에서 출력되는 상품명과 수량을 확인하는 오퍼레이션을 더 포함하고,
    상기 저장하는 오퍼레이션은, 상기 유통기한, 상기 상품명 및 상기 수량을 상기 재고 목록에 저장하는,
    상품 정보 관리 장치.

Images