KR102477840B1 - 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 - Google Patents
사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 Download PDFInfo
- Publication number
- KR102477840B1 KR102477840B1 KR1020200141722A KR20200141722A KR102477840B1 KR 102477840 B1 KR102477840 B1 KR 102477840B1 KR 1020200141722 A KR1020200141722 A KR 1020200141722A KR 20200141722 A KR20200141722 A KR 20200141722A KR 102477840 B1 KR102477840 B1 KR 102477840B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- purchase
- product
- database
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000007477 logistic regression Methods 0.000 claims description 8
- 230000036555 skin type Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 206010013786 Dry skin Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 239000008406 cosmetic ingredient Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000037336 dry skin Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
상품 정보 검색 장치의 제어 방법은, 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하는 단계, 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하는 단계, 구매 영수증 이미지에서 구매 정보를 식별하고, 식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계, 및 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함한다.
Description
오프라인 리테일 환경에서의 상품 정보 검색 장치 및 이를 위한 제어방법에 관한 것으로, 특히 오프라인 리테일 매장에서의 정보와 사용자 정보를 활용하여 소비자가 구매 의사 결정을 하는데 도움을 줄 수 있는 상품 정보 검색 장치 및 이를 위한 제어방법에 관한 것이다.
각종 온라인 비즈니스가 활성화되면서, 전통적인 유통 사업도 차별화된 프로모션 방법의 개발에 대한 압박을 받고 있다. 그러나, 여전히 많은 상품들은 오프라인 매장에서 판매되기도 하고, 온라인 매장에서 판매되기도 한다. 또한, 전 세계적으로 쇼핑의 91%는 여전히 오프라인 매장에서 이루어지고 있으며, 소비자의 구매 여정에 대한 정보는 오프라인 매장의 어떤 자극과 정보를 접했는지 확인할 수 있는 주요한 정보이다.
그러나, 오프라인 매장을 통해 얻게 되는 데이터는 온라인 데이터에 비해 수집이 어려우며, 실제 소비자의 오프라인 라이프가 담긴 데이터이기 때문에 매우 가치 있는 데이터로 주목 받고 있음에도 불구하고, 오프라인 매장과 온라인 매장 모두 소비자의 오프라인 상에서의 구매 여정을 파악하기 어려운 실정이었고, 이에 따라 오프라인 상에서 구매 활동을 하는 소비자에게 적합한 상품을 도출하기 어려운 점이 있었다.
오프라인 상에서 탐색된 소비자의 로그 데이터를 수집하고, 사용자 정보를 활용하여 소비자가 구매 의사 결정을 하는데 도움을 줄 수 있는 상품 정보 검색 장치 및 이를 위한 제어방법을 제공하고자 한다.
일 측면에 따른 상품 정보 검색 장치의 제어 방법은, 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하는 단계, 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하는 단계, 구매 영수증 이미지에서 구매 정보를 식별하고, 식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계, 및 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함한다.
영향을 미치는 요소를 판단하는 단계는, 이분형 로지스틱스 회귀 분석 방법을 이용하여 수행될 수 있다.
사용자 정보를 구성하는 요소는 사용자로부터 입력된 사용자의 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 및 취향 중 적어도 어느 하나일 수 있다.
상품 정보 검색 장치의 제어방법은 딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나를 이용하여 어느 사용자 정보를 갖는 사용자가 특정 상품을 조회 또는 구매할 확률을 판단하는 단계를 더 포함할 수 있다.
딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나는 순환 신경망 모델(Recurrent Neural Network, RNN)을 포함할 수 있다.
식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계는, 획득된 구매 영수증 이미지에서 인공 신경망 모델을 사용하여 구매 정보를 식별하는 단계를 포함할 수 있다.
식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계는, 인공 신경망 모델을 사용하여 구매 영수증 이미지에 포함된 적어도 어느 한 객체를 특정하는 단계, 및 특정된 객체의 텍스트 데이터를 추출하는 단계를 포함하고, 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계는, 추출된 텍스트 데이터에 기초하여 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함할 수 있다.
객체는 매장 정보, 상품명, 가격, 프로모션 정보, 수량 정보, 구매 시기 정보, 구매자 정보, 및 고유의 식별 코드 중 적어도 어느 하나를 포함할 수 있다.
식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계는, 추출된 텍스트 데이터를 후처리하는 단계를 더 포함하되, 후처리하는 단계는, 구매 영수증 이미지의 글자 단위 정보 및 텍스트 문맥 정보 중 적어도 어느 하나에 기초하여 텍스트 데이터를 후처리하는 단계를 포함할 수 있다.
다른 측면에 따른 상품 정보 검색 장치는, 상품 정보 검색 장치는 프로세서를 포함하고, 프로세서는, 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하고, 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하고, 구매 영수증 이미지에서 구매 정보를 식별하고, 식별된 구매 정보를 데이터베이스에 사용자 별로 저장하고, 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단할 수 있다.
영향을 미치는 요소를 판단하는 것은, 이분형 로지스틱스 회귀 분석 방법을 이용하여 수행될 수 있다.
또 다른 측면에 따른 컴퓨터로 판독 가능한 기록 매체는, 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하는 단계, 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하는 단계, 구매 영수증 이미지에서 구매 정보를 식별하고, 식별된 구매 정보를 데이터베이스에 사용자 별로 저장하는 단계, 및 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함하는 방법이 기록된다.
영향을 미치는 요소를 판단하는 단계는, 이분형 로지스틱스 회귀 분석 방법을 이용하여 수행될 수 있다.
전술한 과제 해결 수단에 의하면, 소비자의 오프라인 상에서의 다양한 구매 여정에 대한 정보를 수집함으로써 개인 맞춤형 추천 서비스, 개인 맞춤형 상품 분석 서비스, 개인 맞춤형 상품 기획 등이 비즈니스 전반에 활용될 수 있게 된다.
도 1은 상품 정보 검색 장치 및 상품 정보 검색 장치가 획득하는 상품 정보 이미지의 예시도이다.
도 2는 상품 정보 이미지가 포함하는 다양한 객체를 보여주는 도면이다.
도 3은 상품 정보 검색 장치가 상품 정보 이미지에 대한 전처리 과정을 설명하기 위한 예시도이다.
도 4는 일 실시예에 따른 상품 정보 검색 장치가 저장하는 속성 정보의 개념도이다.
도 5는 구매 영수증 이미지의 예시도이다.
도 6은 LSTM을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 상품 정보 검색 장치의 제어방법에 대한 순서도이다.
도 2는 상품 정보 이미지가 포함하는 다양한 객체를 보여주는 도면이다.
도 3은 상품 정보 검색 장치가 상품 정보 이미지에 대한 전처리 과정을 설명하기 위한 예시도이다.
도 4는 일 실시예에 따른 상품 정보 검색 장치가 저장하는 속성 정보의 개념도이다.
도 5는 구매 영수증 이미지의 예시도이다.
도 6은 LSTM을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 상품 정보 검색 장치의 제어방법에 대한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
상품 정보 검색 장치는 상품 정보 이미지를 촬영하여 일련의 과정들을 수행하는 어플리케이션이 설치된 사용자 단말이 될 수도 있고, 사용자 단말로부터 촬영된 상품 정보 이미지를 수신하여 일련의 과정들을 수행하고 데이터를 사용자 단말과 교환하는 서버가 될 수도 있다. 이하, 설명의 편의를 위해 상품 정보 검색 장치가 사용자 단말로 구현된 것을 예로 들어 설명한다.
사용자 단말은 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
상품에는 상품명이나 고유의 식별 코드가 기재되어 있다. 또는, 상품과 인접한 부분에 상품정보가 기재된 프라이스택 등이 위치할 수 있다.
도 1은 상품 정보 검색 장치 및 상품 정보 검색 장치가 획득하는 상품 정보 이미지의 예시도이다.
상품 정보 검색 장치(100)는 상품과 함께 인접한 주변 물체를 함께 촬영할 수 있다. 상품 정보 검색 장치(100)가 촬영한 상품 정보 이미지에는 상품명, 고유의 식별 코드 또는 기타 정보가 포함될 수 있다.
상품 정보 이미지는 상품을 식별할 수 있는 정보 또는 특정 상품을 다른 상품과 구별할 수 있는 정보를 포함하는 촬영된 이미지를 의미한다. 예를 들어, 상품 정보 이미지는 상품 정보를 포함할 수 있다. 상품 정보는 상품명, 가격, 프로모션 정보, 및 고유의 식별 코드 등 다양한 객체에 대한 정보를 포함할 수 있다. 즉, 상품 정보 이미지는 도 1의 (a)와 같이 상품 정보가 기재된 프라이스택을 촬영한 이미지일 수 있고, 도 1의 (b)와 같이 상품 정보가 표면에 기재된 상품을 촬영한 이미지일 수 있고, 도 1의 (c)와 같이 상품 정보가 기재된 포장재를 촬영한 이미지일 수도 있다.
상품 정보 검색 장치(100)는 촬영된 상품 정보 이미지에서 상품 정보를 식별할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 상품 정보 이미지에서 적어도 어느 한 객체를 특정할 수 있다.
도 2는 상품 정보 이미지가 포함하는 다양한 객체를 보여주는 도면이다.
예를 들어, 상품 정보 검색 장치(100)는 상품 정보 이미지에서 상품명(Ob1), 가격(Ob2; '할인 전 가격', '할인 후 가격' 등), 프로모션 정보(Ob3; '1+1', '할인', '적립', '사은품 증정' 등), 및 고유의 식별 코드(Ob4) 중 적어도 어느 한 객체를 특정할 수 있다. 이때, 상품 정보 검색 장치(100)는 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 사용하여 객체를 특정할 수 있는데, 일 예로서, 상품 정보 검색 장치(100)는 딥러닝 R-CNN ("Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation, Ross Girshick, Jeff Donahue, Trevor Darrell and Jitendra Malik, in CVPR 2014" 참고) 모델에 기반하여 객체 탐지 기술(Object Detection)로써 객체를 특정할 수 있다.
합성곱 신경망 모델에서의 '합성곱(Convolution)' 연산은 이미지의 구성 요소를 추출내는 연산으로 아래와 같은 수학식 1을 기반으로 구현할 수 있다.
[수학식 1]
수치화 된 이미지 매트릭스에 커널 매트릭스를 통과시켜 자신의 위치 픽셀과 주변에 인접한 픽셀의 데이터를 계산하여 결과를 도출하고, 출력 매트릭스로서 저장된 데이터가 이미지의 특징을 갖는다.
다만, 합성곱 연산만을 지속하면 특정 시점부터 정확도가 떨어지는 오버 피팅이 발생하게 되는데, 오버 피팅을 방지하기 위해 상품 정보 검색 장치(100)는 출력 매트릭스의 인접값에서 큰 값으로 풀링(Pooling)할 수 있고, 드롭아웃(Dropout)을 수행할 수 있다.
이후 상품 정보 검색 장치(100)는 데이터 분류 알고리즘(예를 들어, SVM(Support Vector Machine), SoftMax)을 이용하여 상품 정보 이미지에서 객체의 위치를 추출할 수 있고 객체를 특정할 수 있다.
또한, 상품 정보 검색 장치(100)는 상품 정보 이미지의 정확도를 높이기 위해, 객체를 특정하기 이전에, 상품 정보 이미지에 대한 전처리를 수행할 수도 있다. 전처리는 예를 들어, 이미지 이진화 변환, 노이즈 제거, 주변 배경 제거, 및 해상도 변경 등을 수행하는 것일 수 있다.
도 3은 상품 정보 검색 장치가 상품 정보 이미지에 대한 전처리 과정을 설명하기 위한 예시도이다.
도 3을 참조하면, 일 예로서, 상품 정보 검색 장치(100)는 상품 정보 이미지에서 프라이스택 이미지를 추출하고, 프라이스택 이미지를 균일 사이즈의 이미지로 변환할 수 있다. 그리고, 프라이스택 내 객체들의 좌표를 계산하여 좌표 별 수치데이터로 객체에 대한 이미지 데이터를 수치 데이터로 변환할 수 있다. 상품 정보 검색 장치(100)는 이러한 좌표에 따른 이미지의 수치 데이터에 기반하여 객체를 특정할 수 있다.
또한, 상품 정보 검색 장치(100)는 촬영된 이미지 내의 텍스트를 식별하고, 텍스트 데이터를 추출할 수 있다. 이때, 상품 정보 검색 장치(100)는 전체 이미지 영역을 판독하여 텍스트를 식별하거나, 특정된 객체 별 텍스트를 식별할 수 있다.
일 실시 예로서, 상품 정보 검색 장치(100)는 광학적 문자 판독(Optical Character Recognition, OCR) 방식 등을 이용하여 상품 정보 이미지 내의 텍스트를 검출할 수 있다.
상품 정보 검색 장치(100)는 정확하게 텍스트를 검출하기 위해, 인식된 텍스트 결과 중 오탈자가 있는 경우와 없는 경우를 나눈 후 오인식된 상품명과 보정된 상품명을 매칭하여 딥러닝 모델을 학습시킬 수 있다.
또한, 상품 정보 검색 장치(100)는 상품 정보 이미지가 촬영된 장소의 위치 정보를 메타 정보로서 획득할 수 있다. 실시예에 따라서는 촬영시간에 대한 정보 또한 메타 정보로서 획득할 수도 있다. 위치 정보는 상품 정보 이미지로부터 촬영좌표를 추출함으로써 획득될 수도 있고, 별개의 GPS 등을 수집함으로써 획득될 수도 있다.
상품 정보 검색 장치(100)는 인식된 객체 별 텍스트 데이터에 기초하여 상품 정보 이미지가 촬영된 상품의 속성 정보를 데이터베이스에 저장할 수 있다. 데이터베이스는 상품 정보 검색 장치(100)에 포함된 것일 수 있고 별도의 서버에 포함된 것일 수도 있으며 하드웨어적 위치가 한정되지는 아니한다.
도 4는 일 실시예에 따른 상품 정보 검색 장치가 저장하는 속성 정보의 개념도이다.
도 4를 참조하면, 상품 정보 검색 장치(100)는 상품의 카테고리 별로 해당 상품의 속성 정보(예를 들어, 상품명, 가격, 프로모션 정보, 성분, 및 고유의 식별 코드 등)를 데이터베이스에 저장할 수 있다. 또한, 상품 정보 검색 장치(100)는 상품 정보 이미지가 촬영된 장소의 위치 정보에 기초하여 상품 정보 이미지에 상응하는 매장정보를 특정하고, 매장 정보 또한 속성 정보로서 함께 저장하는 것이 가능하다.
일례로, 상품 정보 검색 장치(100)는 딥러닝 기반 예측 알고리즘을 이용하여 상품의 속성 정보를 벡터화하여 저장할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 Word2Vec을 활용하여 화장품 유형별 성분, 속성 정보를 벡터화하고, CBOW(Continuous Bag-of-Words) 모델을 활용하여 화장품 성분 사이의 거리를 벡터화할 수 있다. Word2Vec과 CBOW은 공지된 기술이므로 자세한 설명을 생략한다. 이는 추후 유저의 촬영 기록과 검색 내역 등의 기입 내용에 근거하여 산출된 속성 정보와 벡터상 가까운 거리의 성분이 포함된 제품이 추천될 수 있도록 하기 위함이다.
상품 정보 검색 장치(100)는 구매 영수증 이미지를 촬영하거나 외부 장치로부터 획득할 수도 있다. 이 경우에도 마찬가지로, 상품 정보 검색 장치(100)는 구매 영수증 이미지를 촬영하여 일련의 과정들을 수행하는 어플리케이션이 설치된 사용자 단말이 될 수도 있고, 사용자 단말로부터 촬영된 구매 영수증 이미지를 수신하여 일련의 과정들을 수행하고 데이터를 사용자 단말과 교환하는 서버가 될 수도 있으나, 설명의 편의를 위해 상품 정보 검색 장치(100)가 사용자 단말로 구현되어 구매 영수증 이미지를 획득한 것을 예로 들어 설명한다.
구매 영수증에는 다양한 상품의 구매와 관련된 정보가 기재되어 있다. 상품 정보 검색 장치(100)가 촬영한 구매 영수증에는 매장 정보, 상품명, 가격, 프로모션 정보, 수량 정보, 구매 시기 정보, 구매자 정보, 및 고유의 식별 코드 등 다양한 구매와 관련된 정보가 포함되어 있을 수 있다.
도 5는 구매 영수증 이미지의 예시도이다.
구매 영수증 이미지는 소비자의 구매 내역에 대해 식별할 수 있는 정보가 촬영된 이미지를 의미한다. 예를 들어, 구매 영수증 이미지는 구매 정보를 포함할 수 있다. 구매 정보는 매장 정보, 구매자 정보(성명, 전화번호 등), 상품명, 가격, 프로모션 정보, 수량 정보, 구매 시기 정보, 구매자 정보, 및 고유의 식별 코드 등 다양한 객체에 대한 정보를 포함할 수 있다. 구매 영수증 이미지는 오프라인 상에서 직접 촬영된 지면 영수증을 촬영한 이미지일 수도 있고, 온라인 상에서 발행된 온라인 영수증의 이미지일 수도 있다.
상품 정보 검색 장치(100)는 촬영된 구매 영수증 이미지에서 구매 정보를 식별할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 구매 영수증 이미지에서 적어도 어느 한 객체를 특정할 수 있다.
예를 들어 도 5를 참조하면, 상품 정보 검색 장치(100)는 구매 영수증 이미지에서 매장 정보(Ob5), 상품명(Ob6), 가격(Ob7), 프로모션 정보(Ob8), 수량 정보(Ob9), 구매 시기 정보(Ob10), 및 고유의 식별 코드(Ob11) 중 적어도 어느 한 객체를 특정할 수 있다. 이때, 상품 정보 검색 장치(100)는 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 사용하여 객체를 특정할 수 있는데, 일 예로서, 상품 정보 검색 장치(100)는 MobileNet ("MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, Howard AG, Zhu M, Chen B, Kalenichenko D, Wang W, Weyand T, Andreetto M, Adam H, arXiv:1704.04861, 2017.; MobileNetV2: Inverted Residuals and Linear Bottlenecks, Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. arXiv preprint. arXiv:1801.04381, 2018." 참고) 모델에 기반하여 객체 탐지 기술(Object Detection)로써 객체를 특정할 수 있다.
MobileNet 모델은 깊이 방향으로 나눈 합성곱 레이어를 이용하여 간소화된 구조를 기반으로 하는 모델로서, 전체 이미지에 대한 합성곱을 연산하되, 채널별 합성곱과 1 x 1 합성곱으로 인수분해함으로써 구매 영수증 이미지에 포함된 객체들을 탐지할 수 있게 된다. MobileNet 모델을 사용하는 경우, 기존 방식보다 이미지의 크기 및 형태 측면에 비교적 적은 제약을 받으면서, 빠른 속도로 객체 탐지가 가능하게 된다. 특히, 모바일 기기와 같은 사용자 단말에서의 모델 활용성이 높아진다.
또한, 상품 정보 검색 장치(100)는 구매 영수증 이미지의 정확도를 높이기 위해, 객체를 특정하기 이전에, 구매 영수증 이미지에 대한 전처리를 수행할 수도 있다. 전처리는 예를 들어, 이미지 이진화 변환, 노이즈 제거, 주변 배경 제거, 및 해상도 변경 등을 수행하는 것일 수 있다.
또한, 상품 정보 검색 장치(100)는 촬영된 구매 영수증 이미지 내의 텍스트를 식별하고, 텍스트 데이터를 추출할 수 있다. 이때, 상품 정보 검색 장치(100)는 전체 이미지 영역을 판독하여 텍스트를 식별하거나, 특정된 객체 별 텍스트를 식별할 수 있다.
일 실시 예로서, 상품 정보 검색 장치(100)는 광학적 문자 판독(Optical Character Recognition, OCR) 방식 등을 이용하여 구매 영수증 이미지 내의 텍스트를 검출할 수 있다.
상품 정보 검색 장치(100)는 텍스트 데이터에 대해 후처리를 수행할 수 있다.
일 실시예로서, 상품 정보 검색 장치(100)는 구매 영수증 이미지의 글자 단위 정보 및 텍스트 문맥 정보 중 적어도 어느 하나에 기초하여 텍스트 데이터를 후처리할 수 있다.
예를 들어, 상품 정보 검색 장치(100)는 프로모션 정보가 훼손된 구매 영수증 이미지에서 % (퍼센트) 혹은 - (차감) 부호를 통해 가격 할인 이벤트가 발생하였음을 프로모션 정보로서 추론할 수 있다.
또한, 상품 정보 검색 장치(100)는 특정 객체 정보가 훼손된 구매 영수증 이미지에서 주변 텍스트들 간의 문맥 정보를 활용해 특정 객체가 어떤 객체에 해당하는 정보인지 매칭시켜줄 수도 있다.
상품 정보 검색 장치(100)는 사용자 단말기에서 촬영된 상품의 속성 정보와 구매 영수증 이미지로부터 획득된 사용자의 구매 정보를 사용자에 매칭시켜서 데이터베이스에 저장할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 사용자의 개인 정보를 별도의 개인 정보 서버로부터 획득하고, 개인 정보를 구성하는 요소들(예를 들어, 사용자의 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 취향 등)과 상품의 속성 정보 및 구매 정보를 매칭시켜 최종적으로 사용자 별 관심 상품 정보를 저장할 수 있다. 여기서, 개인 정보는 사용자 단말에 설치된 애플리케이션의 회원가입 정보로서 획득 또는 입력된 것일 수 있다.
또한, 상품 정보 검색 장치(100)는 사용자 단말기에서 촬영된 상품의 속성 정보보다 구매 영수증 이미지로부터 획득된 사용자의 구매 정보에 더 가중치를 두어 저장할 수도 있다. 실제로, 사용자가 촬영하여 검색한 상품보다 실제로 구매한 상품이 사용자의 선호도를 더 반영하기 때문이다.
이와 같이 사용자 별 관심 상품 정보가 다수의 사용자들로부터 획득된 경우, 잠재적 소비자의 개인 정보에 기초하여 관심 상품을 특정할 수 있게 되고, 잠재적 소비자의 구매 예측을 수행할 수 있게 된다.
정확한 구매 예측을 수행하기 위해, 상품 정보 검색 장치(100)는 다수의 사용자들로부터 획득된 사용자 별 관심 상품 정보를 토대로 테스트를 수행할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 수학식 2와 같은 이분형 로지스틱스 회귀 분석 방법을 이용하여 테스트를 수행할 수 있다.
[수학식 2]
y는 종속변수로서 상품 조회 여부(상품 정보 이미지를 촬영하거나 또는 상품을 직접 사용자 단말을 통해 키워드 검색한 것을 포함함) 또는 상품 구매 여부이며 X는 독립변수로 이루어진 매트릭스로서 독립변수에는 개인 정보의 요소(예를 들어, 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 취향 등)와 사용자 단말을 통해 확보되는 다양한 사용자의 온라인 활동 정보를 포함할 수 있다.
이와 같은 테스트를 통해서 사용자 정보(예를 들어, 사용자의 개인 정보와 사용자의 활동 정보와 같은 사용자에 대한 정보)를 구성하는 요소들(예를 들어, 사용자의 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 취향 등) 중 상품 조회 또는 상품 구매 여부에 유의미한 미치는 요소가 무엇인지 파악하고, 나아가 특정 상품을 조회하거나 구매할 가능성이 높은 사용자를 선별할 수 있게 된다.
구체적으로, 상품 정보 검색 장치(100)는 딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나를 적용한 상품 구매/조회 예측 모델을 이용하여 어느 사용자 정보를 갖는 사용자가 특정 상품을 조회 또는 구매할 확률을 판단하고, 이에 따라 타깃 광고할 사용자를 판단하고, 사용자에게 추천할 상품을 판단할 수 있게 된다.
상품 구매 및 조회 예측 모델은 순환 신경망 모델(Recurrent Neural Network, RNN)을 포함할 수 있고, 예를 들어, LSTM(Long-Short Term Memory)을 이용한 것일 수 있다.
도 6은 LSTM을 설명하기 위한 도면이다.
도 6을 참조하면, LSTM은 forget gate(f), input gate(i), output gate(o) 등 세 개의 Gate를 이용한 다음 스테이지로의 정보전달 양을 결정한다. 세 게이트 모두 이전 단계의 입력 값(x), 이전 스테이지의 결과 값(h)에 상응하는 가중치 값(W)를 곱한 후 합산하며, 여기에 다시 상수(b)를 더해 값을 계산할 수 있다. LSTM의 구체적인 게이트 계산 수식은 수학식 3과 같다.
[수학식 3]
LSTM에 적용되는 독립 변수는 개인 정보의 요소 또는 오프라인 프로모션 정보 등 전술한 테스트 과정을 통해 파악된 주요 변수(상품 조회 또는 상품 구매 여부에 유의미한 미치는 요인)를 포함할 수 있고, 시간적 속성을 지닌 사용자의 상품 조회 이력 데이터를 더 포함할 수 있다.
LSTM에 적용되는 종속 변수는 사용자의 구매 영수증 이미지를 기반으로 판단된 상품 구매 여부, 상품 조회 이력 데이터를 활용한 상품 조회 여부, 서비스 지속 사용 여부(Retention) 등 다양한 변수가 될 수 있다.
LSTM은 순환성을 고려하여 알고리즘이 이루어지며, 이에 따라 긴 시간 차이에 따른 변수의 영향력 변화를 반영할 수 있게 된다. 따라서, 상품 정보 검색 장치(100)가 LSTM을 이용하는 경우, 사용자의 상품 조회 이력에 존재하는 시간적 속성을 반영한 상품 구매 및 조회 예측 모델이 구현된다.
더 자세한 LSTM에 대한 설명은 https://en.wikipedia.org/wiki/Long_short-term_memory 참고할 수 있다.
또한, 상품 정보 검색 장치(100)는 교차 검증(cross validation)과 하이퍼파라미터 최적화(hyperparameter optimization)를 추가적으로 더 수행할 수도 있고 이에 따라 예측 성능을 향상시킬 수 있다.
이와 같이 상품 검색 장치(100)가 오프라인에서의 사용자의 여정의 전과정을 데이터화함으로써 상품의 구매와 조회에 대한 의사결정의 요인을 도출할 수 있게 되고, 오프라인 사용자의 구매 예측을 통해 리테일사나 제조사에게 실무적인 인사이트를 제공할 수 있게 된다.
상품 정보 검색 장치(100)는 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 촬영기반 정보제공 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다.
또한, 상품 정보 검색 장치(100)는 상품 정보 검색 장치(100) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램 또는 어플리케이션에 대한 데이터베이스를 저장하는 메모리, 및 메모리에 저장된 데이터베이스를 이용하여 전술한 동작을 수행하는 프로세서를 포함할 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
이하, 도 7을 참조하여, 상품 정보 검색 장치(100)의 제어방법에 대해서 설명한다. 도 7은 일 실시예에 따른 상품 정보 검색 장치의 제어방법에 대한 순서도이다.
일 실시예에 따른 상품 정보 검색 장치(100)는 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득한다(S1100).
이어서, 상품 정보 검색 장치(100)는 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장한다(S1200).
이어서, 상품 정보 검색 장치(100)는 구매 영수증 이미지에서 구매 정보를 식별하고, 식별된 구매 정보를 상기 데이터베이스에 사용자 별로 저장한다(S1300).
이때, 상품 정보 검색 장치(100)는 인공 신경망 모델을 사용하여 구매 정보를 식별할 수 있다.
구체적으로, 상품 정보 검색 장치(100)는 인공 신경망 모델을 사용하여 상기 구매 영수증 이미지에 포함된 적어도 어느 한 객체를 특정하고, 특정된 객체의 텍스트 데이터를 추출할 수 있다.
여기서, 객체는 매장 정보, 상품명, 가격, 프로모션 정보, 수량 정보, 구매 시기 정보, 구매자 정보, 및 고유의 식별 코드 중 적어도 어느 하나를 포함할 수 있다.
또한, 상품 정보 검색 장치(100)는 추출된 텍스트 데이터를 후처리할 수도 있고, 후처리는 구매 영수증 이미지의 글자 단위 정보 및 텍스트 문맥 정보 중 적어도 어느 하나에 기초하여 상기 텍스트 데이터를 후처리하는 것을 포함할 수 있다.
이어서, 상품 정보 검색 장치(100)는 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단한다(S1400).
이때, 상품 정보 검색 장치(100)는 영향을 미치는 요소를 판단하기 위해 이분형 로지스틱스 회귀 분석 방법을 수행할 수 있다. 이분형 로지스틱스 회귀 분석 방법은 수학식 2와 관련하여 전술한 바, 중복된 설명을 생략한다.
사용자 정보를 구성하는 요소는 사용자로부터 입력된 사용자의 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 및 취향 중 적어도 어느 하나일 수 있다.
예를 들어, 어느 한 사용자는 "여성, 21살, 건성피부, 여드름피부, 쿨톤, 하얀피부, 코랄핑크 색상 선호"와 같은 사용자 정보를 가지고 있을 수 있고, 이는 사용자마다 다를 수 있다.
또한, 상품 정보 검색 장치(100)는 구매 영수증 이미지에 포함된 적어도 어느 한 객체를 특정하고, 객체의 텍스트 데이터를 추출하는 경우, 추출된 텍스트 데이터에 기초하여 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단할 수 있다.
상품 정보 검색 장치(100)는 딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나를 이용하여 어느 사용자 정보를 갖는 사용자가 특정 상품을 조회 또는 구매할 확률을 판단할 수도 있다.
이때, 딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나는 순환 신경망 모델(Recurrent Neural Network, RNN)을 포함할 수 있고, 순환 신경망 모델은 LSTM을 포함할 수 있다. LSTM에 대한 자세한 설명은 수학식 3과 관련하여 전술한 바 중복된 설명을 생략한다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록 매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
Claims (13)
- 상품 정보 검색 장치의 제어 방법에 있어서,
사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하는 단계;
상기 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하는 단계;
상기 구매 영수증 이미지에서 구매 정보를 식별하는 단계;
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하는 단계; 및
이분형 로지스틱스 회귀 분석 방법을 이용하여, 상기 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보를 기초로, 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함하되,
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하는 단계에서는, 상기 데이터베이스에 사용자 별로 저장되는 상기 상품 정보보다 상기 식별된 구매 정보에 더 가중치를 두어 저장하며,
사용자 정보를 구성하는 요소들은 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 및 취향 중 적어도 둘인 것을 특징으로 하는 상품 정보 검색 장치의 제어방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나를 이용하여 어느 사용자 정보를 갖는 사용자가 특정 상품을 조회 또는 구매할 확률을 판단하는 단계를 더 포함하는 상품 정보 검색 장치의 제어방법. - 제 4 항에 있어서,
상기 딥러닝 알고리즘 및 머신러닝 알고리즘 중 적어도 어느 하나는 순환 신경망 모델(Recurrent Neural Network, RNN)을 포함하는 상품 정보 검색 장치의 제어방법. - 제 1 항에 있어서,
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하는 단계는,
상기 획득된 구매 영수증 이미지에서 인공 신경망 모델을 사용하여 구매 정보를 식별하는 단계를 포함하는 상품 정보 검색 장치의 제어방법. - 제 1 항에 있어서,
상기 구매 영수증 이미지에서 구매 정보를 식별하는 단계는,
인공 신경망 모델을 사용하여 상기 구매 영수증 이미지에 포함된 적어도 어느 한 객체를 특정하는 단계, 및
특정된 객체의 텍스트 데이터를 추출하는 단계를 포함하고,
상기 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계는,
상기 추출된 텍스트 데이터에 기초하여 상기 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함하는 상품 정보 검색 장치의 제어 방법.
- 제 7 항에 있어서,
상기 객체는 매장 정보, 상품명, 가격, 프로모션 정보, 수량 정보, 구매 시기 정보, 구매자 정보, 및 고유의 식별 코드 중 적어도 어느 하나를 포함하는 상품 정보 검색 장치의 제어방법. - 제 7 항에 있어서,
상기 구매 영수증 이미지에서 구매 정보를 식별하는 단계는,
상기 구매 영수증 이미지의 글자 단위 정보 및 텍스트 문맥 정보 중 적어도 어느 하나에 기초하여 상기 텍스트 데이터를 후처리하는 단계를 포함하는 상품 정보 검색 장치의 제어방법.
- 상품 정보 검색 장치에 있어서,
상기 상품 정보 검색 장치는 프로세서를 포함하고,
상기 프로세서는,
사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하고,
상기 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하고,
상기 구매 영수증 이미지에서 구매 정보를 식별하고,
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하고,
이분형 로지스틱스 회귀 분석 방법을 이용하여, 상기 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보를 기초로, 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하되,
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장 시, 상기 데이터베이스에 사용자 별로 저장되는 상기 상품 정보보다 상기 식별된 구매 정보에 더 가중치를 두어 저장하고,
사용자 정보를 구성하는 요소들은 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 및 취향 중 적어도 둘인 것을 특징으로 하는 상품 정보 검색 장치.
- 삭제
- 사용자 단말기에서 조회된 상품 정보 및 구매 영수증 이미지를 획득하는 단계;
상기 사용자 단말기에서 조회된 상품 정보를 데이터베이스에 사용자 별로 저장하는 단계;
상기 구매 영수증 이미지에서 구매 정보를 식별하는 단계;
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하는 단계; 및
상기 데이터베이스에 저장된 사용자 별 상품 정보 및 사용자 별 구매 정보에 기초하여 사용자 정보를 구성하는 요소들 중 상품 조회 및 상품 구매 중 적어도 어느 하나에 영향을 미치는 요소를 판단하는 단계를 포함하는 방법으로서,
상기 식별된 구매 정보를 상기 데이터베이스에 상기 사용자 별로 저장하는 단계에서는, 상기 데이터베이스에 사용자 별로 저장되는 상기 상품 정보보다 상기 식별된 구매 정보에 더 가중치를 두어 저장하며,
사용자 정보를 구성하는 요소들은 성별, 나이, 피부타입, 피부고민, 피부톤, 피부 컬러, 및 취향 중 적어도 둘인 것을 특징으로 하는 방법이 기록된 컴퓨터로 판독 가능한 기록 매체.
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200141722A KR102477840B1 (ko) | 2020-10-29 | 2020-10-29 | 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200141722A KR102477840B1 (ko) | 2020-10-29 | 2020-10-29 | 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220056992A KR20220056992A (ko) | 2022-05-09 |
KR102477840B1 true KR102477840B1 (ko) | 2022-12-14 |
Family
ID=81581917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200141722A KR102477840B1 (ko) | 2020-10-29 | 2020-10-29 | 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102477840B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758576B (zh) * | 2023-08-21 | 2023-11-21 | 苏州极易科技股份有限公司 | 基于机器学习的营销信息识别方法、装置、设备和介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102149050B1 (ko) * | 2020-04-24 | 2020-08-28 | 주식회사 애자일소다 | 인공지능을 이용한 ocr 기반 문서 분석 시스템 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101784559B1 (ko) * | 2015-09-03 | 2017-11-06 | 임대환 | 사용자의 소비 패턴/관심사 분석 방법 및 장치 |
KR20180087633A (ko) * | 2017-01-25 | 2018-08-02 | 배종외 | 관리서버, 이를 포함하는 피부관리 시스템 및 방법 |
KR102162765B1 (ko) * | 2018-11-08 | 2020-10-07 | 김형수 | 인공지능 기반 고객이탈관리 자동화 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
-
2020
- 2020-10-29 KR KR1020200141722A patent/KR102477840B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102149050B1 (ko) * | 2020-04-24 | 2020-08-28 | 주식회사 애자일소다 | 인공지능을 이용한 ocr 기반 문서 분석 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20220056992A (ko) | 2022-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11978106B2 (en) | Method and non-transitory, computer-readable storage medium for deep learning model based product matching using multi modal data | |
WO2019194986A1 (en) | Automated extraction of product attributes from images | |
CN112364204B (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
Wu et al. | An intelligent self-checkout system for smart retail | |
Zulaikha et al. | Customer predictive analytics using artificial intelligence | |
Ullah et al. | Image-based service recommendation system: A JPEG-coefficient RFs approach | |
CA2804439A1 (en) | System and method for categorizing an image | |
TW201804400A (zh) | 資料物件推送的方法、裝置及系統 | |
CN110598084A (zh) | 对象排序方法、商品排序方法、装置及电子设备 | |
US20210042663A1 (en) | Data attribution based on spatial memory using machine learning pipeline | |
CN115147130A (zh) | 问题预测方法、设备、存储介质及程序产品 | |
CN111242710A (zh) | 业务的分类处理方法、装置、服务平台及存储介质 | |
KR102477840B1 (ko) | 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 | |
CN113269232B (zh) | 模型训练方法、向量化召回方法、相关设备及存储介质 | |
EP3926567A1 (en) | System and method for authentication and registration of products and dynamically rendering content | |
CN112330442A (zh) | 基于超长行为序列的建模方法及装置、终端、存储介质 | |
Bouguettaya et al. | Machine learning and deep learning as new tools for business analytics | |
KR102545190B1 (ko) | 오프라인 리테일 환경에서의 상품 정보 제공 장치 및 상품 정보 제공 장치의 제어방법 | |
KR102508420B1 (ko) | 구매 영수증 이미지를 활용한 오프라인 리테일 환경에서의 상품 정보 검색 장치 및 이를 위한 제어방법 | |
KR102508419B1 (ko) | 상품정보 이미지를 활용한 오프라인 리테일 환경에서의 상품 정보 검색 장치 및 이를 위한 제어방법 | |
US11842299B2 (en) | System and method using deep learning machine vision to conduct product positioning analyses | |
CN114066564A (zh) | 服务推荐时间确定方法、装置、计算机设备、存储介质 | |
Angeli et al. | Making paper labels smart for augmented wine recognition | |
KR20220076650A (ko) | 상품정보 이미지에 기반한 리테일 환경에서의 상품 정보 검색 장치 및 방법 | |
CN110837596B (zh) | 一种智能推荐方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |