KR102395876B1 - 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 - Google Patents
딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 Download PDFInfo
- Publication number
- KR102395876B1 KR102395876B1 KR1020200045311A KR20200045311A KR102395876B1 KR 102395876 B1 KR102395876 B1 KR 102395876B1 KR 1020200045311 A KR1020200045311 A KR 1020200045311A KR 20200045311 A KR20200045311 A KR 20200045311A KR 102395876 B1 KR102395876 B1 KR 102395876B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- matching
- target image
- vector
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 129
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000007726 management method Methods 0.000 claims description 49
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000013145 classification model Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009193 crawling Effects 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
딥러닝을 통해 학습된 분류모델을 이용하여 사용자에 의해 선택된 타겟 이미지와 유사한 매칭 이미지를 필터링하여 제공할 수 있는 상품 분류 시스템 및 방법이 개시된다. 이를 위하여 사용자로부터 제공된 타겟 이미지를 CNN(Convolutional Neural Network) 계열 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하고, 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 분류하는 관리서버를 포함하는 상품 분류 시스템을 제공한다. 본 발명에 의하면, 사용자에 의해 선택된 상품에 대한 정확한 분류가 가능하여 다른 상품의 이미지가 결과 값에 포함되지 않고, 제조사나 판매자에게 자신의 상품이 오픈 마켓이나 글로벌 마켓에서 어떤 가격에 팔리는지 쉽게 확인할 수 있는 기회를 제공한다.
Description
본 발명은 사용자에 의해 선택된 타겟 이미지와 유사한 이미지를 분류할 수 있는 상품 분류 시스템 및 방법에 관한 것으로, 보다 상세하게는 딥러닝을 통해 학습된 분류모델을 이용하여 사용자에 의해 선택된 타겟 이미지와 유사한 매칭 이미지를 필터링하여 제공할 수 있는 상품 분류 시스템 및 방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자장치는 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 다양한 멀티미디어 서비스를 제공하고 있다.
또한, 전자장치는 이미지를 분류하고, 검색할 수 있는 기능을 제공하고 있다. 이러한 전자장치는 기 설정된 분류 기준을 이용하여, 사용자의 이미지들을 소정의 그룹으로 분류할 수 있으나, 일관된 분류 기준을 이용함으로써, 사용자에게 최적화된 분류 결과를 제공할 수 없다는 문제점이 있다.
아울러, 최근 영상 처리 분야에도 인공지능 시스템이 도입되고 있다.
상기 인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 상기 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
특히, 인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
이러한 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
상기 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의응답, 음성 인식/합성 등을 포함한다.
상기 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면이해, 공간 이해, 영상 개선 등을 포함한다.
상기 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다.
상기 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
최근에는 온라인을 통한 상품의 구매가 증가되고 있으며, 사용자 개인화된 취향을 분석하는 기술이 발전하는 중이고, 제조사나 판매자는 자신의 상품이 오픈마켓이나 글로벌 마켓에서 어떤 가격에 어떻게 팔리는지를 찾기 원하기 때문에 제조사나 판매자를 위한 인공지능 기술의 필요성이 요구되고 있는 실정이다.
이에 따라, 온라인 쇼핑몰에서 상품을 비교 검색할 때 사용하는 새로운 방법으로 이미지의 특징 벡터를 기반으로 검색하는 내용 기반 이미지 검색(content-based retrieval) 기술이 개발되고 있는 실정이다.
그러나, 이 방법은 데이터의 용량이 커지고 전처리 과정을 위한 비용도 크기 때문에 대용량 이미지 검색에 한계가 있으며, 기술적인 한계로 인해 만족할 만한 검색결과를 얻지 못하고 있다. 특히 이미지가 준비되지 않은 경우에 정확한 검색을 수행하기가 어렵다는 문제가 있었다.
또한, 제조사나 판매자의 주요 니즈를 충족하기 위해 유사도 값으로 랭킹을 지정한 후 유사도 값이 높은 순서로 정렬하여 결과값을 출력하는 경우, 유사도가 99%에 해당하더라도 실제 상품으로 비교하면 전혀 다른 상품(다른 브랜드, 가품)인 경우가 발생되는 문제가 있었다.
따라서, 본 발명의 제1 목적은 이미지의 CNN(Convolutional Neural Network) 분석 결과의 특성 값과 벡터 값에 대한 임계 범위를 지정하여 해당 범위에 들어올 경우에만 검출하여 분류 정확도를 개선시킬 수 있는 상품 분류 시스템을 제공하는데 있다.
또한, 본 발명의 제2 목적은 이미지 분석용 딥러닝 알고리즘으로 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 기반으로 매칭 이미지를 추출하며, 매칭 이미지의 특징 벡터의 집합과 지도 학습 결과를 비교하여 만들어진 일치 영역에 대한 벡터 점수를 필터로 사용하여 동일유사 이미지 검출에 사용하는 상품 분류 방법을 제공하는데 있다.
상술한 본 발명의 제1 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 사용자로부터 제공된 타겟 이미지를 CNN(Convolutional Neural Network) 계열 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하고, 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 분류하는 관리서버를 포함하는 상품 분류 시스템을 제공한다.
또한, 본 발명의 제2 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 관리서버가 사용자 단말기로부터 타겟 이미지를 입력받아 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하는 특징 벡터 추출단계와, 상기 관리서버가 상기 타겟 이미지의 특징 맵 및 특징 벡터에 매칭된 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 기존 이미지들로부터 추출하는 매칭 이미지 검색단계와, 상기 관리서버가 상기 타겟 이미지의 특징 맵 및 특징 벡터와 매칭 이미지의 특징 맵과 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하는 벡터 점수 산출단계, 및 상기 관리서버가 상기 매칭 이미지의 벡터 점수가 이미지 필터링 랭킹 값에 부합하는지를 확인하고, 상기 이미지 필터링 랭킹 값에 부합하는 매칭 이미지를 타겟 이미지의 동일유사 이미지로 분류하는 이미지 분류단계를 포함하는 상품 분류 방법을 제공한다.
본 발명에 의하면, 사용자에 의해 선택된 상품에 대한 정확한 분류가 가능하여 다른 상품의 이미지가 결과 값에 포함되지 않는다.
또한, 본 발명은 제조사나 판매자에게 자신의 상품이 오픈 마켓이나 글로벌 마켓에서 어떤 가격에 팔리는지 쉽게 확인할 수 있는 기회를 제공한다.
아울러, 본 발명은 목적 이미지와 동일하거나 유사한 이미지를 검색하되 다른 브랜드의 이미지와 가품의 이미지가 제외된 검색 결과를 제공해 줄 수 있다.
게다가, 본 발명은 정품의 사진과 유통 중인 상품의 사진을 비교분석하여 유통 중인 상품을 정품과 가품으로 분류할 수 있으며, 제조사나 판매자가 자신의 상품과 유사한 디자인을 갖는 상품의 존재여부를 쉽게 확인할 수 있다.
도 1은 본 발명에 따른 상품 분류 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명에 따른 상품 분류 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 분석엔진의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 벡터 점수의 산출 및 이미지 필터링 동작의 개념을 설명하기 위한 개략도이다.
도 5는 본 발명에 따른 상품 분류 방법을 설명하기 위한 순서도이다.
도 2는 본 발명에 따른 상품 분류 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 분석엔진의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 벡터 점수의 산출 및 이미지 필터링 동작의 개념을 설명하기 위한 개략도이다.
도 5는 본 발명에 따른 상품 분류 방법을 설명하기 위한 순서도이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예들에 의한 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템(이하, '딥러닝 기반 상품 분류 시스템'이라 약칭함)을 상세하게 설명한다.
도 1은 본 발명에 따른 상품 분류 시스템을 설명하기 위한 구성도이며, 도 2는 본 발명에 따른 상품 분류 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명에 따른 딥러닝 기반 상품 분류 시스템은 CNN(Convolutional Neural Network) 계열 알고리즘으로 학습된 분석 모델로 타겟 이미지의 특징 맵(feature map)과 특징 벡터(feature vector)를 추출하고, 상기 특징 맵과 특징 벡터로 매칭 이미지를 추출하며, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 동일하거나 유사한 매칭 이미지를 분류하는 관리서버(100)를 포함하며, 선택적으로 관리서버(100)에 타겟 이미지를 제공하는 사용자 단말기(미도시)를 더 포함할 수 있다.
상기 사용자 단말기는 사용자로부터 타겟 이미지나 영상을 입력받고, 상기 타겟 이미지나 영상을 관리서버(100)로 전송하는 것으로, 관리서버(100)와 유무선 통신네트워크(이하, '통신네트워크'라 약칭함)를 통해 연결된다.
일 실시 양태로서, 본 발명에 따른 사용자 단말기는 사용자에 의해 선택된 타겟 이미지나 영상의 파일 형식을 변환시키지 않고 그대로 관리서버(100)에 전송할 수 있다.
다른 실시 양태로서, 본 발명에 따른 사용자 단말기는 사용자에 의해 선택된 타겟 이미지나 영상의 파일 형식을 미리 설정된 파일 형식으로 포맷한 다음 관리서버(100)에 전송할 수 있다. 이때, 사용자 단말기는 관리서버(100)로 전송하는 타겟 이미지나 영상의 파일 용량이 줄어들도록 MPG, MP4 등 저용량의 파일 형식으로 포맷을 진행할 수 있다.
이와 같이, 사용자 단말기는 사용자로부터 입력된 타겟 이미지나 영상의 포맷을 미리 지정된 포맷으로 변환시키고 관리서버(100)로 전송할 수 있다.
필요에 따라, 사용자 단말기에는 관리서버(100)의 접속을 도와주며, 타겟 이미지나 영상의 파일 형식을 변환시켜줄 수 있도록 상품분류 어플리케이션이나 상품분류 프로그램이 설치될 수 있다.
구체적으로, 상기 상품분류 어플리케이션은 사용자의 요청에 따라 통신네트워크를 통해 관리서버(100)에 접속하고, 타겟 이미지나 영상을 관리서버(100)로 전송한다.
또한, 상품분류 어플리케이션은 통신네트워크를 통해 관리서버(100)부터 동일유사 이미지의 리스트가 전송되면, 상기 동일유사 이미지의 리스트를 사용자 단말기의 화면에 출력한다.
아울러, 상품분류 어플리케이션은 안드로이드 마켓이나 앱스토어 또는 웹 페이지를 통해 다운로드 받아 사용자 단말기에 설치될 수 있다.
이러한 사용자 단말기는 다수의 기지국과 기지국 제어기, 이동 통신 교환기 및 왑(WAP) 게이트웨이 등을 포함하는 무선 통신망과 인터넷 등의 유선 통신망을 통해 딥러닝 기반 상품 분류 서비스를 제공하는 관리서버(100)에 타겟 이미지를 전송할 수 있는 수단을 의미하며, 무선 단말기와 유선 단말기를 사용할 수 있다.
이때, 무선 단말기로는 스마트폰, 태블릿 PC, 노트북 컴퓨터 등이 사용될 수 있으며, 유선 단말기로는 인터넷 접속 수단을 갖는 데스크탑 컴퓨터, 스마트 TV, 유선전화 등이 사용될 수 있다.
한편, 상기 관리서버(100)는 딥러닝을 이용해 사용자로부터 제공된 타겟 이미지와 유사한 이미지를 분류하는 것으로, 타겟 이미지와 유사하거나 동일한 상품의 리스트를 타겟 이미지를 제공한 사용자에 전송한다.
이를 위해, 관리서버(100)는 타겟 이미지를 CNN 계열 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스(122)로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출한다. 여기서, 벡터 점수는 0~1 사이의 수의 행렬로 구성될 수 있고, 행렬의 크기는 이미지 분석 알고리즘에 따라 결정될 수 있으며, 이미지 분석 알고리즘의 특징 벡터 값의 행렬의 크기가 일치한다.
그리고 관리서버(100)는 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 분류한다. 여기서, 상기 이미지 필터링 랭킹 값은 지도학습결과 정확히 일치하는 이미지와 불일치 이미지의 벡터 점수를 비교 분석하여 가장 작은 오차를 보인 벡터 점수를 순환 신경망(Recurrent Neural Network)으로 학습된 분석 모델에 입력하여 산출한 평균 값을 의미한다.
이러한 이미지 필터링 랭킹 값은 최대 값이 1 미만이기 때문에 매칭 이미지의 벡터 점수가 1에 근접한다고 하더라도 동일유사 이미지의 분류에서 제외될 수 있다. 다시 말해, 본 발명은 벡터 점수가 최상위인 매칭 이미지라 하더라도 이미지 필터링 기준을 벗어나면 타겟 이미지와 비유사 이미지로 분류할 수 있다.
또한, CNN 계열 알고리즘은 FRCNN(Fast Region-based Convolutional Neural Network), 합성곱신경망(CNN), RCNN(Region-based Convolutional Neural Network), SPPnet(Spatial Pyramid Pooling in Deep Convolutional Networks) 중 어느 하나이다.
이하, 도면을 참조하여 관리서버의 구성요소별로 보다 구체적으로 설명한다.
도 1 및 도 2를 참조하면, 본 발명에 따른 관리서버(100)는 상품 분류 엔진(110)을 포함한다.
상기 상품 분류 엔진(110)은 이미지 전처리부(111)와 영상 변환부(112) 및 분석엔진(113)이 포함된 것으로, 선택적으로 상품옵션 입력부(114), 단위 이미지 추출부(115), 또는 이들 모두를 더 포함할 수 있다.
상기 이미지 전처리부(111)는 사용자로부터 제공된 타겟 이미지나 영상의 이미지 전처리(image preprocessing)를 수행하는 것으로, 이미지 전처리가 수행된 타겟 이미지를 영상 변환부(112)나 분석엔진(113)으로 제공한다.
이때, 이미지 전처리(image preprocessing)로는 포맷 변환이나 노이즈 제거 등이 사용될 수 있다. 이러한 포맷 변환은 분석엔진(113)에서 이미지 분석을 쉽게 진행하도록 하는 이미지 전처리로, RAW 포맷 등이 사용될 수 있다.
이러한 이미지 전처리부(111)는 사용자로부터 제공된 영상이 동영상인 경우, 상기 동영상을 프레임별로 분리하고 상기 프레임에 포함된 특징 이미지 영역을 추출하여 타겟 이미지를 생성한다.
상기 영상 변환부(112)는 이미지 전처리부(111)를 통과한 타겟 이미지를 미리 지정된 해상도로 변환(up scale 또는 down scale)하는 것으로, 해상도가 변환된 타겟 이미지를 분석엔진(113)으로 제공한다. 예를 들면, 영상 변환부(112)는 타겟 이미지의 해상도를 640*480이나 240*400 등으로 변환시킬 수 있다.
상기 상품옵션 입력부(114)는 타겟 이미지와 함께 상품 검색에 사용될 상품검색옵션을 사용자로부터 입력받아 분석엔진(113)부로 제공하는 것으로, 사용자 단말기나 관리서버(100)의 입력장치로부터 상품검색옵션이 입력되면 이를 타겟 이미지와 연계시켜 분석엔진(113)으로 제공한다. 여기서, 상품검색옵션은 상품의 제품명, 판매자명, 제조사명, 판매자 연락처, 가격, 크기, 색상, 제질, 무개, 부피로 이루어진 군으로부터 선택된 어느 하나 이상이다.
이러한 상품옵션 입력부(114)는 상품검색옵션에 포함된 불용어 제거 등의 정규화 과정을 통해 상품검색 키워드를 선별하고, 상기 상품검색 키워드를 함께 입력된 타겟 이미지와 연계시켜 분석엔진(113)으로 제공할 수 있다.
상기 단위 이미지 추출부(115)는 상기 영상 변환부(112)로부터 제공된 타겟 이미지에서 분석 대상의 특징이 포함된 이미지 영역만을 추출하여 단위 이미지를 생성하는 것으로, 상기 단위 이미지를 분석엔진(113)으로 제공한다.
상기 분석엔진(113)은 이미지 전처리부(111) 또는 영상 변환부(112)로부터 제공된 타겟 이미지나 단위 이미지 추출부(115)로부터 제공된 단위 이미지를 CNN 알고리즘으로 학습된 분석 모델에 입력하여 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스(122)로부터 타겟 이미지와 유사한 매칭 이미지를 추출하며, 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하고, 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 분류하는 기능을 제공한다.
상기 분석엔진(113)은 상품검색옵션이 연계된 타겟 이미지가 수신되는 경우, 상품검색옵션과 특징 맵 및 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스(122)로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출할 수 있다.
도 3은 본 발명에 따른 분석엔진의 동작을 설명하기 위한 흐름도이며, 도 4는 본 발명에 따른 벡터 점수의 산출 및 이미지 필터링 동작의 개념을 설명하기 위한 개략도이다.
특정 양태로서, 본 발명에 따른 분석엔진(113)은 도 3에 도시된 바와 같이 CNN 분석기 및 벡터점수 추출부를 포함하여 구성될 수 있다.
상기 CNN 분석기는 타겟 이미지를 CNN 계열 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출한다.
상기 벡터점수 추출부는 타겟 이미지의 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스(DB)로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 매칭 이미지의 특징 벡터를 타겟 이미지의 특징 벡터와 비교분석하여 매칭 이미지의 벡터 점수를 산출하고, 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 동일유사 이미지로 분류한다.
여기서, 특징 맵 및 특징 벡터는 이미지의 유사여부를 판단하는 변수이며, 벡터 점수는 특징 맵과 특징 벡터가 유사한 패턴일 경우에 이미지 필터링의 통과 여부를 결정하는 변수이다.
또한, 상기 이미지 필터링 랭킹 값은 상품의 종류에 따라 변화되기 때문에 사용자에 의해 타겟 이미지가 선택되면, 타겟 이미지의 종류에 따라 초기 값이 결정되며, 분석엔진(113)의 자기 학습을 통해 변화된다.
필요에 따라, 벡터점수 추출부는 특징 맵과 특징 벡터의 이미지 매칭 결과에 따른 가중치를 특징 벡터에 적용하여 매칭 이미지의 벡터 점수를 산출할 수 있다.
도 1 및 도 2를 참조하면, 본 발명에 따른 관리서버(100)는 빅데이터 스토리지(120)를 더 포함할 수 있다.
상기 빅데이터 스토리지(120)는 빅데이터 엔진(121)과 이미지 DB(122)가 포함된 것으로, 선택적으로는 문서 DB(123), HDFS(Hadoop Distributed File System, 124)를 더 포함할 수 있다.
상기 빅데이터 엔진(121)은 각 DB에 접속하여 질의 결과를 제공하는 통합 스토리지 미들웨어로, 분석엔진(113)의 요청에 따라 이미지 데이터베이스(122)를 검색하여 매칭 이미지를 추출한 다음 분석엔진(113)으로 제공한다.
또한, 빅데이터 엔진(121)은 분석엔진(113)으로부터 타겟 이미지와 함께 상기 타겟 이미지의 특징 맵과 특징 벡터 및 특징 ID가 제공되면, 이를 이미지 데이터베이스(122)에 저장한다.
상기 이미지 DB(122)는 전통적인 RDBMS, DBMS, File DB등의 sql 문으로 질의 가능한 데이터베이스와 파일 기반 저장소를 의미하며, 문서 DB(123)는 비정형 문서형 데이터의 저장공간을 의미한다.
상기 HDFS(124)는 하둡파일 시스템으로, 분산 클러스터 파일의 저장소이며, 주로 FRCNN 분석 결과와 학습데이터, 테스트 데이터, 이미지 색인 등의 인공지능 분석 데이터가 저장된다.
도 5는 본 발명에 따른 상품 분류 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명에 따른 상품 분류 방법은 사용자 단말기로부터 타겟 이미지를 입력받아 특징 맵과 특징 벡터를 추출하는 특징 벡터 추출단계(S100)와, 상기 타겟 이미지의 특징 맵 및 특징 벡터에 매칭된 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 기존 이미지들로부터 추출하는 매칭 이미지 검색단계(S200)와, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하는 벡터 점수 산출단계(S300), 및 상기 매칭 이미지의 벡터 점수를 이미지 필터링 랭킹 값으로 필터링 하여 필터링에 통과한 매칭 이미지를 동일유사 이미지로 분류하는 이미지 분류단계(S400)를 포함한다.
본 발명에 따른 상품 분류 방법은 선택적으로 상기 특징 벡터 추출단계(S100) 이전에 상품 이미지 수집단계, 분석모델 학습단계, 전처리 단계가 더 포함될 수 있다.
상기 상품 이미지 수집단계는 관리서버(100)가 통신네트워크를 통해 접속 가능한 웹 사이트에서 상품의 이미지를 크롤링을 통해 수집하는 단계로, 파이썬 언어 기반으로 작성된 Scrapy 라이브러리를 사용하여 아마존, 알리익스프레스, 쿠팡, 11번가 등과 같은 대표적인 인터넷 쇼핑몰 사이트에서 상품들을 대상으로 크롤링을 통해 상품 이미지를 수집한 후 이미지 데이터베이스(122)에 저장한다.
상기 분석모델 학습단계는 상품 이미지 수집단계를 통해 수집된 복수의 상품 이미지를 각각 분석 모델에 입력하여 분석 모델을 학습시키는 단계이다. 이 경우, 분석 모델은 딥 러닝 기법 중 하나인 CNN(Convolutional Neural Network) 계열 알고리즘에 기반한 분석 모델이다. 즉, 상품 이미지 각각을 CNN 계열 알고리즘에 입력하면, 파라미터의 조절 등을 통해 CNN의 각 레이어층에서 형태, 색깔, 패턴 등 상품 이미지의 자질이 추출될 수 있다.
필요에 따라, 분석 모델은 CNN 계열 알고리즘을 여러 층으로 적층하여 구성될 수 있다. 이러한 신경망 구조는 GoogleNet, ResNet과 같이 학습이 완료되어 공개된 구조를 사용하거나, TensorFlow, Torch, Keras와 같은 인공 신경망 라이브러리를 이용하여 구현된다.
일 실시 양태로서, 본 발명에 따른 전처리 단계에서는 사용자 단말기가 사용자로부터 입력된 타겟 이미지의 포맷을 미리 지정된 포맷으로 변환시키고 관리서버(100)로 전송할 수 있다.
다른 실시 양태로서, 본 발명에 따른 전처리 단계에서는 관리서버(100)가 사용자 단말기로부터 입력된 타겟 이미지의 포맷을 미리 지정된 포맷으로 변환시킬 수 있다.
상기 특징 벡터 추출단계(S100)에서는 관리서버(100)가 사용자 단말기로부터 타겟 이미지를 입력받아 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출한다. 이때, 관리서버(100)는 추출된 타겟 이미지의 특징 맵과 특징 벡터를 빅데이터 스토리지(120)의 이미지 데이터베이스(122)에 저장할 수 있다.
상기 특징 벡터 추출단계(S100)에서는 관리서버(100)가 사용자 단말기로부터 타겟 이미지를 직접 입력받을 수도 있으며, 사용자 단말기로부터 동영상을 입력받은 후 상기 동영상으로부터 타겟 이미지를 추출할 수도 있다.
상기 특징 벡터 추출단계(S100)는 관리서버(100)가 사용자 단말기로부터 타겟 이미지를 입력받아 저장하는 이미지 입력과정과, 상기 타겟 이미지를 미리 지정된 해상도로 변환시키는 영상 분석과정과, 해상도가 변환된 타겟 이미지를 기반으로 특징 이미지 영역이 포함된 단위 이미지를 생성하는 단위 이미지 생성과정, 및 상기 단위 이미지의 특징 맵과 특징 벡터를 추출하는 특징 벡터 추출과정을 포함할 수 있다.
상기 매칭 이미지 검색단계(S200)에서는 상기 관리서버(100)가 상기 타겟 이미지의 특징 맵 및 특징 벡터에 매칭된 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 이미지 데이터베이스(122)에 저장된 기존 이미지들로부터 추출한다. 이때, 기존 이미지들은 자신의 특징 맵과 특징 벡터가 산출되어 연계된 상태로 이미지 데이터베이스(122)에 저장될 수 있다.
상기 특징 벡터 추출단계(S100)에서는 관리서버(100)가 사용자 단말기로부터 상품검색옵션을 입력받고, 상기 매칭 이미지 검색단계에서는 관리서버(100)가 상기 타겟 이미지의 상품검색옵션과 특징 맵 및 특징 벡터에 매칭된 상품검색옵션과 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 기존 이미지들로부터 추출할 수 있다.
상기 벡터 점수 산출단계(S300)에서는 상기 관리서버(100)가 상기 타겟 이미지의 특징 벡터와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출한다.
상기 벡터 점수 산출단계(S300)에서는 상품검색옵셥에 따라 타겟 이미지의 특징 벡터의 행렬과 매칭 이미지의 특징 벡터의 행렬에 미리 설정된 가중치를 부여하고, 벡터 점수를 산출할 수 있다.
상기 이미지 분류단계(S400)에서는 관리서버(100)가 매칭 이미지의 벡터 점수가 이미지 필터링 랭킹 값에 부합하는지를 확인하고, 상기 이미지 필터링 랭킹 값에 부합하는 매칭 이미지를 타겟 이미지의 동일유사 이미지로 분류한다. 이때, 관리서버(100)는 동일유사 이미지로 분류된 매칭 이미지를 별도로 관리하여 동일유사 이미지 리스트를 생성하고, 상기 동일유사 이미지 리스트를 타겟 이미지를 제공한 사용자 단말기로 전송할 수 있다.
이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 관리서버 110 : 상품 분류 엔진
111 : 이미지 전처리부 112 : 영상 변환부
113 : 분석엔진 114 : 상품옵션 입력부
115 : 단위 이미지 추출부 120 : 빅데이터 스토리지
121 : 빅데이터 엔진 122 : 이미지 데이터베이스
123 : 문서 데이터베이스 124 : HDFS
111 : 이미지 전처리부 112 : 영상 변환부
113 : 분석엔진 114 : 상품옵션 입력부
115 : 단위 이미지 추출부 120 : 빅데이터 스토리지
121 : 빅데이터 엔진 122 : 이미지 데이터베이스
123 : 문서 데이터베이스 124 : HDFS
Claims (14)
- 사용자로부터 제공된 타겟 이미지의 이미지 전처리(image preprocessing)를 수행하는 이미지 전처리부;
상기 이미지 전처리를 수행한 타겟 이미지를 미리 지정된 해상도로 변환하는 영상 변환부;
해상도가 변환된 타겟 이미지를 CNN 계열 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하고, 상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 상기 타겟 이미지와 매칭 이미지의 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하고, 상기 백터 점수가 이미지 필터링 랭킹 값을 벗어난 매칭 이미지를 타겟 이미지와 비유사 이미지로 분류하고 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 타겟 이미지와 동일유사 이미지로 분류하는 분석엔진을 포함하여 구성된 관리서버를 포함하는 상품 분류 시스템. - 제1 항에 있어서, 상기 CNN 계열 알고리즘은
FRCNN(Fast Region-based Convolutional Neural Network), CNN, RCNN(Region-based Convolutional Neural Network), SPPnet(Spatial Pyramid Pooling in Deep Convolutional Networks) 중 어느 하나인 것을 특징으로 하는 상품 분류 시스템. - 제1 항에 있어서, 상기 이미지 필터링 랭킹 값은
지도학습결과 타겟 이미지와 일치하는 매칭 이미지와 불일치하는 매칭 이미지의 벡터 점수를 비교 분석하여 가장 작은 오차를 보인 값을 순환신경망으로 학습된 분석 모델에 입력하여 산출한 평균값인 것을 특징으로 하는 상품 분류 시스템. - 삭제
- 제1 항에 있어서, 상기 관리서버는
상기 타겟 이미지와 함께 상품 검색에 사용될 상품검색옵션을 입력받아 상기 분석엔진으로 제공하는 상품옵션 입력부를 더 포함하며,
상기 분석엔진은 상기 상품검색옵션과 특징 맵 및 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하는 것을 특징으로 하는 상품 분류 시스템. - 제5 항에 있어서, 상기 상품검색옵션은
상품의 제품명, 판매자명, 제조사명, 판매자 연락처, 가격, 크기, 색상, 제질, 무개, 부피로 이루어진 군으로부터 선택된 어느 하나 이상인 것을 특징으로 하는 상품 분류 시스템. - 제1 항에 있어서, 상기 이미지 전처리부는
사용자로부터 제공된 영상이 동영상인 경우 상기 동영상을 프레임별로 분리하고, 상기 프레임에 포함된 특징 이미지 영역을 추출하여 타겟 이미지를 생성하는 것을 특징으로 하는 상품 분류 시스템. - 제1 항에 있어서, 상기 분석엔진은
상기 타겟 이미지를 CNN 알고리즘으로 학습된 분석 모델에 입력하여 상기 타겟 이미지의 특징 맵과 특징 벡터를 추출하는 CNN 분석기; 및
상기 특징 맵과 특징 벡터를 검색 조건으로 하여 복수의 이미지가 저장된 이미지 데이터베이스로부터 상기 타겟 이미지와 유사한 매칭 이미지를 추출하며, 특징 맵과 특징 벡터의 이미지 매칭 결과에 따른 가중치를 특징 벡터에 적용하여 매칭 이미지의 벡터 점수를 산출하고, 이미지 필터링 랭킹 값에 부합하는 벡터 점수를 갖는 매칭 이미지를 분류하는 벡터점수 추출부로 구성된 것을 특징으로 하는 상품 분류 시스템. - 관리서버가 사용자 단말기로부터 입력된 타겟 이미지의 포맷을 미리 지정된 포맷으로 변환시키는 전처리 단계;
상기 관리서버가 포맷이 변환된 타겟 이미지를 미리 지정된 해상도로 변환시키고 해상도가 변환된 타겟 이미지의 특징 맵과 특징 벡터를 추출하는 특징 벡터 추출단계;
상기 관리서버가 상기 타겟 이미지의 특징 맵 및 특징 벡터에 매칭된 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 기존 이미지들로부터 추출하는 매칭 이미지 검색단계;
상기 관리서버가 상기 타겟 이미지의 특징 맵 및 특징 벡터와 매칭 이미지의 특징 맵과 특징 벡터를 비교분석하여 매칭 이미지의 벡터 점수를 산출하는 벡터 점수 산출단계; 및
상기 관리서버가 상기 매칭 이미지의 벡터 점수가 이미지 필터링 랭킹 값에 부합하는지를 확인하고, 상기 백터 점수가 이미지 필터링 랭킹 값을 벗어난 매칭 이미지를 타겟 이미지와 비유사 이미지로 분류하며, 상기 벡터 점수가 이미지 필터링 랭킹 값에 부합하는 매칭 이미지를 타겟 이미지의 동일유사 이미지로 분류하는 이미지 분류단계를 포함하는 상품 분류 방법. - 삭제
- 삭제
- 제9 항에 있어서, 상기 특징 벡터 추출단계는
관리서버가 사용자 단말기로부터 타겟 이미지를 입력받아 저장하는 이미지 입력과정과,
상기 타겟 이미지를 미리 지정된 해상도로 변환시키는 영상 분석과정과,
해상도가 변환된 타겟 이미지를 기반으로 특징 이미지 영역이 포함된 단위 이미지를 생성하는 단위 이미지 생성과정, 및
상기 단위 이미지의 특징 맵과 특징 벡터를 추출하는 특징 벡터 추출과정을 포함하는 것을 특징으로 하는 상품 분류 방법. - 제9 항에 있어서,
상기 특징 벡터 추출단계는 관리서버가 사용자 단말기로부터 상품검색옵션을 입력받고, 상기 매칭 이미지 검색단계는 관리서버가 상기 타겟 이미지의 상품검색옵션과 특징 맵 및 특징 벡터에 매칭된 상품검색옵션과 특징 맵 및 특징 벡터를 갖는 매칭 이미지를 기존 이미지들로부터 추출하는 것을 특징으로 하는 상품 분류 방법. - 제13 항에 있어서,
상기 벡터 점수 산출단계는 상기 상품검색옵션에 따라 상기 타겟 이미지의 특징 벡터의 행렬과 매칭 이미지의 특징 벡터의 행렬에 미리 설정된 가중치를 부여하고, 벡터 점수를 산출하는 것을 특징으로 하는 상품 분류 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045311A KR102395876B1 (ko) | 2020-04-14 | 2020-04-14 | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045311A KR102395876B1 (ko) | 2020-04-14 | 2020-04-14 | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210127448A KR20210127448A (ko) | 2021-10-22 |
| KR102395876B1 true KR102395876B1 (ko) | 2022-05-10 |
Family
ID=78276027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200045311A KR102395876B1 (ko) | 2020-04-14 | 2020-04-14 | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102395876B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102570910B1 (ko) * | 2022-06-10 | 2023-08-28 | (주)딜리셔스랑고 | 광고에 사용되는 이미지의 광고 가이드라인 준수 여부를 판단하는 서비스 제공 장치, 시스템, 방법 및 프로그램 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101806169B1 (ko) * | 2016-07-25 | 2017-12-07 | 오드컨셉 주식회사 | 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2729956C2 (ru) | 2016-09-08 | 2020-08-13 | Гох Су Сиах | Обнаружение объектов из запросов визуального поиска |
| KR102102164B1 (ko) * | 2018-01-17 | 2020-04-20 | 오드컨셉 주식회사 | 영상 전처리 방법, 장치 및 컴퓨터 프로그램 |
| KR102495721B1 (ko) | 2018-01-31 | 2023-02-06 | 문경혜 | 머신 러닝을 활용한 상표 이미지 분류 방법 |
| KR20200002332A (ko) | 2018-06-29 | 2020-01-08 | 고려대학교 산학협력단 | 딥 러닝을 이용하여 이미지를 검색하는 단말 장치 및 방법 |
| KR20200010672A (ko) | 2018-07-06 | 2020-01-31 | 주식회사 지브이글러벌 | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 |
-
2020
- 2020-04-14 KR KR1020200045311A patent/KR102395876B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101806169B1 (ko) * | 2016-07-25 | 2017-12-07 | 오드컨셉 주식회사 | 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210127448A (ko) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220327155A1 (en) | Method, apparatus, electronic device and computer readable storage medium for image searching | |
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| US10902051B2 (en) | Product identification in image with multiple products | |
| CN108694225B (zh) | 一种图像搜索方法、特征向量的生成方法、装置及电子设备 | |
| CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| US20170249339A1 (en) | Selected image subset based search | |
| CN111737458A (zh) | 基于注意力机制的意图识别方法、装置、设备及存储介质 | |
| CN110782015A (zh) | 神经网络的网络结构优化器的训练方法、装置及存储介质 | |
| CN103649905A (zh) | 用于统一信息表示的方法和系统及其应用 | |
| CN113158023B (zh) | 基于混合推荐算法的公共数字生活精准分类服务方法 | |
| CN102782678A (zh) | 用于项关联的联合嵌入 | |
| US11966829B2 (en) | Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server | |
| KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
| KR20200002332A (ko) | 딥 러닝을 이용하여 이미지를 검색하는 단말 장치 및 방법 | |
| CN111125540A (zh) | 一种融合知识图谱表示学习和偏置矩阵分解的推荐方法 | |
| CN114693397A (zh) | 一种基于注意力神经网络的多视角多模态商品推荐方法 | |
| CN112612820A (zh) | 数据处理方法及装置、计算机可读存储介质及处理器 | |
| Buvana et al. | Content-based image retrieval based on hybrid feature extraction and feature selection technique pigeon inspired based optimization | |
| CN116994709A (zh) | 一种个性化的饮食与运动推荐方法、系统及电子设备 | |
| KR20200119370A (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
| Kanagaraj et al. | A new 3D convolutional neural network (3D-CNN) framework for multimedia event detection | |
| CN117494051A (zh) | 一种分类处理的方法、模型训练的方法以及相关装置 | |
| US11526705B2 (en) | Method of classificating outlier in object recognition and device and robot of classifying thereof | |
| KR102395876B1 (ko) | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 | |
| CN112307199A (zh) | 信息识别、数据处理方法、装置及设备、信息交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |