KR102444141B1

KR102444141B1 - Trademark Image Search Method and System Using Multi Label Clssification Algorithm

Info

Publication number: KR102444141B1
Application number: KR1020200041699A
Authority: KR
Inventors: 홍순기; 류형수
Original assignee: (주)비타소프트
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2022-09-15
Also published as: KR20210123898A

Abstract

본 발명은 도형 상표를 검색하기 위한 상표 이미지 검색 시스템에 대한 것이며, 특히 딥러닝 기술을 응용하여 쿼리 이미지와 유사한 결과 이미지를 찾아 유사한 순서로 표시하기 위한 기술에 대한 것이다.
본 발명의 일 실시예에 따르면, 다수의 도형 상표 이미지에 레이블을 부여하여 인공지능 학습용 데이터 셋(Data Set)을 만드는 단계와, 이 인공지능 학습용 데이터 셋으로 다층의 신경망(Neural Network) 알고리즘을 학습하는 딥러닝 단계를 포함하며, 딥러닝 학습을 마친 신경망 알고리즘에 의해 검색 대상인 상표 이미지들 중에서 사용자가 입력한 쿼리 이미지와 유사한 외관의 상표 이미지를 검색하는 단계를 포함하는 딥러닝 기반의 상표 이미지 검색 방법에 있어서,
상기 인공지능 학습용 데이터셋을 만드는 단계는 상표 이미지 각각에 포함된 여러 도형의 종류 및 유형을 기준으로 각각의 상표 이미지에 복수개의 멀티 레이블을 부여하는 단계를 포함하며, 상기 신경망 알고리즘을 학습하는 딥러닝 단계는 상표 이미지에 포함된 복수개의 도형의 종류를 특정하는 비엔나 코드(Vienna Code) 분류 기준을 멀티 레이블로 삼아 지도 학습하는 단계를 포함하며, 상기 상표 이미지를 검색하는 단계는 검색 대상 선행 상표 이미지들에 대한 멀티 레이블 분류 벡터(Multi Labeled Classification Vector)를 생성하여 적어도 하나의 GPU에 적재(Upload)하는 단계와, 이 GPU에 적재된 선행 상표 이미지들의 멀티 레이블 분류 벡터들과 사용자가 입력한 쿼리 이미지에 대한 멀티 레이블 분류 벡터 사이의 유사도를 연산하는 유사도 연산 단계를 포함하는 것을 특징으로 하는 딥러닝을 활용한 멀티 레이블 분류 기반 상표 이미지 검색 방법과 이 상표 이미지 검색 방법이 적용된 상표 이미지 검색 시스템을 제공한다.
이와 같은 기술적 구성의 본 발명을 제공함으로써 상표 이미지의 유사성에 대한 검색 결과의 정확도를 높이고 더불어 그 응답속도노 매우 빠르게 할 수 있게 되었다. The present invention relates to a trademark image search system for searching graphic trademarks, and in particular, to a technology for finding result images similar to query images by applying deep learning technology and displaying them in a similar order.
According to an embodiment of the present invention, a step of creating a data set for artificial intelligence learning by giving a label to a plurality of figure trademark images, and learning a multi-layered neural network algorithm with this data set for artificial intelligence learning A deep learning-based trademark image search method, comprising: searching for a trademark image having an appearance similar to the query image input by the user from among trademark images to be searched by a neural network algorithm that has completed deep learning learning In
The step of creating the dataset for artificial intelligence learning includes applying a plurality of multi-labels to each trademark image based on the types and types of various figures included in each of the trademark images, and deep learning for learning the neural network algorithm. The step includes supervising learning using a Vienna Code classification criterion for specifying the types of a plurality of figures included in the trademark image as a multi-label, and the step of searching for the trademark image is the preceding trademark images to be searched. A step of generating a multi-labeled classification vector for , and uploading it to at least one GPU; It provides a multi-label classification-based trademark image search method using deep learning, comprising a similarity calculation step of calculating the degree of similarity between multi-label classification vectors, and a trademark image search system to which this trademark image search method is applied.
By providing the present invention of such a technical configuration, it is possible to increase the accuracy of the search result for the similarity of the trademark image and also to increase the response speed very quickly.

Description

Trademark Image Search Method and System Using Multi Label Classification Algorithm

본 발명은 도형 상표를 검색하기 위한 상표 이미지 검색 시스템에 대한 것이며, 특히 딥러닝 기술을 응용하여 쿼리 이미지와 유사한 결과 이미지를 찾아 유사한 순서로 표시하기 위한 기술에 대한 것이다.The present invention relates to a trademark image search system for searching graphic trademarks, and in particular, to a technology for finding result images similar to query images by applying deep learning technology and displaying them in a similar order.

상표법상 상표란 자기 상품(또는 서비스)을 타인의 상품과 식별하기 위해 사용하는 상품 출처 표시 표장(Brand 또는 Trademark)을 의미하며, 상표법은 식별력 있는 상표 등록 출원에 대해 지정상품별로 상표권을 부여하여 독점권을 인정하고 있다. According to the Trademark Act, a trademark means a mark indicating the origin of a product (Brand or Trademark) used to distinguish one's goods (or services) from those of others. is acknowledging

이때, 상표 등록 출원에 대해서는 엄정한 심사를 통해 권리의 중복이 발생하기 않도록 하고 있으며, 이를 위해서는 기존의 등록 상표 표장과 동일 또는 유사한 상표 등록 출원의 등록을 거절한다. 또한, 타인의 등록상표와 동일 또는 유사한 상표를 등록 상표의 지정상품과 동일 유사한 상품에 사용한 경우에는 타인의 상표권을 침해하게 되어 민형사상의 책임이 뒤따른다. 따라서, 상표 등록 출원에 대한 심사, 상표권의 침해 여부에 대한 판단 및 상표권 간의 권리 충돌에 대한 판단을 할 때, 상표의 유사 여부 판단은 선행되어야 할 매우 중요한 활동이다. At this time, the trademark registration application is strictly examined to prevent duplication of rights. In addition, if a trademark identical or similar to another person's registered trademark is used for a product that is identical and similar to the designated product of the registered trademark, it infringes the trademark right of another person, and civil and criminal liabilities follow. Therefore, when examining an application for trademark registration, judging whether trademark rights are infringed or not, and judging a conflict of rights between trademark rights, determining whether trademarks are similar is a very important activity that should be preceded.

상표 유사 심사기준에 따르면, 상표의 유사 여부의 판단은 상표의 모양, 발음, 관념 또는 이들의 결합 상태를 기준으로 판단하는데, 수많은 등록 상표 중에서 특정 상표와 동일 또는 유사한 상표를 찾기 위해서는 검색 시스템을 활용하는 것이 필수이다. According to the trademark similarity examination criteria, the judgment of whether a trademark is similar is based on the shape, pronunciation, concept, or combination thereof. it is essential to do

기존의 상표 검색 시스템은 유사 판단 기준의 하나인 상표의 발음의 유사 여부를 텍스트로 표현한 문장을 검색 엔진을 이용하여 검색함으로써 정확도가 높은 결과를 제시하고 있다. 그러나, 상표 이미지에 포함된 도형 또는 관념의 유사성 판단은 아직 정확도가 높지 않다. 그래서, 상표에 포함된 도형 또는 관념의 유사성 판단을 지원하기 위한 수단으로 각국 특허청은 국제 협약에 따른 비엔나 코드( Vienna Code) 등의 분류 기준을 두어, 출원 상표 전체에 대한 도형 분류 코드를 정보로 부가하고 있다. 따라서, 도형 상표에 대한 검색을 할 때에는 해당 상표에 포함된 도형 분류 코드를 지정하여 검색 대상 범위를 좁힐 수 있도록 함으로써, 검색 결과를 쉽게 찾을 수 있도록 하고 있다. The existing trademark search system provides high-accuracy results by using a search engine to search for sentences expressing whether or not the pronunciation of a trademark, which is one of the similarity judgment criteria, is similar in text. However, the similarity judgment of figures or ideas included in the trademark image is not yet highly accurate. Therefore, as a means to support the determination of the similarity of figures or ideas included in trademarks, each country's patent office sets classification standards such as the Vienna Code according to international conventions, and adds the figure classification code for the entire applied trademark as information. are doing Therefore, when searching for a graphic trademark, the search result can be easily found by specifying a graphic classification code included in the trademark to narrow the search target range.

이미지 처리와 관련된 기술의 진보로 이미지와 이미지에 대한 직접적 비교를 통해 상표 이미지의 유사판단을 위한 다양한 시도들이 있어 왔다. 기존의 이미지 처리를 통한 검색 기술은 근본적으로는 해당 도형에 포함된 특징 벡터를 추출하여 이를 다른 이미지에서 추출한 특징벡터들과 비교하는 방법을 사용한다. 하지만, 현실적으로는 해당 특징 벡터의 추출이 동일한 수준에서는 잘 찾지만, 유사한 도형 또는 관념에 대해서는 검색 결과가 좋지 못하다. 그래서, 여전히 (출원) 도형 상표와 유사한 등록 상표를 찾는 것은 해당 분야에서 오랜 경험(심사)을 해 온 심사관의 노하우에 의존해왔다. With the advancement of technology related to image processing, various attempts have been made to determine the similarity of trademark images through direct comparison between images and images. Existing image processing search technology basically uses a method of extracting a feature vector included in a corresponding figure and comparing it with feature vectors extracted from other images. However, in reality, the extraction of the corresponding feature vector finds it well at the same level, but the search results for similar figures or ideas are poor. So, still finding a registered trademark similar to the (application) graphic trademark has relied on the know-how of an examiner with long experience (examination) in the field.

본 발명과 관련한 종래 기술로는 대한민국 특허 출원 공개 제10-2009-0005684호에 공개한 기술이 있다. 이 출원 공개에는 동일 출원인의 도형 동일 상표에 대해서는 도형 코드를 이용하여 선택적으로 중복되는 도형 상표는 배제하고 대표 상표만을 디스플레이하도록 하여 검색 편의를 개선한 도형상표 검색 시스템 및 방법이 공개되어 있다.As a prior art related to the present invention, there is a technique disclosed in Korean Patent Application Laid-Open No. 10-2009-0005684. This publication discloses a graphic trademark retrieval system and method in which search convenience is improved by displaying only representative trademarks while selectively excluding overlapping graphic trademarks using graphic codes for the same graphic trademark of the same applicant. 또한, 대한민국 특허 출원 공개 제10-2019-0098801호는 상표 이미지(썸네일 이미지)와 상표 이미지에 부여된 도형 코드에 기초하여 생성된 레이블을 이용하여, CNN (Convolutional Neural Network) 알고리즘으로 학습 데이터의 카테고리를 분류하는 방법을 공개하고 있다. 이 출원 기술은 딥러닝을 위한 널리 공개된 CNN 알고리즘을 사용하고 있고, 도형 코드에 생성된 레이블을 이용해 학습 데이터의 카테고리를 분류하는 기술을 공개하고 있지만, 검색된 결과의 유사도의 순서를 어떻게 정할지 등에 대해서는 충분히 만족스러운 결과를 공개하고 있지 않다.In addition, Korean Patent Application Laid-Open No. 10-2019-0098801 discloses a category of learning data with a Convolutional Neural Network (CNN) algorithm using a trademark image (thumbnail image) and a label generated based on a figure code assigned to the trademark image. How to classify is disclosed. This application technology uses a widely publicized CNN algorithm for deep learning, and discloses a technology for classifying the categories of training data using the label generated in the shape code, but how to determine the order of the similarity of the search results It does not disclose sufficiently satisfactory results.

딥러닝 기반의 신경망인 CNN (Convolutional Neural Network)을 이용한 이미지의 분류(Image Classification), 딥러닝 기반 객체 인식(Object Detection) 기술 및 멀티 레이블 분류(Multi Label Classification) 알고리즘이 본 발명을 구현을 위해 사용하는 기반 기술이다. 관련된 기술은 본 발명 이전에 널리 공개된 기술이며, 관련된 기술을 적용하기 위한 소프트웨어 프로그램 소스들도 깃 허브 등에 공개되어 있다. Image classification using a deep learning-based neural network CNN (Convolutional Neural Network), deep learning-based object detection technology, and multi-label classification algorithm are used to implement the present invention It is a basic technology that The related technology is a technology widely disclosed before the present invention, and software program sources for applying the related technology are also disclosed on Github and the like.

본 발명은 위와 같은 이미지 검색에서의 어려움을 극복하기 위한 것으로서, 딥러닝 기술을 응용하여, 특정 상표 이미지(이하, 쿼리 이미지)를 제시하면 검색 대상 상표 이미지들 중 이 쿼리 이미지와 형태 및 관념에서 동일 또는 유사한 상표를 유사도 순서로 표시할 수 있도록 하는 이미지 검색 시스템의 검색 성능을 향상시키기 위한 기술을 제공하는 것을 기술적 과제로 한다. The present invention is to overcome the difficulties in image search as described above. By applying deep learning technology, when a specific trademark image (hereinafter referred to as a query image) is presented, it is identical in form and concept to this query image among the search target trademark images. Alternatively, it is a technical task to provide a technique for improving the search performance of an image search system that can display similar trademarks in the order of similarity.

본 발명의 일 실시예에 따르면, 다수의 도형 상표 이미지에 레이블을 부여하여 인공지능 학습용 데이터 셋(Data Set)을 만드는 단계와, 이 인공지능 학습용 데이터 셋으로 다층의 신경망(Neural Network) 알고리즘을 학습하는 딥러닝 단계를 포함하며, 딥러닝 학습을 마친 신경망 알고리즘에 의해 검색 대상인 상표 이미지들 중에서 사용자가 입력한 쿼리 이미지와 유사한 외관의 상표 이미지를 검색하는 단계를 포함하는 딥러닝 기반의 상표 이미지 검색 방법에 있어서,
상기 인공지능 학습용 데이터셋을 만드는 단계는 상표 이미지 각각에 포함된 여러 도형의 종류 및 유형을 기준으로 각각의 상표 이미지에 복수개의 멀티 레이블을 부여하는 단계를 포함하며, 상기 신경망 알고리즘을 학습하는 딥러닝 단계는 상표 이미지에 포함된 복수개의 도형의 종류를 특정하는 비엔나 코드(Vienna Code) 분류 기준을 멀티 레이블로 삼아 지도 학습하는 단계를 포함하며, 상기 상표 이미지를 검색하는 단계는 검색 대상 선행 상표 이미지들에 대한 멀티 레이블 분류 벡터(Multi Labeled Classification Vector)를 생성하여 적어도 하나의 GPU에 적재(Upload)하는 단계와, 이 GPU에 적재된 선행 상표 이미지들의 멀티 레이블 분류 벡터들과 사용자가 입력한 쿼리 이미지에 대한 멀티 레이블 분류 벡터 사이의 유사도를 연산하는 유사도 연산 단계를 포함하는 것을 특징으로 하는 딥러닝을 활용한 멀티 레이블 분류 기반 상표 이미지 검색 방법을 제공한다.
이와 같은 기술적 구성의 본 발명을 제공함으로써 상표 이미지의 유사성에 대한 검색 결과의 정확도를 높이고 더불어 그 응답속도노 매우 빠르게 할 수 있게 되었다. According to an embodiment of the present invention, a step of creating a data set for artificial intelligence learning by giving a label to a plurality of figure trademark images, and learning a multi-layered neural network algorithm with this data set for artificial intelligence learning A deep learning-based trademark image search method, comprising: searching for a trademark image having an appearance similar to the query image input by the user from among trademark images to be searched by a neural network algorithm that has completed deep learning learning In
The step of creating the dataset for artificial intelligence learning includes applying a plurality of multi-labels to each trademark image based on the types and types of various figures included in each of the trademark images, and deep learning for learning the neural network algorithm. The step includes supervising learning using a Vienna Code classification criterion for specifying the types of a plurality of figures included in the trademark image as a multi-label, and the step of searching for the trademark image includes the preceding trademark images to be searched. A step of generating a multi-labeled classification vector for , and loading it on at least one GPU, and the multi-label classification vectors of the preceding trademark images loaded on the GPU and It provides a multi-label classification-based trademark image search method using deep learning, characterized in that it includes a similarity calculation step of calculating the degree of similarity between multi-label classification vectors.
By providing the present invention of such a technical configuration, it is possible to increase the accuracy of the search result for the similarity of the trademark image and also to increase the response speed very quickly.

또한, 기존에 출원 상표에 포함된 도형에 대한 비엔나 코드(Vienna Code)를 학습 데이터 셋으로 사용하였으므로, 별도의 데이터 셋 구축 과정을 생략하여 비용과 시간을 대폭 절감할 수 있게 되었다.
또한, 본 발명에 따른 다른 실시예에 따르면, 상기 학습 데이터를 만드는 단계는 상표 이미지에 포함된 개별 도형의 종류에 대한 비엔나 코드(Vienna Code)를 대신하여, 개별 도형의 종류를 특정하는 이외에 그 개별 도형이 차지하는 영역 정보를 추가로 포함하는 데이터 셋을 만드는 것을 특징으로 하는 멀티 레이블 분류 기반 상표 이미지 검색 방법을 제공한다.In addition, since the Vienna Code for figures included in the existing trademark was used as a learning data set, it was possible to significantly reduce cost and time by omitting the process of constructing a separate data set.
In addition, according to another embodiment according to the present invention, in the step of creating the learning data, instead of the Vienna Code for the type of individual figure included in the trademark image, in addition to specifying the type of the individual figure, the individual figure is It provides a multi-label classification-based trademark image search method, characterized in that it creates a data set that additionally includes information on the area occupied by a figure.

삭제delete

또한, 본 발명에 따른 또 다른 실시예에 따르면, 상기 상표 이미지를 검색하는 단계에서 생성되는 멀티 레이블 분류 벡터는 상기 신경망의 최종단인 FC단(Fully Connected Layer)으로의 입력단에서 추출한 임베디드 벡터(Embedded Vector)인 것을 특징으로 하는 멀티 레이블 분류 기반 상표 이미지 검색 방법을 제공한다.In addition, according to another embodiment of the present invention, the multi-label classification vector generated in the step of searching for the trademark image is an embedded vector extracted from the input to the fully connected layer (FC), which is the final stage of the neural network. Vector) provides a multi-label classification-based trademark image search method, characterized in that it is.

또한, 본 발명에 따른 또 다른 실시예에 따르면, 상기 유사도 연산단계에서의 유사도 연산은 벡터들 사이의 코사인 거리(Cosine Distance)를 구하는 코사인 유사도 알고리즘(Cosine Similarity)을 적용하거나, 벡터들 사이의 유클리드 거리(Euclidean Distance)를 구하는 유클리드 유사도 알고리즘(Euclidean Similarity)을 적용한다. In addition, according to another embodiment of the present invention, the similarity calculation in the similarity calculation step applies a cosine similarity algorithm for obtaining a cosine distance between vectors, or Euclidean between vectors. The Euclidean Similarity algorithm to find the Euclidean Distance is applied.

삭제delete

또한, 본 발명에 따른 또 다른 실시예에 따르면, 다수의 도형 상표 이미지에 레이블을 부여하여 만든 인공지능 학습용 데이터 셋(Data Set)을 학습하여 가중치를 최적화한 상표 이미지 특징 분류 신경망 알고리즘을 포함하는 딥러닝용 신경망(Neural Network)과, 딥러닝 학습을 마친 상기 상표 이미지 특징 분류 알고리즘에 의해 검색 대상인 상표 이미지들 중에서 사용자가 입력한 질의 이미지인 쿼리 이미지와 유사한 상표 이미지 특징을 가진 상표 이미지를 검색하는 검색기를 포함하는 딥러닝 기반의 상표 이미지 검색 시스템에 있어서, 상기 신경망에 포함된 신경망 알고리즘은 상표 이미지와 상표 이미지 각각에 포함된 여러 도형의 종류를 특정하는 비엔나 코드(Vienna Code) 분류 기준을 멀티 레이블로 삼아 학습용 데이터 셋을 구성하고, 지도 학습을 통해 최적의 가중치를 설정하는 학습 단계를 포함하여, 상기 신경망 알고리즘에 의해 생성된 검색 대상 선행 상표 이미지들에 대한 멀티 레이블 분류 벡터(Multi Labeled Classification Vector)를 적어도 하나의 GPU에 적재(Upload)하는 단계를 추가로 포함하여, 상기 검색기는 상기 GPU에 적재한 검색 대상 선행 상표 이미지의 멀티 레이블 분류 벡터들과 사용자가 입력한 쿼리 이미지에 대한 멀티 레이블 분류 벡터 사이의 유사도를 연산하여, 그 결과를 유사도 순서로 출력하는 것을 특징으로 하는 멀티 레이블 분류 기반 상표 이미지 검색시스템을 제공한다.
또한 본 발명의 보다 구체적인 실시예에 따르면, 상기 상표 이미지 특징 분류 신경망 알고리즘을 포함하는 신경망이 학습하는 인공지능 학습 데이터 셋은 상표 이미지에 포함된 개별 도형의 종류에 대한 레이블 정보 이외에 개별 도형이 차지하는 영역 정보를 추가로 포함하도록 구성되는 것을 특징으로 하는 멀티 레이블 분류 기반 상표 이미지 검색시스템을 제공한다.
또한 본 발명의 또 다른 구체적인 실시예에 따르면, 상기 신경망의 상표 이미지 특징 분류 신경망 알고리즘에 의해 생성되어 GPU에 적재되는 멀티 레이블 분류 벡터는 상기 신경망의 최종단인 FC단(Fully Connected Layer)으로의 입력단에서 추출한 임베디드 벡터(Embedded Vector)인 것을 특징으로 하는 멀티 레이블 분류 기반 상표 이미지 검색시스템을 제공한다.
In addition, according to another embodiment of the present invention, a deep including a trademark image feature classification neural network algorithm that optimizes weights by learning a data set for artificial intelligence learning created by giving labels to a plurality of figure trademark images A search for a trademark image having similar trademark image features to a query image, which is a query image input by a user, from among trademark images to be searched by a neural network for learning and the trademark image feature classification algorithm that has completed deep learning learning In the deep learning-based trademark image search system including a group, the neural network algorithm included in the neural network uses the Vienna Code classification criteria for specifying the types of trademark images and various figures included in each of the trademark images as multi-labels. A multi-labeled classification vector for the preceding trademark images to be searched generated by the neural network algorithm, including a learning step of constructing a training data set and setting an optimal weight through supervised learning Further comprising the step of loading (Uploading) to at least one GPU, the searcher is between the multi-label classification vectors of the preceding trademark image to be searched loaded in the GPU and the multi-label classification vector for the query image input by the user It provides a multi-label classification-based trademark image search system, characterized in that by calculating the similarity of , and outputting the result in the order of the degree of similarity.
Also, according to a more specific embodiment of the present invention, the artificial intelligence learning data set that the neural network including the trademark image feature classification neural network algorithm learns is an area occupied by individual figures in addition to label information on the types of individual figures included in the trademark image. It provides a multi-label classification-based trademark image search system, characterized in that it is configured to further include information.
In addition, according to another specific embodiment of the present invention, the multi-label classification vector generated by the neural network algorithm for brand image feature classification of the neural network and loaded on the GPU is an input terminal to the fully connected layer (FC), which is the final stage of the neural network. It provides a multi-label classification-based trademark image search system, characterized in that it is an embedded vector extracted from

삭제delete

이와 같은 기술적 구성의 본 발명을 제공함으로써 상표 이미지의 유사성에 대한 검색 결과의 정확도를 높이고 더불어 그 응답속도도 매우 빠르게 할 수 있게 되었다. By providing the present invention of such a technical configuration, it is possible to increase the accuracy of the search result for the similarity of the trademark image and also to make the response speed very fast.

도 1은 딥러닝 기반의 이미지 검색 시스템의 데이터 처리 과정을 보여주기 위한 전체적인 프로세스 흐름도.
도 2는 신경망 알고리즘을 통해 특징 추출과 분류가 이루어지는 과정을 설명하기 위한 모식도.
도 3은 본 발명에 따른 멀티 레이블 분류(Multi Label Classification) 알고리즘 기반의 상표 이미지 검색 방법의 주요 프로세스를 순차적으로 설명하기 위한 프로세스 흐름도.
도 4는 본 발명에 따른 멀티 레이블 분류 알고리즘 기반의 상표 이미지 검색 방법을 전체적으로 설명하기 위한 개념도.
도 5는 본 발명에 따른 멀티 레이블 분류 알고리즘을 멀티 분류 알고리즘과 비교 설명하기 위한 개념도.
도 6은 상표 이미지 내에 포함된 도형을 분류하기 위한 국제 분류 코드인 비엔나 코드의 구성을 설명하기 위한 도면.
도 7은 비엔나 코드 기반의 다중 레이블을 기준으로 만든 벡터의 구성을 설명하기 위한 도면.
도 8은 본 발명에 따른 유사도 연산을 위한 연산 수식을 설명하기 위한 도면.
도 9는 본 발명에 따른 또 다른 실시예에서 이미지 내에 포함된 객체의 분류 정보 이외에, 영역 정보를 추가로 지정하여 경우의 데이터 레이블 과정을 설명하기 위한 도면.
도 10은 본 발명에 따른 멀티 레이블 분류 기반 상표 이미지 검색 시스템의 구성을 설명하기 위한 도면. 그리고, 도 11은 본 발명에 따라 구현된 멀티 레이블 분류 기반 상표 이미지 검색 시스템의 실제 검색 결과를 도시한 도면이다.1 is an overall process flow diagram showing the data processing process of a deep learning-based image search system.
2 is a schematic diagram for explaining a process of feature extraction and classification through a neural network algorithm.
Figure 3 is a process flow chart for sequentially explaining the main process of the trademark image search method based on the multi-label classification (Multi Label Classification) algorithm according to the present invention.
4 is a conceptual diagram for explaining the overall trademark image search method based on the multi-label classification algorithm according to the present invention.
5 is a conceptual diagram for explaining and comparing the multi-label classification algorithm according to the present invention to the multi-label classification algorithm.
6 is a view for explaining the configuration of the Vienna code, which is an international classification code for classifying figures included in a trademark image;
7 is a diagram for explaining the configuration of a vector created based on a Vienna code-based multi-label;
8 is a view for explaining an operation formula for calculating a degree of similarity according to the present invention;
9 is a view for explaining a data labeling process in the case of additionally designating region information in addition to classification information of an object included in an image in another embodiment according to the present invention;
10 is a diagram for explaining the configuration of a multi-label classification-based trademark image search system according to the present invention. And, FIG. 11 is a diagram showing an actual search result of the multi-label classification-based trademark image search system implemented according to the present invention.

이하 도면을 참고하며 본 발명에 따른 실시예를 상세히 설명하도록 한다. Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings.

도 1은 딥러닝 기반의 이미지 검색 시스템의 일반적인 데이터 처리 과정을 설명하기 위한 전체적인 프로세스 흐름도이다. 이를 단계별로 설명한다. 1 is an overall process flow diagram for explaining a general data processing process of a deep learning-based image search system. This will be explained step by step.

제1단계는 딥러닝 학습을 위해 사용할 데이터를 입수하여 간단한 리사이징, 포맷 변환, 해상도 증강 등의 전처리를 수행하고, 이들을 그룹화하여 정리한다. The first step is to obtain data to be used for deep learning learning, perform preprocessing such as simple resizing, format conversion, and resolution enhancement, and group and organize them.

제2단계는 이렇게 정리된 데이터를 가공하여 지도학습용 레이블을 부여(Annotation 작업)하고, 전체 데이터를 트레인 셋과 테스트 셋으로 분리하여, 학습용 데이터 셋을 준비한다. In the second step, a label for supervised learning is applied by processing the data organized in this way (annotation work), and the entire data is separated into a train set and a test set to prepare a training data set.

제3단계는 학습용 데이터 셋으로 학습을 실행하는 것인데, 딥러닝 학습을 위한 신경망을 선택하여 딥러닝 모델을 구성하고, 이를 기준으로 학습과 평가를 반복 실행하고 학습을 종료하면 학습 모델과 학습 결과로서의 가중치(weights)를 저장한다.The third step is to execute learning with the training data set, select a neural network for deep learning learning, construct a deep learning model, repeat learning and evaluation based on this, and finish learning as a learning model and learning result. Store the weights.

제4단계는 이후, 검색 시스템에 적용하는 것인데, 위의 학습 결과 모델과 가중치(Weight)로 검색대상 이미지에 대해서 특징 벡터를 추출하여 검색 인덱스를 만들어 저장합니다. 이후, 쿼리 이미지가 들어오면, 쿼리 이미지에 대해서 분류 및 특징 벡터를 추출하여 저장해둔 검색 인덱스와 비교하여 이미지 유사도를 연산하고 연산된 유사도 순서로 표시한다. The fourth step is to apply it to the search system afterward, extracting the feature vector from the image to be searched with the above learning result model and weight, creating a search index and storing it. Thereafter, when a query image is received, classification and feature vectors are extracted from the query image, compared with a stored search index, the image similarity is calculated, and the image similarity is displayed in the order of the calculated similarity.

도 2는 신경망 알고리즘을 적용하여, 특징 추출과 분류가 이루어지는 과정을 설명하기 위한 모식도이다. 신경망 모델은 특징 추출(Feature Extraction)과 이미지 분류 및 벡터생성 (Classification & Vector Generation) 작업을 수행하며, 특징 추출은 Convolution Network가 수행하고, 벡터 생성은 FC 레이어(Fully Connected Layer)에서 수행한다. 통상의 분류는 FC 레이어의 출력 벡터값을 기준으로 데이터의 분류 결과를 확인할 수 있다.2 is a schematic diagram for explaining a process of feature extraction and classification by applying a neural network algorithm. In the neural network model, feature extraction, image classification, and vector generation are performed, feature extraction is performed by the convolution network, and vector generation is performed in the FC layer (Fully Connected Layer). In the normal classification, the classification result of data may be confirmed based on the output vector value of the FC layer.

도 3은 본 발명에 따른 멀티 레이블 분류(MLC: Multi Label Classification) 알고리즘 기반의 상표 이미지 검색 방법을 실행하기 위한 주요 프로세스를 순차적으로 설명하는 프로세스 흐름도이다.3 is a process flow diagram sequentially explaining a main process for executing a trademark image search method based on a multi-label classification (MLC) algorithm according to the present invention.

도면에 도시한 바와 같이, 검색 시스템을 준비하는 단계(S1 ~ S3)와 검색 서비스를 수행하는 단계(S4 ~ S7)로 구분될 수 있다. 검색 시스템을 준비하는 단계는 분류 코드를 다중으로 부여하는 Multi-Labelling을 통해 학습데이터를 구축하고(S1), 멀티 라벨 분류(MLC: Multi Label Classification) 기반의 신경망 학습을 진행 한 후(S2) 그 학습 결과물로 검색 대상 상표에 대한 검색 인덱스로서 멀티 라벨 분류 벡터(MLC Vector)를 생성하여 저장하는 과정(S3)으로 구성된다. As shown in the figure, it may be divided into a step of preparing a search system (S1 to S3) and a step of performing a search service (S4 to S7). The step of preparing the search system is to build learning data through multi-labeling that assigns multiple classification codes (S1), and after performing multi-label classification (MLC: Multi Label Classification)-based neural network learning (S2), the It consists of a process (S3) of generating and storing a multi-label classification vector (MLC Vector) as a search index for a search target trademark as a learning result.

또한, 검색 서비스 단계는 사용자가 쿼리 이미지를 입력하고 검색 결과를 요청하면(S4), 검색 대상 상표 이미지로부터 멀티 라벨 분류 벡터(MLC Vector)를 생성한 것과 동일한 학습 결과물로 쿼리 이미지에 대해서 멀티 라벨 분류 벡터(MLC Vector)를 분석하고(S5) 그 결과를 검색 대상 상표에 대한 검색 인덱스의 멀티 라벨 분류 벡터와 비교해서 유사도를 연산하고(S6), 유사도 순서대로 검색 결과를 보여준다(S7).In addition, in the search service step, when the user inputs a query image and requests a search result (S4), the multi-label classification for the query image is the same learning result as the multi-label classification vector (MLC Vector) generated from the search target trademark image. The vector (MLC Vector) is analyzed (S5) and the result is compared with the multi-label classification vector of the search index for the search target trademark to calculate the similarity (S6), and the search results are displayed in the order of the similarity (S7).

도 4는 본 발명에 따른 멀티 레이블 분류 알고리즘 기반의 상표 이미지 검색 방법을 전체적으로 설명하기 위한 개념도이다. 도 3에 따른 처리 과정과 프로세스는 근본적으로 동일하다.4 is a conceptual diagram for explaining the overall trademark image search method based on the multi-label classification algorithm according to the present invention. The process and process according to FIG. 3 are essentially the same.

도 4에 도시한 실시예에서와 같이, 도형 분류 코드는 기존의 비엔나 코드 분류를 사용한다. 특허청에 출원된 상표 이미지에 대해서는 사전 분류 단계에서 출원 상표 이미지(1)에 포함된 도형을 사람이 직접 식별하고, 해당 출원 상표 이미지(1)에 포함된 도형의 해당 코드를 부가하여 기록하고 있으므로, 별도의 데이터 어노테이션(데이터 분류 및 Labeling)을 위한 절차를 생략할 수 있다는 장점이 있다. 따라서, 상표 이미지 별로 비엔나 코드가 무엇인지에 대한 정보가 있으므로 이를 기초로 도 4의 분류 코드 벡터(2)를 생성할 수 있다.As in the embodiment shown in Fig. 4, the figure classification code uses the existing Vienna code classification. For trademark images applied to the Korean Intellectual Property Office, in the pre-classification stage, a person directly identifies a figure included in the trademark image (1) applied for, and records by adding the corresponding code of the figure included in the trademark image (1) for the application, There is an advantage that the procedure for separate data annotation (data classification and labeling) can be omitted. Accordingly, since there is information on what the Vienna code is for each trademark image, the classification code vector 2 of FIG. 4 can be generated based on this.

신경망의 학습은 멀티 레이블 분류(MLC: Multi Label Classification) 알고리즘에 기반을 둔다. 멀티 라벨 분류란 이진 분류(Binary Classification), 다중 분류(Multi Classification) 등과 비교할 때, 레이블을 하나가 아닌 복수로 부여하는 것을 허락한다는 것을 의미한다. 도 5면에 도시한 바와 같이 해, 달, 별 이 포함된 이미지라면, 두 개 이상의 도형이 포함될 경우에 이들에 대해서 포함된 도형에 대해서 코드를 모두 ‘1’로 표기하는 것과 같다. 멀티 라벨은 하나의 입력값에 대해 여러 개의 출력 값을 가진다는 점에서는 다중 분류와 동일하지만, 여러 가지 출력값이 활성화된다는 점에서 출력값 중에서 하나만 활성화되는 다중 분류 기법과 구별된다. 그래서 손실함수도 다중 분류에서는 logistic Cross Entropy를 가지지만, 멀티 레이블 분류는 Binary Cross Entropy를 사용한다. The training of the neural network is based on the Multi Label Classification (MLC) algorithm. Multi-label classification means that it is allowed to assign a plurality of labels instead of one when compared with binary classification and multi-classification. As shown in Figure 5, if the image includes the sun, moon, and stars, when two or more figures are included, it is the same as writing all codes as '1' for the figures included in these figures. Multi-label is the same as multi-classification in that it has several output values for one input value, but is distinguished from multi-classification in which only one of the output values is activated in that several output values are activated. So, the loss function also has logistic cross entropy in multiple classification, but uses binary cross entropy in multi-label classification.

도 6은 본 발명에 따른 멀티 레이블 분류에서 분류 기준으로 사용하는 국제기준인 비엔나 코드(Vienna Code)의 구성을 예시한 것이다. 도시한 바와 같이 비엔나 코드는 상표 이미지에 포함될 수 있는 도형을 전체 30개의 대분류로 분류하고, 중분류 및 세분류로 구체화하고 있다. 분류의 종류는 세분류 기준으로는 2015개 이상이다. 6 exemplifies the configuration of the Vienna Code, which is an international standard used as a classification criterion in multi-label classification according to the present invention. As shown, the Vienna Code classifies figures that can be included in a trademark image into a total of 30 major categories, and materializes them into medium and subcategories. There are more than 2015 types of classification based on sub-categories.

도 7은 비엔나 코드 기반의 멀티 레이블의 구성을 벡터 형식으로 도시한 것이다. 상표 이미지에 대한 레이블은 [출원번호][비엔나 코드]와 같은 형식으로 레이블의 수만큼 다중으로 기록하고, 이것을 벡터 형식으로 표현하면 도 7의 우측에 표시한 행렬 형식(상표출원번호를 행으로 정의하고, 비엔나 코드의 세분류 기준을 열로 정의)의 이진 벡터(Bianary Vector)를 얻을 수 있다. 7 illustrates the configuration of a Vienna code-based multi-label in a vector format. Labels for trademark images are recorded as multiple as the number of labels in the same format as [application number] [Vienna code], and when expressed in vector format, the matrix format shown on the right side of FIG. 7 (trademark application number is defined as a row) , and it is possible to obtain a binary vector of the Vienna code's classification criteria defined as columns).

도 4에 도시한 구성에서 학습을 실행할 신경망은 CNN(Convolutional Neural Network) 신경망으로 선정한다. CNN 신경망은 다양한 공개 알고리즘/모델이 있으므로, Resnet, Densenet 등의 공개된 신경망 중의 하나를 선정하여 학습할 수 있고, 객체의 영역정보를 포함하도록 레이블을 만드는 경우라면 Faster R-CNN, Yolo 등의 신경망을 사용할 수도 있다. 본 발명에서는 신경망 알고리즘에 대해서는 구체적인 한정은 하지 않는다.In the configuration shown in FIG. 4 , a neural network to be trained is selected as a Convolutional Neural Network (CNN) neural network. Since the CNN neural network has various public algorithms/models, it can learn by selecting one of the public neural networks such as Resnet and Densenet. can also be used. The present invention does not specifically limit the neural network algorithm.

학습 데이터를 기준으로 학습의 실행을 위한 도구 및 방법은 특정하지 않으며, 일반적인 학습 도구인 Keras, Tensorflow, pytorch 등의 어떤 도구를 사용할 수 있다. The tools and methods for executing training based on training data are not specific, and any general training tools such as Keras, Tensorflow, and pytorch can be used.

비엔나 코드 등의 분류 기준이 멀티 레이블로 부여된 상표 이미지 학습 데이터로 CNN 등의 신경망을 통해 학습을 완료하고 나면, 학습 결과로서 가중치(Weight : 4)를 생성하게 된다. 이후, 학습을 마친 결과물로 이미지 검색을 위한 검색 시스템을 구축하게 된다. After learning through a neural network such as CNN with trademark image learning data to which classification criteria such as the Vienna code are given as multi-labels, a weight (Weight: 4) is generated as a learning result. After that, a search system for image search is built as a result of learning.

이미지 검색 시스템은 도 4에 도시한 바와 같이, 사용자가 검색할 쿼리 이미지(5)를 제시하면 As shown in FIG. 4 , the image search system provides a query image 5 to be searched by the user.

보유하고 있는 검색 대상 상표 이미지(8)들 중에 쿼리 이미지와의 유사도를 연산하고, 유사도 순서대로 검색 결과 이미지(10)를 표시한다. The similarity with the query image is calculated among the search target trademark images 8 possessed, and the search result images 10 are displayed in the order of the similarity.

유사도의 비교는 쿼리 이미지(5)의 특징 벡터와 검색 대상 상표 이미지(8)의 특징 벡터들 사이에서 유사도를 연산하는 과정인데, 쿼리 이미지와 검색 대상 상표 이미지 모두에 대해서 학습단계의 신경망 학습에 의해 얻은 동일한 신경망 모델(model)을 사용하여 특징벡터를 생성한다. 이때의 신경망에서 사용할 가중치는 학습 결과로서 결정한 가중치(Weight)(4)를 적용한다. Comparison of similarity is a process of calculating the similarity between the feature vector of the query image 5 and the feature vectors of the trademark image 8 to be searched. Feature vectors are generated using the same neural network model obtained. The weight to be used in the neural network at this time is applied as a weight (Weight) (4) determined as a learning result.

검색 서비스를 위해서, 먼저 검색 대상 검색 대상 상표 이미지(8) 들은 학습 결과물인 동일한 신경망 모델에 학습 결과물인 가중치(4)를 적용하여 특징 벡터를 추출하고, 이렇게 추출된 특징벡터들을 특징벡터 세트(7)로서 검색 서버 내의 저장소에 인덱스 파일 형식으로 저장한다. 그러면, 검색 서비스를 위한 준비가 완료된 상태가 된다. For the search service, first, the trademark images 8 to be searched are extracted feature vectors by applying a weight 4 as a learning result to the same neural network model as a learning result, and the extracted feature vectors are used as a feature vector set 7 ) as an index file in the storage within the search server. Then, the preparation for the search service is completed.

이후, 사용자가 검색할 쿼리 이미지(5)를 업로드 하고 이미지 검색을 요청하면, 대상 쿼리 이미지(5)에 대해서 동일한 신경망 모델과 가중치(4)를 사용하여 쿼리 이미지에 대한 특징 벡터(6)를 추출한다. After that, when the user uploads a query image (5) to be searched and requests an image search, the same neural network model and weights (4) are used for the target query image (5) to extract a feature vector (6) for the query image do.

이때 특징벡터(6)는 도 2를 참고하면, CNN 신경망 모델의 최종단인 FC Layer의 출력단으로부터 결정할 수도 있지만, FC Layer의 입력단 다시 말해 특징 추출(Feature Extraction) 출력단으로부터 출력된 벡터(이를 임베디드 벡터(Embedded Vector)라고 함)를 채용할 수도 있다. 이렇게 하면 특징 추출의 결과물을 최종 분류하여 벡터값으로 생성 하는 과정을 생략하는 것이 된다. 다시 말해, 상표 이미지에 포함된 도형이 무엇인지(예, 태양, 별, 달, 원, 네모, 세모 등) 구체적으로 최종 판단하기 직전의 보다 추상적인 상태의 벡터 데이터를 기준으로 유사도를 판단하는 것이다.
이렇게 하면, 구체화 된 객체를 특정하는 과정에서 상실되는 정보가 상실되지 않은 상태에서 유사도를 비교할 수 있게 되고, 그 결과 유사도의 판단 결과가 최종단인 FC Layer에서의 결과를 비교하는 것보다 만족도 높은 비교값을 얻을 수 있다. At this time, referring to FIG. 2 , the feature vector 6 may be determined from the output end of the FC Layer, which is the final stage of the CNN neural network model, but the vector output from the input stage of the FC layer, that is, the feature extraction output stage (this is an embedded vector) (referred to as an Embedded Vector) may be employed. In this way, the process of finally classifying the result of feature extraction and generating it as a vector value is omitted. In other words, the degree of similarity is judged based on the vector data of a more abstract state just before final judgment on what the figure included in the trademark image (eg, sun, star, moon, circle, square, triangle, etc.) is in detail. .
In this way, it is possible to compare the degree of similarity without loss of information that is lost in the process of specifying the concrete object, and as a result, the result of similarity judgment is higher than comparing the result in the FC Layer, which is the final stage. value can be obtained.

쿼리 이미지로부터 특징벡터(6)를 추출한 후, 서버에 미리 저장된 검색 대상 상표 이미지에 대한 특징벡터(8) 사이의 유사도 연산은 쿼리 이미지 업로드 후 즉시 이루어지는데, 이때, 유사도의 연산은 유사도 비교를 위한 알고리즘이 사용된다. 유사도 비교 연산을 위한 알고리즘으로는 벡터들 사이의 코사인 거리(Cosine Distance) 또는 유클리드 거리(Euclidean Distance) 등의 알고리즘을 사용할 수 있다. After extracting the feature vector (6) from the query image, the similarity calculation between the feature vectors (8) for the search target trademark image stored in advance in the server is performed immediately after the query image is uploaded. algorithm is used. As an algorithm for the similarity comparison operation, an algorithm such as a cosine distance or a Euclidean distance between vectors may be used.

도 8은 본 발명에 따른 유사도 연산을 위해 사용되는 예시로서, 코사인 거리 및 유클리드 거리의 연산의 원리 및 관련 수식을 설명하기 위한 것이다. 8 is an example used for the similarity calculation according to the present invention, and is for explaining the principle of the calculation of the cosine distance and the Euclidean distance and related equations.

도면에 도시한 것처럼. 유클리드 거리는 두 점의 좌표 사이의 기하학적인 거리를 계산하는 방식이고, 코사인 거리는 원점에서 두 점 좌표 사이를 잇는 두 선이 이루는 각에 코사인을 취해 값을 정하는 일종의 각거리로서 정의한다. 물론, 예시된 도면은 단순히 3차원으로 예시하였지만, 본 발명에서처럼, 복수 차원도 벡터값으로 표시하면 동일한 수식을 적용할 수 있다. As shown in the drawing. The Euclidean distance is a method of calculating the geometric distance between the coordinates of two points, and the cosine distance is defined as a kind of angular distance that determines the value by taking the cosine of the angle formed by two lines connecting the coordinates of the two points from the origin. Of course, the illustrated drawings are merely illustrated in three dimensions, but as in the present invention, if multiple dimensions are expressed as vector values, the same formula can be applied.

검색 결과는 쿼리 이미지의 특징 벡터와 미리 저장된 검색 대상 상표 이미지의 특징벡터(인덱스 파일) 사이의 유사도 연산 결과의 순위를 구하여, 유사도가 가까운 순서대로 검색 대상 상표 이미지를 표시하는 형식으로 이루어진다. The search result is in the form of displaying the search target trademark images in order of similarity by obtaining the rank of the similarity calculation result between the feature vector of the query image and the pre-stored feature vector (index file) of the search target trademark image.

이때, 쿼리 이미지의 특징 벡터와 검색 대상 상표 이미지의 특징 벡터와의 유사도 연산은 통상 CPU를 상정할 수 있으나, CPU에서의 연산을 위해서는 통상 100만 건 이상에 달하는 검색 대상 상표 이미지의 특징벡터를 하나씩 불려와 비교하고 그 결과를 순서대로 표시해야 하기 때문에 상당한 시간이 소요된다는 문제가 있다. 그래서, 이런 응답 속도 문제를 해결하기 위한 방안으로 검색 대상 상표 이미지의 특징벡터(7)를 Memory DB에 올리고, 메모리 DB로 쿼리 이미지의 특징벡터(6)를 보내 유사도를 연산하도록 하는 방법을 고려할 수도 있다. 그러나 이 경우도 검색 응답 속도가 그리 높지 못하고 무엇보다 메모리 가격이 고가이므로, 연산을 위한 비용이 너무 많다는 문제가 있다. In this case, the similarity calculation between the feature vector of the query image and the feature vector of the trademark image to be searched can usually be performed on a CPU. There is a problem in that a considerable amount of time is required because it is necessary to compare the calls and display the results in order. So, as a way to solve this response speed problem, it may be possible to consider a method of uploading the feature vector (7) of the search target trademark image to the Memory DB and sending the feature vector (6) of the query image to the memory DB to calculate the similarity. have. However, even in this case, the search response speed is not very high, and above all, the memory price is expensive, so there is a problem that the cost for the operation is too high.

본 발명에서는 이러한 문제를 해결하기 위해서, GPU(Graphics Processing Units)를 사용한다. CPU(Central Processing Unit)의 그래픽 처리 작업을 보조하기 위한 장치로서 고도 병렬 처리(massively parallel processing)에 적합하며, 단일 명령어의 다중의 데이터를 처리할 수 있는 구조(SIMD, Single Instruction Multiple Data)를 가지고 있어서 병렬 처리에 매우 유리한 구조로 되어 있는 하드웨어 플랫폼이다. 이러한 GPU의 뛰어난 병렬 처리 능력 및 빠른 데이터 전송 능력을 활용해서, 비트코인의 채굴 연산 등 소량의 반복된 병렬 연산이 필요한 경우에 응용되고 있다. In the present invention, in order to solve this problem, GPUs (Graphics Processing Units) are used. It is a device to assist the graphic processing of the CPU (Central Processing Unit). It is suitable for massively parallel processing and has a structure that can process multiple data of a single instruction (SIMD, Single Instruction Multiple Data). It is a hardware platform with a structure that is very advantageous for parallel processing. By utilizing the excellent parallel processing power and fast data transmission ability of these GPUs, it is applied when a small amount of repeated parallel operations such as mining operations of Bitcoin are required.

이러한 GPU를 활용하기 위해서, 본 발명의 바람직한 실시예에 따르면 검색 인덱스 데이터로서 검색 대상 상표 이미지(8)에 대한 특징 벡터(7)를 모두 적어도 하나 이상의 GPU에 나누어 올리고, 검색할 쿼리 이미지의 특징벡터(6)를 GPU로 보내 전체 검색 대상 상표 이미지 특징벡터(7)와의 유사도를 연산하도록 하였다. 그 결과 100만 건에 이상의 상표 이미지들과의 유사도 연산 결과를 최대 1초 이내에 얻을 수 있게 되었다. 특히, 복수의 GPU로 나누어 저장하고 연산 결과를 병렬로 얻을 수 있으므로, 검색 대상이 아무리 많아도 병렬 처리 연산을 할 수 있어 검색 속도는 지연되지 않는다는 효과를 얻을 수 있게 되었다.In order to utilize this GPU, according to a preferred embodiment of the present invention, all the feature vectors 7 for the trademark image 8 to be searched as search index data are divided and uploaded to at least one GPU, and the feature vector of the query image to be searched. (6) was sent to the GPU to calculate the degree of similarity with the entire search target trademark image feature vector (7). As a result, it was possible to obtain similarity calculation results with more than 1 million trademark images within 1 second. In particular, since it is possible to divide and store a plurality of GPUs and obtain the operation results in parallel, parallel processing operations can be performed no matter how many search objects are available, so that the search speed is not delayed.

도 9는 본 발명에 따른 이미지 검색 시스템의 구성을 도시한 시스템 구성도 있다. 도면에 도시한 바와 같이, 프로그램 처리를 위한 처리 시스템은 학습용 시스템(11)과 검색 서비스 시스템(12)으로 구성되며, 데이터는 학습용 데이터와 검색 대상 데이터로 구분된다. 9 is a system configuration diagram showing the configuration of an image search system according to the present invention. As shown in the figure, the processing system for program processing is composed of a learning system 11 and a search service system 12, and data is divided into learning data and search target data.

학습용 시스템(11)은 학습을 위한 도구(프로그램)와 학습 신경망 모델(112)을 설치하여, 학습용 데이터로 딥러닝 학습을 수행하고 그 결괏값인 가중치(Weight)를 기록해 둔다. 검색용 시스템(12)은 검색 서비스를 위한 웹 인터페이스(121)를 설치하여 사용자로부터의 검색 요청을 받아 결과를 돌려주며, 학습용 시스템으로부터 결과물인 학습 신경망 모델과 딥러닝 학습 결과를 가지고 있어, 이를 가지고, 검색 대상 상표 이미지(222) 전부에 대해서, 특징 벡터를 생성하여 인덱스 데이터(221)로서 기록하여 두며, 서비스 사용자(20)로부터 쿼리 이미지를 입력받은 경우 해당 쿼리 이미지에 대해서도 동일하게 특징 벡터를 생성한다. The learning system 11 installs a learning tool (program) and a learning neural network model 112, performs deep learning learning with learning data, and records the weight, which is the result. The search system 12 installs a web interface 121 for a search service, receives a search request from a user, returns a result, and has a learning neural network model and a deep learning learning result that are the result from the learning system, and has , for all of the trademark images 222 to be searched, a feature vector is generated and recorded as the index data 221, and when a query image is received from the service user 20, a feature vector is generated for the corresponding query image in the same way do.

학습용 시스템(11)과 검색 서비스 시스템(12) 모두 GPU(113, 123)를 포함하고 있으며, 학습용 시스템의 GPU(113)에는 신경망 모델을 올려놓고 대량의 학습을 위한 반복 연산을 수행하기 위해 필요한 연산을 수행하며, 검색용 시스템의 GPU(113)에는 대량의 검색 대상 상표 이미지의 특징벡터를 올려놓고 쿼리 이미지의 특징벡터 사이의 유사도 연산을 병렬 처리 한다. Both the learning system 11 and the search service system 12 include GPUs 113 and 123, and the neural network model is placed on the GPU 113 of the learning system and an operation required to perform repeated operations for mass learning. , and a large amount of feature vectors of the trademark image to be searched are loaded on the GPU 113 of the search system, and the similarity operation between the feature vectors of the query image is processed in parallel.

본 발명에 따른 멀티 레이블 분류 기반 상표 이미지 검색 방법의 또 다른 실시 예로서, 보통 객체 인식(Objective Recognition)이라는 기법을 적용하는 경우를 설명한다. As another embodiment of the multi-label classification-based trademark image search method according to the present invention, a case in which a technique called object recognition is usually applied will be described.

지금까지의 실시 예는 주로 멀티 레이블 분류의 기준으로 상표의 도형 분류 기준으로 널리 사용하는 비엔나 코드(Vienna Code)를 적용하는 경우를 주요 방법으로 설명하였다. 그러나 이러한 분류 기준은 반드시 비엔나 코드를 기준으로 할 필요는 없고, 이와 독립된 또는 이로부터 파생한 다른 분류 기준을 적용할 수도 있다. 기존의 비엔나 코드 분류에는 세분류가 부족한 경우가 많아 그에 맞게 분류기준을 세분화 또는 별도로 정하여 운영할 수 있다. 예를 들면, 비엔나 코드 03-01-08은 동물-네발짐승-(개, 늑대, 여우)를 지칭한다. 그러나 세 동물은 다른 동물들과 비교하면 유사한 면이 있지만, 사람들은 상표 이미지 속의 여우를 개나 늑대와 명백히 구분하는 경우가 많다. The embodiments so far have mainly described the case of applying the Vienna Code, which is widely used as a standard for classifying figures of trademarks, as a standard for multi-label classification as a main method. However, these classification criteria are not necessarily based on the Vienna Code, and other classification criteria independent of or derived therefrom may be applied. The existing Vienna code classification often lacks subdivision, so classification criteria can be subdivided or separately set and operated. For example, the Vienna Code 03-01-08 designates animals - quadrupeds - (dogs, wolves, foxes). However, although the three animals have similarities compared to the other animals, people often clearly distinguish the fox in the trademark image from a dog or a wolf.

또한, 객체인식 기법에 따르면, 이미지에 대한 레이블링(또는 어노테이션) 과정에서, 상표 내에 포함된 도형의 위치 및 영역에 대한 정보를 추가로 지정한다. 도 10은 상표 이미지 내에서 객체의 종류 지정하고, 위치 영역을 지정하여 레이블을 부여하는 방법을 예로서 보여주는 것이다. 하나의 이미지 안에 여러 객체가 있을 때는 다른 색상으로 객체의 종류와 영역을 지정할 수 있다. 이 영역 정보는 이미지 속의 객체가 어떤 것인지를 명확히 지정하므로, 어떤 것이 어떤 객체인지를 지도해서 학습하는 방법으로 널리 사용되고 있다. In addition, according to the object recognition technique, in the labeling (or annotation) process for the image, information on the position and area of the figure included in the trademark is additionally specified. 10 is a view showing, as an example, a method of assigning a label by designating a type of an object in a trademark image and designating a location area. When there are multiple objects in one image, the type and area of the object can be designated with different colors. Since this area information clearly specifies which object in the image is, it is widely used as a method of teaching and learning which object is which.

기존의 비엔나 코드를 이용한 레이블 지정이 상표 이미지가 포함하고 있는 객체가 무엇인지 만을 지정할 뿐, 객체가 어떤 것인지를 명확히 지정하지 못한다는 한계를 가지고 있어, 객체 인식 기법은 위와 같은 문제를 보완하는 좋은 대안이 될 수 있다. Labeling using the existing Vienna code only specifies what the object included in the trademark image is, but has a limitation that it cannot clearly specify what the object is. this can be

이미지 내의 객체의 종류 이외에 객체의 영역 정보를 추가로 부여하여 학습을 시행하는 경우, 신경망 모델도 단순한 CNN이 아니고, 객체 인식에 적합한 신경망으로 변경되어야 한다. Faster-R CNN, Yolo 등의 신경망 모델이 그러한 예이다.When learning is performed by providing additional information on the area of an object in addition to the type of object in the image, the neural network model must be changed to a neural network suitable for object recognition rather than a simple CNN. Neural network models such as Faster-R CNN and Yolo are examples.

도 11은 본 발명의 실시예에 따라 구성한 상표 이미지 검색 시스템에서 상표 이미지를 검색한 실제 결과를 도시한 도면이다. 좌측의 상표가 찾고자 하는 상표 이미지이며, 오른쪽의 이미지들이 검색 대상 이미지들 중에 유사한 이미지들이며, 유사도의 순서대로 위의 왼쪽부터 표시하였다. 11 is a diagram illustrating an actual result of searching for a trademark image in the trademark image search system constructed according to an embodiment of the present invention. The trademark on the left is the trademark image to be found, and the images on the right are similar images among the search target images, and are displayed from the top left in the order of the degree of similarity.

제시된 상표에 대해서는 기존에 분류된 비엔나 코드는 260304, 260307, 260703이며, 이에 대해 분석된 결과는 하단 왼쪽에 표시한 바와 같이, 260307, 260304, 260106, 260703, 261325 등으로 순위가 매겨져 있으며, 어떤 도형이 포함되어 있는지를 잘 분류한 것을 확인할 수 있다. 오른쪽의 유사도 순서대로 표시한 상표 이미지에 대해서는 이미 위와 같은 분석이 이루어져 저장된 상태이고, 검색 결과는 이미 만들어진 분석 결과로서 얻은 특징벡터가 즉시 비교되어 결과로서 유사도 순서대로 표시된다. 검색 결과의 정확도 여부는 사용자에 따라 다를 수 있으나, 전체적으로는 유사한 개념과 유사한 외형의 이미지들이 첫 번째 페이지인 상위에 표시된 것을 확인할 수 있다. For the presented trademark, the previously classified Vienna codes are 260304, 260307, and 260703, and the analysis results for this are ranked as 260307, 260304, 260106, 260703, 261325, etc. It can be seen that they are well classified. For the trademark images displayed in the order of the degree of similarity on the right, the above analysis has already been performed and stored, and the search result is immediately compared with the feature vectors obtained as the result of the analysis already made, and the results are displayed in the order of the degree of similarity. The accuracy of the search results may vary depending on the user, but it can be seen that images with a similar concept and similar appearance are displayed at the top of the first page.

1: 출원 상표 이미지, 2: 분류 코드 벡터, 4: 가중치(Weight), 5: 쿼리 이미지, 6: 쿼리 이미지 특징벡터, 7: 검색 대상 이미지 특징벡터, 8: 검색 대상 상표 이미지, 10: 검색 결과 이미지, 11: 학습용 시스템, 12: 검색용 시스템, 20: 서비스 사용자, 21: 학습용 데이터 및 학습 결과, 22: 검색용 데이터1: Application trademark image, 2: Classification code vector, 4: Weight, 5: Query image, 6: Query image feature vector, 7: Search target image feature vector, 8: Search target trademark image, 10: Search result Image, 11: system for learning, 12: system for search, 20: service user, 21: data for training and learning result, 22: data for search

Claims

It includes a step of creating a data set for artificial intelligence learning by labeling a plurality of figure trademark images, and a deep learning step of learning a multi-layered neural network algorithm with this data set for artificial intelligence learning. In the deep learning-based trademark image search method comprising the step of searching for a trademark image having an appearance similar to a query image input by a user from among trademark images to be searched by a neural network algorithm that has completed learning,
The step of creating the dataset for artificial intelligence learning is
Comprising the step of giving a plurality of multi-labels to each trademark image based on the type and type of several figures included in each trademark image,
The deep learning step of learning the neural network algorithm is
It includes the step of supervising learning using a Vienna Code classification standard that specifies the types of a plurality of figures included in the trademark image as a multi-label,
The step of retrieving the trademark image is
A step of generating and uploading a multi-labeled classification vector for the preceding trademark images to be searched for at least one GPU, and the multi-label classification vectors of the preceding trademark images loaded on the GPU and the user Multi-label classification-based trademark image search method using deep learning, characterized in that it includes a similarity calculation step of calculating the similarity between multi-label classification vectors for the query image input by

delete

The method of claim 1,
The step of creating the data set for artificial intelligence learning includes additional information on the area occupied by the individual figure in addition to specifying the type of the individual figure instead of the Vienna Code for the type of individual figure included in the trademark image. Multi-label classification-based trademark image search method characterized by creating a data set that

4. The method of claim 1 or 3,
The multi-label classification vector loaded on the GPU generated in the trademark image search step is an embedded vector extracted from the input to the FC stage (Fully Connected Layer), which is the final stage of the neural network. How to search for trademark images

A neural network including a trademark image feature classification neural network algorithm that optimizes weights by learning a data set for artificial intelligence learning created by labeling a plurality of figure trademark images, and the trademark that has completed deep learning learning A deep learning-based trademark image search system comprising a searcher that searches for trademark images having trademark image features similar to a query image, which is a query image input by a user, from among trademark images to be searched by an image feature classification algorithm,
The neural network algorithm included in the neural network constructs a training data set using a trademark image and a Vienna Code classification criterion that specifies the types of various figures included in each of the trademark images as a multi-label, and optimizes it through supervised learning. including a learning step to set the weights,
Further comprising the step of loading a multi-labeled classification vector (Multi Labeled Classification Vector) for the preceding trademark images to be searched generated by the neural network algorithm to at least one GPU,
The searcher calculates the similarity between the multi-label classification vectors of the preceding trademark image to be searched loaded in the GPU and the multi-label classification vector for the query image input by the user, and outputs the results in the order of similarity. Multi-label classification-based trademark image search system

6. The method of claim 5,
The artificial intelligence learning data set that the neural network including the trademark image feature classification neural network algorithm learns is instead of the Vienna Code for the types of individual figures included in the trademark image, in addition to specifying the types of individual figures. Multi-label classification-based trademark image search system, characterized in that it is configured to additionally include area information occupied by individual figures

7. The method according to claim 5 or 6,
The multi-label classification vector generated by the neural network algorithm for brand image feature classification of the neural network and loaded on the GPU is an embedded vector extracted from the input to the FC stage (Fully Connected Layer), which is the final stage of the neural network. Multi-label classification-based trademark image search system