KR102222564B1 - Artificial intelligence based similar design search apparatus - Google Patents

Artificial intelligence based similar design search apparatus Download PDF

Info

Publication number
KR102222564B1
KR102222564B1 KR1020190032860A KR20190032860A KR102222564B1 KR 102222564 B1 KR102222564 B1 KR 102222564B1 KR 1020190032860 A KR1020190032860 A KR 1020190032860A KR 20190032860 A KR20190032860 A KR 20190032860A KR 102222564 B1 KR102222564 B1 KR 102222564B1
Authority
KR
South Korea
Prior art keywords
image
similar
design
model
search
Prior art date
Application number
KR1020190032860A
Other languages
Korean (ko)
Other versions
KR20200119370A (en
Inventor
이득기
Original Assignee
이득기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이득기 filed Critical 이득기
Priority to KR1020190032860A priority Critical patent/KR102222564B1/en
Publication of KR20200119370A publication Critical patent/KR20200119370A/en
Application granted granted Critical
Publication of KR102222564B1 publication Critical patent/KR102222564B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 인공지능 기반의 유사 디자인 검색 장치에 관한 것으로, 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부, 상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부 및 상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함한다. 따라서, 본 발명은 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.The present invention relates to a similar design search apparatus based on artificial intelligence, by calling an image receiving unit that receives an image of a design to be searched and a deep learning model based on a convolutional neural network, and performing transfer learning based on the deep learning model. A transfer learning model generator that generates an image classification model, a shape classification code detector that determines an article for the image and detects a shape classification code through the generated image classification model, and the image classification model based on the shape classification code. And a similar design search unit that searches for a similar image similar to the design to be searched through. Accordingly, the present invention can search for a similar design based on an input of a design drawing image through machine learning.

Figure 112019029701520-pat00001
Figure 112019029701520-pat00001

Description

인공지능 기반의 유사 디자인 검색 장치 {ARTIFICIAL INTELLIGENCE BASED SIMILAR DESIGN SEARCH APPARATUS}Similar design search device based on artificial intelligence {ARTIFICIAL INTELLIGENCE BASED SIMILAR DESIGN SEARCH APPARATUS}

본 발명은 인공지능 기반의 유사 디자인 검색 기술에 관한 것으로, 보다 상세하게는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치에 관한 것이다.The present invention relates to an artificial intelligence-based similar design search technology, and more particularly, to an artificial intelligence-based similar design search apparatus that searches for similar designs based on an input of a design drawing image through machine learning.

인터넷을 통한 정보 제공자와 그 이용자의 폭발적인 증가에 따라 현재 수많은 정보들이 넘쳐나고 있다. 따라서 이들 정보들 중에서 사용자가 원하는 정보만을 골라 제공하는 검색엔진의 역할이 점점 중요해지고 있다. 종래의 검색 엔진은 원하는 정보를 보다 많이 찾는 것에 중점을 두고 검색을 수행하였으나, 현재는 원하는 정보만을 제대로 선별하여 보여주는 것에 중점을 두고 검색을 수행한다. 이렇게 원하는 정보를 찾고 이를 선별하여 제공하기 위해서는 검색된 정보의 중요도를 매겨 그 순서에 따라 사용자에게 보여주는 것이 필요하다. 이는 출원 디자인 또는 등록 디자인에 대한 검색엔진에 대해서도 동일하다. 최근에는 인공지능 기반의 이미지 분석 기술의 발달에 따라서 유사한 이미지의 검색 및 분류가 용이하다.With the explosive increase of information providers and users through the Internet, a lot of information is currently overflowing. Therefore, the role of a search engine that selects and provides only the information the user wants from among these information is becoming increasingly important. Conventional search engines have performed a search with an emphasis on finding more desired information, but currently, a search is performed with an emphasis on properly selecting and displaying only desired information. In order to find and select desired information in this way, it is necessary to rank the importance of the searched information and show it to the user in the order. The same is true for search engines for applied designs or registered designs. Recently, with the development of artificial intelligence-based image analysis technology, it is easy to search and classify similar images.

한국공개특허 제10-2017-0131924 (2017.12.01)호는 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리별로 분류하는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 개시한다.Korean Patent Laid-Open Publication No. 10-2017-0131924 (2017.12.01) relates to a method, apparatus, and computer program for searching an image, and more specifically, a method for a server to search for and provide an image for a given keyword. Deriving a plurality of categories used to classify the searched image according to the type of search word; Classifying the image searched for the search word according to the plurality of categories; And providing the images classified by the plurality of categories to a user terminal.

한국공개특허 제10-2016-0085004 (2016.07.15)호는 데이터베이스 내에 존재하는 각각의 이미지 파일에서 특징점들을 추출하고 동일한 이미지 파일에서 추출된 특징점들 간의 유클리드 거리(Euclidean Distance)를 산출하는 단계; 상기 특징점들의 개수와 상기 유클리드 거리를 이용하여 각각의 이미지 파일을 비교하여 중복되는 파일을 파악하는 단계; 및 상기 중복 파일로 파악된 이미지 파일에 대해서 추후 상기 이미지 파일 비교에서 제외하는 단계를 포함할 수 있다.Korean Patent Laid-Open Publication No. 10-2016-0085004 (2016.07.15) discloses the steps of extracting feature points from each image file existing in a database and calculating a Euclidean distance between feature points extracted from the same image file; Comparing each image file using the number of feature points and the Euclidean distance to identify overlapping files; And excluding the image file identified as the duplicate file from comparing the image file later.

한국공개특허 제10-2017-0131924 (2017.12.01)호Korean Patent Publication No. 10-2017-0131924 (2017.12.01) 한국공개특허 제10-2016-0085004 (2016.07.15)호Korean Patent Publication No. 10-2016-0085004 (2016.07.15)

본 발명의 일 실시예는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.An embodiment of the present invention is to provide an artificial intelligence-based similar design search apparatus that searches for similar designs based on an input of a design drawing image through machine learning.

본 발명의 일 실시예는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.An embodiment of the present invention is an artificial intelligence-based similar design search that detects a shape classification code of a design through a convolutional neural network (CNN) and searches for a similar design by filtering similar images searched based on the detected shape classification code. I want to provide a device.

본 발명의 일 실시예는 유사한 디자인을 검색하는 과정에서 전이학습을 사용하여 형태분류 코드의 클래스 별로 일정하지 않은 학습 데이터의 수로 인한 문제를 보완하고 딥러닝 모델의 분류 정확도를 높이는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.An embodiment of the present invention is an artificial intelligence-based similarity that improves the classification accuracy of deep learning models and compensates for the problem caused by the number of training data that is not constant for each class of shape classification code by using transfer learning in the process of searching for similar designs. We would like to provide a design search device.

실시예들 중에서, 인공지능 기반의 유사 디자인 검색 장치는 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부, 상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부 및 상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함할 수 있다.Among the embodiments, the artificial intelligence-based similar design search apparatus loads an image receiving unit that receives an image of a design to be searched and a deep learning model based on a convolutional neural network, and performs transfer learning based on the deep learning model to obtain an image. A transfer learning model generation unit that generates a classification model, a shape classification code detection unit that determines an article for the image and detects a shape classification code through the generated image classification model, and the image classification model based on the shape classification code. It may include a similar design search unit that searches for a similar image similar to the design to be searched.

상기 전이학습 모델 생성부는 상기 딥러닝 모델로 inception v3를 사용할 수 있다.The transfer learning model generator may use inception v3 as the deep learning model.

상기 전이학습 모델 생성부는 상기 딥러닝 모델의 가중치를 수신하고 상기 가중치를 기초로 미세조정(fine-tuning)을 통하여 상기 이미지 분류 모델을 재학습시킴으로써 상기 전이학습을 수행할 수 있다.The transfer learning model generator may perform the transfer learning by receiving the weight of the deep learning model and retraining the image classification model through fine-tuning based on the weight.

상기 전이학습 모델 생성부는 상기 딥러닝 모델에 상기 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결시켜 상기 검색 대상 디자인의 이미지 데이터로부터 상기 이미지 분류 모델을 생성할 수 있다.The transfer learning model generation unit additionally inserts a fully connected layer modified based on the shape classification code into the deep learning model and connects nodes to generate the image classification model from image data of the design to be searched. Can be generated.

상기 전이학습 모델 생성부는 복수의 딥러닝 모델들 중 상기 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신하는 딥러닝 모델 수신 모듈, 상기 딥러닝 모델을 기초로 전이학습을 수행하는 전이학습 모듈 및 상기 전이학습을 통해 상기 검색 대상 디자인에 대한 이미지 분류 모델을 생성하는 이미지 분류 모델 생성 모듈을 포함할 수 있다.The transfer learning model generator module receives a deep learning model based on the convolutional neural network from among a plurality of deep learning models as a pretrained learning model, and transfer learning to perform transfer learning based on the deep learning model. It may include a learning module and an image classification model generation module that generates an image classification model for the design to be searched through the transfer learning.

상기 형태분류 코드 검출부는 형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 상기 완전 연결층의 개수를 일치시킬 수 있다.The shape classification code detection unit may classify the shape classification code for each product, and match the number of the shape classification codes for each product and the number of the fully connected layers corresponding to the output.

상기 유사 디자인 검색부는 엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행할 수 있다.The similar design search unit may perform image indexing or search by applying an elasticsearch search engine.

상기 유사 디자인 검색부는 이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 검색하는 유사 이미지 검색 모듈 및 검색된 적어도 하나의 유사 이미지를 상기 검출된 형태분류 코드를 기초로 필터링하여 나열하는 이미지 필터링 모듈을 포함할 수 있다.The similar design search unit may include a similar image search module for searching for at least one similar image through image feature extraction, and an image filtering module for filtering and listing the searched at least one similar image based on the detected shape classification code. have.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology can have the following effects. However, since it does not mean that a specific embodiment should include all of the following effects or only the following effects, it should not be understood that the scope of the rights of the disclosed technology is limited thereby.

본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.The apparatus for searching for similar designs based on artificial intelligence according to an embodiment of the present invention may search for similar designs based on an input of a design drawing image through machine learning.

본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색할 수 있다.The similar design search apparatus based on artificial intelligence according to an embodiment of the present invention detects a shape classification code of a design through a convolutional neural network (CNN), filters the searched similar images based on the detected shape classification code, and performs a similar design. You can search.

본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 유사한 디자인을 검색하는 과정에서 전이학습을 사용하여 형태분류 코드의 클래스 별로 일정하지 않은 학습 데이터의 수로 인한 문제를 보완하고 딥러닝 모델의 분류 정확도를 높일 수 있다.The artificial intelligence-based similar design search apparatus according to an embodiment of the present invention uses transfer learning in the process of searching for a similar design to compensate for the problem caused by the number of training data that is not constant for each class of the shape classification code, and provides a deep learning model. The classification accuracy can be improved.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.1 is a diagram illustrating an artificial intelligence-based similar design search system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an artificial intelligence-based similar design search apparatus shown in FIG. 1.
3 is a block diagram showing components of a processor of an artificial intelligence-based similar design search apparatus.
4 is a flowchart illustrating a method of searching for similar designs based on artificial intelligence according to an embodiment of the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiments can be variously changed and have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all or only such effects, the scope of the present invention should not be understood as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from other components, and the scope of rights is not limited by these terms. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that although it may be directly connected to the other component, another component may exist in the middle. On the other hand, when it is mentioned that a component is "directly connected" to another component, it should be understood that there is no other component in the middle. On the other hand, other expressions describing the relationship between components, that is, "between" and "just between" or "neighboring to" and "directly neighboring to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions are to be understood as including plural expressions unless the context clearly indicates otherwise, and terms such as "comprises" or "have" refer to implemented features, numbers, steps, actions, components, parts, or It is to be understood that it is intended to designate that a combination exists and does not preclude the presence or addition of one or more other features, numbers, steps, actions, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step has a specific sequence clearly in the context. Unless otherwise stated, it may occur differently from the stated order. That is, each of the steps may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices. Further, the computer-readable recording medium is distributed over a computer system connected by a network, so that computer-readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the field to which the present invention belongs, unless otherwise defined. Terms defined in commonly used dictionaries should be construed as having meanings in the context of related technologies, and cannot be construed as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.1 is a diagram illustrating an artificial intelligence-based similar design search system according to an embodiment of the present invention.

도 1을 참조하면, 인공지능 기반의 유사 디자인 검색 시스템(100)은 인공지능 기반의 유사 디자인 검색 장치(110), 사용자 단말(120) 및 데이터베이스(130)를 포함한다.Referring to FIG. 1, an artificial intelligence-based similar design search system 100 includes an artificial intelligence-based similar design search device 110, a user terminal 120, and a database 130.

인공지능 기반의 유사 디자인 검색 장치(110)는 인공지능을 통해 검색 대상 디자인을 기초로 유사한 디자인을 검색하기 위한 알고리즘을 생성하고 적용할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 인공지능 기반의 유사 디자인 검색 장치(110)는 디자인의 이미지 파일을 수신하여 딥러닝 알고리즘을 통해 특징 및 형태분류 코드를 추출하고 이를 기초로 유사한 디자인을 검색할 수 있다. 일 실시예에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 전이학습에 사용되는 최적의 딥러닝 모델을 선택하여 검색 대상 디자인의 이미지에 관한 전이학습을 수행하여 형태분류 코드를 추출하고 유사한 이미지를 검색할 수 있다. 여기에서, 전이학습(transfer learning)은 특정 환경에서 만들어진 인공지능 알고리즘을 다른 비슷한 분야에 적용하는 것으로, 기준에 만들어진 딥러닝 모델과 모델이 학습한 가중치를 그대로 사용하여 원하는 새로운 모델을 학습하는 방법이다.The artificial intelligence-based similar design search apparatus 110 may be implemented as a computer or a server corresponding to a program that can generate and apply an algorithm for searching for a similar design based on a design to be searched through artificial intelligence. The artificial intelligence-based similar design search apparatus 110 may receive an image file of a design, extract a feature and shape classification code through a deep learning algorithm, and search for a similar design based on this. In one embodiment, the artificial intelligence-based similar design search device 110 selects an optimal deep learning model used for transfer learning, performs transfer learning on the image of the design to be searched, extracts a shape classification code, and extracts a similar image. You can search. Here, transfer learning is a method of applying an artificial intelligence algorithm created in a specific environment to other similar fields, and learning a new model desired by using the deep learning model created in the standard and the weights learned by the model as it is. .

인공지능 기반의 유사 디자인 검색 장치(110)는 사용자 단말(120)과 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 연결되어 사용자에게 웹 또는 어플리케이션을 통해 사용자 인터페이스를 제공할 수 있는 컴퓨팅 장치에 해당한다. 사용자 단말(120)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 네트워크를 통해 연결될 수 있고, 적어도 하나의 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 동시에 연결될 수 있다.The artificial intelligence-based similar design search device 110 may correspond to a computing device that can be connected to the user terminal 120 through a network. The user terminal 120 corresponds to a computing device that is connected to the artificial intelligence-based similar design search device 110 to provide a user interface to a user through a web or an application. The user terminal 120 may be implemented as a smartphone, a laptop computer, or a computer, but is not limited thereto, and may be implemented as various devices such as a tablet PC. The user terminal 120 may be connected to the artificial intelligence-based similar design search device 110 through a network, and at least one user terminal 120 may be connected to the artificial intelligence-based similar design search device 110 at the same time. .

인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)를 포함하여 구현될 수 있고, 데이터베이스(130)와 독립적으로 구현될 수 있다. 데이터베이스(130)와 독립적으로 구현된 경우 인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)와 유선 또는 무선으로 연결되어 파일을 주고받을 수 있다. 데이터베이스(130)는 인공지능 기반의 유사 디자인의 검색에 필요한 정보들을 저장할 수 있는 저장장치이다. 일 실시예에서, 데이터베이스(130)는 디자인 공보의 디자인 데이터, 디자인 공보의 데이터를 파싱(parsing)하여 생성한 검색 인덱스, 형태분류 코드 데이터 및 검색 대상 이미지 데이터 등의 정보들을 저장할 수 있고, 반드시 이에 한정되지 않으며, 인공지능 기반의 유사 디자인의 검색을 처리하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The artificial intelligence-based similar design search apparatus 110 may be implemented including the database 130 and may be implemented independently of the database 130. When implemented independently of the database 130, the artificial intelligence-based similar design search device 110 may be connected to the database 130 by wire or wirelessly to exchange files. The database 130 is a storage device capable of storing information necessary for searching for similar designs based on artificial intelligence. In one embodiment, the database 130 may store information such as design data of a design publication, a search index generated by parsing data of the design publication, type classification code data, and image data to be searched. It is not limited, and information collected or processed in various forms may be stored in the process of processing a search for similar designs based on artificial intelligence.

도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.FIG. 2 is a block diagram illustrating an artificial intelligence-based similar design search apparatus shown in FIG. 1.

도 2를 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 프로세서(210), 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)를 포함할 수 있다.Referring to FIG. 2, the artificial intelligence-based similar design search apparatus 110 may include a processor 210, a memory 220, a user input/output unit 230, and a network input/output unit 240.

프로세서(210)는 인공지능 기반의 유사 디자인의 검색을 처리할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(220)를 관리할 수 있으며, 메모리(220)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 동작 전반을 제어할 수 있고, 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 can process a search for a similar design based on artificial intelligence, can manage the memory 220 that is read or written in this process, and synchronizes the volatile memory in the memory 220 and the nonvolatile memory. You can schedule the time. The processor 210 can control the overall operation of the artificial intelligence-based similar design search device 110, and is electrically connected to the memory 220, the user input/output unit 230, and the network input/output unit 240 to You can control the data flow. The processor 210 may be implemented as a CPU (Central Processing Unit) of the similar design search apparatus 110 based on artificial intelligence.

메모리(220)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 인공지능 기반의 유사 디자인 검색 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 220 is implemented as a nonvolatile memory such as a solid state disk (SSD) or a hard disk drive (HDD), and is used to store all data required for the similar design search device 110 based on artificial intelligence. It may include, and may include a main memory device implemented as a volatile memory such as random access memory (RAM).

사용자 입출력부(230)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 마우스, 트랙볼, 터치 패드, 그래픽 태블릿, 스캐너, 터치 스크린, 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터와 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(230)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 인공지능 기반의 유사 디자인 검색 장치(110)는 서버로서 수행될 수 있다.The user input/output unit 230 includes an environment for receiving a user input and an environment for outputting specific information to a user, for example, a mouse, a trackball, a touch pad, a graphic tablet, a scanner, a touch screen, a keyboard or a pointing device. It may include an input device including an adapter such as a device and an output device including an adapter such as a monitor. In one embodiment, the user input/output unit 230 may correspond to a computing device connected through a remote connection, and in such a case, the artificial intelligence-based similar design search device 110 may be performed as a server.

네트워크 입출력부(240)은 적어도 인공지능 기반의 유사 디자인 검색 장치(110)와 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다. 일 실시예에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 네트워크 입출력부(240)를 통해 사용자 단말(120) 또는 데이터베이스(130)로 연결될 수 있다.The network input/output unit 240 includes at least an environment for connecting with the similar design search device 110 based on artificial intelligence, and may include, for example, an adapter for LAN (Local Area Network) communication. In one embodiment, the artificial intelligence-based similar design search apparatus 110 may be connected to the user terminal 120 or the database 130 through the network input/output unit 240.

도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.3 is a block diagram showing components of a processor of an artificial intelligence-based similar design search apparatus.

도 3을 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310), 전이학습 모델 생성부(320), 형태분류 코드 검출부(330), 유사 디자인 검색부(340) 및 제어부(350)를 포함할 수 있다.3, the artificial intelligence-based similar design search device 110 includes an image receiving unit 310, a transfer learning model generation unit 320, a shape classification code detection unit 330, a similar design search unit 340, and a control unit. 350 may be included.

인공지능 기반의 유사 디자인 검색 장치(110)는 검색 대상 디자인의 이미지를 수신하여 인공지능을 통해 유사한 디자인을 검색하는 이미지 기반의 검색 장치에 해당할 수 있다. 여기에서, 인공지능(AI)은 특별히 한정되지 않고, 머신러닝, 딥러닝을 포함하는 포괄적인 개념으로 해석될 수 있다. 머신러닝(machine learning)은 지도학습, 비지도학습, 전이학습 및 강화학습을 모두 포함하는 개념으로 해석될 수 있다. 예를 들어, 머신러닝은 합성곱 신경망(CNN)을 기반으로 하는 딥러닝 모델을 통한 전이학습에 해당할 수 있다.The artificial intelligence-based similar design search device 110 may correspond to an image-based search device that receives an image of a design to be searched and searches for a similar design through artificial intelligence. Here, artificial intelligence (AI) is not particularly limited, and can be interpreted as a comprehensive concept including machine learning and deep learning. Machine learning can be interpreted as a concept that includes supervised learning, unsupervised learning, transfer learning and reinforcement learning. For example, machine learning may correspond to transfer learning through a deep learning model based on a convolutional neural network (CNN).

이미지 수신부(310)는 검색 대상 디자인의 이미지를 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 출원 또는 등록 디자인의 도면 이미지를 입력받을 수 있다. 예를 들어, 이미지 수신부(310)는 사용자 단말(120)에 저장된 디자인 출원 또는 등록을 위한 도면 이미지 파일을 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 검색 대상 디자인의 이미지 파일과 함께 검색 대상 디자인의 키워드를 수신할 수 있다. 보다 구체적으로, 이미지 수신부(310)는 사용자에게 디자인의 도면 이미지 기반의 유사 디자인의 검색을 제공함과 함께 기존의 키워드 기반의 유사 디자인 검색을 제공할 수 있다. 예를 들어, 이미지 수신부(310)는 자동차에 관한 디자인의 도면 이미지 파일을 수신하면서 동시에 사용자에 의해 자동차에 대한 키워드를 입력받을 수 있다.The image receiving unit 310 may receive an image of a design to be searched. In one embodiment, the image receiving unit 310 may receive a drawing image of an applied or registered design. For example, the image receiving unit 310 may receive a drawing image file for design application or registration stored in the user terminal 120. In an embodiment, the image receiving unit 310 may receive a keyword of a design to be searched together with an image file of the design to be searched. More specifically, the image receiving unit 310 may provide a user with a similar design search based on a drawing image of the design and may provide a similar design search based on an existing keyword. For example, the image receiving unit 310 may receive a drawing image file of a design relating to a vehicle while simultaneously receiving a keyword for a vehicle by a user.

전이학습 모델 생성부(320)는 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성할 수 있다. 여기에서, 합성곱 신경망(CNN)은 시각적 이미지를 분석하는데 사용되는 깊고 피드포워드적인 인공신경망의 한종류에 해당할 수 있다. 인공신경망은 주로 딥러닝에서 사용되어지고, 기계학습과 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘에 해당할 수 있다. 합성곱 신경망(CNN)은 이미지의 특징을 추출하고 클래스를 분류하는 과정으로 나누어질 수 있다. 합성곱 신경망은 특정 이미지의 특징을 추출하고 추출된 특징을 기반으로 이미지를 인식할 수 있다. 예를 들어, 합성곱 신경망은 고양이 이미지에서 특징을 추출하여 해당 이미지를 고양이 이미지로 분류할 수 있다. 일 실시예에서, 전이학습 모델 생성부(320)는 기존에 존재하는 합성곱 신경망 기반의 딥러닝 모델을 사용하여 검색 대상 디자인의 물품과 형태분류 코드를 결정하는 이미지 분류 모델을 생성할 수 있다. 보다 구체적으로, 전이학습 모델 생성부(320)는 미리 훈련된 모델을 기초로 전이학습을 통해 이미지 분류 모델을 생성할 수 있다. 일 실시예에서, 미리 훈련된 모델(pre-trained model)은 이미지 분류에 최적화된 가중치를 포함하는 모델을 사용할 수 있다. 예를 들어, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델로 inception v3를 사용할 수 있다. 여기에서, Inception v3는 이미지넷 데이터로 미리 학습된 구글의 딥러닝 모델에 해당하고 이미지 관련된 전이학습의 적용에 있어서 최적의 모델에 해당할 수 있다. 이미지넷은 다양한 이미지를 포함하는 이미지 데이터베이스에 해당할 수 있다. 이미지 분류 모델은 검색 대상 디자인의 이미지로부터 물품을 결정하고 형태분류 코드를 검출하기 위해서 합성곱 신경망 기반의 딥러닝 모델로부터 전이학습을 통해 생성된 기계학습 모델에 해당할 수 있다.The transfer learning model generator 320 may generate an image classification model by loading a deep learning model based on a convolutional neural network and performing transfer learning based on the deep learning model. Here, the convolutional neural network (CNN) may correspond to a kind of deep and feed-forward artificial neural network used to analyze visual images. Artificial neural networks are mainly used in deep learning and may correspond to statistical learning algorithms inspired by machine learning and biological neural networks. The convolutional neural network (CNN) can be divided into a process of extracting features of an image and classifying a class. The convolutional neural network can extract features of a specific image and recognize images based on the extracted features. For example, the convolutional neural network can classify the image as a cat image by extracting features from the cat image. In an embodiment, the transfer learning model generation unit 320 may generate an image classification model that determines an article and a shape classification code of a design to be searched using an existing deep learning model based on a convolutional neural network. More specifically, the transfer learning model generator 320 may generate an image classification model through transfer learning based on a pretrained model. In an embodiment, a pre-trained model may use a model including weights optimized for image classification. For example, the transfer learning model generator 320 may use inception v3 as a pretrained deep learning model. Here, Inception v3 may correspond to Google's deep learning model that has been pre-trained with ImageNet data, and may correspond to an optimal model for the application of image-related transfer learning. ImageNet may correspond to an image database including various images. The image classification model may correspond to a machine learning model generated through transfer learning from a deep learning model based on a convolutional neural network in order to determine an article from an image of a design to be searched and detect a shape classification code.

일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델의 가중치를 수신하고 가중치를 기초로 미세조정(fine-tuning)을 통해 이미지 분류 모델을 재학습시킬 수 있다. 여기에서, 미세조정은 사전에 이미지넷처럼 규모가 큰 데이터셋으로 학습된 모델로 가중치를 초기화하여, 규모의 작은 데이터셋으로 해당 가중치를 조금 조정하는 기법으로 전이학습의 대표적인 기법에 해당할 수 있다. 보다 구체적으로, 전이학습 모델 생성부(320)는 미리학습된 딥러닝 모델과 모델의 가중치를 전송(transfer)하여 검색 대상 디자인의 이미지의 형태분류 코드를 추출하는 새로운 모델에 해당하는 이미지 분류 모델을 학습시키는 전이학습을 수행할 수 있다. 일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델에 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결하여 검색 대상 디자인의 이미지 데이터로부터 이미지 분류 모델을 생성할 수 있다. 합성곱 신경망(CNN, Convolutional Neural Network) 기반의 딥러닝 모델은 콘볼루션층(convolutional layer)과 통합층(pooling layer), 완전 연결층(fully connected layer)으로 구성될 수 있다. 콘볼루션층과 통합층은 이미지의 특징을 추출하고, 완전 연결층은 이미지를 클래스로 분류할 수 있다. 전이학습 모델 생성부(320)는 형태분류 코드의 데이터셋을 기초로 이미지를 분류하도록 수정한 완전 연결층을 추가로 삽입하여 검색 대상 디자인의 이미지를 해당 형태분류 코드로 분류할 수 있다.In an embodiment, the transfer learning model generator 320 may receive a weight of a pretrained deep learning model and retrain the image classification model through fine-tuning based on the weight. Here, fine-tuning is a technique of initializing weights with a model that has been trained with a large dataset like ImageNet in advance, and slightly adjusting the weights with a small dataset, which can be a representative technique of transfer learning. . More specifically, the transfer learning model generation unit 320 transfers the pre-trained deep learning model and the weight of the model to generate an image classification model corresponding to a new model that extracts the shape classification code of the image of the design to be searched. Transfer learning to learn can be performed. In one embodiment, the transfer learning model generation unit 320 additionally inserts a fully connected layer modified based on the shape classification code to the pretrained deep learning model and connects the nodes to create a search target design. An image classification model can be created from image data. A deep learning model based on a convolutional neural network (CNN) can be composed of a convolutional layer, a pooling layer, and a fully connected layer. The convolutional layer and the integration layer can extract features of the image, and the fully connected layer can classify the image into classes. The transfer learning model generator 320 may classify an image of a design to be searched into a corresponding shape classification code by additionally inserting a fully connected layer modified to classify images based on the data set of the shape classification code.

일 실시예에서, 전이학습 모델 생성부(320)는 기 훈련 모델 수신 모듈, 전이학습 모듈 및 이미지 분류 모델 생성 모듈을 포함할 수 있다. 기 훈련 모델 수신 모듈은 복수의 딥러닝 모델들 중 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신할 수 있다. 전이학습 모듈은 미리 훈련된 학습 모델에 해당하는 딥러닝 모델을 기초로 전이학습을 수행할 수 있다. 보다 구체적으로, 전이학습 모듈은 미리 훈련된 딥러닝 모델에 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결하는 전이학습을 수행할 수 있다. 이미지 분류 모델 생성 모듈은 전이학습을 통해 검색 대상 디자인에 대해 물품 및 형태분류 코드를 결정하는 이미지 분류 모델을 생성할 수 있다.In an embodiment, the transfer learning model generation unit 320 may include a training model receiving module, a transfer learning module, and an image classification model generation module. The training model receiving module may receive a deep learning model based on a convolutional neural network among a plurality of deep learning models as a pretrained training model. The transfer learning module may perform transfer learning based on a deep learning model corresponding to a pretrained learning model. More specifically, the transfer learning module may perform transfer learning in which a fully connected layer modified based on a shape classification code is additionally inserted into a pretrained deep learning model and nodes are connected. The image classification model generation module may generate an image classification model that determines an article and a shape classification code for a design to be searched through transfer learning.

일 실시예에서, 형태분류 코드 검출부(330)는 이미지 분류 모델을 통해 검색 대상 디자인의 이미지에 대한 물품을 결정하고 형태분류 코드를 검출할 수 있다. 형태분류 코드 검출부(330)는 입력된 검색 대상 디자인의 이미지를 이미지 분류 모델을 통해 분석하여 데이터셋에서 해당하는 물품을 결정하고 물품에 대한 형태분류 코드를 검출할 수 있다. 보다 구체적으로, 형태분류 코드 검출부는 전이학습을 통해 생성된 이미지 분류 모델을 사용하여 형태분류 코드의 물품 별로 일정하지 않은 적은 학습 데이터로도 검색 대상 디자인을 정확하게 물품별로 분류할 수 있고, 형태분류 코드를 검출할 수 있다. 일 실시예에서, 형태분류 코드 검출부(330)는 형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 완전 연결층의 개수를 일치시킬 수 있다. 보다 구체적으로, 형태분류 코드 검출부(330)는 이미지를 해당 형태분류 코드로 정확하게 분류하기 위해서 형태분류 코드의 데이터셋을 물품 별로 분류하고 물품별로 해당하는 형태분류 코드의 총 개수를 완전 연결층의 출력 노드 개수와 일치시킬 수 있다. 예를 들어, 10개의 물품에 대한 형태분류 코드가 3개로 분류되는 경우, 완전 연결층의 출력 노드의 개수는 3개로 결정될 수 있다. 형태분류 코드 검출부(330)는 이미지 분류 모델을 통해 입력된 이미지의 결정된 물품에 대해서 3개의 출력 노드 중 해당하는 형태분류 코드의 노드를 검출할 수 있다.In an embodiment, the shape classification code detection unit 330 may determine an article for an image of a design to be searched through the image classification model and detect the shape classification code. The shape classification code detection unit 330 may analyze the input image of the design to be searched through the image classification model to determine a corresponding product from the data set and detect a shape classification code for the product. More specifically, the shape classification code detection unit can accurately classify the design to be searched for each item using the image classification model generated through transfer learning, even with a small amount of learning data that is not constant for each item of the shape classification code. Can be detected. In an embodiment, the type classification code detection unit 330 may classify the type classification code for each product, and match the number of type classification codes for each product and the number of fully connected layers corresponding to the output. More specifically, the shape classification code detection unit 330 classifies the data set of the shape classification code by item in order to accurately classify the image into the corresponding shape classification code, and outputs the total number of shape classification codes corresponding to each product on the fully connected layer. It can match the number of nodes. For example, if the shape classification code for 10 items is classified into three, the number of output nodes of the fully connected layer may be determined as three. The shape classification code detection unit 330 may detect a node of a corresponding shape classification code among three output nodes for the determined product of the image input through the image classification model.

일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드를 기초로 이미지 분류 모델을 통해 검색 대상 디자인과 유사한 유사 이미지를 검색할 수 있다. 보다 구체적으로, 유사 디자인 검색부(340)는 유사 이미지를 검색하는 과정에서 이미지 분류 모델을 통해 입력 이미지에 대한 형태분류 코드를 검출하고 검출된 형태분류 코드를 활용하여 유사 이미지(또는, 유사 디자인)를 검색할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 유사도 형태분류 코드를 기초로 검색된 유사 디자인을 유사 순으로 랭크하여 표시할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드가 완전히 동일한 유사 디자인에 대해서 높은 랭크를 부여할 수 있고, 형태분류 코드가 유사한 경우에는 낮은 랭크를 부여하는 방식으로 유사 디자인에 대한 랭크를 표시할 수 있다. In an embodiment, the similarity design search unit 340 may search for a similar image similar to a design to be searched through an image classification model based on the shape classification code. More specifically, the similar design search unit 340 detects a shape classification code for an input image through an image classification model in the process of searching for a similar image, and uses the detected shape classification code to create a similar image (or similar design). You can search. In an embodiment, the similar design search unit 340 may rank and display similar designs searched based on the similarity type classification code in the order of similarity. In one embodiment, the similar design search unit 340 may assign a high rank to a similar design having exactly the same shape classification code, and if the shape classification code is similar, a lower rank is assigned to the similar design. Can be displayed.

일 실시예에서, 유사 디자인 검색부(340)는 검색된 유사 디자인을 유사 순으로 랭크하는 과정에서, 검색 대상 디자인과 유사 디자인간 유사한 정도를 나타내는 유사도 퍼센트를 산출하여 제공할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드를 기초로 검색 대상 디자인과 형태분류 코드가 상이한 유사 디자인에 대하여 유사하지 않은 것으로 결정할 수 있다. 보다 구체적으로, 유사 디자인 검색부(340)는 검색 대상 디자인의 이미지와 유사한 이미지가 검색되어 유사 디자인으로 결정되면, 결정된 유사 디자인을 유사순으로 랭크하는 과정에서, 형태분류 코드가 검색 대상 디자인과 상이한 이미지에 대하여 비유사한 것으로 보고 유사 디자인으로 결정하지 않을 수 있다.In an embodiment, the similarity design search unit 340 may calculate and provide a similarity percentage indicating a degree of similarity between the search target design and the similar design in the process of ranking the searched similar designs in the order of similarity. In an embodiment, the similar design search unit 340 may determine that the design to be searched and the shape classification code are not similar for different similar designs based on the shape classification code. More specifically, when an image similar to the image of the design to be searched is searched and determined as a similar design, the similar design search unit 340 ranks the determined similar design in order of similarity, and the shape classification code is different from the design to be searched. The image may be viewed as dissimilar and may not be decided as a similar design.

일 실시예에서, 유사 디자인 검색부(340)는 엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행할 수 있다. 여기에서, 엘라스틱서치 검색엔진은 오픈소스 기술로 아파치(apache)의 루씬(lucene) 라이브러리를 기반으로 만들어진 검색 어플리케이션에 해당할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 엘라스틱서치를 적용하여 검출된 형태분류 코드를 기초로 유사 이미지를 인덱싱(indexing)하고 검색을 수행할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 유사 이미지 검색 모듈 및 이미지 필터링 모듈을 포함할 수 있다. 유사 이미지 검색 모듈은 이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 유사 디자인으로 검색할 수 있다. 일 실시예에서, 유사 이미지 검색 모듈은 합성곱 신경망의 특징 추출과정을 통해 유사 이미지를 유사 디자인으로 검색할 수 있다. 이미지 필터링 모듈은 검색된 적어도 하나의 유사 이미지를 검출된 형태분류 코드를 기초로 필터링하여 나열할 수 있다. 일 실시예에서, 이미지 필터링 모듈은 검색된 유사 디자인을 형태분류 코드를 기초로 분류할 수 있다. 이미지 필터링 모듈은 형태분류 코드가 같거나 유사한 유사 이미지에 대하여 형태분류 코드가 다른 유사 이미지보다 검색 대상 디자인과 더 유사한 것으로 결정하고, 높은 랭크를 부여하며, 우선적으로 나열할 수 있다.In an embodiment, the similar design search unit 340 may perform image indexing or search by applying an elasticsearch search engine. Here, the ElasticSearch search engine may correspond to a search application created based on Apache's lucene library as an open source technology. In an embodiment, the similarity design search unit 340 may index and search a similar image based on a shape classification code detected by applying an elastic search. In an embodiment, the similar design search unit 340 may include a similar image search module and an image filtering module. The similarity image search module may search for at least one similarity image with a similar design through image feature extraction. In an embodiment, the similarity image search module may search for a similar design through a feature extraction process of the convolutional neural network. The image filtering module may filter and list the searched at least one similar image based on the detected shape classification code. In an embodiment, the image filtering module may classify the retrieved similar design based on a shape classification code. The image filtering module may determine that similar images having the same or similar shape classification codes to be more similar to the design to be searched than other similar images, assign a higher rank, and prioritize them.

제어부(350)는 인공지능 기반의 유사 디자인 검색 장치(110)의 동작 전반을 제어하고, 이미지 수신부(310), 전이학습 모델 생성부(320), 형태분류 코드 검출부(330) 및 유사 디자인 검색부(340) 간의 제어 및 데이터 흐름을 관리할 수 있다.The control unit 350 controls the overall operation of the artificial intelligence-based similar design search device 110, and an image receiving unit 310, a transfer learning model generation unit 320, a shape classification code detection unit 330, and a similar design search unit It is possible to manage the control and data flow between 340.

도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.4 is a flowchart illustrating a method of searching for similar designs based on artificial intelligence according to an embodiment of the present invention.

도 4에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310)를 통해 검색 대상 디자인의 이미지를 수신할 수 있다(단계 S410).In FIG. 4, the artificial intelligence-based similar design search apparatus 110 may receive an image of a design to be searched through the image receiving unit 310 (step S410).

인공지능 기반의 유사 디자인 검색 장치(110)는 전이학습 모델 생성부(320)를 통해 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성할 수 있다(단계 S420). 일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 합성곱 신경망 기반의 딥러닝 모델로 inception v3를 사용하고, 미세조정을 통해 이미지 분류 모델을 재학습시킬 수 있다.The artificial intelligence-based similar design search device 110 loads a convolutional neural network-based deep learning model through the transfer learning model generator 320 and performs transfer learning based on the deep learning model to generate an image classification model. It can be done (step S420). In an embodiment, the transfer learning model generator 320 may use inception v3 as a deep learning model based on a convolutional neural network that has been trained in advance, and retrain the image classification model through fine adjustment.

인공지능 기반의 유사 디자인 검색 장치(110)는 형태분류 코드 검출부(330)를 통해 이미지 분류 모델을 통해 이미지에 대한 물품을 결정하고, 결정된 물품에 대한 형태분류 코드를 검출할 수 있다(단계 S430).The artificial intelligence-based similar design search apparatus 110 may determine an article for an image through an image classification model through the shape classification code detection unit 330 and detect a shape classification code for the determined article (step S430). .

인공지능 기반의 유사 디자인 검색 장치(110)는 유사 디자인 검색부(340)를 통해 형태분류 코드를 기초로 이미지 분류 모델을 통해 유사 이미지를 검색할 수 있다(단계 S440).The artificial intelligence-based similar design search apparatus 110 may search for a similar image through the image classification model based on the shape classification code through the similar design search unit 340 (step S440).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it

100: 인공지능 기반의 유사 디자인 검색 시스템
110: 인공지능 기반의 유사 디자인 검색 장치
120: 사용자 단말
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
310: 이미지 수신부 320: 전이학습 모델 생성부
330: 형태분류 코드 검출부 340: 유사 디자인 검색부
350: 제어부 100: artificial intelligence-based similar design search system
110: artificial intelligence-based similar design search device
120: user terminal
130: database
210: processor 220: memory
230: user input/output unit 240: network input/output unit
310: image receiving unit 320: transfer learning model generation unit
330: type classification code detection unit 340: similar design search unit
350: control unit

Claims (8)

검색 대상 디자인의 이미지를 수신하는 이미지 수신부;
합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부;
상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부; 및
상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함하고,
상기 전이학습 모델 생성부는 상기 딥러닝 모델의 가중치를 수신하고 상기 가중치를 기초로 미세조정(fine-tuning)을 통하여 상기 이미지 분류 모델을 재학습시킴으로써 상기 전이학습을 수행하며, 상기 딥러닝 모델에 상기 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결시켜 상기 검색 대상 디자인의 이미지 데이터로부터 상기 이미지 분류 모델을 생성하고,
상기 형태분류 코드 검출부는 형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 상기 완전 연결층의 개수를 일치시키는 인공지능 기반의 유사 디자인 검색 장치.
An image receiving unit for receiving an image of a design to be searched;
A transfer learning model generator that loads a convolutional neural network-based deep learning model and generates an image classification model by performing transfer learning based on the deep learning model;
A shape classification code detection unit that determines an article for the image and detects a shape classification code through the generated image classification model; And
A similar design search unit for searching for a similar image similar to the design to be searched through the image classification model based on the shape classification code,
The transfer learning model generator receives the weight of the deep learning model and performs the transfer learning by retraining the image classification model through fine-tuning based on the weight, and the deep learning model A fully connected layer modified based on the shape classification code is additionally inserted and nodes are connected to generate the image classification model from image data of the design to be searched,
The shape classification code detection unit classifies the shape classification code for each product, and matches the number of the shape classification codes for each product and the number of the fully connected layers corresponding to the output.
 제1항에 있어서, 상기 전이학습 모델 생성부는
상기 딥러닝 모델로 inception v3를 사용하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
The method of claim 1, wherein the transfer learning model generation unit
Artificial intelligence-based similar design search device, characterized in that using inception v3 as the deep learning model.
 삭제delete 삭제delete 제1항에 있어서, 상기 전이학습 모델 생성부는
복수의 딥러닝 모델들 중 상기 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신하는 기 훈련 모델 수신 모듈;
상기 딥러닝 모델을 기초로 전이학습을 수행하는 전이학습 모듈; 및
상기 전이학습을 통해 상기 검색 대상 디자인에 대한 이미지 분류 모델을 생성하는 이미지 분류 모델 생성 모듈을 포함하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
The method of claim 1, wherein the transfer learning model generation unit
A pre-training model receiving module for receiving the deep learning model based on the convolutional neural network among a plurality of deep learning models as a pretrained learning model;
A transfer learning module that performs transfer learning based on the deep learning model; And
And an image classification model generation module that generates an image classification model for the design to be searched through the transfer learning.
 삭제delete 제1항에 있어서, 상기 유사 디자인 검색부는
엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
The method of claim 1, wherein the similar design search unit
An artificial intelligence-based similar design search device, characterized in that an image indexing or search is performed by applying an elasticsearch search engine.
 제1항에 있어서, 상기 유사 디자인 검색부는
이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 검색하는 유사 이미지 검색 모듈; 및
검색된 적어도 하나의 유사 이미지를 상기 검출된 형태분류 코드를 기초로 필터링하여 나열하는 이미지 필터링 모듈을 포함하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
The method of claim 1, wherein the similar design search unit
A similar image search module for searching at least one similar image through image feature extraction; And
And an image filtering module for filtering and listing at least one searched similarity image based on the detected shape classification code.
KR1020190032860A 2019-03-22 2019-03-22 Artificial intelligence based similar design search apparatus KR102222564B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190032860A KR102222564B1 (en) 2019-03-22 2019-03-22 Artificial intelligence based similar design search apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190032860A KR102222564B1 (en) 2019-03-22 2019-03-22 Artificial intelligence based similar design search apparatus

Publications (2)

Publication Number Publication Date
KR20200119370A KR20200119370A (en) 2020-10-20
KR102222564B1 true KR102222564B1 (en) 2021-03-05

Family

ID=73025331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032860A KR102222564B1 (en) 2019-03-22 2019-03-22 Artificial intelligence based similar design search apparatus

Country Status (1)

Country Link
KR (1) KR102222564B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114716A (en) 2021-02-09 2022-08-17 삼성에스디에스 주식회사 Method and apparatus for clustering images
KR102483293B1 (en) * 2021-03-18 2022-12-29 한양대학교 산학협력단 Method and system for providing design feedback
KR20230079808A (en) * 2021-11-29 2023-06-07 라온피플 주식회사 Apparatus and method for judging infringement
KR20230079806A (en) * 2021-11-29 2023-06-07 라온피플 주식회사 Apparatus and method for judging infringement
KR102585925B1 (en) 2022-12-14 2023-10-06 주식회사 딥노이드 Apparatus for automatically collecting learning data and method therefor
KR102585912B1 (en) 2022-12-14 2023-10-06 주식회사 딥노이드 Apparatus for automatically searching for products groups to which design rights are applied and method therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043244A1 (en) * 2015-09-07 2017-03-16 富士フイルム株式会社 Search device, search system, and search method
JP2019016292A (en) * 2017-07-10 2019-01-31 凸版印刷株式会社 Content generation device, content generation method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260631B1 (en) 2015-01-07 2021-06-07 한화테크윈 주식회사 Duplication Image File Searching Method and Apparatus
KR101801846B1 (en) * 2015-08-26 2017-11-27 옴니어스 주식회사 Product search method and system
KR20170131924A (en) 2016-05-23 2017-12-01 네이버 주식회사 Method, apparatus and computer program for searching image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043244A1 (en) * 2015-09-07 2017-03-16 富士フイルム株式会社 Search device, search system, and search method
JP2019016292A (en) * 2017-07-10 2019-01-31 凸版印刷株式会社 Content generation device, content generation method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mukkamala 외 2인. "Variants of rmsprop and adagrad with logarithmic regret bounds." Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, (2017.08.09. 공개)*

Also Published As

Publication number Publication date
KR20200119370A (en) 2020-10-20

Similar Documents

Publication Publication Date Title
KR102222564B1 (en) Artificial intelligence based similar design search apparatus
US11238211B2 (en) Automatic hyperlinking of documents
Lei Ba et al. Predicting deep zero-shot convolutional neural networks using textual descriptions
Fei et al. Learning cumulatively to become more knowledgeable
US20200311467A1 (en) Generating multi modal image representation for an image
Gao et al. Visual-textual joint relevance learning for tag-based social image search
JP5749279B2 (en) Join embedding for item association
Wang et al. Semi-supervised hashing for large-scale search
US7502780B2 (en) Information storage and retrieval
WO2017165774A1 (en) Systems and methods for multi-modal automated categorization
CN109784405B (en) Cross-modal retrieval method and system based on pseudo-tag learning and semantic consistency
US7668853B2 (en) Information storage and retrieval
Strat et al. Hierarchical late fusion for concept detection in videos
Yan et al. Biomedical literature classification with a CNNs-based hybrid learning network
Nagasubramanian et al. How useful is active learning for image‐based plant phenotyping?
Adnan et al. A survey and analysis on image annotation
GB2393275A (en) Information storage and retrieval
Sharifi Noorian et al. What should you know? A human-in-the-loop approach to unknown unknowns characterization in image recognition
JP6680956B1 (en) Search needs evaluation device, search needs evaluation system, and search needs evaluation method
Tian et al. Automatic image annotation with real-world community contributed data set
Bahrami et al. Automatic image annotation using an evolutionary algorithm (IAGA)
Liu et al. Determining the best attributes for surveillance video keywords generation
KR20200101643A (en) Artificial intelligence based similar design search apparatus
Mercy Rajaselvi Beaulah et al. Categorization of images using autoencoder hashing and training of intra bin classifiers for image classification and annotation
Kiranyaz et al. Collective network of evolutionary binary classifiers for content-based image retrieval

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right