KR20200119370A - 인공지능 기반의 유사 디자인 검색 장치 - Google Patents
인공지능 기반의 유사 디자인 검색 장치 Download PDFInfo
- Publication number
- KR20200119370A KR20200119370A KR1020190032860A KR20190032860A KR20200119370A KR 20200119370 A KR20200119370 A KR 20200119370A KR 1020190032860 A KR1020190032860 A KR 1020190032860A KR 20190032860 A KR20190032860 A KR 20190032860A KR 20200119370 A KR20200119370 A KR 20200119370A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- similar
- search
- design
- learning model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 인공지능 기반의 유사 디자인 검색 장치에 관한 것으로, 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부, 상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부 및 상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함한다. 따라서, 본 발명은 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.
Description
본 발명은 인공지능 기반의 유사 디자인 검색 기술에 관한 것으로, 보다 상세하게는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치에 관한 것이다.
인터넷을 통한 정보 제공자와 그 이용자의 폭발적인 증가에 따라 현재 수많은 정보들이 넘쳐나고 있다. 따라서 이들 정보들 중에서 사용자가 원하는 정보만을 골라 제공하는 검색엔진의 역할이 점점 중요해지고 있다. 종래의 검색 엔진은 원하는 정보를 보다 많이 찾는 것에 중점을 두고 검색을 수행하였으나, 현재는 원하는 정보만을 제대로 선별하여 보여주는 것에 중점을 두고 검색을 수행한다. 이렇게 원하는 정보를 찾고 이를 선별하여 제공하기 위해서는 검색된 정보의 중요도를 매겨 그 순서에 따라 사용자에게 보여주는 것이 필요하다. 이는 출원 디자인 또는 등록 디자인에 대한 검색엔진에 대해서도 동일하다. 최근에는 인공지능 기반의 이미지 분석 기술의 발달에 따라서 유사한 이미지의 검색 및 분류가 용이하다.
한국공개특허 제10-2017-0131924 (2017.12.01)호는 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리별로 분류하는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 개시한다.
한국공개특허 제10-2016-0085004 (2016.07.15)호는 데이터베이스 내에 존재하는 각각의 이미지 파일에서 특징점들을 추출하고 동일한 이미지 파일에서 추출된 특징점들 간의 유클리드 거리(Euclidean Distance)를 산출하는 단계; 상기 특징점들의 개수와 상기 유클리드 거리를 이용하여 각각의 이미지 파일을 비교하여 중복되는 파일을 파악하는 단계; 및 상기 중복 파일로 파악된 이미지 파일에 대해서 추후 상기 이미지 파일 비교에서 제외하는 단계를 포함할 수 있다.
본 발명의 일 실시예는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
본 발명의 일 실시예는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
본 발명의 일 실시예는 유사한 디자인을 검색하는 과정에서 전이학습을 사용하여 형태분류 코드의 클래스 별로 일정하지 않은 학습 데이터의 수로 인한 문제를 보완하고 딥러닝 모델의 분류 정확도를 높이는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
실시예들 중에서, 인공지능 기반의 유사 디자인 검색 장치는 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부, 상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부 및 상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함할 수 있다.
상기 전이학습 모델 생성부는 상기 딥러닝 모델로 inception v3를 사용할 수 있다.
상기 전이학습 모델 생성부는 상기 딥러닝 모델의 가중치를 수신하고 상기 가중치를 기초로 미세조정(fine-tuning)을 통하여 상기 이미지 분류 모델을 재학습시킴으로써 상기 전이학습을 수행할 수 있다.
상기 전이학습 모델 생성부는 상기 딥러닝 모델에 상기 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결시켜 상기 검색 대상 디자인의 이미지 데이터로부터 상기 이미지 분류 모델을 생성할 수 있다.
상기 전이학습 모델 생성부는 복수의 딥러닝 모델들 중 상기 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신하는 딥러닝 모델 수신 모듈, 상기 딥러닝 모델을 기초로 전이학습을 수행하는 전이학습 모듈 및 상기 전이학습을 통해 상기 검색 대상 디자인에 대한 이미지 분류 모델을 생성하는 이미지 분류 모델 생성 모듈을 포함할 수 있다.
상기 형태분류 코드 검출부는 형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 상기 완전 연결층의 개수를 일치시킬 수 있다.
상기 유사 디자인 검색부는 엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행할 수 있다.
상기 유사 디자인 검색부는 이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 검색하는 유사 이미지 검색 모듈 및 검색된 적어도 하나의 유사 이미지를 상기 검출된 형태분류 코드를 기초로 필터링하여 나열하는 이미지 필터링 모듈을 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 기계학습을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 유사한 디자인을 검색하는 과정에서 전이학습을 사용하여 형태분류 코드의 클래스 별로 일정하지 않은 학습 데이터의 수로 인한 문제를 보완하고 딥러닝 모델의 분류 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.
도 1을 참조하면, 인공지능 기반의 유사 디자인 검색 시스템(100)은 인공지능 기반의 유사 디자인 검색 장치(110), 사용자 단말(120) 및 데이터베이스(130)를 포함한다.
인공지능 기반의 유사 디자인 검색 장치(110)는 인공지능을 통해 검색 대상 디자인을 기초로 유사한 디자인을 검색하기 위한 알고리즘을 생성하고 적용할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 인공지능 기반의 유사 디자인 검색 장치(110)는 디자인의 이미지 파일을 수신하여 딥러닝 알고리즘을 통해 특징 및 형태분류 코드를 추출하고 이를 기초로 유사한 디자인을 검색할 수 있다. 일 실시예에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 전이학습에 사용되는 최적의 딥러닝 모델을 선택하여 검색 대상 디자인의 이미지에 관한 전이학습을 수행하여 형태분류 코드를 추출하고 유사한 이미지를 검색할 수 있다. 여기에서, 전이학습(transfer learning)은 특정 환경에서 만들어진 인공지능 알고리즘을 다른 비슷한 분야에 적용하는 것으로, 기준에 만들어진 딥러닝 모델과 모델이 학습한 가중치를 그대로 사용하여 원하는 새로운 모델을 학습하는 방법이다.
인공지능 기반의 유사 디자인 검색 장치(110)는 사용자 단말(120)과 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 연결되어 사용자에게 웹 또는 어플리케이션을 통해 사용자 인터페이스를 제공할 수 있는 컴퓨팅 장치에 해당한다. 사용자 단말(120)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 네트워크를 통해 연결될 수 있고, 적어도 하나의 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 동시에 연결될 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)를 포함하여 구현될 수 있고, 데이터베이스(130)와 독립적으로 구현될 수 있다. 데이터베이스(130)와 독립적으로 구현된 경우 인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)와 유선 또는 무선으로 연결되어 파일을 주고받을 수 있다. 데이터베이스(130)는 인공지능 기반의 유사 디자인의 검색에 필요한 정보들을 저장할 수 있는 저장장치이다. 일 실시예에서, 데이터베이스(130)는 디자인 공보의 디자인 데이터, 디자인 공보의 데이터를 파싱(parsing)하여 생성한 검색 인덱스, 형태분류 코드 데이터 및 검색 대상 이미지 데이터 등의 정보들을 저장할 수 있고, 반드시 이에 한정되지 않으며, 인공지능 기반의 유사 디자인의 검색을 처리하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 2를 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 프로세서(210), 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)를 포함할 수 있다.
프로세서(210)는 인공지능 기반의 유사 디자인의 검색을 처리할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(220)를 관리할 수 있으며, 메모리(220)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 동작 전반을 제어할 수 있고, 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(220)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 인공지능 기반의 유사 디자인 검색 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(230)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 마우스, 트랙볼, 터치 패드, 그래픽 태블릿, 스캐너, 터치 스크린, 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터와 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(230)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 인공지능 기반의 유사 디자인 검색 장치(110)는 서버로서 수행될 수 있다.
네트워크 입출력부(240)은 적어도 인공지능 기반의 유사 디자인 검색 장치(110)와 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다. 일 실시예에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 네트워크 입출력부(240)를 통해 사용자 단말(120) 또는 데이터베이스(130)로 연결될 수 있다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 3을 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310), 전이학습 모델 생성부(320), 형태분류 코드 검출부(330), 유사 디자인 검색부(340) 및 제어부(350)를 포함할 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 검색 대상 디자인의 이미지를 수신하여 인공지능을 통해 유사한 디자인을 검색하는 이미지 기반의 검색 장치에 해당할 수 있다. 여기에서, 인공지능(AI)은 특별히 한정되지 않고, 머신러닝, 딥러닝을 포함하는 포괄적인 개념으로 해석될 수 있다. 머신러닝(machine learning)은 지도학습, 비지도학습, 전이학습 및 강화학습을 모두 포함하는 개념으로 해석될 수 있다. 예를 들어, 머신러닝은 합성곱 신경망(CNN)을 기반으로 하는 딥러닝 모델을 통한 전이학습에 해당할 수 있다.
이미지 수신부(310)는 검색 대상 디자인의 이미지를 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 출원 또는 등록 디자인의 도면 이미지를 입력받을 수 있다. 예를 들어, 이미지 수신부(310)는 사용자 단말(120)에 저장된 디자인 출원 또는 등록을 위한 도면 이미지 파일을 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 검색 대상 디자인의 이미지 파일과 함께 검색 대상 디자인의 키워드를 수신할 수 있다. 보다 구체적으로, 이미지 수신부(310)는 사용자에게 디자인의 도면 이미지 기반의 유사 디자인의 검색을 제공함과 함께 기존의 키워드 기반의 유사 디자인 검색을 제공할 수 있다. 예를 들어, 이미지 수신부(310)는 자동차에 관한 디자인의 도면 이미지 파일을 수신하면서 동시에 사용자에 의해 자동차에 대한 키워드를 입력받을 수 있다.
전이학습 모델 생성부(320)는 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성할 수 있다. 여기에서, 합성곱 신경망(CNN)은 시각적 이미지를 분석하는데 사용되는 깊고 피드포워드적인 인공신경망의 한종류에 해당할 수 있다. 인공신경망은 주로 딥러닝에서 사용되어지고, 기계학습과 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘에 해당할 수 있다. 합성곱 신경망(CNN)은 이미지의 특징을 추출하고 클래스를 분류하는 과정으로 나누어질 수 있다. 합성곱 신경망은 특정 이미지의 특징을 추출하고 추출된 특징을 기반으로 이미지를 인식할 수 있다. 예를 들어, 합성곱 신경망은 고양이 이미지에서 특징을 추출하여 해당 이미지를 고양이 이미지로 분류할 수 있다. 일 실시예에서, 전이학습 모델 생성부(320)는 기존에 존재하는 합성곱 신경망 기반의 딥러닝 모델을 사용하여 검색 대상 디자인의 물품과 형태분류 코드를 결정하는 이미지 분류 모델을 생성할 수 있다. 보다 구체적으로, 전이학습 모델 생성부(320)는 미리 훈련된 모델을 기초로 전이학습을 통해 이미지 분류 모델을 생성할 수 있다. 일 실시예에서, 미리 훈련된 모델(pre-trained model)은 이미지 분류에 최적화된 가중치를 포함하는 모델을 사용할 수 있다. 예를 들어, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델로 inception v3를 사용할 수 있다. 여기에서, Inception v3는 이미지넷 데이터로 미리 학습된 구글의 딥러닝 모델에 해당하고 이미지 관련된 전이학습의 적용에 있어서 최적의 모델에 해당할 수 있다. 이미지넷은 다양한 이미지를 포함하는 이미지 데이터베이스에 해당할 수 있다. 이미지 분류 모델은 검색 대상 디자인의 이미지로부터 물품을 결정하고 형태분류 코드를 검출하기 위해서 합성곱 신경망 기반의 딥러닝 모델로부터 전이학습을 통해 생성된 기계학습 모델에 해당할 수 있다.
일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델의 가중치를 수신하고 가중치를 기초로 미세조정(fine-tuning)을 통해 이미지 분류 모델을 재학습시킬 수 있다. 여기에서, 미세조정은 사전에 이미지넷처럼 규모가 큰 데이터셋으로 학습된 모델로 가중치를 초기화하여, 규모의 작은 데이터셋으로 해당 가중치를 조금 조정하는 기법으로 전이학습의 대표적인 기법에 해당할 수 있다. 보다 구체적으로, 전이학습 모델 생성부(320)는 미리학습된 딥러닝 모델과 모델의 가중치를 전송(transfer)하여 검색 대상 디자인의 이미지의 형태분류 코드를 추출하는 새로운 모델에 해당하는 이미지 분류 모델을 학습시키는 전이학습을 수행할 수 있다. 일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 딥러닝 모델에 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결하여 검색 대상 디자인의 이미지 데이터로부터 이미지 분류 모델을 생성할 수 있다. 합성곱 신경망(CNN, Convolutional Neural Network) 기반의 딥러닝 모델은 콘볼루션층(convolutional layer)과 통합층(pooling layer), 완전 연결층(fully connected layer)으로 구성될 수 있다. 콘볼루션층과 통합층은 이미지의 특징을 추출하고, 완전 연결층은 이미지를 클래스로 분류할 수 있다. 전이학습 모델 생성부(320)는 형태분류 코드의 데이터셋을 기초로 이미지를 분류하도록 수정한 완전 연결층을 추가로 삽입하여 검색 대상 디자인의 이미지를 해당 형태분류 코드로 분류할 수 있다.
일 실시예에서, 전이학습 모델 생성부(320)는 기 훈련 모델 수신 모듈, 전이학습 모듈 및 이미지 분류 모델 생성 모듈을 포함할 수 있다. 기 훈련 모델 수신 모듈은 복수의 딥러닝 모델들 중 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신할 수 있다. 전이학습 모듈은 미리 훈련된 학습 모델에 해당하는 딥러닝 모델을 기초로 전이학습을 수행할 수 있다. 보다 구체적으로, 전이학습 모듈은 미리 훈련된 딥러닝 모델에 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결하는 전이학습을 수행할 수 있다. 이미지 분류 모델 생성 모듈은 전이학습을 통해 검색 대상 디자인에 대해 물품 및 형태분류 코드를 결정하는 이미지 분류 모델을 생성할 수 있다.
일 실시예에서, 형태분류 코드 검출부(330)는 이미지 분류 모델을 통해 검색 대상 디자인의 이미지에 대한 물품을 결정하고 형태분류 코드를 검출할 수 있다. 형태분류 코드 검출부(330)는 입력된 검색 대상 디자인의 이미지를 이미지 분류 모델을 통해 분석하여 데이터셋에서 해당하는 물품을 결정하고 물품에 대한 형태분류 코드를 검출할 수 있다. 보다 구체적으로, 형태분류 코드 검출부는 전이학습을 통해 생성된 이미지 분류 모델을 사용하여 형태분류 코드의 물품 별로 일정하지 않은 적은 학습 데이터로도 검색 대상 디자인을 정확하게 물품별로 분류할 수 있고, 형태분류 코드를 검출할 수 있다. 일 실시예에서, 형태분류 코드 검출부(330)는 형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 완전 연결층의 개수를 일치시킬 수 있다. 보다 구체적으로, 형태분류 코드 검출부(330)는 이미지를 해당 형태분류 코드로 정확하게 분류하기 위해서 형태분류 코드의 데이터셋을 물품 별로 분류하고 물품별로 해당하는 형태분류 코드의 총 개수를 완전 연결층의 출력 노드 개수와 일치시킬 수 있다. 예를 들어, 10개의 물품에 대한 형태분류 코드가 3개로 분류되는 경우, 완전 연결층의 출력 노드의 개수는 3개로 결정될 수 있다. 형태분류 코드 검출부(330)는 이미지 분류 모델을 통해 입력된 이미지의 결정된 물품에 대해서 3개의 출력 노드 중 해당하는 형태분류 코드의 노드를 검출할 수 있다.
일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드를 기초로 이미지 분류 모델을 통해 검색 대상 디자인과 유사한 유사 이미지를 검색할 수 있다. 보다 구체적으로, 유사 디자인 검색부(340)는 유사 이미지를 검색하는 과정에서 이미지 분류 모델을 통해 입력 이미지에 대한 형태분류 코드를 검출하고 검출된 형태분류 코드를 활용하여 유사 이미지(또는, 유사 디자인)를 검색할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 유사도 형태분류 코드를 기초로 검색된 유사 디자인을 유사 순으로 랭크하여 표시할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드가 완전히 동일한 유사 디자인에 대해서 높은 랭크를 부여할 수 있고, 형태분류 코드가 유사한 경우에는 낮은 랭크를 부여하는 방식으로 유사 디자인에 대한 랭크를 표시할 수 있다.
일 실시예에서, 유사 디자인 검색부(340)는 검색된 유사 디자인을 유사 순으로 랭크하는 과정에서, 검색 대상 디자인과 유사 디자인간 유사한 정도를 나타내는 유사도 퍼센트를 산출하여 제공할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 형태분류 코드를 기초로 검색 대상 디자인과 형태분류 코드가 상이한 유사 디자인에 대하여 유사하지 않은 것으로 결정할 수 있다. 보다 구체적으로, 유사 디자인 검색부(340)는 검색 대상 디자인의 이미지와 유사한 이미지가 검색되어 유사 디자인으로 결정되면, 결정된 유사 디자인을 유사순으로 랭크하는 과정에서, 형태분류 코드가 검색 대상 디자인과 상이한 이미지에 대하여 비유사한 것으로 보고 유사 디자인으로 결정하지 않을 수 있다.
일 실시예에서, 유사 디자인 검색부(340)는 엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행할 수 있다. 여기에서, 엘라스틱서치 검색엔진은 오픈소스 기술로 아파치(apache)의 루씬(lucene) 라이브러리를 기반으로 만들어진 검색 어플리케이션에 해당할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 엘라스틱서치를 적용하여 검출된 형태분류 코드를 기초로 유사 이미지를 인덱싱(indexing)하고 검색을 수행할 수 있다. 일 실시예에서, 유사 디자인 검색부(340)는 유사 이미지 검색 모듈 및 이미지 필터링 모듈을 포함할 수 있다. 유사 이미지 검색 모듈은 이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 유사 디자인으로 검색할 수 있다. 일 실시예에서, 유사 이미지 검색 모듈은 합성곱 신경망의 특징 추출과정을 통해 유사 이미지를 유사 디자인으로 검색할 수 있다. 이미지 필터링 모듈은 검색된 적어도 하나의 유사 이미지를 검출된 형태분류 코드를 기초로 필터링하여 나열할 수 있다. 일 실시예에서, 이미지 필터링 모듈은 검색된 유사 디자인을 형태분류 코드를 기초로 분류할 수 있다. 이미지 필터링 모듈은 형태분류 코드가 같거나 유사한 유사 이미지에 대하여 형태분류 코드가 다른 유사 이미지보다 검색 대상 디자인과 더 유사한 것으로 결정하고, 높은 랭크를 부여하며, 우선적으로 나열할 수 있다.
제어부(350)는 인공지능 기반의 유사 디자인 검색 장치(110)의 동작 전반을 제어하고, 이미지 수신부(310), 전이학습 모델 생성부(320), 형태분류 코드 검출부(330) 및 유사 디자인 검색부(340) 간의 제어 및 데이터 흐름을 관리할 수 있다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
도 4에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310)를 통해 검색 대상 디자인의 이미지를 수신할 수 있다(단계 S410).
인공지능 기반의 유사 디자인 검색 장치(110)는 전이학습 모델 생성부(320)를 통해 합성곱 신경망 기반의 딥러닝 모델을 불러오고, 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성할 수 있다(단계 S420). 일 실시예에서, 전이학습 모델 생성부(320)는 미리 훈련된 합성곱 신경망 기반의 딥러닝 모델로 inception v3를 사용하고, 미세조정을 통해 이미지 분류 모델을 재학습시킬 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 형태분류 코드 검출부(330)를 통해 이미지 분류 모델을 통해 이미지에 대한 물품을 결정하고, 결정된 물품에 대한 형태분류 코드를 검출할 수 있다(단계 S430).
인공지능 기반의 유사 디자인 검색 장치(110)는 유사 디자인 검색부(340)를 통해 형태분류 코드를 기초로 이미지 분류 모델을 통해 유사 이미지를 검색할 수 있다(단계 S440).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 인공지능 기반의 유사 디자인 검색 시스템
110: 인공지능 기반의 유사 디자인 검색 장치
120: 사용자 단말
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
310: 이미지 수신부 320: 전이학습 모델 생성부
330: 형태분류 코드 검출부 340: 유사 디자인 검색부
350: 제어부
110: 인공지능 기반의 유사 디자인 검색 장치
120: 사용자 단말
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
310: 이미지 수신부 320: 전이학습 모델 생성부
330: 형태분류 코드 검출부 340: 유사 디자인 검색부
350: 제어부
Claims (8)
- 검색 대상 디자인의 이미지를 수신하는 이미지 수신부;
합성곱 신경망 기반의 딥러닝 모델을 불러오고, 상기 딥러닝 모델을 기초로 전이학습을 수행하여 이미지 분류 모델을 생성하는 전이학습 모델 생성부;
상기 생성된 이미지 분류 모델을 통해 상기 이미지에 대한 물품을 결정하고 형태분류 코드를 검출하는 형태분류 코드 검출부; 및
상기 형태분류 코드를 기초로 상기 이미지 분류 모델을 통해 상기 검색 대상 디자인과 유사한 유사 이미지를 검색하는 유사 디자인 검색부를 포함하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 전이학습 모델 생성부는
상기 딥러닝 모델로 inception v3를 사용하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 전이학습 모델 생성부는
상기 딥러닝 모델의 가중치를 수신하고 상기 가중치를 기초로 미세조정(fine-tuning)을 통하여 상기 이미지 분류 모델을 재학습시킴으로써 상기 전이학습을 수행하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제3항에 있어서, 상기 전이학습 모델 생성부는
상기 딥러닝 모델에 상기 형태분류 코드를 기초로 수정한 완전 연결층(fully connected layer)을 추가로 삽입하고 노드를 연결시켜 상기 검색 대상 디자인의 이미지 데이터로부터 상기 이미지 분류 모델을 생성하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 전이학습 모델 생성부는
복수의 딥러닝 모델들 중 상기 합성곱 신경망 기반의 딥러닝 모델을 미리 훈련된 학습 모델로서 수신하는 기 훈련 모델 수신 모듈;
상기 딥러닝 모델을 기초로 전이학습을 수행하는 전이학습 모듈; 및
상기 전이학습을 통해 상기 검색 대상 디자인에 대한 이미지 분류 모델을 생성하는 이미지 분류 모델 생성 모듈을 포함하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제4항에 있어서 상기 형태분류 코드 검출부는
형태분류 코드를 물품 별로 분류하고, 물품별 형태분류 코드의 개수와 출력에 해당하는 상기 완전 연결층의 개수를 일치시키는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 유사 디자인 검색부는
엘라스틱서치(elasticsearch) 검색엔진을 적용하여 이미지 인덱싱 또는 검색을 수행하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 유사 디자인 검색부는
이미지 특징 추출을 통해 적어도 하나의 유사 이미지를 검색하는 유사 이미지 검색 모듈; 및
검색된 적어도 하나의 유사 이미지를 상기 검출된 형태분류 코드를 기초로 필터링하여 나열하는 이미지 필터링 모듈을 포함하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190032860A KR102222564B1 (ko) | 2019-03-22 | 2019-03-22 | 인공지능 기반의 유사 디자인 검색 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190032860A KR102222564B1 (ko) | 2019-03-22 | 2019-03-22 | 인공지능 기반의 유사 디자인 검색 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200119370A true KR20200119370A (ko) | 2020-10-20 |
| KR102222564B1 KR102222564B1 (ko) | 2021-03-05 |
Family
ID=73025331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190032860A KR102222564B1 (ko) | 2019-03-22 | 2019-03-22 | 인공지능 기반의 유사 디자인 검색 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102222564B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196905A1 (ko) * | 2021-03-18 | 2022-09-22 | 한양대학교 산학협력단 | 디자인 피드백 제공 방법 및 시스템 |
| WO2023095980A1 (ko) * | 2021-11-29 | 2023-06-01 | 라온피플 주식회사 | 침해물품 판정 장치 및 침해물품 판정 방법 |
| WO2023095979A1 (ko) * | 2021-11-29 | 2023-06-01 | 라온피플 주식회사 | 침해물품 판정 장치 및 침해물품 판정 방법 |
| KR102585912B1 (ko) | 2022-12-14 | 2023-10-06 | 주식회사 딥노이드 | 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 |
| KR102585925B1 (ko) | 2022-12-14 | 2023-10-06 | 주식회사 딥노이드 | 이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160085004A (ko) | 2015-01-07 | 2016-07-15 | 한화테크윈 주식회사 | 중복 이미지 파일 검색 방법 및 장치 |
| KR20170026264A (ko) * | 2015-08-26 | 2017-03-08 | 옴니어스 주식회사 | 상품 영상 검색 및 시스템 |
| WO2017043244A1 (ja) * | 2015-09-07 | 2017-03-16 | 富士フイルム株式会社 | 検索装置、検索システム及び検索方法 |
| KR20170131924A (ko) | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
| JP2019016292A (ja) * | 2017-07-10 | 2019-01-31 | 凸版印刷株式会社 | コンテンツ生成装置、コンテンツ生成方法及びプログラム |
-
2019
- 2019-03-22 KR KR1020190032860A patent/KR102222564B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160085004A (ko) | 2015-01-07 | 2016-07-15 | 한화테크윈 주식회사 | 중복 이미지 파일 검색 방법 및 장치 |
| KR20170026264A (ko) * | 2015-08-26 | 2017-03-08 | 옴니어스 주식회사 | 상품 영상 검색 및 시스템 |
| WO2017043244A1 (ja) * | 2015-09-07 | 2017-03-16 | 富士フイルム株式会社 | 検索装置、検索システム及び検索方法 |
| KR20170131924A (ko) | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
| JP2019016292A (ja) * | 2017-07-10 | 2019-01-31 | 凸版印刷株式会社 | コンテンツ生成装置、コンテンツ生成方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| Mukkamala 외 2인. "Variants of rmsprop and adagrad with logarithmic regret bounds." Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, (2017.08.09. 공개)* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196905A1 (ko) * | 2021-03-18 | 2022-09-22 | 한양대학교 산학협력단 | 디자인 피드백 제공 방법 및 시스템 |
| WO2023095980A1 (ko) * | 2021-11-29 | 2023-06-01 | 라온피플 주식회사 | 침해물품 판정 장치 및 침해물품 판정 방법 |
| WO2023095979A1 (ko) * | 2021-11-29 | 2023-06-01 | 라온피플 주식회사 | 침해물품 판정 장치 및 침해물품 판정 방법 |
| KR102585912B1 (ko) | 2022-12-14 | 2023-10-06 | 주식회사 딥노이드 | 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 |
| KR102585925B1 (ko) | 2022-12-14 | 2023-10-06 | 주식회사 딥노이드 | 이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102222564B1 (ko) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102222564B1 (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
| US11244205B2 (en) | Generating multi modal image representation for an image | |
| US11238211B2 (en) | Automatic hyperlinking of documents | |
| Fei et al. | Learning cumulatively to become more knowledgeable | |
| US11809828B2 (en) | Systems and methods of data augmentation for pre-trained embeddings | |
| Lei Ba et al. | Predicting deep zero-shot convolutional neural networks using textual descriptions | |
| JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
| Gao et al. | Visual-textual joint relevance learning for tag-based social image search | |
| Wang et al. | Semi-supervised hashing for large-scale search | |
| US7502780B2 (en) | Information storage and retrieval | |
| Fan et al. | Statistical modeling and conceptualization of natural images | |
| WO2017165774A1 (en) | Systems and methods for multi-modal automated categorization | |
| CN109784405B (zh) | 基于伪标签学习和语义一致性的跨模态检索方法及系统 | |
| Karthikeyan et al. | Probability based document clustering and image clustering using content-based image retrieval | |
| US7668853B2 (en) | Information storage and retrieval | |
| Strat et al. | Hierarchical late fusion for concept detection in videos | |
| Yan et al. | Biomedical literature classification with a CNNs-based hybrid learning network | |
| US20230237395A1 (en) | Apparatus and methods for matching video records with postings using audiovisual data processing | |
| Adnan et al. | A survey and analysis on image annotation | |
| Sharifi Noorian et al. | What Should You Know? A Human-In-the-Loop Approach to Unknown Unknowns Characterization in Image Recognition | |
| Yang et al. | Incorporating self-organizing map with text mining techniques for text hierarchy generation | |
| Fernandez-Beltran et al. | Prior-based probabilistic latent semantic analysis for multimedia retrieval | |
| US20230325717A1 (en) | Systems and methods for repurposing a machine learning model | |
| Prieto et al. | Open set classification of untranscribed handwritten text image documents | |
| Liu et al. | Determining the best attributes for surveillance video keywords generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |