KR20200101643A - 인공지능 기반의 유사 디자인 검색 장치 - Google Patents
인공지능 기반의 유사 디자인 검색 장치 Download PDFInfo
- Publication number
- KR20200101643A KR20200101643A KR1020190019755A KR20190019755A KR20200101643A KR 20200101643 A KR20200101643 A KR 20200101643A KR 1020190019755 A KR1020190019755 A KR 1020190019755A KR 20190019755 A KR20190019755 A KR 20190019755A KR 20200101643 A KR20200101643 A KR 20200101643A
- Authority
- KR
- South Korea
- Prior art keywords
- design
- similar
- search
- shape
- image
- Prior art date
Links
- 238000013461 design Methods 0.000 title claims abstract description 243
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 66
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 25
- 230000001172 regenerating effect Effects 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 인공지능 기반의 유사 디자인 검색 장치에 관한 것으로, 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망(CNN, Convolutional Neural Network)을 기초로 상기 검색 대상 디자인에 대한 물품 기하구조(특징 추출)와 형태분류 코드를 검출(분류)하는 물품 검출부, 상기 물품 기하구조를 기초로 상기 검색 대상 디자인과 유사한 유사 디자인을 검색하는 유사 디자인 검색부 및 상기 형태분류 코드를 기초로 상기 검색된 유사 디자인을 유사 순으로 랭크하여 표시하는 유사 디자인 랭크부를 포함한다. 따라서, 본 발명은 딥러닝을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.
Description
본 발명은 인공지능 기반의 유사 디자인 검색 기술에 관한 것으로, 보다 상세하게는 딥러닝을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치에 관한 것이다.
인터넷을 통한 정보 제공자와 그 이용자의 폭발적인 증가에 따라 현재 수많은 정보들이 넘쳐나고 있다. 따라서 이들 정보들 중에서 사용자가 원하는 정보만을 골라 제공하는 검색엔진의 역할이 점점 중요해지고 있다. 종래의 검색 엔진은 원하는 정보를 보다 많이 찾는 것에 중점을 두고 검색을 수행하였으나, 현재는 원하는 정보만을 제대로 선별하여 보여주는 것에 중점을 두고 검색을 수행한다. 이렇게 원하는 정보를 찾고 이를 선별하여 제공하기 위해서는 검색된 정보의 중요도를 매겨 그 순서에 따라 사용자에게 보여주는 것이 필요하다. 이는 출원 디자인 또는 등록 디자인에 대한 검색엔진에 대해서도 동일하다. 최근에는 인공지능 기반의 이미지 분석 기술의 발달에 따라서 유사한 이미지의 검색 및 분류가 용이하다.
한국공개특허 제10-2017-0131924 (2017.12.01)호는 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리별로 분류하는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 개시한다.
한국공개특허 제10-2016-0085004 (2016.07.15)호는 데이터베이스 내에 존재하는 각각의 이미지 파일에서 특징점들을 추출하고 동일한 이미지 파일에서 추출된 특징점들 간의 유클리드 거리(Euclidean Distance)를 산출하는 단계; 상기 특징점들의 개수와 상기 유클리드 거리를 이용하여 각각의 이미지 파일을 비교하여 중복되는 파일을 파악하는 단계; 및 상기 중복 파일로 파악된 이미지 파일에 대해서 추후 상기 이미지 파일 비교에서 제외하는 단계를 포함할 수 있다.
본 발명의 일 실시예는 딥러닝을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
본 발명의 일 실시예는 합성곱 신경망(CNN, Convolutional Neural Network)을 기초로 입력 이미지에 대한 디자인의 특징을 추출하여 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
본 발명의 일 실시예는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색하는 인공지능 기반의 유사 디자인 검색 장치를 제공하고자 한다.
실시예들 중에서, 인공지능 기반의 유사 디자인 검색 장치는 검색 대상 디자인의 이미지를 수신하는 이미지 수신부, 합성곱 신경망(CNN, Convolutional Neural Network)을 기초로 상기 검색 대상 디자인에 대한 물품 기하구조(특징 추출)와 형태분류 코드를 검출(분류)하는 물품 검출부, 상기 물품 기하구조를 기초로 상기 검색 대상 디자인과 유사한 유사 디자인을 검색하는 유사 디자인 검색부 및 상기 형태분류 코드를 기초로 상기 검색된 유사 디자인을 유사 순으로 랭크하여 표시하는 유사 디자인 랭크부를 포함한다.
상기 이미지 수신부는 상기 검색 대상 디자인의 이미지와 함께 상기 검색 대상 디자인의 키워드를 수신할 수 있다.
상기 물품 검출부는 상기 검색 대상 디자인의 형상의 특징을 추출하고 상기 형상의 특징을 중심으로 상기 물품 기하구조를 검출할 수 있다.
상기 물품 검출부는 상기 형상과 더불어 상기 검색 대상 디자인의 모양을 추출하여 상기 형상 및 상기 모양의 특징을 중심으로 상기 물품 기하구조를 검출할 수 있다.
상기 유사 디자인 검색부는 상기 물품 기하구조의 상기 형상의 특징을 중심으로 상기 유사 디자인을 먼저 결정하고 이후 상기 모양의 특징을 중심으로 상기 유사 디자인을 다시 결정할 수 있다.
상기 유사 디자인 검색부는 상기 검색 대상 디자인의 이미지에 대한 클러스터링 이미지를 산출하여 제공할 수 있다.
상기 유사 디자인 랭크부는 상기 검색된 유사 디자인을 유사 순으로 랭크하는 과정에서, 상기 검색 대상 디자인과 상기 유사 디자인간 유사한 정도를 나타내는 유사도 퍼센트를 산출하여 제공할 수 있다.
상기 유사 디자인 랭크부는 상기 형태분류 코드를 기초로 상기 검색 대상 디자인과 형태분류 코드가 상이한 유사 디자인에 대하여 유사하지 않은 것으로 결정할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 딥러닝을 통해 디자인 도면 이미지의 입력을 기초로 유사한 디자인을 검색할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 합성곱 신경망(CNN)을 기초로 입력 이미지에 대한 디자인의 특징을 추출하여 유사한 디자인을 검색할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 장치는 합성곱 신경망(CNN)을 통해 디자인의 형태분류 코드를 검출하고, 검출된 형태분류 코드를 기초로 검색된 유사한 이미지를 필터링하여 유사한 디자인을 검색할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
도 5는 인공지능 기반의 유사 디자인 검색 장치의 예시도이다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
도 5는 인공지능 기반의 유사 디자인 검색 장치의 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 시스템을 나타내는 도면이다.
도 1을 참조하면, 인공지능 기반의 유사 디자인 검색 시스템(100)은 인공지능 기반의 유사 디자인 검색 장치(110), 사용자 단말(120) 및 데이터베이스(130)를 포함한다.
인공지능 기반의 유사 디자인 검색 장치(110)는 인공지능을 통해 검색 대상 디자인을 기초로 유사한 디자인을 검색하기 위한 알고리즘을 생성하고 적용할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 인공지능 기반의 유사 디자인 검색 장치(110)는 디자인의 이미지 파일을 수신하여 딥러닝 알고리즘을 통해 특징 및 형태분류 코드를 추출하고 이를 기초로 유사한 디자인을 검색할 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 사용자 단말(120)과 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 연결되어 사용자에게 웹 또는 어플리케이션을 통해 사용자 인터페이스를 제공할 수 있는 컴퓨팅 장치에 해당한다. 사용자 단말(120)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 네트워크를 통해 연결될 수 있고, 적어도 하나의 사용자 단말(120)은 인공지능 기반의 유사 디자인 검색 장치(110)와 동시에 연결될 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)를 포함하여 구현될 수 있고, 데이터베이스(130)와 독립적으로 구현될 수 있다. 데이터베이스(130)와 독립적으로 구현된 경우 인공지능 기반의 유사 디자인 검색 장치(110)는 데이터베이스(130)와 유선 또는 무선으로 연결되어 파일을 주고받을 수 있다. 데이터베이스(130)는 인공지능 기반의 유사 디자인의 검색에 필요한 정보들을 저장할 수 있는 저장장치이다. 일 실시예에서, 데이터베이스(130)는 디자인 공보의 디자인 데이터, 디자인 공보의 데이터를 파싱(parsing)하여 생성한 검색 인덱스, 형태분류 코드 데이터 및 검색 대상 이미지 데이터 등의 정보들을 저장할 수 있고, 반드시 이에 한정되지 않으며, 인공지능 기반의 유사 디자인의 검색을 처리하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1에 있는 인공지능 기반의 유사 디자인 검색 장치를 나타내는 블록도이다.
도 2를 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 프로세서(210), 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)를 포함할 수 있다.
프로세서(210)는 인공지능 기반의 유사 디자인의 검색을 처리할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(220)를 관리할 수 있으며, 메모리(220)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 동작 전반을 제어할 수 있고, 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 인공지능 기반의 유사 디자인 검색 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(220)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 인공지능 기반의 유사 디자인 검색 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(230)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 마우스, 트랙볼, 터치 패드, 그래픽 태블릿, 스캐너, 터치 스크린, 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터와 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(230)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 인공지능 기반의 유사 디자인 검색 장치(110)는 서버로서 수행될 수 있다.
네트워크 입출력부(240)은 적어도 인공지능 기반의 유사 디자인 검색 장치(110)와 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다. 일 실시예에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 네트워크 입출력부(240)를 통해 사용자 단말(120) 또는 데이터베이스(130)로 연결될 수 있다.
도 3은 인공지능 기반의 유사 디자인 검색 장치의 프로세서의 구성 요소를 나타내는 블록도이다.
도 3을 참조하면, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310), 물품 검출부(320), 유사 디자인 검색부(330), 유사 디자인 랭크부(340) 및 제어부(350)를 포함할 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 검색 대상 디자인의 이미지를 수신하여 인공지능을 통해 유사한 디자인을 검색하는 이미지 기반의 검색 장치에 해당할 수 있다. 여기에서, 인공지능(AI)은 특별히 한정되지 않고, 머신러닝, 딥러닝을 포함하는 포괄적인 개념으로 해석될 수 있다. 예를 들어, 인공지능은 합성곱 신경망(CNN)에 해당할 수 있다.
이미지 수신부(310)는 검색 대상 디자인의 이미지를 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 출원 또는 등록 디자인의 도면 이미지를 입력받을 수 있다. 예를 들어, 이미지 수신부(310)는 사용자 단말(120)에 저장된 디자인 출원 또는 등록을 위한 도면 이미지 파일을 수신할 수 있다. 일 실시예에서, 이미지 수신부(310)는 검색 대상 디자인의 이미지 파일과 함께 검색 대상 디자인의 키워드를 수신할 수 있다. 보다 구체적으로, 이미지 수신부(310)는 사용자에게 디자인의 도면 이미지 기반의 유사 디자인 검색을 제공함과 함께 기존의 키워드 기반의 유사 디자인 검색을 제공할 수 있다. 예를 들어, 이미지 수신부(310)는 자동차에 관한 디자인의 도면 이미지 파일을 수신하면서 동시에 사용자에 의해 자동차에 대한 키워드를 입력받을 수 있다.
물품 검출부(320)는 합성곱 신경망(CNN, Convolutional Neural Network)을 기초로 검색 대상 디자인에 대한 물품 기하구조와 형태분류 코드를 검출할 수 있다. 여기에서, 합성곱 신경망(CNN)은 시각적 이미지를 분석하는데 사용되는 깊고 피드포워드적인 인공신경망의 한종류에 해당할 수 있다. 인공신경망은 주로 딥러닝에서 사용되어지고, 기계학습과 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘에 해당할 수 있다. 합성곱 신경망(CNN)은 이미지의 특징을 추출하고 클래스를 분류하는 과정으로 나누어질 수 있다. 합성곱 신경망은 특정 이미지의 특징을 추출하고 추출된 특징을 기반으로 이미지를 인식할 수 있다. 예를 들어, 합성곱 신경망은 고양이 이미지에서 특징을 추출하여 해당 이미지를 고양이 이미지로 분류할 수 있다. 일 실시예에서, 물품 검출부(320)는 합성곱 신경망을 기초로 입력된 검색 대상 디자인의 이미지에 대한 물품 기하구조를 검출할 수 있다. 여기에서, 물품의 기하구조는 검색 대상 디자인을 구성하는 물품의 입체적인 형태를 의미할 수 있다. 디자인은 물품을 떠나서는 존재할 수 없고 물품의 입체적인 형태는 디자인의 필수 구성요소에 해당한다. 물품 검출부(320)는 합성곱 신경망의 콘볼루션 과정에서 검색 대상 디자인 이미지의 특징을 추출하여 물품의 기하구조를 검출할 수 있다. 일 실시예에서, 물품 검출부(320)는 입력된 검색 대상 디자인의 형태분류 코드를 검출할 수 있다. 보다 구체적으로, 물품 검출부(320)는 검색 대상 디자인의 도면 이미지 파일이 입력되면 합성곱 신경망을 통해 특징을 추출하고 추출된 특징을 기초로 해당 디자인에 적절한 형태분류 코드를 검출할 수 있다. 예를 들어, 물품 검출부(320)는 합성곱 신경망의 클래스를 분류하는 과정을 통해서 입력 이미지를 특정 형태분류 코드로 분류할 수 있다. 여기에서, 형태분류 코드는 선행디자인의 검색 등에 사용되고, 디자인의 형태에 근거하여 물품을 분류한 것을 의미할 수 있다.
일 실시예에서, 물품 검출부(320)는 검색 대상 디자인의 형상의 특징을 추출하고 형상의 특징을 중심으로 물품 기하구조를 검출할 수 있다. 물품의 기하구조는 물품의 입체적인 형태를 말하고, 물품의 형태는 물품의 외관을 구성하는 형상, 모양, 색채 또는 이들의 결합을 의미할 수 있다. 형상은 유형적 존재인 물품이 공간을 점유하고 있는 유곽을 의미하고, 형상은 물품의 필수적인 구성요소에 해당한다. 보다 구체적으로, 물품 검출부(320)는 합성곱 신경망을 통해 검색 대상 디자인의 이미지에서 형상의 특징을 추출하고 그 부분을 부각시킨 새로운 이미지를 생성할 수 있다. 즉, 물품 검출부(320)는 형상의 특징을 부각시킨 새로운 이미지를 물품 기하구조로서 검출할 수 있다. 일 실시예에서, 물품 검출부(320)는 형상과 더불어 검색 대상 디자인의 모양을 추출하여 형상의 특징과 함께 모양의 특징을 중심으로 물품 기하구조를 검출할 수 있다. 모양은 물품 외관에 나타나는 선도, 색구분, 색흐림을 말하고 물품의 필수적인 구성요소는 아니다. 보다 구체적으로, 물품 검출부(320)는 형상의 특징을 추출한 이후 상기 검색 대상 디자인의 모양의 특징을 추출할 수 있고, 형상의 특징을 부각시킨 새로운 이미지에 모양의 특징을 부각시켜서 다시 새로운 이미지를 생성할 수 있다. 물품 검출부(320)는 결국 형상의 특징과 모양의 특징을 부각시킨 새로운 이미지를 물품 기하구조로서 검출할 수 있다. 결과적으로, 물품 검출부(320)는 검색 대상 디자인의 필수 구성요소인 형상의 특징을 중심으로 모양의 특징을 더하여 물품 기하구조를 검출할 수 있다.
유사 디자인 검색부(330)는 물품 기하구조를 기초로 검색 대상 디자인과 유사한 유사 디자인을 검색할 수 있다. 보다 구체적으로, 유사 디자인 검색부(330)는 합성곱 신경망을 통한 검색 대상 디자인의 이미지의 특징 추출 과정을 통해 유사 이미지를 검색할 수 있다.
일 실시예에서, 유사 디자인 검색부(330)는 물품 기하구조의 형상의 특징을 중심으로 유사 디자인을 먼저 결정하고 모양의 특징을 중심으로 유사 디자인을 다시 결정할 수 있다. 유사 디자인 검색부(330)는 검색 대상 이미지의 특징을 추출하여 유사 디자인을 검색하는 과정에서, 검색 대상 이미지의 형상의 특징을 중심으로 추출한 물품 기하구조를 중심으로 유사한 이미지에 대해서 유사 디자인으로 결정하고, 이후, 모양을 중심으로 추출한 물품 기하구조를 중심으로 유사한 이미지에 대해서 다시 유사 디자인으로 결정할 수 있다. 예를 들어, 유사 디자인 검색부(330)는 형상의 특징을 중심으로 먼저 결정한 유사 디자인에 대해서 높은 유사도를 부여하고, 이후 검색된 모양의 특징을 중심으로 결정된 유사 디자인에 대해서 낮은 유사도를 부여하기 위해 검색 순서에 차등을 부여할 수 있다. 보다 구체적으로, 유사 디자인 검색부(330)는 검색 대상 디자인의 이미지에서 형상의 특징을 추출하는 과정에서 생성된 새로운 이미지에 해당하는 물품 기하구조를 기초로 유사한 이미지를 검색하여 유사 디자인으로 먼저 결정하고, 모양의 특징을 추출하는 과정에서 생성된 물품 기하구조를 기초로 검색된 유사한 이미지에 대해서 유사 디자인으로 2차적으로 결정할 수 있다. 일 실시예에서, 유사 디자인 검색부(330)는 검색 대상 디자인의 이미지에 대한 클러스터링 이미지를 산출하여 제공할 수 있다. 여기에서, 클러스터링 이미지는 복수의 이미지들에 대한 유사성을 기초로 그룹으로 분류된 이미지에 해당할 수 있다. 예를 들어, 클러스터링 이미지는 복수의 유사한 이미지들에 대해서 단일의 이미지로 형성될 수 있다. 일 실시예에서, 유사 디자인 검색부(330)는 검색 대상 디자인의 이미지에 대해서 클러스터링(clustering)을 수행하고, 생성된 클러스터링 이미지를 검색된 유사 디자인 각각에 대해서 제공할 수 있다.
유사 디자인 랭크부(340)는 형태분류 코드를 기초로 검색된 유사 디자인을 유사 순으로 랭크하여 표시할 수 있다. 일 실시예에서, 유사 디자인 랭크부(340)는 형태분류 코드가 완전히 동일한 유사 디자인에 대해서 높은 랭크를 부여할 수 있고, 형태분류 코드가 유사한 경우에는 낮은 랭크를 부여하는 방식으로 유사 디자인에 대한 랭크를 표시할 수 있다.
일 실시예에서, 유사 디자인 랭크부(340)는 검색된 유사 디자인을 유사 순으로 랭크하는 과정에서, 검색 대상 디자인과 유사 디자인간 유사한 정도를 나타내는 유사도 퍼센트를 산출하여 제공할 수 있다. 유사 디자인 랭크부(340)는 형상 및 모양의 특징을 중심으로 검출된 물품 기하구조를 기초로 검색된 유사 디자인에 대해서 가장 높은 유사도 퍼센트를 산출하고, 형상의 특징을 중심으로 검출된 물품 기하구조를 기초로 검색된 유사 디자인에 대해서 중간 유사도 퍼센트를 산출하며, 모양의 특징을 중심으로 검출된 물품 기하구조를 기초로 검색된 유사 디자인에 대해서 가장 낮은 유사도 퍼센트를 산출할 수 있다.
일 실시예에서, 유사 디자인 랭크부(340)는 형태분류 코드를 기초로 검색 대상 디자인과 형태분류 코드가 상이한 유사 디자인에 대하여 유사하지 않은 것으로 결정할 수 있다. 보다 구체적으로, 유사 디자인 랭크부(340)는 유사 디자인 검색부(330)를 통해 검색 대상 디자인의 이미지와 유사한 이미지가 검색되어 유사 디자인으로 결정되면, 결정된 유사 디자인을 유사순으로 랭크하는 과정에서, 형태분류 코드가 검색 대상 디자인과 상이한 유사 디자인에 대하여 비유사한 것으로 보고 유사 디자인으로 결정하지 않을 수 있다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유사 디자인 검색 방법을 나타내는 순서도이다.
도 4에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 이미지 수신부(310)를 통해 검색 대상 디자인의 이미지를 수신할 수 있다(단계 S410). 예를 들어, 이미지 수신부(310)는 사용자 단말(120)로부터 검색 대상 디자인의 도면 이미지 파일을 입력 받을 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 물품 검출부(320)를 통해 합성곱 신경망(CNN)을 기초로 검색 대상 디자인에 대한 물품 기하구조와 형태분류 코드를 검출할 수 있다(단계 S420). 보다 구체적으로, 물품 검출부(320)는 검색 대상 디자인의 형상 및 모양을 기초로 합성곱 신경망(CNN)을 통해 물품 기하구조와 형태분류 코드를 검출할 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 유사 디자인 검색부(330)를 통해 물품 기하구조를 기초로 검색 대상 디자인과 유사한 유사 디자인을 검색할 수 있다(단계 S430). 일 실시예에서, 유사 디자인 검색부(330)는 검색 대상 디자인의 입력 이미지와 유사한 이미지를 합성곱 신경망의 특징 추출과정에서 검색하고 유사한 디자인의 경우 유사디자인으로 결정할 수 있다.
인공지능 기반의 유사 디자인 검색 장치(110)는 유사 디자인 랭크부(340)를 통해 형태분류 코드를 기초로 검색된 유사 디자인을 유사 순으로 랭크하여 표시할 수 있다(단계 S440). 일 실시예에서, 유사 디자인 랭크부(340)는 형상의 특징을 중심으로 검색된 유사 디자인에 대해서 모양의 특징을 중심으로 검색된 유사 디자인보다 유사도가 더 높다고 결정할 수 있다.
도 5는 인공지능 기반의 유사 디자인 검색 장치의 예시도이다.
도 5에서, 인공지능 기반의 유사 디자인 검색 장치(110)는 검색 대상 이미지 입력 인터페이스(510)를 통해 사용자에 의해 입력된 검색 대상 이미지를 수신할 수 있다. 인공지능 기반의 유사 디자인 검색 장치(110)는 검색 대상 이미지 파일과 함께 사용자에 의해 키워드 입력 인터페이스(520)를 통해 입력된 검색 대상 디자인에 대한 키워드를 수신할 수 있다. 인공지능 기반의 유사 디자인 검색 장치(110)는 수신한 검색 대상 디자인의 이미지 및 키워드를 통해 합성곱 신경망(CNN)을 기초로 유사한 이미지들을 검색하고 유사 디자인으로 결정하며 결정된 유사 디자인에 대해서 유사 순으로 랭크할 수 있다. 예를 들어, 인공지능 기반의 유사 디자인 검색 장치(110)는 유사 디자인에 대해서 유사도 퍼센트를 산출하여 가장 높은 유사도 퍼센트를 가지는 유사 디자인에 대해서 가장 높은 랭크를 부여할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 인공지능 기반의 유사 디자인 검색 시스템
110: 인공지능 기반의 유사 디자인 검색 장치
120: 사용자 단말
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
310: 이미지 수신부 320: 물품 검출부
330: 유사 디자인 검색부 340: 유사 디자인 랭크부
350: 제어부
110: 인공지능 기반의 유사 디자인 검색 장치
120: 사용자 단말
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
310: 이미지 수신부 320: 물품 검출부
330: 유사 디자인 검색부 340: 유사 디자인 랭크부
350: 제어부
Claims (8)
- 검색 대상 디자인의 이미지를 수신하는 이미지 수신부;
합성곱 신경망(CNN, Convolutional Neural Network)을 기초로 상기 검색 대상 디자인에 대한 물품 기하구조와 형태분류 코드를 검출하는 물품 검출부;
상기 물품 기하구조를 기초로 상기 검색 대상 디자인과 유사한 유사 디자인을 검색하는 유사 디자인 검색부; 및
상기 형태분류 코드를 기초로 상기 검색된 유사 디자인을 유사 순으로 랭크하여 표시하는 유사 디자인 랭크부를 포함하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 이미지 수신부는
상기 검색 대상 디자인의 이미지와 함께 상기 검색 대상 디자인의 키워드를 수신하는 것을 특징으로 하는 인공지능 기반의 유사 디자인 검색 장치.
- 제1항에 있어서, 상기 물품 검출부는
상기 검색 대상 디자인의 형상의 특징을 추출하고 상기 형상의 특징을 중심으로 상기 검색 대상 디자인의 이미지를 재생성하여 상기 물품 기하구조를 검출하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
- 제3항에 있어서, 상기 물품 검출부는
상기 형상과 더불어 상기 검색 대상 디자인의 모양을 추출하고 상기 형상의 특징과 함께 상기 모양의 특징을 중심으로 상기 검색 대상 디자인의 이미지를 재생성하여 상기 물품 기하구조를 검출하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
- 제4항에 있어서, 상기 유사 디자인 검색부는
상기 물품 기하구조의 상기 형상의 특징을 중심으로 상기 유사 디자인을 먼저 결정하고 이후 상기 모양의 특징을 중심으로 상기 유사 디자인을 다시 결정하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
- 제1항에 있어서, 상기 유사 디자인 검색부는
상기 검색 대상 디자인의 이미지에 대한 클러스터링 이미지를 산출하여 제공하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
- 제1항에 있어서, 상기 유사 디자인 랭크부는
상기 검색된 유사 디자인을 유사 순으로 랭크하는 과정에서, 상기 검색 대상 디자인과 상기 유사 디자인간 유사한 정도를 나타내는 유사도 퍼센트를 산출하여 제공하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
- 제7항에 있어서, 상기 유사 디자인 랭크부는
상기 형태분류 코드를 기초로 상기 검색 대상 디자인과 형태분류 코드가 상이한 유사 디자인에 대하여 유사하지 않은 것으로 결정하는 것을 특징으로 하는 인공지능 기반의 디자인 검색 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190019755A KR20200101643A (ko) | 2019-02-20 | 2019-02-20 | 인공지능 기반의 유사 디자인 검색 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190019755A KR20200101643A (ko) | 2019-02-20 | 2019-02-20 | 인공지능 기반의 유사 디자인 검색 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200101643A true KR20200101643A (ko) | 2020-08-28 |
Family
ID=72292202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190019755A KR20200101643A (ko) | 2019-02-20 | 2019-02-20 | 인공지능 기반의 유사 디자인 검색 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200101643A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102381354B1 (ko) * | 2021-10-28 | 2022-04-01 | 주식회사 딥노이드 | 이미지에 포함된 물체에 대한 디자인권 검색 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160085004A (ko) | 2015-01-07 | 2016-07-15 | 한화테크윈 주식회사 | 중복 이미지 파일 검색 방법 및 장치 |
| KR20170131924A (ko) | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
-
2019
- 2019-02-20 KR KR1020190019755A patent/KR20200101643A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160085004A (ko) | 2015-01-07 | 2016-07-15 | 한화테크윈 주식회사 | 중복 이미지 파일 검색 방법 및 장치 |
| KR20170131924A (ko) | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102381354B1 (ko) * | 2021-10-28 | 2022-04-01 | 주식회사 딥노이드 | 이미지에 포함된 물체에 대한 디자인권 검색 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461392B2 (en) | Providing relevant cover frame in response to a video search query | |
| Rukhovich et al. | Iterdet: iterative scheme for object detection in crowded environments | |
| US7502780B2 (en) | Information storage and retrieval | |
| KR102222564B1 (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
| US20170249339A1 (en) | Selected image subset based search | |
| EP4091100A1 (en) | Systems and methods for identifying an object of interest from a video sequence | |
| US10754887B1 (en) | Systems and methods for multimedia image clustering | |
| WO2020236310A1 (en) | Generating and applying an object-level relational index for images | |
| CN104679902A (zh) | 一种结合跨媒体融合的信息摘要提取方法 | |
| US10698917B2 (en) | Managing electronic slide decks | |
| US11609942B2 (en) | Expanding search engine capabilities using AI model recommendations | |
| JP2004178604A (ja) | 情報検索装置及びその方法 | |
| Karthikeyan et al. | Probability based document clustering and image clustering using content-based image retrieval | |
| US7668853B2 (en) | Information storage and retrieval | |
| US11372873B2 (en) | Managing electronic slide decks | |
| US11756301B2 (en) | System and method for automatically detecting and marking logical scenes in media content | |
| US20180349006A1 (en) | Managing electronic documents | |
| US20180276286A1 (en) | Metadata Extraction and Management | |
| Trad et al. | Large scale visual-based event matching | |
| CN112116028B (zh) | 模型决策解释实现方法、装置及计算机设备 | |
| KR20200101643A (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
| US11748973B2 (en) | Systems and methods for generating object state distributions usable for image comparison tasks | |
| WO2017135889A1 (en) | Ontology determination methods and ontology determination devices | |
| US20240087365A1 (en) | Systems and methods for identifying an object of interest from a video sequence | |
| KR102063797B1 (ko) | 텍스트 자동요약 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |