KR102585912B1 - 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 - Google Patents

디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102585912B1
KR102585912B1 KR1020230024601A KR20230024601A KR102585912B1 KR 102585912 B1 KR102585912 B1 KR 102585912B1 KR 1020230024601 A KR1020230024601 A KR 1020230024601A KR 20230024601 A KR20230024601 A KR 20230024601A KR 102585912 B1 KR102585912 B1 KR 102585912B1
Authority
KR
South Korea
Prior art keywords
product
image
similarity
design
learning
Prior art date
Application number
KR1020230024601A
Other languages
English (en)
Inventor
장호준
현지훈
최우식
김태규
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Application granted granted Critical
Publication of KR102585912B1 publication Critical patent/KR102585912B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • G06F17/153Multidimensional correlation or convolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/11Patent retrieval
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/923Intellectual property
    • Y10S707/937Intellectual property intellectual property searching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Algebra (AREA)
  • Technology Law (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법은 디자인검색부가 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하는 단계와, 제품검색부가 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스로부터 상기 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하는 단계와, 유사도산출부가 상기 제품 이미지를 포함하는 페이지와 상기 등록디자인공보를 비교함으로써, 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 단계와, 정보제공부가 상기 산출된 유사도에 따라 상기 제품 이미지를 정렬하여 제공하는 단계를 포함한다.

Description

디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법{Apparatus for automatically searching for products groups to which design rights are applied and method therefor}
본 발명은 제품군을 자동으로 탐색하기 위한 기술에 관한 것으로, 보다 상세하게는 디자인권이 적용된 제품을 자동으로 탐색하기 위한 장치 및 이를 위한 방법에 관한 것이다.
한편, 본 발명은 아래 표 1의 국가연구개발사업의 지원을 받았다.
과제고유번호 -
과제번호 -
부처명 과학기술정보통신부
과제관리(전문)기관명 정보통신산업진흥원
연구사업명 AI융합 불법복제품 판독시스템 사업
연구과제명 AI융합 불법복제품 판독시스템 사업
기여율 100%
과제수행기관명 (주)딥노이드
연구기간 2022.05.01 ~ 2022.12.31
디자인 등록공보는 디자인권이 실제 적용된 제품에 대한 정보를 명시적으로 서술하고 있지 않아, 디자인권이 보호하고자 하는 실제 제품을 탐색하기 어렵다. 외형적인 형태와 그 기능을 권리로 하는 디자인권의 특성상, 그 해석과 쟁의에 있어서 디자인권이 적용된 실제 제품과의 비교는 매우 중요한 의미를 갖는다. 하지만 상술한 바와 같이 디자인권이 적용된 실제 제품에 대한 탐색의 어려움은 결과적으로 디자인 특허에 대한 접근성을 약화시키는 요인으로 작용한다.
한국공개특허 제2020-0119370호 (2020년10월20일 공개)
본 발명의 목적은 디자인권 등록공보를 바탕으로 해당 디자인권이 적용될 가능성이 있는 제품군을 자동으로 검색하여 사용자가 보다 쉽고 빠르게 디자인권이 적용된 제품을 탐색할 수 있도록 하기 위한 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법은 디자인검색부가 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하는 단계와, 제품검색부가 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스로부터 상기 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하는 단계와, 유사도산출부가 상기 제품 이미지를 포함하는 페이지와 상기 등록디자인공보를 비교함으로써, 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 단계와, 정보제공부가 상기 산출된 유사도에 따라 상기 제품 이미지를 정렬하여 제공하는 단계를 포함한다.
상기 유사도를 산출하는 단계는 상기 유사도산출부가 상기 등록디자인공보의 텍스트와 상기 페이지의 텍스트를 비교하여 설명 유사도를 산출하는 단계와, 상기 유사도산출부가 상기 등록디자인공보의 복수의 도면과 상기 페이지의 제품 이미지의 이미지 유사도를 산출하는 단계와, 상기 설명 유사도 및 이미지 유사도의 가중합을 통해 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 단계를 포함한다.
상기 이미지 유사도를 산출하는 단계는 상기 유사도산출부가 상기 등록디자인공보의 복수의 도면을 결합하여 대상 물품을 나타내는 3차원 이미지를 생성하는 단계와, 상기 유사도산출부가 상기 3차원 이미지를 2 이상의 서로 다른 방향으로 배향하여 서로 다른 방향에서 바라본 복수의 사시도를 도출하는 단계와, 상기 유사도산출부가 상기 페이지의 제품 이미지와 상기 복수의 사시도 각각의 개별 유사도를 산출하는 단계와, 상기 유사도산출부가 상기 산출된 개별 유사도의 합을 이미지 유사도로 도출하는 단계를 포함한다.
상기 개별 유사도를 산출하는 단계는 상기 유사도산출부가 대조모델을 통해 상기 복수의 사시도 중 어느 하나의 사시도를 상기 대조모델이 정의하는 벡터 공간에 사상하여 기준 벡터를 도출하는 단계와, 상기 유사도산출부가 상기 대조모델을 통해 상기 제품 이미지를 상기 벡터공간에 사상하여 대조 벡터를 도출하는 단계와, 상기 유사도산출부가 상기 벡터공간 상에서 상기 기준 벡터와 상기 대조 벡터 간의 거리에 따라 상기 사시도와 상기 제품 이미지 간의 개별 유사도를 산출하는 단계를 포함한다.
상기 기준 벡터를 도출하는 단계는 상기 대조모델의 2 이상의 연속된 컨벌루션 계층이 상기 사시도에 대해 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 특징 지도를 생성하는 단계와, 상기 대조모델의 완전연결층의 복수의 연산 노드가 상기 특징 지도의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 상기 복수의 연산 노드 각각에 대응하는 성분을 가지는 기준 벡터를 생성하는 단계를 포함한다.
상기 방법은 상기 등록디자인공보를 검색하는 단계 전, 학습부가 학습용 제품 이미지와 상기 학습용 제품 이미지가 에지로만 이루어진 에지 이미지를 레이블로 하는 학습 데이터를 마련하는 단계와, 인코더 및 디코더를 포함하는 학습모델이 학습용 제품 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 에지 이미지를 모사하는 모사 이미지를 도출하는 연산 단계와, 상기 학습부가 손실함수를 통해 상기 레이블과 상기 모사 이미지의 차이를 나타내는 손실을 산출하는 손실 산출 단계와, 상기 학습부가 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 단계와, 기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 단계, 상기 손실 산출 단계 및 상기 최적화 단계를 반복하는 단계와, 학습이 종료되면, 상기 학습모델의 상기 인코더 및 상기 디코더 중 상기 인코더를 추출하고, 상기 인코더에 완전연결층을 부가하여 대조모델을 생성하는 단계를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치는 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하는 디자인검색부와, 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스로부터 상기 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하는 제품검색부와, 상기 제품 이미지를 포함하는 페이지와 상기 등록디자인공보를 비교함으로써, 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 유사도산출부와, 상기 산출된 유사도에 따라 상기 제품 이미지를 정렬하여 제공하는 정보제공부를 포함한다.
상기 유사도산출부는 상기 등록디자인공보의 텍스트와 상기 페이지의 텍스트를 비교하여 설명 유사도를 산출하고, 상기 등록디자인공보의 복수의 도면과 상기 페이지의 제품 이미지의 이미지 유사도를 산출하고, 상기 설명 유사도 및 이미지 유사도의 가중합을 통해 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 것을 특징으로 한다.
상기 유사도산출부는 상기 등록디자인공보의 복수의 도면을 결합하여 대상 물품을 나타내는 3차원 이미지를 생성하고, 상기 3차원 이미지를 2 이상의 서로 다른 방향으로 배향하여 서로 다른 방향에서 바라본 복수의 사시도를 도출하고, 상기 페이지의 제품 이미지와 상기 복수의 사시도 각각의 개별 유사도를 산출하고, 상기 산출된 개별 유사도의 합을 이미지 유사도로 도출하는 것을 특징으로 한다.
상기 유사도산출부는 대조모델을 통해 상기 복수의 사시도 중 어느 하나의 사시도를 상기 대조모델이 정의하는 벡터 공간에 사상하여 기준 벡터를 도출하고, 상기 대조모델을 통해 상기 제품 이미지를 상기 벡터공간에 사상하여 대조 벡터를 도출하고, 상기 벡터공간 상에서 상기 기준 벡터와 상기 대조 벡터 간의 거리에 따라 상기 사시도와 상기 제품 이미지 간의 개별 유사도를 산출하는 것을 특징으로 한다.
상기 대조모델은 상기 사시도에 대해 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 특징 지도를 생성하는 2 이상의 연속된 컨벌루션 계층과, 상기 특징 지도의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 상기 복수의 연산 노드 각각에 대응하는 성분을 가지는 기준 벡터를 생성하는 복수의 연산 노드를 포함하는 완전연결층을 포함한다.
상기 장치는 학습용 제품 이미지와 상기 학습용 제품 이미지가 에지로만 이루어진 에지 이미지를 레이블로 하는 학습 데이터를 마련하고, 기 설정된 학습 종료 조건이 만족 될 때까지 인코더 및 디코더를 포함하는 학습모델을 통해 상기 학습용 제품 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 에지 이미지를 모사하는 모사 이미지를 도출하는 연산 프로세스와, 손실함수를 통해 상기 레이블과 상기 모사 이미지의 차이를 나타내는 손실을 산출하는 손실 산출 프로세스와, 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 프로세스를 반복하고, 기 설정된 학습 종료 조건이 만족되어 학습이 종료되면, 상기 학습모델의 상기 인코더 및 상기 디코더 중 상기 인코더를 추출하고, 상기 인코더에 완전연결층을 부가하여 대조모델을 생성하는 학습부를 더 포함한다.
본 발명은 텍스트 및 이미지 비교를 통해 디자인권이 적용된 제품군을 보다 정확하게 탐색할 수 있다.
도 1은 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 학습모델의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 대조모델의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 대조모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 이미지 유사도를 산출하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
특히, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
먼저, 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치의 구성에 대해 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 학습모델의 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 대조모델의 구성을 설명하기 위한 도면이다.
도 1을 참고하면, 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 탐색장치(10)는 학습부(100), 디자인검색부(200), 제품검색부(300), 유사도산출부(400), 정보제공부(500)를 포함한다.
학습부(100)는 본 발명의 실시예에 따른 학습(machine learnging/deep learning)을 통해 학습모델(LM) 및 대조모델(CM)을 생성하기 위한 것이다. 학습부(100)는 학습모델(LM)을 생성한 후, 학습모델(LM)로부터 대조모델(CM)을 생성한다.
디자인검색부(200)는 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하기 위한 것이다.
제품검색부(300)는 디자인검색부(200)가 검색한 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하기 위한 것이다. 여기서, 페이지는 웹 페이지가 될 수 있다.
유사도산출부(400)는 제품 이미지를 포함하는 페이지와 등록디자인공보를 비교함으로써, 대상 물품과 검색된 페이지의 제품 이미지의 유사도를 산출하기 위한 것이다.
정보제공부(500)는 유사도산출부(400)가 산출한 유사도에 따라 제품 이미지를 정렬하여 제공한다.
학습부(100), 디자인검색부(200), 제품검색부(300), 유사도산출부(400), 정보제공부(500)를 포함하는 탐색장치(10)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명하기로 한다.
도 2 및 도 3을 참조하면, 유사도산출부(400)는 대조모델(CM)을 이용하여 대상 물품과 검색된 페이지의 제품 이미지의 이미지 유사도를 산출할 수 있다. 대조모델(CM)은 학습모델(LM)을 기초로 생성된다. 학습모델(LM) 및 대조모델(CM)은 인공신경망(ANN: Artificial Neural Network) 모델이 될 수 있다. 이러한 학습모델(LM) 및 대조모델(CM)을 포함하는 인공신경망 모델(ANN)은 서로 연결된 복수의 계층(혹은 모듈)을 포함하며, 복수의 계층(혹은 모듈)은 복수의 연산으로 이루어진다. 또한, 복수의 계층(혹은 모듈)은 가중치(W: weight)로 연결된다. 즉, 어느 하나의 계층(혹은 모듈)의 연산 결과에 따른 출력은 가중치가 적용되어 다음 계층의 연산에 입력된다. 인공신경망 모델(ANN)은 입력 데이터에 대해 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 수행하여 출력값을 도출한다. 이러한 인공신경망 모델(ANN)의 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다.
도 2를 참조하면, 학습모델(LM)은 오토인코더(Auto-Encoder)를 예시할 수 있다. 학습모델(LM)은 입력되는 제품 이미지(GI)에 대해 가중치 연산을 수행하여 제품 이미지(GI)를 모사하는 모사 이미지(PI)를 출력하도록 학습된다.
학습모델(LM)은 인코더(EN) 및 디코더(DE)를 포함한다. 인코더(EN) 및 디코더(DE)를 포함하는 학습모델(LM)은 복수의 계층을 포함하며, 복수의 계층은 복수의 연산을 포함한다. 또한, 복수의 계층 간은 가중치(w: weight)로 연결된다. 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층 노드의 입력이 된다.
인코더(EN)는 컨벌루션(Convolution) 연산 및 활성화함수에 의한 연산을 포함하는 복수의 컨벌루션층(Convolution Layer: CL)을 포함한다. 인코더(EN)는 입력 데이터에 대해 가중치 연산을 수행하여 가중치 연산을 수행하여 잠재 벡터(z: Latent Vector)를 산출한다. 다른 말로, 인코더(EN)는 제품 이미지(GI)를 압축하여 잠재 벡터(z)를 도출한다. 디코더(DE)는 디컨벌루션(Deconvolution) 연산 및 활성화함수에 의한 연산을 포함하는 복수의 디컨벌루션층(Deconvolution Layer: DL)을 포함한다. 디코더(DE)는 짐재벡터(z)를 입력받고, 입력된 잠재벡터(z)에 대해 가중치 연산을 수행하여 제품 이미지(GI)를 모사하는 모사 이미지(PI)를 산출한다.
정리하면, 학습모델(LM)의 복수의 계층은 컨벌루션층(CL) 및 디컨벌루션층(DL)을 포함한다. 이러한 복수의 계층은 디컨벌루션(Deconvolution) 연산, 컨벌루션 연산 및 활성화함수에 의한 연산을 포함한다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다.
도 3을 참조하면, 대조모델(CM)은 학습모델(LM)의 인코더(EN) 및 디코더(DE) 중 디코더(DE)를 제외하고, 인코더(EN)에 완전연결층(fully-connected layer: FL)을 부가한 것이다.
이러한 대조모델(CM)은 예컨대, 제품 이미지, 사시도와 같은 입력되는 데이터를 대조모델(CM)이 정의하는 벡터 공간(VS)에 사상하여 임베딩 벡터를 생성한다. 여기서, 사시도는 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품을 나타내며, 사시도에 대한 임베딩 벡터를 기준 벡터라고 칭하기로 한다. 또한, 제품 이미지에 대한 임베딩 벡터를 대조 벡터라고 칭하기로 한다. 이에 따라, 대조모델(CM)은 입력층(input layer: IL), 복수의 컨벌루션층(convolution layer: CL) 및 완전연결층(fully-connected layer: FL)을 포함한다. 일 실시예에 따르면, 컨볼루션층(CL)은 적어도 하나의 특징 지도(FM: Feature Map)를 생성한다. 특징 지도(FM)는 이전 계층의 연산 결과에 대해 가중치 및 임계치를 적용한 값을 입력받고, 입력받은 값에 대한 연산을 수행한 결과로 도출된다. 이러한 가중치는 소정 크기의 가중치 행렬인 필터 혹은 커널을 통해 적용된다. 일 실시예에 따르면, 대조모델(CM)은 2개의 컨벌루션층, 즉, 제1 컨벌루션층(CL1) 및 제2 컨벌루션층(CL2)이 적용될 수 있다.
입력층(IL)은 제품 이미지 혹은 사시도와 같은 입력 데이터를 입력받기 위한 것이다. 입력층(IL)에 입력 데이터가 입력되면, 제1 컨볼루션층(CL1)은 입력층(IL)의 입력 데이터에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징 지도(FM1)를 도출한다. 이어서, 제2 컨볼루션층(CL2)은 제2 컨볼루션층(CL1)의 적어도 하나의 제1 특징 지도(FM1)에 대해 제2 필터(W2)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제2 특징 지도(FM2)를 도출한다.
완결연결층(FL)은 복수의 연산노드(f1 내지 fn)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(f1 내지 fn)는 제2 컨볼루션층(CL2)의 적어도 하나의 제2 특징 지도(FM2)의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 통해 벡터 공간(VS: Vector Space)에 사상되는 임베딩 벡터를 산출한다. 즉, 임베딩 벡터는 이에 따라, 복수의 연산노드(f1 내지 fn) 각각에 대응하는 성분을 가진다.
정리하면, 사시도 혹은 제품 이미지와 같은 입력 데이터에 대해 대조모델(CM)의 2 이상의 연속된 컨벌루션 계층(예컨대, CL1, CL2)이 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수를 이용한 연산을 수행하여 특징 지도(FM)를 생성하고, 대조모델(CM)의 완전연결층의 복수의 연산 노드(예컨대, f1 내지 fn)가 특징 지도(FM)의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 기준 벡터 혹은 대조 벡터를 생성한다. 이에 따라, 기준 벡터 혹은 대조 벡터는 복수의 연산 노드(예컨대, f1 내지 fn) 각각에 대응하는 성분을 가진다.
전술한 컨벌루션층(CL) 및 완결연결층(FL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에 이러한 활성화함수 중 어느 하나를 선택하여 적용할 수 있다.
다음으로, 본 발명의 실시예에 따른 대조모델을 생성하는 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 대조모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 학습부(100)는 S110 단계에서 학습 데이터를 마련한다. 학습 데이터는 학습부가 학습용 제품 이미지(GI) 및 학습용 제품 이미지에 대응하는 레이블인 에지 이미지(EI)를 포함한다. 학습용 제품 이미지는 컬러, 텍스처, 에지를 모두 포함하는 컬러 이미지이다. 레이블인 에지 이미지(EI)는 학습용 제품 이미지의 요소 중 컬러, 텍스처 등이 제외되고 에지로만 이루어진 것이다.
그런 다음, 학습부(100)는 S120 단계에서 학습용 제품 이미지를 학습모델(LM)에 입력한다. 그러면, 학습모델(LM)은 S130 단계에서 학습용 제품 이미지에 대해 가중치 연산을 수행하여 학습용 제품 이미지를 모사하는 모사 이미지를 생성한다. 구체적으로, 도 2에 도시된 바와 같이, 학습모델(LM)의 인코더(E)는 학습용 제품 이미지(GI)를 압축하여 잠재 벡터(z)를 도출하고, 학습모델(LM)의 디코더(D)는 잠재 벡터(z)를 복원하여 학습용 제품 이미지(GI)를 모사하는 모사 이미지(PI)를 도출한다.
그러면, 학습부(100)는 S140 단계에서 손실함수를 통해 모사 이미지(PI)와 레이블인 에지 이미지(EI)와의 차이를 나타내는 손실을 산출한다. 이어서, 학습부(100)는 S150 단계에서 도출된 학습 손실이 최소가 되도록 최적화 알고리즘을 통해 학습모델(LM)의 가중치를 갱신하는 최적화를 수행한다.
다음으로, 학습부(100)는 S160 단계에서 학습 완료 조건을 만족하는지 여부를 확인한다. 여기서, 학습 완료 조건은 손실이 임계치 미만인 경우, 손실이 수렵하는 경우, 학습률이 소정 수치 이상인 경우 등을 예시할 수 있다.
상기 확인 결과, 학습 완료 조건을 만족하지 않는 경우, 전술한 S120 단계 내지 S160 단계를 반복한다. 반면, 상기 확인 결과, 학습 완료 조건을 만족하는 경우, 학습부(100)은 S170 단계에서 학습을 완료한다.
학습이 완료된 후, 학습부(100)는 S180 단계에서 학습모델(LM)의 인코더(EN) 및 디코더(DE) 중 디코더(DE)를 제외한 인코더(EN)를 추출하고, 추출된 인코더(EN)에 완전연결층(FCL: Fully-connected Layer)을 부가하여 대조모델(CM)을 생성한다.
다음으로, 본 발명의 실시예에 따른 대조모델을 이용하여 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 디자인검색부(200)는 S210 단계에서 사용자의 입력에 따라 검색하고자 하는 대상 물품에 대한 등록디자인공보를 검색한다. 이때, 디자인검색부(200)는 사용자로부터 검색어, 검색 옵션 등을 입력받고, 공공데이터 포털 및 키프리스 플러스 등에서 제공하는 디자인 공보 검색 기능, 혹은, 디자인 육면도 검색 Open API와의 통신을 통해 등록디자인공보를 검색할 수 있다.
그런 다음, 제품검색부(300)는 S220 단계에서 검색된 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색한다.
S220 단계에서 제품검색부(300)는 검색어인 디자인권자 및 디자인의 대상이 되는 물품을 수정할 수 있다. 일 실시예에 따르면, 제품검색부(300)는 기 설정된 대상 키워드를 삭제하거나, 대상 키워드를 의역하여 검색어를 수정할 수 있다. 이러한 삭제 혹은 의역의 예는 다음의 표 2와 같다.
구분 검색어 대상 키워드 작업 수정된 검색어
디자인권자 엘지전자주식회사 주식회사 삭제 엘지전자
삼성전자주식회사 주식회사 삭제 삼성전자
애플 인코. 인코. 삭제 애플
구글 엘엘씨 엘엘씨 삭제 구글
㈜에어비타 삭제 에어비타
디자인의 대상이 되는 물품 휴대정보단말기 케이스 휴대정보단말기 의역 휴대폰 케이스
모바일기기용 케이스 모바일기기용 의역 휴대폰 케이스
운동용 신발 운동용 신발 의역 운동화
복사기용 토너 카트리지 카트리지 삭제 복사기용 토너
텔레비전 수상기 수상기 삭제 텔레비전
다른 실시예에 따르면, 제품검색부(300)는 등록디자인공보의 물품 분류에 따라 검색어를 수정하여 도출할 수 있다. 예를 들면, 디자인의 대상이 되는 물품이 "가습기가 부설된 공기청정기"이고, 물품 분류가 "D4-34" 및 "D4-331"이면, 물품 분류에 따라 검색어 "가습기" 및 "공기청정기"를 도출할 수 있다. S220 단계에서 제품검색부(300)는 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스(데이터베이스 서버)로부터 크롤링(crawling) 혹은 스크레이핑(scraping)을 통해 검색어에 해당하는 제품 이미지를 포함하는 하나 이상의 페이지를 검색한다. 여기서, 데이터베이스는 예컨대, danawa.com, naver.com, google.com 등을 예시할 수 있다. 특히, 해당 페이지는 해당 제품에 대한 설명을 포함할 수 있다.
다음으로, 유사도산출부(400)는 S230 단계에서 제품 이미지를 포함하는 페이지와 등록디자인공보를 비교함으로써, 대상 물품과 검색된 페이지의 제품 이미지의 유사도를 산출한다.
이때, 유사도산출부(400)는 검색된 페이지의 텍스트 및 등록디자인공보의 텍스트를 비교하여 설명 유사도를 산출할 수 있다. 여기서, 등록디자인공보의 텍스트는 식별기호 "디자인의 설명" 및 "디자인 창작 내용의 요점"에 기재된 텍스트가 될 수 있다. 검색된 페이지의 텍스트는 제품에 대한 설명에 대한 것일 수 있다.
또한, 유사도산출부(400)는 등록디자인공보의 복수의 도면과 페이지의 제품 이미지의 이미지 유사도를 산출한다.
그런 다음, 유사도산출부(400)는 설명 유사도 및 이미지 유사도의 가중합을 통해 최종적으로 대상 물품과 검색된 페이지의 제품 이미지의 유사도를 산출한다.
다음으로, 정보제공부(500)는 S240 단계에서 유사도에 따라 제품 이미지를 정렬하여 제공한다. 이때, 유사도가 높은 순으로 검색된 페이지에서 제품 이미지를 추출하여 제공할 수 있다.
다음으로, 전술한 이미지 유사도를 산출하는 방법에 대해 보다 구체적으로 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 이미지 유사도를 산출하는 방법을 설명하기 위한 흐름도이다.
유사도산출부(400)는 S310 단계에서 등록디자인공보의 복수의 도면을 결합하여 3차원 이미지를 생성한다. 등록디자인공보의 복수의 도면은 6면도 및 사시도를 포함하며, 사시도를 참조로 6면도를 결합하여 해당 디자인권의 대상이 되는 물품인 대상 물품을 나타내는 3차원 이미지를 생성할 수 있다.
그런 다음, 유사도산출부(400)는 S320 단계에서 3차원 이미지를 2 이상의 서로 다른 방향으로 배향하여 서로 다른 방향에서 바라본 복수의 사시도를 도출한다.
유사도산출부(400)는 S330 단계에서 페이지의 제품 이미지와 복수의 사시도 각각의 개별 유사도를 산출한다. 이때, 유사도산출부(400)는 대조모델(CM)을 이용하여 복수의 사시도 중 어느 하나의 사시도와 제품 이미지와의 유사도를 산출할 수 있다.
이에 대해 도 3을 참조하여 보다 구체적으로 설명하면 다음과 같다. 먼저, 유사도산출부(400)는 대조모델(CM)을 통해 복수의 사시도 중 어느 하나의 사시도를 유사도산출부(400)이 정의하는 벡터 공간(VS)에 사상하여 기준 벡터를 도출한다. 또한, 유사도산출부(400)는 대조모델(CM)을 통해 제품 이미지를 유사도산출부(400)이 정의하는 벡터 공간(VS)에 사상하여 대조 벡터를 도출한다.
도 3을 참조로 설명된 바와 같이, 사시도 혹은 제품 이미지에 대해 대조모델(CM)의 2 이상의 연속된 컨벌루션 계층(예컨대, CL1, CL2)이 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수를 이용한 연산을 수행하여 특징 지도(FM)를 생성하고, 대조모델(CM)의 완전연결층의 복수의 연산 노드(예컨대, f1 내지 fn)가 특징 지도(FM)의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 기준 벡터 혹은 대조 벡터를 생성한다. 이에 따라, 기준 벡터 혹은 대조 벡터는 복수의 연산 노드(예컨대, f1 내지 fn) 각각에 대응하는 성분을 가진다.
이어서, 유사도산출부(400)는 벡터공간(VS) 상에서 기준 벡터와 대조 벡터 간의 거리에 따라 사시도와 제품 이미지 간의 개별 유사도를 산출할 수 있다.
전술한 바와 같은 방법으로, 페이지의 제품 이미지와 복수의 사시도 각각의 개별 유사도를 산출하면, 유사도산출부(400)는 S340 단계에서 산출된 개별 유사도의 합을 이미지 유사도로 도출할 수 있다.
제품을 설명하기 위한 페이지의 제품 이미지는 등록디자인공보의 도면과 다른 방향에서 바라본 이미지일 수 있다. 이에 따라, 본 발명은 등록디자인공보의 복수의 도면으로부터 대상 물품을 나타내는 3차원 이미지를 생성하고, 무작위로 서로 다른 복수의 방향에서 3차원 이미지를 바라본 복수의 사시도를 생성하고, 이를 이용하여 이미지 유사도로 도출함으로써 이미지 유사도의 정확도가 향상된다. 특히, 본 발명은 제품 이미지(GI)에 대응하는 에지 이미지(EI)를 학습 데이터로 이용하여 제품 이미지의 에지의 특징을 검출하도록 인코더(EN)를 학습시킨다. 이로써, 학습된 인코더(EN)를 포함하는 대조모델(CM)을 통해 벡터 공간 상에서 유사도를 산출함으로써 보다 정밀하게 등록디자인공보의 이미지와 제품 이미지 간의 이미지 유사도를 도출할 수 있다.
도 7은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 탐색장치(10) 등이 될 수 있다.
도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 탐색장치
100: 학습부
200: 디자인검색부
300: 제품검색부
400: 유사도산출부
500: 정보제공부

Claims (12)

  1. 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법에 있어서,
    디자인검색부가 검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하는 단계;
    제품검색부가 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스로부터 상기 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하는 단계;
    유사도산출부가 상기 제품 이미지를 포함하는 페이지와 상기 등록디자인공보를 비교함으로써, 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 단계; 및
    정보제공부가 상기 산출된 유사도에 따라 상기 제품 이미지를 정렬하여 제공하는 단계;
    를 포함하며,
    상기 유사도를 산출하는 단계는
    상기 유사도산출부가 상기 등록디자인공보의 텍스트와 상기 페이지의 텍스트를 비교하여 설명 유사도를 산출하는 단계;
    상기 유사도산출부가 상기 등록디자인공보의 복수의 도면과 상기 페이지의 제품 이미지의 이미지 유사도를 산출하는 단계; 및
    상기 설명 유사도 및 이미지 유사도의 가중합을 통해 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 단계;
    를 포함하며,
    상기 이미지 유사도를 산출하는 단계는
    상기 유사도산출부가 상기 등록디자인공보의 복수의 도면을 결합하여 대상 물품을 나타내는 3차원 이미지를 생성하는 단계;
    상기 유사도산출부가 상기 3차원 이미지를 2 이상의 서로 다른 방향으로 배향하여 서로 다른 방향에서 바라본 복수의 사시도를 도출하는 단계;
    상기 유사도산출부가 상기 페이지의 제품 이미지와 상기 복수의 사시도 각각의 개별 유사도를 산출하는 단계;
    상기 유사도산출부가 상기 산출된 개별 유사도의 합을 이미지 유사도로 도출하는 단계;
    를 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 개별 유사도를 산출하는 단계는
    상기 유사도산출부가 대조모델을 통해 상기 복수의 사시도 중 어느 하나의 사시도를 상기 대조모델이 정의하는 벡터 공간에 사상하여 기준 벡터를 도출하는 단계;
    상기 유사도산출부가 상기 대조모델을 통해 상기 제품 이미지를 상기 벡터공간에 사상하여 대조 벡터를 도출하는 단계; 및
    상기 유사도산출부가 상기 벡터공간 상에서 상기 기준 벡터와 상기 대조 벡터 간의 거리에 따라 상기 사시도와 상기 제품 이미지 간의 개별 유사도를 산출하는 단계;
    를 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법.
  5. 제4항에 있어서,
    상기 기준 벡터를 도출하는 단계는
    상기 대조모델의 2 이상의 연속된 컨벌루션 계층이 상기 사시도에 대해 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 특징 지도를 생성하는 단계; 및
    상기 대조모델의 완전연결층의 복수의 연산 노드가 상기 특징 지도의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 상기 복수의 연산 노드 각각에 대응하는 성분을 가지는 기준 벡터를 생성하는 단계;
    를 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법.
  6. 제1항에 있어서,
    상기 등록디자인공보를 검색하는 단계 전,
    학습부가 학습용 제품 이미지와 상기 학습용 제품 이미지가 에지로만 이루어진 에지 이미지를 레이블로 하는 학습 데이터를 마련하는 단계;
    인코더 및 디코더를 포함하는 학습모델이 학습용 제품 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 에지 이미지를 모사하는 모사 이미지를 도출하는 연산 단계;
    상기 학습부가 손실함수를 통해 상기 레이블과 상기 모사 이미지의 차이를 나타내는 손실을 산출하는 손실 산출 단계;
    상기 학습부가 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 단계;
    기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 단계, 상기 손실 산출 단계 및 상기 최적화 단계를 반복하는 단계; 및
    학습이 종료되면, 상기 학습모델의 상기 인코더 및 상기 디코더 중 상기 인코더를 추출하고, 상기 인코더에 완전연결층을 부가하여 대조모델을 생성하는 단계;
    를 더 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 방법.
  7. 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치에 있어서,
    검색하고자 하는 디자인권의 대상이 되는 물품인 대상 물품의 등록디자인공보를 검색하는 디자인검색부;
    공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스로부터 상기 등록디자인공보의 디자인권자 및 디자인의 대상이 되는 물품을 검색어로 제품 이미지를 포함하는 하나 이상의 페이지를 검색하는 제품검색부;
    상기 제품 이미지를 포함하는 페이지와 상기 등록디자인공보를 비교함으로써, 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하는 유사도산출부; 및
    상기 산출된 유사도에 따라 상기 제품 이미지를 정렬하여 제공하는 정보제공부;
    를 포함하며,
    상기 유사도산출부는
    상기 등록디자인공보의 텍스트와 상기 페이지의 텍스트를 비교하여 설명 유사도를 산출하고,
    상기 등록디자인공보의 복수의 도면과 상기 페이지의 제품 이미지의 이미지 유사도를 산출하고,
    상기 설명 유사도 및 이미지 유사도의 가중합을 통해 상기 대상 물품과 상기 검색된 페이지의 제품 이미지의 유사도를 산출하며,
    상기 유사도산출부는
    상기 등록디자인공보의 복수의 도면을 결합하여 대상 물품을 나타내는 3차원 이미지를 생성하고,
    상기 3차원 이미지를 2 이상의 서로 다른 방향으로 배향하여 서로 다른 방향에서 바라본 복수의 사시도를 도출하고,
    상기 페이지의 제품 이미지와 상기 복수의 사시도 각각의 개별 유사도를 산출하고,
    상기 산출된 개별 유사도의 합을 이미지 유사도로 도출하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 유사도산출부는
    대조모델을 통해 상기 복수의 사시도 중 어느 하나의 사시도를 상기 대조모델이 정의하는 벡터 공간에 사상하여 기준 벡터를 도출하고,
    상기 대조모델을 통해 상기 제품 이미지를 상기 벡터공간에 사상하여 대조 벡터를 도출하고,
    상기 벡터공간 상에서 상기 기준 벡터와 상기 대조 벡터 간의 거리에 따라 상기 사시도와 상기 제품 이미지 간의 개별 유사도를 산출하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치.
  11. 제10항에 있어서,
    상기 대조모델은
    상기 사시도에 대해 학습된 가중치가 적용되는 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 특징 지도를 생성하는 2 이상의 연속된 컨벌루션 계층; 및
    상기 특징 지도의 성분에 대해 동일한 가중치가 적용되는 활성화함수에 의한 연산을 수행하여 상기 복수의 연산 노드 각각에 대응하는 성분을 가지는 기준 벡터를 생성하는 복수의 연산 노드를 포함하는 완전연결층;
    을 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치.
  12. 제7항에 있어서,
    학습용 제품 이미지와 상기 학습용 제품 이미지가 에지로만 이루어진 에지 이미지를 레이블로 하는 학습 데이터를 마련하고,
    기 설정된 학습 종료 조건이 만족 될 때까지
    인코더 및 디코더를 포함하는 학습모델을 통해 상기 학습용 제품 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 에지 이미지를 모사하는 모사 이미지를 도출하는 연산 프로세스와,
    손실함수를 통해 상기 레이블과 상기 모사 이미지의 차이를 나타내는 손실을 산출하는 손실 산출 프로세스와,
    상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 프로세스를
    반복하고,
    기 설정된 학습 종료 조건이 만족되어 학습이 종료되면,
    상기 학습모델의 상기 인코더 및 상기 디코더 중 상기 인코더를 추출하고, 상기 인코더에 완전연결층을 부가하여 대조모델을 생성하는
    학습부;
    를 더 포함하는 것을 특징으로 하는
    디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치.
KR1020230024601A 2022-12-14 2023-02-23 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 KR102585912B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220175316 2022-12-14
KR1020220175316 2022-12-14

Publications (1)

Publication Number Publication Date
KR102585912B1 true KR102585912B1 (ko) 2023-10-06

Family

ID=88296062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230024601A KR102585912B1 (ko) 2022-12-14 2023-02-23 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102585912B1 (ko)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926118B1 (ko) * 2007-05-02 2009-11-11 강민수 상표 정보 제공 방법
WO2017098760A1 (ja) * 2015-12-08 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018156302A (ja) * 2017-03-16 2018-10-04 株式会社発明通信社 意匠情報管理サーバー装置
KR20190039460A (ko) * 2017-10-04 2019-04-12 주식회사 스트라드비젼 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR102063859B1 (ko) * 2019-07-05 2020-02-11 주식회사 딥노이드 Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법
KR20200044267A (ko) * 2018-10-18 2020-04-29 디자인정글(주) 디자인권이 연계된 콘텐츠의 유통 방법 및 그 시스템
KR20200098299A (ko) * 2019-02-12 2020-08-20 이용규 딥러닝을 활용한 3d 모델링 디자인의 지식재산권 분석 시스템
KR20200103176A (ko) * 2019-02-12 2020-09-02 이용규 3d 프린팅 모델링 기반 지식재산권 서비스 구동 시스템, 그리고 이를 위한 3d 프린팅 모델링 지식재산권 서비스 구동 앱
KR20200119370A (ko) 2019-03-22 2020-10-20 이득기 인공지능 기반의 유사 디자인 검색 장치
KR20210090223A (ko) * 2018-11-16 2021-07-19 더 노스 훼이스 어패럴 코오포레이션 종단간 물품 관리를 위한 시스템 및 방법
KR20210147398A (ko) * 2020-05-28 2021-12-07 주식회사 두손씨엔에이 하나의 완성품을 생산하는 복수의 기업 간 생산 정보 공유를 위한 빅데이터 구축 장치 및 이를 위한 방법
KR102381354B1 (ko) * 2021-10-28 2022-04-01 주식회사 딥노이드 이미지에 포함된 물체에 대한 디자인권 검색 장치 및 방법
KR20220042356A (ko) * 2020-09-25 2022-04-05 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 타깃 재식별 방법, 장치, 기기, 저장 매체 및 프로그램 제품
JP2022072383A (ja) * 2020-10-29 2022-05-17 株式会社Ipsign 侵害情報抽出システム、方法及びプログラム
KR20220129433A (ko) * 2021-03-16 2022-09-23 포항공과대학교 산학협력단 대조 학습과 적대적 생성 신경망을 활용하는 이미지 생성 및 편집 방법과 장치
KR102449765B1 (ko) * 2021-05-26 2022-09-29 한국로봇융합연구원 로봇 매니퓰레이터의 기구학적 정보를 구성하기 위한 장치 및 이를 위한 방법
KR102469710B1 (ko) * 2021-12-27 2022-11-22 주식회사 딥노이드 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926118B1 (ko) * 2007-05-02 2009-11-11 강민수 상표 정보 제공 방법
WO2017098760A1 (ja) * 2015-12-08 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018156302A (ja) * 2017-03-16 2018-10-04 株式会社発明通信社 意匠情報管理サーバー装置
KR20190039460A (ko) * 2017-10-04 2019-04-12 주식회사 스트라드비젼 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR20200044267A (ko) * 2018-10-18 2020-04-29 디자인정글(주) 디자인권이 연계된 콘텐츠의 유통 방법 및 그 시스템
KR20210090223A (ko) * 2018-11-16 2021-07-19 더 노스 훼이스 어패럴 코오포레이션 종단간 물품 관리를 위한 시스템 및 방법
KR20200098299A (ko) * 2019-02-12 2020-08-20 이용규 딥러닝을 활용한 3d 모델링 디자인의 지식재산권 분석 시스템
KR20200103176A (ko) * 2019-02-12 2020-09-02 이용규 3d 프린팅 모델링 기반 지식재산권 서비스 구동 시스템, 그리고 이를 위한 3d 프린팅 모델링 지식재산권 서비스 구동 앱
KR20200119370A (ko) 2019-03-22 2020-10-20 이득기 인공지능 기반의 유사 디자인 검색 장치
KR102063859B1 (ko) * 2019-07-05 2020-02-11 주식회사 딥노이드 Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법
KR20210147398A (ko) * 2020-05-28 2021-12-07 주식회사 두손씨엔에이 하나의 완성품을 생산하는 복수의 기업 간 생산 정보 공유를 위한 빅데이터 구축 장치 및 이를 위한 방법
KR20220042356A (ko) * 2020-09-25 2022-04-05 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 타깃 재식별 방법, 장치, 기기, 저장 매체 및 프로그램 제품
JP2022072383A (ja) * 2020-10-29 2022-05-17 株式会社Ipsign 侵害情報抽出システム、方法及びプログラム
KR20220129433A (ko) * 2021-03-16 2022-09-23 포항공과대학교 산학협력단 대조 학습과 적대적 생성 신경망을 활용하는 이미지 생성 및 편집 방법과 장치
KR102449765B1 (ko) * 2021-05-26 2022-09-29 한국로봇융합연구원 로봇 매니퓰레이터의 기구학적 정보를 구성하기 위한 장치 및 이를 위한 방법
KR102381354B1 (ko) * 2021-10-28 2022-04-01 주식회사 딥노이드 이미지에 포함된 물체에 대한 디자인권 검색 장치 및 방법
KR102469710B1 (ko) * 2021-12-27 2022-11-22 주식회사 딥노이드 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Similar Documents

Publication Publication Date Title
Xu et al. Adversarial incomplete multi-view clustering.
Krishnaraj et al. An efficient radix trie‐based semantic visual indexing model for large‐scale image retrieval in cloud environment
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及系统
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
CN107168992A (zh) 基于人工智能的文章分类方法及装置、设备与可读介质
CN107391549B (zh) 基于人工智能的新闻召回方法、装置、设备及存储介质
AU2016225947A1 (en) System and method for multimedia document summarization
US9208278B2 (en) Clustering using N-dimensional placement
CN105701120A (zh) 确定语义匹配度的方法和装置
CN112131449A (zh) 一种基于ElasticSearch的文化资源级联查询接口的实现方法
EP3961502A1 (en) Weakly supervised one-shot image segmentation
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN109858024B (zh) 一种基于word2vec的房源词向量训练方法及装置
US20230153335A1 (en) Searchable data structure for electronic documents
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
CN114372414A (zh) 多模态模型构建方法、装置和计算机设备
CN113487024A (zh) 交替序列生成模型训练方法、从文本中抽取图的方法
CN110110218B (zh) 一种身份关联方法及终端
Zhang et al. Context-based sketch classification
KR102215082B1 (ko) Cnn 기반 이미지 검색 방법 및 장치
CN111177404A (zh) 家装知识的知识图谱构建方法、装置、计算机设备
KR102119518B1 (ko) 인공지능을 이용하여 생성되는 스타일 공간에 기반한 상품 추천 방법 및 시스템
CN116776157B (zh) 支持模态增加的模型学习方法及其装置
Liu et al. Exploring Dual Representations in Large-Scale Point Clouds: A Simple Weakly Supervised Semantic Segmentation Framework
KR102585912B1 (ko) 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant