KR20240007476A

KR20240007476A - Apparatus and method for infographic library recommendation through user sketch recognition based on artificial intelligence

Info

Publication number: KR20240007476A
Application number: KR1020220084431A
Authority: KR
Inventors: 김형균
Original assignee: 국민대학교산학협력단
Priority date: 2022-07-08
Filing date: 2022-07-08
Publication date: 2024-01-16

Abstract

본 발명은 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 장치 및 방법에 관한 것으로, 상기 장치는 인포그래픽 라이브러리 DB에서 추출된 학습 데이터를 기반으로 인포그래픽 라이브러리 추천을 위한 추천 모델을 구축하는 임베딩 모델 구축부; 사용자 단말로부터 사용자 스케치 이미지를 수신하는 이미지 수신부; 상기 사용자 스케치 이미지를 전처리하여 사용자 벡터 이미지로 변환하는 이미지 변환부; 상기 사용자 벡터 이미지로부터 임베딩 값을 추출하고 상기 임베딩 값을 이용하여 밀집특성 값을 생성하는 이미지 특징 추출부; 상기 임베딩 값을 상기 추천 모델에 적용하여 상기 사용자 스케치 이미지에 대응되는 적어도 하나의 후보 인포그래픽을 결정하는 패턴매칭 수행부; 및 상기 적어도 하나의 후보 인포그래픽과 상기 사용자 스케치 이미지 각각의 밀집특성 값에 관한 유사도를 기준으로 상기 사용자 스케치 이미지와 연관된 사용자 인포그래픽을 추천하는 인포그래픽 추천부;를 포함한다.The present invention relates to an apparatus and method for recommending an infographic library through artificial intelligence-based user sketch recognition, wherein the apparatus constructs a recommendation model for recommending an infographic library based on learning data extracted from an infographic library DB. model building department; An image receiving unit that receives a user sketch image from a user terminal; an image conversion unit that preprocesses the user sketch image and converts it into a user vector image; an image feature extraction unit that extracts an embedding value from the user vector image and generates a dense feature value using the embedding value; a pattern matching unit configured to determine at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model; and an infographic recommendation unit that recommends a user infographic associated with the user sketch image based on similarity in density characteristic values of each of the at least one candidate infographic and the user sketch image.

Description

Infographic library recommendation device and method through artificial intelligence-based user sketch recognition {APPARATUS AND METHOD FOR INFOGRAPHIC LIBRARY RECOMMENDATION THROUGH USER SKETCH RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인포그래픽 추천 기술에 관한 것으로, 보다 상세하게는 복수의 인포그래픽 이미지를 임베딩 기반으로 학습하여 사용자가 원하는 이미지의 스케치 입력만으로 원하는 인포그래픽 라이브러리를 인공지능으로 자동 추천해 줄 수 있는 인포그래픽 라이브러리 추천 기술에 관한 것이다.The present invention relates to infographic recommendation technology, and more specifically, to an infographic that learns a plurality of infographic images based on embedding and automatically recommends the desired infographic library using artificial intelligence just by inputting a sketch of the image the user wants. It is about library recommendation technology.

최근 데이터 시각화는 대중들에게도 낯설지 않은 개념이 되었다. 언론 기사에서도 '데이터 저널리즘'이라는 이름으로 시각화와 함께 등장하는 기사들을 손쉽게 찾아볼 수 있다. 또한, '인포그래픽'이라는 이름으로 복잡한 정보를 알기 쉽게 스토리에 담아 그려내는 시각화를 SNS 서비스에서도 자주 접할 수 있다.Recently, data visualization has become a concept that is not unfamiliar to the public. Even in media articles, you can easily find articles that appear with visualization under the name ‘data journalism.’ In addition, visualizations called 'infographics', which depict complex information in an easy-to-understand story, can often be found on SNS services.

이러한 공공 데이터를 시각화함으로써 시민들이 자신이 살고 있는 도시에 대한 정보를 더 쉽게 이해할 수 있게 되었으며, 몇 번의 클릭만으로 자신의 이력을 데이터 시각화로 표현할 수있는 이력 데이터 시각화 서비스까지 등장하였다. 결과적으로, 데이터 시각화는 전문가들이 사용하는 기술이 아니라, 우리 모두가 활용할 수 있는 생활과 밀접한 기술이 되었다.By visualizing such public data, citizens can more easily understand information about the city they live in, and even a history data visualization service has emerged that allows users to express their history in data visualization with just a few clicks. As a result, data visualization has become not just a technology used by experts, but a technology closely related to our daily lives that all of us can utilize.

특히, 단순 이미지 위주의 인포그래픽은 건별로 전문제작업체나 디자인업체에서 이미지 파일로 제작되고, 웹페이지와 인쇄매체를 통해서 소비될 수 있다. 동적 인포그래픽은 주로 플래시 등의 개발툴을 이용해서 웹개발업체에서 건별로 제작되고, 웹페이지를 통해서 소비될 수 있다.In particular, infographics that focus on simple images are produced as image files by professional production companies or design companies on a case-by-case basis, and can be consumed through web pages and print media. Dynamic infographics are mainly produced on a case-by-case basis by web development companies using development tools such as Flash, and can be consumed through web pages.

또한, 빅데이터 구축이 보편화되면서 빅데이터 분석 및 시각화의 중요성이 확대되고 있다. 정부3.0 등을 통한 대규모 데이터가 공급될 예정이고, 정보의 홍수 속에서 간편하게 정보를 인식시킬 수 있는 인포그래픽의 중요성은 더욱 커질 것으로 예상되고 있다.In addition, as big data construction becomes more common, the importance of big data analysis and visualization is increasing. Large-scale data is expected to be supplied through Government 3.0, etc., and the importance of infographics, which can easily recognize information amid the flood of information, is expected to increase further.

인포그래픽의 확대로 디자이너의 데이터와 컨텐츠에 대한 분석능력이 중요해질 수 있으며, 건별로 수작업으로 작업하는 현실에서 인포그래픽이 가능한 디자이너 공급은 지속적으로 부족할 것으로 예상되고 있다. 윈도XP의 시대가 종료됨에 따라 웹표준 지원 브라우저가 보편화 되고 있으며, 인포그래픽 생산 및 유통 플랫폼 구축을 위한 HTML5 기술이 보편화되어서 다양한 동적 콘텐츠도 양적으로 확대될 것으로 예상되고 있다.With the expansion of infographics, designers' ability to analyze data and content may become important, and in the reality of manually working on each case, the supply of designers capable of infographics is expected to continue to be insufficient. As the era of Windows XP comes to an end, browsers that support web standards are becoming more common, and HTML5 technology for building infographic production and distribution platforms is becoming more common, so various dynamic contents are expected to expand quantitatively.

한국공개특허 제10-2020-0023750호 (2020.03.06)Korean Patent Publication No. 10-2020-0023750 (2020.03.06)

본 발명의 일 실시예는 임베딩 기반 학습과정을 통해 인포그래픽 라이브러리 데이터베이스에서 각각의 라이브러리 이미지를 로드하고 이를 벡터 이미지로 변환해서 임베딩 값으로 위치, 점유율, 밀집특성 값을 추출하고 이를 라벨링해 학습할 수 있는 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 장치 및 방법을 제공하고자 한다.One embodiment of the present invention loads each library image from the infographic library database through an embedding-based learning process, converts it to a vector image, extracts location, occupancy, and density characteristic values as embedding values, and labels them for learning. We aim to provide an infographic library recommendation device and method through artificial intelligence-based user sketch recognition.

본 발명의 일 실시예는 사용자가 작성한 스케치 이미지를 스캔하고 이미지 처리를 위한 필터링 과정을 거쳐 벡터 이미지로 변환한 후 임베딩 값을 추출하여 학습된 이미지와 패턴매칭 과정을 통해 밀집특성 값 유사도가 높은 인포그래픽 라이브러리를 추천할 수 있는 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 장치 및 방법을 제공하고자 한다.An embodiment of the present invention scans a sketch image created by a user, converts it into a vector image through a filtering process for image processing, extracts the embedding value, and generates information with a high degree of similarity in dense feature values through a pattern matching process with the learned image. We aim to provide an infographic library recommendation device and method through artificial intelligence-based user sketch recognition that can recommend a graphic library.

실시예들 중에서, 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 장치는 인포그래픽 라이브러리 DB에서 추출된 학습 데이터를 기반으로 인포그래픽 라이브러리 추천을 위한 추천 모델을 구축하는 임베딩 모델 구축부; 사용자 단말로부터 사용자 스케치 이미지를 수신하는 이미지 수신부; 상기 사용자 스케치 이미지를 전처리하여 사용자 벡터 이미지로 변환하는 이미지 변환부; 상기 사용자 벡터 이미지로부터 임베딩 값을 추출하고 상기 임베딩 값을 이용하여 밀집특성 값을 생성하는 이미지 특징 추출부; 상기 임베딩 값을 상기 추천 모델에 적용하여 상기 사용자 스케치 이미지에 대응되는 적어도 하나의 후보 인포그래픽을 결정하는 패턴매칭 수행부; 및 상기 적어도 하나의 후보 인포그래픽과 상기 사용자 스케치 이미지 각각의 밀집특성 값에 관한 유사도를 기준으로 상기 사용자 스케치 이미지와 연관된 사용자 인포그래픽을 추천하는 인포그래픽 추천부;를 포함한다.Among embodiments, an apparatus for recommending an infographic library through artificial intelligence-based user sketch recognition includes an embedding model building unit that builds a recommendation model for recommending an infographic library based on learning data extracted from an infographic library DB; An image receiving unit that receives a user sketch image from a user terminal; an image conversion unit that preprocesses the user sketch image and converts it into a user vector image; an image feature extraction unit that extracts an embedding value from the user vector image and generates a dense feature value using the embedding value; a pattern matching unit configured to determine at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model; and an infographic recommendation unit that recommends a user infographic associated with the user sketch image based on similarity in density characteristic values of each of the at least one candidate infographic and the user sketch image.

상기 임베딩 모델 구축부는 상기 인포그래픽 라이브러리 DB로부터 학습을 위한 이미지 파일을 로딩하고, 상기 이미지 파일을 벡터 이미지로 변환하며, 상기 벡터 이미지에서 상기 임베딩 값으로 사용되는 위치값 및 점유율을 추출하고, 상기 임베딩 값을 이용하여 상기 밀집특성 값을 산출하며, 상기 이미지 파일에 상기 위치값, 점유율 및 상기 밀집특성 값을 라벨링(labeling)하여 상기 학습 데이터를 생성할 수 있다.The embedding model construction unit loads an image file for learning from the infographic library DB, converts the image file into a vector image, extracts the position value and occupancy rate used as the embedding value from the vector image, and The density characteristic value can be calculated using the value, and the training data can be generated by labeling the image file with the location value, occupancy rate, and density characteristic value.

상기 이미지 수신부는 상기 사용자 단말 상에서 실행되는 인터페이스를 통해 해당 사용자의 스케치를 이미지 파일로 스캔하여 상기 사용자 스케치 이미지를 직접 생성할 수 있다.The image receiver may directly generate the user sketch image by scanning the user's sketch as an image file through an interface running on the user terminal.

상기 이미지 변환부는 상기 사용자 스케치 이미지를 필터링(filtering)하고 윤곽선을 추출한 다음 상기 사용자 벡터 이미지로 변환할 수 있다.The image conversion unit may filter the user sketch image, extract the outline, and then convert it into the user vector image.

상기 이미지 특징 추출부는 상기 사용자 벡터 이미지로부터 위치값 및 점유율을 상기 임베딩 값으로서 추출할 수 있다.The image feature extractor may extract a location value and an occupancy rate from the user vector image as the embedding value.

상기 이미지 특징 추출부는 상기 위치값 및 점유율을 이용하여 상기 밀집특성 값을 생성할 수 있다.The image feature extraction unit may generate the density characteristic value using the location value and occupancy rate.

상기 패턴매칭 수행부는 상기 추천 모델을 통해 추출되는 기 설정된 임계범위 내 인포그래픽 라이브러리를 상기 적어도 하나의 후보 인포그래픽으로 결정할 수 있다.The pattern matching unit may determine an infographic library within a preset critical range extracted through the recommendation model as the at least one candidate infographic.

상기 인포그래픽 추천부는 상기 밀집특성 값에 관한 코사인 유사도를 산출하고 상기 코사인 유사도를 기준으로 상위 n개의 후보 인포그래픽 라이브러리를 상기 사용자 인포그래픽 라이브러리로서 추천할 수 있다.The infographic recommender may calculate cosine similarity regarding the density characteristic value and recommend top n candidate infographic libraries as the user infographic library based on the cosine similarity.

상기 인포그래픽 추천부는 상기 사용자 인포그래픽을 상기 사용자 단말 상에서 드래그 앤 드롭(drag & drop) 방식의 라이브러리 형태로 제공할 수 있다.The infographic recommendation unit may provide the user infographic in the form of a drag-and-drop library on the user terminal.

실시예들 중에서, 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 방법은 임베딩 모델 구축부를 통해, 인포그래픽 라이브러리 DB에서 추출된 학습 데이터를 기반으로 인포그래픽 라이브러리 추천을 위한 추천 모델을 구축하는 단계; 이미지 수신부를 통해, 사용자 단말로부터 사용자 스케치 이미지를 수신하는 단계; 이미지 변환부를 통해, 상기 사용자 스케치 이미지를 전처리하여 사용자 벡터 이미지로 변환하는 단계; 이미지 특징 추출부를 통해, 상기 사용자 벡터 이미지로부터 임베딩 값을 추출하고 상기 임베딩 값을 이용하여 밀집특성 값을 생성하는 단계; 패턴매칭 수행부를 통해, 상기 임베딩 값을 상기 추천 모델에 적용하여 상기 사용자 스케치 이미지에 대응되는 적어도 하나의 후보 인포그래픽을 결정하는 단계; 및 인포그래픽 추천부를 통해, 상기 적어도 하나의 후보 인포그래픽과 상기 사용자 스케치 이미지 각각의 밀집특성 값에 관한 유사도를 기준으로 상기 사용자 스케치 이미지와 연관된 사용자 인포그래픽을 추천하는 단계;를 포함한다.Among the embodiments, the method of recommending an infographic library through artificial intelligence-based user sketch recognition includes constructing a recommendation model for recommending an infographic library based on learning data extracted from the infographic library DB through an embedding model construction unit. ; Receiving a user sketch image from a user terminal through an image receiving unit; Preprocessing the user sketch image and converting it into a user vector image through an image conversion unit; Extracting an embedding value from the user vector image through an image feature extractor and generating a dense feature value using the embedding value; Determining at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model through a pattern matching unit; And recommending, through an infographic recommendation unit, a user infographic associated with the user sketch image based on similarity with respect to the density characteristic values of each of the at least one candidate infographic and the user sketch image.

상기 추천 모델을 구축하는 단계는 상기 인포그래픽 라이브러리 DB로부터 학습을 위한 이미지 파일을 로딩하는 단계; 상기 이미지 파일을 벡터 이미지로 변환하는 단계; 상기 벡터 이미지에서 상기 임베딩 값으로 사용되는 위치값 및 점유율을 추출하는 단계; 상기 임베딩 값을 이용하여 상기 밀집특성 값을 산출하는 단계; 및 상기 이미지 파일에 상기 위치값, 점유율 및 상기 밀집특성 값을 라벨링(labeling)하여 상기 학습 데이터를 생성하는 단계를 포함할 수 있다.Building the recommendation model includes loading an image file for learning from the infographic library DB; converting the image file into a vector image; extracting a position value and an occupancy rate used as the embedding value from the vector image; calculating the density characteristic value using the embedding value; and generating the learning data by labeling the image file with the location value, occupancy rate, and density characteristic value.

상기 밀집특성 값을 생성하는 단계는 상기 사용자 벡터 이미지로부터 위치값 및 점유율을 상기 임베딩 값으로서 추출하는 단계를 포함할 수 있다.Generating the density characteristic value may include extracting a location value and an occupancy rate from the user vector image as the embedding value.

상기 밀집특성 값을 생성하는 단계는 상기 위치값 및 점유율을 이용하여 상기 밀집특성 값을 생성하는 단계를 포함할 수 있다.Generating the density characteristic value may include generating the density characteristic value using the location value and occupancy rate.

상기 사용자 인포그래픽을 추천하는 단계는 상기 밀집특성 값에 관한 코사인 유사도를 산출하고 상기 코사인 유사도를 기준으로 상위 n개의 후보 인포그래픽 라이브러리를 상기 사용자 인포그래픽 라이브러리로서 추천하는 단계를 포함할 수 있다.The step of recommending the user infographic may include calculating a cosine similarity regarding the density characteristic value and recommending top n candidate infographic libraries as the user infographic library based on the cosine similarity.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology can have the following effects. However, since it does not mean that a specific embodiment must include all of the following effects or only the following effects, the scope of rights of the disclosed technology should not be understood as being limited thereby.

본 발명의 일 실시예에 따른 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 장치 및 방법은 복수의 인포그래픽 이미지를 임베딩 기반 학습을 통해 인포그래픽 구성요소의 유형을 정의하고, 유형별 라이브러리 데이터 분류를 통해 다양한 저작도구에서 활용이 가능하도록 표준화할 수 있다. 이를 통해, 사용자는 원하는 이미지를 간단하게 스케치하여 원하는 라이브러리를 추천을 통해 제공받아 인포그래픽 이미지를 완성할 수 있다.An apparatus and method for recommending infographic libraries through artificial intelligence-based user sketch recognition according to an embodiment of the present invention defines the types of infographic elements through embedding-based learning of a plurality of infographic images and classifies library data by type. It can be standardized so that it can be used in various authoring tools. Through this, users can complete an infographic image by simply sketching the desired image and receiving the desired library through recommendations.

도 1은 본 발명에 따른 인포그래픽 라이브러리 추천 시스템을 설명하는 도면이다.
도 2는 도 1의 추천 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 추천 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 인포그래픽 라이브러리 추천을 위한 임베딩 기반 학습 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 인포그래픽 라이브러리 추천 과정을 설명하는 순서도이다.
도 6은 본 발명에 따른 인포그래픽 라이브러리의 일 실시예를 설명하는 도면이다.
도 7은 본 발명에 따른 사용자 스케치 이미지에 대응되는 인포그래픽 라이브러리 추천 과정의 일 실시예를 설명하는 도면이다.1 is a diagram illustrating an infographic library recommendation system according to the present invention.
FIG. 2 is a diagram explaining the system configuration of the recommendation device of FIG. 1.
FIG. 3 is a diagram explaining the functional configuration of the recommendation device of FIG. 1.
Figure 4 is a flowchart explaining the embedding-based learning process for infographic library recommendation according to the present invention.
Figure 5 is a flowchart explaining the infographic library recommendation process according to the present invention.
Figure 6 is a diagram illustrating an embodiment of an infographic library according to the present invention.
Figure 7 is a diagram illustrating an embodiment of an infographic library recommendation process corresponding to a user sketch image according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an example for structural or functional explanation, the scope of the present invention should not be construed as limited by the examples described in the text. In other words, since the embodiments can be modified in various ways and can have various forms, the scope of rights of the present invention should be understood to include equivalents that can realize the technical idea. In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment must include all or only such effects, so the scope of the present invention should not be understood as limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are used to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, a first component may be named a second component, and similarly, the second component may also be named a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected to the other component, but that other components may exist in between. On the other hand, when a component is referred to as being “directly connected” to another component, it should be understood that there are no other components in between. Meanwhile, other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly neighboring" should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as “comprise” or “have” refer to implemented features, numbers, steps, operations, components, parts, or them. It is intended to indicate the existence of a combination, and should be understood as not precluding the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.For each step, identification codes (e.g., a, b, c, etc.) are used for convenience of explanation. The identification codes do not explain the order of each step, and each step clearly follows a specific order in context. Unless specified, events may occur differently from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, the computer-readable recording medium can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein, unless otherwise defined, have the same meaning as commonly understood by a person of ordinary skill in the field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as consistent with the meaning they have in the context of the related technology, and cannot be interpreted as having an ideal or excessively formal meaning unless clearly defined in the present application.

도 1은 본 발명에 따른 인포그래픽 라이브러리 추천 시스템을 설명하는 도면이다.1 is a diagram illustrating an infographic library recommendation system according to the present invention.

도 1을 참조하면, 인포그래픽 라이브러리 추천 시스템(100)은 사용자 단말(110), 추천 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , the infographic library recommendation system 100 may include a user terminal 110, a recommendation device 130, and a database 150.

사용자 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 하나 이상의 사용자들 각각은 하나 이상의 사용자 단말(110)에 대응될 수 있다. 즉, 도 1에서는 하나의 사용자 단말(110)로 표현되어 있으나, 제1 사용자는 제1 사용자 단말, 제2 사용자는 제2 사용자 단말, ..., 제n(상기 n은 자연수) 사용자는 제n 사용자 단말에 각각 대응될 수 있다.The user terminal 110 may correspond to a terminal device operated by a user. In an embodiment of the present invention, a user may be understood as one or more users, and each of the one or more users may correspond to one or more user terminals 110. That is, in Figure 1, it is represented as one user terminal 110, but the first user is the first user terminal, the second user is the second user terminal, ..., the nth (where n is a natural number) user is the first user terminal. n may each correspond to a user terminal.

또한, 사용자 단말(110)은 본 발명에 따른 인포그래픽 라이브러리 추천 시스템(100)을 구성하는 하나의 장치로서 구현될 수 있으며, 인포그래픽 라이브러리 추천 시스템(100)은 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 목적에 따라 다양한 형태로 변형되어 구현될 수 있다.In addition, the user terminal 110 can be implemented as a device constituting the infographic library recommendation system 100 according to the present invention, and the infographic library recommendation system 100 uses artificial intelligence-based user sketch recognition. The infographic library can be modified and implemented in various forms depending on the purpose of recommendation.

또한, 사용자 단말(110)은 추천 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.In addition, the user terminal 110 may be implemented as a smartphone, laptop, or computer that can be operated by being connected to the recommendation device 130, but is not necessarily limited thereto, and may also be implemented as a variety of devices, including a tablet PC.

한편, 사용자 단말(110)은 추천 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 추천 장치(130)와 동시에 연결될 수도 있다.Meanwhile, the user terminal 110 may be connected to the recommendation device 130 through a network, and a plurality of user terminals 110 may be connected to the recommendation device 130 at the same time.

추천 장치(130)는 본 발명에 따른 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 추천 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 또한, 추천 장치(130)는 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다.The recommendation device 130 may be implemented as a server corresponding to a computer or program that performs the infographic library recommendation method through artificial intelligence-based user sketch recognition according to the present invention. Additionally, the recommendation device 130 may be connected to the user terminal 110 through a wired network or a wireless network such as Bluetooth, WiFi, or LTE, and may transmit and receive data with the user terminal 110 through the network. Additionally, the recommendation device 130 may be implemented to operate in connection with an independent external system (not shown in FIG. 1).

데이터베이스(150)는 추천 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 인포그래픽 라이브러리에 관한 정보를 저장하거나 또는 사용자 인포그래픽 라이브러리 추천을 위한 학습 알고리즘 및 학습 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 추천 장치(130)가 본 발명에 따른 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device that stores various information required during the operation of the recommendation device 130. For example, the database 150 may store information about an infographic library or information about a learning algorithm and learning model for recommending a user infographic library, but is not necessarily limited thereto, and the recommendation device 130 In the process of performing the infographic library recommendation method through artificial intelligence-based user sketch recognition according to the present invention, information collected or processed in various forms can be stored.

또한, 도 1에서, 데이터베이스(150)는 추천 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 추천 장치(130)에 포함되어 구현될 수 있음은 물론이다.In addition, in FIG. 1, the database 150 is shown as a device independent of the recommendation device 130, but is not necessarily limited thereto, and may be implemented by being included in the recommendation device 130 as a logical storage device. am.

도 2는 도 1의 추천 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram explaining the system configuration of the recommendation device of FIG. 1.

도 2를 참조하면, 추천 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.Referring to FIG. 2 , the recommendation device 130 may include a processor 210, a memory 230, a user input/output unit 250, and a network input/output unit 270.

프로세서(210)는 본 발명의 실시예에 따른 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 추천 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 추천 장치(130)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.The processor 210 can execute an infographic library recommendation procedure through artificial intelligence-based user sketch recognition according to an embodiment of the present invention, and manage the memory 230 that is read or written in this process. The synchronization time between the volatile memory and the non-volatile memory at 230 can be scheduled. The processor 210 can control the overall operation of the recommendation device 130 and is electrically connected to the memory 230, the user input/output unit 250, and the network input/output unit 270 to control data flow between them. there is. The processor 210 may be implemented as a Central Processing Unit (CPU) or a Graphics Processing Unit (GPU) of the recommendation device 130.

메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 추천 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 인공지능 기반의 사용자 스케치 인식을 통한 인포그래픽 라이브러리 추천 방법을 실행하는 명령들의 집합을 저장할 수 있다.The memory 230 may be implemented as a non-volatile memory such as a solid state disk (SSD) or a hard disk drive (HDD) and may include an auxiliary memory used to store all data required for the recommendation device 130, and may include RAM. It may include a main memory implemented as volatile memory such as (Random Access Memory). In addition, the memory 230 is executed by the electrically connected processor 210 and can store a set of instructions for executing the infographic library recommendation method through artificial intelligence-based user sketch recognition according to the present invention.

사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 추천 장치(130)는 독립적인 서버로서 수행될 수 있다.The user input/output unit 250 includes an environment for receiving user input and an environment for outputting specific information to the user, and includes an input adapter such as, for example, a touch pad, a touch screen, an on-screen keyboard, or a pointing device. It may include an output device including a device and an adapter such as a monitor or touch screen. In one embodiment, the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such case, the recommendation device 130 may be performed as an independent server.

네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 학습 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.The network input/output unit 270 provides a communication environment for connection to the user terminal 110 through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and It may include an adapter for communication such as VAN (Value Added Network). Additionally, the network input/output unit 270 may be implemented to provide short-range communication functions such as WiFi and Bluetooth or wireless communication functions of 4G or higher for wireless transmission of learning data.

도 3은 도 1의 추천 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram explaining the functional configuration of the recommendation device of FIG. 1.

도 3을 참조하면, 추천 장치(130)는 임베딩 모델 구축부(310), 이미지 수신부(320), 이미지 변환부(330), 이미지 특징 추출부(340), 패턴매칭 수행부(350), 인포그래픽 추천부(360) 및 제어부(도 3에 미도시함)를 포함할 수 있다.Referring to FIG. 3, the recommendation device 130 includes an embedding model building unit 310, an image receiving unit 320, an image converting unit 330, an image feature extracting unit 340, a pattern matching performing unit 350, and an info. It may include a graphic recommendation unit 360 and a control unit (not shown in FIG. 3).

임베딩 모델 구축부(310)는 인포그래픽 라이브러리 DB에서 추출된 학습 데이터를 기반으로 인포그래픽 라이브러리 추천을 위한 추천 모델을 구축할 수 있다. 여기에서, 인포그래픽 라이브러리 DB는 다양한 인포그래픽 라이브러리를 데이터베이스화하여 구축되는 DB에 해당할 수 있다. 인포그래픽 라이브러리 DB는 외부에서 사전 구축된 데이터를 수집하여 데이터베이스(150)에 저장될 수 있다. 임베딩 모델 구축부(310)는 인포그래픽 라이브러리 DB를 이용하여 인포그래픽 라이브러리 추천을 위한 추천 모델의 학습 과정을 처리할 수 있다. 즉, 임베딩 모델 구축부(310)는 인포그래픽 라이브러리 DB에서 학습 데이터를 추출한 다음 일련의 학습 동작을 반복적으로 수행하여 추천 모델을 구축할 수 있다. 임베딩 모델 구축부(310)에 의해 구축된 추천 모델은 데이터베이스(150)에 저장되어 이후 추천 단계에서 활용될 수 있다.The embedding model construction unit 310 may build a recommendation model for recommending an infographic library based on learning data extracted from the infographic library DB. Here, the infographic library DB may correspond to a DB built by converting various infographic libraries into a database. The infographic library DB can collect pre-built data from outside and store it in the database 150. The embedding model construction unit 310 can process the learning process of a recommendation model for recommending an infographic library using the infographic library DB. That is, the embedding model construction unit 310 extracts learning data from the infographic library DB and then repeatedly performs a series of learning operations to build a recommendation model. The recommendation model built by the embedding model construction unit 310 is stored in the database 150 and can be used in the subsequent recommendation step.

일 실시예에서, 임베딩 모델 구축부(310)는 인포그래픽 라이브러리 DB로부터 학습을 위한 이미지 파일을 로딩하고, 이미지 파일을 벡터 이미지로 변환하며, 벡터 이미지에서 임베딩 값으로 사용되는 위치값 및 점유율을 추출하고, 임베딩 값을 이용하여 밀집특성 값을 산출하며, 이미지 파일에 위치값, 점유율 및 밀집특성 값을 라벨링(labeling)하여 학습 데이터를 생성할 수 있다. 보다 구체적으로, 임베딩 모델 구축부(310)는 인포그래픽 라이브러리 DB에 저장된 각 인포그래픽 이미지들을 이용하여 학습 데이터를 생성할 수 있다.In one embodiment, the embedding model construction unit 310 loads an image file for learning from the infographic library DB, converts the image file into a vector image, and extracts the position value and occupancy rate used as the embedding value from the vector image. Then, the crowding characteristic value is calculated using the embedding value, and the learning data can be generated by labeling the image file with the location value, occupancy rate, and crowding characteristic value. More specifically, the embedding model construction unit 310 may generate learning data using each infographic image stored in the infographic library DB.

여기에서, 인포그래픽 이미지(Infographics)는 정보, 데이터 또는 지식을 시각적으로 표현한 것으로 정보를 빠르고 쉽게 표현하기 위해 사용되는 이미지에 해당할 수 있다. 예를 들어, 인포그래픽 이미지는 지도, 차트, 표, 그래프, 픽토그램, 노선도, 표식 또는 일러스트레이션 등의 다양한 형태로 구현될 수 있다.Here, an infographic image (Infographics) is a visual representation of information, data, or knowledge and may correspond to an image used to express information quickly and easily. For example, infographic images can be implemented in various forms such as maps, charts, tables, graphs, pictograms, route maps, signs, or illustrations.

또한, 임베딩 모델 구축부(310)는 로딩된 인포그래픽 이미지를 벡터 이미지로 변환할 수 있으며, 벡터 이미지를 기초로 이미지 임베딩(embedding)을 통해 임베딩 벡터 또는 임베딩 값을 생성할 수 있다. 여기에서, 임베딩은 고차원 벡터를 저차원 공간으로 변환하는 동작에 해당할 수 있다. 즉, 하나의 벡터 이미지는 각 픽셀값을 포함하는 고차원 행렬로 표현될 수 있고, 임베딩을 통해 저차원의 특성 벡터(feature vector)로 변환될 수 있다.Additionally, the embedding model construction unit 310 can convert the loaded infographic image into a vector image and generate an embedding vector or embedding value through image embedding based on the vector image. Here, embedding may correspond to the operation of converting a high-dimensional vector into a low-dimensional space. That is, one vector image can be expressed as a high-dimensional matrix including each pixel value, and converted into a low-dimensional feature vector through embedding.

또한, 임베딩 모델 구축부(310)는 이미지의 저차원 특성 벡터로부터 임베딩 공간 상에서 벡터 이미지의 위치에 대응되는 위치값과 특성 벡터 상에서 특정 성분값의 비율에 대응되는 점유율을 산출할 수 있다. 즉, 임베딩 모델 구축부(310)는 벡터 이미지에 대응되는 임베딩 벡터를 생성할 수 있으며, 임베딩 벡터로부터 위치값과 점유율을 산출하여 해당 인포그래픽 이미지의 임베딩 값으로 결정할 수 있다.Additionally, the embedding model construction unit 310 may calculate a position value corresponding to the position of the vector image in the embedding space and an occupancy rate corresponding to the ratio of specific component values in the feature vector from the low-dimensional feature vector of the image. That is, the embedding model construction unit 310 can generate an embedding vector corresponding to the vector image, calculate the position value and occupancy rate from the embedding vector, and determine it as the embedding value of the corresponding infographic image.

한편, 위치값과 점유율은 벡터 이미지에 대한 희소특성에 해당할 수 있으며, 임베딩 모델 구축부(310)는 희소특성을 밀집특성으로 변환할 수 있다. 즉, 희소특성(sparse feature)의 경우 희소 표현(sparse representation)에 따라 0과 1의 값만으로 표현될 수 있으나, 밀집특성(dense feature)의 경우 밀집 표현(dense representation)에 따라 실수값으로 표현될 수 있다. 예를 들어, 희소특성이 1개의 1과 999개의 0으로 이루어진 차원의 크기가 1000인 벡터로 표현되는 경우, 차원의 크기가 64인 밀집 표현으로 변환하면 1000이었던 차원의 크기가 64로 줄어들면서 모든 값은 실수로 변경될 수 있다. 또한, 동일한 희소특성이라 하더라도 밀집 표현의 차원 크기에 따라 밀집특성 값이 달라질 수 있음은 물론이다. 즉, 임베딩 모델 구축부(310)는 임베딩 값에 대응되는 밀집특성 값이 산출되면, 각 이미지 파일에 위치값, 점유율 및 밀집특성 값을 라벨링(labeling)함으로써 추천 모델 구축에 사용되는 학습 데이터를 생성할 수 있다.Meanwhile, the position value and occupancy rate may correspond to sparse features for the vector image, and the embedding model construction unit 310 may convert the sparse features into dense features. In other words, in the case of a sparse feature, it can be expressed with only the values 0 and 1 according to the sparse representation, but in the case of a dense feature, it can be expressed as a real value according to the dense representation. You can. For example, if a sparse feature is expressed as a vector with a dimension of 1000 consisting of 1 1 and 999 0s, when converted to a dense representation with a dimension of 64, the dimension size of 1000 is reduced to 64 and all Values may be changed accidentally. In addition, of course, even if the sparse characteristics are the same, the values of the dense characteristics may vary depending on the dimension size of the dense expression. In other words, when the density characteristic value corresponding to the embedding value is calculated, the embedding model construction unit 310 generates learning data used to build a recommendation model by labeling each image file with the position value, occupancy rate, and density characteristic value. can do.

일 실시예에서, 임베딩 모델 구축부(310)는 밀집특성 값의 크기(예를 들어, 차원 수) 별로 학습 데이터를 생성할 수 있으며, 밀집특성 값의 크기 별로 추천 모델을 독립적으로 구축할 수도 있다. 예를 들어, 밀집특성 값의 크기가 64, 128, 512 중 어느 하나로 설정되는 경우, 임베딩 모델 구축부(310)는 밀집특성 값의 크기에 따라 64, 128, 512에 관한 추천 모델을 각각 구축할 수 있다.In one embodiment, the embedding model building unit 310 may generate learning data according to the size (e.g., number of dimensions) of the dense feature values, and may also independently build a recommendation model according to the size of the dense feature values. . For example, when the size of the dense characteristic value is set to one of 64, 128, and 512, the embedding model construction unit 310 builds recommendation models for 64, 128, and 512, respectively, depending on the size of the dense characteristic value. You can.

이미지 수신부(320)는 사용자 단말(110)로부터 사용자 스케치 이미지를 수신할 수 있다. 여기에서, 사용자 스케치 이미지는 사용자에 의해 생성된 스케치 이미지에 해당할 수 있다. 사용자 단말(110) 상에서 사용자 스케치 이미지가 생성되면, 이미지 수신부(320)는 사용자 단말(110)로부터 사용자 스케치 이미지를 수신하여 데이터베이스(150)에 저장할 수 있다. 또한, 사용자 스케치 이미지는 사용자 단말(110) 상에서 생성된 결과 사용자 단말(110)에 그대로 저장될 수 있다. 따라서, 이미지 수신부(320)는 사용자 단말(110) 상에 저장된 사용자 스케치 이미지를 그대로 전송받아 데이터베이스(150)에 저장할 수도 있다. 한편, 사용자 단말(110) 상에서 이미지 수신부(320)로의 이미지 전송은 다양한 방식으로 수행될 수 있다.The image receiving unit 320 may receive a user sketch image from the user terminal 110. Here, the user sketch image may correspond to a sketch image created by the user. When a user sketch image is created on the user terminal 110, the image receiving unit 320 may receive the user sketch image from the user terminal 110 and store it in the database 150. Additionally, the user sketch image may be created on the user terminal 110 and stored in the user terminal 110 as is. Accordingly, the image receiving unit 320 may receive the user sketch image stored on the user terminal 110 as is and store it in the database 150. Meanwhile, image transmission from the user terminal 110 to the image receiver 320 can be performed in various ways.

일 실시예에서, 이미지 수신부(320)는 사용자 단말(110) 상에서 실행되는 인터페이스를 통해 해당 사용자의 스케치를 이미지 파일로 스캔하여 사용자 스케치 이미지를 직접 생성할 수 있다. 이를 위하여, 이미지 수신부(320)는 스케치 이미지를 입력할 수 있는 전용 인터페이스를 제공할 수 있으며, 전용 인터페이스는 사용자 단말(110) 상에서 구현되어 사용자에게 제공될 수 있다. 즉, 사용자는 전용 인터페이스를 통해 직접 이미지를 스케치하여 스케치 이미지를 생성할 수 있으며, 생성된 스케치 이미지는 스캔(scan) 기능을 통해 이미지 파일로서 생성될 수 있다.In one embodiment, the image receiver 320 may directly generate a user sketch image by scanning the user's sketch as an image file through an interface running on the user terminal 110. To this end, the image receiver 320 may provide a dedicated interface for inputting a sketch image, and the dedicated interface may be implemented on the user terminal 110 and provided to the user. That is, the user can create a sketch image by directly sketching the image through a dedicated interface, and the created sketch image can be created as an image file through the scan function.

이미지 변환부(330)는 사용자 스케치 이미지를 전처리하여 사용자 벡터 이미지로 변환할 수 있다. 이미지 변환부(330)는 이미지 전처리 동작을 수행한 후 벡터 이미지로의 변환 동작을 수행할 수 있다. 이때, 이미지 전처리 동작은 필터링(Filtering) 및 윤곽선 추출(Edge Detection) 등을 포함할 수 있다. 이미지 변환부(330)는 사용자 벡터 이미지로의 변환을 위하여 다양한 이미지 전처리 동작을 선택적으로 수행할 수 있다. 또한, 이미지 변환부(330)는 사용자 스케치 이미지를 그대로 사용하는 대신 인포그래픽과의 비교에 있어 보다 적합한 형태의 이미지로 변환할 수 있다.The image conversion unit 330 may preprocess the user sketch image and convert it into a user vector image. The image conversion unit 330 may perform an image pre-processing operation and then convert the image into a vector image. At this time, image preprocessing operations may include filtering and edge detection. The image conversion unit 330 may selectively perform various image pre-processing operations to convert the image into a user vector image. Additionally, the image conversion unit 330 can convert the user sketch image into a more suitable image for comparison with infographics instead of using it as is.

일 실시예에서, 이미지 변환부(330)는 사용자 스케치 이미지를 필터링(filtering)하고 윤곽선을 추출한 다음 사용자 벡터 이미지로 변환할 수 있다. 이미지 변환부(330)는 필터링 동작을 통해 윤곽선 추출에 보다 적합한 형태의 이미지로 변환할 수 있다. 사용자 스케치 이미지의 경우, 사용된 스케치 도구에 따라 다양한 형태의 윤곽선으로 표현될 수 있고, 윤곽선뿐만 아니라 다양한 색상으로 채색되어 표현될 수도 있다. 이미지 변환부(330)는 사용자 스케치 이미지에서 윤곽선으로 표현된 이미지를 추출한 다음 이를 기초로 벡터 이미지 변환 동작을 수행하여 사용자 벡터 이미지를 생성할 수 있다. 즉, 사용자 벡터 이미지는 사용자 스케치 이미지를 기반으로 윤곽선 추출된 이미지에서 변환된 벡터 이미지에 해당할 수 있다.In one embodiment, the image converter 330 may filter the user sketch image, extract the outline, and then convert it into a user vector image. The image conversion unit 330 can convert an image into a form more suitable for contour extraction through a filtering operation. In the case of a user sketch image, it may be expressed as various types of outlines depending on the sketch tool used, and may be expressed not only as an outline but also colored in various colors. The image conversion unit 330 extracts an image expressed as an outline from a user sketch image and then performs a vector image conversion operation based on the image to generate a user vector image. That is, the user vector image may correspond to a vector image converted from an image whose outline is extracted based on the user sketch image.

이미지 특징 추출부(340)는 사용자 벡터 이미지로부터 임베딩 값을 추출하고 임베딩 값을 이용하여 밀집특성 값을 생성할 수 있다. 이미지 특징 추출부(340)는 이미지 임베딩을 통해 사용자 벡터 이미지에 대응되는 임베딩 값을 생성할 수 있다. 또한, 이미지 특징 추출부(340)는 인포그래픽 라이브러리 추천에 사용되는 밀집특성 값을 산출할 수 있다. 여기에서, 밀집특성 값은 밀집 표현(dense representation)에 따라 표현된 특징값에 해당할 수 있다.The image feature extraction unit 340 may extract an embedding value from the user vector image and generate a dense feature value using the embedding value. The image feature extraction unit 340 may generate an embedding value corresponding to the user vector image through image embedding. Additionally, the image feature extraction unit 340 may calculate density feature values used for infographic library recommendation. Here, the dense characteristic value may correspond to a characteristic value expressed according to dense representation.

한편, 이미지로부터 임베딩 값을 추출하는 이미지 임베딩은 다양한 방법으로 수행될 수 있다. 예를 들어, 이미지 임베딩은 컨볼루션(convolution) 레이어를 사용하는 이미지 분류기(image classifier)에서 임베딩(embedding)을 추출하는 방법으로 수행될 수 있다. 즉, 일반적인 딥러닝 이미지 분류기는 컨볼루션 레이어 등으로 구성된 특징 추출기(feature extractor)를 통해 이미지의 특징적인 패턴을 추출할 수 있으며, 이미지 임베딩은 특징 추출기의 컨볼루션 레이어로부터 획득한 압축 정보를 기반으로 임베딩 값을 추출함으로써 수행될 수 있다.Meanwhile, image embedding, which extracts embedding values from an image, can be performed in various ways. For example, image embedding can be performed by extracting embedding from an image classifier using a convolution layer. In other words, a general deep learning image classifier can extract characteristic patterns of an image through a feature extractor composed of a convolution layer, etc., and image embedding is based on compressed information obtained from the convolution layer of the feature extractor. This can be done by extracting the embedding values.

일 실시예에서, 이미지 특징 추출부(340)는 사용자 벡터 이미지로부터 위치값 및 점유율을 임베딩 값으로서 추출할 수 있다. 이미지 특징 추출부(340)는 사용자 벡터 이미지에서 인포그래픽 라이브러리 추천을 위한 추천 모델의 입력으로 사용되는 이미지 특징값으로서 위치값과 점유율을 추출할 수 있다. 즉, 위치값과 점유율은 인포그래픽 라이브러리 추천을 위한 추천 모델의 구축 과정에서 사용된 특징값에 대응될 수 있다.In one embodiment, the image feature extractor 340 may extract the location value and occupancy rate as embedding values from the user vector image. The image feature extraction unit 340 may extract the location value and occupancy rate as image feature values used as inputs of a recommendation model for recommending an infographic library from the user vector image. In other words, the location value and occupancy rate may correspond to the feature values used in the process of building a recommendation model for infographic library recommendation.

일 실시예에서, 이미지 특징 추출부(340)는 위치값 및 점유율을 이용하여 밀집특성 값을 생성할 수 있다. 밀집특성 값은 위치값 및 점유율과 함께 인포그래픽 라이브러리 추천을 위한 추천 모델의 입력으로 사용될 수 있으며, 추천 모델의 구축 과정에서 사용된 특징값 중 하나에 해당할 수 있다. 즉, 사용자 벡터 이미지에서 추출된 위치값과 점유율, 그리고 밀집특성 값은 기 구축된 추천 모델에 입력되어 사용자 스케치 이미지에 대응되는 인포그래픽 라이브러리가 출력으로 생성되도록 할 수 있다.In one embodiment, the image feature extractor 340 may generate a density feature value using the location value and occupancy rate. The density characteristic value can be used as an input to a recommendation model for infographic library recommendation along with the location value and occupancy rate, and may correspond to one of the feature values used in the construction process of the recommendation model. In other words, the location value, occupancy rate, and density characteristic value extracted from the user vector image can be input into a pre-built recommendation model to generate an infographic library corresponding to the user sketch image as output.

일 실시예에서, 이미지 특징 추출부(340)는 위치값 및 점유율을 이용하여 다양한 크기의 밀집특성 값을 각각 생성할 수 있다. 예를 들어, 밀집특성 값의 크기 별로 추천 모델이 독립적으로 구축된 경우, 이미지 특징 추출부(340)는 위치값 및 점유율을 이용하여 해당 크기에 맞춰 밀집특성 값을 각각 산출할 수 있다.In one embodiment, the image feature extractor 340 may generate density characteristic values of various sizes using the position value and occupancy rate. For example, when recommendation models are independently built for each size of the crowding feature value, the image feature extractor 340 can use the position value and occupancy rate to calculate the crowding feature value according to the corresponding size.

패턴매칭 수행부(350)는 임베딩 값을 추천 모델에 적용하여 사용자 스케치 이미지에 대응되는 적어도 하나의 후보 인포그래픽을 결정할 수 있다. 즉, 패턴매칭 수행부(350)는 사용자가 스케치한 이미지와 학습된 모델 간의 임베딩 값을 패턴매칭하여 임계범위 내 인포그래픽 라이브러리를 후보 인포그래픽으로 결정할 수 있다. 여기에서, 패턴매칭(pattern matching)은 임베딩 값을 이용하여 두 이미지 간의 매칭 여부를 결정하는 동작에 해당할 수 있다. 예를 들어, 패턴매칭 수행부(350)는 추천 모델이 출력하는 출력 값을 기반으로 입력된 임베딩 값의 사용자 스케치 이미지와 유사한 인포그래픽 라이브러리를 후보 인포그래픽으로 결정할 수 있다.The pattern matching unit 350 may determine at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model. That is, the pattern matching unit 350 may determine an infographic library within the critical range as a candidate infographic by pattern matching the embedding value between the image sketched by the user and the learned model. Here, pattern matching may correspond to an operation that determines whether two images match using an embedding value. For example, the pattern matching unit 350 may determine an infographic library similar to the user sketch image of the input embedding value as a candidate infographic based on the output value output by the recommendation model.

일 실시예에서, 패턴매칭 수행부(350)는 추천 모델을 통해 추출되는 기 설정된 임계범위 내 인포그래픽 라이브러리를 적어도 하나의 후보 인포그래픽으로 결정할 수 있다. 여기에서, 후보 인포그래픽은 사용자 스케치 이미지에 대응되는 인포그래픽 라이브러리로서 사용자에게 추천하기 전 단계에서 예비적으로 선정된 인포그래픽에 해당할 수 있다. 즉, 이후 단계에서는 후보 인포그래픽 중에서 보다 적합한 인포그래픽을 선별하는 과정을 통해 최종적으로 사용자에게 추천되는 사용자 인포그래픽이 결정될 수 있다. 추천 모델은 입력된 임베딩 값에 따라 기 설정된 임계범위 내의 인포그래픽 라이브러리를 출력할 수 있으며, 패턴매칭 수행부(350)는 추천 모델에 의해 출력된 인포그래픽 라이브러리들을 기반으로 후보 인포그래픽을 결정할 수 있다.In one embodiment, the pattern matching unit 350 may determine an infographic library within a preset critical range extracted through a recommendation model as at least one candidate infographic. Here, the candidate infographic is an infographic library corresponding to a user sketch image and may correspond to an infographic that is preliminary selected in the stage before recommendation to the user. That is, in the later stage, the user infographic recommended to the user can be finally determined through a process of selecting a more suitable infographic among candidate infographics. The recommendation model can output an infographic library within a preset threshold range according to the input embedding value, and the pattern matching performance unit 350 can determine a candidate infographic based on the infographic libraries output by the recommendation model. .

일 실시예에서, 패턴매칭 수행부(350)는 사용자 스케치 이미지의 크기에 따라 임베딩 값을 적용하는 추천 모델을 결정할 수 있다. 즉, 추천 모델이 다양한 크기의 밀집특성 값에 따라 독립적으로 구축된 경우, 패턴매칭 수행부(350)는 사용자 스케치 이미지의 크기를 고려하여 추천 모델을 선택한 다음 임베딩 값을 적용하여 적어도 하나의 후보 인포그래픽을 결정할 수 있다.In one embodiment, the pattern matching unit 350 may determine a recommendation model to which the embedding value is applied according to the size of the user sketch image. That is, if the recommendation model is independently built according to the density characteristic values of various sizes, the pattern matching unit 350 selects the recommendation model by considering the size of the user sketch image and then applies the embedding value to generate at least one candidate information. You can decide on the graphics.

인포그래픽 추천부(360)는 적어도 하나의 후보 인포그래픽과 사용자 스케치 이미지 각각의 밀집특성 값에 관한 유사도를 기준으로 사용자 스케치 이미지와 연관된 사용자 인포그래픽을 추천할 수 있다. 인포그래픽 추천부(360)는 후보 인포그래픽 중에서 사용자 스케치 이미지에 보다 적합한 사용자 인포그래픽을 선별하는 동작을 수행할 수 있다. 사용자 인포그래픽의 선별 과정은 선별에 사용되는 특정 지표를 정의하고 후보 인포그래픽 별로 해당 지표를 산출하여 비교하는 과정을 통해 수행될 수 있다. 즉, 인포그래픽 추천부(360)는 밀집특성 값을 이용하여 사용자 스케치 이미지와 후보 인포그래픽 간의 유사도를 산출할 수 있으며, 산출된 유사도에 따라 사용자에게 추천되는 사용자 인포그래픽을 결정할 수 있다.The infographic recommendation unit 360 may recommend a user infographic associated with a user sketch image based on the similarity of the density characteristic values of each of at least one candidate infographic and the user sketch image. The infographic recommendation unit 360 may perform an operation to select a user infographic more suitable for the user sketch image from among candidate infographics. The selection process of user infographics can be performed by defining specific indicators used for selection and calculating and comparing the relevant indicators for each candidate infographic. That is, the infographic recommendation unit 360 can calculate the similarity between the user sketch image and the candidate infographic using the density characteristic value, and determine the user infographic recommended to the user according to the calculated similarity.

일 실시예에서, 인포그래픽 추천부(360)는 밀집특성 값에 관한 코사인 유사도를 산출하고 코사인 유사도를 기준으로 상위 n개의 후보 인포그래픽 라이브러리를 사용자 인포그래픽 라이브러리로서 추천할 수 있다. 여기에서, n은 자연수에 해당할 수 있다. 인포그래픽 추천부(360)는 밀집특성 값의 유사도가 높은 후보 인포그래픽들 중에서 사용자 인포그래픽으로 결정할 수 있다. 이때, 유사도 산출 과정에는 코사인 유사도(Cosine Similarity), 유클리디안 거리(Euclidean Distance), 자카드 유사도(Jaccard Similarity) 등이 사용될 수 있다.In one embodiment, the infographic recommendation unit 360 may calculate cosine similarity regarding the density characteristic value and recommend the top n candidate infographic libraries as the user infographic library based on the cosine similarity. Here, n may correspond to a natural number. The infographic recommendation unit 360 may determine a user infographic from among candidate infographics with high similarity in density characteristic values. At this time, cosine similarity, Euclidean distance, Jaccard similarity, etc. may be used in the similarity calculation process.

일 실시예에서, 인포그래픽 추천부(360)는 사용자 인포그래픽을 사용자 단말(110) 상에서 드래그 앤 드롭(drag & drop) 방식의 라이브러리 형태로 제공할 수 있다. 이에 따라, 사용자는 자신의 스케치 이미지에 대응되는 인포그래픽을 추천받을 수 있으며, 추천된 인포그래픽 중에서 원하는 인포그래픽을 선택하여 손쉽게 인포그래픽을 생성하거나 또는 사용할 수 있다. 사용자는 추천된 인포그래픽 라이브러리에서 특정 인포그래픽을 드래그 앤 드롭으로 선택하여 해당 인포그래픽을 삽입할 수 있으며, 추가적인 자료를 입력할 수 있다.In one embodiment, the infographic recommendation unit 360 may provide user infographics in the form of a drag-and-drop library on the user terminal 110. Accordingly, the user can be recommended infographics corresponding to his or her sketch image, and can easily create or use the infographic by selecting the desired infographic from among the recommended infographics. Users can select a specific infographic from the recommended infographic library by dragging and dropping it, insert the infographic, and enter additional data.

제어부(도 3에 미도시함)는 추천 장치(130)의 전체적인 동작을 제어하고, 임베딩 모델 구축부(310), 이미지 수신부(320), 이미지 변환부(330), 이미지 특징 추출부(340), 패턴매칭 수행부(350) 및 인포그래픽 추천부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit (not shown in FIG. 3) controls the overall operation of the recommendation device 130, and includes an embedding model building unit 310, an image receiving unit 320, an image converting unit 330, and an image feature extracting unit 340. , the control flow or data flow between the pattern matching performance unit 350 and the infographic recommendation unit 360 can be managed.

도 4는 본 발명에 따른 인포그래픽 라이브러리 추천을 위한 임베딩 기반 학습 과정을 설명하는 순서도이다.Figure 4 is a flowchart explaining the embedding-based learning process for infographic library recommendation according to the present invention.

도 4를 참조하면, 추천 장치(130)는 인포그래픽 라이브러리 DB를 기반으로 학습을 위한 이미지 파일을 로딩할 수 있다(단계 S410). 추천 장치(130)는 이미지 파일을 벡터 이미지로 변환할 수 있으며(단계 S430), 벡터 이미지에서 임베딩 값으로 사용할 위치값 및 점유율을 추출할 수 있다(단계 S450).Referring to FIG. 4, the recommendation device 130 may load an image file for learning based on the infographic library DB (step S410). The recommendation device 130 can convert an image file into a vector image (step S430) and extract a position value and occupancy rate to be used as an embedding value from the vector image (step S450).

또한, 추천 장치(130)는 임베딩 값을 이용하여 밀집특성 값을 연산할 수 있으며(단계 S470), 임베딩 학습을 위하여 학습 대상 이미지에 위치값, 점유율 및 밀집특성 값을 라벨링하여 학습 데이터를 생성할 수 있다(단계 S490).In addition, the recommendation device 130 can calculate the crowding characteristic value using the embedding value (step S470), and can generate learning data by labeling the learning target image with the location value, occupancy rate, and crowding characteristic value for embedding learning. (step S490).

도 5는 본 발명에 따른 인포그래픽 라이브러리 추천 과정을 설명하는 순서도이다.Figure 5 is a flowchart explaining the infographic library recommendation process according to the present invention.

도 5를 참조하면, 추천 장치(130)는 사용자가 인포그래픽 이미지를 스케치하면 사용자 스케치 이미지를 이미지 파일로 스캔할 수 있다(단계 S510). 추천 장치(130)는 사용자 스케치 이미지에 대해 이미지 처리를 위한 필터링 과정을 거친 후 윤곽선 추출한 이미지를 생성할 수 있다(단계 S520). 추천 장치(130)는 윤곽선 추출한 이미지 파일을 벡터 이미지로 변환할 수 있으며(단계 S530), 벡터 이미지에서 임베딩 값으로 사용할 위치값과 점유율을 추출할 수 있다(단계 S540).Referring to FIG. 5, when a user sketches an infographic image, the recommendation device 130 can scan the user's sketch image as an image file (step S510). The recommendation device 130 may generate an image with outlines extracted after going through a filtering process for image processing on the user sketch image (step S520). The recommendation device 130 can convert the outline-extracted image file into a vector image (step S530) and extract the position value and occupancy rate to be used as an embedding value from the vector image (step S540).

또한, 추천 장치(130)는 임베딩 값을 이용하여 밀집특성 값을 연산할 수 있으며(단계 S550), 기 구축된 추천 모델을 이용하여 사용자 스케치 이미지의 임베딩 값을 패턴매칭하여 임계범위 내 인포그래픽 라이브러리를 추천할 수 있다(단계 S560). 추천 장치(130)는 임계범위 내 인포그래픽 라이브러리와 사용자 스케치 이미지의 밀집특성 값 간의 유사도를 산출하여 비교할 수 있으며(단계 S570), 유사도 비교 결과 상위 순위의 인포그래픽 라이브러리를 사용자에게 추천할 수 있다(단계 S580).In addition, the recommendation device 130 can calculate the density characteristic value using the embedding value (step S550), and pattern-matches the embedding value of the user sketch image using a pre-built recommendation model to create an infographic library within the threshold range. may be recommended (step S560). The recommendation device 130 can calculate and compare the similarity between the infographic library within the critical range and the density characteristic value of the user's sketch image (step S570), and recommend the infographic library with the highest ranking to the user as a result of the similarity comparison (step S570). Step S580).

도 6은 본 발명에 따른 인포그래픽 라이브러리의 일 실시예를 설명하는 도면이다.Figure 6 is a diagram illustrating an embodiment of an infographic library according to the present invention.

도 6을 참조하면, 추천 장치(130)는 인포그래픽 라이브러리 추천을 위하여 사전에 인포그래픽 라이브러리(610)를 데이터베이스화할 수 있다. 도 6의 경우, 인포그래픽 라이브러리(610)가 사람의 형상에 관한 다양한 실루엣(silhouette) 이미지로 구현된 예시에 해당할 수 있다. 이처럼, 추천 장치(130)는 다양한 테마(thema)나 카테고리(category) 등으로 분류된 인포그래픽들을 데이터베이스(DB)로 구축하여 인포그래픽 라이브러리 추천을 위한 추천 모델의 구축 과정에 활용할 수 있다. 특히, 추천 장치(130)는 추천 모델의 유형에 따라 인포그래픽 라이브러리로부터 추출된 특징값의 조합으로 학습 데이터를 생성할 수 있다.Referring to FIG. 6, the recommendation device 130 may databaseize the infographic library 610 in advance to recommend the infographic library. In the case of FIG. 6, the infographic library 610 may correspond to an example implemented with various silhouette images of human shapes. In this way, the recommendation device 130 can build a database of infographics classified into various themes or categories and use them in the process of building a recommendation model for recommending an infographic library. In particular, the recommendation device 130 may generate learning data by combining feature values extracted from the infographic library according to the type of recommendation model.

예를 들어, 추천 장치(130)는 인포그래픽 라이브러리의 이미지 파일을 벡터로 변환한 다음, 위치값, 점유율 및 밀집특성 값을 각각 산출하여 라벨링함으로써 추천 모델 구축을 위한 학습 데이터를 생성할 수 있으며, 추천 모델에 관한 학습 알고리즘에 따라 다양한 임베딩 값이나 밀집특성 값을 정의하여 학습에 활용할 수 있다.For example, the recommendation device 130 can generate learning data for building a recommendation model by converting the image file of the infographic library into a vector and then calculating and labeling the location value, occupancy rate, and density characteristic value, respectively. Depending on the learning algorithm for the recommendation model, various embedding values or dense feature values can be defined and used for learning.

도 7은 본 발명에 따른 사용자 스케치 이미지에 대응되는 인포그래픽 라이브러리 추천 과정의 일 실시예를 설명하는 도면이다.Figure 7 is a diagram illustrating an embodiment of an infographic library recommendation process corresponding to a user sketch image according to the present invention.

도 7을 참조하면, 추천 장치(130)는 사용자 단말(110)로부터 사용자가 직접 그린 사용자 스케치 이미지(710)를 이미지 파일로 수신할 수 있다. 이를 위하여, 추천 장치(130)는 사용자 단말(110) 상에서 구현되는 전용 인터페이스를 제공할 수 있으며, 사용자는 전용 인터페이스를 통해 스케치를 입력할 수 있다.Referring to FIG. 7 , the recommendation device 130 may receive a user sketch image 710 drawn by the user as an image file from the user terminal 110. To this end, the recommendation device 130 may provide a dedicated interface implemented on the user terminal 110, and the user may input a sketch through the dedicated interface.

이후, 추천 장치(130)는 사용자 스케치 이미지(710)를 기 구축된 추천 모델(730)에 입력할 수 있으며, 추천 모델(730)은 사용자 스케치 이미지(710)에서 추출된 특징값을 입력으로 수신하여 사용자 스케치 이미지(710)에 대응되는 인포그래픽 라이브러리를 출력할 수 있다. 또한, 추천 장치(130)는 사용자 스케치 이미지(710)를 추천 모델(730)에 적용하기 위하여 사용자 스케치 이미지(710)에 관한 전처리 동작을 수행할 수 있다. 즉, 사용자 스케치 이미지(710)는 전처리 동작을 통해 벡터 이미지로 변환될 수 있으며, 추천 장치(130)는 벡터 이미지를 기반으로 사전에 설정된 특징값들을 추출하여 추천 모델(730)의 입력으로 사용할 수 있다.Thereafter, the recommendation device 130 may input the user sketch image 710 into the previously built recommendation model 730, and the recommendation model 730 receives the feature values extracted from the user sketch image 710 as input. Thus, an infographic library corresponding to the user sketch image 710 can be output. Additionally, the recommendation device 130 may perform a preprocessing operation on the user sketch image 710 in order to apply the user sketch image 710 to the recommendation model 730. That is, the user sketch image 710 can be converted into a vector image through a preprocessing operation, and the recommendation device 130 can extract preset feature values based on the vector image and use them as input to the recommendation model 730. there is.

추천 장치(130)는 추천 모델(730)에 의해 출력된 인포그래픽 라이브러리 중에서 사용자 스케치 이미지와의 유사도를 기준으로 사용자에게 최종 추천되는 사용자 인포그래픽(750)을 결정할 수 있다. 즉, 사용자 인포그래픽(750)은 라이브러리 형태로 사용자 단말(110)을 통해 제공될 수 있으며, 사용자는 특정 사용자 인포그래픽(750)을 선택하여 해당 인포그래픽을 삽입하거나 추가적인 자료를 입력할 수 있다.The recommendation device 130 may determine the user infographic 750 that is finally recommended to the user based on the similarity with the user sketch image among the infographic libraries output by the recommendation model 730. That is, the user infographic 750 may be provided through the user terminal 110 in the form of a library, and the user can select a specific user infographic 750 and insert the corresponding infographic or input additional data.

예를 들어, 도 7에서, 추천 장치(130)는 사용자 스케치 이미지(710)에 대응되는 4개의 사용자 인포그래픽(750)을 사용자에게 추천할 수 있으며, 사용자는 4개의 사용자 인포그래픽(750) 중에서 자신이 원하는 인포그래픽을 선택할 수 있다. 이때, 사용자는 사용자 단말(110) 상에서 제공되는 인터페이스를 통해 드래그 앤 드랍 방식으로 특정 인포그래픽을 선택할 수 있으며, 드랍되는 위치에 해당 특정 인포그래픽이 삽입될 수 있다.For example, in FIG. 7, the recommendation device 130 may recommend four user infographics 750 corresponding to the user sketch image 710 to the user, and the user may select one of the four user infographics 750. You can choose the infographic you want. At this time, the user can select a specific infographic by dragging and dropping through the interface provided on the user terminal 110, and the specific infographic can be inserted into the dropped position.

일 실시예에서, 추천 장치(130)는 사용자 단말(110) 상에서 동작하는 전용 인터페이스를 통해 사용자 스케치 이미지를 수신할 수 있으며, 추천 모델을 통해 추천된 인포그래픽을 전용 인터페이스의 일측면에 오버레이하여 출력할 수 있다.In one embodiment, the recommendation device 130 may receive a user sketch image through a dedicated interface operating on the user terminal 110, and output the infographic recommended through the recommendation model by overlaying it on one side of the dedicated interface. can do.

일 실시예에서, 추천 장치(130)는 사용자의 선택에 따라 결정된 사용자 인포그래픽을 사용자 스케치 이미지의 스케일(scale)에 따라 변환할 수 있다. 예를 들어, 추천 장치(130)는 사용자 인포그래픽이 결정된 경우 인포그래픽 라이브러리 DB로부터 해당 사용자 인포그래픽에 대응되는 인포그래픽 이미지를 획득한 다음, 사용자 스케치 이미지의 크기에 맞춰 인포그래픽 이미지의 크기를 조정할 수 있다. 또한, 추천 장치(130)는 사용자 스케치 이미지의 회전 방향에 맞춰 인포그래픽 이미지를 회전시킬 수 있으며, 사용자 스케치 이미지의 색상, 채도, 명도 등에 맞춰 인포그래픽 이미지의 색상, 채도, 명도 등을 조정할 수 있다.In one embodiment, the recommendation device 130 may convert the user infographic determined according to the user's selection according to the scale of the user sketch image. For example, when a user infographic is determined, the recommendation device 130 obtains an infographic image corresponding to the user infographic from the infographic library DB, and then adjusts the size of the infographic image to match the size of the user sketch image. You can. In addition, the recommendation device 130 can rotate the infographic image according to the rotation direction of the user sketch image, and adjust the color, saturation, and brightness of the infographic image according to the color, saturation, and brightness of the user sketch image. .

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can do it.

100: 인포그래픽 라이브러리 추천 시스템
110: 사용자 단말 130: 추천 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 임베딩 모델 구축부 320: 이미지 수신부
330: 이미지 변환부 340: 이미지 특징 추출부
350: 패턴매칭 수행부 360: 인포그래픽 추천부100: Infographic library recommendation system
110: User terminal 130: Recommended device
150: database
210: Processor 230: Memory
250: user input/output unit 270: network input/output unit
310: Embedding model construction unit 320: Image receiving unit
330: Image conversion unit 340: Image feature extraction unit
350: Pattern matching execution unit 360: Infographic recommendation unit

Claims

An embedding model construction unit that builds a recommendation model for infographic library recommendation based on learning data extracted from the infographic library DB;
An image receiving unit that receives a user sketch image from a user terminal;
an image conversion unit that preprocesses the user sketch image and converts it into a user vector image;
an image feature extraction unit that extracts an embedding value from the user vector image and generates a dense feature value using the embedding value;
a pattern matching unit configured to determine at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model; and
An artificial intelligence-based user sketch recognition unit that recommends a user infographic associated with the user sketch image based on the similarity of the density characteristic values of each of the at least one candidate infographic and the user sketch image. Infographic library recommendation device through.

The method of claim 1, wherein the embedding model building unit
Loading image files for learning from the infographic library DB,
Convert the image file into a vector image,
Extracting the location value and occupancy rate used as the embedding value from the vector image,
Calculating the density characteristic value using the embedding value,
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that the learning data is generated by labeling the image file with the location value, occupancy rate, and the density characteristic value.

The method of claim 1, wherein the image receiver
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that it directly creates the user sketch image by scanning the user's sketch as an image file through an interface running on the user terminal.

The method of claim 1, wherein the image conversion unit
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that it filters the user sketch image, extracts the outline, and then converts it to the user vector image.

The method of claim 1, wherein the image feature extractor
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that the location value and occupancy rate are extracted from the user vector image as the embedding value.

The method of claim 5, wherein the image feature extraction unit
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that the density characteristic value is generated using the location value and occupancy rate.

The method of claim 1, wherein the pattern matching unit
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that determining an infographic library within a preset critical range extracted through the recommendation model as the at least one candidate infographic.

The method of claim 1, wherein the infographic recommendation unit
Infographic library recommendation through artificial intelligence-based user sketch recognition, comprising calculating cosine similarity for the density characteristic value and recommending top n candidate infographic libraries as the user infographic library based on the cosine similarity. Device.

The method of claim 1, wherein the infographic recommendation unit
An infographic library recommendation device through artificial intelligence-based user sketch recognition, characterized in that the user infographic is provided in the form of a drag-and-drop library on the user terminal.

Constructing a recommendation model for recommending an infographic library based on learning data extracted from the infographic library DB through an embedding model construction unit;
Receiving a user sketch image from a user terminal through an image receiving unit;
Preprocessing the user sketch image and converting it into a user vector image through an image conversion unit;
Extracting an embedding value from the user vector image through an image feature extractor and generating a dense feature value using the embedding value;
Determining at least one candidate infographic corresponding to the user sketch image by applying the embedding value to the recommendation model through a pattern matching unit; and
Through an infographic recommendation unit, recommending a user infographic associated with the user sketch image based on the similarity of the density characteristic values of each of the at least one candidate infographic and the user sketch image. Artificial intelligence-based method comprising: Infographic library recommendation method through user sketch recognition.

The method of claim 10, wherein the step of building the recommendation model is
Loading an image file for learning from the infographic library DB;
converting the image file into a vector image;
extracting a position value and an occupancy rate used as the embedding value from the vector image;
calculating the density characteristic value using the embedding value; and
An infographic library recommendation method through artificial intelligence-based user sketch recognition, comprising the step of labeling the image file with the location value, occupancy rate, and density characteristic value to generate the learning data.

The method of claim 10, wherein the step of generating the density characteristic value is
An infographic library recommendation method through artificial intelligence-based user sketch recognition, comprising extracting a location value and an occupancy rate from the user vector image as the embedding value.

The method of claim 12, wherein the step of generating the density characteristic value is
An infographic library recommendation method through artificial intelligence-based user sketch recognition, comprising the step of generating the density characteristic value using the location value and occupancy rate.

The method of claim 10, wherein the step of recommending the user infographic is
Through artificial intelligence-based user sketch recognition, comprising the step of calculating cosine similarity for the dense characteristic value and recommending top n candidate infographic libraries as the user infographic library based on the cosine similarity. How to recommend an infographic library.