KR20220017068A - Methods for automatic generation and transformation of artificial intelligence content - Google Patents
Methods for automatic generation and transformation of artificial intelligence content Download PDFInfo
- Publication number
- KR20220017068A KR20220017068A KR1020200097122A KR20200097122A KR20220017068A KR 20220017068 A KR20220017068 A KR 20220017068A KR 1020200097122 A KR1020200097122 A KR 1020200097122A KR 20200097122 A KR20200097122 A KR 20200097122A KR 20220017068 A KR20220017068 A KR 20220017068A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- metadata
- content
- user
- text
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 title description 2
- 230000001131 transforming effect Effects 0.000 claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000004458 analytical method Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 20
- 230000008451 emotion Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 10
- 238000010191 image analysis Methods 0.000 claims description 10
- 238000011426 transformation method Methods 0.000 claims description 7
- 241001465754 Metazoa Species 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 인공지능 콘텐츠 자동 생성 및 변형 방법에 관한 것으로서, 더욱 상세하게는 사용자가 창작물을 제작함에 있어 별도의 전문가나 툴의 도움 없이도, 인공지능을 이용하여 영상처리 및 자연어를 처리하고 메타데이터를 추출 및 분석하여 콘텐츠를 자동으로 생성할 수 있도록 하기 위한 방법에 관한 것이다.The present invention relates to a method for automatically generating and transforming artificial intelligence content, and more particularly, when a user creates a creative work, image processing and natural language are processed using artificial intelligence without the help of a separate expert or tool, and metadata is stored It relates to a method for extracting and analyzing to automatically generate content.
과거에는 창작이 전문가의 영역으로 오랜 기간 동안 지속되어 왔으나 정보통신기술의 발전, 통신 성능의 향상, 콘텐츠 소비 문화의 변화 등으로 점치 개인의 영역으로 확대되고 있는 추세이다.In the past, creation has been continued for a long time as the domain of experts, but it is expanding into the domain of fortune-telling individuals due to the development of information and communication technology, improvement of communication performance, and changes in content consumption culture.
최근에는 창작의 방식이 사진, 동영상 등을 활용한 브이로그, 즉 비디오와 블로그의 결합이나, 웹툰, 이모티콘, 움직이는 그림 등 짧지만 위트 있고 함축적인 내용을 가진 콘텐츠로 확대되고 있으며 개인의 소재를 활용한 내용을 공감하며 나누는 콘텐츠로 생산되고 있는 추세이다.Recently, the creative method is expanding to content with short but witty and connotative contents, such as vlogs using photos and videos, that is, a combination of video and blogs, webtoons, emoticons, and moving pictures. It is a trend that is being produced as content that can be shared and shared with one another.
또한 다양한 소셜 네트워크 서비스(Social Network Service, SNS) 플랫폼의 확산으로 과거와 달리 1인 창작 영역으로 확대되어 SNS 플랫폼을 통해 게임방송, 브이로그 등 누구나 콘텐츠의 생산자가 될 수 있는 시대가 도래하였다.In addition, with the spread of various social network service (SNS) platforms, unlike in the past, it has expanded to a one-person creative field, and an era has arrived where anyone can become a content producer through SNS platforms, such as game broadcasting and vlogs.
그러나 콘텐츠 제작을 위해서는 사용자가 아이디어부터 스케치, 이미지 검색, 편집까지 모든 과정을 직접 거쳐야 하며, 현재 콘텐츠, 특히 모션이 있는 동영상 제작을 위해서는 포토샵, 일러스트레이터, 프리미어 등 전문 편집기를 사용하거나, 이러한 전문 편집기를 사용할 수 있는 전문가에게 맡겨 수행해야 하는데, 이러한 분야에 대한 전문적 교육을 받지 않은 일반 사용자는 전문 편집기를 사용하기 어려우며 비용이 부담으로 다가올 수 있다.However, in order to create content, users have to go through all the processes from idea to sketch, image search, and editing themselves. It should be entrusted to a professional who can use the . However, it is difficult for general users who do not have professional training in these fields to use a professional editor, and the cost can come as a burden.
또한 전문 편집기를 활용한다 하더라도 최종 콘텐츠 제작에는 시간이 많이 소요되며, 특히 동영상의 경우에는 이미지 프레임을 각각 편집한 후 이어 붙여야 하기 때문에 작업량이 매우 많다.In addition, even if a professional editor is used, it takes a lot of time to produce the final content, and especially in the case of a video, the amount of work is very high because image frames need to be edited and then stitched together.
전술한 문제점을 해결하기 위해 본 발명이 이루고자 하는 과제는, 콘텐츠 제작에 있어 특정 이미지와 텍스트를 입력하거나 SNS 플랫폼 상에 입력한 텍스트를 인공지능을 기반으로 하여 분석하여 이미지와 텍스트의 메타데이터를 추출하고, 추출한 메타데이터를 통해 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 등을 생성함으로써 아이디어 수준에서부터 완성도 높은 콘텐츠를 자동으로 생성하여 비전문가들의 창작을 지원하고, 적은 비용과 시간으로 고품질의 콘텐츠를 제작할 수 있도록 하는 데 있다.In order to solve the above problems, an object of the present invention is to extract metadata of images and texts by inputting specific images and texts in content production or by analyzing texts input on SNS platforms based on artificial intelligence. And, by creating dynamic content, sketch-based image content, and illustration content through the extracted metadata, content with high perfection from the idea level is automatically created to support the creation of non-professionals, and high-quality content can be produced at low cost and time. is to make
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 과제들은 아래의 기재로부터 당업자가 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에 따르면, 인공지능 콘텐츠 자동 생성 및 변형 방법은, (a) 콘텐츠 생성을 위하여 사용자가 생성할 콘텐츠와 관련된 텍스트 및 이미지를 입력하는 단계; (b) 인공지능을 기반으로 하여 사용자가 입력한 텍스트 및 사용자가 입력한 이미지 데이터의 메타데이터를 분석하여 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록하는 단계; 및 (c) 기록된 메타데이터를 활용하여 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 중 어느 하나 이상의 창작물을 생성하는 단계;를 포함한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the method for automatically generating and transforming artificial intelligence content includes: (a) inputting text and images related to content to be generated by a user for content creation; ; (b) analyzing the metadata of the text input by the user and the image data input by the user based on artificial intelligence and recording the text metadata and image metadata, respectively; and (c) generating at least one creation of dynamic content, sketch-based image content, and illustration content by using the recorded metadata.
상기 사용자가 입력한 이미지는, 주요 객체 및 배경을 포함하는 정적 이미지, 사용자가 창작한 스케치 이미지 및 분위기를 변환할 삽화 이미지 중 어느 하나 이상을 포함하며, 사용자가 사용자 단말의 입력 수단을 통해 입력하거나 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드 또는 다운로드한 이미지다.The image input by the user includes any one or more of a static image including a main object and a background, a sketch image created by the user, and an illustration image to convert an atmosphere, and the user inputs or An image uploaded or downloaded by the user on a social platform linked with the user terminal.
상기 (b)단계는, 상기 사용자가 입력한 텍스트에 대하여 인공지능을 기반으로 문장 분석, 여러 개의 복합 문장이 있는 문단 분석, 문단 분석 중 가장 중요한 문장을 추출, 여러 문장을 복합적으로 분석하는 등 텍스트 분석하여 액션정보, 객체정보, 배경정보, 글의 감성, 글의 분위기를 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 텍스트 메타데이터로 기록하는 텍스트 분석 단계; 및 상기 사용자가 입력한 이미지에 대하여 인공지능을 기반으로 이미지의 배경과 전경을 분리하고, 이미지 내의 사람의 전신, 사람의 얼굴, 동물, 캐릭터 등을 이미지 분석하여 배경 및 전경 정보, 객체의 특징점을 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 이미지 메타데이터로 기록하는 이미지 분석 단계;를 포함한다. In the step (b), text analysis based on artificial intelligence for the text input by the user, paragraph analysis with multiple compound sentences, extracting the most important sentence among paragraph analysis, and complex analysis of multiple sentences a text analysis step of analyzing and extracting action information, object information, background information, emotion of writing, and atmosphere of writing to generate metadata and recording it as text metadata in a database according to a predetermined format; and separating the background and foreground of the image based on artificial intelligence with respect to the image input by the user, and analyzing the image of a person's whole body, human face, animal, character, etc. in the image to obtain background and foreground information and object feature points and an image analysis step of extracting and generating metadata and recording it as image metadata in a database according to a predetermined format.
상기 이미지 분석 단계는, 상기 사용자가 입력한 이미지가 없는 경우에는 사용자 단말에 저장되거나 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드한 이미지 또는 데이터베이스에 저장된 이미지 중 상기 텍스트 메타데이터와 관련된 이미지를 검출하고, 검출된 이미지의 배경과 전경을 분리하고, 이미지 내의 사람의 전신, 사람의 얼굴, 동물, 캐릭터 등을 이미지 분석하여 배경 및 전경 정보, 객체의 특징점을 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 이미지 메타데이터로 기록한다.In the image analysis step, if there is no image input by the user, an image related to the text metadata is detected from among images stored in a user terminal or uploaded by the user on a social platform linked to the user terminal or images stored in a database Separates the background and foreground of the detected image, analyzes the whole body of a person, a human face, an animal, a character, etc. in the image to extract background and foreground information and feature points of the object to generate metadata in a predetermined format according to the image metadata in the database.
상기 (c)단계는, 사용자가 입력한 이미지가 주요 객체 및 배경을 포함하는 정적 이미지인 경우에는, 이미지 메타데이터 중 배경의 모션을 상기 배경의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 분위기에 따라 움직이도록 동적 이미지로 변경하는 배경 모션 생성; 및 이미지 메타데이터 중 객체의 신체 모션, 얼굴 표정 등을 상기 객체의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보에 따라 움직이도록 동적 이미지로 변경하는 객체 모션 생성; 중 어느 하나 이상을 거쳐 동적 콘텐츠를 생성한다.In the step (c), when the image input by the user is a static image including a main object and a background, the motion of the background in the image metadata is moved according to the general action of the background or the atmosphere indicated in the text metadata. Create a background motion that changes to a dynamic image; and object motion generation for changing the body motion, facial expression, etc. of the object in the image metadata into a dynamic image to move according to the general action of the object or action information indicated in the text metadata; Dynamic content is created through one or more of these.
상기 (c)단계는, 사용자가 입력한 이미지가 사용자가 창작한 스케치 이미지인 경우에는, 이미지 메타데이터 중 스케치의 신체 모션, 얼굴 표정 등을 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 화풍변화; 및 이미지 메타데이터 중 스케치의 일부의 색체를 텍스트 메타데이터 또는 사용자의 선택에 따라 변경하는 색체변화; 중 어느 하나 이상을 거쳐 스케치 기반 이미지 콘텐츠를 생성한다.In step (c), when the image input by the user is a sketch image created by the user, the style change of changing the body motion, facial expression, etc. of the sketch among the image metadata according to the atmosphere and style shown in the text metadata. ; and a color change for changing the color of a part of the sketch among the image metadata according to text metadata or a user's selection. Sketch-based image content is created through one or more of these.
상기 (c)단계는, 사용자가 입력한 이미지가 분위기를 변환할 삽화 이미지인 경우에는, 이미지 메타데이터 중 배경 및 객체를 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 화풍변화; 및 이미지 메타데이터 중 배경 및 객체의 그래픽 효과를 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 그래픽 오버레이; 중 어느 하나 이상을 거쳐 삽화 콘텐츠를 생성한다.In the step (c), when the image input by the user is an illustration image to change the atmosphere, the background and the object in the image metadata are changed according to the atmosphere and the style indicated in the text metadata; and graphic overlays for changing the graphic effects of backgrounds and objects among image metadata according to the atmosphere and style shown in the text metadata; Through one or more of the above, the illustration content is generated.
상기 (c)단계에서 생성된 창작물이 스케치 기반 이미지 콘텐츠 또는 삽화 콘텐츠인 경우에는, 상기 (c)단계 이후, 상기 (b)단계 및 상기 (c)단계를 더 수행하되, 상기 (b)단계에서 상기 사용자가 입력한 이미지는 상기 생성된 창작물이고, 상기 (c)단계는, 이미지 메타데이터 중 배경의 모션을 상기 배경의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 분위기에 따라 움직이도록 동적 이미지로 변경하는 배경 모션 생성; 및 이미지 메타데이터 중 객체의 신체 모션, 얼굴 표정 등을 상기 객체의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보에 따라 움직이도록 동적 이미지로 변경하는 객체 모션 생성; 중 어느 하나 이상을 거쳐 동적 콘텐츠를 생성한다.When the creation created in step (c) is sketch-based image content or illustration content, after step (c), steps (b) and (c) are further performed, but in step (b) The image input by the user is the created creation, and in step (c), the background motion of the image metadata is changed to a dynamic image to move according to the general action of the background or the atmosphere indicated in the text metadata. motion generation; and object motion generation for changing the body motion, facial expression, etc. of the object in the image metadata into a dynamic image to move according to the general action of the object or action information indicated in the text metadata; Dynamic content is created through one or more of these.
한편, 본 발명의 다른 실시예에 따르면, 인공지능 콘텐츠 자동 생성 및 변형 방법은, (a) 콘텐츠 생성을 위하여 사용자가 생성할 콘텐츠와 관련된 텍스트 및 이미지를 입력하는 단계; (b) 인공지능을 기반으로 하여 사용자가 사용자 단말의 입력 수단을 통해 입력하거나 사용자 단말에 저장된 텍스트, 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자 단말의 입력 수단을 통해 입력한 텍스트 또는 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드 또는 다운로드한 이미지 등에 포함된 텍스트 및 사용자가 입력한 이미지 데이터의 메타데이터를 분석하여 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록하는 단계; 및 (c) 기록된 메타데이터를 활용하여 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 중 어느 하나 이상의 창작물을 생성하는 단계;를 포함한다.Meanwhile, according to another embodiment of the present invention, a method for automatically generating and transforming artificial intelligence content includes the steps of: (a) inputting text and images related to content to be generated by a user for content creation; (b) based on artificial intelligence, the text input by the user through the input means of the user terminal or stored in the user terminal, the text inputted through the input means of the user terminal on the social platform interlocked with the user terminal, or the user terminal Analyzing the metadata of the text included in the image uploaded or downloaded by the user and the image data input by the user on a social platform linked with the user and recording the metadata as text metadata and image metadata, respectively; and (c) generating at least one creation of dynamic content, sketch-based image content, and illustration content by using the recorded metadata.
본 발명에 따르면,According to the present invention,
콘텐츠 제작에 있어 특정 이미지와 텍스트를 입력하거나 SNS 플랫폼 상에 입력한 텍스트를 인공지능을 기반으로 하여 분석하여 이미지와 텍스트의 메타데이터를 추출하고, 추출한 메타데이터를 통해 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 등을 생성함으로써 아이디어 수준에서부터 완성도 높은 콘텐츠를 자동으로 생성하여 비전문가들의 창작을 지원하고, 적은 비용과 시간으로 고품질의 콘텐츠를 제작할 수 있다.In content creation, input specific images and texts or text input on SNS platforms are analyzed based on artificial intelligence to extract image and text metadata, and dynamic content, sketch-based image content, and By automatically creating content from an idea level to a high-quality content by creating illustration content, it is possible to support the creation of non-professionals, and to produce high-quality content at low cost and time.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 주요 기능을 나타낸 예시도,
도 2는 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 3은 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 4는 본 발명의 동적 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 5는 본 발명의 스케치 기반 이미지 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 6은 본 발명의 삽화 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 7은 본 발명의 스케치 기반 동적 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도,
도 8은 본 발명의 동적 삽화 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.1 is an exemplary diagram showing the main functions of the method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention;
2 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention;
3 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention;
4 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating dynamic content of the present invention;
5 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention for generating sketch-based image content;
6 is a flowchart of an artificial intelligence content automatic creation and transformation method according to an embodiment of the present invention for generating illustration content;
7 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating sketch-based dynamic content of the present invention;
8 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating dynamic illustration content of the present invention.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.In this specification, when terms such as first, second, etc. are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다. Further, when it is stated that any element, component, device, or system includes a component consisting of a program or software, even if not explicitly stated, that element, component, device, or system means that the program or software is executed. Alternatively, it should be understood to include hardware (eg, memory, CPU, etc.) necessary for operation or other programs or software (eg, drivers necessary for operating an operating system or hardware, etc.).
또한 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. In addition, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the terms 'comprises' and/or 'comprising' do not exclude the presence or addition of one or more other components.
또한, 본 명세서에 기재된 '…부', '…기', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, '일', '하나' 및 '그' 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, the '... wealth', '… Terms such as 'group' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. In addition, articles such as 'a', 'a' and 'the' in the context of describing the present invention include both the singular and the plural unless otherwise indicated herein or clearly contradicted by the context in the context of describing the present invention. can be used
아래의 특정 실시 예들을 기술하는 데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용이 없어도 사용될 수 있다는 것을 인지할 수 있다. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that the present invention may be used without these various specific details.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. In some cases, it is mentioned in advance that parts that are commonly known and not largely related to the invention are not described in order to avoid confusion without any reason in describing the present invention in describing the invention.
이하, 본 발명에서 실시하고자 하는 구체적인 기술 내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific technical contents to be practiced in the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 주요 기능을 나타낸 예시도이다.1 is an exemplary diagram illustrating main functions of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법은, AI를 기반으로 하여 텍스트 및 이미지의 메타데이터를 분석하여 AI를 기반으로 자동 저작 기능을 가지는 것을 주된 내용으로 한다.1 , the method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention is mainly to have an automatic authoring function based on AI by analyzing metadata of text and images based on AI. do.
여기서 메타데이터의 분석은, 텍스트 분석을 기반으로 메타데이터 추출하여 객체/배경 정보, 액션 정보, 글의 감성/분위기 등 메타데이터를 추출하며, 영상 또는 이미지 내의 주요 객체의 키포인트 추출은 이미지로부터 AI을 통하여 인간의 신체 모션이나, 얼굴 표정, 동물의 모션 등의 키포인트를 추출한다.Here, metadata analysis extracts metadata based on text analysis to extract metadata such as object/background information, action information, and text emotion/atmosphere. Through this, key points such as human body motion, facial expression, and animal motion are extracted.
또한, 자동 저작 기능은 크게 동적 콘텐츠 자동 생성, 스케치 기반 캐릭터 자동 생성, 감정 기반 삽화 자동 변환의 세 가지로 나뉠 수 있다.In addition, the automatic authoring function can be largely divided into three types: automatic creation of dynamic content, automatic creation of sketch-based characters, and automatic conversion of emotion-based illustrations.
여기서 동적 콘텐츠 자동 생성은, 이미지에서 배경을 선택하여 뉴럴넷 기반 예측을 통해 배경 모션의 시퀀스를 생성하여 배경이 움직이는 동적 콘텐츠를 생성할 수 있으며, 이미지에서 인간, 동물 등의 객체를 선택하여 뉴럴넷 기반 예측을 통해 객체 액션의 시퀀스를 생성하여 객체가 움직이는 동적 콘텐츠를 생성할 수 있다.Here, the dynamic content automatic generation can generate dynamic content with moving background by selecting a background from an image and generating a sequence of background motion through neural net-based prediction. By creating a sequence of object actions, you can create dynamic content in which objects move.
또한 배경과 객체가 모두 움직이는 동적 콘텐츠도 물론 생성할 수 있다.You can also of course create dynamic content in which both the background and the object move.
여기서 스케치 기반 캐릭터 자동 생성은, 사용자가 창작한 스케치를 입력하면 뉴럴넷 기반 변환을 통해 캐릭터 모델, 비슷한 실사 등을 생성할 수 있다.Here, in the automatic sketch-based character creation, when a user inputs a created sketch, a character model, a similar live-action image, etc. can be created through neural net-based transformation.
여기서 감정기반 삽화 자동 변환은, 입력된 이미지를 입력된 텍스트에서 검출된 글의 분위기에 따라 뉴럴넷 기반 변환하여 분위기에 적합한 화풍으로 변경할 수 있고, 입력된 이미지를 입력된 텍스트에서 검출된 글의 분위기에 따라 뉴럴넷 기반 효과 선정 및 overlay(오버레이)를 통해 분위기에 적합한 그래픽 효과로 이미지를 변경할 수 있다.Here, the emotion-based illustration automatic conversion can change the input image into a style suitable for the atmosphere by converting the input image based on the neural net according to the atmosphere of the text detected in the input text, and change the input image to the atmosphere of the text detected in the input text. Accordingly, the image can be changed to a graphic effect suitable for the atmosphere through neural net-based effect selection and overlay.
이하 본 발명의 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법에 대한 실시예를 나타낸다.Hereinafter, an embodiment of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention is shown.
도 2는 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.2 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법은 사용자가 텍스트 및 이미지를 입력하는 단계(S100), 인공지능 기반 메타데이터 분석 및 기록하는 단계(S200), 창작물 생성하는 단계(S300)를 포함한다.Referring to FIG. 2 , the method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention includes the steps of a user inputting text and images (S100), analyzing and recording artificial intelligence-based metadata (S200), and a creation and generating (S300).
여기서 입력하는 단계(S100)는, 콘텐츠 생성을 위해 생성할 콘텐츠와 관련된 텍스트와 이미지를 사용자가 입력한다. In the inputting step ( S100 ), the user inputs text and images related to content to be created for content creation.
여기서 사용자가 입력한 텍스트는 사용자가 사용자 단말의 입력 수단을 통해 직접 입력하거나 사용자 단말에 저장된 텍스트, 이러한 사용자 단말과 연동된 SNS 등 소셜 플랫폼 상에서 상기 사용자 단말의 입력 수단을 통해 입력한 텍스트일 수 있고, 또는 이러한 사용자 단말과 연동된 SNS 등 소셜 플랫폼 상에서 사용자가 업로드 또는 다운로드 한 이미지 등에 포함된 텍스트일 수 있다.Here, the text input by the user may be a text input by the user directly through the input means of the user terminal, text stored in the user terminal, or text inputted through the input means of the user terminal on a social platform such as SNS linked to the user terminal, , or it may be text included in an image uploaded or downloaded by a user on a social platform such as SNS linked with such a user terminal.
따라서 이러한 텍스트는 사용자 등이 작성한 블로그의 글, 메신저 대화에 사용된 문장, e-book에 포함된 글 등이 될 수 있다. Accordingly, such text may be a blog post written by a user, etc., a sentence used in a messenger conversation, or an article included in an e-book.
여기서 사용자가 입력한 이미지는, 동적 콘텐츠를 생성하기 위해 주요 객체 및 배경을 포함하는 정적 이미지, 스케치 기반 이미지 콘텐츠를 생성하기 위해 사용자가 창작한 스케치 이미지, 삽화 콘텐츠를 생성하기 위해 분위기를 변환할 삽화 이미지 중 어느 하나 이상일 수 있다.Here, the image entered by the user is a static image including the main object and background to create dynamic content, a sketch image created by the user to create sketch-based image content, and an artwork to transform the atmosphere to create the illustration content It may be any one or more of images.
이러한 이미지 또한 사용자가 사용자 단말의 입력 수단을 통해 직접 입력하거나 사용자 단말에 저장된 이미지, 이러한 사용자 단말과 연동된 SNS 등 소셜 플랫폼 상에서 사용자가 업로드 또는 다운로드 한 이미지 등이 포함될 수 있다.These images may also include images that the user directly inputs through the input means of the user terminal or stored in the user terminal, images uploaded or downloaded by the user on social platforms such as SNS linked to the user terminal, and the like.
따라서 이러한 이미지는 사용자 단말에 저장된 사진 등이 될 수 있다. Accordingly, such an image may be a picture stored in the user terminal.
도 3은 본 발명의 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.3 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention.
도 3은, 도 2의 메타데이터 분석 및 기록하는 단계(S200)를 세분화하여 설명한다.3 is a detailed description of the step (S200) of analyzing and recording the metadata of FIG. 2 .
여기서 메타데이터 분석 및 기록하는 단계(S200)는, 인공지능을 기반으로 하여 사용자가 입력한 텍스트 및 사용자가 입력한 이미지 데이터의 메타데이터를 분석하여 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록한다.Here, in the step of analyzing and recording the metadata ( S200 ), based on artificial intelligence, the metadata of the text input by the user and the image data input by the user are analyzed and recorded as text metadata and image metadata, respectively.
여기서 메타데이터 분석 및 기록하는 단계(S200)는, 텍스트의 메타데이터를 분석하는 텍스트 분석 단계(S221), 이미지의 메타데이터를 분석하는 이미지 분석 단계(S222)를 포함할 수 있다.Here, the step (S200) of analyzing and recording the metadata may include a text analysis step (S221) of analyzing the metadata of the text, and an image analysis step (S222) of analyzing the metadata of the image.
여기서 텍스트 분석 단계(S221)에서는, 사용자가 입력한 텍스트에 대하여 인공지능을 기반으로 문장 분석, 여러 개의 복합 문장이 있는 문단 분석, 문단 분석 중 가장 중요한 문장을 추출, 여러 문장을 복합적으로 분석하는 등 텍스트 분석을 통해 액션정보, 객체정보, 배경정보, 글의 감성, 글의 분위기를 추출하여 메타데이터를 생성할 수 있다.Here, in the text analysis step (S221), a sentence analysis based on artificial intelligence for the text input by the user, a paragraph analysis with several compound sentences, extracting the most important sentence among paragraph analysis, complex analysis of several sentences, etc. Through text analysis, metadata can be created by extracting action information, object information, background information, the emotion of the text, and the mood of the text.
여기서 이미지 분석 단계(S222)에서는, 사용자가 입력한 이미지에 대하여 인공지능을 기반으로 이미지의 배경과 전경을 분리하고, 이미지 내의 사람의 전신, 사람의 얼굴, 동물, 캐릭터, 스케치, 삽화 등을 이미지 분석하여 배경 및 전경 정보, 객체의 특징점을 추출하여 메타데이터를 생성할 수 있다.Here, in the image analysis step (S222), the background and foreground of the image are separated based on artificial intelligence with respect to the image input by the user, and the whole body of a person, a human face, an animal, a character, a sketch, an illustration, etc. in the image are imaged. Metadata can be generated by analyzing and extracting background and foreground information and feature points of objects.
여기서 객체의 특징점은 신체의 모션, 포즈나 얼굴의 표정, 얼굴 내 눈, 코, 입의 모양 등이 될 수 있다.Here, the feature point of the object may be a body motion, a pose or facial expression, and the shape of the eyes, nose, and mouth in the face.
다만 메타데이터 분석 및 기록 단계(S200)에서는 입력하는 단계(S100)에서 사용자가 입력한 데이터 중 이미지 데이터가 존재하는지 먼저 확인하여(S210), 입력된 데이터 중 입력된 이미지가 있는 경우에는 인공지능 기반 텍스트/이미지 메타데이터 분석 단계(S220), 즉 텍스트 분석 단계(S221) 및 이미지 분석 단계(S222)는 그대로 진행된다.However, in the metadata analysis and recording step (S200), it is first checked whether image data exists among the data input by the user in the input step (S100) (S210), and if there is an input image among the input data, the AI-based The text/image metadata analysis step (S220), that is, the text analysis step (S221) and the image analysis step (S222) proceeds as it is.
다만, 입력된 이미지가 없는 경우에는 인공지능을 기반으로 하여 입력된 텍스트의 메타데이터를 먼저 분석하고(S211), 분석 결과 도출된 객체 및 배경 정보에 따라 데이터베이스에서 입력된 텍스트에 맞는 이미지를 검색하여 저장하고(S212), 검색하여 저장된 이미지를 사용자가 입력한 이미지로 보아 인공지능 기반 텍스트/이미지 메타데이터 분석 단계(S220), 즉 텍스트 분석 단계(S221) 및 이미지 분석 단계(S222)가 진행된다.However, if there is no input image, the metadata of the input text is first analyzed based on artificial intelligence (S211), and an image matching the input text is searched from the database according to the object and background information derived from the analysis result. The AI-based text/image metadata analysis step (S220), that is, the text analysis step (S221) and the image analysis step (S222) is performed by saving (S212), searching and viewing the saved image as the image input by the user.
즉, 텍스트 분석 단계(S221)는 이미지 유무와 무관하게 진행되고, 이미지 분석 단계(S222)는 이미지가 없으면 텍스트 분석 단계(S221)에서 분석된 메타데이터 결과에 따라 데이터베이스에서 로드된 이미지를 기준으로 진행된다.That is, the text analysis step (S221) proceeds regardless of the presence or absence of an image, and if there is no image, the image analysis step (S222) proceeds based on the image loaded from the database according to the result of the metadata analyzed in the text analysis step (S221) do.
여기서 데이터베이스에는 저작권의 문제가 없는 이미지를 수집하여야 할 것이다.Here, you will have to collect images that do not have copyright issues in the database.
여기서 데이터베이스에 수집되어 있는 객체, 배경, 분위기 등 정보가 태깅되어 있을 수 있다.Here, information such as objects, backgrounds, and atmospheres collected in the database may be tagged.
여기서 텍스트 분석 단계(S221) 및 이미지 분석 단계(S222)에서는 생성된 메타데이터를 소정의 양식에 따라 데이터베이스에 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록할 수 있다.Here, in the text analysis step S221 and the image analysis step S222 , the generated metadata may be recorded in the database as text metadata and image metadata, respectively, according to a predetermined format.
도 4는 본 발명의 동적 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.4 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating dynamic content of the present invention.
도 4는, 도 3의 창작물 생성하는 단계(S300)를 세분화하여 설명한다.4 is a detailed description of the creative creation step (S300) of FIG.
도 4는, 창작물 중 동적 콘텐츠를 생성하는 경우를 나타낸다.4 illustrates a case in which dynamic content is generated among creations.
도 4를 참조하면, 메타데이터 분석 단계(S200)에서 분석된 메타데이터에 따라 이미지를 기초로 하여 동영상을 생성(S300)한다.Referring to FIG. 4 , a video is generated based on an image according to the metadata analyzed in the metadata analysis step S200 ( S300 ).
먼저, 이미지 메타데이터를 기준으로 배경과 객체를 분리한다.First, the background and the object are separated based on the image metadata.
여기서 배경은 이미지 메타데이터 중 전경 분리 정보, 객체/배경 정보에 따라 분리될 수 있다.Here, the background may be separated according to foreground separation information and object/background information among image metadata.
여기서 분리된 배경의 모션은 해당 배경의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보, 글의 감성, 글의 분위기에 따라 움직이도록 동적 이미지로 변경되어 배경 모션 동영상(배경 모션)을 생성한다(S311). Here, the motion of the separated background is changed to a dynamic image to move according to the general action of the background or action information shown in the text metadata, the emotion of the text, and the atmosphere of the text to generate a background motion video (background motion) (S311) .
여기서 객체는 이미지 메타데이터 중 액션 정보, 특징점 정보에 따라 분리될 수 있다.Here, the object may be divided according to action information and feature point information among image metadata.
여기서 분리된 객체의 신체 모션, 얼굴 표정 등은 상기 객체의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보, 글의 감성, 글의 분위기에 따라 움직이도록 동적 이미지로 변경되어 객체 모션 동영상(객체 모션)을 생성한다(S312).Here, the body motion, facial expression, etc. of the separated object are changed to a dynamic image to move according to the general action of the object or the action information shown in the text metadata, the emotion of the text, and the atmosphere of the text, so that the object motion video (object motion) is generated. generated (S312).
이러한 배경 모션 생성(S311) 및 객체 모션 생성(S312)은 둘 다 수행될 수도 있고 둘 중 하나만 수행될 수도 있다.Both of the background motion generation ( S311 ) and the object motion generation ( S312 ) may be performed or only one of them may be performed.
이러한 생성 과정을 거쳐 이미지로부터 동적 콘텐츠를 생성(S313)할 수 있다.Through this generation process, dynamic content may be generated from the image (S313).
이에 따라 메신저 또는 e-book 등에서 분석하는 글에 맞는 동적 영상을 생성하고자 하는 경우 텍스트 메타데이터에 나타난 글의 객체, 글의 배경, 액션 정보 등을 통하여 모션 동영상을 생성할 수 있다.Accordingly, if you want to create a dynamic image suitable for an article analyzed in a messenger or e-book, etc., a motion video may be generated through the object of the article, the background of the article, action information, etc. displayed in the text metadata.
예를 들어, 메신저에서 “오늘 줄넘기를 했다”고 입력(S100)하면 텍스트로부터 “줄넘기”라는 액션 정보를 추출하여 텍스트 메타데이터로 기록(S211)하고, 사용자의 휴대폰 저장 공간에 있는 사용자의 사진을 불러와(S212) 줄넘기 모션을 하는 동영상을 생성(S313)할 수 있다.For example, if you input “I skipped the rope today” in the messenger (S100), the action information of “jumping the rope” is extracted from the text and recorded as text metadata (S211), and the user's photo in the user's cell phone storage space is recorded (S211). It can be called (S212) to create a video of jumping rope motion (S313).
또한 예를 들어, 동화책(e-book)(S100)에서 동화책 그림(이미지)과 내용(텍스트)을 각각 추출하고, 텍스트로부터 객체 정보를 추출(S220)하여 그림 내 해당 객체가 움직이는 동영상을 생성(S313)할 수 있다.Also, for example, a picture (image) and content (text) of a children's book are extracted from a children's book (e-book) (S100), and object information is extracted from the text (S220) to generate a moving picture of the object in the picture ( S313) can be done.
도 5는 본 발명의 스케치 기반 이미지 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.5 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention for generating sketch-based image content.
도 5는, 도 3의 창작물 생성하는 단계(S300)를 세분화하여 설명한다.5 is a detailed description of the step (S300) of creating a creative work of FIG.
도 5는, 창작물 중 스케치 기반 이미지 콘텐츠를 생성하는 경우를 나타낸다.5 illustrates a case of generating sketch-based image content among creations.
도 5를 참조하면, 메타데이터 분석 단계(S200)에서 분석된 메타데이터에 따라 스케치 이미지를 기초로 하여 스케치 기반 이미지를 생성한다(S320).Referring to FIG. 5 , a sketch-based image is generated based on the sketch image according to the metadata analyzed in the metadata analysis step ( S200 ) ( S320 ).
본 발명의 실시예에서는 이미지를 입력하지 않는 경우에 텍스트 메타데이터를 기초로 데이터베이스로부터 이미지를 로드하는 단계(S212)를 보통 포함하나, 도 5를 참조하면, 스케치 기반 이미지 생성에 있어서는 이러한 단계를 생략할 수 있다.In the embodiment of the present invention, when an image is not input, a step (S212) of loading an image from a database based on text metadata is usually included. Referring to FIG. 5 , this step is omitted in creating a sketch-based image can do.
이는 스케치 기반 이미지 생성을 위해서는 사용자의 스케치 이미지가 입력되는 것이 보통일 것이기 때문이다. This is because a user's sketch image is usually input to generate a sketch-based image.
다만 스케치 기반 이미지 생성에 있어서도 이미지를 입력하지 않는 경우의 단계(S211, S212)를 완전히 배제하는 것은 아니다.However, even in the sketch-based image creation, the steps S211 and S212 in the case of not inputting an image are not completely excluded.
사용자의 스케치를 입력 받아 글의 객체정보 등과 융합하여 이미지 또는 캐릭터로 변경할 수 있다.It can be changed to an image or character by receiving the user's sketch as input and fusion with the object information of the text.
도 5를 참조하면, 사용자가 입력한 이미지가 사용자가 창작한 스케치 이미지인 경우에는, 인공지능 기반 메타데이터 분석 및 기록 단계(S200) 이후에 이미지 메타데이터 중 스케치의 신체 모션, 얼굴 표정, 눈코입의 모양 등을 참조하여, 사용자가 선택한 화풍 또는 텍스트 메타데이터에서 나타난 분위기, 화풍 등에 따라 이미지를 변경하는 화풍변화(S321)가 이루어질 수 있다.Referring to FIG. 5 , when the image input by the user is a sketch image created by the user, after the AI-based metadata analysis and recording step (S200), the body motion, facial expression, and eyes, nose, and mouth of the sketch among the image metadata are analyzed. With reference to a shape, etc., a style change ( S321 ) of changing an image according to a style selected by a user or an atmosphere or style shown in text metadata may be performed ( S321 ).
또한 인공지능 기반 메타데이터 분석 및 기록 단계(S200) 이후에 이미지 메타데이터 중 스케치의 일부의 색체를 사용자가 선택한 색체 또는 텍스트 메타데이터에서 나타난 내용에 따라 색체를 변경하는 색체변화(S322)가 이루어질 수 있다.In addition, after the AI-based metadata analysis and recording step (S200), a color change (S322) of changing the color of a part of the sketch among the image metadata according to the color selected by the user or the content shown in the text metadata may be performed. have.
이러한 화풍변화(S321) 및 색체변화(S322)는 둘 다 수행될 수도 있고 둘 중 하나만 수행될 수도 있다.Both the style change ( S321 ) and the color change ( S322 ) may be performed or only one of them may be performed.
이러한 생성 과정을 거쳐 스케치 이미지로부터 스케치 기반 이미지 콘텐츠를 생성(S323)할 수 있다.Through this generation process, sketch-based image content may be generated from the sketch image (S323).
여기서 생성되는 스케치 기반 이미지 콘텐츠는 스케치와 관련된 객체 이미지로서 이미지는 실사와 유사하거나, 카툰화된 이미지 등 여러 화풍의 이미지일 수 있고, 사용자가 일부분에 색을 선택하여 원하는 색을 입힌 이미지를 생성할 수 있다.The sketch-based image content generated here is an object image related to a sketch, and the image may be similar to a real-life image or may be an image of various styles such as a cartoonized image. can
또한 원하는 그림체를 사용자가 선택하거나 텍스트로부터 검출한 글의 분위기로부터 자동 선택되어 반영될 수 있으며, 스케치가 어떤 객체에 대한 것인지 텍스트로부터 유추하여 더욱 정확한 변경이 가능하다.In addition, the desired drawing body can be selected by the user or automatically selected and reflected from the atmosphere of the text detected from the text, and it is possible to make more accurate changes by inferring what object the sketch is about from the text.
도 6은 본 발명의 삽화 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.6 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating illustration content of the present invention.
도 6은, 도 3의 창작물 생성하는 단계(S300)를 세분화하여 설명한다.6 is a detailed description of the step (S300) of creating a creative work of FIG.
도 6는, 창작물 중 삽화 콘텐츠를 생성하는 경우를 나타낸다.6 illustrates a case in which illustration content is generated among creations.
도 6을 참조하면, 메타데이터 분석 단계(S200)에서 분석된 메타데이터에 따라 삽화 이미지를 기초로 하여 삽화 콘텐츠를 생성한다(S330).Referring to FIG. 6 , artwork content is generated based on the artwork image according to the metadata analyzed in the metadata analysis step ( S200 ) ( S330 ).
이를 통해 블로그 글 등에 맞는 이미지를 추가하고자 할 경우에는 사용자가 입력한 이미지 또는 데이터베이스에서 로드한 이미지를 텍스트 메타데이터 중 글의 감성에 맞게 화풍을 변경하거나 그래픽 효과를 추가할 수 있다.In this way, if you want to add an image suitable for a blog post, etc., you can change the style of the text or add graphic effects to the image input by the user or the image loaded from the database according to the emotion of the text among the text metadata.
도 6을 참조하면, 사용자가 입력한 이미지가 분위기를 변환할 삽화 이미지인 경우에는, 인공지능 기반 메타데이터 분석 및 기록 단계(S200) 이후에 이미지 메타데이터 중 삽화 이미지의 배경 및 객체를 사용자가 선택한 화풍 또는 텍스트 메타데이터에서 나타난 분위기, 화풍 등에 따라 이미지를 변경하는 화풍변화(S331)가 이루어질 수 있다.Referring to FIG. 6 , if the image input by the user is an illustration image to change the atmosphere, the user selects the background and object of the illustration image among the image metadata after the AI-based metadata analysis and recording step (S200) A style change ( S331 ) of changing the image according to the style, style, or the like indicated in the style or text metadata may be performed.
또한 인공지능 기반 메타데이터 분석 및 기록 단계(S200) 이후에 이미지 메타데이터 중 삽화 이미지의 배경 및 객체의 그래픽 효과를 사용자가 선택한 그래픽 효과 또는 텍스트 메타데이터에서 나타난 분위기, 화풍, 전경 분리 정보 등에 따라 변경하는 그래픽 오버레이(S332)가 이루어질 수 있다.In addition, after the AI-based metadata analysis and recording step (S200), the graphic effect of the background and object of the illustration image among the image metadata is changed according to the graphic effect selected by the user or the atmosphere, style, and foreground separation information shown in the text metadata. A graphic overlay (S332) may be performed.
이러한 화풍변화(S331) 및 그래픽 오버레이(S332)는 둘 다 수행될 수도 있고 둘 중 하나만 수행될 수도 있다.Both the style change ( S331 ) and the graphic overlay ( S332 ) may be performed, or only one of them may be performed.
이러한 생성 과정을 거쳐 삽화 이미지로부터 변경된 삽화 콘텐츠를 생성(S333)할 수 있다.Through this generation process, the changed illustration content may be generated from the illustration image (S333).
이처럼 텍스트로부터 글의 분위기를 검출하여 이미지의 화풍을 분위기에 맞게 변경되는 감정 기반 삽화 자동 변환(S331)이 이루어진다.As such, by detecting the atmosphere of the writing from the text, the emotion-based illustration is automatically converted (S331) in which the style of the image is changed according to the atmosphere.
이 때, 이미지는 사용자가 입력한 이미지 또는 텍스트로부터 검출한 배경/객체 정보로부터 데이터베이스를 검색하여 불러온 이미지가 될 수 있다.In this case, the image may be an image retrieved from a database searched from an image input by the user or background/object information detected from text.
삽화의 동적 그래픽 효과를 감정에 맞게 선택하여 이미지 전체 또는 주요 객체에 오버레이 할 수 있다(S332).By selecting the dynamic graphic effect of the illustration according to the emotion, it can be overlaid on the entire image or main object (S332).
또한, 창작물 생성 단계(S300)에 있어서, 동적 콘텐츠 자동 생성(S310), 스케치 기반 이미지 자동 생성(S320), 감정 기반 삽화 자동 변환(S330)은 순차적으로 연결될 수 있다.Also, in the creation step (S300), the automatic creation of dynamic content (S310), the automatic creation of a sketch-based image (S320), and the automatic conversion of an emotion-based illustration (S330) may be sequentially connected.
즉, 스케치로 이미지를 생성한 뒤 객체에 모션을 입혀 움직이는 이미지를 생성할 수 있다.That is, after creating an image with a sketch, a moving image can be created by applying motion to the object.
또한 삽화의 화풍을 변경하고 삽화 배경에 흐르는 듯한 효과를 주는 동영상을 생성할 수 있다.You can also change the style of an illustration and create a video that gives a flowing effect to the background of the illustration.
도 7은 본 발명의 스케치 기반 동적 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.7 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of the present invention for generating sketch-based dynamic content.
도 7은 도 5에서 생성된 스케치 기반 이미지에 대해서 다시 텍스트 및 이미지 메타데이터를 분석하여 스케치 기반 동적 콘텐츠를 생성하는 경우에 대한 것이다.FIG. 7 is a case in which sketch-based dynamic content is generated by analyzing text and image metadata again with respect to the sketch-based image generated in FIG. 5 .
도 7을 참조하면, 스케치 이미지 및 텍스트 메타데이터를 통해 스케치 기반 이미지를 자동 생성(S320)한 이후 텍스트 및 스케치 기반 이미지의 메타데이터를 다시 분석하여(S410) 배경 및 객체에 모션을 부여하고(S411, S412), 스케치 기반 동적 콘텐츠를 생성(S413)할 수 있다.Referring to FIG. 7 , after automatically generating a sketch-based image through sketch image and text metadata (S320), the metadata of the text and sketch-based image is analyzed again (S410) to give motion to the background and object (S411) , S412), and sketch-based dynamic content may be created (S413).
여기서 메타데이터를 다시 분석하는 단계(S410)는, 인공지능 기반하여 메타데이터 분석 및 기록하는 단계(S200)와 동일하게 이루어지며, 다만 사용자가 입력한 이미지 대신 이 전 단계에서 생성된 스케치 기반 이미지 콘텐츠에 대한 메타데이터가 분석된다.Here, the step (S410) of re-analyzing the metadata is the same as the step (S200) of analyzing and recording the metadata based on artificial intelligence, except that the sketch-based image content generated in the previous step instead of the image input by the user metadata is analyzed.
여기서 스케치 기반 동적 콘텐츠를 생성하는 단계(S413)는 동적 콘텐츠를 생성하는 단계(S310)와 동일하게 이루어지며, 스케치 기반 이미지 콘텐츠의 배경 모션 동영상을 생성(S411)하고, 객체 모션 동영상을 생성(S412)할 수 있다.Here, the step (S413) of generating the sketch-based dynamic content is the same as the step (S310) of generating the dynamic content, and a background motion video of the sketch-based image content is generated (S411), and an object motion video is generated (S412) )can do.
여기서 배경 모션 동영상 생성(S411)은 동적 콘텐츠 생성 단계(S310)에서의 배경 모션 동영상 생성(S311)과 동일하게 수행된다.Here, the background motion video generation ( S411 ) is performed in the same manner as the background motion video generation ( S311 ) in the dynamic content creation step ( S310 ).
여기서 객체 모션 동영상 생성(S412)은 동적 콘텐츠 생성 단계(S310)에서의 객체 모션 동영상 생성(S312)과 동일하게 수행된다.Here, the object motion video generation (S412) is performed in the same manner as the object motion video generation (S312) in the dynamic content generation step (S310).
그 결과 스케치 기반 동적 콘텐츠가 생성된다(S413).As a result, sketch-based dynamic content is generated (S413).
여기서, 스케치 기반 이미지에 대해 이미지 메타데이터만 분석하거나(S410) 다시 텍스트 및 이미지 메타데이터 분석(S410)을 거치지 않고 이전에 저장된 메타데이터를 가지로 배경 모션(S411) 및/또는 객체 모션(S412)을 생성하여 스케치 기반 동적 콘텐츠를 생성할 수도 있다(S413).Here, for a sketch-based image, only image metadata is analyzed (S410) or background motion (S411) and/or object motion (S412) with previously stored metadata without going through text and image metadata analysis again (S410) to create sketch-based dynamic content (S413).
도 8은 본 발명의 동적 삽화 콘텐츠 생성하는 일 실시예에 의한 인공지능 콘텐츠 자동 생성 및 변형 방법의 순서도이다.8 is a flowchart of a method for automatically generating and transforming artificial intelligence content according to an embodiment of generating dynamic illustration content of the present invention.
도 8은 도 6에서 생성된 삽화 이미지에 대해서 다시 텍스트 및 이미지 메타데이터를 분석하여 동적 삽화 콘텐츠를 생성하는 경우에 대한 것이다.FIG. 8 is a case in which dynamic illustration content is generated by analyzing text and image metadata again for the illustration image generated in FIG. 6 .
도 8을 참조하면, 삽화 이미지 및 텍스트 메타데이터를 통해 변경된 삽화 이미지를 자동 생성(S333)한 이후 텍스트 및 삽화 이미지의 메타데이터를 다시 분석하여(S420) 배경 및 객체에 모션을 부여하고(S421, S422), 동적 삽화 콘텐츠를 생성(S423)할 수 있다.Referring to FIG. 8, after automatically generating an illustration image changed through the illustration image and text metadata (S333), the metadata of the text and illustration image is analyzed again (S420) to give motion to the background and object (S421, S422), it is possible to create a dynamic illustration content (S423).
여기서 메타데이터를 다시 분석하는 단계(S420)는, 인공지능 기반하여 메타데이터 분석 및 기록하는 단계(S200)와 동일하게 이루어지며, 다만 사용자가 입력한 이미지 대신 이 전 단계에서 생성된 삽화 이미지 콘텐츠에 대한 메타데이터가 분석된다.Here, the step of re-analyzing the metadata (S420) is the same as the step (S200) of analyzing and recording the metadata based on artificial intelligence, except that instead of the image input by the user, the illustration image content generated in the previous step is metadata is analyzed.
여기서 동적 삽화 콘텐츠를 생성하는 단계(S423)는 동적 콘텐츠를 생성하는 단계(S310)와 동일하게 이루어지며, 삽화 이미지 콘텐츠의 배경 모션 동영상을 생성(S421)하고, 객체 모션 동영상을 생성(S422)할 수 있다.Here, the step (S423) of generating the dynamic illustration content is the same as the step (S310) of generating the dynamic content, and the background motion video of the illustration image content is generated (S421), and the object motion video is generated (S422). can
여기서 배경 모션 동영상 생성(S421)은 동적 콘텐츠 생성 단계(S310)에서의 배경 모션 동영상 생성(S311)과 동일하게 수행된다.Here, the background motion video generation (S421) is performed in the same manner as the background motion video generation (S311) in the dynamic content generation step (S310).
여기서 객체 모션 동영상 생성(S422)은 동적 콘텐츠 생성 단계(S310)에서의 객체 모션 동영상 생성(S312)과 동일하게 수행된다.Here, the object motion video generation (S422) is performed in the same manner as the object motion video generation (S312) in the dynamic content generation step (S310).
그 결과 동적 삽화 콘텐츠가 생성된다(S423).As a result, dynamic illustration content is generated (S423).
이 외에도 동적 콘텐츠 자동 생성(S310), 스케치 기반 이미지 자동 생성(S320), 감정 기반 삽화 자동 변환(S330)은 순차적으로 연결되어 최종 창작물을 생성할 수 있다.In addition, automatic creation of dynamic content (S310), automatic creation of sketch-based images (S320), and automatic conversion of emotion-based illustrations (S330) may be sequentially connected to create a final creation.
여기서, 삽화 콘텐츠에 대해 이미지 메타데이터만 분석하거나(S420) 다시 텍스트 및 이미지 메타데이터 분석(S420)을 거치지 않고 이전에 저장된 메타데이터를 가지로 배경 모션(S421) 및/또는 객체 모션(S422)을 생성하여 동적 삽화 콘텐츠를 생성할 수도 있다(S423).Here, background motion (S421) and/or object motion (S422) with previously stored metadata without analyzing only image metadata for illustration content (S420) or analyzing text and image metadata again (S420) It is also possible to generate dynamic illustration content by creating (S423).
이후 사용자는 사용자의 편집을 통해 세부 보정이 가능하다. Afterwards, the user can make detailed corrections through the user's editing.
여기서 사용자는 타임라인, 다중레이어 기능 등을 사용하여 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 등을 보정할 수 있다.Here, users can calibrate dynamic content, sketch-based image content, illustration content, etc. using the timeline, multi-layer function, etc.
여기서 사용자는 생성된 동적 콘텐츠에 대해서 서비스 제공 서버에서 제공하는 타임라인, 다중 레이어 등의 기능을 사용 하여 배경 모션 및 객체 모션의 움직임 요소의 추가, 삭제, 변경은 물론이고, 별도 이미지 또는 텍스트 등의 새로운 요소의 추가, 배경의 삭제, 객체의 전부 또는 일부의 삭제 등 편집을 가하여 최종 저작물을 생성할 수 있다.Here, the user can add, delete, and change motion elements of background motion and object motion, as well as separate images or text, using functions such as timeline and multi-layer provided by the service providing server for the generated dynamic content. The final work can be created by adding new elements, deleting the background, and editing all or part of the object.
여기서 사용자는 생성된 동적 콘텐츠에 대해 보정 없이 최종 저작물로 확정할 수도 있다.Here, the user may confirm the generated dynamic content as a final work without correction.
이후 생성한 저작물을 SNS 등에 바로 업로드 하거나 메신저로 전송할 수 있도록 연동할 수 있다.After that, the created work can be directly uploaded to SNS, etc. or linked so that it can be transmitted via messenger.
여기서 저작물을 업로드하기 용이한 형태로 저장할 수 있다.Here, you can save the work in a format that is easy to upload.
여기서 최종 저작물을 사용자 단말과 연동된 소셜 플랫폼 등에 업로드하기 용이한 형태로 저장하고, 상기 최종 저작물을 상기 소셜 플랫폼 등에 바로 업로드 하거나 메신저로 전송할 수 있도록 사용자 단말을 네트워크에 연동하는 것을 포함할 수 있다.Here, storing the final work in a form that is easy to upload to a social platform linked with the user terminal, etc., and directly uploading the final work to the social platform or the like, or linking the user terminal to a network may include interworking with a network.
여기서 사용자는 최종 저작물을 SNS등을 통하여 배포하여 사용할 수 있다.Here, the user can distribute and use the final work through SNS, etc.
여기서 이러한 각 단계는 사용자의 PC 등에 설치되어 동작하거나 웹기반으로 동작할 수도 있다. Here, each of these steps may be installed and operated on a user's PC or the like or may be operated on a web-based basis.
사용자의 PC에서 또는 모바일에서 동작 할 수도 있다.It can also be operated on the user's PC or mobile.
이상, 본 발명의 실시 예는 상술한 장치 및/또는 운용방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Above, the embodiment of the present invention is not implemented only through the above-described apparatus and/or operation method, but through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. It may be implemented, and such an implementation can be easily implemented by an expert in the technical field to which the present invention pertains from the description of the above-described embodiments. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.
Claims (9)
(a) 콘텐츠 생성을 위하여 사용자가 생성할 콘텐츠와 관련된 텍스트 및 이미지를 입력하는 단계;
(b) 인공지능을 기반으로 하여 사용자가 입력한 텍스트 및 사용자가 입력한 이미지 데이터의 메타데이터를 분석하여 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록하는 단계; 및
(c) 기록된 메타데이터를 활용하여 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 중 어느 하나 이상의 창작물을 생성하는 단계;
를 포함하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.In the method for automatically generating and transforming artificial intelligence content,
(a) inputting text and images related to content to be created by a user for content creation;
(b) analyzing the metadata of the text input by the user and the image data input by the user based on artificial intelligence and recording the text metadata and image metadata, respectively; and
(c) generating any one or more creations of dynamic content, sketch-based image content, and illustration content by using the recorded metadata;
Content automatic creation and transformation method comprising a.
상기 사용자가 입력한 이미지는,
주요 객체 및 배경을 포함하는 정적 이미지, 사용자가 창작한 스케치 이미지 및 분위기를 변환할 삽화 이미지 중 어느 하나 이상을 포함하며, 사용자가 사용자 단말의 입력 수단을 통해 입력하거나 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드 또는 다운로드한 이미지인 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
The image entered by the user is
A social platform that includes any one or more of a static image including a main object and a background, a sketch image created by a user, and an illustration image to convert an atmosphere, input by a user through an input means of a user terminal or linked with the user terminal Contents automatic creation and transformation method, characterized in that the image uploaded or downloaded by the user on the
상기 (b)단계는,
상기 사용자가 입력한 텍스트에 대하여 인공지능을 기반으로 문장 분석, 여러 개의 복합 문장이 있는 문단 분석, 문단 분석 중 가장 중요한 문장을 추출, 여러 문장을 복합적으로 분석하는 등 텍스트 분석하여 액션정보, 객체정보, 배경정보, 글의 감성, 글의 분위기를 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 텍스트 메타데이터로 기록하는 텍스트 분석 단계; 및
상기 사용자가 입력한 이미지에 대하여 인공지능을 기반으로 이미지의 배경과 전경을 분리하고, 이미지 내의 사람의 전신, 사람의 얼굴, 동물, 캐릭터 등을 이미지 분석하여 배경 및 전경 정보, 객체의 특징점을 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 이미지 메타데이터로 기록하는 이미지 분석 단계;
를 포함하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
Step (b) is,
For the text input by the user, based on artificial intelligence, text analysis such as sentence analysis, paragraph analysis with multiple compound sentences, extraction of the most important sentence among paragraph analysis, and complex analysis of multiple sentences to provide action information and object information , a text analysis step of extracting background information, text emotion, and text atmosphere to generate metadata and recording it as text metadata in a database according to a predetermined format; and
With respect to the image input by the user, the background and foreground of the image are separated based on artificial intelligence, and background and foreground information and feature points of the object are extracted by analyzing the image of a person’s whole body, human face, animal, character, etc. in the image. an image analysis step of generating metadata and recording it as image metadata in a database according to a predetermined format;
Content automatic creation and transformation method comprising a.
상기 이미지 분석 단계는,
상기 사용자가 입력한 이미지가 없는 경우에는 사용자 단말에 저장되거나 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드한 이미지 또는 데이터베이스에 저장된 이미지 중 상기 텍스트 메타데이터와 관련된 이미지를 검출하고, 검출된 이미지의 배경과 전경을 분리하고, 이미지 내의 사람의 전신, 사람의 얼굴, 동물, 캐릭터 등을 이미지 분석하여 배경 및 전경 정보, 객체의 특징점을 추출하여 메타데이터를 생성하여 소정의 양식에 따라 데이터베이스에 이미지 메타데이터로 기록하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.4. The method of claim 3,
The image analysis step is,
If there is no image input by the user, an image related to the text metadata is detected from among images stored in a user terminal or uploaded by the user on a social platform linked to the user terminal or images stored in a database, and Separating the background and foreground, analyzing the image of a person’s whole body, human face, animal, character, etc. in the image, extracting background and foreground information and feature points of objects to generate metadata A method of automatically creating and transforming content, characterized in that it is recorded as data.
상기 (c)단계는,
사용자가 입력한 이미지가 주요 객체 및 배경을 포함하는 정적 이미지인 경우에는,
이미지 메타데이터 중 배경의 모션을 상기 배경의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 분위기에 따라 움직이도록 동적 이미지로 변경하는 배경 모션 생성; 및
이미지 메타데이터 중 객체의 신체 모션, 얼굴 표정 등을 상기 객체의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보에 따라 움직이도록 동적 이미지로 변경하는 객체 모션 생성;
중 어느 하나 이상을 거쳐 동적 콘텐츠를 생성하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
Step (c) is,
If the image entered by the user is a static image containing the main object and background,
generating a background motion for changing the motion of the background among the image metadata to a dynamic image so as to move according to the general action of the background or the atmosphere indicated in the text metadata; and
object motion generation for changing an object's body motion and facial expression among image metadata into a dynamic image to move according to the general action of the object or action information indicated in text metadata;
A method for automatically generating and transforming content, characterized in that the dynamic content is created through one or more of the following.
상기 (c)단계는,
사용자가 입력한 이미지가 사용자가 창작한 스케치 이미지인 경우에는,
이미지 메타데이터 중 스케치의 신체 모션, 얼굴 표정 등을 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 화풍변화; 및
이미지 메타데이터 중 스케치의 일부의 색체를 텍스트 메타데이터 또는 사용자의 선택에 따라 변경하는 색체변화;
중 어느 하나 이상을 거쳐 스케치 기반 이미지 콘텐츠를 생성하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
Step (c) is,
If the image entered by the user is a sketch image created by the user,
style change in which the body motions and facial expressions of the sketch among the image metadata are changed according to the mood and style shown in the text metadata; and
color change for changing the color of a part of the sketch among image metadata according to text metadata or a user's selection;
A method for automatically creating and transforming content, characterized in that the sketch-based image content is created through one or more of the following.
상기 (c)단계는,
사용자가 입력한 이미지가 분위기를 변환할 삽화 이미지인 경우에는,
이미지 메타데이터 중 배경 및 객체를 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 화풍변화; 및
이미지 메타데이터 중 배경 및 객체의 그래픽 효과를 텍스트 메타데이터에서 나타난 분위기, 화풍에 따라 변경하는 그래픽 오버레이;
중 어느 하나 이상을 거쳐 삽화 콘텐츠를 생성하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
Step (c) is,
If the image entered by the user is an illustration image to change the atmosphere,
Style change in which backgrounds and objects among image metadata are changed according to the atmosphere and style shown in text metadata; and
graphic overlays that change the graphic effects of backgrounds and objects among image metadata according to mood and style expressed in text metadata;
Content automatic creation and transformation method, characterized in that the artwork content is created through any one or more.
상기 (c)단계에서 생성된 창작물이 스케치 기반 이미지 콘텐츠 또는 삽화 콘텐츠인 경우에는,
상기 (c)단계 이후, 상기 (b)단계 및 상기 (c)단계를 더 수행하되,
상기 (b)단계에서 상기 사용자가 입력한 이미지는 상기 생성된 창작물이고,
상기 (c)단계는, 이미지 메타데이터 중 배경의 모션을 상기 배경의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 분위기에 따라 움직이도록 동적 이미지로 변경하는 배경 모션 생성; 및
이미지 메타데이터 중 객체의 신체 모션, 얼굴 표정 등을 상기 객체의 일반적인 액션 또는 텍스트 메타데이터에서 나타난 액션 정보에 따라 움직이도록 동적 이미지로 변경하는 객체 모션 생성;
중 어느 하나 이상을 거쳐 동적 콘텐츠를 생성하는 것
을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.According to claim 1,
If the creation created in step (c) is sketch-based image content or illustration content,
After the step (c), the step (b) and the step (c) are further performed,
The image input by the user in step (b) is the created creation,
The step (c) includes generating a background motion for changing the motion of the background among the image metadata to a dynamic image so as to move according to the general action of the background or the atmosphere indicated in the text metadata; and
object motion generation for changing an object's body motion and facial expression among image metadata into a dynamic image to move according to the general action of the object or action information indicated in text metadata;
Creating dynamic content through any one or more of
Content automatic creation and transformation method characterized by.
(a) 콘텐츠 생성을 위하여 사용자가 생성할 콘텐츠와 관련된 텍스트 및 이미지를 입력하는 단계;
(b) 인공지능을 기반으로 하여 사용자가 사용자 단말의 입력 수단을 통해 입력하거나 사용자 단말에 저장된 텍스트, 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자 단말의 입력 수단을 통해 입력한 텍스트 또는 상기 사용자 단말과 연동된 소셜 플랫폼 상에서 상기 사용자가 업로드 또는 다운로드한 이미지 등에 포함된 텍스트 및 사용자가 입력한 이미지 데이터의 메타데이터를 분석하여 각각 텍스트 메타데이터 및 이미지 메타데이터로 기록하는 단계; 및
(c) 기록된 메타데이터를 활용하여 동적 콘텐츠, 스케치 기반 이미지 콘텐츠, 삽화 콘텐츠 중 어느 하나 이상의 창작물을 생성하는 단계;
를 포함하는 것을 특징으로 하는 콘텐츠 자동 생성 및 변형 방법.
In the method for automatically generating and transforming artificial intelligence content,
(a) inputting text and images related to content to be created by a user for content creation;
(b) based on artificial intelligence, the text input by the user through the input means of the user terminal or stored in the user terminal, the text inputted through the input means of the user terminal on the social platform interlocked with the user terminal, or the user terminal Analyzing the metadata of the text included in the image uploaded or downloaded by the user and the image data input by the user on a social platform linked with the user and recording the metadata as text metadata and image metadata, respectively; and
(c) generating any one or more creations of dynamic content, sketch-based image content, and illustration content by using the recorded metadata;
Content automatic creation and transformation method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200097122A KR102490319B1 (en) | 2020-08-04 | 2020-08-04 | Methods for automatic generation and transformation of artificial intelligence content |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200097122A KR102490319B1 (en) | 2020-08-04 | 2020-08-04 | Methods for automatic generation and transformation of artificial intelligence content |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220017068A true KR20220017068A (en) | 2022-02-11 |
KR102490319B1 KR102490319B1 (en) | 2023-01-20 |
Family
ID=80266340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200097122A KR102490319B1 (en) | 2020-08-04 | 2020-08-04 | Methods for automatic generation and transformation of artificial intelligence content |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102490319B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102479195B1 (en) * | 2022-03-15 | 2022-12-21 | (주)포위즈시스템 | Nft-based digital art self-generating apparatus and methods thereof |
KR102564182B1 (en) * | 2023-04-12 | 2023-08-07 | 이가람 | Method, apparatus and system for extracting facial expression images based on image data using artificial intelligence models and creating contents using them |
KR102608266B1 (en) * | 2023-04-04 | 2023-11-30 | 주식회사 크림 | Method and apparatus for generating image |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102588759B1 (en) * | 2023-03-03 | 2023-10-13 | (주)빛글림 | System and method for providing content using transparent display |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190035502A (en) | 2017-09-25 | 2019-04-03 | 주식회사 와이드플래닛 | How to provide content creation services through ai-based content matching and its content creation server |
KR20200032614A (en) * | 2018-09-18 | 2020-03-26 | 이승일 | A system that generates text and picture data from video data using artificial intelligence |
-
2020
- 2020-08-04 KR KR1020200097122A patent/KR102490319B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190035502A (en) | 2017-09-25 | 2019-04-03 | 주식회사 와이드플래닛 | How to provide content creation services through ai-based content matching and its content creation server |
KR20200032614A (en) * | 2018-09-18 | 2020-03-26 | 이승일 | A system that generates text and picture data from video data using artificial intelligence |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102479195B1 (en) * | 2022-03-15 | 2022-12-21 | (주)포위즈시스템 | Nft-based digital art self-generating apparatus and methods thereof |
KR102608266B1 (en) * | 2023-04-04 | 2023-11-30 | 주식회사 크림 | Method and apparatus for generating image |
KR102564182B1 (en) * | 2023-04-12 | 2023-08-07 | 이가람 | Method, apparatus and system for extracting facial expression images based on image data using artificial intelligence models and creating contents using them |
Also Published As
Publication number | Publication date |
---|---|
KR102490319B1 (en) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102490319B1 (en) | Methods for automatic generation and transformation of artificial intelligence content | |
Manovich | AI aesthetics | |
CN110807126B (en) | Method, device, storage medium and equipment for converting article into video | |
US9992556B1 (en) | Automated creation of storyboards from screenplays | |
KR102313203B1 (en) | Artificial intelligence content creation system and method | |
JP5432617B2 (en) | Animation production method and apparatus | |
CN103198502A (en) | Digital comic editor and method | |
JP6783479B1 (en) | Video generation program, video generation device and video generation method | |
CN112199932A (en) | PPT generation method, device, computer-readable storage medium and processor | |
US20220375223A1 (en) | Information generation method and apparatus | |
CN116127054A (en) | Image processing method, apparatus, device, storage medium, and computer program | |
CN115129806A (en) | Data processing method and device, electronic equipment and computer storage medium | |
CN113395569B (en) | Video generation method and device | |
CN117173497B (en) | Image generation method and device, electronic equipment and storage medium | |
CN114529635A (en) | Image generation method, device, storage medium and equipment | |
Shen et al. | Boosting Consistency in Story Visualization with Rich-Contextual Conditional Diffusion Models | |
KR102281298B1 (en) | System and method for video synthesis based on artificial intelligence | |
KR20100102515A (en) | Method and system for automatically expressing emotions of digital actor | |
CN115481254A (en) | Method, system, readable storage medium and equipment for analyzing video effect content of movie and television play script | |
CN113963306A (en) | Courseware title making method and device based on artificial intelligence | |
CN114328990B (en) | Image integrity recognition method, device, computer equipment and storage medium | |
Arora et al. | (Re) framing Built Heritage through the Machinic Gaze | |
JP6979738B1 (en) | Servers and animation recommendation systems, animation recommendation methods, programs | |
KR102678148B1 (en) | Method and apparatus for generating storyboards for video production using artificial intelligence | |
WO2024066549A1 (en) | Data processing method and related device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |