KR102525315B1 - User recommendation method using production data and usage data and apparatus therefor - Google Patents

User recommendation method using production data and usage data and apparatus therefor Download PDF

Info

Publication number
KR102525315B1
KR102525315B1 KR1020227038221A KR20227038221A KR102525315B1 KR 102525315 B1 KR102525315 B1 KR 102525315B1 KR 1020227038221 A KR1020227038221 A KR 1020227038221A KR 20227038221 A KR20227038221 A KR 20227038221A KR 102525315 B1 KR102525315 B1 KR 102525315B1
Authority
KR
South Korea
Prior art keywords
content
user
model
information
platform
Prior art date
Application number
KR1020227038221A
Other languages
Korean (ko)
Inventor
박혜진
이상용
김용성
이건영
최상호
Original Assignee
팜피 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팜피 주식회사 filed Critical 팜피 주식회사
Application granted granted Critical
Publication of KR102525315B1 publication Critical patent/KR102525315B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring

Abstract

본 명세서는 추천장치가 사용자에게 요소(asset) 및 콘텐츠를 추천하는 방법에 있어서, 상기 콘텐츠를 사용하기 위한 플랫폼 및 상기 콘텐츠를 제작하기 위한 저작도구로부터, 학습데이터를 수신하고, 상기 학습데이터에 근거하여, 학습모델을 구축하며, 상기 학습모델을 이용하여, 1) 상기 사용자의 특성을 분석하기 위한 제1 모델, 2) 상기 콘텐츠를 추천하기 위한 제2 모델, 및 3) 상기 요소를 추천하기 위한 제3 모델을 생성하고, 상기 제1 모델, 및 상기 제2 모델을 이용하여, 상기 플랫폼에 추천 콘텐츠 정보를 전달하며, 상기 제1 모델, 및 상기 제3 모델을 이용하여, 상기 저작도구에 추천 요소 정보를 전달할 수 있다.In the present specification, in a method in which a recommendation device recommends assets and content to a user, learning data is received from a platform for using the content and an authoring tool for producing the content, and based on the learning data to build a learning model, and using the learning model, 1) a first model for analyzing the characteristics of the user, 2) a second model for recommending the content, and 3) for recommending the element A third model is generated, recommended content information is transmitted to the platform using the first model and the second model, and recommendation is made to the authoring tool using the first model and the third model. Element information can be passed.

Description

제작 데이터 및 사용 데이터를 이용한 사용자 추천 방법 및 이를 위한 장치 User recommendation method using production data and usage data and apparatus therefor

본 명세서는 콘텐츠 제작 및 사용에서 획득될 수 있는 데이터를 이용하여 사용자에게 제작과 관련된 데이터를 추천하기 위한 방법에 관한 것이다.The present specification relates to a method for recommending data related to production to a user using data that can be obtained in content production and use.

인터넷 기술의 발달로 5G, 6G 환경에서 높은 성능의 네트워크 환경을 기반으로하여 다양한 형태의 멀티미디어 콘텐츠가 빠르게 성장하고 있다. 유튜브나 틱톡 등 대형 사용자의 참여형 플랫폼이 활성화되며 개개인의 콘텐츠를 창작하고 배포하는 욕구가 커져가고 있으며 그로 인한 다양한 형태의 저작도구들이 나타나고 있다.With the development of Internet technology, various types of multimedia contents are rapidly growing based on high-performance network environments in 5G and 6G environments. As large-scale user participation platforms such as YouTube and TikTok are activated, the desire to create and distribute individual contents is growing, and various types of authoring tools are appearing as a result.

이러한 저작도구를 통해, 사용자는 다양한 콘텐츠를 소비할 수 있고 기업들은 이런 사용자들의 활동 데이터 분석을 통해 사용자가 관심을 갖는 콘텐츠의 연관 콘텐츠를 추천하는 알고리즘을 활용하여 사용자에게 보다 편하고 직관적인 서비스를 제공할 수 있다.Through these authoring tools, users can consume a variety of content, and companies provide more convenient and intuitive services to users by using an algorithm that recommends content related to the content that the user is interested in through analyzing the activity data of these users. can do.

그러나 이러한 일반적인 추천 알고리즘은 사용자가 소비하는 콘텐츠에만 국한되어 있을 뿐 WEB3.0에 기반한 사용자가 제작하는 콘텐츠의 제작 데이터를 고려한 추천 알고리즘은 없는 실정이다.However, these general recommendation algorithms are limited only to the content consumed by users, and there is no recommendation algorithm that considers production data of content produced by users based on WEB3.0.

본 명세서의 목적은, 사용자의 소비 데이터와 제작 데이터를 활용하여 인공지능 모델의 학습을 수행하고, 학습된 인공지능 모델을 통한 서비스를 제공하기 위한 것이다. An object of the present specification is to perform learning of an artificial intelligence model by using consumption data and production data of a user, and to provide a service through the learned artificial intelligence model.

또한, 본 명세서의 목적은 사용자가 소비하는 사용 데이터와 사용자가 제작하는 콘텐츠의 제작 데이터를 이용하여 사용자에게 다양한 콘텐츠와 어셋(요소) 등의 추천 방법을 제공하기 위한 것이다.In addition, an object of the present specification is to provide a method for recommending various contents and assets (elements) to the user by using usage data consumed by the user and production data of contents produced by the user.

본 명세서가 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 명세서의 상세한 설명으로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by this specification are not limited to the above-mentioned technical problems, and other technical problems not mentioned are clear to those skilled in the art from the detailed description of the specification below. will be understandable.

본 명세서의 일 양상은, 추천장치가 사용자에게 어셋(asset) 및 콘텐츠를 추천하는 방법에 있어서, 상기 콘텐츠를 사용하기 위한 플랫폼 및 상기 콘텐츠를 제작하기 위한 저작도구로부터, 학습데이터를 수신하는 단계; 상기 학습데이터에 근거하여, 학습모델을 구축하는 단계; 상기 학습모델을 이용하여, 1) 상기 사용자의 특성을 분석하기 위한 제1 모델, 2) 상기 콘텐츠를 추천하기 위한 제2 모델, 및 3) 상기 어셋을 추천하기 위한 제3 모델을 생성하는 단계; 상기 제1 모델, 및 상기 제2 모델을 이용하여, 상기 플랫폼에 추천 콘텐츠 정보를 전달하는 단계; 및 상기 제1 모델, 및 상기 제3 모델을 이용하여, 상기 저작도구에 추천 어셋 정보를 전달하는 단계; 를 포함할 수 있다.One aspect of the present specification is a method for recommending an asset and content to a user by a recommendation device, comprising: receiving learning data from a platform for using the content and an authoring tool for producing the content; Building a learning model based on the learning data; generating, by using the learning model, 1) a first model for analyzing the characteristics of the user, 2) a second model for recommending the content, and 3) a third model for recommending the asset; transmitting recommended content information to the platform using the first model and the second model; and transmitting recommended asset information to the authoring tool using the first model and the third model. can include

또한, 상기 학습데이터는 1) 상기 플랫폼을 이용하는 사용자와 관련된 사용자 정보, 2) 상기 사용자가 상기 플랫폼 및 상기 저작도구를 이용하는 행동과 관련된 사용자 행동정보, 및 3) 상기 콘텐츠와 관련된 콘텐츠 정보를 포함할 수 있다.In addition, the learning data may include 1) user information related to the user using the platform, 2) user behavior information related to the user's behavior using the platform and the authoring tool, and 3) content information related to the content. can

또한, 상기 사용자 정보는 상기 사용자의 단말의 통계 수집 및 상기 플랫폼의 회원 가입 절차를 통해, 수집될 수 있다.In addition, the user information may be collected through a statistical collection of the user's terminal and a member sign-up procedure of the platform.

또한, 상기 사용자 행동정보는 상기 사용자의 단말의 통계 수집, 상기 플랫폼 및 상기 저작도구를 통해, 수집될 수 있다.In addition, the user behavior information may be collected through statistical collection of the user's terminal, the platform, and the authoring tool.

또한, 상기 콘텐츠 정보는 상기 플랫폼의 상기 콘텐츠를 사용하기 위한 절차 및 상기 저작도구를 통해, 상기 콘텐츠를 제작하고 저장하기 위한 절차를 통해, 수집될 수 있다.In addition, the content information may be collected through a procedure for using the content of the platform and a procedure for producing and storing the content through the authoring tool.

또한, 상기 플랫폼은 상기 추천 콘텐츠 정보에 근거하여, 상기 콘텐츠의 추천 리스트를 상기 사용자에게 전달할 수 있다.In addition, the platform may transmit a list of recommended contents to the user based on the recommended contents information.

또한, 상기 저작도구는 상기 추천 어셋 정보에 근거하여, 상기 어셋의 추천 리스트를 상기 사용자에게 전달할 수 있다.In addition, the authoring tool may transmit a recommendation list of the asset to the user based on the recommended asset information.

본 명세서의 또 다른 일 양상은, 사용자에게 어셋(asset) 및 콘텐츠를 추천하기 위한 추천장치에 있어서, 통신부; 인공지능 모델이 포함된 메모리; 및 상기 통신부 및 상기 메모리를 기능적으로 제어하기 위한 프로세서; 를 포함하며, 상기 프로세서는 상기 콘텐츠를 사용하기 위한 플랫폼 및 상기 콘텐츠를 제작하기 위한 저작도구로부터, 학습데이터를 수신하고, 상기 학습데이터에 근거하여, 학습모델을 구축하며, 상기 학습모델을 이용하여, 1) 상기 사용자의 특성을 분석하기 위한 제1 모델, 2) 상기 콘텐츠를 추천하기 위한 제2 모델, 및 3) 상기 어셋을 추천하기 위한 제3 모델을 생성하고, 상기 제1 모델, 및 상기 제2 모델을 이용하여, 상기 플랫폼에 추천 콘텐츠 정보를 전달하며, 상기 제1 모델, 및 상기 제3 모델을 이용하여, 상기 저작도구에 추천 어셋 정보를 전달할 수 있다.Another aspect of the present specification is a recommendation device for recommending assets and content to a user, comprising: a communication unit; memory containing artificial intelligence models; and a processor for functionally controlling the communication unit and the memory. The processor receives learning data from a platform for using the content and an authoring tool for producing the content, builds a learning model based on the learning data, and uses the learning model , 1) a first model for analyzing the characteristics of the user, 2) a second model for recommending the content, and 3) a third model for recommending the asset, the first model and the Recommended content information may be delivered to the platform using the second model, and recommended asset information may be delivered to the authoring tool using the first model and the third model.

본 명세서의 실시예에 따르면, 사용자의 소비 데이터와 제작 데이터를 활용하여 인공지능 모델의 학습을 수행하고, 학습된 인공지능 모델을 통한 서비스를 제공할 수 있다. According to an embodiment of the present specification, it is possible to perform learning of an artificial intelligence model by using consumption data and production data of a user, and provide a service through the learned artificial intelligence model.

또한, 본 명세서의 실시예에 따르면, 사용자가 소비하는 사용 데이터와 사용자가 제작하는 콘텐츠의 제작 데이터를 이용하여 사용자에게 다양한 콘텐츠와 어셋(요소) 등의 추천 방법을 제공할 수 있다.In addition, according to an embodiment of the present specification, it is possible to provide a recommendation method for various contents and assets (elements) to the user by using usage data consumed by the user and production data of contents produced by the user.

본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present specification are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below. .

도 1은 본 명세서와 관련된 전자 기기를 설명하기 위한 블록도이다.
도 2는 본 명세서가 적용될 수 있는 일 실시예이다.
도 3은 본 명세서가 적용될 수 있는 페이지 생성의 예시이다.
도 4는 본 명세서에 적용될 수 있는 컨트롤러(400)의 예시이다.
도 5는 본 명세서가 적용될 수 있는 페이지 리스트의 예시이다.
도 6은 본 명세서가 적용될 수 있는 요소들의 예시이다.
도 7은 본 명세서가 적용될 수 있는 융합형 제작장치의 이벤트 탐지의 예시이다.
도 8은 본 명세서가 적용될 수 있는 결과 실행방법의 예시이다.
도 9는 본 명세서가 적용될 수 있는 요소 관리의 예시이다.
도 10 및 도 11은 본 명세서가 적용될 수 있는 요소 업로드의 예시이다.
도 12는 본 명세서의 일 실시예에 따른 AI 장치의 블록도이다.
도 13은 본 명세서가 적용될 수 있는 추천방법 파이프라인의 예시이다.
도 14는 본 명세서가 적용될 수 있는 비주얼 코딩의 예시이다.
도 15는 본 명세서가 적용될 수 있는 추천장치의 일 실시예이다.
도 16은 본 명세서가 적용될 수 있는 콘텐츠 표시의 예시이다.
도 17은 본 명세서가 적용될 수 있는 콘텐츠 저장의 예시이다.
도 18은 본 명세서가 적용될 수 있는 추천 콘텐츠 정보 표시의 예시이다.
도 19는 본 명세서가 적용될 수 있는 추천 요소 정보 표시의 예시이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
1 is a block diagram for explaining an electronic device related to the present specification.
2 is an embodiment to which the present specification can be applied.
3 is an example of page generation to which this specification can be applied.
4 is an example of a controller 400 that can be applied to this specification.
5 is an example of a page list to which this specification can be applied.
6 is an example of elements to which this specification may be applied.
7 is an example of event detection of a convergence type manufacturing apparatus to which the present specification can be applied.
8 is an example of a result execution method to which the present specification can be applied.
9 is an example of element management to which this specification can be applied.
10 and 11 are examples of element upload to which this specification can be applied.
12 is a block diagram of an AI device according to an embodiment of the present specification.
13 is an example of a recommendation method pipeline to which the present specification can be applied.
14 is an example of visual coding to which the present specification can be applied.
15 is an embodiment of a recommendation device to which the present specification can be applied.
16 is an example of content display to which this specification can be applied.
17 is an example of content storage to which this specification can be applied.
18 is an example of recommended content information display to which this specification can be applied.
19 is an example of displaying recommendation element information to which the present specification can be applied.
The accompanying drawings, which are included as part of the detailed description to aid understanding of the present specification, provide examples of the present specification and describe technical features of the present specification together with the detailed description.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of this specification , it should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

도 1은 본 명세서와 관련된 전자 기기를 설명하기 위한 블록도이다.1 is a block diagram for explaining an electronic device related to the present specification.

상기 전자 기기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 전자 기기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 전자 기기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. The electronic device 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. ) and the like. The components shown in FIG. 1 are not essential to implement an electronic device, so an electronic device described in this specification may have more or fewer components than those listed above.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 전자 기기(100)와 무선 통신 시스템 사이, 전자 기기(100)와 다른 전자 기기(100) 사이, 또는 전자 기기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 전자 기기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.More specifically, among the components, the wireless communication unit 110 is between the electronic device 100 and the wireless communication system, between the electronic device 100 and other electronic devices 100, or between the electronic device 100 and an external server. It may include one or more modules enabling wireless communication between Also, the wireless communication unit 110 may include one or more modules that connect the electronic device 100 to one or more networks.

이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-distance communication module 114, and a location information module 115. .

입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 includes a camera 121 or video input unit for inputting a video signal, a microphone 122 for inputting an audio signal, or a user input unit 123 for receiving information from a user, for example , a touch key, a push key (mechanical key, etc.). Voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

센싱부(140)는 전자 기기 내 정보, 전자 기기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 전자 기기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include one or more sensors for sensing at least one of information within the electronic device, environmental information surrounding the electronic device, and user information. For example, the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. Sensor (G-sensor), gyroscope sensor (gyroscope sensor), motion sensor (motion sensor), RGB sensor, infrared sensor (IR sensor), finger scan sensor, ultrasonic sensor , an optical sensor (eg, a camera (see 121)), a microphone (see 122), a battery gauge, an environmental sensor (eg, a barometer, a hygrometer, a thermometer, a radiation detection sensor, It may include at least one of a heat detection sensor, a gas detection sensor, etc.), a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.). Meanwhile, the electronic device disclosed in this specification may combine and utilize information sensed by at least two or more of these sensors.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 전자 기기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 전자 기기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 is for generating an output related to sight, hearing, or touch, and includes at least one of a display unit 151, a sound output unit 152, a haptic module 153, and an optical output unit 154. can do. The display unit 151 may implement a touch screen by forming a mutual layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 providing an input interface between the electronic device 100 and the user and provide an output interface between the electronic device 100 and the user.

인터페이스부(160)는 전자 기기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 전자 기기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a passage for various types of external devices connected to the electronic device 100 . The interface unit 160 connects a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. In response to the external device being connected to the interface unit 160, the electronic device 100 may perform appropriate control related to the connected external device.

또한, 메모리(170)는 전자 기기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 전자 기기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 전자 기기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 전자 기기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 전자 기기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 전자 기기(100) 상에 설치되어, 제어부(180)에 의하여 상기 전자 기기의 동작(또는 기능)을 수행하도록 구동될 수 있다.Also, the memory 170 stores data supporting various functions of the electronic device 100 . The memory 170 may store a plurality of application programs (application programs or applications) running in the electronic device 100 , data for operating the electronic device 100 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the electronic device 100 from the time of shipment for basic functions of the electronic device 100 (eg, incoming and outgoing calls, outgoing functions, message receiving, and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the electronic device 100, and driven by the control unit 180 to perform an operation (or function) of the electronic device.

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 전자 기기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.The controller 180 controls general operations of the electronic device 100 in addition to operations related to the application program. The control unit 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 170.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 전자 기기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition, the controller 180 may control at least some of the components discussed in conjunction with FIG. 1 in order to drive an application program stored in the memory 170 . Furthermore, the controller 180 may combine and operate at least two or more of the components included in the electronic device 100 to drive the application program.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가받아 전자 기기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each component included in the electronic device 100 . The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 전자 기기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 전자 기기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 전자 기기 상에서 구현될 수 있다. At least some of the components may operate in cooperation with each other in order to implement an operation, control, or control method of an electronic device according to various embodiments described below. Also, the operation, control, or control method of the electronic device may be implemented on the electronic device by driving at least one application program stored in the memory 170 .

본 명세서에서 전자기기(100)는 추천장치, 단말, 비주얼 코딩 장치 및 융합형 제작장치를 포함할 수 있다.In this specification, the electronic device 100 may include a recommendation device, a terminal, a visual coding device, and a convergence type production device.

도 2는 본 명세서가 적용될 수 있는 일 실시예이다.2 is an embodiment to which the present specification can be applied.

도 2를 참조하면, 사용자는 단말을 통해, 융합형 제작장치와 통신할 수 있다. 예를 들어, 단말은 별도의 어플리케이션 없이도, WEB을 통해 융합형 제작장치와 연결될 수 있으며, 사용자는 단말을 통해, 2D 및 3D 콘텐츠를 동시에 제작하는 것이 가능하다. Referring to FIG. 2 , a user may communicate with a convergence type manufacturing device through a terminal. For example, the terminal can be connected to the convergence type production device through the WEB without a separate application, and the user can simultaneously produce 2D and 3D contents through the terminal.

추천장치는 후술되는 AI 장치(20)를 포함하며, 사용자의 단말 및 융합형 제작장치와 연결되어, 단말 및 융합형 제작장치로부터 생성되는 메타 데이터를 이용하여, 사용자의 성향을 분석하고, 분석 결과를 활용하여, 사용자에게 맞는 콘텐츠 및 요소(Asset)를 추천할 수 있다.The recommendation device includes the AI device 20 described below, is connected to the user's terminal and the convergence type production device, analyzes the user's propensity using meta data generated from the terminal and the convergence type production device, and analyzes the result of the analysis. Using , content and elements (Assets) suitable for the user can be recommended.

융합형 제작장치는 WEB을 통해, 단말로부터 콘텐츠 생성을 명령받는다(S2010). 예를 들어, 콘텐츠는 2D 및/또는 3D 객체를 포함할 수 있다.The convergence type production device receives a content creation command from the terminal through the WEB (S2010). For example, content may include 2D and/or 3D objects.

융합형 제작장치는 콘텐츠 생성을 위해 페이지(Page)를 생성한다(S2020). 예를 들어, 페이지는 2D 또는 3D 형태로 표현될 수 있는 페이지를 포함하며, 융합형 제작장치는 각 페이지에 기정의된 요소(Asset)나 템플릿을 추가 및 배치하여 화면을 구성할 수 있다. 보다 자세하게, 추가된 요소에는 이벤트(event)가 등록되어, 콘텐츠 사용자와의 상호작용이 추가될 수 있다. 이를 통해, 사용자는 몰입감 있고 창의적인 콘텐츠를 제작할 수 있다The convergence type production device creates a page to create content (S2020). For example, the page includes a page that can be expressed in a 2D or 3D form, and the convergence type production device may configure a screen by adding and arranging predefined elements (assets) or templates to each page. More specifically, an event may be registered in the added element, so that interaction with the content user may be added. Through this, users can create immersive and creative content.

도 3은 본 명세서가 적용될 수 있는 페이지 생성의 예시이다.3 is an example of page generation to which this specification can be applied.

도 3을 참조하면, 사용자는 단말을 통해, 융합형 제작장치로부터 페이지 표시화면(300)을 제공받을 수 있다. 예를 들어, 하나의 콘텐츠는 하나 이상의 페이지를 포함할 수 있다. 또한, 사용자는 페이지 표시화면(300)에서 나타날 수 있는 레이아웃 선택창(310)을 통해, 페이지의 형태를 2D 또는 3D 변경할 수 있으며, AR모드 등 콘텐츠 사용자의 요구에 따라 특별한 기능을 가진 가상 공간을 별도로 추가할 수 있다. 융합형 제작장치는 페이지의 형태에 따라 별도의 컨트롤러(400)를 등록할 수 있다. 또한, 사용자는 레이아웃 선택창(310)을 통해, 페이지의 크기 및 비율을 변경할 수 있다.Referring to FIG. 3 , a user may be provided with a page display screen 300 from a convergence type production device through a terminal. For example, one content may include one or more pages. In addition, the user can change the shape of the page in 2D or 3D through the layout selection window 310 that can appear on the page display screen 300, and creates a virtual space with special functions according to the content user's request, such as AR mode. can be added separately. The convergence type production device may register a separate controller 400 according to the shape of the page. Also, the user may change the size and ratio of the page through the layout selection window 310 .

다시 도 2를 참조하면, 융합형 제작장치는 페이지에 근거하여, 컨트롤러(400)를 등록한다(S2030). 예를 들어, 융합형 제작장치는 페이지의 형태에 따라, 요소(Element)를 제어하고 상호작용할 수 있는 컨트롤러(400)를 등록할 수 있다.Referring back to FIG. 2 , the convergence type manufacturing device registers the controller 400 based on the page (S2030). For example, the convergence type production device may register a controller 400 capable of controlling and interacting with elements according to the shape of a page.

도 4는 본 명세서에 적용될 수 있는 컨트롤러(400)의 예시이다.4 is an example of a controller 400 that can be applied to this specification.

도 4를 참조하면, 사용자가 단말을 통해, 요소를 선택하면 해당 요소에 맞는 속성이 속성창(410)에 표시되며, 융합형 제작장치는 등록된 컨트롤러(400)를 표시하고, 사용자는 컨트롤러(400)를 이용하여 마우스나 터치를 이용하여 간편하게 속성을 편집할 수 있다, 예를 들어, 사용자는 속성창(410)에서 정확한 수치를 입력하여 세밀하게 요소의 속성값들을 수정할 수 있다. 사용자는 속성창(410)에 탭을 추가하여 부가적인 연결된 기능을 수행시킬 수 있다. 예를 들면, 부가적인 연결된 기능들은 요소의 제작자의 출처나 미디어 재생정보 등을 포함할 수 있다.Referring to FIG. 4, when a user selects an element through a terminal, properties suitable for the element are displayed in the property window 410, the convergence type manufacturing device displays the registered controller 400, and the user selects the controller ( 400), attributes can be easily edited using a mouse or a touch. For example, a user can input accurate numerical values in the attribute window 410 to modify attribute values of elements in detail. The user can perform additional connected functions by adding a tab to the property window 410 . For example, additional connected functions may include the source of the element's creator or media playback information.

다시 도 2를 참조하면, 융합형 제작장치는 페이지에 요소를 배치한다(S2040). 예를 들어, 융합형 제작장치는 페이지 형태에 따라, 기정의된 요소/템플릿(template) 및/또는 추가적으로 업로드된 요소를 배치할 수 있다.Referring back to FIG. 2 , the convergence type production device arranges elements on a page (S2040). For example, the convergence type production device may arrange predefined elements/templates and/or additionally uploaded elements according to page types.

도 5는 본 명세서가 적용될 수 있는 페이지 리스트의 예시이다.5 is an example of a page list to which this specification can be applied.

도 5를 참조하면, 하나의 콘텐츠는 여러개의 페이지(화면)의 묶음으로 구성되어, 사용자의 요구에 따라 2D, 3D 화면이 선택될 수 있다. Referring to FIG. 5, one content is composed of a bundle of several pages (screens), and a 2D or 3D screen can be selected according to a user's request.

예를 들어, 페이지는 (1) 페이지의 속성과 (2) 이벤트 리스트, (3) 리소스(resource) 리스트를 포함한다. 보다 자세하게, 이벤트 리스트는 요소에 할당된 이벤트들의 정보를 포함하며, 리소스 리스트는 페이지에 추가된 요소들의 정보를 포함한다.For example, a page includes (1) page properties, (2) an event list, and (3) a resource list. More specifically, the event list includes information on events assigned to elements, and the resource list includes information on elements added to a page.

도 6은 본 명세서가 적용될 수 있는 요소들의 예시이다.6 is an example of elements to which this specification may be applied.

도 6을 참조하면, 융합형 제작장치는 단말을 통해 사용자에게 페이지 형태에 따라, 기정의된 요소/템플릿(template)을 제공할 수 있다. 또한, 사용자는 추가적으로 요소를 업로드하고 배치할 수 있다.Referring to FIG. 6 , the convergence type production apparatus may provide a predefined element/template according to a page type to a user through a terminal. Also, users can additionally upload and place elements.

다시 도 2를 참조하면, 융합형 제작장치는 요소의 속성값을 수정한다(S2050).Referring back to FIG. 2 , the convergence type manufacturing apparatus modifies the attribute value of the element (S2050).

예를 들어, 사용자가 페이지 표시화면(300)에 배치된 요소를 선택하면, 융합형 제작장치는 해당 요소에 대응되는 속성창(410)을 표시하고, 사용자는 페이지에 근거하여 등록된 컨트롤러(400)를 이용하여, 마우스, 터치, 수치 입력 등을 통해, 속성값을 수정할 수 있다.For example, when the user selects an element arranged on the page display screen 300, the convergence type manufacturing device displays the property window 410 corresponding to the corresponding element, and the user registers the controller 400 based on the page. ), the property value can be modified through mouse, touch, numerical input, etc.

융합형 제작장치는 요소에 대응되는 이벤트를 등록한다(S2060). 예를 들어, 이벤트는 "액션" 및 "결과"의 집합을 포함할 수 있다. 보다 자세하게, 액션은 이벤트가 발생하는 조건을 정의할 수 있다. 예를 들어, "액션"은 기능이 수행되기 위한 조건으로서, 키보드 이벤트, 마우스/터치 이벤트, 제스처 이벤트, 영역 이벤트, 값 이벤트, 호출 이벤트 등 다양한 형태의 이벤트나 호출을 포함할 수 있다.The convergence type manufacturing device registers an event corresponding to an element (S2060). For example, an event may contain a set of “actions” and “results”. More specifically, an action may define a condition under which an event occurs. For example, “action” is a condition for performing a function and may include various types of events or calls such as keyboard events, mouse/touch events, gesture events, area events, value events, and call events.

또한, 결과는 "기능" 및 "대상"을 포함할 수 있다. Also, results may include "feature" and "subject".

보다 자세하게, “기능”은 이벤트가 활성화되면 그 기능의 목적이 되는 "대상"에 대해서 수행할 속성 변경 및 특정 행위 들을 정의할 수 있으며, 위치, 크기, 회전, 투명도 등 요소의 기본 속성과 보기, 감추기, 재생, 정지, 일시정지 등의 미디어 요소에 대한 제어 기능을 포함할 수 있다. 또한, 외부 환경의 정보를 활용하기 위한 사용자 단말의 카메라, GPS, 가속도계 등도 포함할 수 있다. In more detail, “function” can define property changes and specific actions to be performed for the “object” that is the purpose of the function when an event is activated, and basic properties of elements such as position, size, rotation, transparency, view, It may include control functions for media elements such as hide, play, stop, and pause. In addition, a camera, GPS, accelerometer, etc. of a user terminal for utilizing information of an external environment may be included.

융합형 제작장치는 이벤트에 대응되는 액션, 기능 및/또는 대상을 등록한다(S2070). 예를 들어, 융합형 제작장치는 요소의 속성값에 근거하여, 액션, 기능 및/또는 대상을 등록할 수 있다.The convergence type production device registers an action, function, and/or object corresponding to the event (S2070). For example, the convergence type manufacturing device may register actions, functions, and/or objects based on attribute values of elements.

융합형 제작장치는 등록된 액션에 근거하여, 요소에 대한 이벤트가 감지되면, 결과를 실행한다(S2080).The convergence type manufacturing device executes the result when an event for an element is detected based on the registered action (S2080).

도 7은 본 명세서가 적용될 수 있는 융합형 제작장치의 이벤트 탐지의 예시이다.7 is an example of event detection of a convergence type manufacturing apparatus to which the present specification can be applied.

도 7을 참조하면, 융합형 제작장치는 요소에 대응되는 이벤트를 확인하고, 이벤트를 모니터링하여, 이벤트를 탐지할 수 있다. 융합형 제작장치는 이벤트가 탐지되는 경우, 이벤트에 대응되는 기능을 실행하기 위해, 속성을 확인하고, 기능 및 속성에 근거하여, 결과를 실행할 수 있다.Referring to FIG. 7 , the convergence type manufacturing apparatus may check an event corresponding to an element, monitor the event, and detect the event. When an event is detected, the convergence type manufacturing device may check an attribute to execute a function corresponding to the event, and execute a result based on the function and attribute.

도 8은 본 명세서가 적용될 수 있는 결과 실행방법의 예시이다.8 is an example of a result execution method to which the present specification can be applied.

도 8을 참조하면, 융합형 제작장치는 “결과"를 동시에 실행할 수 있으며, 하위 "결과"는 상위 "결과"와 연결되어 연속되어 실행될 수 있다. 또한, "결과"의 연결은 제한이 없으며 상위 "결과"의 실행 결과를 이용하여 다음 스텝에서 연속적인 기능을 수행할 수도 있다. 이러한 결과 실행방법은 단순히 하나의 타임라인으로 구동되는 실행방법과 달리, 사용자에게 요소의 동작과 관련하여, 실제 프로그래밍 기법과 동일한 환경을 제공할 수 있고, 프로그래밍 환경을 자연스럽게 학습하는데 도움을 줄 수 있다.Referring to FIG. 8, the convergence type manufacturing device can execute “result” simultaneously, and the lower “result” can be connected to the upper “result” and executed consecutively. In addition, the connection of the “result” is not limited and the upper “result” is connected. Continuing functions can be performed in the next step using the execution result of “result.” Unlike execution methods that are simply driven by one timeline, this result execution method provides the user with actual programming in relation to the operation of elements. It can provide the same environment as the technique, and can help you learn the programming environment naturally.

도 9는 본 명세서가 적용될 수 있는 요소 관리의 예시이다.9 is an example of element management to which this specification can be applied.

도 9를 참조하면, 2D 형태의 요소와 3D 형태의 요소는 각각 속성이 상이하여 동일한 방식으로 융합형 제작장치가 그 요소들을 제어하기가 어렵다. 따라서, 융합형 제작장치는 우선 "기본 요소"라는 객체를 통하여 2D 형태의 요소와 3D 형태의 요소를 감싸고 "기본 요소"를 바탕으로 융합형 제작장치의 저작 도구에서 사용하는"사용 요소"로 확장하여 사용하도록도 요소를 관리한다. 예를 들어, "사용 요소"의 기능은 "원시 요소"의 특성을 제어하고 사용하도록 구성될 수 있다. 보다 자세하게, 도 9에서는 "사용 요소"를 이미지, 비디오, 도형, 3D 모델로 예를 들었으나, 2D 형태의 요소 및 3D 형태의 요소의 특성을 제어하고 표시하기에 유리한 형태라면 "사용 요소"로 표시될 수 있다.Referring to FIG. 9 , since the 2D and 3D elements have different properties, it is difficult for the convergence type manufacturing device to control the elements in the same way. Therefore, the convergence type production device first wraps the 2D form elements and the 3D form elements through the object called "basic element", and expands to the "used element" used in the authoring tool of the convergence type production device based on the "basic element" and manages the elements so that they can be used. For example, the functionality of a "using element" may be configured to control and use the properties of a "primitive element". In more detail, in FIG. 9, images, videos, figures, and 3D models are exemplified as "using elements", but if the form is advantageous for controlling and displaying the characteristics of 2D elements and 3D elements, "using elements" may be used. can be displayed

도 10 및 도 11은 본 명세서가 적용될 수 있는 요소 업로드의 예시이다.10 and 11 are examples of element upload to which this specification can be applied.

도 10 및 도 11을 참조하면, 융합형 제작장치는 업로드된 요소 파일을 로더(loader)를 통해 로드하고 로드된 요소 파일의 객체를 로더에 대응될 수 있는 "사용 요소"에 등록한다. 융합형 제작장치는 등록된 "사용 요소"를 이용하여, 업로드된 요소를 배치할 수 있다.Referring to FIGS. 10 and 11 , the convergence type manufacturing apparatus loads an uploaded element file through a loader and registers an object of the loaded element file as a “using element” that may correspond to the loader. The convergence type manufacturing device may place the uploaded element using the registered “used element”.

도 10을 참조하면, 업로드된 요소 파일이 이미지 파일인 경우, 융합형 제작장치는 이미지 로더를 통해, 당해 이미지 파일을 로드하고, 로드된 이미지 파일의 객체(object)를 이미지 요소로 등록할 수 있다.Referring to FIG. 10 , when the uploaded element file is an image file, the convergence type production device may load the image file through an image loader and register an object of the loaded image file as an image element. .

도 11을 참조하면, 업로드된 요소 파일이 3D 모델 파일인 경우, 융합형 제작장치는 3D 로더를 통해, 당해 3D 모델 파일을 로드하고, 로드된 3D 모델 파일의 객체를 생성하고, 애니메이션을 생성하여, 생성된 객체에 애니메이션에 부가하여, 당해 객체를 3D 요소로 등록할 수 있다.Referring to FIG. 11, when the uploaded element file is a 3D model file, the convergence type manufacturing device loads the 3D model file through a 3D loader, creates an object of the loaded 3D model file, and creates an animation to , In addition to animation, the created object can be registered as a 3D element.

예를 들어, 업로드된 요소 파일이 비디오 파일인 경우, 융합형 제작장치는 HTMLVideoElement를 생성하여 화면에 추가후 그 객체를 "사용 요소"에 등록하여 제어할 수 있다.For example, if the uploaded element file is a video file, the convergence type production device can create an HTMLVideoElement, add it to the screen, and then register the object as a "using element" to control it.

하나의 컨텐츠는 여러 개의 페이지를 포함할 수 있고, 각각의 페이지들은 요소들을 관리하는 "resourceManager"와 동작 이벤트를 관리하는 "eventManager"를 포함할 수 있다.One content may include several pages, and each page may include a “resourceManager” that manages elements and an “eventManager” that manages operation events.

페이지에 배치된 요소는 별도의 깊이(Depth)를 가지고 있어, 융합형 제작장치는 사용자의 필요에 따라 깊이를 조절하여 화면에 요소의 노출 순서를 조정할 수 있다.Elements placed on the page have a separate depth, so the convergence type production device can adjust the exposure order of elements on the screen by adjusting the depth according to the user's needs.

예를 들어, 융합형 제작장치는 요소가 배치되게 되면 해당 페이지의 Resource manager에 해당 요소를 등록하게 되고 그 속성, 상태등의 변경 사항이나 등록, 삭제등을 통하여 관리할 수 있다. Resource manager는 배치된 요소의 관리뿐만 아니라 변경사항에 대한 이벤트를 발생시켜 리소스 리스트에 근거하여, 리소스의 변화에 따른 연결된 기능을 호출할 수 있다.For example, in the convergence type production device, when an element is arranged, the corresponding element is registered in the resource manager of the corresponding page, and can be managed through changes, registration, deletion, etc. of properties and states. Resource manager not only manages the arranged elements, but also can call the connected function according to the change of the resource based on the resource list by generating an event for the change.

요소가 추가되면, 융합형 제작장치는 페이지에 등록된 컨트롤러를 통해, 요소를 제어하기 위하여, 요소를 관리 목록에 추가하여 컨트롤러가 제어가 가능한 요소로 인지하고 관리할 수 있도록 한다. 컨트롤러에 등록된 요소는 사용자의 마우스나 제스처, 터치, 외부 컨트롤러 등으로 속성을 수정하거나 제어할 수 있다.When an element is added, the convergence type production device adds the element to the management list in order to control the element through the controller registered in the page so that the controller can recognize it as a controllable element and manage it. Elements registered in the controller can be modified or controlled by the user's mouse, gesture, touch, or external controller.

또한, 사용자가 요소를 제어하는 과정에서 Redo/Undo의 기능이 필요 할 수 있다. 이를 위해, 융합형 제작장치는 페이지의 History manager에서 컨트롤러의 변경 사항을 저장하여 해당 요소의 상태의 변경 사항을 기록하고, 요청에 따라 History manager에서 보관 중인 변경 사항의 목록에서 요소의 속성을 불러와 현재 요소 속성을 업데이트하여 요소 상태를 복원하거나 다시 업데이트 할 수 있게 구성할 수 있다. History manager는 요소 별로 변경사항이 저장되기 때문에 메모리 문제가 발생할 수 있다. 따라서, 이를 방지하기 위해 융합형 제작장치는 상황에 따라 저장되는 변경 사항의 목록의 개수를 제한할 수 있다.In addition, the Redo/Undo function may be needed in the process of controlling the element by the user. To this end, the convergence type production device records changes in the state of the corresponding element by saving the changes in the controller in the history manager of the page, and calls the properties of the element from the list of changes stored in the history manager upon request. It can be configured to restore or re-update element state by updating current element properties. Memory problems can occur in the history manager because changes are saved for each element. Accordingly, in order to prevent this, the convergence type manufacturing device may limit the number of list of changes to be stored according to circumstances.

또한, 융합형 제작장치는 콘텐츠 제작시 공유할 사용자를 지정하여 동시에 작업을 수행하도록 할 수 있다. 예를 들어, 콘텐츠가 초기 생성되면, 융합형 제작장치는 콘텐츠에 대응되는 고유의 채널을 생성할 수 있다. 융합형 제작장치는 고유의 채널을 이용할 수 있는 공유 사용자를 지정하고 그 사용자가 해당 콘텐츠에 접속하게 되면 동일한 채널에 추가할 수 있다. In addition, the convergence type production device can designate a user to share when producing content and perform the task simultaneously. For example, when content is initially created, the convergence type production device may create a unique channel corresponding to the content. The convergence type production device can designate a shared user who can use a unique channel and add the user to the same channel when the user accesses the corresponding content.

동일 채널에 있는 사용자는 변경 사항을 실시간으로 주고받으며 저작 데이터를 실시간으로 동기화 할 수 있다. 이를 위해, 통신은 websocket혹은 webrtc를 통하여 실시간으로 이루어질 수 있다. Users on the same channel can send and receive changes in real time and synchronize authoring data in real time. To this end, communication can be made in real time through websocket or webrtc.

하지만, 저장되지 않은 콘텐츠에 새로운 사용자가 접속하게되면 예전 버전의 콘텐츠의 상태로 동기화가 이루어 지게 되어 버전 차이가 발생할 수 있다. 이를 방지하기 위해, 새로운 사용자가 공유 채널에 추가된 후, 처음 콘텐츠를 접속하게되면 기존의 작업중인 사용자중 특정 사용자를 통해, 작업 변경 사항에 대한 전반적인 업데이트를 수행하여 초기 동기화가 진행될 수 있다. 이렇게 초기 동기화가 이루어진 이후, 융합형 제작장치는 변경 사항에 대한 데이터를 실시간으로 공유하는 방식을 통해, 저장되지 않은 콘텐츠의 동기화 이슈를 해결할 수 있다.However, when a new user accesses unsaved content, synchronization is performed with the previous version of the content, which may cause a version difference. To prevent this, when a new user accesses content for the first time after being added to a shared channel, initial synchronization may be performed by performing a general update on work changes through a specific user among existing working users. After such initial synchronization, the convergence type production device can solve the synchronization issue of unsaved content through a method of sharing data on changes in real time.

도 12는 본 명세서의 일 실시예에 따른 AI 장치의 블록도이다. 12 is a block diagram of an AI device according to an embodiment of the present specification.

상기 AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 상기 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, 상기 AI 장치(20)는 도 1에 도시된 전자기기(100)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.The AI device 20 may include an electronic device including an AI module capable of performing AI processing or a server including the AI module. In addition, the AI device 20 may be included in at least a portion of the electronic device 100 shown in FIG. 1 to perform at least a portion of AI processing together.

상기 AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.The AI device 20 may include an AI processor 21, a memory 25 and/or a communication unit 27.

상기 AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.The AI device 20 is a computing device capable of learning a neural network, and may be implemented in various electronic devices such as a server, a desktop PC, a notebook PC, and a tablet PC.

AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 예를 들어, AI 프로세서(21)는 Tensorflow가 활용된 Recurrent Neural Networks(순환 신경망) 모델을 메모리(25) 상에 생성할 수 있고, 사용자 단말 및 융합형 제작장치에서 수집될 수 있는 데이터를 이용하여, 이러한 인공지능 모델을 학습시킬 수 있다.The AI processor 21 may learn a neural network using a program stored in the memory 25 . For example, the AI processor 21 can generate a Tensorflow-utilized Recurrent Neural Networks (recurrent neural network) model on the memory 25, and uses data that can be collected from a user terminal and a convergence manufacturing device , these AI models can be trained.

예를 들어, 학습된 인공지능 모델은 다음과 같은 테스크를 갖는 하위 모델들을 생성할 수 있다 :For example, a trained AI model can generate sub-models with the following tasks:

1. 콘텐츠 추천 모델 : 콘텐츠 사용정보와 콘텐츠 제작정보를 분석한 데이터와 사용자 특성 모델을 활용하여 사용자에게 맞춤 콘텐츠 추천1. Content Recommendation Model: Recommends customized content to users by using user characteristics model and data from analyzing content usage information and content creation information

2. 요소 추천 모델 : 사용자 특성 모델과 어셋(asset) 메타 데이터를 활용하여, 콘텐츠 제작자에게 맞춤 어셋 추천2. Element Recommendation Model: Recommends customized assets to content creators using user characteristic models and asset metadata

3. 사용자 특성 분석 모델 : 사용자의 학습흥미도, 참여도, 몰입도 등의 분석을 통해, 사용자의 특성을 분석3. User Characteristics Analysis Model: Analyzing the user's characteristics through analysis of the user's learning interest, participation, and immersion

도 13은 본 명세서가 적용될 수 있는 추천방법 파이프라인의 예시이다. 13 is an example of a recommendation method pipeline to which the present specification can be applied.

도 13을 참조하면, 인공지능 모델(1300)은 플랫폼 및 융합형 제작장치로부터 수집된 데이터를 이용하여, 학습될 수 있다.Referring to FIG. 13 , an artificial intelligence model 1300 may be learned using data collected from a platform and a converged production device.

예를 들어, 플랫폼은 WEB을 통해, 단말에 제공될 수 있으며, 융합형 제작장치와 연결되어 사용자에게 컨텐츠 제작 환경을 제공할 수 있다. 또한, 다른 사용자가 제작한 콘텐츠를 표시할 수 있으며, 이를 위한 검색기능도 제공할 수 있다. 또한, 플랫폼은 컨텐츠 제작 환경에서 사용될 수 있는 템플릿을 사용자에게 제공할 수 있으며, 이를 위한 검색기능도 제공할 수 있다.For example, the platform may be provided to a terminal through the WEB, and may be connected to a convergence type production device to provide a content production environment to the user. In addition, content created by other users can be displayed, and a search function for this can be provided. In addition, the platform may provide a user with a template that can be used in a content production environment, and may also provide a search function for this.

학습된 인공지능 모델은 1) 사용자 특성 분석 모델, 2) 콘텐츠 추천 모델, 및 3) 요소 추천 모델을 생성할 수 있다. 사용자 특성 분석 모델이 출력한 사용자의 특성은 인공지능 모델(1300)의 학습을 위해 사용될 수 있다.The learned artificial intelligence model may generate 1) a user characteristic analysis model, 2) a content recommendation model, and 3) an element recommendation model. The user characteristics output by the user characteristic analysis model may be used for learning of the artificial intelligence model 1300 .

예를 들어, 사용자 특성 분석 모델에서 출력된 사용자의 특성에 근거하여, 인공지능 모델(1300)은 콘텐츠 추천 모델을 이용하여, 플랫폼을 통해 추천 콘텐츠 정보를 사용자에게 표시할 수 있다.For example, based on the characteristics of the user output from the user characteristic analysis model, the artificial intelligence model 1300 may display recommended content information to the user through the platform using the content recommendation model.

또한, 인공지능 모델(1300)은 사용자 특성 분석 모델에서 출력된 사용자의 특성에 근거하여, 요소 추천 모델을 이용하여, 융합형 제작장치를 통해 콘텐츠를 제작하고자 하는 사용자에게 요소 추천 정보를 표시할 수 있다.In addition, the artificial intelligence model 1300 may display element recommendation information to a user who wants to create content through a convergence type production device using an element recommendation model based on the user's characteristics output from the user characteristic analysis model. there is.

학습을 위해 수집된 데이터는 1) 사용자 정보, 2) 사용자 행동정보, 및 3) 콘텐츠 정보를 포함할 수 있다.Data collected for learning may include 1) user information, 2) user behavior information, and 3) content information.

1. 사용자 정보1. User Information

사용자가 플랫폼을 최초 접속하는 경우, 단말을 통해 수집되거나, 플랫폼의 회원 가입 절차를 통해, 수집될 수 있다.When a user accesses the platform for the first time, it may be collected through a terminal or through a membership registration procedure of the platform.

다음의 표 1은 사용자 정보의 예시이다.Table 1 below is an example of user information.

데이터 수집 채널data collection channel 데이터 항목data item 통계 수집statistics collection 국가지역country area
시/군/구City/Gun/Gu
언어language
브라우저browser
기기device
운영체제operating system
플랫폼platform
해상도resolution
플랫폼 회원 가입Join the platform 사용자 고유번호사용자 이름User identification numberUser name
사용자 IDUser ID
연령age
성별gender
가입일자Sign up date

2. 사용자 행동정보사용자의 행동에 따라 수집될 수 있다.2. User Behavioral Information It can be collected according to the user's behavior.

다음의 표 2는 사용자 행동정보의 예시이다.Table 2 below is an example of user behavior information.

데이터 수집 채널data collection channel 데이터 항목data item 통계 수집statistics collection 플랫폼 체류시간평균 참여시간Platform stay timeAverage participation time
참여세션수 (페이지 이동 개수)Number of participating sessions (number of page moves)
세션당 평균 참여시간Average participation time per session
재방문revisit
첫방문 날짜Date of first visit
콘텐츠 참여시간Content participation time
플랫폼 platform 버튼별 이벤트 코드검색어 정보 (키워드)Event code search word information for each button (keyword)
콘텐츠 View 히스토리Content View History
콘텐츠 후기Content Reviews
콘텐츠 별점Content star rating
콘텐츠 좋아요 / 싫어요Like/dislike content
콘텐츠 책갈피content bookmarks
사이트 진입 방법How to enter the site
융합형 제작장치Convergence type manufacturing device 사용자 고유번호아이템 선택Select user unique number item
메뉴 선택menu selection
비쥬얼 코딩 설정 선택Select Visual Coding Settings

3. 콘텐츠 정보3. Content Information

다음의 표 3은 콘텐츠 정보의 예시이다.Table 3 below is an example of content information.

데이터 수집 채널data collection channel 데이터 항목data item 데이터 세부 항목data details 플랫폼platform 콘텐츠 사용정보Content usage information 콘텐츠 고유번호콘텐츠 사용자 고유번호Unique content number Unique content user number
콘텐츠 체류시간content retention time
콘텐츠 사용횟수Number of uses of content
콘텐츠 좋아요Like the content
콘텐츠 싫어요dislike content
콘텐츠 후기Content Reviews
콘텐츠 책갈피content bookmarks
콘텐츠 별점Content star rating
콘텐츠 체험 후 다음 콘텐츠 이동여부Whether to move to the next content after experiencing the content
콘텐츠 View 히스토리Content View History
융합형 제작장치Convergence type manufacturing device 콘텐츠 제작정보Content creation information 요소 등록자의 고유번호Unique number of element registrant
사용된 요소 구분Classification of used elements
요소 메타정보element meta information
요소 원본 파일명element source file name
요소 카테고리명element category name
저작권자copyright holder
사용된 사용자 행위 정보User behavior information used
사용된 요소의 동작 정보Behavioral information of used elements
요소 구분별 사용수Number of uses by element category
콘텐츠 저장정보Content storage information 콘텐츠 등록자 고유번호Unique number of content registrant
과목subject
대상학년target grade
콘텐츠 명content name
콘텐츠 설명Content Description
콘텐츠 카테고리Content category
등록 채널registration channel
유아 콘텐츠 유무Presence of infant content
콘텐츠 예상 플레이 시간Content expected play time

도 14는 본 명세서가 적용될 수 있는 비주얼 코딩의 예시이다.14 is an example of visual coding to which the present specification can be applied.

도 14를 참조하면, 사용자는 단말을 통해, 비주얼 코딩 장치와 통신할 수 있다. 예를 들어, 융합형 제작장치는 비주얼 코딩 장치를 포함할 수 있다.Referring to FIG. 14 , a user may communicate with a visual coding device through a terminal. For example, the convergence type manufacturing device may include a visual coding device.

또한, 단말은 별도의 어플리케이션 없이도, WEB을 통해 비주얼 코딩 장치와 연결될 수 있으며, 사용자는 단말을 통해, 비주얼 코딩을 통한 컨텐츠를 제작하는 것이 가능하다.In addition, the terminal can be connected to the visual coding device through the WEB without a separate application, and the user can create content through visual coding through the terminal.

단말은 비주얼 코딩을 위한 페이지를 생성하고, 페이지에 요소(asset)를 배치한다(S1410). 예를 들어, 단말은 사용자에게 요소들의 목록, 및/또는 요소들이 포함된 템플릿을 표시할 수 있다. 사용자는 템플릿에서 페이지에 배치될 요소를 선택할 수 있다.The terminal generates a page for visual coding and arranges an asset on the page (S1410). For example, the terminal may display a list of elements and/or a template including the elements to the user. Users can select elements from the template to be placed on the page.

단말은 배치된 요소에 근거하여, 비주얼 코딩의 대상이 되는 대상(target) 요소를 설정한다(S1420). 예를 들어, 사용자는 페이지에 배치된 요소 중에, 대상 요소를 클릭하여 선택할 수 있다.The terminal sets target elements to be visual coded based on the arranged elements (S1420). For example, a user may click and select a target element among elements arranged on a page.

단말은 사용자와의 상호작용과 관련된 사용자 행위를 설정한다(S1430). 예를 들어, 사용자 행위는 대상 요소의 이벤트가 발생하기 위한 조건일 수 있다.The terminal sets user behavior related to interaction with the user (S1430). For example, a user action may be a condition for generating an event of a target element.

단말은 사용자 행위에 근거하여, 대상 요소와 관련된 결과를 설정한다(S1440). 예를 들어, 결과는 단말이 사용자로부터 사용자 행위에 대응되는 입력을 받는 경우, 대상 요소와 관련되어 수행되는 동작을 의미할 수 있다. 결과는 대상 요소의 크기, 위치 및 상태값을 제어하는 "기능", 대상 요소와 관련된 변수들을 연산하기 위한 "연산", 및 페이지의 움직임을 나타내는 "기능 페이지"를 포함할 수 있다.The terminal sets a result related to the target element based on the user's action (S1440). For example, the result may mean an operation performed in relation to a target element when the terminal receives an input corresponding to a user action from a user. The result may include a “function” for controlling the size, position, and state value of the target element, “operation” for calculating variables related to the target element, and a “function page” for indicating movement of the page.

단말은 사용자 행위가 입력된 것에 근거하여, 대상 요소의 결과를 표시한다(S1450). 예를 들어, 사용자로부터 대상 요소의 클릭을 1번 입력받는 경우, 단말은 결과로서, 대상 요소를 1초 동안 이동키거나 다른 페이지로 이동된 화면을 표시할 수 있다.The terminal displays the result of the target element based on the input of the user's action (S1450). For example, when a user clicks the target element once, the terminal may display a screen moving the target element for 1 second or moving to another page as a result.

도 15는 본 명세서가 적용될 수 있는 추천장치의 일 실시예이다.15 is an embodiment of a recommendation device to which the present specification can be applied.

도 15를 참조하면, 추천장치는 사용자 단말 및 융합형 제작장치와 연결되어, 수집된 데이터를 통해 학습하고, 학습된 인공지능 모델을 통해 예측된 출력값을 플랫폼 및 융합형 제작장치에 제공할 수 있다. 예를 들어, 융합형 제작장치는 콘텐츠 제작을 위한 저작도구를 포함할 수 있다.Referring to FIG. 15, the recommendation device is connected to the user terminal and the convergence type production device, learns through the collected data, and provides the predicted output value through the learned artificial intelligence model to the platform and the convergence type production device. . For example, the convergence type production device may include an authoring tool for content production.

추천장치는 플랫폼 및 융합형 제작장치로부터 학습데이터를 수신한다(S1510). 예를 들어, 학습데이터는 플랫폼을 이용하는 사용자와 관련된 사용자 정보, 사용자가 플랫폼 및 융합형 제작장치를 이용하는 행동와 관련된 사용자 행동정보, 및 콘텐츠와 관련된 콘텐츠 정보를 포함한다.The recommendation device receives learning data from the platform and convergence type production device (S1510). For example, the learning data includes user information related to a user using the platform, user behavior information related to the user's behavior using the platform and the convergence type production device, and content information related to content.

보다 자세하게, 사용자 정보에서, 국가, 지역, 시/군/구, 언어, 브라우저, 기기, 운영체제, 플랫폼, 해상도 등의 정보는 사용자가 단말을 통해 플랫폼에 접속하는 경우, 통계수집을 통해 수집될 수 있다. 또한, 사용자 정보에서 사용자 고유번호, 사용자 이름, 사용자 ID, 연령, 성별, 가입일자 등의 정보는 사용자가 플랫폼에 회원가입을 위해 제공하는 정보들을 통해 수집될 수 있다.In more detail, in user information, information such as country, region, city/county/district, language, browser, device, operating system, platform, and resolution may be collected through statistics collection when a user accesses the platform through a terminal. there is. In addition, among user information, information such as a user identification number, user name, user ID, age, gender, date of joining may be collected through information provided by the user for membership registration on the platform.

보다 자세하게, 사용자 행동정보에서, 플랫폼 체류시간, 평균 참여시간, 참여세션수 (페이지 이동 개수), 세션당 평균 참여시간, 재방문, 첫방문 날짜, 콘텐츠 참여시간 등의 정보는 사용자가 단말을 통해 플랫폼을 이용하는 동안 통계수집을 통해 수집될 수 있다. 예를 들어, 버튼별 이벤트 코드, 검색어 정보 (키워드), 사이트 진입 방법 등의 정보는 사용자의 로그인 동작 없이도 플랫폼을 통해 수집될 수 있다.In more detail, in user behavior information, information such as platform stay time, average participation time, number of participating sessions (number of page movements), average participation time per session, revisit, first visit date, content participation time, etc. It may be collected through statistics collection while using the platform. For example, information such as event codes for each button, search word information (keywords), and site entry method can be collected through the platform without a user logging in.

사용자는 로그인을 하고, 플랫폼을 통해 제공되는 콘텐츠를 사용할 수 있고, 플랫폼과 연결된 융합형 제작장치를 통해 콘텐츠를 제작할 수 있으며, 비주얼 코딩을 통한 컨텐츠 제작도 가능하다.Users can log in, use content provided through the platform, create content through a converged production device connected to the platform, and create content through visual coding.

보다 자세하게, 콘텐츠 정보에서, 콘텐츠 사용정보는 사용자의 행동에 근거하여, 플랫폼을 통해 수집될 수 있다.More specifically, in content information, content usage information may be collected through the platform based on user behavior.

도 16은 본 명세서가 적용될 수 있는 콘텐츠 표시의 예시이다.16 is an example of content display to which this specification can be applied.

도 16을 참조하면, 사용자는 플랫폼의 콘텐츠 표시를 위한 페이지를 통해 콘텐츠를 사용할 수 있고, 플랫폼은 콘텐츠 표시를 위한 페이지를 통해 사용자의 행동으로부터 콘텐츠 사용정보를 수집할 수 있다.Referring to FIG. 16 , a user may use content through a page for displaying content of a platform, and the platform may collect content use information from a user's behavior through a page for displaying content.

다시, 도 15를 참조하면, 사용자는 융합형 제작장치를 통해 콘텐츠를 제작할 수 있고, 융합형 제작장치는 콘텐츠 제작정보 및 콘텐츠 저장정보를 수집할 수 있다.Referring again to FIG. 15 , the user can produce content through the convergence type production device, and the convergence type production device can collect content production information and content storage information.

예를 들어, 사용자는 추가된 요소를 통해, 비주얼 코딩을 수행할 수 있고, 이를 통해, 사용된 사용자 행위 정보 및 사용된 요소의 동작 정보 등이 수집될 수 있다. 또한, 사용자가 제작이 완료된 콘텐츠를 저장할 때, 융합형 제작장치는 콘텐츠 등록자 고유번호, 과목, 대상학년, 콘텐츠 명, 콘텐츠 설명, 콘텐츠 카테고리, 등록 채널, 유아 콘텐츠 유무, 콘텐츠 예상 플레이 시간 등을 수집할 수 있다.For example, a user may perform visual coding through the added element, and through this, used user behavior information and operation information of the used element may be collected. In addition, when the user saves the content that has been produced, the convergence type production device collects the unique number of the content registrant, subject, target grade, content name, content description, content category, registration channel, existence of infant content, expected play time of the content, etc. can do.

도 17은 본 명세서가 적용될 수 있는 콘텐츠 저장의 예시이다.17 is an example of content storage to which this specification can be applied.

도 17을 참조하면, 콘텐츠를 제작하고 저장하려는 사용자는, 융합형 제작장치로부터 제공되는 콘텐츠 저장을 위한 페이지를 통해, 콘텐츠 저장정보들을 입력할 수 있다.Referring to FIG. 17 , a user who wants to create and store content may input content storage information through a page for content storage provided from a convergence type production device.

다시, 도 15를 참조하면, 추천장치는 학습데이터에 근거하여, 학습모델을 구축한다(S1520).Referring again to FIG. 15 , the recommendation device builds a learning model based on the learning data (S1520).

추천장치는 학습모델을 이용하여, 1) 사용자 특성 분석 모델, 2) 콘텐츠 추천 모델, 및 3) 요소 추천 모델을 생성한다(S1530).The recommendation device generates 1) a user characteristic analysis model, 2) a content recommendation model, and 3) an element recommendation model using the learning model (S1530).

추천장치는 사용자 특성 분석 모델 및 콘텐츠 추천 모델을 이용하여, 플랫폼에 추천 콘텐츠 정보를 전달한다(S1540). 예를 들어, 사용자 특성 분석 모델에서 출력된 사용자의 특성에 근거하여, 추천 장치는 콘텐츠 추천 모델을 이용하여, 추천 콘텐츠 정보를 플랫폼으로 전달할 수 있다.The recommendation device transmits recommended content information to the platform using the user characteristic analysis model and the content recommendation model (S1540). For example, based on the characteristics of the user output from the user characteristic analysis model, the recommendation device may transmit recommended content information to the platform using the content recommendation model.

도 18은 본 명세서가 적용될 수 있는 추천 콘텐츠 정보 표시의 예시이다.18 is an example of recommended content information display to which this specification can be applied.

도 18을 참조하면, 플랫폼은 콘텐츠 표시를 위한 페이지의 우측에 추천 콘텐츠 정보를 표시하기 위한 패널(1800)을 표시할 수 있다. 예를 들어, 추천 콘텐츠 정보는 추천 콘텐츠의 화면 및 타이틀을 포함하는 리스트를 포함할 수 있다.Referring to FIG. 18 , the platform may display a panel 1800 for displaying recommended content information on the right side of a page for content display. For example, the recommended content information may include a list including screens and titles of recommended content.

다시 도 15를 참조하면, 추천장치는 사용자 특성 분석 모델 및 요소 추천 모델을 이용하여, 융합형 제작장치에 추천 요소 정보를 전달한다(S1550).Referring back to FIG. 15 , the recommendation device transmits recommended element information to the convergence type production device using the user characteristic analysis model and the element recommendation model (S1550).

도 19는 본 명세서가 적용될 수 있는 추천 요소 정보 표시의 예시이다.19 is an example of displaying recommendation element information to which the present specification can be applied.

도 19를 참조하면, 융합형 제작장치는 사용자에게 추천 요소 정보를 표시할 수 있다. 예를 들어, 융합형 제작장치는 사용자가 콘텐츠를 제작하기 위해, 사용자에게 제공하는 요소들의 리스트 상단에 사용자들이 자주 사용하거나, 인공지능 모델을 통해 추천된 추천 요소 정보를 리스트의 형태로 표시(1900)할 수 있다.Referring to FIG. 19 , the convergence type manufacturing apparatus may display recommended element information to the user. For example, the convergence type production device displays recommended element information frequently used by users or recommended through an artificial intelligence model in the form of a list at the top of a list of elements provided to the user to create content by the user (1900 )can do.

이를 통해, 본 명세서에서 추천장치는 사용자의 콘텐츠 사용 통계와 콘텐츠 제작시 생성되는 메타 데이터를 활용하여, 사용자의 성향을 분석하고 분석 결과를 활용하여 사용자에게 맞는 콘텐츠 및 요소를 추천할 수 있다.Through this, in the present specification, the recommendation device may analyze the user's propensity using the user's content use statistics and meta data generated when the content is created, and recommend content and elements suitable for the user by utilizing the analysis result.

전술한 본 명세서는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.The above specification can be implemented as computer readable code on a medium on which a program is recorded. A computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of this specification should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of this specification are included in the scope of this specification.

또한, 이상에서 서비스 및 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 명세서를 한정하는 것이 아니며, 본 명세서가 속하는 분야의 통상의 지식을 가진 자라면 본 서비스 및 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 명세서의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although services and embodiments have been described above, this is only an example and does not limit the present specification, and those skilled in the art to which this specification belongs will not deviate from the essential characteristics of the present service and embodiments. It will be appreciated that various modifications and applications not exemplified above are possible. For example, each component specifically shown in the embodiments can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present specification as defined in the appended claims.

Claims (8)

추천장치가 사용자에게 어셋(asset) 및 콘텐츠를 추천하는 방법에 있어서,
상기 콘텐츠를 사용하기 위한 플랫폼 및 상기 콘텐츠를 제작하기 위한 저작도구로부터, 학습데이터를 수신하는 단계;
상기 학습데이터에 근거하여, 학습모델을 구축하는 단계;
상기 학습모델을 이용하여, 1) 상기 사용자의 특성을 분석하기 위한 제1 모델, 2) 상기 콘텐츠를 추천하기 위한 제2 모델, 및 3) 상기 어셋을 추천하기 위한 제3 모델을 생성하는 단계;
상기 제1 모델, 및 상기 제2 모델을 이용하여, 상기 플랫폼에 추천 콘텐츠 정보를 전달하는 단계; 및
상기 제1 모델, 및 상기 제3 모델을 이용하여, 상기 저작도구에 추천 어셋 정보를 전달하는 단계;
를 포함하는, 추천방법.
A method in which a recommendation device recommends an asset and content to a user,
Receiving learning data from a platform for using the content and an authoring tool for producing the content;
Building a learning model based on the learning data;
generating, by using the learning model, 1) a first model for analyzing the characteristics of the user, 2) a second model for recommending the content, and 3) a third model for recommending the asset;
transmitting recommended content information to the platform using the first model and the second model; and
transmitting recommended asset information to the authoring tool using the first model and the third model;
Including, recommended method.
제1항에 있어서,
상기 학습데이터는
1) 상기 플랫폼을 이용하는 사용자와 관련된 사용자 정보,
2) 상기 사용자가 상기 플랫폼 및 상기 저작도구를 이용하는 행동과 관련된 사용자 행동정보, 및
3) 상기 콘텐츠와 관련된 콘텐츠 정보를 포함하는, 추천방법.
According to claim 1,
The learning data is
1) user information related to users using the platform;
2) User behavior information related to the user's behavior using the platform and the authoring tool, and
3) A recommendation method including content information related to the content.
제2항에 있어서,
상기 사용자 정보는
상기 사용자의 단말의 통계 수집 및 상기 플랫폼의 회원 가입 절차를 통해, 수집되는, 추천방법.
According to claim 2,
The user information
The recommendation method, which is collected through the collection of statistics of the user's terminal and the membership sign-up process of the platform.
제2항에 있어서,
상기 사용자 행동정보는
상기 사용자의 단말의 통계 수집, 상기 플랫폼 및 상기 저작도구를 통해, 수집되는, 추천방법.
According to claim 2,
The user behavior information is
The recommendation method, which is collected through statistics collection of the user's terminal, the platform, and the authoring tool.
제2항에 있어서,
상기 콘텐츠 정보는
상기 플랫폼의 상기 콘텐츠를 사용하기 위한 절차 및 상기 저작도구를 통해, 상기 콘텐츠를 제작하고 저장하기 위한 절차를 통해, 수집되는, 추천방법.
According to claim 2,
The content information
A recommendation method, which is collected through a procedure for using the content of the platform and a procedure for producing and storing the content through the authoring tool.
제1항에 있어서,
상기 플랫폼은
상기 추천 콘텐츠 정보에 근거하여, 상기 콘텐츠의 추천 리스트를 상기 사용자에게 전달하는, 추천방법.
According to claim 1,
the platform
Based on the recommended content information, a recommended list of the content is delivered to the user.
제1항에 있어서,
상기 저작도구는
상기 추천 어셋 정보에 근거하여, 상기 어셋의 추천 리스트를 상기 사용자에게 전달하는, 추천방법.
According to claim 1,
The authoring tool is
A recommendation method of transmitting a recommendation list of the asset to the user based on the recommended asset information.
사용자에게 어셋(asset) 및 콘텐츠를 추천하기 위한 추천장치에 있어서,
통신부;
인공지능 모델이 포함된 메모리; 및
상기 통신부 및 상기 메모리를 기능적으로 제어하기 위한 프로세서; 를 포함하며,
상기 프로세서는
상기 콘텐츠를 사용하기 위한 플랫폼 및 상기 콘텐츠를 제작하기 위한 저작도구로부터, 학습데이터를 수신하고, 상기 학습데이터에 근거하여, 학습모델을 구축하며, 상기 학습모델을 이용하여, 1) 상기 사용자의 특성을 분석하기 위한 제1 모델, 2) 상기 콘텐츠를 추천하기 위한 제2 모델, 및 3) 상기 어셋을 추천하기 위한 제3 모델을 생성하고, 상기 제1 모델, 및 상기 제2 모델을 이용하여, 상기 플랫폼에 추천 콘텐츠 정보를 전달하며, 상기 제1 모델, 및 상기 제3 모델을 이용하여, 상기 저작도구에 추천 어셋 정보를 전달하는, 추천장치.
A recommendation device for recommending assets and content to a user,
communications department;
memory containing artificial intelligence models; and
a processor for functionally controlling the communication unit and the memory; Including,
The processor
Receive learning data from a platform for using the content and an authoring tool for producing the content, build a learning model based on the learning data, and use the learning model to: 1) the user's characteristics A first model for analyzing , 2) a second model for recommending the content, and 3) a third model for recommending the asset are generated, and using the first model and the second model, A recommendation device that transmits recommended content information to the platform and transmits recommended asset information to the authoring tool using the first model and the third model.
KR1020227038221A 2022-11-01 2022-11-01 User recommendation method using production data and usage data and apparatus therefor KR102525315B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR2022016870 2022-11-01

Publications (1)

Publication Number Publication Date
KR102525315B1 true KR102525315B1 (en) 2023-04-25

Family

ID=86142538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227038221A KR102525315B1 (en) 2022-11-01 2022-11-01 User recommendation method using production data and usage data and apparatus therefor

Country Status (1)

Country Link
KR (1) KR102525315B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616167B1 (en) * 2023-06-22 2023-12-20 팜피 주식회사 Method and apparatus for generating content using user sentences
KR102638673B1 (en) * 2023-07-26 2024-02-20 팜피 주식회사 Method and apparatus for recommending an asset, content, or template using keywords and user experiences
KR102643211B1 (en) 2023-08-04 2024-03-05 팜피 주식회사 Method and apparatus for creating scenes with recommended assets

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213291B1 (en) * 2020-07-30 2021-02-04 배도연 System for making website
KR102389046B1 (en) * 2021-04-14 2022-04-21 한건희 System of producing user-customized web pages
KR20220071535A (en) * 2020-11-24 2022-05-31 동의대학교 산학협력단 Cloud-based media content creation and customized advertisement provision system using the same, and method using the same
KR20230013876A (en) * 2021-07-20 2023-01-27 주식회사 지앤플렉스 System and method for providing interface to applied actual feeling learning contents platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213291B1 (en) * 2020-07-30 2021-02-04 배도연 System for making website
KR20220071535A (en) * 2020-11-24 2022-05-31 동의대학교 산학협력단 Cloud-based media content creation and customized advertisement provision system using the same, and method using the same
KR102389046B1 (en) * 2021-04-14 2022-04-21 한건희 System of producing user-customized web pages
KR20230013876A (en) * 2021-07-20 2023-01-27 주식회사 지앤플렉스 System and method for providing interface to applied actual feeling learning contents platform

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616167B1 (en) * 2023-06-22 2023-12-20 팜피 주식회사 Method and apparatus for generating content using user sentences
KR102638673B1 (en) * 2023-07-26 2024-02-20 팜피 주식회사 Method and apparatus for recommending an asset, content, or template using keywords and user experiences
KR102643211B1 (en) 2023-08-04 2024-03-05 팜피 주식회사 Method and apparatus for creating scenes with recommended assets

Similar Documents

Publication Publication Date Title
KR102525315B1 (en) User recommendation method using production data and usage data and apparatus therefor
US11061972B2 (en) Computing architecture for multiple search bots and behavior bots and related devices and methods
CN107533670B (en) Predictive trending of digital entities
US20150120777A1 (en) System and Method for Mining Data Using Haptic Feedback
US10901604B2 (en) Transformation of data object based on context
US20170344631A1 (en) Task completion using world knowledge
CN109154935A (en) The intelligence for the information completed for task is captured, stored and fetched
KR20080089573A (en) System, method, and computer program product for concurrent collaboration of media
CN105283839A (en) Personalized community model for surfacing commands within productivity application user interfaces
CN104321765A (en) Extension to the expert conversation builder
CN106575290A (en) Presenting dataset of spreadsheet in form based view
US20180260442A1 (en) Self-tutoring graph of event data
US20220357895A1 (en) Systems and methods for contextual memory capture and recall
WO2018222306A1 (en) Topic-based place of interest discovery feed
CN114817755A (en) User interaction content management method, device and storage medium
JPWO2020005986A5 (en)
US20170293691A1 (en) Identifying Abandonment Using Gesture Movement
US20150269177A1 (en) Method and system for determining user interest in a file
Qiu et al. Evaluating access mechanisms for multimodal representations of lifelogs
US20220405709A1 (en) Smart Notifications Based Upon Comment Intent Classification
US20220382800A1 (en) Content-based multimedia retrieval with attention-enabled local focus
KR102616167B1 (en) Method and apparatus for generating content using user sentences
KR102638673B1 (en) Method and apparatus for recommending an asset, content, or template using keywords and user experiences
KR102643211B1 (en) Method and apparatus for creating scenes with recommended assets
KR102525318B1 (en) Method and convergence apparatus for simultaneous production of 2d and 3d contents

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant