KR102190651B1 - Method for determining targets for transmitting instant messages and apparatus thereof - Google Patents
Method for determining targets for transmitting instant messages and apparatus thereof Download PDFInfo
- Publication number
- KR102190651B1 KR102190651B1 KR1020190128425A KR20190128425A KR102190651B1 KR 102190651 B1 KR102190651 B1 KR 102190651B1 KR 1020190128425 A KR1020190128425 A KR 1020190128425A KR 20190128425 A KR20190128425 A KR 20190128425A KR 102190651 B1 KR102190651 B1 KR 102190651B1
- Authority
- KR
- South Korea
- Prior art keywords
- instant message
- user
- episode
- learning model
- previous
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 214
- 230000004044 response Effects 0.000 claims abstract description 194
- 238000010801 machine learning Methods 0.000 claims abstract description 136
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- H04L51/14—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/214—Monitoring or handling of messages using selective forwarding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
Abstract
Description
아래 실시예들은 인스턴트 메시지의 전송 대상을 결정하는 방법 및 그 장치에 관한 것으로, 예를 들어 머신 러닝 모델(Machine-learning model)에 관한 것이다.The following embodiments relate to a method and apparatus for determining an instant message transmission target, for example, to a machine-learning model.
대중들에게 제품이나 서비스 등을 알리고, 해당 제품 또는 서비스에 대한 대중들의 태도를 변화시키기 위하여 다양한 종류의 광고가 이루어진다. 인스턴트 메시지는 누구에게 전송되는지에 따라 그 광고 효과가 달라질 수 있다. 따라서, 인스턴트 메시지의 전송 대상이 되는 사용자들을 결정하는 문제는 광고 효과에 영향을 끼치는 주요한 문제일 수 있다.Various kinds of advertisements are made to inform the public about products or services, and to change the public's attitude toward the product or service. Depending on who the instant message is sent to, the effectiveness of the advertisement may vary. Therefore, the problem of determining users to be transmitted to the instant message may be a major problem affecting the advertising effect.
인스턴트 메시지의 전송 대상을 결정하기 위하여, 프로파일링(profiling) 및 클러스터링(clustering) 기술을 활용하여 전송 후보가 되는 사용자들의 프로파일을 생성할 수 있다. 다만, 특정 프로파일을 가지는 사용자가 어떠한 인스턴트 메시지를 선호할지, 또는 특정 인스턴트 메시지가 어떠한 프로파일의 사용자에 의해서 선호될지를 결정하는 문제가 여전히 존재한다.In order to determine a transmission target of an instant message, a profile of users as a transmission candidate may be generated by utilizing profiling and clustering techniques. However, there is still a problem of determining which instant message a user with a specific profile prefers or which profile a user with a specific instant message prefers.
머신 러닝(Machine learning)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 머신 러닝은 훈련 데이터(Training data)를 기반으로 학습된 속성들을 기반으로 미지의 새로운 입력의 속성을 예측(Predict)할 수 있다. 예를 들어, 일반 메일 및 스팸 메일을 포함하는 훈련 데이터를 기반으로 학습된 머신 러닝 모델은 새로이 수신된 이메일이 스팸 메일인지 여부를 예측할 수 있다.Machine learning is a field of artificial intelligence that develops algorithms and technologies that enable computers to learn. Machine learning can predict properties of an unknown new input based on properties learned based on training data. For example, a machine learning model trained based on training data including regular mail and spam mail can predict whether a newly received email is spam mail.
일실시예에 따른 인스턴트 메시지를 전송하는 장치는 머신러닝 모델에 기초하여 명시적 긍정으로 응답이 예측되는 사용자들에게 인스턴트 메시지가 전송되도록 인스턴트 메시지의 전송 대상을 결정할 수 있다. 일실시예에 따른 인스턴트 메시지를 전송하는 장치는 머신러닝 모델을 학습시키기에 충분할 정도로 응답들이 수집되었는지를 판단함으로써, 머신러닝 모델의 학습 속도(나아가, 인스턴트 메시지의 전송 대상을 결정하는 속도)를 조절할 수 있다. 일실시예에 따른 인스턴트 메시지를 전송하는 장치는 개별의 회차에서 복수의 인스턴트 메시지들의 전송 대상을 결정하기 위한 복수의 동작들을 함께 수행할 수도 있다.The apparatus for transmitting an instant message according to an embodiment may determine a destination of the instant message so that the instant message is transmitted to users whose responses are predicted to be explicitly positive based on a machine learning model. The apparatus for transmitting an instant message according to an embodiment determines whether or not responses have been collected enough to train a machine learning model, thereby adjusting the learning rate of the machine learning model (the rate at which the instant message is transmitted). I can. The apparatus for transmitting an instant message according to an exemplary embodiment may perform a plurality of operations together to determine a transmission target of the plurality of instant messages in each round.
일실시예에 따른 복수의 회차(round)들을 통하여 인스턴트 메시지를 전송하는 방법은 사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계; 상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계; 상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계; 및 상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계를 포함한다.A method of transmitting an instant message through a plurality of rounds according to an embodiment includes the steps of collecting responses from a user group up to a previous time in response to the instant message transmitted to a transmission target for each previous time; Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round; Determining a transmission target for each current episode from the user group based on the machine learning model; And transmitting the instant message to a transmission target for each current episode.
일실시예에 따르면, 상기 현재 회차 별 전송 대상을 결정하는 단계는 상기 사용자 그룹에 포함된 사용자들 중 상기 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 상기 머신러닝 모델에 인가함으로써, 상기 사용자의 응답을 예측하는 단계; 및 상기 예측된 응답에 기초하여, 상기 사용자를 상기 현재 회차 별 전송 대상에 포함시키는 단계를 포함할 수 있다.According to an embodiment, the determining of a transmission target for each current episode includes applying a characteristic of a user who does not belong to the transmission target for each previous episode among the users included in the user group to the machine learning model. Predicting a response; And including the user as a transmission target for each current episode based on the predicted response.
일실시예에 따르면, 상기 현재 회차 별 전송 대상을 결정하는 단계는 상기 예측된 사용자 응답에 기초하여, 상기 사용자 그룹에 포함된 사용자들을 정렬함으로써, 상기 현재 회차 별 전송 대상을 결정하는 단계를 포함할 수 있다.According to an embodiment, the determining of a transmission target for each current episode includes determining a transmission target for each current episode by sorting users included in the user group based on the predicted user response. I can.
일실시예에 따르면, 특정 사용자의 특징은 해당 사용자와 관련된 지역; 상기 해당 사용자와 관련된 인구 통계적 특성(Demographic characteristics); 상기 해당 사용자와 관계를 맺은 공식 계정; 상기 해당 사용자가 상기 공식 계정과 관계를 맺은 기간; 상기 해당 사용자가 미리 정해진 시간 간격 동안 수신한 인스턴트 메시지의 개수; 및 상기 해당 사용자와 관련된 프로파일(profile) 중 적어도 하나를 포함할 수 있다.According to an embodiment, a characteristic of a specific user may include an area associated with the user; Demographic characteristics related to the user; An official account associated with the user; A period in which the corresponding user entered into a relationship with the official account; The number of instant messages received by the corresponding user during a predetermined time interval; And at least one of a profile related to the corresponding user.
일실시예에 따르면, 상기 학습시키는 단계는 상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었는지 여부를 판단하는 단계를 포함할 수 있다.According to an embodiment, the training may include determining whether responses up to the previous round have been collected enough to train the machine learning model.
일실시예에 따르면, 상기 학습시키는 단계는 상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었다는 판단에 따라, 상기 머신러닝 모델을 학습시키는 단계; 및 상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았다는 판단에 따라, 상기 이전 회차의 응답들을 추가적으로 수집하는 단계를 더 포함할 수 있다.According to an embodiment, the training may include training the machine learning model according to a determination that responses up to the previous round have been collected enough to train the machine learning model; And additionally collecting responses of the previous iteration according to the determination that responses up to the previous iteration have not been collected enough to train the machine learning model.
일실시예에 따르면, 상기 학습시키는 단계는 상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았더라도, 미리 정해진 임계 시간이 도과한 경우, 상기 머신러닝 모델을 학습시키는 단계를 더 포함할 수 있다.According to an embodiment, the training comprises training the machine learning model when a predetermined threshold time has elapsed even if responses up to the previous round are not collected enough to train the machine learning model. It may further include.
일실시예에 따르면, 상기 사용자 그룹은 상기 인스턴트 메시지의 전송 대상의 후보가 될 수 있는 사용자들을 포함하는 그룹에 해당할 수 있다.According to an embodiment, the user group may correspond to a group including users who may be candidates for transmission of the instant message.
일실시예에 따르면, 상기 이전 회차까지의 응답들은 상기 인스턴트 메시지가 상기 이전 회차 별 전송 대상에 포함되는 사용자들에 의하여 반응(react)되었는지 여부에 기초하여 결정될 수 있다.According to an embodiment, responses up to the previous episode may be determined based on whether the instant message is reacted by users included in the transmission target for each previous episode.
일실시예에 따르면, 상기 이전 회차까지의 응답들은 상기 이전 회차 별 전송 대상에 포함되는 개별의 사용자가 상기 인스턴트 메시지를 수신 확인하였으나 반응하지 않은 묵시적 부정 상태; 및 상기 개별의 사용자가 상기 인스턴트 메시지를 수신 확인하고 반응한 명시적 긍정 상태 중 적어도 하나를 포함할 수 있다.According to one embodiment, the responses up to the previous episode may include an implicit negative state in which an individual user included in the transmission target for each previous episode confirms receipt of the instant message but does not respond; And at least one of an explicit positive state in which the individual user acknowledges and responds to the instant message.
일실시예에 따르면, 상기 현재 회차 별 전송 대상을 결정하는 단계는 상기 머신러닝 모델에 기초하여, 상기 인스턴트 메시지에 반응할 것으로 예측되는 사용자들이 포함되도록 상기 현재 회차 별 전송 대상을 결정하는 단계를 포함할 수 있다.According to an embodiment, the determining of a transmission destination for each current episode includes determining a transmission destination for each current episode such that users predicted to respond to the instant message are included based on the machine learning model. can do.
일실시예에 따르면, 상기 인스턴트 메시지의 반응률이 미리 정해진 임계 반응률보다 낮다고 판단되는 경우, 상기 인스턴트 메시지의 전송을 중단하는 단계를 더 포함하고, 상기 인스턴트 메시지의 반응률은 상기 인스턴트 메시지를 수신 확인한 사용자들 중 상기 인스턴트 메시지에 반응한 사용자들의 비율에 대응될 수 있다.According to an embodiment, when it is determined that the response rate of the instant message is lower than a predetermined threshold response rate, the step of stopping transmission of the instant message is further included, wherein the response rate of the instant message is determined by users who have confirmed receipt of the instant message. Among them, it may correspond to the percentage of users who responded to the instant message.
일실시예에 따르면, 복수의 회차들을 통하여 인스턴트 메시지를 전송하는 방법은 상기 복수의 회차들을 통하여 상기 인스턴트 메시지와 구별되는 제2 인스턴트 메시지를 전송하는 단계를 더 포함하고, 상기 제2 인스턴트 메시지를 전송하는 단계는 상기 사용자 그룹으로부터 결정된 상기 이전 회차까지의 다른 대상에 전송된 상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차까지의 응답들을 수집하는 단계; 상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차까지의 응답들에 기초하여, 상기 머신러닝 모델과 구별되는 제2 머신러닝 모델을 학습시키는 단계; 상기 제2 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 상기 제2 인스턴트 메시지를 위한 상기 현재 회차의 다른 대상을 결정하는 단계; 및 상기 제2 인스턴트 메시지를 상기 현재 회차의 다른 대상에 전송하는 단계를 포함하며, 상기 이전 회차 별 전송 대상, 상기 현재 회차 별 전송 대상, 상기 이전 회차까지의 다른 대상 및 상기 현재 회차의 다른 대상은 서로 구별될 수 있다.According to an embodiment, a method of transmitting an instant message through a plurality of episodes further comprises transmitting a second instant message distinguished from the instant message through the plurality of episodes, and transmitting the second instant message The step of performing comprises: collecting responses from the user group up to the previous time in response to the second instant message transmitted to another target up to the previous time determined from the user group; Training a second machine learning model distinguished from the machine learning model based on responses up to the previous round in response to the second instant message; Determining another target of the current episode for the second instant message from the user group based on the second machine learning model; And transmitting the second instant message to another target of the current round, wherein the transmission target for each previous round, the transmission target for each current round, another target up to the previous round, and another object of the current round are They can be distinguished from each other.
일실시예에 따른 복수의 회차들을 통하여 인스턴트 메시지를 전송하는 장치는 프로그램이 기록된 메모리; 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계-상기 이전 회차 별 전송 대상은 이전 회차에서 결정된 그룹임-; 상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계; 상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계-상기 현재 회차 별 전송 대상은 현재 회차 별 전송 대상이 되는 그룹임-; 및 상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계를 수행한다.An apparatus for transmitting an instant message through a plurality of episodes according to an embodiment includes a memory in which a program is recorded; And a processor for executing the program, wherein the program collects responses up to a previous episode in response to the instant message transmitted to a transmission target for each previous episode determined from a user group-the transmission destination for each previous episode is It is the group determined in the previous round-; Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round; Determining a transmission target for each current episode from the user group based on the machine learning model-the current transmission target for each episode is a group to be transmitted for each current episode; And transmitting the instant message to the transmission target for each current episode.
도 1은 일실시예에 따른 인스턴트 메시지를 전송하는 장치의 구성을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 인스턴트 메시지의 전송 대상을 결정하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 복수의 인스턴트 메시지들의 전송 대상을 결정하는 방법을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 인스턴트 메시지의 전송 대상을 결정하는 방법의 효과를 설명하기 위한 예시도이다.
도 5는 일실시예에 따른 머신러닝 모델(Machine-learning model의 동작을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 인스턴트 메시지를 전송하는 방법을 설명하기 위한 동작 흐름도이다.1 is a diagram for describing a configuration of an apparatus for transmitting an instant message according to an embodiment.
2 is a diagram illustrating a method of determining a transmission target of an instant message according to an embodiment.
3 is a diagram illustrating a method of determining a transmission destination of a plurality of instant messages according to an embodiment.
4 is an exemplary diagram for explaining the effect of a method of determining a transmission destination of an instant message according to an embodiment.
5 is a diagram illustrating an operation of a machine-learning model according to an embodiment.
6 is a flowchart illustrating a method of transmitting an instant message according to an exemplary embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be changed in various forms and implemented. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from other components. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it is to be understood that it may be directly connected or connected to the other component, but other components may exist in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, action, component, part, or combination thereof exists, but one or more other features or numbers, It is to be understood that the presence or addition of steps, actions, components, parts or combinations thereof does not preclude the possibility of preliminary exclusion.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms, including technical or scientific terms, used herein have the same meaning as commonly understood by one of ordinary skill in the relevant technical field. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this specification. Does not.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals in each drawing indicate the same members.
도 1은 일실시예에 따른 인스턴트 메시지를 전송하는 장치의 구성을 설명하기 위한 도면이다.1 is a diagram for describing a configuration of an apparatus for transmitting an instant message according to an embodiment.
도 1을 참조하면, 인스턴트 메시지를 전송하는 장치(100)는 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 수집부(110), 머신러닝 모델(Machine-learning model) 관리부(120), 전송 대상 결정부(130) 및 전송부(140)의 동작들을 수행할 수 있다. 인스턴트 메시지를 전송하는 장치(100)는 복수의 회차(round)들을 통하여 복수의 사용자들에게 인스턴트 메시지를 전송하기 위한 장치로, 예를 들어, 인스턴트 메시징 서비스를 제공하는 서버 혹은 그 서버와 연동하여 인스턴트 메시지를 전송하는 서버를 포함할 수 있다. 각 회차에서 인스턴트 메시지를 전송하는 장치(100)는 해당 회차의 전송 대상이 되는 사용자(이하, 회차 별 전송 대상)를 결정한다.Referring to FIG. 1, an
인스턴트 메시지는 실시간으로 송수신할 수 있고 수신 여부를 즉시 확인할 수 있는 메시지일 수 있다. 인스턴트 메시지는 특정한 정보를 사용자들에게 광고하기 위한 광고형 메시지 또는 특정한 컨텐츠를 사용자들에게 전달하기 위한 컨텐츠형 메시지를 포함할 수 있다. 컨텐츠형 메시지는 특정한 내용을 사용자들에게 공지하기 위한 메시지를 포함할 수 있다.The instant message may be a message that can be transmitted and received in real time and whether or not received is immediately confirmed. The instant message may include an advertisement type message for advertising specific information to users or a content type message for delivering specific content to users. The content-type message may include a message for notifying users of specific content.
일 실시예에 따르면, 인스턴트 메시지를 전송하는 장치(100)는 복수의 사용자들에게 동일한 내용의 인스턴트 메시지를 전송할 수 있다.According to an embodiment, the
인스턴트 메시지를 전송하는 장치(100)를 통하여 메시지를 전송하는 주체는 일반 사용자의 계정과 구별되는 공식 계정일 수 있다. 공식 계정은 인스턴트 메시징 서비스 상에서 다수의 사용자들에게 광고성 메시지나 정보성 메시지를 전송 가능한 계정일 수 있다. 예를 들어, 공식 계정은 친구 관계에 있는 다수의 사용자들에게 광고성 메시지를 전송하거나, 친구 관계와 무관하게 하나 이상의 사용자에게 정보성 메시지를 전송할 수 있다. 일 예시로, 메시지를 전송하는 주체는 기업 계정(예를 들어, 플러스 친구)일 수 있다.The subject that transmits the message through the
메시지를 전송하는 주체에 기초하여, 인스턴트 메시지의 전송 대상에 해당하는 사용자들을 포함하는 사용자 그룹이 결정될 수 있다. 일실시예에 따르면, 사용자 그룹은 메시지를 전송하고자 하는 공식 계정과 일정한 관계에 있는 사용자들을 포함할 수 있다. 일 예시로, 사용자 그룹은 메시지를 전송하고자 하는 공식 계정과 친구 관계에 있는 메신저 계정을 가진 사용자들을 포함할 수 있다. 다른 예시로, 사용자 그룹은 메시지를 전송하고자 하는 공식 계정을 구독한 메신저 계정을 가진 사용자들을 포함할 수 있다. 일실시예에 따르면, 사용자 그룹은 공식 계정과 일정한 관계(예를 들어, 친구 관계)에 있지 않은 메신저 계정을 가진 사용자들까지 포함할 수 있다.Based on the subject transmitting the message, a user group including users corresponding to the transmission target of the instant message may be determined. According to an embodiment, the user group may include users having a certain relationship with the official account to which the message is to be transmitted. As an example, the user group may include users who have a messenger account in a friend relationship with an official account to which a message is to be sent. As another example, the user group may include users who have a messenger account subscribed to an official account to send a message. According to an embodiment, the user group may include users who have a messenger account that is not in a certain relationship (eg, friend relationship) with an official account.
일실시예에 따르면, 인스턴트 메시지는 인스턴트 메시지를 구성하는 복수의 요소들에 기초하여 생성될 수 있다. 예를 들어, 인스턴트 메시지를 전송하는 장치(110)는 전달하고자 하는 내용, 해당 내용을 표현하는 이미지, 문구, 폰트, 디자인, 해당 메시지의 타입 등의 복수의 요소들을 결정함으로써, 인스턴트 메시지를 생성할 수 있다. 일실시예에 따르면, 인스턴트 메시지를 전송하는 장치(110)는 메시지를 전송하는 주체로부터 인스턴트 메시지를 수신할 수 있다. 이 경우, 수신한 인스턴트 메시지는 복수의 요소들이 결정된 것일 수 있다.According to an embodiment, the instant message may be generated based on a plurality of elements constituting the instant message. For example, the
인스턴트 메시지를 전송하는 장치(100)는 인스턴트 메시지를 복수의 회차(round)들을 통하여 전송한다. 이를 위하여, 인스턴트 메시지를 전송하는 장치(100)는 각 회차에서 회차 별 전송 대상에 포함되는 사용자들을 결정한다. 이하, 회차 별 전송 대상은 특정 회차에서 인스턴트 메시지를 수신할 대상으로 결정된 사용자를 포함하는 개념으로 이해될 수 있다. The
일 실시예에 따르면, 회차가 진행됨에 따라 회차 별 전송 대상에 포함되는 사용자들의 수는 변경될 수 있다. 예를 들어, 회차가 진행됨에 따라 회차 별 전송 대상에 포함되는 사용자들의 수는 증가될 수 있다.According to an embodiment, as an episode progresses, the number of users included in a transmission target for each episode may change. For example, as an episode progresses, the number of users included in a transmission target for each episode may increase.
일실시예에 따르면, 회차 별 전송 대상은 인스턴트 메시지의 수신 대상이 되는 사용자 그룹 내에서 선택될 수 있다. 예를 들어, 특정 회차 내에서 회차 별 전송 대상이 되는 적어도 하나의 사용자가 순차적으로 결정될 수 있다. 회차 별 전송 대상이 사용자 그룹으로부터 선택되는 방법에 관하여는 후술한다.According to an embodiment, a transmission target for each episode may be selected from within a user group to which an instant message is received. For example, within a specific episode, at least one user to be transmitted for each episode may be sequentially determined. A method of selecting a transmission target for each episode from a user group will be described later.
수집부(110)는 이전 회차까지 결정된 이전 회차 별 전송 대상에 전송된 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집한다. 이전 회차 별 전송 대상은 바로 이전 회차에서 결정된 회차 별 전송 대상뿐 아니라, 그 이전 회차(들)에서 결정된 회차 별 전송 대상(들)도 포함하는 개념으로 이해될 수 있다. 물론 실시예에 따라, 이전 회차 별 전송 대상은 바로 이전 회차에서 결정된 회차 별 전송 대상만을 포함할 수도 있다.The
예를 들어, 현재 회차가 k번째 회차라고 가정하면, 이전 회차까지의 응답들은 첫 번째 회차 내지 k-1번째 회차들에서 회차 별 전송 대상의 반응들을 포함할 수 있다.For example, assuming that the current round is the k-th round, responses up to the previous round may include responses of the transmission target for each round in the first round to the k-1 round.
이전 회차까지의 응답들은 인스턴트 메시지가 이전 회차 별 전송 대상에 포함되는 사용자들에 의하여 반응(react)-예를 들어, 클릭 등-되었는지 여부에 기초하여 결정될 수 있다. 구체적으로, 인스턴트 메시지에 반응하는 이전 회차까지의 응답들은 이전 회차 별 전송 대상에 포함되는 개별의 사용자가 인스턴트 메시지를 수신 확인하였으나 반응하지 않은 묵시적 부정 상태 및 개별의 사용자가 인스턴트 메시지를 수신 확인하고 반응한 명시적 긍정 상태 중 적어도 하나를 포함할 수 있다.Responses up to the previous episode may be determined based on whether the instant message was reacted by users included in the transmission target for each previous episode-for example, clicked. Specifically, the responses up to the previous episode responding to the instant message are implied negative status that an individual user included in the transmission target for each previous episode has confirmed the receipt of the instant message but did not respond, and the individual user acknowledges and reacts to the instant message It may include at least one of an explicit positive state.
일실시예에 따르면, 인스턴트 메시지에 반응하여 수집되는 응답은 인스턴트 메시지를 수신한 사용자가 채팅방에 접속하여 인스턴트 메시지를 뷰잉(viewing)하는지 여부에 관련된 정보를 포함할 수 있다.According to an embodiment, the response collected in response to the instant message may include information related to whether a user who has received the instant message accesses a chat room and views the instant message.
일실시예에 따르면, 인스턴트 메시지에 반응하여 수집되는 응답은 인스턴트 메시지를 수신한 사용자가 인스턴트 메시지를 선택하여 관련된 세부적 내용을 확인하는지 여부에 관련된 정보를 포함할 수 있다. 이 경우, 인스턴트 메시지를 선택하는 동작은 인스턴트 메시지를 터치하는 동작 및 인스턴트 메시지에 반응하는 동작을 포함할 수 있다. 일 예시로, 관련된 세부적 내용을 확인하는지 여부는 인스턴트 메시지에 대응하는 파일(장문 메시지, 영상 메시지 및 음성 메시지 등)을 여는(open)지 여부에 대응될 수 있다. 다른 예시로, 관련된 세부적 내용을 확인하는지 여부는 인스턴트 메시지에 포함된 URL 등을 통해 인스턴트 메시지와 연결된 페이지로 넘어가는지 여부에 대응될 수 있다.According to an embodiment, the response collected in response to the instant message may include information related to whether the user who has received the instant message selects the instant message and checks related details. In this case, the operation of selecting an instant message may include an operation of touching the instant message and an operation of responding to the instant message. As an example, whether to check related detailed contents may correspond to whether to open a file (long message, video message, voice message, etc.) corresponding to the instant message. As another example, whether to check related detailed contents may correspond to whether to go to a page connected to the instant message through a URL included in the instant message or the like.
일실시예에 따르면, 인스턴트 메시지에 반응하여 수집되는 응답은 인스턴트 메시지를 수신한 사용자가 인스턴트 메시지를 선택하여 관련된 세부적 내용을 확인한 후, 메시지를 전송하는 주체가 기대하는 행동(Action)을 더 수행하는지 여부에 관련된 정보를 포함할 수 있다. 기대하는 행동을 더 수행하는지 여부는 쿠폰을 다운받는지 여부, 특정 영상을 시청하는지 여부, 또는 다른 페이지로 더 넘어가는지 여부 등을 포함할 수 있다. According to an embodiment, the response collected in response to the instant message is whether the user who received the instant message selects the instant message and checks the relevant details, and then whether the subject sending the message further performs the expected action. It may include information related to whether or not. Whether to further perform an expected action may include whether to download a coupon, whether to watch a specific video, or whether to go to another page.
수집부(110)에서 수집되는 응답들에 기초하여, 인스턴트 메시지의 반응률(Reaction Rate)이 계산될 수 있다. 인스턴트 메시지의 반응률은 인스턴트 메시지를 수신 확인한 사용자들 중 인스턴트 메시지를 응답한 사용자들의 비율에 대응될 수 있다. 예를 들어, 인스턴트 메시지와 관련된 명시적 긍정 상태의 응답들의 수를 인스턴트 메시지를 수신한 회차 별 전송 대상에 포함되는 사용자들의 수로 나눔으로써, 인스턴트 메시지와 관련된 반응률-일 예로, 클릭률(CTR, Click Through Rate)-이 계산될 수 있다.Based on the responses collected by the
일 실시예에 따르면, 인스턴트 메시지의 반응률이 미리 정해진 임계 반응률보다 낮다고 판단되는 경우, 인스턴트 메시지를 전송하는 장치(100)는 인스턴트 메시지의 전송을 중단하기로 결정할 수 있다.According to an embodiment, when it is determined that the response rate of the instant message is lower than the predetermined threshold response rate, the
일실시예에 따르면, 회차별로 수집되는 응답들에 기초하여 반응률을 각각 계산하고, 계산된 반응률 각각이 미리 정해진 임계 반응률보다 낮은지 여부가 판단될 수 있다. 일실시예에 따르면, 복수의 회차와 관련하여 수집되는 응답들에 기초하여 반응률을 계산하고, 계산된 반응률이 미리 정해진 임계 반응률보다 낮은지 여부가 판단될 수도 있다.According to an embodiment, a response rate may be calculated based on responses collected for each episode, and it may be determined whether each of the calculated response rates is lower than a predetermined threshold response rate. According to an embodiment, a response rate may be calculated based on responses collected in relation to a plurality of times, and it may be determined whether the calculated response rate is lower than a predetermined threshold response rate.
수집부(110)는 수집된 이전 회차까지의 응답들을 머신러닝 모델 관리부(120)로 전송한다. 머신러닝 모델 관리부(120)에서, 머신러닝 모델은 이전 회차까지의 응답들 및 이전 회차까지 응답한 사용자들의 특징에 기초하여, 임의의 특징을 가지는 사용자가 해당 인스턴트 메시지에 응답할지 여부를 예측(predict)하도록 학습된다. 구체적으로, 이전 회차까지의 응답들 및 이전 회차까지 응답한 사용자들의 특징을 훈련 데이터(Training data)로 하여 머신러닝 모델이 학습될 수 있다. 학습된 머신러닝 모델은 사용자의 특징을 입력으로 수신하고, 수신된 사용자의 특징에 기초하여 사용자 응답을 예측할 수 있다. 이하에서, 머신러닝 모델에 의하여 예측되는 사용자 응답은 해당 사용자의 응답률 혹은 반응률에 대응하는 스코어(score)의 형태로 출력될 수 있다.The
일 예로, 머신러닝 모델은 입력되는 사용자의 특징에 대응하여, 해당 사용자가 해당 인스턴트 메시지에 반응할지 여부를 나타내는 점수 혹은 확률을 예측하여 출력할 수 있다. 아래에서 상세하게 설명하겠으나, 인스턴트 메시지를 전송하는 장치(100)는 이전 회차까지의 응답들에 기초하여 학습된 머신러닝 모델을 이용하여 아직 인스턴트 메시지를 수신하지 않은 사용자들의 응답률을 예측함으로써, 현재 회차 별 전송 대상을 결정할 수 있다.As an example, the machine learning model may predict and output a score or probability indicating whether the corresponding user will respond to a corresponding instant message in response to an input user's characteristic. Although it will be described in detail below, the instant
인스턴트 메시지를 전송하는 장치(100)에 포함된 머신러닝 모델 관리부(120)는 머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들이 수집되었는지 여부를 판단할 수 있다. 일실시예에 따르면, 머신러닝 모델은 학습에 충분할 정도로 이전 회차까지의 응답들이 수집되었는지 여부를 스스로 판단할 수 있다. 이하, 설명의 편의를 위하여 머신러닝 모델이 학습에 충분할 정도로 이전 회차까지의 응답들이 수집되었는지 여부를 스스로 판단하는 실시예들을 설명한다. The machine learning
머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들이 수집되었다는 판단에 따라, 머신러닝 모델이 학습될 수 있다. 또는, 머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들이 수집되지 않았다는 판단에 따라, 이전 회차의 응답들이 추가적으로 수집되기를 기다릴 수 있다.The machine learning model can be trained based on the determination that responses up to the previous round have been collected enough to train the machine learning model. Alternatively, depending on the determination that responses up to the previous iteration have not been collected enough to train the machine learning model, it is possible to wait for the responses of the previous iteration to be additionally collected.
다만, 머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들이 수집되지 않았더라도, 미리 정해진 임계 시간이 도과한 경우, 이전 회차의 응답들을 더 이상 추가적으로 수집하지 않고 머신러닝 모델을 학습시킬 수 있다. 이를 통하여, 단일의 회차에 지나친 시간이 소요되는 것을 방지할 수 있다.However, even if the responses up to the previous iteration are not collected enough to train the machine learning model, if a predetermined threshold time has passed, the machine learning model can be trained without additionally collecting the responses of the previous iteration. . Through this, it is possible to prevent an excessive amount of time required for a single round.
일실시예에 따르면, 인스턴트 메시지를 전송하는 장치(100)는 현재 회차를 위한 머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들이 수집되지 않았다는 판단에 따라, 인스턴트 메시지의 전송과 관련된 시간을 조절할 수 있다. 일 예시로, 인스턴트 메시지를 전송하는 장치(100)는 이전 회차의 응답들이 추가적으로 수집되기를 기다릴 수 있다. 다른 예시로, 인스턴트 메시지를 전송하는 장치(100)는 이전 회차에서 전송한 메시지들에 대한 응답의 수집이 늦거나, 수집되지 않는 경우에 현재 회차에서 인스턴트 메시지를 전송하는 시간 간격이 더 길어지도록 조절할 수 있다.According to an embodiment, the
일실시예에 따르면, 인스턴트 메시지를 전송하는 장치(100)는 현재 회차를 위한 머신러닝 모델을 학습시키기에 충분할 정도로 이전 회차까지의 응답들을 수집하기 위하여, 회차 별 전송 대상의 수가 더 커지도록 조절할 수도 있다.According to an embodiment, the
일실시예에 따르면, 인스턴트 메시지를 전송하는 장치(100)는 현재 회차(예를 들어, k번째 회차)에서 머신러닝 모델을 학습시키기 위하여 첫 번째 회차 내지 k-1번째 회차 중 일부의 응답들만을 이용할 수 있다. 예를 들어, 인스턴트 메시지를 전송하는 장치(100)는 현재 회차(예를 들어, k번째 회차)에서 머신러닝 모델을 학습시키기에 충분할 정도로 응답들이 수집되었는지 여부를 판단함에 있어서 k-1번째 회차의 응답들만을 고려할 수 있다.According to an embodiment, the
이하, 설명의 편의를 위하여, 현재 회차(예를 들어, k번째 회차)에서 머신러닝 모델을 학습시키기 위하여 인스턴트 메시지를 전송하는 장치(100)가 인스턴트 메시지에 반응하는 이전 회차(예를 들어, k-1번째 회차)의 응답들을 이용하는 실시예들을 설명한다.Hereinafter, for convenience of description, in order to train a machine learning model in the current round (for example, the k-th round), the
특정 사용자의 특징은 특정 사용자와 관련된 지역, 특정 사용자와 관련된 인구 통계적 특성(Demographic characteristics), 특정 사용자와 관계를 맺은 공식 계정, 특정 사용자가 공식 계정과 관계를 맺은 기간, 특정 사용자가 미리 정해진 시간 간격 동안 수신한 인스턴트 메시지의 개수 및 특정 사용자와 관련된 프로파일(profile)중 적어도 하나를 포함할 수 있다. 특정 사용자와 관련된 지역은 특정 사용자의 거주 지역, 근무 지역 및 출신 지역 등을 포함할 수 있다. 특정 사용자와 관련된 인구 통계적 특성은 성별, 나이, 직업, 소득 및 학력 등을 포함하며, 특정 사용자와 관련된 프로파일과 그 내용의 적어도 일부가 중첩될 수 있다. 특정 사용자가 관계를 맺은 공식 계정은 특정 사용자의 관심 분야와 연관될 수 있다.The characteristics of a specific user are the region associated with a specific user, the demographic characteristics associated with a specific user, the official account associated with a specific user, the length of time a specific user has been associated with the official account, and a predetermined time interval for a specific user. It may include at least one of the number of instant messages received during and a profile related to a specific user. Regions associated with a specific user may include a residence region, work region, and home region of the specific user. Demographic characteristics related to a specific user include gender, age, occupation, income, education, and the like, and a profile related to a specific user and at least a part of the contents may overlap. Official accounts with which a specific user has a relationship may be associated with a specific user's interests.
일실시예에 따르면, 특정 사용자의 특징은 특정 사용자가 수신한 개별 인스턴트 메시지에 반응하는 응답 또는 미반응 응답을 통해 결정될 수 있다. 예를 들어, 특정 사용자의 특징은 특정 사용자가 수신 확인 후 반응 한 인스턴트 메시지들의 목록 및/또는 수신 확인하였으나 반응하지 않은 인스턴트 메시지들의 목록에 기초하여 결정될 수 있다.According to an embodiment, characteristics of a specific user may be determined through a response or non-response response to an individual instant message received by the specific user. For example, the characteristic of a specific user may be determined based on a list of instant messages that a specific user has responded to after acknowledgment and/or a list of instant messages that have been acknowledged but did not respond.
일실시예에 따르면, 특정 사용자의 특징은 미리 정해진 시간 간격 동안 특정 사용자가 공식 계정과 연계하여 서비스를 이용하거나, 혹은 서비스 이용을 중단하는 내역들을 포함할 수도 있다. 예를 들어, 특정 사용자의 특징은 지난 한 달간 공식 계정과 연계된 음악 스트리밍 서비스의 사용을 중단했던 내역을 포함할 수 있다.According to an embodiment, characteristics of a specific user may include details of a specific user using a service in connection with an official account or stopping the use of the service during a predetermined time interval. For example, a particular user's characteristics may include a history of discontinuing use of a music streaming service associated with an official account over the past month.
학습된 머신러닝 모델에 기초하여, 전송 대상 결정부(130)는 사용자 그룹의 적어도 일부에 해당하며 현재 회차 별 전송 대상을 결정한다. 사용자 그룹은 인스턴트 메시지의 전송 대상의 후보가 될 수 있는 사용자들을 포함하는 그룹일 수 있다. 구체적으로, 전송 대상 결정부(130)는 사용자 그룹에 포함된 사용자들 중 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 머신러닝 모델에 인가함으로써 사용자의 응답률(혹은 반응률)을 예측하고, 예측된 응답률에 기초하여 이전 회차 별 전송 대상에 속하지 않는 사용자들 중 적어도 일부의 사용자를 현재 회차 별 전송 대상에 포함시킬 수 있다.Based on the learned machine learning model, the transmission
일실시예에 따르면, 전송 대상 결정부(130)는 인스턴트 메시지에 반응할 것으로 예측되는 사용자들이 포함되도록 현재 회차 별 전송 대상을 결정할 수 있다. 이 경우, 인스턴트 메시지에 반응할 것으로 예측되는 사용자들의 응답은 명시적 긍정으로 예측될 수 있다.According to an embodiment, the transmission
머신러닝 모델의 동작과 관련된 보다 상세한 사항은 도 2 및 도 5를 통하여 후술한다. 전송 대상 결정부(130)의 동작과 관련된 보다 상세한 사항은 도 2를 통하여 후술한다.More details related to the operation of the machine learning model will be described later with reference to FIGS. 2 and 5. More details related to the operation of the transmission
전송부(140)는 결정된 현재 회차 별 전송 대상에 인스턴트 메시지를 전송한다. 현재 회차 별 전송 대상에 포함되는 사용자들이 수신하는 인스턴트 메시지에 반응하여 출력하는 응답들은 수집부(110)에 의하여 다음 회차를 위하여 수집될 수 있다.The
전술한 바와 같이, 일실시예에 따른 인스턴트 메시지를 전송하는 장치(100)는 머신러닝 모델에 기초하여 명시적 긍정으로 응답이 예측되는 사용자들에게 인스턴트 메시지가 전송되도록 인스턴트 메시지의 전송 대상을 결정할 수 있다. 일실시예에 따른 인스턴트 메시지를 전송하는 장치(100)는 머신러닝 모델을 학습시키기에 충분할 정도로 응답들이 수집되었는지를 판단함으로써, 머신러닝 모델의 학습 속도(나아가, 인스턴트 메시지의 전송 대상을 결정하는 속도)를 조절할 수 있다. 후술하겠으나, 일실시예에 따른 인스턴트 메시지를 전송하는 장치(100)는 개별의 회차에서 복수의 인스턴트 메시지들의 전송 대상을 결정하기 위한 복수의 동작들을 함께 수행할 수도 있다.As described above, the
일 실시예에 따르면, 인스턴트 메시지를 전송하는 장치(100)는 인스턴트 메시지와 관련되는 최종 전송량을 출력할 수 있다. 최종 전송량은 각 회차의 응답들을 수집하는 과정에서 카운트(count)될 수 있다. 최종 전송량은 각 회차에서 회차 별 전송 대상에 포함되는 사용자의 수를 포함할 수 있다. 최종 전송량은 미리 정해진 수량에 대응될 수 있다. According to an embodiment, the
일 실시예에 따르면, 전송 대상에 해당하는 계정의 아이디가 중복되거나, 공식 계정과의 친구 관계 변화 등에 의한 발송 실패로 인하여, 최종 전송량은 초기에 설정한 목표 전송 대상의 모수에 비하여 작을 수 있다. 이에 따라, 인스턴트 메시지의 도달량이 중요한 경우, 목표 전송 대상의 모수가 더 크게 설정될 수 있다.According to an embodiment, due to a duplicate ID of an account corresponding to a transmission target or a transmission failure due to a change in a friend relationship with an official account, the final transmission amount may be smaller than a parameter of the target transmission target initially set. Accordingly, when the amount of arrival of the instant message is important, the parameter of the target transmission target may be set to be larger.
도 2는 일실시예에 따른 인스턴트 메시지의 전송 대상을 결정하는 방법을 설명하기 위한 도면이다.2 is a diagram illustrating a method of determining a transmission target of an instant message according to an embodiment.
도 2를 참조하면, 인스턴트 메시지를 전송하는 장치는 복수의 회차들을 통하여 인스턴트 메시지를 전송한다. 인스턴트 메시지를 전송하는 장치는 도 1의 인스턴트 메시지를 전송하는 장치(100)에 대응될 수 있다. Referring to FIG. 2, an apparatus for transmitting an instant message transmits an instant message through a plurality of times. The device for transmitting the instant message may correspond to the
인스턴트 메시지를 전송하는 장치는 사용자 그룹 내 사용자들 중 응답을 할 확률이 높은 사용자들을 자동으로 선별하여 인스턴트 메시지를 전송할 수 있다. 이를 위하여, 복수의 회차들을 통하여 인스턴트 메시지를 전송받을 사용자들의 수는 미리 제한될 수 있다. 예를 들어, 특정 공식 계정과 친구 관계에 있는 사용자들을 포함하는 사용자 그룹 내 미리 정해진 비율(50% 등)의 사용자들에게만 인스턴트 메시지를 전송하도록 설정될 수 있다. The instant message transmission device may transmit the instant message by automatically selecting users with a high probability of responding among users in the user group. To this end, the number of users who will receive instant messages through a plurality of episodes may be limited in advance. For example, it may be set to transmit an instant message only to a predetermined percentage (50%, etc.) of users in a user group including users who are friends with a specific official account.
또한, 사용자 그룹에 필터링 기능(예를 들어, 성별 필터링)이 적용되더라도, 필터링 이후의 그룹 내 미리 정해진 비율의 사용자들에게만 인스턴트 메시지를 전송하도록 설정될 수 있다. 예를 들어, "플러스 친구 가입자 중 여성 전체에서 반응이 좋을 사람 순으로 50%에게 발송해 주세요"라는 요청에 따라, 해당 공식 계정과 친구 관계에 있는 사용자 그룹 중 여성 사용자들을 선별한 뒤, 선별된 여성 사용자들 중 50%에게만 인스턴트 메시지가 전송될 수 있다.In addition, even if a filtering function (eg, gender filtering) is applied to a user group, the instant message may be set to transmit only to a predetermined percentage of users in the group after filtering. For example, in response to a request, "Send to 50% of the plus friend subscribers in the order of those who will respond well to all women", after selecting female users from the user group who have a friend relationship with the official account, Instant messages can only be sent to 50% of female users.
인스턴트 메시지를 전송받을 사용자들의 수가 결정되면, 복수의 회차들마다 몇 명의 사용자들에게 인스턴트 메시지가 전송될지 결정될 수 있다. 일 예로, 초반 회차에는 상대적으로 적은 수의 사용자들에게만 인스턴트 메시지가 전송되고, 후반 회차로 갈수록 더 많은 사용자들에게 인스턴트 메시지가 전송될 수 있다. 일 실시예에 따르면, 회차가 진행됨에 따라 인스턴트 메시지에 반응한 사용자들이 누적됨에 따라 머신 러닝 모델의 신뢰도가 높아질 수 있으며, 머신 러닝 모델의 신뢰도에 따라 회차 별 전송 대상의 수가 증가될 수 있다.When the number of users who will receive the instant message is determined, it may be determined how many users the instant message will be transmitted to each of a plurality of episodes. For example, an instant message may be transmitted only to a relatively small number of users in the first episode, and an instant message may be transmitted to more users as the second episode goes. According to an embodiment, as the number of users responding to the instant message accumulates as the round proceeds, the reliability of the machine learning model may increase, and the number of transmission targets for each episode may increase according to the reliability of the machine learning model.
다른 예로, 중반 회차부터 후반 회차까지는 동일한 수의 사용자들에게 인스턴트 메시지가 전송되도록 결정될 수 있다. 또 다른 예로, 모든 회차에서 동일한 수의 사용 자들에게 인스턴트 메시지가 전송되도록 결정될 수도 있다.As another example, it may be determined that an instant message is transmitted to the same number of users from the middle to the latter. As another example, it may be decided to send an instant message to the same number of users in every round.
첫 번째 회차에서, 인스턴트 메시지를 전송하는 장치는 첫 번째 회차 별 전송 대상을 결정하고, 결정된 전송 대상에 인스턴트 메시지를 전송한다. 앞서 설명한 것과 같이, 첫 번째 회차에서 인스턴트 메시지의 전송 대상은 사용자 그룹의 적어도 일부일 수 있다.In the first round, the device for transmitting the instant message determines a transmission target for each first round, and transmits the instant message to the determined transmission target. As described above, in the first round, the instant message transmission target may be at least a part of the user group.
첫 번째 회차의 경우, 이전 회차까지의 응답들 및 이전 회차까지 응답한 사용자들이 존재하지 않는다. 이 경우, 사용자 그룹(예를 들어, 인스턴트 메시지를 전송하려는 공식 계정과 친구 관계를 맺은 사용자들) 중에서 임의로 선택된 사용자들이 첫 번째 회차 별 전송 대상으로 결정될 수 있다. 또는, 전송하려는 인스턴트 메시지의 속성에 따른 특정 조건의 필터링을 거친 이후(예를 들어, 성별 필터링 이후)의 사용자 그룹에서 임의로 선택된 사용자들이 첫 번째 회차 별 전송 대상으로 결정될 수도 있다.In the case of the first round, there are no responses up to the previous round and no users who responded up to the previous round. In this case, randomly selected users from among a user group (eg, users who have a friend relationship with an official account to send an instant message) may be determined as a transmission target for each first episode. Alternatively, users randomly selected from a user group after filtering for a specific condition according to the attribute of the instant message to be transmitted (eg, after gender filtering) may be determined as transmission targets for each first episode.
또는, 실시예에 따라, 첫 번째 회차에서 머신러닝 모델(220)은 별도로 입력되는 사용자 응답 데이터 및 사용자 특징 데이터에 기초하여 학습될 수 있다. 머신러닝 모델(220)은 도 1의 머신러닝 모델에 대응될 수 있다. 이 경우, 입력되는 사용자 응답 데이터 및 사용자 특징 데이터는 임의로 생성된 데이터일 수 있다. 머신러닝 모델(220)이 별도로 입력되는 사용자 응답 데이터 및 사용자 특징 데이터에 기초하여 학습되는 경우, 전송 대상 결정부(230)는 후술할 k번째 회차와 마찬가지로, 머신러닝 모델(220)에 기초하여 첫 번째 회차 별 전송 대상을 결정할 수 있다. 전송 대상 결정부(230)는 도 1의 전송 대상 결정부(130)에 대응될 수 있다.Alternatively, according to an embodiment, in the first round, the
일실시예에 따르면, 현재 회차가 첫 번째 회차인 경우, 현재 회차 동안 머신러닝 모델(220)이 학습되지 않을 수 있다. 이 경우, 전송 대상 결정부(230)는 사용자 응답 및 사용자 특징과 무관하게 첫 번째 회차 별 전송 대상을 결정할 수 있다. 예를 들어, 인스턴트 메시지를 전송하는 장치는 사용자 그룹의 일부를 무작위 추출함으로써 첫 번째 회차 별 전송 대상을 결정할 수 있다. 전송부(240)는 결정된 현재 회차 별 전송 대상에 인스턴트 메시지를 전송한다. 전송부(240)는 도 1의 전송부(140)에 대응될 수 있다.According to an embodiment, when the current round is the first round, the
현재 회차가 첫 번째 회차가 아닌 경우, 예를 들어, k번째 회차(k는 2 이상의 자연수)의 경우, 수집부(210)는 k-1번째 회차(예를 들어, 이전 회차)까지의 대상에 전송된 인스턴트 메시지에 반응하는 k-1번째 회차까지의 응답들을 수집한다. 수집부(210)는 도 1의 수집부(110)에 대응될 수 있다.When the current round is not the first round, for example, in the case of the k-th round (k is a natural number of 2 or more), the
k번째 회차에서, 수집부(210)는 수집된 k-1번째 회차까지의 응답들을 머신러닝 모델 관리부로 전송한다. 머신러닝 모델 관리부에 의하여, 머신러닝 모델(220)은 이전의 학습 결과에 의존하지 않고 처음부터 다시 학습될 수 있다. 머신러닝 모델(220)은 k-1번째 회차까지의 응답들 및 k-1번째 회차까지 응답한 사용자들의 특징을 훈련 데이터로 하여 학습될 수 있다.In the kth round, the
이하, 설명의 편의를 위하여 개별의 회차가 완료되고 다음 회차가 진행될 때마다 진행되는 회차의 이전 회차까지의 응답들 및 이전 회차까지 응답한 사용자들의 특징을 훈련 데이터로 머신러닝 모델(220)이 처음부터 학습되는 실시예들을 설명한다. Hereinafter, for convenience of explanation, the
다만, 머신러닝 모델(220)을 학습하는 방식은 설계에 따라 변경될 수 있다. 예를 들어, 다음 회차가 진행될 때 머신러닝 모델(220)이 훈련 데이터를 중첩시켜 가면서 학습될 수 있다. 이 경우, k번째 회차에서, k-1번째 회차에서 학습된 머신러닝 모델(220)의 훈련 데이터에 k-1번째 회차의 응답들 및 k-1번째 회차에서 응답한 사용자들의 특징을 추가함으로써 이미 학습된 머신러닝 모델(220)을 추가적으로 학습시킬 수 있다. 또는, 경우에 따라 다음 회차가 진행될 때 진행되는 회차의 바로 이전 회차의 응답들 및 바로 이전 회차에서 응답한 사용자들의 특징만을 훈련 데이터로 머신러닝 모델(220)이 학습될 수 있다.However, the method of learning the
k번째 회차에서, 학습된 머신러닝 모델(220)에 기초하여, 전송 대상 결정부(230)는 k번째 회차 별 전송 대상을 결정한다. 구체적으로, 전송 대상 결정부(230)는 이전 회차까지의 대상에 속하지 않는 사용자들의 특징들을 머신러닝 모델에 인가함으로써, 해당 사용자들의 응답률(혹은 반응률)을 예측할 수 있다. In the k-th round, based on the learned
전송 결정 대상부(230)에 의하여 머신러닝 모델(220)에 그 특징이 인가되는 사용자는 이전 회차까지의 전송 대상에 속하지 않는 사용자일 수 있다. 예를 들어, k번째 회차에서 전송 결정 대상부(230)에 의하여 머신러닝 모델(220)에 그 특징이 인가되는 사용자는 k-1번째 회차에서 전송 대상으로 결정되지 않은 사용자일 수 있다. 또는, 일실시예에 따르면, k번째 회차에서 전송 결정 대상부(230)에 의하여 머신러닝 모델(220)에 그 특징이 인가되는 사용자는 1번째 회차 내지 k-1번째 회차 중 어느 회차에서도 전송 대상이 된 적이 없는 사용자일 수 있다.The user to whom the feature is applied to the
전송 대상 결정부(230)는 예측된 응답률에 기초하여 사용자들을 정렬할 수 있다. 전송 대상 결정부(230)는 k번째 회차 별 전송 대상의 수만큼의 상위 사용자들을 선택할 수 있다.The transmission
앞서 설명한 것과 같이, k번째 회차 별 전송 대상을 결정하기 위한 조건으로 k번째 회차 별 전송 대상에 포함된 사용자들의 수가 미리 정해져 있을 수 있다. 이 경우, k번째 회차 별 전송 대상에 포함된 사용자들의 수가 a명으로 미리 정해져 있다면, 전송 대상 결정부(230)는 명시적 긍정 상태의 응답을 출력할 확률이 높은 순서대로 a명을 선택함으로써 k번째 회차 별 전송 대상을 결정할 수 있다. As described above, as a condition for determining a transmission target for each k-th time, the number of users included in a transmission target for each k-th time may be predetermined. In this case, if the number of users included in the transmission target for each k-th time is preset as a, the transmission
또는, 전송 대상 결정부(230)는 머신 러닝 모델의 출력에 기초하여 명시적 긍정으로 응답이 예측되는 사용자를 k번째 회차 별 전송 대상에 포함시킬 수 있다. 예를 들어, 전송 대상 결정부(230)는 이전 회차까지의 대상에 속하지 않는 사용자들로부터 임의로 선택되는 사용자의 특징을 머신 러닝 모델에 인가하고, 머신 러닝 모델에 의하여 출력되는 해당 사용자의 응답률에 기초하여 해당 사용자가 명시적 긍정으로 반응할지 여부를 예측할 수 있다. 일 예로. 전송 대상 결정부(230)는 예측된 응답률이 미리 정해진 임계 확률(예를 들어, 70% 등) 이상인지 여부에 따라 해당 사용자가 명시적 긍정으로 반응할지 여부를 예측할 수 있다.Alternatively, the transmission
일 실시예에 따르면, 머신 러닝 모델은 XAI(explainable artificial intelligence)일 수 있다. 이 경우, 학습된 머신 러닝 모델로부터 응답률이 높을 것으로 예측되는 사용자들의 속성들이 분석될 수 있다. 예를 들어, 특정 인스턴트 메시지는 제1 속성을 가지는 사용자들에 의하여 응답률이 높고, 제2 속성은 응답률과 무관하며, 제3 속성을 가지는 사용자들에 의하여 응답률이 낮다고 분석될 수 있다. 전송 대상 결정부(230)는 분석 결과에 기초하여, k번째 회차 별 전송 대상을 결정할 수 있다.According to an embodiment, the machine learning model may be Explainable Artificial Intelligence (XAI). In this case, attributes of users predicted to have a high response rate from the learned machine learning model may be analyzed. For example, it may be analyzed that a specific instant message has a high response rate by users having a first attribute, a second attribute is irrelevant to a response rate, and a response rate is low by users having a third attribute. The transmission
전송부(240)는 결정된 k번째 회차 별 전송 대상에 인스턴트 메시지를 전송한다. k번째 회차에서 인스턴트 메시지의 전송이 완료되지 않는다면, k번째 회차 별 전송 대상에 포함되는 사용자들이 수신하는 인스턴트 메시지에 반응하여 출력하는 응답들은 k+1번째 회차에서 수집부(210)에 의하여 이전 회차까지의 응답들로 수집될 수 있다. 또한, k번째 회차 별 전송 대상은 k+1번째 회차에서는 이전 회차 별 전송 대상이 될 수 있다. The
도 3은 일실시예에 따른 복수의 인스턴트 메시지들의 전송 대상을 동시에 결정하는 방법을 설명하기 위한 도면이다.3 is a diagram illustrating a method of simultaneously determining a transmission target of a plurality of instant messages according to an embodiment.
도 3을 참조하면, 일실시예에 따른 인스턴트 메시지를 전송하는 장치는 복수의 회차들을 통하여 복수의 인스턴트 메시지들을 전송할 수 있다. 인스턴트 메시지를 전송하는 장치는 도 1의 인스턴트 메시지를 전송하는 장치(100)에 대응될 수 있다. 구체적으로, 인스턴트 메시지를 전송하는 장치는 개별의 회차에서 복수의 인스턴트 메시지들의 전송 대상을 결정하기 위한 복수의 동작들을 함께 수행할 수 있다.Referring to FIG. 3, an apparatus for transmitting an instant message according to an embodiment may transmit a plurality of instant messages through a plurality of rounds. The device for transmitting the instant message may correspond to the
이하, 설명의 편의를 위하여, 인스턴트 메시지를 전송하는 장치가 복수의 회차들을 포함하는 하나의 시간 영역 내에서 복수의 인스턴트 메시지들의 전송 대상을 결정하는 실시예들을 설명한다. 다만, 이는 예시적인 것이며, 하나의 인스턴트 메시지를 전송하기 위한 복수의 회차들 및 하나의 메시지와 구별되는 인스턴트 메시지를 전송하기 위한 복수의 회차들이 일부만 중첩될 수도 있다.Hereinafter, for convenience of description, embodiments in which an apparatus for transmitting an instant message determines a transmission target of a plurality of instant messages within one time domain including a plurality of episodes will be described. However, this is exemplary, and a plurality of episodes for transmitting one instant message and a plurality of episodes for transmitting an instant message differentiated from one message may only partially overlap.
복수의 회차들을 통하여 하나의 인스턴트 메시지(이하, 제1 인스턴트 메시지) 및 하나의 인스턴트 메시지와 구별되는 인스턴트 메시지(이하, 제2 인스턴트 메시지)를 전송하기 위하여, 수집부는 이전 회차까지의 제1 인스턴트 메시지의 전송 대상에 전송된 제1 인스턴트 메시지에 반응하는 응답들 및 이전 회차까지의 제2 인스턴트 메시지의 전송 대상에 전송된 제2 인스턴트 메시지에 반응하는 응답들을 수집할 수 있다. 수집부는 도 1의 수집부(110)에 대응될 수 있다. 일실시예에 따르면, 수집부는 수집 동작을 수행하는 복수의 서브 수집부들을 포함할 수 있다. 이 경우, 제1 서브 수집부(311)는 제1 인스턴트 메시지에 반응하는 응답들을 수집하고, 제2 서브 수집부(312)는 제2 인스턴트 메시지에 반응하는 응답들을 수집할 수 있다.In order to transmit one instant message (hereinafter, referred to as a first instant message) and an instant message (hereinafter referred to as a second instant message) distinguished from one instant message through a plurality of times, the collection unit Responses responsive to the first instant message transmitted to the transmission target of and the responses responsive to the second instant message transmitted to the transmission target of the second instant message up to the previous round may be collected. The collection unit may correspond to the
수집부는 수집된 이전 회차까지의 응답들을 머신러닝 모델 관리부로 전송한다. 머신러닝 모델은 이전 회차까지 제1 인스턴트 메시지에 반응하는 응답들, 이전 회차까지 제1 인스턴트 메시지에 응답한 사용자들의 특징, 이전 회차까지 제2 인스턴트 메시지에 반응하는 응답들 및 이전 회차까지 제2 인스턴트 메시지에 응답한 사용자들의 특징을 훈련 데이터로 하여 학습될 수 있다. 일실시예에 따르면, 머신러닝 모델은 제1 머신러닝 모델(321) 및 제2 머신러닝 모델(322)을 포함할 수 있다. 이 경우, 제1 머신러닝 모델(321)은 이전 회차까지 제1 인스턴트 메시지에 반응하는 응답들 및 이전 회차까지 제1 인스턴트 메시지에 응답한 사용자들의 특징을 훈련 데이터로 하여 학습되고, 제2 머신러닝 모델(322)은 이전 회차까지 제2 인스턴트 메시지에 반응하는 응답들 및 이전 회차까지 제2 인스턴트 메시지에 응답한 사용자들의 특징을 훈련 데이터로 하여 학습될 수 있다.The collection unit transmits the collected responses up to the previous round to the machine learning model management unit. The machine learning model includes responses to the first instant message up to the previous round, the characteristics of users who respond to the first instant message up to the previous round, responses to the second instant message up to the previous round, and the second instant up to the previous round. The characteristics of users who respond to the message may be learned as training data. According to an embodiment, the machine learning model may include a first
학습된 머신러닝 모델에 기초하여, 전송 대상 결정부는 현재 회차 별 전송 대상을 결정한다. 전송 대상 결정부는 도 1의 전송 대상 결정부(130)에 대응될 수 있다. 구체적으로, 전송 대상 결정부는 제1 인스턴트 메시지를 위한 현재 회차 별 전송 대상이 되는 현재 회차 별 전송 대상 및 제2 인스턴트 메시지를 위한 현재 회차 별 전송 대상이 되는 현재 회차의 다른 대상을 결정할 수 있다.Based on the learned machine learning model, the transmission target determination unit determines a transmission target for each current episode. The transmission target determination unit may correspond to the transmission
전송 대상 결정부는 이전까지의 회차 별 전송 대상에 속하지 않는 사용자의 특징을 머신러닝 모델에 인가함으로써 해당 사용자의 응답을 예측하고, 명시적 긍정으로 응답이 예측되는 사용자를 현재 회차 별 전송 대상에 포함시킬 수 있다. 일실시예에 따르면, 전송 대상 결정부는 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 제1 머신러닝 모델(321)에 인가하고, 이전 회차까지의 다른 대상에 속하지 않는 사용자의 특징을 제2 머신러닝 모델(322)에 인가할 수 있다.The transmission target determination unit predicts the user's response by applying the characteristics of the user that does not belong to the transmission target for each transmission before, to the machine learning model, and includes the user whose response is predicted as an explicit affirmation in the transmission target for each transmission. I can. According to an embodiment, the transmission target determination unit applies the characteristics of a user that does not belong to the transmission target for each previous episode to the first
일실시예에 따르면, 전송 대상 결정부는 제1 서브 전송 대상 결정부(331) 및 제2 서브 전송 대상 결정부(332)를 포함할 수 있다. 이 경우, 제1 서브 전송 대상 결정부(331)는 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 제1 머신러닝 모델(321)에 인가하고, 제2 서브 전송 대상 결정부(332)는 이전 회차까지의 다른 대상에 속하지 않는 사용자의 특징을 제2 머신러닝 모델(322)에 인가할 수 있다.According to an embodiment, the transmission target determination unit may include a first sub transmission
전송 대상 결정부는 이전 회차 별 전송 대상, 현재 회차 별 전송 대상, 이전 회차까지의 다른 대상 및 현재 회차의 다른 대상이 서로 구별되도록 현재 회차 별 전송 대상 및 현재 회차의 다른 대상을 결정할 수 있다.The transmission target determination unit may determine a transmission target for each current episode and another target for the current episode so that a transmission target for each previous episode, a transmission target for each current episode, another target up to the previous episode, and another target for the current episode are distinguished from each other.
전송부는 결정된 현재 회차의 전송 그룹에 인스턴트 메시지를 전송한다. 전송부는 도 1의 전송부(140)에 대응될 수 있다. 전송부는 현재 회차 별 전송 대상에 제1 인스턴트 메시지를 전송하고, 현재 회차의 다른 대상에 제2 인스턴트 메시지를 전송할 수 있다. 일실시예에 따르면, 전송부는 제1 서브 전송부(341) 및 제2 서브 전송부(342)를 포함할 수 있다. 이 경우, 제1 서브 전송부(341)는 현재 회차 별 전송 대상에 제1 인스턴트 메시지를 전송하고, 제2 서브 전송부(342)는 현재 회차의 다른 대상에 제2 인스턴트 메시지를 전송할 수 있다.The transmission unit transmits the instant message to the determined delivery group of the current round. The transmission unit may correspond to the
도 4는 일실시예에 따른 인스턴트 메시지의 전송 대상을 결정하는 방법의 효과를 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining the effect of a method of determining a transmission destination of an instant message according to an embodiment.
도 4를 참조하면, 일실시예에 따른 도 1의 인스턴트 메시지를 전송하는 장치(110)는 복수의 회차들을 통하여 인스턴트 메시지의 전송 대상을 결정하고, 결정된 전송 대상에게 인스턴트 메시지를 전송한다. 일실시예에 따르면, 도 1에서 전술한 도 1의 인스턴트 메시지를 전송하는 장치(110)의 동작들에 기초하여 인스턴트 메시지의 전송 대상을 결정하는 경우(420), 동일한 인스턴트 메시지의 전송 대상을 랜덤(random)하게 결정하는 경우(410)에 비해 전송 대상이 되는 사용자들의 반응률이 더 높을 수 있다. 반응률은 도 1의 반응률에 대응될 수 있다. 예를 들어, 특정 인스턴트 메시지의 전송 대상을 랜덤하게 결정하는 경우(410) 전송 대상이 되는 사용자들의 반응률은 3.53%인 반면, 도 1에서 전술한 도 1의 인스턴트 메시지를 전송하는 장치(110)의 동작들에 기초하여 해당 인스턴트 메시지의 전송 대상을 결정하는 경우(420) 전송 대상이 되는 사용자들의 반응률은 7.17%일 수 있다.Referring to FIG. 4, the
도 5는 일실시예에 따른 머신러닝 모델(Machine-learning model의 동작을 설명하기 위한 도면이다.5 is a diagram illustrating an operation of a machine-learning model according to an embodiment.
도 5를 참조하면, 일실시예에 따른 머신러닝 모델은 훈련 데이터(Training data)(510)에 기초하여 학습(Training)(520)될 수 있다. 학습된 머신러닝 모델(Trained model)(530)은 새로운 입력(Input)(540)을 수신하고, 학습된 속성들을 기반으로 미지의 새로운 입력(540)의 속성을 예측(Predict)(550)할 수 있다. 학습된 머신러닝 모델(530)은 새로운 입력(540)의 속성을 예측(550)한 결과(Results)(560)를 출력할 수 있다.Referring to FIG. 5, a machine learning model according to an embodiment may be trained 520 based on
도 1의 머신러닝 모델은 도 5에서 설명되는 머신러닝 모델의 동작 방법에 기초하여 동작할 수 있다. 도 1의 머신러닝 모델은 이전 회차까지 응답한 사용자들의 특징 및 이전 회차까지의 응답들을 훈련 데이터(510)로 하여 학습(520)될 수 있다. 학습된 도 1의 머신러닝 모델은 새로운 사용자들의 특징을 입력으로 수신하고, 이전 회차까지 응답한 사용자들의 특징과 이전 회차까지의 응답들 사이의 관계를 기반으로 새로운 사용자들의 응답률을 예측할 수 있다. 학습된 도 1의 머신러닝 모델은 학습된 머신러닝 모델(530)에 대응되고, 새로운 사용자들의 특징은 새로운 입력(540)에 대응되고, 이전 회차까지 응답한 사용자들의 특징과 이전 회차까지의 응답들 사이의 관계는 학습된 속성들에 대응될 수 있다. 학습된 도 1의 머신러닝 모델은 새로운 사용자들의 특징에 기초하여 새로운 사용자들의 응답률을 예측(550)한 결과(560)를 출력할 수 있다.The machine learning model of FIG. 1 may operate based on the method of operating the machine learning model described in FIG. 5. The machine learning model of FIG. 1 may be trained 520 by using characteristics of users who responded to the previous round and responses up to the previous round as
도 6은 일실시예에 따른 인스턴트 메시지를 전송하는 방법을 설명하기 위한 동작 흐름도이다.6 is a flowchart illustrating a method of transmitting an instant message according to an exemplary embodiment.
도 6을 참조하면, 인스턴트 메시지를 전송하는 장치는 복수의 회차들을 통하여 인스턴트 메시지를 전송한다. 인스턴트 메시지를 전송하는 장치는 도 1의 인스턴트 메시지를 전송하는 장치(100)에 대응될 수 있다.Referring to FIG. 6, an apparatus for transmitting an instant message transmits an instant message through a plurality of times. The device for transmitting the instant message may correspond to the
인스턴트 메시지를 전송하는 장치는 사용자 그룹의 적어도 일부에 해당하는 이전 회차 별 전송 대상에 전송된 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집한다(610). 이전 회차까지의 응답들을 수집하는 동작은 인스턴트 메시지를 전송하는 장치가 포함하는 도 1의 수집부(110)에 의하여 수행된다.The apparatus for transmitting the instant message collects responses up to the previous episode in response to the instant message transmitted to the transmission target for each previous episode corresponding to at least a part of the user group (610). The operation of collecting responses up to the previous round is performed by the
이전 회차까지의 응답들 및 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 인스턴트 메시지를 전송하는 장치는 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시킨다(620). Based on the responses up to the previous round and the characteristics of users who responded up to the previous round, the apparatus for transmitting the instant message learns a machine-learning model for predicting the user response (620).
학습된 머신러닝 모델에 기초하여, 인스턴트 메시지를 전송하는 장치는 사용자 그룹의 적어도 일부에 해당하는 현재 회차 별 전송 대상을 결정한다(630). 현재 회차 별 전송 대상은 현재 회차 별 전송 대상이 되는 그룹이다. 현재 회차 별 전송 대상을 결정하는 동작은 인스턴트 메시지를 전송하는 장치가 포함하는 도 1의 전송 대상 결정부(130)에 의하여 수행된다.Based on the learned machine learning model, the device for transmitting the instant message determines a transmission target for each current episode corresponding to at least a part of the user group (630). The current transmission target for each episode is a group that is currently transmitted for each episode. The operation of determining a transmission target for each current episode is performed by the transmission
인스턴트 메시지를 전송하는 장치는 결정된 현재 회차 별 전송 대상에 인스턴트 메시지를 전송한다(640). 현재 회차 별 전송 대상에 인스턴트 메시지를 전송하는 동작은 인스턴트 메시지를 전송하는 장치가 포함하는 도 1의 전송부(140)에 의하여 수행된다.The device for transmitting the instant message transmits the instant message to the determined transmission target for each current episode (640). The operation of transmitting the instant message to the current transmission target for each episode is performed by the
도면에 도시하지 않았으나, 인스턴트 메시지를 전송하는 장치는 프로세서 및 메모리를 포함한다. 프로세서는 도 1 내지 도 6을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리는 현재 회차 별 전송 대상에 포함되는 사용자들의 수, 임계 시간, 임계 반응률, 임계 확률, 머신러닝 모델의 아키텍쳐(architecture) 중 적어도 하나를 저장하거나 인스턴트 메시지를 전송하는 방법이 구현된 프로그램을 저장할 수 있다.Although not shown in the drawing, an apparatus for transmitting an instant message includes a processor and a memory. The processor may perform at least one method described above through FIGS. 1 to 6. The memory may store at least one of the number of users currently included in the transmission target for each episode, a critical time, a critical response rate, a critical probability, and an architecture of a machine learning model, or a program implementing an instant message transmission method. have.
프로세서는 프로그램을 실행하고, 인스턴트 메시지를 전송하는 장치를 제어할 수 있다. 프로세서에 의하여 실행되는 프로그램의 코드는 메모리에 저장될 수 있다. 인스턴트 메시지를 전송하는 장치는 입출력 모듈을 통하여 사용자 인터페이스를 제공하거나, 통신 모듈을 통하여 외부 장치에 연결되어 데이터를 교환할 수 있다.The processor can control devices that run programs and send instant messages. The code of a program executed by the processor may be stored in a memory. A device for transmitting an instant message may provide a user interface through an input/output module or may be connected to an external device through a communication module to exchange data.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.
Claims (22)
사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계;
상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계;
상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계;
상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계; 및
상기 인스턴트 메시지의 반응률이 미리 정해진 임계 반응률보다 낮다고 판단되는 경우, 상기 인스턴트 메시지의 전송을 중단하는 단계
를 포함하고,
상기 인스턴트 메시지의 반응률은 상기 인스턴트 메시지를 수신 확인한 사용자들 중 상기 인스턴트 메시지에 반응한 사용자들의 비율에 대응되는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
In the method of operating a server for transmitting an instant message through a plurality of rounds,
Collecting responses up to a previous episode in response to the instant message transmitted to a transmission destination for each previous episode determined from a user group;
Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round;
Determining a transmission target for each current episode from the user group based on the machine learning model;
Transmitting the instant message to a transmission target for each current episode; And
When it is determined that the response rate of the instant message is lower than a predetermined threshold response rate, stopping transmission of the instant message
Including,
The response rate of the instant message corresponds to a rate of users who respond to the instant message among users who have confirmed receipt of the instant message,
How the server that sends instant messages works.
상기 현재 회차 별 전송 대상을 결정하는 단계는
상기 사용자 그룹에 포함된 사용자들 중 상기 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 상기 머신러닝 모델에 인가함으로써, 상기 사용자의 응답을 예측하는 단계; 및
상기 예측된 응답에 기초하여, 상기 사용자를 상기 현재 회차 별 전송 대상에 포함시키는 단계
를 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
The step of determining the transmission target for each current episode
Predicting a response of the user by applying a characteristic of a user included in the user group that does not belong to a transmission target for each previous episode to the machine learning model; And
Based on the predicted response, including the user as a transmission target for each current episode
Containing,
How the server that sends instant messages works.
상기 현재 회차 별 전송 대상을 결정하는 단계는
상기 예측된 사용자 응답에 기초하여, 상기 사용자 그룹에 포함된 사용자들을 정렬함으로써, 상기 현재 회차 별 전송 대상을 결정하는 단계
를 포함하는, 인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
The step of determining the transmission target for each current episode
Determining a transmission target for each current episode by sorting users included in the user group based on the predicted user response
Including a method of operating a server for transmitting an instant message.
특정 사용자의 특징은
해당 사용자와 관련된 지역;
상기 해당 사용자와 관련된 인구 통계적 특성(Demographic characteristics);
상기 해당 사용자와 관계를 맺은 공식 계정;
상기 해당 사용자가 상기 공식 계정과 관계를 맺은 기간;
상기 해당 사용자가 미리 정해진 시간 간격 동안 수신한 인스턴트 메시지의 개수; 및
상기 해당 사용자와 관련된 프로파일(profile)
중 적어도 하나를 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
Specific user characteristics
The region associated with the user;
Demographic characteristics related to the user;
An official account associated with the user;
A period in which the corresponding user entered into a relationship with the official account;
The number of instant messages received by the corresponding user during a predetermined time interval; And
Profile related to the user
Containing at least one of,
How the server that sends instant messages works.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었는지 여부를 판단하는 단계
를 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
The learning step
Determining whether responses up to the previous round have been collected enough to train the machine learning model
Containing,
How the server that sends instant messages works.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었다는 판단에 따라, 상기 머신러닝 모델을 학습시키는 단계; 및
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았다는 판단에 따라, 상기 이전 회차의 응답들을 추가적으로 수집하는 단계
를 더 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 5,
The learning step
Training the machine learning model according to a determination that responses up to the previous round have been collected enough to train the machine learning model; And
Further collecting the responses of the previous iteration according to the determination that the responses up to the previous iteration were not collected enough to train the machine learning model.
Further comprising,
How the server that sends instant messages works.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았더라도, 미리 정해진 임계 시간이 도과한 경우, 상기 머신러닝 모델을 학습시키는 단계
를 더 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 5,
The learning step
Training the machine learning model when a predetermined threshold time has elapsed even if responses up to the previous round have not been collected enough to train the machine learning model
Further comprising,
How the server that sends instant messages works.
상기 사용자 그룹은
상기 인스턴트 메시지의 전송 대상의 후보가 될 수 있는 사용자들을 포함하는 그룹에 해당하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
The user group is
Corresponding to a group including users who may be candidates for transmission of the instant message,
How the server that sends instant messages works.
상기 이전 회차까지의 응답들은
상기 이전 회차 별 전송 대상에 포함되는 개별의 사용자가 상기 인스턴트 메시지를 수신 확인하였으나 반응하지 않은 묵시적 부정 상태; 및
상기 개별의 사용자가 상기 인스턴트 메시지를 수신 확인하고 반응한 명시적 긍정 상태
중 적어도 하나를 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
Responses up to the previous round
An implicit negative state in which an individual user included in the transmission target for each previous episode confirms receipt of the instant message but does not respond; And
An explicit positive state in which the individual user acknowledges and responds to the instant message
Containing at least one of,
How the server that sends instant messages works.
상기 현재 회차 별 전송 대상을 결정하는 단계는
상기 머신러닝 모델에 기초하여, 상기 인스턴트 메시지에 반응할 것으로 예측되는 사용자들이 포함되도록 상기 현재 회차 별 전송 대상을 결정하는 단계
를 포함하는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
The method of claim 1,
The step of determining the transmission target for each current episode
Determining a transmission target for each current episode to include users predicted to respond to the instant message based on the machine learning model
Containing,
How the server that sends instant messages works.
사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계;
상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계;
상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계;
상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계; 및
상기 복수의 회차들을 통하여 상기 인스턴트 메시지와 구별되는 제2 인스턴트 메시지를 전송하는 단계
를 포함하고,
상기 제2 인스턴트 메시지를 전송하는 단계는
상기 사용자 그룹으로부터 결정된 상기 이전 회차까지의 다른 대상에 전송된 상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차의 응답들을 수집하는 단계;
상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차까지의 응답들에 기초하여, 상기 머신러닝 모델과 구별되는 제2 머신러닝 모델을 학습시키는 단계;
상기 제2 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 상기 제2 인스턴트 메시지를 위한 상기 현재 회차의 다른 대상을 결정하는 단계; 및
상기 제2 인스턴트 메시지를 상기 현재 회차의 다른 대상에 전송하는 단계
를 포함하며,
상기 이전 회차 별 전송 대상, 상기 현재 회차 별 전송 대상, 상기 이전 회차까지의 다른 대상 및 상기 현재 회차의 다른 대상은 서로 구별되는,
인스턴트 메시지를 전송하는 서버의 동작 방법.
In a method for transmitting an instant message through a plurality of rounds,
Collecting responses up to a previous episode in response to the instant message transmitted to a transmission destination for each previous episode determined from a user group;
Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round;
Determining a transmission target for each current episode from the user group based on the machine learning model;
Transmitting the instant message to a transmission target for each current episode; And
Transmitting a second instant message distinguished from the instant message through the plurality of episodes
Including,
Transmitting the second instant message
Collecting responses of the previous episode in response to the second instant message transmitted from the user group to another target up to the previous episode;
Training a second machine learning model distinguished from the machine learning model based on responses up to the previous round in response to the second instant message;
Determining another target of the current episode for the second instant message from the user group based on the second machine learning model; And
Transmitting the second instant message to another target of the current round
Including,
The transmission target for each previous episode, the transmission target for each current episode, another target until the previous episode, and another target for the current episode are distinguished from each other
How the server that sends instant messages works.
A computer program stored in a medium for executing the method of any one of claims 1 to 8, 10, 11 and 13 in combination with hardware.
프로그램이 기록된 메모리; 및
상기 프로그램을 수행하는 프로세서
를 포함하고,
상기 프로그램은,
사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계;
상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계;
상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계
상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계; 및
상기 인스턴트 메시지의 반응률이 미리 정해진 임계 반응률보다 낮다고 판단되는 경우, 상기 인스턴트 메시지의 전송을 중단하는 단계
를 수행하고,
상기 인스턴트 메시지의 반응률은 상기 인스턴트 메시지를 수신 확인한 사용자들 중 상기 인스턴트 메시지에 반응한 사용자들의 비율에 대응되는,
인스턴트 메시지를 전송하는 장치.
In the device for transmitting an instant message through a plurality of rounds,
A memory in which a program is recorded; And
Processor that executes the above program
Including,
The above program,
Collecting responses up to a previous episode in response to the instant message transmitted to a transmission destination for each previous episode determined from a user group;
Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round;
Determining a transmission target for each current episode from the user group based on the machine learning model
Transmitting the instant message to a transmission target for each current episode; And
When it is determined that the response rate of the instant message is lower than a predetermined threshold response rate, stopping transmission of the instant message
To do,
The response rate of the instant message corresponds to a rate of users who respond to the instant message among users who have confirmed receipt of the instant message,
Devices that send instant messages.
상기 현재 회차 별 전송 대상을 결정하는 단계는
상기 사용자 그룹에 포함된 사용자들 중 상기 이전 회차 별 전송 대상에 속하지 않는 사용자의 특징을 상기 머신러닝 모델에 인가함으로써, 상기 사용자의 응답을 예측하는 단계; 및
상기 예측된 응답에 기초하여, 상기 사용자를 상기 현재 회차 별 전송 대상에 포함시키는 단계
를 포함하는,
인스턴트 메시지를 전송하는 장치.
The method of claim 15,
The step of determining the transmission target for each current episode
Predicting a response of the user by applying a characteristic of a user included in the user group that does not belong to a transmission target for each previous episode to the machine learning model; And
Based on the predicted response, including the user as a transmission target for each current episode
Containing,
Devices that send instant messages.
상기 현재 회차 별 전송 대상을 결정하는 단계는
상기 예측된 사용자 응답에 기초하여, 상기 사용자 그룹에 포함된 사용자들을 정렬함으로써, 상기 현재 회차 별 전송 대상을 결정하는 단계
를 포함하는, 인스턴트 메시지를 전송하는 장치.
The method of claim 15,
The step of determining the transmission target for each current episode
Determining a transmission target for each current episode by sorting users included in the user group based on the predicted user response
Including a device for transmitting an instant message.
특정 사용자의 특징은
해당 사용자와 관련된 지역;
상기 해당 사용자와 관련된 인구 통계적 특성(Demographic characteristics);
상기 해당 사용자와 관계를 맺은 공식 계정;
상기 해당 사용자가 상기 공식 계정과 관계를 맺은 기간;
상기 해당 사용자가 미리 정해진 시간 간격 동안 수신한 인스턴트 메시지의 개수; 및
상기 해당 사용자와 관련된 프로파일(profile)
중 적어도 하나를 포함하는,
인스턴트 메시지를 전송하는 장치.
The method of claim 15,
Specific user characteristics
The region associated with the user;
Demographic characteristics related to the user;
An official account associated with the user;
A period in which the corresponding user entered into a relationship with the official account;
The number of instant messages received by the corresponding user during a predetermined time interval; And
Profile related to the user
Containing at least one of,
Devices that send instant messages.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었는지 여부를 판단하는 단계
를 포함하는,
인스턴트 메시지를 전송하는 장치.
The method of claim 15,
The learning step
Determining whether responses up to the previous round have been collected enough to train the machine learning model
Containing,
Devices that send instant messages.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되었다는 판단에 따라, 상기 머신러닝 모델을 학습시키는 단계; 및
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았다는 판단에 따라, 상기 이전 회차의 응답들을 추가적으로 수집하는 단계
를 더 포함하는,
인스턴트 메시지를 전송하는 장치.
The method of claim 19,
The learning step
Training the machine learning model according to a determination that responses up to the previous round have been collected enough to train the machine learning model; And
Further collecting the responses of the previous iteration according to the determination that the responses up to the previous iteration were not collected enough to train the machine learning model.
Further comprising,
Devices that send instant messages.
상기 학습시키는 단계는
상기 머신러닝 모델을 학습시키기에 충분할 정도로 상기 이전 회차까지의 응답들이 수집되지 않았더라도, 미리 정해진 임계 시간이 도과한 경우, 상기 머신러닝 모델을 학습시키는 단계
를 더 포함하는, 인스턴트 메시지를 전송하는 장치.The method of claim 19,
The learning step
Training the machine learning model when a predetermined threshold time has elapsed even if responses up to the previous round have not been collected enough to train the machine learning model
A device for transmitting an instant message further comprising.
프로그램이 기록된 메모리; 및
상기 프로그램을 수행하는 프로세서
를 포함하고,
상기 프로그램은,
사용자 그룹으로부터 결정된 이전 회차 별 전송 대상에 전송된 상기 인스턴트 메시지에 반응하는 이전 회차까지의 응답들을 수집하는 단계;
상기 이전 회차까지의 응답들 및 상기 이전 회차까지 응답한 사용자들의 특징들에 기초하여, 사용자 응답을 예측하는 머신러닝 모델(Machine-learning model)을 학습시키는 단계;
상기 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 현재 회차 별 전송 대상을 결정하는 단계;
상기 인스턴트 메시지를 상기 현재 회차 별 전송 대상에 전송하는 단계; 및
상기 복수의 회차들을 통하여 상기 인스턴트 메시지와 구별되는 제2 인스턴트 메시지를 전송하는 단계
를 포함하고,
상기 제2 인스턴트 메시지를 전송하는 단계는
상기 사용자 그룹으로부터 결정된 상기 이전 회차까지의 다른 대상에 전송된 상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차의 응답들을 수집하는 단계;
상기 제2 인스턴트 메시지에 반응하는 상기 이전 회차까지의 응답들에 기초하여, 상기 머신러닝 모델과 구별되는 제2 머신러닝 모델을 학습시키는 단계;
상기 제2 머신러닝 모델에 기초하여, 상기 사용자 그룹으로부터 상기 제2 인스턴트 메시지를 위한 상기 현재 회차의 다른 대상을 결정하는 단계; 및
상기 제2 인스턴트 메시지를 상기 현재 회차의 다른 대상에 전송하는 단계
를 포함하며,
상기 이전 회차 별 전송 대상, 상기 현재 회차 별 전송 대상, 상기 이전 회차까지의 다른 대상 및 상기 현재 회차의 다른 대상은 서로 구별되는,
인스턴트 메시지를 전송하는 장치.
In the device for transmitting an instant message through a plurality of rounds,
A memory in which a program is recorded; And
Processor that executes the above program
Including,
The above program,
Collecting responses up to a previous episode in response to the instant message transmitted to a transmission destination for each previous episode determined from a user group;
Learning a machine-learning model predicting a user response based on responses up to the previous round and characteristics of users who responded up to the previous round;
Determining a transmission target for each current episode from the user group based on the machine learning model;
Transmitting the instant message to a transmission target for each current episode; And
Transmitting a second instant message distinguished from the instant message through the plurality of episodes
Including,
Transmitting the second instant message
Collecting responses of the previous iteration in response to the second instant message transmitted from the user group to another target up to the previous iteration;
Training a second machine learning model distinguished from the machine learning model based on responses up to the previous round in response to the second instant message;
Determining another target of the current episode for the second instant message from the user group based on the second machine learning model; And
Transmitting the second instant message to another target of the current round
Including,
The transmission target for each previous episode, the transmission target for each current episode, another target up to the previous episode, and another target for the current episode are distinguished from each other,
Devices that send instant messages.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190128425A KR102190651B1 (en) | 2019-10-16 | 2019-10-16 | Method for determining targets for transmitting instant messages and apparatus thereof |
| KR1020200144607A KR102272821B1 (en) | 2019-10-16 | 2020-11-02 | Method for determining targets for transmitting instant messages and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190128425A KR102190651B1 (en) | 2019-10-16 | 2019-10-16 | Method for determining targets for transmitting instant messages and apparatus thereof |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200144607A Division KR102272821B1 (en) | 2019-10-16 | 2020-11-02 | Method for determining targets for transmitting instant messages and apparatus thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102190651B1 true KR102190651B1 (en) | 2020-12-14 |
Family
ID=73779668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190128425A KR102190651B1 (en) | 2019-10-16 | 2019-10-16 | Method for determining targets for transmitting instant messages and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102190651B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090079788A (en) * | 2008-01-17 | 2009-07-22 | 인터내셔널 비지네스 머신즈 코포레이션 | Method for delivering business enterprise advertising via instant messaging |
| KR20130009754A (en) * | 2010-02-01 | 2013-01-23 | 점프탭, 인크. | Integrated advertising system |
| JP2019527874A (en) * | 2016-06-21 | 2019-10-03 | ピンポイント プレディクティヴ，インコーポレイテッド | Predict psychometric profiles from behavioral data using machine learning while maintaining user anonymity |
-
2019
- 2019-10-16 KR KR1020190128425A patent/KR102190651B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090079788A (en) * | 2008-01-17 | 2009-07-22 | 인터내셔널 비지네스 머신즈 코포레이션 | Method for delivering business enterprise advertising via instant messaging |
| KR20130009754A (en) * | 2010-02-01 | 2013-01-23 | 점프탭, 인크. | Integrated advertising system |
| JP2019527874A (en) * | 2016-06-21 | 2019-10-03 | ピンポイント プレディクティヴ，インコーポレイテッド | Predict psychometric profiles from behavioral data using machine learning while maintaining user anonymity |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5913754B2 (en) | Customized predictors of user behavior in online systems | |
| CN111835760B (en) | Alarm information processing method and device, computer storage medium and electronic equipment | |
| US10949000B2 (en) | Sticker recommendation method and apparatus | |
| US9854098B2 (en) | Electronic communication routing based data accuracy | |
| CN108111554B (en) | Control method and device for access queue | |
| US11372805B2 (en) | Method and device for information processing | |
| CN111787345B (en) | Interactive resource processing method and device based on network live broadcast room, server and storage medium | |
| CN111405030B (en) | Message pushing method and device, electronic equipment and storage medium | |
| US20220286501A1 (en) | Systems and methods for rate-based load balancing | |
| US9426192B2 (en) | Predicting viewing activity of a posting to an activity stream | |
| CN114169932A (en) | Advertisement putting method, system, equipment and storage medium | |
| CN110169075B (en) | Intelligent insertion of secondary content in live broadcast | |
| CN111177725A (en) | Method, device, equipment and storage medium for detecting malicious click operation | |
| CN113011886B (en) | Method and device for determining account type and electronic equipment | |
| KR102190651B1 (en) | Method for determining targets for transmitting instant messages and apparatus thereof | |
| KR102272821B1 (en) | Method for determining targets for transmitting instant messages and apparatus thereof | |
| US20220353214A1 (en) | Method for determining targets for transmitting instant messages and apparatus thereof | |
| CN109313638B (en) | Application recommendation | |
| CN112054926B (en) | Cluster management method and device, electronic equipment and storage medium | |
| CN112269942B (en) | Method, device and system for recommending object and electronic equipment | |
| CN111756648B (en) | Flow congestion control method, device, equipment and medium | |
| US10225595B2 (en) | Incentivizing insertion forecast validation in intelligent insertion of secondary content in live streaming | |
| US10681411B2 (en) | Individualized dynamic insertion of secondary content in live streaming | |
| KR102233651B1 (en) | Method for transmitting instant messages and apparatus thereof | |
| CN110750749A (en) | Community maintenance method, electronic device and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |