KR102358048B1 - Apparatus and method for generating storyline from documents - Google Patents

Apparatus and method for generating storyline from documents Download PDF

Info

Publication number
KR102358048B1
KR102358048B1 KR1020170182916A KR20170182916A KR102358048B1 KR 102358048 B1 KR102358048 B1 KR 102358048B1 KR 1020170182916 A KR1020170182916 A KR 1020170182916A KR 20170182916 A KR20170182916 A KR 20170182916A KR 102358048 B1 KR102358048 B1 KR 102358048B1
Authority
KR
South Korea
Prior art keywords
feature
document
documents
feature vector
vector
Prior art date
Application number
KR1020170182916A
Other languages
Korean (ko)
Other versions
KR20190080455A (en
Inventor
선우연
김주연
김형준
이호엽
이연수
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020170182916A priority Critical patent/KR102358048B1/en
Publication of KR20190080455A publication Critical patent/KR20190080455A/en
Application granted granted Critical
Publication of KR102358048B1 publication Critical patent/KR102358048B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Abstract

문서들로부터 스토리라인을 생성하기 위한 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 방법은, 문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성하는 단계; 상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성하는 단계; 및 상기 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출하는 단계를 포함한다.An apparatus and method for generating a storyline from documents are disclosed. A method according to an embodiment of the present invention includes generating a feature vector of each of a plurality of documents included in a document set; generating, from the visual information and the feature vector of each of the plurality of documents, a feature map indicating a correlation according to a temporal order of each feature included in the feature vector; and deriving one or more subsequent documents having a relationship with the input target document based on the feature map.

Description

문서들로부터 스토리라인을 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING STORYLINE FROM DOCUMENTS}Apparatus and method for generating a storyline from documents

본 발명의 실시예들은 문서들을 분석하여 이로부터 문서들에 포함된 스토리의 발생 및 전개를 모델링하기 위한 기술과 관련된다.Embodiments of the present invention relate to techniques for analyzing documents and modeling the occurrence and development of stories contained in documents therefrom.

인터넷 및 모바일 환경이 일반화되면서, 언론사의 뉴스 기사(news article) 또한 신문, 잡지 등의 오프라인 매체에서 온라인을 중심으로 그 제공 방식이 변화되었다. 특히 온라인에서 제공되는 뉴스 기사들은 사건의 전개 양상에 따라 하루에도 몇 번씩 새로운 기사가 올라오는 경우가 많으며, 온라인 매체에는 오프라인 매체에 비해 제공되는 기사의 양이 매우 방대하다. 따라서 방대한 양의 기사들 중에서 특정 주제(topic)와 관련된 흐름을 추적하기는 점점 어려워지고 있다.With the generalization of the Internet and mobile environments, the method of providing news articles from newspapers and magazines has also changed from offline media such as newspapers and magazines to online. In particular, for news articles provided online, new articles are often uploaded several times a day depending on the development of the case, and the amount of articles provided in online media is very large compared to offline media. Therefore, it is becoming increasingly difficult to track the flow related to a specific topic among the vast amount of articles.

대한민국 등록특허공보 제10-1768852호 (2017. 08. 10.)Republic of Korea Patent Publication No. 10-1768852 (2017. 08. 10.)

본 발명의 실시예들은 대용량 코퍼스(corpus; 문서의 집합)를 분석하고, 이를 기반으로 특정 주제와 관련된 문서들의 시퀀스(스토리라인)을 도출하기 위한 기술적인 수단을 제공하기 위한 것이다.Embodiments of the present invention are to provide a technical means for analyzing a large-capacity corpus (a set of documents) and deriving a sequence (storyline) of documents related to a specific subject based on the analysis.

예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성하는 단계; 상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성하는 단계; 및 상기 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출하는 단계를 포함하는, 방법이 제공된다.According to an exemplary embodiment, there is provided a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, each of a plurality of documents included in a document set generating a feature vector of ; generating, from the visual information and the feature vector of each of the plurality of documents, a feature map indicating a correlation according to a temporal order of each feature included in the feature vector; and deriving, based on the feature map, one or more subsequent documents having a relationship with the input target document.

상기 특징 벡터는, 상기 복수 개의 문서들 각각에 포함된 주제(topic)를 특징(feature)으로 하고, 상기 각 주제가 해당 문서에서 차지하는 비율을 특징값(feature value)으로 하는 벡터일 수 있다.The feature vector may be a vector in which a topic included in each of the plurality of documents is a feature, and a ratio of each topic in a corresponding document is a feature value.

상기 특징맵을 생성하는 단계는, 상기 시각 정보 및 상기 특징 벡터로부터, 상기 복수 개의 문서들 각각이 선행 문서로부터 받은 영향의 정도를 나타내는 강도 함수(intensity function)을 계산하는 단계를 더 포함할 수 있다.The generating of the feature map may further include calculating, from the visual information and the feature vector, an intensity function representing the degree of influence that each of the plurality of documents received from a preceding document. .

상기 강도 함수는 다음의 수학식The intensity function is expressed by the following equation

Figure 112017130672113-pat00001
Figure 112017130672113-pat00001

Figure 112017130672113-pat00002
Figure 112017130672113-pat00002

Figure 112017130672113-pat00003
Figure 112017130672113-pat00003

Figure 112017130672113-pat00004
Figure 112017130672113-pat00004

(이때, λ(t)는 시각 t에서의 강도 함수, μ는 스케일 팩터,

Figure 112017130672113-pat00005
는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 평균 벡터, Σ는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 공분산 행렬,
Figure 112017130672113-pat00006
는 i번째 특징 벡터, ti는 i번째 특징 벡터의 시각 정보,
Figure 112017130672113-pat00007
및
Figure 112017130672113-pat00008
는 영향력 파라미터(influence parameter),
Figure 112017130672113-pat00009
및
Figure 112017130672113-pat00010
는 감쇠 파라미터(decaying parameter), T는 상기 특징 벡터들의 시각 범위)로부터 계산될 수 있다.(where λ(t) is the intensity function at time t, μ is the scale factor,
Figure 112017130672113-pat00005
is the average vector of the feature vectors when a Gaussian distribution is assumed, Σ is the covariance matrix of the feature vectors when a Gaussian distribution is assumed,
Figure 112017130672113-pat00006
is the i-th feature vector, t i is the visual information of the i-th feature vector,
Figure 112017130672113-pat00007
and
Figure 112017130672113-pat00008
is an influence parameter,
Figure 112017130672113-pat00009
and
Figure 112017130672113-pat00010
may be calculated from a decaying parameter, and T is the visual range of the feature vectors).

상기 특징맵은 상기 특징 벡터에 포함된 특징들을 각각 행 및 열로 가지는 행렬로서, 상기 특징맵의 a행 b열에 위치한 성분의 값은, 시각 t1에서 a행에 대응되는 특징이 존재할 경우, 해당 특징의 영향으로 시각 t2(t1 < t2)에서 b열에 대응되는 특징이 존재할 확률값일 수 있다.The feature map is a matrix having the features included in the feature vector in rows and columns, respectively, and the value of the component located in row a and column b of the feature map is the corresponding feature when the feature corresponding to row a exists at time t 1 . may be a probability value that the feature corresponding to column b exists at time t 2 (t 1 < t 2 ) under the influence of .

상기 후속 문서를 도출하는 단계는, 상기 대상 문서의 특징 벡터와 상기 특징맵 간의 내적(dot product)을 계산하는 단계; 및 상기 대상 문서의 후속 문서 중, 상기 내적의 결과값과의 유사도가 가장 높은 문서를 선택하는 단계를 더 포함할 수 있다.The deriving the subsequent document may include: calculating a dot product between a feature vector of the target document and the feature map; and selecting a document having the highest degree of similarity with the result value of the inner product from among subsequent documents of the target document.

상기 후속 문서를 도출하는 단계는, 선택된 상기 후속 문서를 새로운 대상 문서로 하여 상기 내적 계산 단계 및 상기 문서 선택 단계를 기 설정된 횟수만큼 반복함으로써 시간의 흐름에 따른 문서 시퀀스를 생성하도록 구성될 수 있다.The deriving the subsequent document may be configured to generate a document sequence according to the passage of time by repeating the dot product calculation step and the document selection step a preset number of times using the selected subsequent document as a new target document.

다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성하기 위한 명령; 상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성하기 위한 명령; 및 상기 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출하기 위한 명령을 포함하는, 컴퓨팅 장치가 제공된다.According to another exemplary embodiment, one or more processors; Memory; and one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs include a feature vector of each of a plurality of documents included in a document set. instruction to create a (feature vector); an instruction for generating a feature map indicating a temporal sequence of correlation between features included in the feature vector from the visual information and the feature vector of each of the plurality of documents; and instructions for deriving one or more subsequent documents having a relation with the input target document based on the feature map.

상기 특징 벡터는, 상기 복수 개의 문서들 각각에 포함된 주제(topic)를 특징(feature)으로 하고, 상기 각 주제가 해당 문서에서 차지하는 비율을 특징값(feature value)으로 하는 벡터일 수 있다.The feature vector may be a vector in which a topic included in each of the plurality of documents is a feature, and a ratio of each topic in a corresponding document is a feature value.

상기 특징맵을 생성하기 위한 명령은, 상기 시각 정보 및 상기 특징 벡터로부터, 상기 복수 개의 문서들 각각이 선행 문서로부터 받은 영향의 정도를 나타내는 강도 함수(intensity function)을 계산하기 위한 명령을 더 포함할 수 있다.The instructions for generating the feature map may further include instructions for calculating an intensity function representing the degree of influence that each of the plurality of documents received from a preceding document from the visual information and the feature vector. can

상기 강도 함수는 다음의 수학식The intensity function is expressed by the following equation

Figure 112017130672113-pat00011
Figure 112017130672113-pat00011

Figure 112017130672113-pat00012
Figure 112017130672113-pat00012

Figure 112017130672113-pat00013
Figure 112017130672113-pat00013

Figure 112017130672113-pat00014
Figure 112017130672113-pat00014

(이때, λ(t)는 시각 t에서의 강도 함수, μ는 스케일 팩터,

Figure 112017130672113-pat00015
는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 평균 벡터, Σ는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 공분산 행렬,
Figure 112017130672113-pat00016
는 i번째 특징 벡터, ti는 i번째 특징 벡터의 시각 정보,
Figure 112017130672113-pat00017
및
Figure 112017130672113-pat00018
는 영향력 파라미터(influence parameter),
Figure 112017130672113-pat00019
및
Figure 112017130672113-pat00020
는 감쇠 파라미터(decaying parameter), T는 상기 특징 벡터들의 시각 범위)로부터 계산될 수 있다.(where λ(t) is the intensity function at time t, μ is the scale factor,
Figure 112017130672113-pat00015
is the average vector of the feature vectors when a Gaussian distribution is assumed, Σ is the covariance matrix of the feature vectors when a Gaussian distribution is assumed,
Figure 112017130672113-pat00016
is the i-th feature vector, t i is the visual information of the i-th feature vector,
Figure 112017130672113-pat00017
and
Figure 112017130672113-pat00018
is an influence parameter,
Figure 112017130672113-pat00019
and
Figure 112017130672113-pat00020
may be calculated from a decaying parameter, and T is the visual range of the feature vectors).

상기 특징맵은 상기 특징 벡터에 포함된 특징들을 각각 행 및 열로 가지는 행렬로서, 상기 특징맵의 a행 b열에 위치한 성분의 값은, 시각 t1에서 a행에 대응되는 특징이 존재할 경우, 해당 특징의 영향으로 시각 t2(t1 < t2)에서 b열에 대응되는 특징이 존재할 확률값일 수 있다.The feature map is a matrix having the features included in the feature vector in rows and columns, respectively, and the value of the component located in row a and column b of the feature map is the corresponding feature when the feature corresponding to row a exists at time t 1 . may be a probability value that the feature corresponding to column b exists at time t 2 (t 1 < t 2 ) under the influence of .

상기 후속 문서를 도출하기 위한 명령은, 상기 대상 문서의 특징 벡터와 상기 특징맵 간의 내적(dot product)을 계산하기 위한 명령; 및 상기 대상 문서의 후속 문서 중, 상기 내적의 결과값과의 유사도가 가장 높은 문서를 선택하기 위한 명령을 더 포함할 수 있다.The instructions for deriving the subsequent document may include instructions for calculating a dot product between a feature vector of the target document and the feature map; and a command for selecting a document having the highest degree of similarity with the result value of the dot product from among subsequent documents of the target document.

상기 후속 문서를 도출하기 위한 명령은, 선택된 상기 후속 문서를 새로운 대상 문서로 하여 상기 내적 계산 단계 및 상기 문서 선택 단계를 기 설정된 횟수만큼 반복함으로써 시간의 흐름에 따른 문서 시퀀스를 생성하도록 구성될 수 있다.The instruction for deriving the subsequent document may be configured to generate a document sequence according to the passage of time by repeating the dot product calculation step and the document selection step a preset number of times using the selected subsequent document as a new target document. .

본 발명의 실시예들에 따를 경우, 대용량 문서의 집합을 분석하여 이로부터 특정한 스토리의 발생 및 전개를 용이하게 모델링할 수 있게 되는 바, 문서 분석의 용이성 및 정확성을 높일 수 있다.According to embodiments of the present invention, it is possible to analyze a set of large-capacity documents to easily model the generation and development of a specific story therefrom, thereby increasing the ease and accuracy of document analysis.

도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 스토리라인 생성 방법을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에 따른 특징 벡터 생성 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 특징맵 생성 과정을 설명하기 위한 예시도
도 5는 본 발명의 일 실시예에 따른 스토리라인 생성 과정을 설명하기 위한 예시도
도 6은 본 발명의 일 실시예에 따라 생성된 스토리라인의 예시도1 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
2 is a flowchart illustrating a method for generating a storyline according to an embodiment of the present invention;
3 is an exemplary diagram for explaining a feature vector generation process according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a feature map generation process according to an embodiment of the present invention;
5 is an exemplary diagram for explaining a storyline generation process according to an embodiment of the present invention;
6 is an exemplary diagram of a storyline generated according to an embodiment of the present invention;

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is merely an example, and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification. The terminology used in the detailed description is for the purpose of describing embodiments of the present invention only, and should in no way be limiting. Unless explicitly used otherwise, expressions in the singular include the meaning of the plural. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, acts, elements, some or a combination thereof, one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, acts, elements, or any part or combination thereof.

도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.1 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 스토리라인 생성 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, the computing device 12 may be a storyline generating device according to embodiments of the present invention. Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 . The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 . The one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14 . In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 . The input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 . Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 . Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 102 as a separate device distinct from the computing device 12 . may be

본 발명의 실시예들에 따른 컴퓨팅 장치(12)는 문서 집합에 포함된 복수 개의 문서들을 분석하여 상기 문서 집합에 포함된 스토리의 발생 및 전개(스토리라인)을 모델링하기 위한 장치이다. 본 발명의 실시예들에서, 스토리라인(storyline)이란 상기 문서가 표현하고 있는 사건들 간의 관계를 토대로 구성된 이벤트의 흐름(sequence)으로 정의할 수 있다. 하나의 스토리라인은 특정한 주제(topic)을 중심으로 시간에 따라 진화하는 특성을 가진다. 컴퓨팅 장치(12)는 상기 복수 개의 문서들 중 어느 하나의 문서에 대하여, 해당 문서와 관련성이 있는 하나 이상의 후속 문서를 추출하고, 추출된 문서들을 시간 순서에 따라 나열함으로써 스토리라인을 구성하게 된다.The computing device 12 according to embodiments of the present invention analyzes a plurality of documents included in a document set and models the generation and development (storyline) of a story included in the document set. In embodiments of the present invention, a storyline may be defined as a sequence of events constructed based on a relationship between events expressed in the document. A storyline has a characteristic that evolves over time around a specific topic. The computing device 12 constructs a storyline by extracting one or more subsequent documents related to the corresponding document from any one of the plurality of documents, and arranging the extracted documents in chronological order.

개시되는 실시예들에서, 문서(document)란 언론 기사 또는 칼럼(column) 등의 텍스트(text)를 의미한다. 예를 들어, 상기 문서 집합은 프로야구와 관련된 기사의 모음일 수 있다. 본 발명에서 스토리라인은 시간의 흐름을 반영한 문서들의 나열을 의미하는 바, 각각의 문서들은 대응되는 시각 정보를 포함한다. 이때 상기 시각 정보는, 예컨대 각 문서의 작성 시각, 또는 해당 문서와 관련된 사건의 발생 시각 등일 수 있다. 또한, 이하의 설명에서 특정 문서의 선행 문서란 해당 특정 문서보다 앞선 시각 정보를 가진 문서를, 후속 문서란 해당 특정 문서보다 늦은 시각 정보를 가진 문서를 의미한다.In the disclosed embodiments, a document refers to text such as a press article or a column. For example, the document set may be a collection of articles related to professional baseball. In the present invention, a storyline means a list of documents reflecting the passage of time, and each document includes corresponding visual information. In this case, the time information may be, for example, the creation time of each document or the occurrence time of an event related to the document. Also, in the following description, a preceding document of a specific document refers to a document having time information earlier than the specific document, and a subsequent document refers to a document having time information later than the specific document.

도 2는 본 발명의 일 실시예에 따른 스토리라인 생성 방법(200)을 설명하기 위한 흐름도이다. 도 2에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.2 is a flowchart illustrating a method 200 for generating a storyline according to an embodiment of the present invention. The method illustrated in FIG. 2 may be performed, for example, by a computing device 12 having one or more processors and a memory storing one or more programs executed by the one or more processors. In the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, are performed together in combination with other steps, are omitted, are performed in sub-steps, or are not shown. One or more steps may be added and performed.

단계 202에서, 컴퓨팅 장치(12)는 문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성한다. 본 발명의 실시예들에서, 컴퓨팅 장치(12)는 문서 집합에 포함된 복수 개의 문서들 각각이 포함하는 주제(topic) 및 각 주제가 해당 문서에서 차지하는 비율을 계산하고, 이를 이용하여 각각의 문서로부터 특징 벡터를 생성할 수 있다. 이때 각각의 특징 벡터는 복수 개의 문서들 각각에 포함된 주제(topic)를 특징(feature)으로 가지고, 상기 각 주제가 해당 문서에서 차지하는 비율을 특징값(feature value)으로 가지게 된다.In operation 202, the computing device 12 generates a feature vector of each of the plurality of documents included in the document set. In embodiments of the present invention, the computing device 12 calculates a topic included in each of a plurality of documents included in a document set and a ratio that each topic occupies in the corresponding document, and uses this to calculate the You can create a feature vector. In this case, each feature vector has a topic included in each of the plurality of documents as a feature, and has a ratio of each topic in the corresponding document as a feature value.

도 3은 본 발명의 일 실시예에 따른 특징 벡터 생성 과정을 설명하기 위한 예시도이다. 도시된 바와 같이, 문서 집합에 포함된 문서 중 문서 N에 대한 분석 결과 해당 문서가 주제 1, 주제 2, 주제 3 및 주제 4를 포함한다고 가정하자. 만약 상기 주제 1, 주제 2, 주제 3 및 주제 4이 문서 N에서 차지하는 비율이 각각 0.35, 0.35, 0.17, 0.13라면, 문서 N은 다음과 같은 특징 벡터로 변환될 수 있다.3 is an exemplary diagram for explaining a feature vector generation process according to an embodiment of the present invention. As illustrated, as a result of analysis of document N among documents included in the document set, it is assumed that the corresponding document includes topic 1, topic 2, topic 3, and topic 4. If the ratios of the subject 1, the subject 2, the subject 3, and the subject 4 in the document N are 0.35, 0.35, 0.17, and 0.13, respectively, the document N may be converted into the following feature vector.

문서 N의 특징 벡터: {0.35, 0.35, 0.17, 0.13}Feature vector of document N: {0.35, 0.35, 0.17, 0.13}

컴퓨팅 장치(12)는 각각의 문서에 대한 형태소 분석 등을 통해 키워드를 추출하고, 추출된 키워드에 대한 빈도 분석(TF-IDF 등) 등을 통하여 각 문서에 포함된 주제 및 해당 주제가 차지하는 비율을 도출할 수 있다. 문서로부터 주제를 알아내기 위한 기술적 방법에 대해서는 본 기술분야에서 통상의 기술자에게 잘 알려져 있는 바, 여기서는 그 상세한 설명을 생략하기로 한다. 본 발명의 실시예에서, 컴퓨팅 장치(12)는 문서의 특성 등을 고려하여 다양한 주제 도출 알고리즘 중 적절하다고 판단되는 알고리즘을 선정하여 상기 특징 벡터 변환 과정을 수행할 수 있다. 또한 본 발명의 실시예들에서, 문서 집합에 포함된 각 문서들은 각각 동일한 개수의 원소를 가지는 특징 벡터로 변환될 수 있다.The computing device 12 extracts a keyword through morphological analysis of each document, and derives a topic included in each document and a proportion of the topic through frequency analysis (TF-IDF, etc.) of the extracted keyword. can do. A technical method for finding out a subject from a document is well known to those skilled in the art, and a detailed description thereof will be omitted herein. In an embodiment of the present invention, the computing device 12 may select an algorithm determined to be appropriate from among various topic derivation algorithms in consideration of the characteristics of a document, and perform the feature vector transformation process. Also, in embodiments of the present invention, each document included in a document set may be converted into a feature vector having the same number of elements.

다시 도 2로 돌아와서, 다음으로 단계 204에서 컴퓨팅 장치(12)는 상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성한다.Referring back to FIG. 2 , next, in step 204 , the computing device 12 generates correlations according to the temporal sequence of features included in the feature vector from the visual information and the feature vector of each of the plurality of documents. A feature map representing

도 4는 본 발명의 일 실시예에 따른 특징맵 생성 과정을 설명하기 위한 예시도이다. 본 발명의 실시예들에서 특징맵(feature map, 402)은 202 단계에서 생성한 특징 벡터에 포함된 특징들을 각각 행 및 열로 가지는 행렬(matrix)이다. 예를 들어, 특징 벡터가 {a1, a2, ..., an}과 같이 n개의 주제(topic)를 원소로 가지는 벡터로 표현될 경우, 특징맵(402)은 nxn 매트릭스로 표현될 수 있다. 또한 특징맵(402)의 각 원소는 시간 선후 관계에 따른 각각의 주제들의 생성 확률을 나타낸다. 예를 들어, 특징맵(402)의 a행 b열에 위치한 성분의 값은, 임의의 시각 t1에서 a행에 대응되는 특징(주제)이 존재할 경우, 해당 특징의 영향으로 이어지는 시각 시각 t2(t1 < t2)에서 b열에 대응되는 특징(주제)이 존재할 확률값을 나타낸다. 도 4 및 도 5에서는 설명의 편의를 위하여 특징맵(402)의 각 원소의 값을 음영으로 표시하였다. 즉, 도시된 특징맵(402)의 경우 해당 위치의 색상이 진할 수록 대응되는 확률값 또한 높아지게 된다.4 is an exemplary diagram for explaining a feature map generation process according to an embodiment of the present invention. In embodiments of the present invention, a feature map 402 is a matrix having features included in the feature vector generated in step 202 as rows and columns, respectively. For example, when the feature vector is expressed as a vector having n topics as elements, such as {a 1 , a 2 , ..., a n }, the feature map 402 may be expressed as an nxn matrix. can In addition, each element of the feature map 402 represents the generation probability of each subject according to the temporal relationship. For example, the value of the component located in row a and column b of the feature map 402 is, when a feature (subject) corresponding to row a exists at any time t 1 , time time t 2 ( In t 1 < t 2 ), it represents the probability value of the existence of a feature (subject) corresponding to column b. In FIGS. 4 and 5 , values of each element of the feature map 402 are shaded for convenience of explanation. That is, in the case of the illustrated feature map 402, the darker the color of the corresponding position, the higher the corresponding probability value.

일 실시예에서, 컴퓨팅 장치(12)는 상기 시각 정보 및 상기 특징 벡터를 이용하여 상기 복수 개의 문서들 각각이 선행 문서로부터 받은 영향의 정도를 나타내는 강도 함수(intensity function)을 계산하고, 이로부터 특징맵(402)을 생성할 수 있다. 이때, 컴퓨팅 장치(12)는 벡터화된 혹스 프로세스(Vectorized Hawkes Process)를 이용하여 상기 강도 함수를 도출할 수 있다. 혹스 프로세스(Hawkes Process)는 포인트 프로세스(Point Process)의 일종으로, 이벤트의 발생을 모델링하는데 사용하는 통계적 기법이다. 특히 다변수 혹스 프로세스(Multivariate Hawkes Process)의 경우 하나의 이벤트 발생이 다양한 후속 이벤트의 발생에 미치는 영향을 설명할 수 있다.In one embodiment, the computing device 12 calculates an intensity function representing the degree of influence that each of the plurality of documents has received from a preceding document by using the visual information and the feature vector, and from this A map 402 may be created. In this case, the computing device 12 may derive the intensity function using a vectorized Hawkes process. The Hawkes process is a kind of point process and is a statistical technique used to model the occurrence of an event. In particular, in the case of the Multivariate Hawkes Process, the effect of occurrence of one event on the occurrence of various subsequent events can be explained.

본 발명의 실시예에서, 컴퓨팅 장치(12)는 문서 집합에 포함된 각각의 문서들을 이벤트(event)로 가정하여 혹스 프로세스를 적용함으로써 선행 문서와 후속 문서 사이의 영향 관계(상관 관계)를 계산하도록 구성된다. 특히, 일반적인 혹스 프로세스와 달리 본 발명의 실시예에서는 벡터 형태의 입력(특징 벡터)에 대하여 혹스 프로세스를 적용할 수 있는 모델인 벡터화된 혹스 프로세스를 이용하도록 구성된다.In an embodiment of the present invention, the computing device 12 calculates an influence relationship (correlation) between a preceding document and a subsequent document by applying the Hookes process by assuming that each document included in the document set is an event. is composed In particular, unlike a general Hawke's process, the embodiment of the present invention is configured to use a vectorized Hawk's process, which is a model that can apply the Hawk's process to a vector-type input (feature vector).

혹스 프로세스에서 이벤트의 발생 정도는 전술한 강도 함수(Intensity Function)으로 표현된다. 상기 강도 함수는 기본 강도(base intensity; 해당 이벤트가 일어날 기본 확률) 및 영향력 함수(해당 이벤트가 기존 이벤트의 발생으로부터 받은 영향에 대한 함수)의 합으로 표현된다.The degree of occurrence of an event in the hog process is expressed by the aforementioned intensity function. The intensity function is expressed as the sum of a base intensity (basic probability that a corresponding event will occur) and an influence function (a function of an influence that the corresponding event receives from the occurrence of an existing event).

벡터화된 혹스 프로세스에서는 벡터화된 입력(특징 벡터)을 이용하므로, 개별 이벤트(문서)에 대해 따로 기본 강도를 정의하는 것이 불가능하다. 따라서, 본 발명의 실시예에서는 가우시안 분포를 가정하고, 특징 벡터의 평균 및 분산으로부터 샘플링하여 기본 강도를 계산하도록 구성된다.Since the vectorized hog process uses vectorized inputs (feature vectors), it is not possible to define default strengths separately for individual events (documents). Therefore, in the embodiment of the present invention, a Gaussian distribution is assumed, and the basic intensity is calculated by sampling from the mean and variance of the feature vectors.

구체적으로, 단일 이벤트(문서)의 기본 강도는 다음의 수학식 1과 같이 계산될 수 있다.Specifically, the basic intensity of a single event (document) may be calculated as in Equation 1 below.

[수학식 1][Equation 1]

Figure 112017130672113-pat00021
Figure 112017130672113-pat00021

(이때,

Figure 112017130672113-pat00022
는 i번째 특징 벡터,
Figure 112017130672113-pat00023
는 i번째 특징 벡터에 대응되는 이벤트의 기본 강도, μ는 스케일 팩터(scale factor),
Figure 112017130672113-pat00024
는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 평균 벡터, Σ는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 공분산 행렬)(At this time,
Figure 112017130672113-pat00022
is the i-th feature vector,
Figure 112017130672113-pat00023
is the basic intensity of the event corresponding to the i-th feature vector, μ is the scale factor,
Figure 112017130672113-pat00024
is the average vector of the feature vectors when a Gaussian distribution is assumed, and Σ is the covariance matrix of the feature vectors when a Gaussian distribution is assumed)

이로부터 전체 이벤트(문서)의 기본 강도(λbase)는 다음의 수학식 2와 같이 계산된다.From this, the basic intensity (λ base ) of the entire event (document) is calculated as in Equation 2 below.

[수학식 2][Equation 2]

Figure 112017130672113-pat00025
Figure 112017130672113-pat00025

한편, 벡터로 표현되는 두 이벤트

Figure 112017130672113-pat00026
,
Figure 112017130672113-pat00027
간의 관계는 다음과 같은 변환 매트릭스를 이용하여 계산될 수 있다.On the other hand, two events expressed as vectors
Figure 112017130672113-pat00026
,
Figure 112017130672113-pat00027
The relationship between them can be calculated using the following transformation matrix.

[수학식 3][Equation 3]

Figure 112017130672113-pat00028
Figure 112017130672113-pat00028

(이때, M은 선형 변환 매트릭스(linear transformation matrix))(In this case, M is a linear transformation matrix)

다음으로, 단일 이벤트의 영향력 함수는 다음의 수학식 4와 같이 계산된다.Next, the influence function of a single event is calculated as in Equation 4 below.

[수학식 4][Equation 4]

Figure 112017130672113-pat00029
Figure 112017130672113-pat00029

Figure 112017130672113-pat00030
Figure 112017130672113-pat00030

Figure 112017130672113-pat00031
Figure 112017130672113-pat00031

(이때, gj(t)는 시각 t에서의 영향력 함수,

Figure 112017130672113-pat00032
및
Figure 112017130672113-pat00033
는 영향력 파라미터(influence parameter),
Figure 112017130672113-pat00034
및
Figure 112017130672113-pat00035
는 감쇠 파라미터(decaying parameter), T는 특징 벡터들의 시각 범위, ti는 i번째 특징 벡터의 시각 정보)(Where, g j (t) is the influence function at time t,
Figure 112017130672113-pat00032
and
Figure 112017130672113-pat00033
is an influence parameter,
Figure 112017130672113-pat00034
and
Figure 112017130672113-pat00035
is a decaying parameter, T is the visual range of the feature vectors, t i is the visual information of the i-th feature vector)

이로부터, 단일 이벤트

Figure 112017130672113-pat00036
의 강도 함수(
Figure 112017130672113-pat00037
)는 다음의 수학식 5와 같이 계산된다.From this, a single event
Figure 112017130672113-pat00036
the intensity function of (
Figure 112017130672113-pat00037
) is calculated as in Equation 5 below.

[수학식 5][Equation 5]

Figure 112017130672113-pat00038
Figure 112017130672113-pat00038

마지막으로, 전체 이벤트 집합(문서 집합)에서의 강도 함수는 다음의 수학식 6과 같이 계산될 수 있다.Finally, the intensity function in the entire event set (document set) may be calculated as in Equation 6 below.

[수학식 6][Equation 6]

Figure 112017130672113-pat00039
Figure 112017130672113-pat00039

(이때, λ(t)는 시각 t에서의 강도 함수) (In this case, λ(t) is an intensity function at time t)

전술한 강도 함수를 이용하면, 특정 시각 t1에서 생성된 문서(이벤트)의 각 주제들이, 이어지는 시각 t2에서 생성된 후속 문서의 각 주제들에 미치는 영향을 계산할 수 있는 바, 이로부터 특징맵을 생성할 수 있다.Using the above-described intensity function, it is possible to calculate the effect of each subject of a document (event) generated at a specific time t 1 on each subject of a subsequent document generated at a subsequent time t 2 , from which the feature map can create

다시 도 2로 돌아와서, 다음으로 단계 206에서 컴퓨팅 장치(12)는 204 단계에서 추출된 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출함으로써 스토리라인을 생성한다.Returning again to FIG. 2 , next, in step 206 , the computing device 12 generates a storyline by deriving one or more subsequent documents having a relationship with the input target document based on the feature map extracted in step 204 . .

도 5는 본 발명의 일 실시예에 따른 스토리라인 생성 과정을 설명하기 위한 예시도이다. 도시된 바와 같이, 컴퓨팅 장치(12)는 스토리라인을 생성하기 위한 대상 문서와 특징맵 간의 내적(dot product)을 계산하여 {x1, x2, …, xn}과 같은 형태의 내적값을 연산하고, 상기 대상 문서의 후속 문서 중, 상기 내적값과의 유사도가 가장 높은 문서를 선택할 수 있다. 이때 상기 유사도 계산은 유클리디안 유사도, 코사인 유사도 등 벡터간의 유사도를 계산하기 위한 다양한 방법 중 적절한 것을 적용할 수 있다.5 is an exemplary diagram for explaining a storyline generation process according to an embodiment of the present invention. As shown, the computing device 12 calculates a dot product between a target document and a feature map for generating a storyline, {x 1 , x 2 , ... , x n } may be calculated, and a document having the highest degree of similarity to the inner product value may be selected from among subsequent documents of the target document. In this case, for the similarity calculation, an appropriate one of various methods for calculating the similarity between vectors, such as Euclidean similarity and cosine similarity, may be applied.

컴퓨팅 장치(12)는 선택된 후속 문서에 대하여 다시 특징맵과의 내적값을 계산하고, 이로부터 상기 선택된 후속 문서의 후속 문서를 선택하는 방법을 기 설정된 횟수만큼 반복함으로써 도 6과 같이 복수 개의 문서가 시간의 흐름에 따라 배열되는 스토리라인을 생성할 수 있다.The computing device 12 calculates the dot product value with the feature map again for the selected subsequent document, and repeats the method of selecting the subsequent document of the selected subsequent document from this for a preset number of times, thereby generating a plurality of documents as shown in FIG. You can create storylines that are arranged over time.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, an embodiment of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium including the program. The computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be specially designed and configured for the present invention, or may be commonly used in the field of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and program instructions specially configured to store and execute program instructions such as ROMs, RAMs, flash memories, etc. Hardware devices are included. Examples of the program may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention with respect to the above-described embodiments. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims described below as well as the claims and equivalents.

Claims (14)

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성하는 단계;
상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성하는 단계; 및
상기 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출하는 단계를 포함하는, 방법.
one or more processors, and
A method performed in a computing device having a memory storing one or more programs to be executed by the one or more processors, the method comprising:
generating a feature vector of each of a plurality of documents included in a document set;
generating, from the visual information of each of the plurality of documents and the feature vector, a feature map indicating a correlation according to a temporal sequence of features included in the feature vector; and
and deriving one or more subsequent documents having a relationship with the input target document based on the feature map.
 청구항 1에 있어서,
상기 특징 벡터는,
상기 복수 개의 문서들 각각에 포함된 주제(topic)를 특징(feature)으로 하고, 상기 각 주제가 해당 문서에서 차지하는 비율을 특징값(feature value)으로 하는 벡터인, 방법.
The method according to claim 1,
The feature vector is
A vector in which a topic included in each of the plurality of documents is a feature, and a ratio occupied by each topic in the document is a feature value.
 청구항 1에 있어서,
상기 특징맵을 생성하는 단계는,
상기 시각 정보 및 상기 특징 벡터로부터, 상기 복수 개의 문서들 각각이 선행 문서로부터 받은 영향의 정도를 나타내는 강도 함수(intensity function)을 계산하는 단계를 더 포함하는, 방법.
The method according to claim 1,
The step of generating the feature map comprises:
calculating, from the visual information and the feature vector, an intensity function representing the degree of influence that each of the plurality of documents has received from a preceding document.
 청구항 3에 있어서,
상기 강도 함수는 다음의 수학식
Figure 112017130672113-pat00040

Figure 112017130672113-pat00041

Figure 112017130672113-pat00042

Figure 112017130672113-pat00043

(이때, λ(t)는 시각 t에서의 강도 함수, μ는 스케일 팩터,
Figure 112017130672113-pat00044
는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 평균 벡터, Σ는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 공분산 행렬,
Figure 112017130672113-pat00045
는 i번째 특징 벡터, ti는 i번째 특징 벡터의 시각 정보,
Figure 112017130672113-pat00046
및
Figure 112017130672113-pat00047
는 영향력 파라미터(influence parameter),
Figure 112017130672113-pat00048
및
Figure 112017130672113-pat00049
는 감쇠 파라미터(decaying parameter), T는 상기 특징 벡터들의 시각 범위)
로부터 계산되는, 방법.
4. The method according to claim 3,
The intensity function is expressed by the following equation
Figure 112017130672113-pat00040

Figure 112017130672113-pat00041

Figure 112017130672113-pat00042

Figure 112017130672113-pat00043

(where λ(t) is the intensity function at time t, μ is the scale factor,
Figure 112017130672113-pat00044
is the average vector of the feature vectors when a Gaussian distribution is assumed, Σ is the covariance matrix of the feature vectors when a Gaussian distribution is assumed,
Figure 112017130672113-pat00045
is the i-th feature vector, t i is the visual information of the i-th feature vector,
Figure 112017130672113-pat00046
and
Figure 112017130672113-pat00047
is an influence parameter,
Figure 112017130672113-pat00048
and
Figure 112017130672113-pat00049
is a decaying parameter, T is the visual range of the feature vectors)
Calculated from, the method.
 청구항 3에 있어서,
상기 특징맵은 상기 특징 벡터에 포함된 특징들을 각각 행 및 열로 가지는 행렬로서,
상기 특징맵의 a행 b열에 위치한 성분의 값은, 시각 t1에서 a행에 대응되는 특징이 존재할 경우, 해당 특징의 영향으로 시각 t2(t1 < t2)에서 b열에 대응되는 특징이 존재할 확률값인, 방법.
4. The method according to claim 3,
The feature map is a matrix having features included in the feature vector in rows and columns, respectively,
The value of the component located in row a and column b of the feature map is, when a feature corresponding to row a exists at time t 1 , the feature corresponding to column b at time t 2 (t 1 < t 2 ) is affected by the feature. A method, which is the probability of existence.
 청구항 3에 있어서,
상기 후속 문서를 도출하는 단계는,
상기 대상 문서의 특징 벡터와 상기 특징맵 간의 내적(dot product)을 계산하는 단계; 및
상기 대상 문서의 후속 문서 중, 상기 내적의 결과값과의 유사도가 가장 높은 문서를 선택하는 단계를 더 포함하는, 방법.
4. The method according to claim 3,
The step of deriving the subsequent document is
calculating a dot product between the feature vector of the target document and the feature map; and
The method further comprising the step of selecting a document having the highest degree of similarity with the result value of the dot product from among subsequent documents of the target document.
 청구항 6에 있어서,
상기 후속 문서를 도출하는 단계는,
선택된 상기 후속 문서를 새로운 대상 문서로 하여 상기 내적 계산 단계 및 상기 문서 선택 단계를 기 설정된 횟수만큼 반복함으로써 시간의 흐름에 따른 문서 시퀀스를 생성하도록 구성되는, 방법.
7. The method of claim 6,
The step of deriving the subsequent document is
and generate a document sequence according to the passage of time by repeating the dot product calculation step and the document selection step a preset number of times using the selected subsequent document as a new target document.
 하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
문서 집합에 포함된 복수 개의 문서들 각각의 특징 벡터(feature vector)를 생성하기 위한 명령;
상기 복수 개의 문서들 각각의 시각 정보 및 상기 특징 벡터로부터, 상기 특징 벡터에 포함된 각 특징(feature)들의 시간 순서에 따른 연관 관계를 나타내는 특징맵(feature map)을 생성하기 위한 명령; 및
상기 특징맵에 기초하여, 입력된 대상 문서와 연관 관계가 존재하는 하나 이상의 후속 문서를 도출하기 위한 명령을 포함하는, 컴퓨팅 장치.
one or more processors;
Memory; and
one or more programs;
wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors;
the one or more programs,
an instruction for generating a feature vector of each of a plurality of documents included in the document set;
an instruction for generating a feature map representing a relation according to a temporal sequence of features included in the feature vector from the visual information and the feature vector of each of the plurality of documents; and
and an instruction for deriving one or more subsequent documents having a relation with the input target document based on the feature map.
 청구항 8에 있어서,
상기 특징 벡터는,
상기 복수 개의 문서들 각각에 포함된 주제(topic)를 특징(feature)으로 하고, 상기 각 주제가 해당 문서에서 차지하는 비율을 특징값(feature value)으로 하는 벡터인, 컴퓨팅 장치.
9. The method of claim 8,
The feature vector is
A computing device which is a vector having a topic included in each of the plurality of documents as a feature, and a ratio of each topic in the corresponding document as a feature value.
 청구항 8에 있어서,
상기 특징맵을 생성하기 위한 명령은,
상기 시각 정보 및 상기 특징 벡터로부터, 상기 복수 개의 문서들 각각이 선행 문서로부터 받은 영향의 정도를 나타내는 강도 함수(intensity function)을 계산하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
9. The method of claim 8,
The command for generating the feature map is,
and instructions for calculating, from the visual information and the feature vector, an intensity function representing the degree of influence that each of the plurality of documents has received from a preceding document.
 청구항 10에 있어서,
상기 강도 함수는 다음의 수학식
Figure 112017130672113-pat00050

Figure 112017130672113-pat00051

Figure 112017130672113-pat00052

Figure 112017130672113-pat00053

(이때, λ(t)는 시각 t에서의 강도 함수, μ는 스케일 팩터,
Figure 112017130672113-pat00054
는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 평균 벡터, Σ는 가우시안 분포를 가정할 때의 상기 특징 벡터들의 공분산 행렬,
Figure 112017130672113-pat00055
는 i번째 특징 벡터, ti는 i번째 특징 벡터의 시각 정보,
Figure 112017130672113-pat00056
및
Figure 112017130672113-pat00057
는 영향력 파라미터(influence parameter),
Figure 112017130672113-pat00058
및
Figure 112017130672113-pat00059
는 감쇠 파라미터(decaying parameter), T는 상기 특징 벡터들의 시각 범위)
로부터 계산되는, 컴퓨팅 장치.
11. The method of claim 10,
The intensity function is expressed by the following equation
Figure 112017130672113-pat00050

Figure 112017130672113-pat00051

Figure 112017130672113-pat00052

Figure 112017130672113-pat00053

(where λ(t) is the intensity function at time t, μ is the scale factor,
Figure 112017130672113-pat00054
is the average vector of the feature vectors when a Gaussian distribution is assumed, Σ is the covariance matrix of the feature vectors when a Gaussian distribution is assumed,
Figure 112017130672113-pat00055
is the i-th feature vector, t i is the visual information of the i-th feature vector,
Figure 112017130672113-pat00056
and
Figure 112017130672113-pat00057
is an influence parameter,
Figure 112017130672113-pat00058
and
Figure 112017130672113-pat00059
is a decaying parameter, T is the visual range of the feature vectors)
Computed from, computing device.
 청구항 10에 있어서,
상기 특징맵은 상기 특징 벡터에 포함된 특징들을 각각 행 및 열로 가지는 행렬로서,
상기 특징맵의 a행 b열에 위치한 성분의 값은, 시각 t1에서 a행에 대응되는 특징이 존재할 경우, 해당 특징의 영향으로 시각 t2(t1 < t2)에서 b열에 대응되는 특징이 존재할 확률값인, 컴퓨팅 장치.
11. The method of claim 10,
The feature map is a matrix having features included in the feature vector in rows and columns, respectively,
The value of the component located in row a and column b of the feature map is, when a feature corresponding to row a exists at time t 1 , the feature corresponding to column b at time t 2 (t 1 < t 2 ) is affected by the feature. A computing device that is a probability value that exists.
 청구항 10에 있어서,
상기 후속 문서를 도출하기 위한 명령은,
상기 대상 문서의 특징 벡터와 상기 특징맵 간의 내적(dot product)을 계산하기 위한 명령; 및
상기 대상 문서의 후속 문서 중, 상기 내적의 결과값과의 유사도가 가장 높은 문서를 선택하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
11. The method of claim 10,
The command for deriving the subsequent document is:
instructions for calculating a dot product between the feature vector of the target document and the feature map; and
The computing device further comprising: a command for selecting a document having the highest similarity to a result value of the dot product from among subsequent documents of the target document.
 청구항 13에 있어서,
상기 후속 문서를 도출하기 위한 명령은,
선택된 상기 후속 문서를 새로운 대상 문서로 하여 상기 내적 계산 단계 및 상기 문서 선택 단계를 기 설정된 횟수만큼 반복함으로써 시간의 흐름에 따른 문서 시퀀스를 생성하도록 구성되는, 컴퓨팅 장치.
14. The method of claim 13,
The command for deriving the subsequent document is:
and generate a document sequence according to the passage of time by repeating the dot product calculation step and the document selection step a preset number of times using the selected subsequent document as a new target document.
KR1020170182916A 2017-12-28 2017-12-28 Apparatus and method for generating storyline from documents KR102358048B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170182916A KR102358048B1 (en) 2017-12-28 2017-12-28 Apparatus and method for generating storyline from documents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182916A KR102358048B1 (en) 2017-12-28 2017-12-28 Apparatus and method for generating storyline from documents

Publications (2)

Publication Number Publication Date
KR20190080455A KR20190080455A (en) 2019-07-08
KR102358048B1 true KR102358048B1 (en) 2022-02-03

Family

ID=67256339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182916A KR102358048B1 (en) 2017-12-28 2017-12-28 Apparatus and method for generating storyline from documents

Country Status (1)

Country Link
KR (1) KR102358048B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004247A (en) 2003-06-09 2005-01-06 Hitachi Ltd Method, program and apparatus for document retrieval

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768852B1 (en) 2016-01-26 2017-08-17 경북대학교 산학협력단 Generating method and system for triple data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004247A (en) 2003-06-09 2005-01-06 Hitachi Ltd Method, program and apparatus for document retrieval

Also Published As

Publication number Publication date
KR20190080455A (en) 2019-07-08

Similar Documents

Publication Publication Date Title
US10958748B2 (en) Resource push method and apparatus
US10839790B2 (en) Sequence-to-sequence convolutional architecture
Taflanidis et al. Stochastic subset optimization for optimal reliability problems
CN105474211B (en) Fixed-format document is presented according to the format of rearranged version
KR20180077690A (en) Apparatus and method for learning narrative of document, apparatus and method for generating narrative of document
US20210271823A1 (en) Content generation using target content derived modeling and unsupervised language modeling
US20180189271A1 (en) Apparatus and method for verifying sentence
Stokowiec et al. Shallow reading with deep learning: Predicting popularity of online content using only its title
EP2385471A1 (en) Measuring document similarity
US10169427B2 (en) Personalized highlighter for textual media
US11416760B2 (en) Machine learning based user interface controller
Karabatsos A menu-driven software package of Bayesian nonparametric (and parametric) mixed models for regression analysis and density estimation
Levatić et al. Semi-supervised learning for multi-target regression
Todi et al. Individualising graphical layouts with predictive visual search models
KR20210050139A (en) Apparatus and method for calculating similarity of images
US11537882B2 (en) Machine learning apparatus and method for object detection
US8977956B2 (en) Document aesthetics evaluation
KR102358048B1 (en) Apparatus and method for generating storyline from documents
US20210117448A1 (en) Iterative sampling based dataset clustering
CN110457691A (en) Feeling curve analysis method and device based on drama role
JP2017538226A (en) Scalable web data extraction
WO2022246162A1 (en) Content generation using target content derived modeling and unsupervised language modeling
JP6402637B2 (en) Analysis program, analysis method, and analysis apparatus
US20210216707A1 (en) Methods and systems for improving language processing for ambiguous instances
KR20220049754A (en) Apparatus and method for training image classification model

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant