KR20220001062A - 컨텐츠와 자산의 관련도 평가 방법 및 장치 - Google Patents

Abstract

컨텐츠와 자산의 관련도 평가 방법이 제공된다. 본 발명의 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법은, 학습 대상 컨텐츠와 자산과의 관련도를 나타내는 관련도 스코어를 획득하는 단계와, 상기 학습 대상 컨텐츠 및 상기 획득된 관련도 스코어를 컨텐츠 평가 모델에 투입하여, 상기 컨텐츠 평가 모델을 지도 학습시키는 단계를 포함할 수 있다.

Description

컨텐츠와 자산의 관련도 평가 방법 및 장치{METHOD AND APPARATUS FOR ASSESSING RELEVANCY BETWEEN CONTENTS AND ASSET}

본 발명은 컨텐츠와 자산의 관련도를 평가하는 방법 및 장치에 관한 것이다. 보다 자세하게는, 뉴스 기사와 같은 컨텐츠의 내용(예컨대 현실에서 발생한 사건 등)이 특정 자산에 미치는 영향의 크기와 방향을 자동으로 평가하기 위한 방법 및 장치에 관한 것이다.

주식과 부동산은 전통적으로 가장 대표적이고 대중적인 투자 대상 자산이다. 주식의 가격에는 기업 잠재 가치가 반영되며, 그 가치는 국내외의 정치, 경제 및 산업의 동향에 따라 민감하게 결정된다. 한편, 건물, 토지, 및 주택과 같은 부동산은 그 본질적인 이용 가치뿐만 아니라, 매매 차익을 기대할 수 있는 투자 대상 자산으로서 매력적인 거래의 대상이 되고 있으며, 전세계적으로 부동산 거래가 크게 증가하고 있다. 부동산의 가격 또한 국내외의 정치, 경제 및 산업의 동향에 큰 영향을 받는다. 따라서 투자자들은 이러한 정보들을 고려하여 투자 대상 자산을 선택하고, 자산의 취득 및 매각의 시기를 결정한다.

투자자들은 인터넷 등의 다양한 매체를 통해 각종 뉴스 기사를 수집하고 수집된 정보를 바탕으로 투자 전략을 수립할 수 있다. 그러나, 주식 등 자산의 가격은 다양하고 많은 정보들에 민감하게 반응하고, 인터넷 상에는 매일 다양한 이벤트들에 관한 수만 건의 뉴스 기사가 생성되므로, 이들 뉴스 기사에서 다루어진 이벤트들이 어떤 자산에 긍정적인 영향을 미치는지 또는 부정적인 영향을 미치는지를 평가하는 것은 매우 어려운 일이다. 나아가, 그러한 평가에 필요한 판단 능력을 갖춘 전문가라고 하더라도 매일 만들어지는 방대한 분량의 뉴스 기사에 대하여 그와 같은 평가를 적시에 제공하는 것은 불가능에 가깝다.

한편, 인공 신경망 기반의 머신 러닝 기술의 발전은, 규칙에 기반한(rule-based) 종래의 자동화 기술로는 대체할 수 없었던 다양한 유형의 인간의 사고 및 판단 과정들까지도 컴퓨터가 대신 수행할 수 있도록 하고 있다. 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning) 등의 방식으로 학습된 모델을 이용하여, 영상 인식, 텍스트 요약, 번역, 작곡 등 인간의 사고와 판단은 물론 창작의 영역에서도 인공 신경망 기반의 머신 러닝 기술이 점차 이용되고 있다.

그럼에도 불구하고, 인공 신경망 기반의 머신 러닝 기술을 활용하여, 뉴스 기사 등의 컨텐츠의 내용이 특정 자산에 어떤 영향을 미치는지 자동으로 평가하는 방법 및 장치는 제공되지 않고 있다.

한국등록특허 제10-1708444호 (2017.02.22. 공고)

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, 컨텐츠의 내용이 특정 자산에 미치는 영향의 크기와 방향을 자동으로 평가하는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 컨텐츠와 자산의 관련도를 평가하는 모델을 학습시키는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 컨텐츠와 자산의 관련도를 평가하는 모델을 지도 학습시키기 위한 레이블을 평가자로부터 효율적으로 획득하는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 복수의 평가자로부터 획득한 컨텐츠와 자산의 관련도 스코어에 적절한 신뢰도 스코어를 부여하는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 복수의 평가자로부터 획득한 컨텐츠와 자산의 관련도 스코어를 이용하여 인공 신경망 기반의 평가 모델을 학습시키기 전에, 관련도 스코어를 적절히 전처리하는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 특정 자산에 영향을 미치는 이벤트를 다루는 뉴스 기사를 포함하는 리포트를 자동으로 생성하여 발송하는 방법 및 장치를 제공하는 것이다.

본 발명의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 특정 자산에 영향을 미치는 이벤트의 발생 빈도를 포함하는 리포트를 자동으로 생성하여 발송하는 방법 및 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법은, 학습 대상 컨텐츠와 자산과의 관련도를 나타내는 관련도 스코어를 획득하는 단계와, 상기 학습 대상 컨텐츠 및 상기 획득된 관련도 스코어를 컨텐츠 평가 모델에 투입하여, 상기 컨텐츠 평가 모델을 지도 학습시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 상기 컨텐츠 평가 모델을 이용하여, 평가 대상 컨텐츠와 상기 자산의 관련도 스코어를 산출하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 관련도 스코어는, 자산 가격에 미치는 영향력의 방향을 나타내는 제1 관련도 스코어 및 자산 가격에 미치는 영향력의 크기를 나타내는 제2 관련도 스코어를 포함할 수 있다.

일 실시예에서, 상기 관련도 스코어를 획득하는 단계는, 상기 학습 대상 컨텐츠의 적어도 일부를 디스플레이하는 단계와, 상기 학습 대상 컨텐츠와 매칭된 자산의 식별자를 디스플레이하는 단계와, 상기 관련도 스코어를 입력받기 위한 사용자 인터페이스를 상기 학습 대상 컨텐츠와 동일한 화면에 디스플레이하는 단계를 포함할 수 있다.

일 실시예에서, 상기 매칭된 자산은, 상기 학습 대상 컨텐츠를 텍스트 분석한 결과 상기 컨텐츠와의 관련성이 식별된 자산일 수 있다.

일 실시예에서, 상기 매칭된 자산과 상기 컨텐츠와의 관련성은, 상기 매칭된 자산의 식별자가 상기 컨텐츠의 텍스트에 포함되었는지 여부에 기초하여 결정될 수 있다.

일 실시예에서, 상기 매칭된 자산과 상기 컨텐츠와의 관련성은, 상기 매칭된 자산과 동일한 카테고리에 속하는 자산의 식별자가 상기 컨텐츠의 텍스트에 포함되었는지 여부에 기초하여 결정될 수 있다.

일 실시예에서, 상기 매칭된 자산은 복수이며, 상기 관련도 스코어를 입력받기 위한 사용자 인터페이스는, 상기 복수의 매칭된 자산에 각각 대응되는 상기 관련도 스코어를 순차적으로 입력받기 위한 사용자 인터페이스일 수 있다.

일 실시예에서, 상기 매칭된 자산은 복수이며, 상기 관련도 스코어를 입력받기 위한 사용자 인터페이스는, 상기 복수의 매칭된 자산 중 제1 자산에 대응되는 상기 관련도 스코어가 입력되면, 별도의 사용자 입력 없이, 상기 복수의 매칭된 자산 중 제2 자산에 대응되는 상기 관련도 스코어를 입력받기 위한 인터페이스를 자동으로 디스플레이할 수 있다.

일 실시예에서, 상기 매칭된 자산은 복수이며, 상기 매칭된 자산의 식별자를 디스플레이하는 단계는, 상기 학습 대상 컨텐츠에 대한 분석 결과에 기초하여, 상기 복수의 매칭된 자산을 그룹핑하여 디스플레이하는 단계를 포함하고, 상기 관련도 스코어를 입력받기 위한 사용자 인터페이스는, 상기 매칭된 자산 그룹에 대응되는 상기 관련도 스코어를 입력받기 위한 사용자 인터페이스일 수 있다.

일 실시예에서, 상기 관련도 스코어를 획득하는 단계는, 평가자로부터 입력된 제스처의 방향 및 크기 중 적어도 하나에 기초하여 상기 관련도 스코어를 획득하는 단계를 포함할 수 있다.

일 실시예에서, 상기 관련도 스코어를 획득하는 단계는, 상기 학습 대상 컨텐츠를 적어도 일부 포함하는 복수의 질문을 디스플레이하는 단계와, 상기 복수의 질문에 대하여 평가자로부터 획득된 답변에 기초하여, 상기 학습 대상 컨텐츠와 상기 자산과의 상기 관련도 스코어를 산정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 질문은 이분형 질문(Yes/No Question)일 수 있다.

일 실시예에서, 컨텐츠 평가 모델을 지도 학습시키는 단계는, 획득된 관련도 스코어의 신뢰도를 나타내는 신뢰도 스코어를 상기 컨텐츠 평가 모델에 투입하는 단계를 포함할 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 복수의 학습 대상 컨텐츠들 중 어느 하나의 컨텐츠에 대응되는 관련도 스코어를 입력받기 위한 사용자 인터페이스를 디스플레이하는 단계와, 상기 사용자 인터페이스가 디스플레이된 이후 상기 관련도 스코어가 입력되기까지 소요된 시간에 기초하여, 상기 신뢰도 스코어를 산정하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 복수의 학습 대상 컨텐츠들 중 어느 하나의 컨텐츠에 대응되는 관련도 스코어를 입력받기 위한 사용자 인터페이스를 디스플레이하는 단계와, 상기 사용자 인터페이스가 디스플레이된 이후 상기 관련도 스코어가 입력되는 동안, 행동을 모니터링하는 단계와, 상기 모니터링된 평가자의 행동에 기초하여 상기 신뢰도 스코어를 산정하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 평가자의 행동을 모니터링하는 단계는, 이미징 장치를 이용하여 평가자의 상기 평가자의 안구의 움직임을 추적하는 단계를 포함할 수 있다.

일 실시예에서, 상기 평가자의 행동을 모니터링하는 단계는, 포인팅 수단의 움직임을 추적하는 단계를 포함할 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 평가자로부터 상기 신뢰도 스코어를 입력받는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 관련도 스코어를 획득하는 단계는, 복수의 학습 대상 컨텐츠를 복수의 평가자들에게 배분하는 단계와, 상기 복수의 평가자들로부터 상기 복수의 학습 대상 컨텐츠에 대한 상기 관련도 스코어를 획득하는 단계와, 상기 복수의 평가자들 중 제1 평가자로부터 획득된 관련도 스코어를 조정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 평가자들 중 제1 평가자로부터 획득된 관련도 스코어를 조정하는 단계는, 상기 복수의 평가자들 중 제2 평가자로부터 획득된 관련도 스코어에 기초하여, 상기 제1 평가자로부터 획득된 관련도 스코어의 편향을 제거하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 평가자들 중 상기 제1 평가자에게 할당되는 컨텐츠 중 적어도 일부는, 상기 복수의 평가자들 중 제2 평가자에게도 중복하여 할당되며, 상기 제1 평가자로부터 획득된 관련도 스코어를 조정하는 단계는, 상기 제2 평가자에게 중복하여 할당된 상기 적어도 일부 컨텐츠에 대하여 획득된 관련도 스코어에 기초하여, 상기 제1 평가자에게 할당된 모든 컨텐츠에 대하여 상기 제1 평가자로부터 획득된 관련도 스코어를 조정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 관련도 스코어를 획득하는 단계는, 복수의 학습 대상 컨텐츠 중 제1 그룹의 컨텐츠에 대응되는 관련도 스코어를, 복수의 평가자들 중 제1 평가자로부터 획득하는 단계와, 참조 컨텐츠 및 상기 참조 컨텐츠에 대응되는 관련도 스코어를 상기 제1 평가자에게 디스플레이하는 단계와, 상기 복수의 학습 대상 컨텐츠 중 제2 그룹의 컨텐츠에 대응되는 관련도 스코어를, 상기 제1 평가자로부터 획득하는 단계와, 상기 제2 그룹의 컨텐츠에 관하여 획득된 관련도 스코어에 기초하여, 상기 제1 그룹의 컨텐츠에 관하여 획득된 관련도 스코어를 조정하는 단계를 포함하되, 상기 참조 컨텐츠에 대응되는 관련도 스코어는 평가 관리자로부터 획득된 것일 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 상기 산출된 관련도 스코어를 포함하는 자산 분석 리포트를 생성하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 평가 대상 컨텐츠는 뉴스 기사이고, 상기 리포트는, 자산에 관련된 뉴스 기사의 적어도 일부 및 상기 뉴스 기사가 상기 자산에 미치는 영향력의 크기 및 방향을 포함할 수 있다.

일 실시예에서, 상기 리포트는, 상기 자산에 관한 긍정적인 뉴스 기사 또는 부정적인 뉴스 기사의 발생 추이를 나타내는 그래프를 더 포함할 수 있다.

일 실시예에서, 상기 리포트는, 상기 자산에 관한 긍정적인 뉴스 기사 및 부정적인 뉴스 기사의 발생 추이에 기초하여 산정된 인덱스 지수 값을 더 포함할 수 있다.

일 실시예에서, 상기 컨텐츠 평가 모델을 이용하여, 평가 대상 컨텐츠와 자산의 관련도 스코어를 산출하는 단계는, 기설정된 자산에 대한 복수의 문서를 수집하는 단계와, 상기 수집된 복수의 문서와 상기 기설정된 자산의 관련도 스코어를 산출하는 단계와, 상기 산출 결과가 기설정된 조건을 만족한다는 판정에 기초하여, 상기 자산에 대한 자산 분석 리포트를 자동으로 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 컨텐츠와 자산의 관련도 평가 방법은, 상기 컨텐츠 평가 모델을 이용하여, 평가 대상 컨텐츠와 자산의 관련도 스코어를 산출하는 단계는,상기 생성된 자산 분석 리포트를 승인하는 입력에 응답하여, 상기 자산 분석 리포트를 발송하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 장치는, 학습 대상 컨텐츠와 자산과의 관련도를 나타내는 관련도 스코어를 획득하는 단계와, 상기 학습 대상 컨텐츠 및 상기 획득된 관련도 스코어를 컨텐츠 평가 모델에 투입하여, 상기 컨텐츠 평가 모델을 지도 학습시키는 단계를 수행할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시예에 따른 컴퓨터 판독 가능한 비일시적 기록 매체는, 학습 대상 컨텐츠와 자산과의 관련도를 나타내는 관련도 스코어를 획득하는 단계와, 상기 학습 대상 컨텐츠 및 상기 획득된 관련도 스코어를 컨텐츠 평가 모델에 투입하여, 상기 컨텐츠 평가 모델을 지도 학습시키는 단계를 포함하는 방법을 컴퓨터로 하여금 수행하도록 하는 컴퓨터 프로그램이 저장된 것이다.

도 1은 본 발명의 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 장치의 입력 및 출력을 설명하기 위한 도면이다.
도 2는 도 1을 참조하여 설명한 컨텐츠와 자산의 관련도 평가 장치의 기능과 구성을 나타내는 블록도이다.
도 3은 도 2를 참조하여 설명한 관련도 스코어 평가부의 평가 모델을 학습시키는 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법의 순서도이다.
도 5 내지 도 10은 본 발명의 몇몇 실시예에서 학습 대상 컨텐츠와 자산과의 관련도 스코어를 획득하기 위한 예시적인 사용자 인터페이스를 나타내는 도면이다.
도 11은 도 4를 참조하여 설명한 관련도 평가 방법의 일부 단계를 보다 구체적으로 설명하기 위한 도면이다.
도 12는 도 4를 참조하여 설명한 관련도 평가 방법의 일부 단계를 보다 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 몇몇 실시예에서 학습 대상 컨텐츠와 자산과의 관련도 스코어에 대한 신뢰도 스코어를 획득하기 위한 예시적인 사용자 인터페이스를 나타내는 도면이다.
도 14는 도 4를 참조하여 설명한 관련도 평가 방법의 일부 단계를 보다 구체적으로 설명하기 위한 도면이다.
도 15는 본 발명의 몇몇 실시예에 따라 평가된 관련도에 기초하여 생성된 예시적인 자산 분석 리포트를 설명하기 위한 참조 도면이다.
도 16은 본 발명의 몇몇 실시예들에 따른 컨텐츠와 자산의 관련도를 평가하는 장치의 하드웨어 구성을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 장치의 입력 및 출력을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 컨텐츠와 자산의 관련도 평가 장치(10)는 뉴스 기사 등의 컨텐츠(1)를 획득하여, 해당 컨텐츠(1)와 관련이 있는 자산의 식별자(5), 컨텐츠와 자산의 관련도를 나타내는 스코어(7)를 제공하는 컴퓨팅 장치이다. 본 발명의 몇몇 실시예에 따르면, 관련도 평가 장치(10)는 컨텐츠와 자산의 관련도에 기초하여, 자산에 관한 분석 리포트(9)도 제공할 수 있다.

상기 컴퓨팅 장치는 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 상기 컴퓨팅 장치의 일 예는 도 16을 더 참조하도록 한다.

도 1은 관련도 평가 장치(10)가 단일 컴퓨팅 장치로 구현된 것을 예로써 도시하고 있으나, 관련도 평가 장치(10)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다.

본 발명의 다양한 실시예들에 따르면, 관련도 평가 장치(10)는 컨텐츠(1)로부터 관련 자산의 식별자(5), 관련 자산에 미치는 영향을 나타내는 관련도 스코어(7), 및 자산 분석 리포트(9)를 생성할 수 있다.

컨텐츠(1)는, 예컨대 공시 문서, IR 문서 및 뉴스 문서 등의 텍스트 컨텐츠일 수 있다. 예를 들어, 특정 기업의 실적에 관한 발표, 특정 지역의 개발 계획과 같은 경제 이슈, 국가 간의 무역 분쟁에 관한 이슈, 사람들의 소비 심리를 위축시켜 경제에 영향을 미치는 사건 사고 등에 관한 뉴스 기사 등의 컨텐츠가 관련도 평가 장치(10)에 입력될 수 있다. 컨텐츠(1)는 공시 기관, 언론사, 포털 사이트 등 뉴스 기사를 제공하는 기관의 웹 서버 등의 데이터 소스로부터 수집 및 획득된 것일 수 있다. 그러나 본 개시의 범위가 이에 한정되는 것은 아니다.

컨텐츠(1)와 관련된 자산의 식별자(5)는, 예컨대 주식 종목의 이름이나 종목 코드, 부동산이 위치하는 특정 지역의 명칭, 아파트 단지의 이름 등 다양한 자산을 구별하는 고유한 식별자들을 포함한다.

컨텐츠(1)가 자산에 미치는 영향을 나타내는 관련도 스코어(7)는, 컨텐츠(1)에서 다루어진 사건이나 이벤트가 자산에 어떤 영향을 미치는지 나타내는 연속된 수치 또는 불연속적인 값이나 등급일 수 있다. 관련도 스코어(7)는 자산에 미치는 영향의 크기를 나타내는 제1 관련도 스코어 및 자산에 미치는 영향의 방향(긍정적인지, 부정적인지, 또는 중립적인지 등)을 나타내는 제2 관련도 스코어를 포함할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 예를 들어, 본 발명의 몇몇 실시예에서, 관련도 스코어(7)는 컨텐츠(1)가 자산에 미치는 영향의 방향과 크기를 하나의 정수나 문자로 표현한 것일 수 있다.

자산 분석 리포트(9)는, 특정 자산에 영향을 미치는 이벤트에 관한 컨텐츠 내용(뉴스 기사의 제목 및/또는 본문), 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향에 관한 정보를 포함할 수 있다. 다시 말해, 사용자가 관심을 가지는 것으로 사전에 등록된 특정 자산에 긍정적인 영향을 강하게 미칠 사건을 다룬 컨텐츠, 특정 자산에 다소 부정적인 영향을 미칠 사건을 다룬 컨텐츠, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보가 특정 자산에 관한 자산 분석 리포트에 포함될 수 있다.

관련도 평가 장치(10)는 인공 신경망 기반의 모델을 사용하여, 컨텐츠(1)로부터 상기 자산 식별자(5), 관련도 스코어(7), 및 자산 분석 리포트(9)를 생성할 수 있다.

이하에서는 본 발명의 일 실시예에 따른 관련도 평가 장치(10)의 구성 및 동작에 대하여 도 2를 참조하여 설명한다. 도 2에 도시된 바와 같이, 본 실시예에 따른 관련도 평가 장치(10)는 관련 자산 매칭부(150), 관련도 스코어 평가부(170), 및 리포트 생성부(190)를 포함할 수 있다. 다만, 도 2에는 본 발명의 실시예와 관련 있는 구성 요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 2에 도시된 관련도 평가 장치(10)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 각 구성요소에 대하여 설명한다.

관련 자산 매칭부(150)는, 컨텐츠(1)를 입력 받는다. 컨텐츠(1)는 공시 문서, IR 문서 및 뉴스 문서 등의 텍스트 컨텐츠일 수 있다. 관련 자산 매칭부(150)는 컨텐츠(1)의 내용을 분석하여 해당 컨텐츠(1) 내용에 매칭되는 관련 자산을 매칭한다. 예를 들어, 컨텐츠(1)가 S 기업의 실적 발표에 관한 뉴스일 경우, 관련 자산은 S 기업의 주식뿐만 아니라, S 기업과 경쟁 관계에 있는 L 기업의 주식, S 기업에 부품을 납품하는 T 기업의 주식 등을 포함할 수 있다. 컨텐츠(1)의 내용으로부터 관련 자산을 매칭하는 과정은, 종래에 알려진 다양한 방법과 기술들이 활용될 수 있다. 예를 들어, 컨텐츠(1)에서 직접적으로 또는 간접적으로 명칭이나 종목 코드가 언급된 기업을 탐지하거나, 컨텐츠(1)에서 언급된 기업과 관련이 있는 기업들 또는 컨텐츠(1)에서 언급된 분야에 속하는 기업들의 명칭을 데이터베이스에서 조회하는 방식 등이 활용될 수 있다. 나아가, 컨텐츠(1) 및 해당 컨텐츠(1)에 관련된 자산의 식별자가 레이블링된 학습 대상 데이터로 사전에 학습된 인공 신경망 모델을 이용하여, 컨텐츠(1)에 매칭되는 관련 자산의 명칭을 획득할 수도 있다.

관련 자산 매칭부(150)는, 컨텐츠(1)에 매칭되는 관련 자산 식별자(5)를 획득하여 후술할 관련도 스코어 평가부(170)에 제공하며, 관련 자산 식별자(5)는 관련도 평가 장치(10)의 출력 값으로서 제공될 수 있다.

다른 몇몇 실시예에서, 관련도 평가 장치(10)는 관련 자산 매칭부(150) 없이 구성될 수 있다. 이 경우, 관련 자산의 식별자(5)가 사전에 컨텐츠에 태깅된 상태로 관련도 평가 장치(10)에 입력 값으로 주어지고, 후술할 관련도 스코어 평가부(170)에 의해 처리될 수 있다.

관련도 스코어 평가부(170)는 컨텐츠(1)와 관련 자산 식별자(5)를 입력받고, 컨텐츠(1)와 자산 사이의 관련도 스코어(7)를 출력한다. 관련도 스코어(7)는 자산에 미치는 영향의 크기를 나타내는 제1 관련도 스코어 및 자산에 미치는 영향의 방향을 나타내는 제2 관련도 스코어를 포함할 수 있다.

도시되지는 않았지만, 몇몇 실시예에서 관련도 스코어 평가부(170)는 컨텐츠 평가 모델을 포함할 수 있다. 상기 컨텐츠 평가 모델은 인공 신경망 기반의 모델일 수 있다. 상기 컨텐츠 평가 모델은 학습 대상 컨텐츠 및 상기 학습 대상 컨텐츠(1)에 레이블링된 관련도 스코어를 이용하여 평가 모델 학습 장치를 통해 지도 학습된 모델일 수 있다. 상기 컨텐츠 평가 모델의 학습에 대해서는 도 3 내지 도 12를 참조하여 보다 상세히 설명하기로 한다.

컨텐츠(1)와 관련된 자산의 식별자(5)는, 예컨대 주식 종목의 이름이나 종목 코드, 부동산이 위치하는 특정 지역의 명칭, 아파트 단지의 이름 등 다양한 자산을 구별하는 고유한 식별자들을 포함한다.

컨텐츠(1)가 자산에 미치는 영향을 나타내는 관련도 스코어(7)는, 컨텐츠에서 다루어진 사건이나 이벤트가 자산에 어떤 영향을 미치는지 나타내는 연속된 수치 또는 불연속적인 값일 수 있다. 관련도 스코어(7)는 자산에 미치는 영향의 크기를 나타내는 제1 관련도 스코어 및 자산에 미치는 영향의 방향(긍정적인지, 부정적인지, 또는 중립적인지 등)을 나타내는 제2 관련도 스코어를 포함할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 예를

리포트 생성부(190)는 컨텐츠(1) 및 관련도 스코어(7)에 기초하여, 특정 자산을 분석한 리포트(9)의 적어도 일부를 자동으로 생성한다. 자산 분석 리포트(9)는, 특정 자산에 영향을 미치는 이벤트에 관한 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 포함할 수 있다.

지금까지 도 2를 참조하여 본 발명의 일 실시예에 따른 관련도 평가 장치(10)의 구성 및 동작에 대하여 설명하였다.

본 실시예에 따르면, 공시 문서, IR 문서 및 뉴스 문서 등의 컨텐츠에서 다루어진 특정 기업의 실적에 관한 발표, 특정 지역의 개발 계획, 국가 간의 무역 분쟁에 관한 이슈, 사회적인 사건 사고 등이 특정 자산에 긍정적인 또는 부정적인 영향을 미치는지, 강한 영향을 미치는지 또는 아무런 영향을 미치지 않는지 등을 관련도 스코어(7)를 통해 제공할 수 있게 된다. 다시 말해, 공시 문서, IR 문서 및 뉴스 문서 등에 포함된 사실 관계 및/또는 작성자의 의견 외에도, 해당 사실 관계가 자산에 미치는 영향의 크기와 방향을 객관화 및 수치화한 관련도 스코어(7)가 일반 투자자 등에게 제공될 수 있게 된다. 이러한 정보에 기초하여, 고도의 전문 지식이나 통찰력을 갖추지 못한 투자자들도, 투자 대상 자산을 선택하거나 자산의 취득 및 매각의 시기를 결정하는데 도움을 받을 수 있게 된다.

또한 본 실시예에 따르면, 특정 자산에 영향을 미치는 이벤트에 관한 뉴스 기사 등의 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 자산 분석 리포트에 추가로 포함하여 투자자들에게 제공할 수 있게 된다. 투자자들은 자산에 관한 애널리스트의 의견 외에도 해당 자산에 영향을 미치는 것으로 분석된 이벤트들의 내용과 발생 추이 등을 함께 참고할 수 있으므로, 자산에 관한 투자 전략 수립에 있어서 자산 분석 리포트를 보다 다면적인 참고 자료로서 활용할 수 있게 된다.

이하에서는 도 2를 참조하여 설명한 관련도 스코어 평가부(170)의 컨텐츠 평가 모델을 사전에 학습시키는 과정에 관하여 도 3을 참조하여 설명한다.

컨텐츠 평가 모델은, 인공 신경망을 기반으로 하는 모델일 수 있다. 예컨대, 심층 신경망(DNN: Deep Neural Network), 선형 신경망(Linear Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 장단기 메모리(LSTM: Long Short-Term Memory), 컨볼루션 신경망(CNN: Convolutional Neural Networks) 등과 같은 모델 또는 이들을 조합하여 구성한 신경망 모델이 컨텐츠 평가 모델로서 사용될 수 있으나, 이에 한정되지는 않는다.

도 3은, 복수의 학습 대상 컨텐츠(11) 및 각 컨텐츠(11)에 대응되는 관련도 스코어링 결과(13)를 이용하여 평가 모델 학습 장치(30)가 컨텐츠 평가 모델을 지도 학습할 수 있음을 나타내는 도면이다. 특히 도 3에는, 복수의 학습 대상 컨텐츠들(11)이 복수의 평가자 장치들(20a 내지 20n)에 분배되고, 복수의 평가자들로부터 관련도 스코어링 결과(13)가 획득될 수 있다는 점이 나타나 있다. 컨텐츠 평가 모델의 인공 신경망을 지도 학습하기 위해서는 상당한 양의 학습 대상 데이터(관련도 스코어(13)가 레이블링된 컨텐츠(11))가 요구되므로, 본 실시예에서는 학습 대상 컨텐츠(11)를 복수의 평가자들에게 분배하여, 각각의 평가자가 컨텐츠의 내용을 검토하고, 특정 자산에 미치는 영향을 나타내는 관련도 스코어(13)를 부여할 수 있도록 한다. 이와 같이 관련도가 스코어링된 결과 (13)와 학습 대상 컨텐츠(11)가 취합되어 평가 모델 학습 장치(30)로 제공되고, 평가 모델 학습 장치(30)에 의해 관련도 스코어 평가부(170)의 컨텐츠 평가 모델이 학습된다.

상기 관련도 스코어링 결과(13)는 상기 지도 학습에 입력 값으로 주어지는 레이블로 이해될 수 있다. 즉, 평가 모델 학습 장치(30)는 복수의 학습 대상 컨텐츠(11) 및 관련도 스코어링 결과(13)를 이용하여, 컨텐츠 평가 모델의 인공 신경망의 파라미터들을 갱신함으로써, 컨텐츠 평가 모델이 학습될 수 있다.

이와 같이 학습된 컨텐츠 평가 모델은 관련도 평가 장치(10)가 평가 대상 컨텐츠(1)와 특정 자산 사이의 관련도를 나타내는 관련도 스코어(7)를 산출하는데 이용된다.

이하에서는 도 4를 참조하여 본 발명의 다른 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법에 관하여 보다 구체적으로 설명한다.

도 4는 본 실시예에 따라 컨텐츠와 자산의 관련도를 평가하는 일련의 과정을 나타내는 예시적인 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 4에 도시된 컨텐츠와 자산의 관련도 평가 방법의 각 단계는 예컨대 관련도 평가 장치(10)와 같은 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 상기 컨텐츠와 자산의 관련도 평가 방법의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 상기 컨텐츠와 자산의 관련도 평가 방법에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 상기 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 상기 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 상기 컨텐츠와 자산의 관련도 평가 방법의 각 단계가 관련도 평가 장치(10)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의를 위해, 상기 컨텐츠와 자산의 관련도 평가 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다.

별도로 언급하지 않더라도, 본 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법의 각 동작에 있어서, 도 1 내지 도 3을 참조하여 설명된 실시예들의 기술 사상이 반영될 수 있음은 물론이다. 또한, 반대로 본 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법의 각 동작에 반영된 기술 사상 역시 도 1 내지 도 3을 참조하여 설명된 관련도 평가 장치(10), 평가자 장치(20a 내지 20n), 및 평가 모델 학습 장치(30)의 구성 및 동작에 반영될 수 있을 것이다.

도 4를 참조하면, 본 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법은, 컨텐츠 평가 모델을 지도 학습시키는 단계(S10 내지 S30) 및 상기 학습된 컨텐츠 평가 모델을 이용하여 관련도를 평가하고 리포트를 생성하는 단계(S40 내지 S50)를 포함할 수 있다.

단계(S10)에서는, 복수의 학습 대상 컨텐츠가 획득되고, 각 컨텐츠에 매칭되는 자산이 식별된다.

컨텐츠는, 예컨대 공시 문서, IR 문서 및 뉴스 문서 등의 텍스트 컨텐츠일 수 있으며, 공시 기관, 언론사, 포털 사이트 등 뉴스 기사를 제공하는 기관의 웹 서버 등의 데이터 소스로부터 수집 및 획득된 것일 수 있다.

상기 컨텐츠에 매칭되는 자산이란, 컨텐츠의 내용과의 관련성이 있는 자산으로서, 예컨대 S 기업의 실적 발표에 관한 뉴스 컨텐츠에 매칭되는 관련 자산은 S 기업의 주식, S 기업과 경쟁 관계에 있는 L 기업의 주식, S 기업에 부품을 납품하는 T 기업의 주식 등을 포함한다. 다른 예로 A 지역과 B 지역 사이의 이동 시간을 대폭 감소시키는 새로운 철도의 건설 계획에 관한 뉴스 컨텐츠에 매칭되는 관련 자산은, A 지역과 B 지역 내의 아파트 단지를 포함한다.

각 컨텐츠에 매칭되는 자산의 식별에는, 종래에 알려진 다양한 방법과 기술들이 활용될 수 있으며, 본 발명이 그 중의 일부로 한정되는 것은 아니다.

단계(S20)에서는, 단계(S10)에서 획득된 복수의 학습 대상 컨텐츠 및 단계(S10)에서 식별된 관련 자산 사이의 관련도 스코어가 획득된다. 상기 관련도 스코어는 상기 학습 대상 컨텐츠의 내용이 자산에 미치는 영향의 크기를 나타내는 제1 관련도 스코어 및 자산에 미치는 영향의 방향을 나타내는 제2 관련도 스코어를 포함할 수 있다. 상기 관련도 스코어는 평가자에 의해 부여된 관련도 스코어일 수 있다.

몇몇 실시예에서는, 복수의 학습 대상 컨텐츠가 복수의 평가자들에게 분배되고, 복수의 평가자들로부터 각각의 학습 대상 컨텐츠에 대한 관련도 스코어가 획득될 수 있다. 보다 구체적으로, 복수의 평가자들은 각자의 평가자 장치를 이용하여 각자에게 분배된 학습 대상 컨텐츠의 내용을 검토하고, 상기 컨텐츠와 관련 자산 사이의 관련도를 평가하며, 상기 평가자 장치를 통해 관련도 평가 결과를 입력할 수 있다. 각각의 평가자 장치로부터 컨텐츠에 대한 관련도 스코어를 입력받기 위한 예시적인 사용자 인터페이스에 대해서는 도 5 내지 도 9를 참조하여 보다 자세히 후술한다.

단계(S30)에서는, 단계(S10)에서 획득된 복수의 학습 대상 컨텐츠, 단계(S10)에서 식별된 관련 자산, 및 단계(S20)에서 획득된 이들 사이의 관련도 스코어가 컨텐츠 평가 모델에 투입되고, 상기 컨텐츠 평가 모델이 지도 학습될 수 있다. 구체적으로, 평가자가 부여한 관련도 스코어가 레이블링된 복수의 학습 대상 컨텐츠 및 관련 자산의 식별자를 이용하여, 컨텐츠 평가 모델의 인공 신경망의 파라미터들이 점진적으로 갱신됨으로써, 상기 컨텐츠 평가 모델이 지도 학습될 수 있다.

단계(S30)를 통해 지도 학습이 완료된 컨텐츠 평가 모델에, 평가 대상 컨텐츠 및 특정 자산의 식별자가 입력 값으로 주어지면, 상기 평가 대상 컨텐츠가 상기 특정 자산에 미치는 영향을 나타내는 관련도 스코어가 상기 컨텐츠 평가 모델로부터 출력될 수 있다.

단계(S40)에서는, 단계(S30)에서 학습된 컨텐츠 평가 모델을 이용하여, 평가 대상 컨텐츠와 특정 자산의 관련도 스코어가 산출될 수 있다.

구체적으로, 평가 대상 컨텐츠 및 이에 관련된 특정 자산의 식별자가 컨텐츠 평가 모델에 입력 값으로 투입되고, 컨텐츠 평가 모델로부터 상기 컨텐츠와 상기 자산 사이의 관련도 스코어가 출력된다. 다시 말해, 상기 컨텐츠에서 다루어진 이벤트, 사건, 발표, 또는 뉴스의 내용이 상기 자산에 긍정적인 또는 부정적인 영향을 미치는지 여부, 및 그러한 영향의 강도가 높은지, 낮은지, 또는 거의 없는지 등을 나타내는 관련도 스코어가 컨텐츠 평가 모델의 인공 신경망으부터 획득될 수 있다.

단계(S50)에서는, 상기 관련도 스코어를 포함하는 자산에 관한 분석 리포트가 생성된다.

구체적으로, 관심 대상 자산에 관한 애널리스트의 분석 의견과 함께, 단계(S40)에서 상기 자산과의 관련도 스코어가 획득된 하나 이상의 컨텐츠들에 관한 정보가, 상기 자산 분석 리포트에 포함될 수 있다. 예를 들어, 자산 분석 리포트는, 특정 자산에 영향을 미치는 이벤트에 관한 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 포함하는 리포트일 수 있으며, 상기 자산 분석 리포트의 적어도 일부는 상기 컨텐츠 및 관련도 스코어 정보에 기초하여 자동으로 생성될 수 있다.

지금까지 도 4를 참조하여, 본 발명의 일 실시예에 따른 컨텐츠와 자산의 관련도 평가 방법에 관하여 설명하였다.

본 실시예에 따르면, 학습 대상 컨텐츠 및 이에 관하여 평가자가 스코어링한 관련도 스코어를 이용한 지도 학습 과정을 통해 컨텐츠 평가 모델을 구축해 두고 나면, 상기 학습 대상 컨텐츠 외에 매일 지속적으로 생성되는 뉴스 기사, 공시 문서, IR 문서 등의 새로운 평가 대상 컨텐츠들과 자산 사이의 관련도 스코어를 평가자의 개입 없이 자동으로 산출할 수 있게 된다. 따라서, 전문적인 판단 능력을 갖춘 평가자들이 매일 생성되는 새로운 컨텐츠들을 직접 분석하여 평가하는 종래의 방식과는 비교할 없을 정도로 분석 대상 컨텐츠의 커버리지 및 관련 자산의 커버리지가 넓어지게 된다.

또한 본 실시예에 따르면, 컨텐츠의 분석에 소요되는 시간이 단축되므로, 특정 자산에 영향을 미치는 뉴스가 발생하면 지체없이 상기 자산에 미치는 영향의 방향과 크기를 나타내는 관련도 스코어를 산출하여, 투자자들이 참고할 수 있도록 적시에 제공할 수 있게 된다. 이러한 정보에 기초하여, 고도의 전문 지식이나 통찰력을 갖추지 못한 투자자들도, 투자 대상 자산을 선택하거나 자산의 취득 및 매각의 시기를 결정하는데 도움을 받을 수 있게 된다.

또한 본 실시예에 따르면, 특정 자산에 영향을 미치는 이벤트에 관한 뉴스 기사 등의 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 자산 분석 리포트에 추가로 포함하여 투자자들에게 제공할 수 있게 된다. 투자자들은 자산에 관한 애널리스트의 의견 외에도 해당 자산에 영향을 미치는 것으로 분석된 이벤트들의 내용과 발생 추이 등을 함께 참고할 수 있으므로, 자산에 관한 투자 전략 수립에 있어서 자산 분석 리포트를 보다 다면적인 참고 자료로서 활용할 수 있게 된다.

이하에서는 도 4의 단계(S20)에서 평가자로부터 학습 대상 컨텐츠와 자산과의 관련도 스코어를 획득하는 과정에 이용될 수 있는 예시적인 사용자 인터페이스들을 도 5 내지 도 10을 참조하여 설명한다.

도 5 및 도 6은 예컨대 도 3에 도시된 평가자 장치들(20a 내지 20n)에서 제공될 수 있는 사용자 인터페이스(500)의 예이다.

도 5 및 도 6을 참조하면, 사용자 인터페이스(500)는 제1 영역(501), 제2 영역(503), 제3 영역(505), 및 제4 영역(507)을 포함할 수 있다. 사용자 인터페이스(500)의 제1 영역(501) 내지 제4 영역(507) 전부 또는 적어도 일부는 동일한 화면에 디스플레이될 수 있다.

제1 영역(501)에는 하나의 학습 대상 컨텐츠가 디스플레이될 수 있다. 상기 학습 대상 컨텐츠는 뉴스 기사, 공시 문서, IR 문서 등을 포함한다. 몇몇 실시예에서는, 상기 제1 영역(501)에 학습 대상 컨텐츠의 전문 대신에 요약문이 디스플레이될 수 있다.

제2 영역(503)에는 학습 대상 컨텐츠와 매칭된 자산의 식별자가 디스플레이될 수 있다. 매칭된 자산이란 상기 학습 대상 컨텐츠와 관련성이 있는 자산으로서, 상기 학습 대상 컨텐츠 내에 언급된 자산이거나, 언급된 자산과 동일한 카테고리(예컨대 주식의 경우 기업의 업종 등)에 속하는 다른 자산일 수 있다. 상기 자산의 식별자는, 주식 종목의 이름, 주식 종목 코드, 부동산이 위치하는 특정 지역의 명칭, 아파트 단지의 명칭 등, 상기 자산을 식별시키는 임의의 유형의 식별자일 수 있다.

한편, 학습 대상 컨텐츠와 매칭된 자산이 둘 이상 존재할 수 있다. 다시 말해 학습 대상 컨텐츠와 관련성이 있는 자산이 둘 이상일 수 있다. 예를 들어, 학습 대상 컨텐츠가 S 기업의 실적 발표에 관한 내용을 포함하는 컨텐츠일 경우, 매칭된 자산은 S 기업의 주식, S 기업과 경쟁 관계에 있는 L 기업의 주식, 및 S 기업에 부품을 납품하는 T 기업의 주식 등을 포함할 수 있다. 일 실시예에서, 학습 대상 컨텐츠와 매칭된 자산이 복수 개 존재하는 경우, 상기 사용자 인터페이스(500)는 상기 학습 대상 컨텐츠와 상기 복수의 자산들 각각의 관련도 스코어를 순차적으로 입력받을 수 있도록 구성될 수 있다.

도 5에 도시된 제2 영역(503)을 참조하면, 내비게이션 버튼(551 및 553)을 이용하여 복수의 매칭된 자산들을 변경하면서, 각각의 자산들에 대한 관련도 스코어를 입력받을 수 있도록 하는 인터페이스가 제공될 수 있다.

도 6에 도시된 제2 영역(503)을 참조하면, 복수의 매칭된 자산들 전부 또는 적어도 일부의 식별자들(561 내지 567)이 제2 영역(503)에 함께 디스플레이될 수 있다. 제2 영역(503)에 디스플레이된 복수의 자산들의 식별자들 중에, 제3 영역(505) 및 제4 영역(507)을 통해 현재 관련도 스코어를 입력받을 자산의 식별자(561)의 표시 속성을 다르게 디스플레이함으로써, 다른 자산들의 식별자들(562 내지 567)과 구별될 수 있도록 할 수 있다.

도 5에 도시된 인터페이스와 비교할 때, 도 6에 도시된 인터페이스의 경우, 평가자가 학습 대상 컨텐츠의 내용과 관련 있는 복수의 자산들의 리스트를 참고할 수 있으므로, 복수의 자산들 사이에 서로 주고받는 영향을 평가자가 종합적으로 고려하여 자산에 대한 관련도 스코어를 부여할 수 있다는 장점이 있다. 예컨대, A 라는 뉴스 그 자체로는 S 기업에 다소 긍정적인 영향을 미친다고 판단될 수 있지만, A 라는 뉴스가 S 기업의 경쟁사인 L 기업에 매우 큰 긍정적인 영향을 미쳐서 결과적으로는 S 기업에는 부정적인 영향을 미치는 경우가 있을 수 있다. 그러한 경우 A 라는 뉴스와 S 기업의 명칭만을 사용자 인터페이스(500) 상에 디스플레이한 상태에서 평가자로부터 S 기업에 대한 관련도 스코어를 입력받기 보다는, A 라는 뉴스와 관련 있는 모든 기업들의 명칭을 사용자 인터페이스(500) 상에 함께 디스플레이한 상태에서 S 기업에 관한 관련도 스코어를 평가자로부터 입력받는 것이, 보다 정확하고 종합적인 평가 결과의 획득을 기대할 수 있도록 할 것이다.

제3 영역(505) 및 제4 영역(507)에는 관련도 스코어를 입력받기 위한 입력용 인터페이스가 제공될 수 있다. 일 실시예에서, 관련도 스코어는 자산 가격에 미치는 영향력의 방향성을 나타내는 제1 관련도 스코어 및 자산 가격에 미치는 영향력의 크기를 나타내는 제2 관련도 스코어를 포함할 수 있다.

제3 영역(505)에는, 제1 영역(501)에 현재 디스플레이된 학습 대상 컨텐츠가 제2 영역(503)에 현재 디스플레이된 자산에 미치는 영향이 긍정적인지, 부정적인지, 또는 중립적인지를 나타내는 제1 관련도 스코어를 입력받을 수 있는 인터페이스가 제공된다. 평가자는 도 5 및 도 6의 제3 영역(505)에 예시적으로 도시된 입력용 인터페이스를 이용하여, 제1 관련도 스코어를 입력할 수 있다.

제4 영역(507)에는, 제1 영역(501)에 현재 디스플레이된 학습 대상 컨텐츠가 제2 영역(503)에 현재 디스플레이된 자산에 미치는 영향이 큰지(중요), 보통인지(보통), 또는 영향이 거의 없는지(제외)를 나타내는 제2 관련도 스코어를 입력받을 수 있는 인터페이스가 제공된다. 평가자는 도 5 및 도 6의 제4 영역(507)에 예시적으로 도시된 입력용 인터페이스를 이용하여, 제2 관련도 스코어를 입력할 수 있다.

일 실시예에서, 제2 영역(503)에 현재 디스플레이된 자산에 대한 제1 및 제2 관련도 스코어의 입력이 완료되면, 별도의 사용자 입력 없이도, 복수의 매칭된 자산들 중 다음 자산에 관한 관련도 스코어를 입력받을 수 있는 인터페이스가 자동으로 제공될 수 있다. 예컨대 복수의 매칭된 자산들 중 제1 자산에 대한 제1 관련도 스코어 및 제2 관련도 스코어의 입력이 완료되면, 별도의 사용자 입력 없이도, 제2 자산의 식별자가 제2 영역(503)에 디스플레이되거나 이미 디스플레이되어 있던 제2 자산의 식별자의 표시 속성이 변경될 수 있다. 이로써 평가자는 별도의 사용자 입력 없이도 학습 대상 컨텐츠와 제2 자산 사이의 관련도 스코어를 제3 영역(505) 및 제4 영역(507)을 통해 입력할 수 있게 된다.

이하에서는 도 7을 참조하여, 학습 대상 컨텐츠와 관련있는 복수의 자산들에 대한 관련도 스코어를 그룹 단위로 일괄적으로 입력받을 수 있는 예시적인 사용자 인터페이스가 제공되는 일 실시예를 설명한다.

도 7을 참조하면, 본 실시예에서는 제1 영역(501)에 디스플레이된 학습 대상 컨텐츠와 관련 있는 복수의 자산들이 하나 이상의 그룹들(571 및 572)로 분류되고 클러스터링되어 제2 영역(503)에 디스플레이될 수 있다.

예를 들어, 제1 영역(501)에 디스플레이된 학습 대상 컨텐츠가 S 기업의 실적 발표에 관한 뉴스일 경우, 상기 컨텐츠에 관련된 자산으로서 S 기업의 주식, S 기업과 경쟁 관계에 있는 L 기업의 주식, S 기업에 부품을 납품하는 T 기업의 주식, S 기업의 제품을 유통하는 E 기업의 주식 등이 관련 자산으로 식별될 수 있다. 이 경우 S 기업의 실적에 관한 뉴스로 인한 영향의 방향과 크기가 유사할 가능성이 높은 S 기업의 주식, T 기업의 주식, 및 E 기업의 주식이 제1 그룹으로 그룹핑되고, 반대되는 영향을 받을 가능성이 있는 L 기업의 주식은 제2 그룹으로 그룹핑될 수 있다.

본 실시예에서는 제2 영역(503)에 디스플레이되고 현재 선택된 그룹(예컨대 도 7에 도시된 제1 그룹(571))에 속하는 관련 자산들에 대하여, 제3 영역(505) 및 제4 영역(507)에서 제공되는 인터페이스를 통하여 일괄적으로 관련도 스코어를 입력할 수 있다. 또한 현재 선택된 제1 그룹(571)에 대한 관련도 스코어의 입력이 완료되면, 별도의 사용자 입력 없이도 제2 그룹(572)이 선택되고, 제2 그룹(572)에 속하는 관련 자산들에 대한 관련도 스코어를 입력받을 수 있게 된다.

이하에서는 도 8 및 도 9를 참조하여, 본 발명의 몇몇 실시예에서 제1 관련도 스코어 및 제2 관련도 스코어를 입력받을 수 있는 다른 예시적인 사용자 인터페이스를 설명한다.

본 발명의 몇몇 실시예에서는, 평가자가 사용하는 포인팅 수단, 예컨대 디스플레이 스크린 상의 특정 영역을 마우스로 클릭하는 동작, 디스플레이 스크린 상에서 마우스 포인터를 특정 방향으로 이동하는 동작, 터치 스크린의 특정 위치 상에서의 터치 제스처, 또는 터치 스크린 상에서 특정 방향으로의 터치 앤 드래그 제스처 등을 통해, 제1 관련도 스코어 및 제2 관련도 스코어를 한번에 입력받을 수 있는 사용자 인터페이스가 제공될 수 있다. 이하에서 설명될 인터페이스들은, 특히 평가자가 스코어링해야 할 학습 대상 컨텐츠의 양이 방대할 경우에 평가자의 작업 효율을 개선시키고 작업에 소요되는 시간을 단축시킬 수 있다.

일 실시예에서, 도 8에 도시된 것과 같은 입력용 인터페이스가 사용자 인터페이스(500)과 함께 디스플레이될 수 있다. 평가자는 도 8에 도시된 복수의 영역들(581 내지 589) 중 어느 하나를 마우스나 터치 등의 포인팅 수단으로 선택함으로써, 영향력의 방향(긍정, 중립, 또는 부정적인 영향)을 가리키는 제1 관련도 스코어와, 영향력의 크기(중요, 보통, 또는 제외)를 가리키는 제2 관련도 스코어를 한번의 조작으로 입력할 수 있다.

다른 일 실시예에서, 사용자 인터페이스(501)의 임의의 영역 내에서, 평가자가 소정의 방향으로 마우스 포인터를 이동하거나 터치 앤 드래그 제스처를 입력함으로써, 영향력의 방향(긍정, 중립, 또는 부정적인 영향)을 가리키는 제1 관련도 스코어와, 영향력의 크기(중요, 보통, 또는 제외)를 가리키는 제2 관련도 스코어를 한번의 조작으로 입력할 수 있다. 예를 들어, 도 9에 도시된 제1 방향(591)으로 터치 앤 드래그 제스처가 입력되면, 상기 제스처는 제1 관련도 스코어가 "부정"이고 제2 관련도 스코어가 "중요"임을 나타내는 것일 수 있다. 도 9에 도시된 제9 방향(599)으로 터치 앤 드래그 제스처가 입력되면, 상기 제스처는 제1 관련도 스코어가 "긍정"이고 제2 관련도 스코어가 "제외"임을 나타내는 것일 수 있다. 이와 같이 포인팅 수단의 이동 방향을 통하여 제1 관련도 스코어와 제2 관련도 스코어를 한 번의 조작으로 평가자가 입력할 수 있는 인터페이스가 제공될 수 있다.

이하에서는 도 10을 참조하여, 본 발명의 몇몇 실시예에서, 관련도 스코어를 입력 받기 위한 또 다른 예시적인 사용자 인터페이스를 설명한다.

본 실시예에서는, 학습 대상 컨텐츠에 포함된 내용(예컨대 특정 사건에 관한 뉴스, 이번 분기의 실적에 관한 뉴스 등)이 관련 자산에 미치는 영향력의 방향 및 크기 등을 나타내는 관련도 스코어를 평가자로부터 직접 입력받는 대신에, 기설정된 알고리즘을 적어도 일부 활용하여 상기 영향력의 방향 및 크기를 도출한다. 학습 대상 컨텐츠와 자산 사이의 관련도 스코어를 평가자가 직접 부여할 경우, 평가자의 주관적인 의견과 편향이 관련도 스코어에 더 크게 작용될 수 있다. 따라서 관련도 스코어를 평가자로부터 직접 입력받는 대신에, 관련도 스코어를 산정하기 위한 알고리즘에 투입될 몇몇 객관적 사실에 대한 확인을 구하는 질문들을 평가자에게 제시하고, 이에 대한 답변을 입력 받음으로써, 관련도 스코어를 획득할 수 있다. 도 10을 참조하면, 사용자 인터페이스(500) 내의 영역(591) 내에 복수의 질문들이 순차적으로 제시될 수 있다.

이때, 상기 질문들은 개방형 질문이 아닌 이분형 질문(Y/N 질문)으로 구성함으로써, 질문에 대한 답변의 소요시간이 단축되는 것을 기대할 수 있다. 도 10을 참조하면, 사용자 인터페이스(500) 내에 예(Y)를 선택하기 위한 인터페이스(592) 및 아니오(N)를 선택하기 위한 인터페이스(593)가 제공될 수 있다.

예를 들어, S 기업의 실적 개선에 관한 뉴스가 학습 대상 컨텐츠이고, L 기업에 미치는 영향을 나타내는 관련도 스코어를 산정하고자 할 경우, "S 기업과 L 기업은 경쟁사 관계인가요?", "지난 분기에 S 기업의 실적 증감의 방향과 L 기업의 실적 증감의 방향이 동일했나요?" 등, S 기업의 실적 개선이 L 기업에 미치는 영향을 산정하기 위한 알고리즘의 실행을 위해 확인이 필요한 몇몇 객관적 사실에 관한 짧은 질문들이 평가자에게 제공되고, 이에 대한 예(Y) 또는 아니오(N)의 답변을 획득합으로써, 평가자의 주관이 덜 개입된 객관적인 관련도 스코어를 산정할 수 있다. 또한 본 실시예의 경우 평가자가 학습용 컨텐츠의 원문 전부를 검토하지 않고, 제공되는 간단한 질문들에 대한 답변만을 제공함으로써 관련도 스코어 산정에 필요한 정보의 제공을 완료할 수 있으므로, 평가자의 작업 소요 시간과 피로도의 감소를 기대할 수 있다.

지금까지 도 5 내지 도 10을 참조하여, 평가자로부터 학습 대상 컨텐츠와 자산과의 관련도 스코어를 획득하는 과정에 이용될 수 있는 예시적인 사용자 인터페이스들을 설명하였다.

이하에서는 도 11을 참조하여, 평가자로부터 획득한 관련도 스코어를 먼저 조정한 후에 컨텐츠 평가 모델의 학습에 이용하는 몇몇 실시예에 대하여 설명한다. 도 11에 도시된 단계들(S210 내지 S230)은 도 4를 참조하여 설명한 단계(S20)의 일부로서 수행될 수 있다.

컨텐츠 평가 모델의 품질을 높이기 위해서는 상당한 양의 학습 대상 컨텐츠에 대한 레이블링이 이루어져야 한다. 따라서 한 명 또는 소수의 평가자가 방대한 분량의 학습 대상 컨텐츠에 대한 레이블링을 수행하는 것은 현실적이지 못할 가능성이 있다. 따라서, 도 3을 참조하여 전술한 바와 같이, 학습 대상 컨텐츠의 집합을 다수의 평가자들에게 분배하고(단계 S210), 각각의 평가자들에게 할당된 컨텐츠에 대한 관련도 스코어를 획득한 후(단계 S220), 이를 취합하여 컨텐츠 평가 모델의 학습에 활용할 수 있다. 그런데 각각의 평가자들의 평가 기준이 서로 상이하고, 각각의 평가자들마다 어느 정도 수준의 편향(bias)을 가질 수 있다. 따라서 본 실시예에서는, 각 평가자가 관련도 스코어를 스코어링한 결과를 조정(단계 S230)한 후에 컨텐츠 평가 모델의 학습에 이용한다.

몇몇 실시예에서, 복수의 평가자들 중 제1 평가자의 스코어링 결과와 나머지 평가자들의 스코어링 결과를 비교하여, 제1 평가자의 스코어링 결과를 조정할 수 있다. 예를 들어, 제1 평가자 외의 다른 모든 평가자들의 스코어의 평균 및 분산 값과 유사한 평균 및 분산 값을 가지도록 제1 평가자의 스코어를 일괄적으로 조정함으로써, 제1 평가자의 스코어링 결과를 조정할 수 있다.

다른 몇몇 실시예에서, 학습 대상 컨텐츠의 집합을 복수의 평가자들에게 분배하는 과정에서, 복수의 평가자들에게 일부 컨텐츠를 중복하여 할당할 수 있다. 다시 말해, 소정의 학습 대상 컨텐츠는 모든 평가자들에 의해 관련도 스코어가 부여되도록, 중복하여 할당될 수 있다. 상기 소정의 학습 대상 컨텐츠는 각각의 평가자들의 편향을 가늠하기 위한 일종의 검증용 샘플로서 이해될 수도 있다. 모든 평가자들에게 중복하여 할당된 상기 컨텐츠들에 대해 각각의 평가자가 부여한 관련도 스코어의 차이에 기초하여, 중복하여 할당되지 않은 나머지 컨텐츠들에 대해 각 평가자가 부여한 관련도 스코어를 조정할 수 있다.

다른 몇몇 실시예에서, 복수의 평가자들에게 각각 분배된 학습용 컨텐츠에 대한 관련도 스코어를 입력 받는 도중에, 참조용 컨텐츠 및 참조용 컨텐츠에 대응되는 관련도 스코어를 각 평가자에게 제시(예컨대 디스플레이)할 수 있다. 상기 참조용 컨텐츠와 관련도 스코어는 평가 관리자에 의해 제공된 것으로서, 관련도 스코어 평가의 기준을 제시하는 역할을 수행하는 것으로 이해될 수 있다. 상기 참조용 컨텐츠 및 관련도 스코어가 평가자에게 제시된 후에, 나머지 학습용 컨텐츠에 대한 관련도 스코어를 평가자로부터 계속해서 입력받는다. 평가자에게 할당된 학습용 컨텐츠에 대한 관련도 스코어의 획득이 완료되면, 참조용 컨텐츠 및 그에 대한 관련도 스코어가 제시되기 이전에 부여된 관련도 스코어(제1 그룹의 컨텐츠에 대한 관련도 스코어)와, 상기 참조용 컨텐츠 및 그에 대한 관련도 스코어가 제시된 이후에 부여된 관련도 스코어(제2 그룹의 컨텐츠에 대한 관련도 스코어)가 비교되고, 그 비교 결과에 따라 해당 평가자가 평가한 전체 컨텐츠에 대한 관련도 스코어가 조정될 수 있다. 예를 들어, 제2 그룹의 컨텐츠에 대한 관련도 스코어의 분포와 유사한 분포를 가지도록 제1 그룹의 컨텐츠에 대한 관련도 스코어가 조정될 수 있다.

지금까지 도 11을 참조하여, 컨텐츠 평가 모델의 학습에 이용되기 이전에, 평가자로부터 획득한 관련도 스코어를 조정하여 평가자의 편향을 제거하기 위한 몇몇 실시예에 대하여 설명하였다. 전술한 실시예들 따르면, 평가자로부터 획득된 관련도 스코어를 조정함으로써, 복수의 평가자들에 의해 서로 다른 학습 대상 컨텐츠들에 대한 관련도 스코어가 부여됨으로써 발생할 수 있는 관련도 스코어의 편향이나 오류를 최소화한다.

이하에서는 도 12 및 도 13을 참조하여, 평가자로부터 획득한 관련도 스코어에 대한 신뢰 수준을 나타내는 신뢰도 스코어를 추가로 획득하여 컨텐츠 평가 모델의 학습에 이용하는 몇몇 실시예에 대하여 설명한다.

학습 대상 컨텐츠와 자산 사이의 관련도에 대해 평가자가 응답한 관련도 스코어가 동일하더라도, 때때로 동일한 응답에 관한 평가자의 확신 내지는 그 응답을 신뢰할 수 있는 정도는 서로 상이할 수 있다. 예를 들어, 한 명의 동일한 평가자가 A 라는 뉴스가 S 기업에 미치는 영향이 "긍정적"이라고 답하고, B 라는 뉴스가 L 기업에 미치는 영향이 "긍정적"이라고 답하였더라도, 상기 두 응답에 대한 평가자 본인의 확신의 정도는 서로 다를 수 있다. 따라서 그러한 차이를 추가로 반영하여 컨텐츠 평가 모델을 학습시킴으로써, 컨텐츠 평가 모델의 품질을 보다 개선할 수 있다.

도 12는 몇몇 실시예에 따라, 평가자로부터 획득한 관련도 스코어에 대한 신뢰도 스코어를 컨텐츠 평가 모델의 학습에 이용하는 과정을 나타내는 순서도이다. 도 12에 도시된 단계들(S311 내지 S315 및 S320)은 도 4를 참조하여 설명한 단계(S30)의 일부로서 수행될 수 있다.

몇몇 실시예에서, 각각의 관련도 스코어의 입력 소요 시간에 기초하여 신뢰도 스코어가 선정될 수 있다(단계 S311). 구체적으로, A 뉴스가 S 기업에 미치는 영향에 관하여 획득된 관련도 스코어에 대한 신뢰도는, 상기 관련도 스코어를 입력하기 위한 인터페이스가 평가자에게 디스플레이된 이후에 상기 관련도 스코어가 입력될 때까지 소요된 시간에 기초하여 산정될 수 있다. 만약 A 뉴스와 S 기업 사이의 관련도 스코어 입력에 소요된 시간이 짧다면, 평가자가 상기 입력된 관련도 스코어에 더 큰 확신을 가지고 있을 가능성이 높다. 반면에 A 뉴스가 S 기업에 미치는 영향에 대해 평가자가 장시간 고민한 후에 관련도 스코어를 입력하였다면, 상기 입력된 관련도 스코어에 대한 평가자의 확신의 정도가 상대적으로 약할 것이다. 따라서 관련도 스코어의 입력 소요 시간이 길수록 신뢰도 스코어를 낮게 산정하고, 관련도 스코어의 입력 소요 시간이 짧을수록 신뢰도 스코어를 높게 설정하는 등의 방식으로 신뢰도 스코어를 산정하고, 이를 컨텐츠 평가 모델의 학습에 이용할 수 있다.

다른 몇몇 실시예에서, 관련도 스코어를 입력하는 중에 모니터링된 평가자의 행동에 기초하여 신뢰도가 산정될 수 있다(단계 S313). 예를 들어, 관련도 스코어를 입력하는 중에 평가자 장치에 설치된 이미징 장치를 통해 평가자의 안구의 움직임이 추적되고, 추적된 움직임에서 관찰되는 패턴에 기초하여 신뢰도 스코어가 산정될 수 있다. 다른 예로, 관련도 스코어를 입력하는 중에 평가자가 이용하는 포인팅 수단(예컨대 마우스)의 움직임 패턴에 기초하여 신뢰도 스코어가 산정될 수 있다.

또 다른 몇몇 실시예에서는, 평가자로부터 신뢰도 스코어를 직접 입력 받을 수 있다(단계 S315). 도 13은 평가자로부터 신뢰도 스코어를 직접 입력 받을 수 있는 예시적인 사용자 인터페이스(500)를 나타낸다. 평가자는 도 13에 도시된 사용자 인터페이스(500)의 제5 영역(509)에 제공되는 입력용 인터페이스를 통하여, 제3 영역(505) 및 제4 영역(507)을 통해 입력한 관련도 스코어에 대한 본인의 확신의 정도 내지는 신뢰도를 직접 명시적으로 입력할 수 있다.

전술한 예시적인 방법들에 의해 획득된 신뢰도 스코어는, 관련도 스코어와 함께 컨텐츠 평가 모델에 투입되어, 컨텐츠 평가 모델의 학습에 이용될 수 있다. 신뢰도 스코어를 추가로 이용하여 컨텐츠 평가 모델을 학습시킴으로써, 컨텐츠 평가 모델의 품질을 보다 개선할 수 있다.

지금까지 도 12 및 도 13을 참조하여, 평가자로부터 획득한 관련도 스코어에 대한 신뢰도 스코어를 추가로 획득하여 컨텐츠 평가 모델의 학습에 이용하는 몇몇 실시예에 대하여 설명하였다.

이하에서는 도 14 및 도 15를 참조하여, 학습이 완료된 컨텐츠 평가 모델을 이용하여 평가 대상 컨텐츠와 자산에 관한 관련도 스코어를 산출하고, 이를 포함한 자산 분석 리포트를 생성하는 과정에 대하여 설명한다.

도 14는 도 4를 참조하여 설명한 관련도 평가 방법의 단계(S40) 및 단계(S50)를 보다 구체적으로 설명하는 도면이다.

도 14를 참조하면, 먼저 단계(S410)에서 기설정된 자산과 관련이 있는 것으로 식별된 복수의 컨텐츠가 수집된다. 기설정된 자산과 컨텐츠 사이의 관련도를 분석하는 구체적인 방법에 대해서는, 예컨대 도 2의 관련 자산 매칭부(150) 및 도 4의 단계(S10)에 관한 설명이 참조될 수 있다.

단계(S420)에서는 상기 복수의 컨텐츠들과 기설정된 자산 사이의 관련도 스코어가 산출된다. 상기 복수의 컨텐츠 각각과 상기 기설정된 자산의 식별자가 컨텐츠 평가 모델에 투입되고, 상기 컨텐츠 평가 모델로부터 출력되는 관련도 스코어가 획득될 수 있다. 상기 컨텐츠 평가 모델은 인공 신경망 기반의 모델로서, 학습 대상 컨텐츠 및 상기 학습 대상 컨텐츠에 레이블링된 관련도 스코어를 이용하여 평가 모델 학습 장치를 통해 지도 학습된 모델일 수 있다. 상기 관련도 스코어는, 전술한 바와 같이, 자산 가격에 미치는 영향력의 방향성을 나타내는 제1 관련도 스코어 및 자산 가격에 미치는 영향력의 크기를 나타내는 제2 관련도 스코어를 포함할 수 있다.

단계(S420)에서 산출된 관련도 스코어는, 특정 컨텐츠(예컨대 뉴스 기사)에서 다루어진 내용(사건, 사고, 발표, 변화, 실적 등)이 상기 기설정된 자산에 긍정적인 또는 부정적인 영향을 미치는지를 나타낼 수 있고, 그러한 영향의 크기가 강한 중요한 내용인지, 또는 영향의 크기가 보통 수준인지, 또는 영향의 크기가 미미한지를 나타낼 수 있다. 전술한 바와 같이 컨텐츠 평가 모델에 의해 산정된 관련도 스코어가 컨텐츠 자체와 함께 일반 투자자들에게 제공되어, 고도의 전문 지식이나 통찰력을 갖추지 못한 투자자들도, 컨텐츠에 담긴 내용이 암시하는 바가 무엇인지, 그리고 특정 자산의 가격에 어떤 영향을 미칠지를 이해한 상태로, 투자 대상 자산을 선택하거나 자산의 취득 및 매각의 시기를 결정할 수 있게 된다.

다시 도 14를 참조하면, 단계(S510) 및 단계(S520)는 도 4에 도시된 관련도 스코어를 포함하는 자산 분석 리포트 생성 단계(S50)의 일부로서 수행될 수 있다.

먼저 단계(S510)에서는 단계(S420)에서 산출된 관련도 스코어가 기설정된 조건을 만족하는지 판정되고, 조건이 만족된다면 자동으로 자산 분석 리포트가 생성될 수 있다. 여기서 기설정된 조건이란, 일정 기간 동안 수집된 컨텐츠들과 특정 자산(예컨대 관심 자산) 사이의 관련도 스코어를 산출한 결과, 상기 자산에 대한 관련도 스코어의 총합 또는 평균이 기설정된 수치를 초과하는지 여부일 수 있다. 예를 들어, S 기업에 대해 긍정적인 영향을 나타내는 관련도 스코어를 가지는 콘텐츠(예컨대 뉴스 기사)가 평소보다 일정 수준 이상으로 많이 수집되었거나, 반대로 S 기업에 대해 부정적인 영향을 미칠 것으로 평가된 콘텐츠가 평소보다 일정 수준 이상 많이 수집되었는지 여부 등이 상기 기설정된 조건으로 이용될 수 있다.

자산 분석 리포트는, 특정 자산에 영향을 미치는 이벤트에 관한 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 포함할 수 있다. 도 15는 예시적인 자산 분석 리포트(1401)를 나타낸다. 자산 분석 리포트(1401)에는, 특정 자산에 긍정적인 영향을 미치는 이벤트에 관한 컨텐츠들(1411 내지 1413)이 기재된 영역(1410), 상기 자산에 부정적인 영향을 미치는 이벤트에 관한 컨텐츠들(1421 내지 1422)이 기재된 영역(1420)이 포함될 수 있다. 또한 자산 분석 리포트(1401)에는, 상기 이벤트들이 자산에 미치는 영향의 크기에 관한 정보가 더 포함될 수 있다. 또한 자산 분석 리포트(1401)에는, 상기 자산에 긍정적인 영향을 미치는 이벤트의 발생 빈도와 추이를 나타내는 그래프(1430) 및 상기 자산에 부정적인 영향을 미치는 이벤트의 발생 빈도와 추이를 나타내는 그래프(1440)가 더 포함될 수 있다. 또한 자산 분석 리포트(1401)에는, 상기 자산에 긍정적인 영향을 미치는 이벤트의 발생 빈도 또는 추이와 상기 자산에 부정적인 영향을 미치는 이벤트의 발생 빈도 또는 추이에 기초하여 산정된 인덱스 지수가 더 포함될 수 있다. 상기 인덱스 지수는 긍정적인 이벤트와 부정적인 이벤트가 종합적으로 반영된 수치로서, 상기 자산에 대한 투자 여부를 결정하는 과정에서 참고될 수 있는 수치로 이해될 수 있다.

다시 도 14를 참조하면, 단계(S520)에서는 단계(S510)에서 자동으로 생성된 리포트를 관리자에게 디스플레이하고, 관리자로부터 승인 입력을 획득하면, 상기 리포트가 기등록된 사용자들(예컨대 일반 투자자들)에게 발송될 수 있다.

지금까지 도 14를 참조하여 설명된 실시예에서와 같이, 기설정된 자산에 대해 자동으로 수집된 컨텐츠에 기초하여 산정된 관련도 스코어가 기설정된 조건을 만족하면 사람의 개입 없이도 자동으로 자산 분석 리포트가 생성되도록 함으로써, 자산에 영향을 미치는 특정 이벤트의 발생 시점으로부터 최소한의 시간 이내에 해당 이벤트에 관한 컨텐츠 및 그 이벤트가 자산에 미칠 영향을 나타내는 자산 분석 리포트를 사용자들에게 제공할 수 있게 된다.

지금까지 도 1 내지 도 15를 참조하여, 본 발명의 다양한 실시예에 따른 컨텐츠와 자산의 관련도 평가 장치 및 방법에 대하여 설명하였다.

본 발명의 실시예들에 따르면, 학습 대상 컨텐츠 및 이에 관하여 평가자가 스코어링한 관련도 스코어를 이용한 지도 학습 과정을 통해 컨텐츠 평가 모델을 구축해 두고 나면, 상기 학습 대상 컨텐츠 외에 매일 지속적으로 생성되는 뉴스 기사, 공시 문서, IR 문서 등의 새로운 평가 대상 컨텐츠들과 자산 사이의 관련도 스코어를 평가자의 개입 없이 자동으로 산출할 수 있게 된다. 따라서, 전문적인 판단 능력을 갖춘 평가자들이 매일 생성되는 새로운 컨텐츠들을 직접 분석하여 평가하는 종래의 방식과는 비교할 없을 정도로 분석 대상 컨텐츠의 커버리지 및 관련 자산의 커버리지가 넓어지게 된다.

또한 본 발명의 실시예들에 따르면, 공시 문서, IR 문서 및 뉴스 문서 등의 컨텐츠에 포함된 사실 관계 및/또는 작성자의 의견 외에도, 해당 사실 관계가 자산에 미치는 영향의 크기와 방향을 객관화 및 수치화한 관련도 스코어가 일반 투자자 등에게 제공될 수 있게 된다. 이러한 정보에 기초하여, 고도의 전문 지식이나 통찰력을 갖추지 못한 투자자들도, 투자 대상 자산을 선택하거나 자산의 취득 및 매각의 시기를 결정하는데 도움을 받을 수 있게 된다.

또한 본 발명의 실시예들에 따르면, 컨텐츠의 분석에 소요되는 시간이 단축되므로, 특정 자산에 영향을 미치는 뉴스가 발생하면 지체없이 상기 자산에 미치는 영향의 방향과 크기를 나타내는 관련도 스코어를 산출하여, 투자자들이 참고할 수 있도록 적시에 제공할 수 있게 된다.

또한 본 발명의 실시예들에 따르면, 특정 자산에 영향을 미치는 이벤트에 관한 뉴스 기사 등의 컨텐츠, 각 컨텐츠가 상기 특정 자산에 미치는 영향의 크기와 방향, 특정 자산에 영향을 미치는 이벤트의 발생 빈도 및 추이 등의 정보를 자산 분석 리포트에 추가로 포함하여 투자자들에게 제공할 수 있게 된다. 투자자들은 자산에 관한 애널리스트의 의견 외에도 해당 자산에 영향을 미치는 것으로 분석된 이벤트들의 내용과 발생 추이 등을 함께 참고할 수 있으므로, 자산에 관한 투자 전략 수립에 있어서 자산 분석 리포트를 보다 다면적인 참고 자료로서 활용할 수 있게 된다.

또한 본 발명의 실시예들에 따르면, 기설정된 특정 자산에 대해 자동으로 수집된 컨텐츠에 기초하여 산정된 관련도 스코어가 기설정된 조건을 만족하면 사람의 개입 없이도 자동으로 자산 분석 리포트가 생성되도록 함으로써, 자산에 영향을 미치는 특정 이벤트의 발생 시점으로부터 최소한의 시간 이내에 자산 분석 리포트를 사용자들에게 제공할 수 있게 된다.

이하에서는, 도 16을 참조하여, 본 발명의 몇몇 실시예들에 컨텐츠와 자산의 관련도 평가 장치(10)를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)에 대하여 설명하도록 한다.

도 16은 본 발명의 몇몇 실시예들에 따른 컨텐츠와 자산의 관련도 평가 장치(10)를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)를 나타내는 하드웨어 구성도이다.

도 16에 도시된 바와 같이, 컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 상기 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 10에는 본 발명의 실시예와 관련 있는 구성 요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 16에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1530)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.

버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공한다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.

스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다.

스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(1591)은 메모리(1530)에 로드될 때 프로세서(1510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.

위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 발명의 몇몇 실시예들에 따른 컨텐츠와 자산의 관련도 평가 장치(10)가 구현될 수 있다.

지금까지 도 1 내지 도 16을 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 1 내지 도 16을 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 컴퓨팅 장치에서 수행되는 방법으로서,
   학습 대상 컨텐츠와 자산과의 관련도를 나타내는 관련도 스코어를 획득하는 단계; 및
   상기 학습 대상 컨텐츠 및 상기 획득된 관련도 스코어를 컨텐츠 평가 모델에 투입하여, 상기 컨텐츠 평가 모델을 지도 학습시키는 단계
   를 포함하되,
   상기 관련도 스코어를 획득하는 단계는,
   상기 학습 대상 컨텐츠를 적어도 일부 포함하는 복수의 질문을 디스플레이하는 단계; 및
   상기 복수의 질문에 대하여 평가자로부터 획득된 답변에 기초하여, 상기 학습 대상 컨텐츠와 상기 자산과의 상기 관련도 스코어를 산정하는 단계
   를 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
2. 제1항에 있어서,
   상기 복수의 질문은 이분형 질문(Yes/No Question)인,
   컨텐츠와 자산의 관련도 평가 방법.
3. 제1항에 있어서,
   상기 컨텐츠 평가 모델을 이용하여, 평가 대상 컨텐츠와 상기 자산의 관련도 스코어를 산출하는 단계
   를 더 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
4. 제1항에 있어서,
   상기 관련도 스코어는, 자산 가격에 미치는 영향력의 크기를 나타내는 제1 관련도 스코어 및 자산 가격에 미치는 영향력의 방향성을 나타내는 제2 관련도 스코어를 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
5. 제1항에 있어서,
   상기 관련도 스코어를 획득하는 단계는,
   상기 학습 대상 컨텐츠의 적어도 일부를 디스플레이하는 단계;
   상기 학습 대상 컨텐츠와 매칭된 자산의 식별자를 디스플레이하는 단계; 및
   상기 관련도 스코어를 입력받기 위한 사용자 인터페이스를 상기 학습 대상 컨텐츠와 동일한 화면에 디스플레이하는 단계
   를 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
6. 제1항에 있어서,
   상기 컨텐츠 평가 모델을 지도 학습시키는 단계는,
   획득된 관련도 스코어의 신뢰도를 나타내는 신뢰도 스코어를 상기 컨텐츠 평가 모델에 투입하는 단계를 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
7. 제1항에 있어서,
   상기 관련도 스코어를 획득하는 단계는,
   복수의 학습 대상 컨텐츠를 복수의 평가자들에게 배분하는 단계;
   상기 복수의 평가자들로부터 상기 복수의 학습 대상 컨텐츠에 대한 상기 관련도 스코어를 획득하는 단계; 및
   상기 복수의 평가자들 중 제1 평가자로부터 획득된 관련도 스코어를 조정하는 단계
   를 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
8. 제3항에 있어서,
   상기 산출된 관련도 스코어를 포함하는 자산 분석 리포트를 생성하는 단계
   를 더 포함하는,
   컨텐츠와 자산의 관련도 평가 방법.
9. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하는, 컨텐츠와 자산의 관련도 평가 장치.
10. 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항의 컨텐츠와 자산의 관련도 평가 방법을 수행하도록 하는 컴퓨터 프로그램이 저장된, 컴퓨터 판독 가능한 비일시적 기록 매체.

Images