KR102078627B1 - 사용자-입력 컨텐츠와 연관된 실시간 피드백 정보 제공 방법 및 시스템 - Google Patents
사용자-입력 컨텐츠와 연관된 실시간 피드백 정보 제공 방법 및 시스템 Download PDFInfo
- Publication number
- KR102078627B1 KR102078627B1 KR1020180064863A KR20180064863A KR102078627B1 KR 102078627 B1 KR102078627 B1 KR 102078627B1 KR 1020180064863 A KR1020180064863 A KR 1020180064863A KR 20180064863 A KR20180064863 A KR 20180064863A KR 102078627 B1 KR102078627 B1 KR 102078627B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- feedback information
- input
- user terminal
- text
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000010801 machine learning Methods 0.000 claims abstract description 71
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000012552 review Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Operations Research (AREA)
- Information Transfer Between Computers (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
사용자 단말로부터의 컨텐츠의 입력을 감지하고, 인공지능에 기반한 기계 학습의 결과에 기반하여 입력되는 컨텐츠를 분석하고, 분석의 결과에 기반하여, 입력되는 컨텐츠와 연관된 피드백 정보를 생성하여 사용자 단말에 제공하는 방법을 제공한다.
Description
실시예들은 컨텐츠와 연관된 피드백 정보를 제공하는 방법 및 시스템에 관한 것으로, 특히, 사용자 단말로부터 입력되는 컨텐츠를 감지하고 입력이 감지되는 컨텐츠와 연관된 피드백 정보를 컨텐츠의 입력에 따라 실시간으로 제공하는 방법 및 시스템과 관련된다.
영화를 비롯한 컨텐츠나 각종 서비스에 대해, 해당 컨텐츠 또는 서비스를 시청 또는 경험한 사용자는 코멘트(또는 단문) 및 평점을 통해 자신이 이용한 컨텐츠 또는 서비스를 평가할 수 있다. 이러한 사용자에 의한 평가는 다른 사용자들에게 공개됨으로써, 다른 사용자들이 해당 컨텐츠 또는 서비스의 이용 여부를 결정함에 있어서 도움이 될 수 있다.
이러한 컨텐츠 또는 서비스에 대해 사용자가 코멘트 및 평점을 입력하기 위해서는, 사용자가 먼저 자신의 사용자 단말을 사용하여 코멘트를 입력하고, 추가적으로, 평점을 입력하는 것이 요구되었다. 즉, 사용자가 컨텐츠 또는 서비스를 평가하기 위해서는 구체적인 평가의 내용을 텍스트로 입력하는 것 외에, 추가적으로, 자신이 생각하는 컨텐츠 또는 서비스에 대한 평점을 입력하는 것이 요구되었다.
영화에 대해 평점을 입력하기 위해서는, 먼저 글을 입력하고 나서 추가로 별점을 부여해야 하므로, 사용자의 단문의 입력 및 평점의 입력의 두 가지의 사용자 입력이 요구된다.
한국등록특허 제10-1690055호(공고일 2016년 12월 27일)는 키워드 기반 리뷰 서비스 시스템에 관한 것으로, 사용자가 웹/앱 서비스, 게임, 도서, 영화, 음악, 사람, 학원, 음식, 맛집, 호텔, 펜션, 자동차, 가전제품 등에 대한 경험을 바탕으로 웹 또는 앱 상에서 특정 키워드에 대해 리뷰를 작성하고, 이를 통해 다른 사용자들의 정보 획득 및 상품 선정에 있어서 도움을 줄 수 있도록 하는 키워드 기반 리뷰 서비스 시스템을 기재하고 있다.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
일 실시예는, 데이터베이스에 저장된 데이터를 사용하여 수행된 기계 학습의 결과에 기반하여, 사용자 단말로부터 입력되는 컨텐츠를 실시간으로 분석하고, 분석의 결과에 따라 상기 입력되는 컨텐츠와 연관된 피드백 정보를 사용자 단말에 실시간으로 제공하는 방법 및 시스템을 제공할 수 있다.
일 실시예는, 사용자 단말로부터 입력되는 텍스트를 소정의 단위(예컨대, 문자 단위)로 수신하여 기계 학습의 결과에 기반하여 실시간으로 분석하고, 상기 실시간으로의 분석의 결과에 따라 변화하는 피드백 정보를 사용자 단말에 제공하는 방법 및 시스템을 제공할 수 있다.
일 실시예는, 데이터베이스에 저장된 소정의 컨텐츠/서비스에 대한 사용자들로부터의 코멘트들 및 평점들을 기계 학습한 결과에 기반하여, 사용자 단말로부터 입력되는 소정의 컨텐츠/서비스에 대한 코멘트와 연관된 평점을 자동으로 계산하여 제공하는 방법 및 시스템을 제공할 수 있다.
일 측면에 있어서, 사용자 단말로부터의 제1 컨텐츠의 입력을 감지하는 단계, 데이터베이스에 저장된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 상기 제1 컨텐츠를 실시간으로 분석하는 단계, 상기 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성하는 단계 및 상기 생성된 피드백 정보를 상기 사용자 단말에 제공하는 단계를 포함하는, 피드백 정보 제공 방법이 제공된다.
상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 각각, 상기 데이터베이스에 기 저장된, 소정의 컨텐츠 또는 소정의 서비스에 대한 사용자들로부터의 코멘트들 및 상기 코멘트들과 연관된 평점들일 수 있다.
상기 제1 컨텐츠 및 상기 제1 컨텐츠와 연관된 피드백 정보는 각각 상기 소정의 컨텐츠 또는 소정의 서비스에 대한 상기 사용자 단말의 사용자로부터의 코멘트 및 상기 코멘트와 연관된 평점일 수 있다.
상기 제1 컨텐츠는 상기 사용자 단말로부터 입력되는 텍스트를 포함할 수 있다.
상기 분석하는 단계는, 상기 사용자 단말로부터 입력되는 상기 텍스트를 소정의 단위로 수신하는 단계 및 상기 소정의 단위로 수신된 텍스트를 상기 기계 학습의 결과에 기반하여 실시간으로 분석하는 단계를 포함할 수 있다.
상기 생성되는 피드백 정보는 상기 실시간으로의 분석의 결과에 따라 변화할 수 있다.
상기 실시간으로 분석하는 단계는 상기 텍스트가 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 판정하는 단계를 포함할 수 있다.
상기 생성되는 피드백 정보에는 상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보가 포함될 수 있다.
상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보는 상기 텍스트의 등록 또는 업로드가 제한됨을 나타내는 정보 및 상기 텍스트가 상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지에 따라 시각적으로 변화하는 인디케이터 중 적어도 하나를 포함할 수 있다.
상기 실시간으로 분석하는 단계는 상기 텍스트의 성격을 판정하는 단계를 포함할 수 있다.
상기 생성되는 피드백 정보는, 판정된 상기 텍스트의 성격에 따라 시각적으로 변화하는 인디케이터를 포함할 수 있다.
상기 실시간으로 분석하는 단계는 상기 텍스트의 카테고리를 판정하는 단계를 포함할 수 있다.
상기 생성되는 피드백 정보는, 판정된 상기 텍스트의 카테고리를 나타내는 정보를 포함할 수 있다.,
상기 실시간으로 분석하는 단계는 상기 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정하는 단계를 포함할 수 있다.
상기 생성되는 피드백 정보는, 판정된 상기 사용자군을 나타내는 정보를 포함할 수 있다.
상기 피드백 정보는 상기 분석의 결과에 따라, 소정의 형태로 디스플레이되는 스코어, 입력되는 상기 제1 컨텐츠에 대한 시각적인 변경, 입력되는 상기 제1 컨텐츠의 배경에 대한 시각적인 변경, 시각적으로 변화하는 슬라이드 바, 시각적으로 변화하는 계측기 바늘, 시각적으로 변화하는 상기 제1 컨텐츠와 연관된 사용자 인터페이스, 시각적으로 변화하는 이모티콘, 및 시각적으로 변화하는 아이콘 중 적어도 하나를 포함할 수 있다.
상기 제1 컨텐츠는 상기 사용자 단말로부터 다른 사용자 단말에 대해 전송하기 위한 메시지일 수 있다.
상기 피드백 정보는 상기 메시지를 수신한 상기 다른 사용자 단말의 사용자가 상기 메시지의 전체 내용을 열람하지 않더라도, 상기 메시지의 성격 또는 적어도 일부의 내용을 인지할 수 있도록 하는 정보를 포함할 수 있다.
상기 기계 학습은 노이즈를 더 포함하는 데이터를 사용하여 수행되거나, 상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보 중 일부의 정보가 삭제된 데이터를 사용하여 수행될 수 있다.
상기 기계 학습은, 상기 코멘트들 각각에 대해, 각 코멘트를 유니코드 파싱을 통해 분리하는 과정 및 상기 각 코멘트의 분리된 요소들 각각을 인덱스화하는 과정을 포함하는 전처리 과정을 포함할 수 있다.
상기 기계 학습은, 상기 코멘트를 구성하는 시퀀스가 포함하는 적어도 하나의 아이템으로 구성되는 청크에 대해, 상기 청크의 데이터를 삭제하여 상기 데이터를 없는 것처럼 처리하여 학습을 수행하는 드롭 청크(Drop Chunk) 정규화 알고리즘 및 상기 청크 내의 아이템을 랜덤으로 배치하는 퍼뮤트 청크(Permute Chunk) 정규화 알고리즘 중 적어도 하나를 사용하는 과정을 포함할 수 있다.
상기 피드백 정보 제공 방법은 상기 사용자 단말에 제공된 피드백 정보에 대해, 상기 사용자 단말로부터의 수정 정보를 수신하는 단계를 더 포함할 수 있다.
상기 수정 정보가 반영된 피드백 정보 및 상기 사용자 단말에 의해 입력된 상기 제1 컨텐츠는 상기 기계 학습의 수행에 있어서 사용될 수 있다.
다른 일 측면에 있어서, 사용자 단말로부터의 제1 컨텐츠의 입력을 감지하는 컨텐츠 입력 감지부, 데이터베이스에 저장된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 상기 제1 컨텐츠를 실시간으로 분석하는 컨텐츠 분석부, 상기 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성하는 피드백 정보 생성부 및 상기 생성된 피드백 정보를 상기 사용자 단말에 제공하는 피드백 정보 제공부를 포함하는, 피드백 정보 제공 시스템이 제공된다.
상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 각각, 상기 데이터베이스에 기 저장된, 소정의 컨텐츠 또는 소정의 서비스에 대한 사용자들로부터의 코멘트들 및 상기 코멘트들과 연관된 평점들일 수 있다.
상기 제1 컨텐츠 및 상기 제1 컨텐츠와 연관된 피드백 정보는 각각 상기 소정의 컨텐츠 또는 소정의 서비스에 대한 상기 사용자 단말의 사용자로부터의 코멘트 및 상기 코멘트와 연관된 평점일 수 있다.
상기 제1 컨텐츠는 상기 사용자 단말로부터 입력되는 텍스트를 포함할 수 있다.
상기 컨텐츠 분석부는, 상기 사용자 단말로부터 입력되는 상기 텍스트를 소정의 단위로 수신하고, 상기 소정의 단위로 수신된 텍스트를 상기 기계 학습의 결과에 기반하여 실시간으로 분석할 수 있다.
상기 피드백 정보 생성부는 상기 실시간으로의 분석의 결과에 따라 변화하는 피드백 정보를 생성할 수 있다.
사용자 단말로부터 입력되는 소정의 컨텐츠/서비스에 대한 코멘트와 연관된 평점이 자동으로 계산하여 제공됨으로써, 사용자는 코멘트를 입력하고 나서 추가로 평점을 부여할 필요가 없게 되고, 따라서, 컨텐츠/서비스에 대한 평가에 있어서의 사용자의 입력을 줄일 수 있다.
사용자 단말로부터 입력되는 컨텐츠의 내용에 따라, 해당 컨텐츠와 연관된 피드백 정보가 자동으로 변화되어 제공됨으로써, 컨텐츠 입력 및 제작에 있어서의 사용자의 흥미를 높일 수 있다.
사용자 단말로부터 입력되는 컨텐츠가 포함하는 내용에 따라 사용자 단말에 실시간으로 제공되는 피드백 정보를 통해, 사용자에 의한 해당 컨텐츠의 등록 또는 업로드가 제한되거나, 컨텐츠에 등록 또는 업로드가 제한되는 입력 제한 정보가 포함되어 있음을 사용자에게 실시간으로 통지할 수 있다.
도 1은 일 실시예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠에 따라 제1 컨텐츠와 연관된 피드백 정보를 제공하는 방법을 나타낸다.
도 2는 일 실시예에 따른, 피드백 정보 제공 시스템 및 사용자 단말의 구조를 나타낸다.
도 3은 일 실시예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠에 따라 제1 컨텐츠와 연관된 피드백 정보를 제공하는 방법을 나타내는 흐름도이다.
도 4는 일 예에 따른, 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하는 방법을 나타내는 흐름도이다.
도 5 내지 도 8은 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하여 사용자 단말에 제공하는 예시를 나타낸다.
도 9는 일 예에 따른, 사용자 단말로부터 다른 사용자 단말에 대해 전송하는 메시지가 피드백 정보를 포함하는 예시를 나타낸다.
도 10은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습(machine learning)에 있어서 이용되는 데이터세트 및 전처리 과정을 나타낸다.
도 11은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습에 있어서 이용되는 방법론(methodology)들을 나타내고, 도 12는 적용한 방법론에 따른 기계 학습의 성능 평가를 나타낸다.
도 2는 일 실시예에 따른, 피드백 정보 제공 시스템 및 사용자 단말의 구조를 나타낸다.
도 3은 일 실시예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠에 따라 제1 컨텐츠와 연관된 피드백 정보를 제공하는 방법을 나타내는 흐름도이다.
도 4는 일 예에 따른, 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하는 방법을 나타내는 흐름도이다.
도 5 내지 도 8은 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하여 사용자 단말에 제공하는 예시를 나타낸다.
도 9는 일 예에 따른, 사용자 단말로부터 다른 사용자 단말에 대해 전송하는 메시지가 피드백 정보를 포함하는 예시를 나타낸다.
도 10은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습(machine learning)에 있어서 이용되는 데이터세트 및 전처리 과정을 나타낸다.
도 11은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습에 있어서 이용되는 방법론(methodology)들을 나타내고, 도 12는 적용한 방법론에 따른 기계 학습의 성능 평가를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠에 따라 제1 컨텐츠와 연관된 피드백 정보를 제공하는 방법을 나타낸다.
도 1은 사용자 단말(110)에 의해 입력되는 제1 컨텐츠에 대해, 피드백 정보 제공 시스템(100)이 사용자 단말(110)에 의한 제1 컨텐츠의 입력을 감지하고, 입력되는 제1 컨텐츠를 실시간으로 분석하여 제1 컨텐츠와 연관된 피드백 정보를 사용자 단말(110)에 제공하는 방법을 설명한다.
사용자 단말(110)은 제1 컨텐츠를 입력하고 피드백 정보 제공 시스템(100) 또는 기타 컨텐츠 등록 서버(미도시)에 제1 컨텐츠를 등록하기 위한 전자 장치일 수 있다.
제1 컨텐츠는 사용자 단말(110)의 사용자에 의해 입력되는 컨텐츠(사용자-입력 컨텐츠)로서 텍스트를 포함할 수 있다. 예컨대, 제1 컨텐츠는 영화와 같은 특정한 컨텐츠 또는 서비스를 평가하기 위한 것으로서, 상기 특정한 컨텐츠 또는 서비스를 평가하기 위한 코멘트를 포함할 수 있다.
피드백 정보 제공 시스템(100)은 사용자 단말(110)에 의한 제1 컨텐츠의 입력을 감지하고, 입력되는 제1 컨텐츠를 실시간으로 분석하여 제1 컨텐츠와 연관된 피드백 정보를 생성하는 장치일 수 있다. 피드백 정보 제공 시스템(100)은 컨텐츠 및 피드백 정보 데이터베이스(120)(이하, 데이터베이스라고 함)에 저장된 제2 컨텐츠 및 제2 컨텐츠와 연관된 피드백 정보에 기반한 기계 학습의 결과에 기반하여 제1 컨텐츠를 분석함으로써 제1 컨텐츠와 연관된 피드백 정보를 생성할 수 있다. 피드백 정보 제공 시스템(100)은 사용자 단말(110)로부터 입력되는 제1 컨텐츠의 실시간으로의 분석에 기반하여, 상기 실시간으로의 분석에 따라 변화하는 피드백 정보를 생성할 수 있다. 피드백 정보 제공 시스템(100)은 생성된 피드백 정보를 사용자 단말(110)로 제공할 수 있다. 제1 컨텐츠와 연관된 피드백 정보는, 예컨대, 특정한 컨텐츠 또는 서비스를 평가하기 위한 평점을 포함할 수 있다.
데이터베이스(120)는 사용자들로부터 기 입력된 컨텐츠 및 그것과 연관된 피드백 정보를 각각 제2 컨텐츠 및 제2 컨텐츠와 연관된 피드백 정보로서 저장할 수 있다. 예컨대, 데이터베이스(120)는 특정한 컨텐츠 또는 서비스에 대한 사용자들의 코멘트들 및 해당 코멘트들과 연관된 평점들을 저장할 수 있다.
도시된 예시를 참조하여 실시예를 더 자세하게 설명한다. 먼저, 사용자는 사용자 단말(110)을 통해 특정한 영화에 대해 "나름 재밌는 ..."와 같은 코멘트를 입력할 수 있다. 피드백 정보 제공 시스템(100)은 이러한 사용자 단말(110)에 의한 코멘트의 입력을 감지할 수 있고, 입력되는 코멘트를 실시간으로 분석할 수 있다. 피드백 정보 제공 시스템(100)은 데이터베이스(120)에 기 저장된 상기 특정 영화(또는 영화 카테고리 전체)에 대한 사용자들의 코멘트들 및 해당 코멘트들과 연관된 평점들을 사용하여 수행된 기계 학습의 결과를 사용하여 사용자 단말(110)에 의해 입력된 코멘트를 분석할 수 있다. 피드백 정보 제공 시스템(100)은 코멘트를 분석한 결과에 따라 코멘트에 대응하는 피드백 정보로서 평점(130)을 생성할 수 있고, 생성된 평점(130)을 사용자 단말(110)에 전달할 수 있다. 사용자 단말(110)은 전달 받은 평점(130)을 예컨대, 도시된 별점과 같은 형태로 출력할 수 있다.
따라서, 사용자 단말(110)로부터 입력되는 코멘트와 연관된 평점(130)이 사용자가 별도로 입력할 필요가 없이 자동으로 계산되어 사용자 단말(110)에게 제공될 수 있다. 또한, 피드백 정보 제공 시스템(100)은 입력되는 코멘트를 실시간으로 분석하여 평점(130)을 생성하므로, 평점(130)은 사용자 단말(110)로부터의 코멘트 입력에 따라 변화할 수 있다. 말하자면, 평점(130)은 입력되는 코멘트의 내용에 따라 적응적으로 변화하여 계산되어 사용자 단말(110)에 출력될 수 있다. 예컨대, 데이터베이스(120)에 저장된 기존의 데이터에 포함된 코멘트들과, 이와 연관된 평점들 간의 간의 관계가 딥러닝에 기반하여 기계 학습되고, 기계 학습된 결과를 사용하여, 사용자 단말(110)로부터 코멘트가 새롭게 입력되는 단계에서, 코멘트의 각 문자가 입력될 때마다 실시간으로 해당 코멘트와 연관된 평점이 계산되어 사용자 단말에 제공될 수 있다.
피드백 정보 제공 시스템(100) 및 사용자 단말(110)의 세부적인 구성과, 제1 컨텐츠 및 피드백 정보의 보다 구체적인 예시와 관련하여서는 후술될 도 2 내지 도 9를 참조하여 더 자세하게 설명된다.
도 2는 일 실시예에 따른, 피드백 정보 제공 시스템 및 사용자 단말의 구조를 나타낸다.
도 2를 참조하여, 전술된 피드백 정보 제공 시스템(100)과 사용자 단말(110)의 세부적인 구성에 대해 더 자세하게 설명한다.
피드백 정보 제공 시스템(100)은, 사용자 단말(110)에 의해 입력되는 제1 컨텐츠를 분석하고 제1 컨텐츠와 연관된 피드백 정보를 생성 및 제공하는 서버, 또는 기타 컴퓨팅 장치일 수 있다. 예컨대, 피드백 정보 제공 시스템(100)은 사용자 단말(110)로부터 입력되는 제1 컨텐츠의 등록을 관리하고, 제1 컨텐츠와 피드백 정보를 연관하여 저장 및/또는 관리하는 서버일 수 있다. 다만, 제1 컨텐츠의 등록 및 관리는 피드백 정보 제공 시스템(100)이 아닌 다른 외부의 서버에 의해 수행될 수도 있다.
피드백 정보 제공 시스템(100)은 통신부(210) 및 제어부(220)를 포함할 수 있다.
통신부(210)는 피드백 정보 제공 시스템(100)이 다른 서버나 사용자 단말(110)과 통신하기 위한 장치일 수 있다. 말하자면, 통신부(210)는 다른 서버나 사용자 단말(110)에 대해 데이터 및/또는 정보를 전송/수신하는, 피드백 정보 제공 시스템(100)의 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.
제어부(220)는 피드백 정보 제공 시스템(100)의 구성 요소들을 관리할 수 있고, 피드백 정보 제공 시스템(100)가 사용하는 프로그램 또는 어플리케이션을 실행할 수 있다. 예컨대, 제어부(220)는, 통신부(210)를 통해 수신되는 제1 컨텐츠를 기계 학습의 결과를 사용하여 분석하고, 분석의 결과에 따라 제1 컨텐츠와 연관된 피드백 정보를 생성하기 위해 사용되는 프로그램 또는 어플리케이션을 실행할 수 있고, 상기 프로그램 또는 어플리케이션의 실행 및 데이터의 처리 등에 필요한 연산을 처리할 수 있다. 제어부(220)는 피드백 정보 제공 시스템(100)의 적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다.
제어부(220)는 컨텐츠 입력 감지부(222), 컨텐츠 분석부(224), 피드백 정보 생성부(226) 및 피드백 정보 제공부(228)를 포함할 수 있다. 제어부(220)의 구성들(222 내지 228)의 각각은 하나 이상의 소프트웨어 모듈 및/또는 하드웨어 모듈로 구현될 수 있다.
컨텐츠 입력 감지부(222)는 사용자 단말(110)로부터의 제1 컨텐츠의 입력을 감지할 수 있다.
컨텐츠 분석부(224)는 데이터베이스(120)에 저장된 제2 컨텐츠 및 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 사용자 단말(110)로부터 입력되는 제1 컨텐츠를 실시간으로 분석할 수 있다.
데이터베이스(120)에 저장된 데이터를 사용하여 수행되는 기계 학습은 컨텐츠 분석부(224)에 의해 수행되거나, 피드백 정보 제공 시스템(100)의 다른 구성에 의해 수행될 수 있다. 또는, 기계 학습은 피드백 정보 제공 시스템(100)와는 별개의 서버/장치에서 수행될 수도 있고, 컨텐츠 분석부(224)는 해당 기계 학습의 결과를 제1 컨텐츠 분석에 활용할 수도 있다. 기계 학습 방법은 예컨대, 딥러닝 방식을 포함할 수 있고, 여하한 인공지능에 기반한 기계 학습 방법이 실시예의 기계 학습에 있어서 사용될 수 있다. 구체적인 기계 학습 방법 및 그 전처리 과정에 대해서는 후술될 도 10 내지 12를 참조하여 더 자세하게 설명된다.
피드백 정보 생성부(226)는 컨텐츠 분석부(224)에 의한 분석의 결과에 기반하여, 제1 컨텐츠와 연관된 피드백 정보를 생성할 수 있다. 피드백 정보 생성부(226)는 컨텐츠 분석부(224)에 의한 제1 컨텐츠에 대한 실시간 분석에 따라 제1 컨텐츠와 연관된 피드백 정보를 실시간으로 생성할 수 있다. 말하자면, 제1 컨텐츠와 연관된 피드백 정보는 실시간으로 입력되는 제1 컨텐츠의 내용에 따라 변화할 수 있다.
피드백 정보 제공부(228)는 생성된 피드백 정보를 통신부(210)를 통해 사용자 단말(110)에 제공할 수 있다.
제어부(220)의 구성들(222 내지 228)의 더 구체적인 기능 및 동작에 대해서는, 후술될 도 3 내지 도 9를 참조하여 더 자세하게 설명한다.
전술된 제어부(220)의 구성들(222 내지 228)은 적어도 하나의 프로세서 내에서 구현될 수 있는 바, 구성들(222 내지 228)의 기능 및 동작은 적어도 하나의 프로세서에 의해 실행될 수 있다.
사용자 단말(110)은 제1 컨텐츠를 입력하고, 피드백 정보 제공 시스템(100)로부터 피드백 정보를 수신하며, 피드백 정보 제공 시스템(100) 또는 기타 컨텐츠 등록 서버(미도시)에 제1 컨텐츠를 등록하기 위한 전자 장치일 수 있다. 사용자 단말(110)은 입력/등록된 제1 컨텐츠 및 피드백 정보 제공 시스템(100)으로부터 수신된 피드백 정보를 출력할 수 있다. 예컨대, 사용자 단말(110)은 스마트 폰, PC(personal computer), 노트북 컴퓨터(laptop computer), 랩탑 컴퓨터(laptop computer), 태블릿(tablet), 사물 인터넷(Internet Of Things) 기기, 또는 웨어러블 컴퓨터(wearable computer) 등의 사용자가 사용하는 단말일 수 있다.
사용자 단말(110)은 통신부(230) 및 제어부(240)를 포함할 수 있다.
통신부(230)는 사용자 단말(110)이 피드백 정보 제공 시스템(100)이나 다른 사용자 단말과 통신하기 위한 장치일 수 있다. 말하자면, 통신부(230)는 피드백 정보 제공 시스템(100)나 다른 사용자 단말에 대해 데이터 및/또는 정보를 전송/수신하는, 사용자 단말(110)의 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.
제어부(240)는 사용자 단말(110)의 구성 요소들을 관리할 수 있고, 사용자 단말(110)이 사용하는 프로그램 또는 어플리케이션을 실행할 수 있다. 예컨대, 제어부(240)는 제1 컨텐츠를 입력 및 등록하기 위해 요구되는 프로그램 또는 어플리케이션을 실행할 수 있고, 상기 프로그램 또는 어플리케이션의 실행 및 데이터의 처리 등에 필요한 연산을 처리할 수 있다. 제어부(240)는 사용자 단말(110)의 적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다.
도시되지는 않았으나, 사용자 단말(110)은 입력되는 제1 컨텐츠 및 피드백 정보 제공 시스템(100)으로부터 수신된 피드백 정보를 출력하기 위한 표시부를 포함할 수 있다. 표시부는 예컨대, 터치 스크린을 포함할 수 있으며, 이 경우, 표시부는 사용자로부터의 제1 컨텐츠의 입력받기 위한 입력부의 기능을 포함하도록 구성될 수 있다.
또한, 도시되지는 않았으나, 사용자 단말(110)은 데이터 또는 정보를 저장하기 위한 장치로서 저장부를 포함할 수 있다. 저장부는 여하한 메모리 또는 스토리지 장치를 포함할 수 있다. 저장부에는 제어부(240)가 실행하는 프로그램 또는 어플리케이션 및 이와 관련된 정보가 저장될 수 있다.
데이터베이스(120)는 전술된 기계 학습을 수행하기 위해 사용되는 데이터를 저장할 수 있다. 데이터베이스(120)는 제1 컨텐츠의 분석 및 제1 컨텐츠와 연관된 피드백 정보의 생성을 위해 활용될 수 있는 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 포함할 수 있다. 예컨대, 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 제1 컨텐츠의 분석하여 제1 컨텐츠와 연관된 피드백 정보를 생성하기 위해 사용될 수 있는 빅데이터(big data)일 수 있다.
사용자 단말(110), 피드백 정보 제공 시스템(100) 및 데이터베이스(120) 간의 상호작용에 의해, 제1 컨텐츠가 분석되고 피드백 정보가 생성 및 제공되는 상세한 방법에 대해서는 후술될 도 3 내지 9를 참조하여 더 자세하게 설명된다.
이상, 도 1을 참조하여 전술된 기술적 특징에 대한 설명은, 도 2에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 3은 일 실시예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠에 따라 제1 컨텐츠와 연관된 피드백 정보를 제공하는 방법을 나타내는 흐름도이다.
단계(310)에서, 컨텐츠 입력 감지부(222)는 사용자 단말(110)로부터의 제1 컨텐츠의 입력을 감지할 수 있다. 제1 컨텐츠는 사용자 단말(110)로부터 입력되는 텍스트를 포함할 수 있고, 컨텐츠 입력 감지부(222)는 텍스트의 입력을 감지함으로써 제1 컨텐츠의 입력을 감지할 수 있다. 예컨대, 컨텐츠 입력 감지부(222)는 사용자 단말(100)이 특정한 컨텐츠 또는 서비스를 평가하기 위한 코멘트를 작성하는지 여부를 판정함으로서 제1 컨텐츠의 입력을 감지할 수 있다.
단계(320)에서, 컨텐츠 분석부(224)는 데이터베이스(120)에 저장된 제2 컨텐츠 및 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 사용자 단말(110)로부터 입력되는 제1 컨텐츠를 실시간으로 분석할 수 있다. 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 각각, 데이터베이스(120)에 기 저장된, 특정한(또는 소정의) 컨텐츠 또는 서비스에 대한 사용자들로부터의 코멘트들 및 상기 코멘트들과 연관된 평점들일 수 있다.
단계(330)에서, 피드백 정보 생성부(226)는 단계(320)에 의한 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성할 수 있다. 사용자 단말(110)로부터 입력되는 제1 컨텐츠 및 사용자 단말(110)에의 제공을 위해 생성되는 피드백 정보는 각각 상기 소정의 컨텐츠 또는 서비스에 대한 사용자 단말(110)의 사용자로부터의 코멘트 및 해당 코멘트와 연관된 평점에 대응될 수 있다.
소정의 컨텐츠 또는 서비스는 특정한 카테고리의 컨텐츠 및 해당 특정한 카테고리에 속하는 개별적인 컨텐츠를 포괄할 수 있다. 예컨대, 소정의 컨텐츠 또는 서비스가 "영화"인 경우, 사용자 단말(110)을 통해 사용자가 "영화 A"에 대한 코멘트를 입력하는 경우, 컨텐츠 분석부(224)는, 데이터베이스(120)에 저장된 "영화 전체(또는 영화 A)"에 대한 코멘트들 및 코멘트들과 연관된 평점을 사용하여 수행된 기계 학습의 결과에 기반하여, 사용자가 입력하는 "영화 A"에 대한 코멘트를 분석할 수 있고, 피드백 정보 생성부(226)는 사용자가 입력한 코멘트와 연관된 평점을 계산할 수 있다.
단계(340)에서, 피드백 정보 제공부(228)는 생성된 피드백 정보를 사용자 단말(110)에 제공할 수 있다. 사용자 단말(110)은 수신된 피드백 정보를 입력된 제1 컨텐츠와 함께 출력할 수 있다. 예컨대, 사용자 단말(110)을 통해 입력되는 "영화 A"에 대한 코멘트와 피드백 정보 제공부(228)로부터 제공된 "영화 A"에 대한 평점이 함께 사용자 단말(110)에 출력될 수 있다.
피드백 정보 생성부(226)는 컨텐츠 분석부(224)에 의한 제1 컨텐츠의 실시간으로의 분석에 따라 피드백 정보를 실시간으로 생성할 수 있고, 피드백 정보 제공부(228)는 생성된 피드백 정보를 실시간으로 사용자 단말(110)에 제공할 수 있다. 따라서, 사용자 단말(110)을 통해 출력되는 피드백 정보는 제1 컨텐츠의 입력에 따라 실시간으로 변화할 수 있다.
본 문서에서 사용하는 용어 "실시간"은 실제로 동일한 시점 뿐만아니라 (데이터의 분석 및 처리 시간을 감안한) 실질적으로 거의 동일한 시점을 모두 포괄하는 의미로서 사용되었다.
단계(350)에서, 통신부(210)는 사용자 단말(110)에 제공된 피드백 정보에 대해 사용자 단말(110)로부터의 수정 정보를 수신할 수 있다. 수정 정보는 사용자 단말(110)에 제공된 피드백 정보에 대한 사용자 단말(110)의 사용자에 의한 수정을 나타내는 정보일 수 있다. 예컨대, 사용자는 피드백 정보 제공부(228)로부터 제공된 평점이 자신이 생각하는 의도에 부합하지 않는 경우 평점을 변경할 수 있고, 이러한 평점의 변경에 따른 수정 정보가 사용자 단말(110)로부터 피드백 정보 제공 시스템(100)에 전달될 수 있다.
피드백 정보 제공 시스템(100)은 수신한 수정 정보를 반영된 피드백 정보와, 사용자 단말(110)에 의해 입력된 제1 컨텐츠를 전술한 기계 학습을 수행하기 위한 데이터로서 사용할 수 있다. 이러한 과정을 통해, 이후의 제1 컨텐츠 입력에 따른, 피드백 정보 제공 시스템(100)에 의한 피드백 정보의 제공이 더 적합하게(즉, 제1 컨텐츠를 입력한 사용자의 의도에 더 부합하게) 이루어질 수 있다. 수정 정보의 수신 여부와 관계 없이, 사용자 단말(110)에 피드백 정보와 사용자 단말(110)에 의해 입력된 제1 컨텐츠가 기계 학습을 수행하기 위한 데이터로서 사용할 수 있음은 물론이다.
전술한 단계(320)의 제1 컨텐츠의 실시간으로의 분석 방법을 더 자세하게 설명한다. 단계(320)는 후술될 단계들(322 및 324)을 포함할 수 있다.
단계(322)에서, 컨텐츠 분석부(224)는 사용자 단말(110)로부터 입력되는 제1 컨텐츠에 포함된 텍스트를 소정의 단위로 통신부(210)를 통해 수신할 수 있다. 소정의 단위는 예컨대, 문자(character 또는 sub-character) 단위일 수 있다. 문자는 자음, 모음 또는 특수문자를 의미할 수 있다. 또는, 문자는 ASCII 코드에 대응 가능한 여하한 문자를 의미할 수 있다.
단계(324)에서, 컨텐츠 분석부(224)는 소정의 단위로 수신된 텍스트를 상기 기계 학습의 결과에 기반하여 실시간으로 분석할 수 있다. 이와 같이, 소정의 단위로 수신된 텍스트를 상기 기계 학습의 결과에 기반하여 실시간으로 분석함으로써, 피드백 정보 생성부(226)가 생성하는 텍스트와 연관된 피드백 정보는 상기 실시간으로의 분석의 결과에 따라 변화할 수 있다.
예컨대, 사용자 단말(110)을 통해 제1 컨텐츠로서 특정한 영화에 대한 코멘트가 입력되는 경우에 있어서, 코멘트의 각 문자가 입력될 때마다 실시간으로 피드백 정보로서 평점이 계산되어 사용자 단말(110)에 제공될 수 있다.
제1 컨텐츠와 연관된 피드백 정보의 보다 다양한 유형에 대해서는 후술될 도 4 내지 9를 참조하여 더 자세하게 설명된다.
이상, 도 1 및 도 2를 참조하여 전술된 기술적 특징에 대한 설명은, 도 3에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 4는 일 예에 따른, 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하는 방법을 나타내는 흐름도이다.
도 4를 참조하여, 전술된 컨텐츠 분석부(224)에 의한 제1 컨텐츠에 포함된 텍스트를 기계 학습의 결과에 기반하여 실시간으로 분석하고, 텍스트와 연관된 피드백 정보를 생성하는 방법이 더 자세하게 설명된다.
단계(410-1)에서, 컨텐츠 분석부(224)는 사용자 단말(110)을 통해 입력되는 텍스트가 입력 제한 정보를 포함하는지 여부 또는 입력 제한 정보를 얼마나 포함하는지를 판정할 수 있다. 입력 제한 정보는 텍스트를 포함하는 컨텐츠를 작성함에 있어서 입력 및/또는 등록이 제한되는 정보일 수 있다. 예컨대, 입력 제한 정보는 욕설을 포함하거나 나타내는 단어 또는 표현, 혹은 선정적인 내용을 포함하거나 나타내는 단어 또는 표현일 수 있다.
컨텐츠 분석부(224)는 기계 학습의 결과에 기반하여 사용자 단말(110)을 통해 입력되는 텍스트가 입력 제한 정보를 포함하는지 여부를 판정할 수 있고, 입력 제한 정보를 포함하는 경우에는 입력 제한 정보가 텍스트에 얼마나 포함되어 있는지를 판정할 수 있다.
피드백 정보 생성부(226)는, 단계(410-1)에서의 판정에 따라, 입력 제한 정보를 포함하는지 여부 또는 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보를 포함하는 피드백 정보를 생성할 수 있다.
예컨대, 입력 제한 정보를 포함하는지 여부 또는 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보는 텍스트의 등록 또는 업로드가 제한됨을 나타내는 정보일 수 있다. 또는/추가적으로, 입력 제한 정보를 포함하는지 여부 또는 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보는 텍스트가 상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지에 따라 시각적으로 변화하는 인디케이터를 포함할 수 있다.
입력 제한 정보를 포함하는지 여부 또는 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보 및 인디케이터의 구체적인 예시는 후술될 도 5를 참조하여 더 자세하게 설명된다.
단계(410-2)에서, 컨텐츠 분석부(224)는 사용자 단말(110)을 통해 입력되는 텍스트의 성격을 판정할 수 있다. 텍스트의 성격은 텍스트가 긍정적인 내용 또는 부정적인 내용을 얼마나 포함하는지 여부에 따라 결정될 수 있다. 또는, 컨텐츠 분석부(224)는 텍스트의 전반적인 내용이 긍정적인 것인지 또는 부정적인 것인지 여부를 판정함으로써 텍스트의 성격을 판정할 수 있다. 예컨대, 악플이나, 특정한 컨텐츠 또는 서비스에 대해 부정적인 내용을 나타내는 텍스트(e.g., 영화가 재미없다 등)는 부정적인 성격의 텍스트로 판정될 수 있고, 선플이나, 특정한 컨텐츠 또는 서비스에 대해 긍정적인 내용을 나타내는 텍스트(e.g., 영화가 재미있다 등)는 긍정적인 성격의 텍스트로 판정될 수 있다.
피드백 정보 생성부(226)는 단계(410-2)에 의해 판정된 텍스트의 성격에 따라 시각적으로 변화하는 인디케이터를 포함하는 피드백 정보를 생성할 수 있다.
텍스트의 성격에 따라 시각적으로 변화하는 피드백 정보가 제공되는 예시에 대해서는 후술될 도 6을 참조하여 더 자세하게 설명된다.
단계(410-3)에서, 컨텐츠 분석부(224)는 사용자 단말(110)을 통해 입력되는 텍스트의 카테코리를 판정할 수 있다. 텍스트의 카테고리는 텍스트가 어떠한 목적으로 작성된 것인지 여부에 따라 결정될 수 있다. 예컨대, 텍스트의 카테고리는 영화 리뷰, 상품 리뷰, 메시지, 뉴스 댓글, SNS 포스트 중 어느 하나일 수 있으며, 여기에 제한되지 않는다. 이 때, 컨텐츠 분석부(224)가 텍스트를 분석하기 위해 사용하는 기계 학습의 결과는, 영화 리뷰, 상품 리뷰, 메시지, 뉴스 댓글 또는 SNS 포스트에 해당하는 데이터를 사용한 기계 학습의 결과일 수 있다. 말하자면, 전술된 데이터베이스(120)는 상기의 데이터를 저장하는 데이터베이스를 포함할 수 있다.
피드백 정보 생성부(226)는 단계(410-3)에 의해 판정된 텍스트의 카테고리를 나타내는 정보를 포함하는 피드백 정보를 생성할 수 있다.
텍스트의 카테고리를 나타내는 정보를 포함하는 피드백 정보가 제공되는 예시에 대해서는 후술될 도 7을 참조하여 더 자세하게 설명된다.
단계(410-4)에서, 컨텐츠 분석부(224)는 사용자 단말(110)을 통해 입력되는 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정할 수 있다. 컨텐츠 분석부(224)는 텍스트가 포함하는 내용을 기계 학습의 결과에 기반하여 분석함으로써 해당 내용에 대해 관심을 가질 것으로 예측되는 사용자군을 판정할 수 있다. 예컨대, 고등학교 학교 생활과 관련된 내용이 텍스트에 포함되어 있을 경우, 컨텐츠 분석부(224)는 해당 텍스트에 대해 관심을 가지는 사용자군을 "10대 학생들"로 판정할 수 있다.
피드백 정보 생성부(226)는 단계(410-4)에 의해 판정된 사용자군을 나타내는 정보를 포함하는 피드백 정보를 생성할 수 있다. 말하자면, 사용자 단말(110)을 통해 입력되는 텍스트에 대해 관심을 가질 만한 사용자군이 실시간으로 분석되어 사용자 단말(110)에 제공될 수 있다.
텍스트에 관심을 가질 것으로 예측되는 사용자군을 나타내는 정보를 포함하는 피드백 정보가 제공되는 예시에 대해서는 후술될 도 8을 참조하여 더 자세하게 설명된다.
전술된 단계들(410-1 내지 410-4)을 참조하여 설명한 실시예들은 서로 조합될 수 있다.
한편, 피드백 정보는 컨텐츠 분석부(224)에 의한 제1 컨텐츠의 분석의 결과에 따라, 소정의 형태로 디스플레이되는 스코어, 입력되는 제1 컨텐츠에 대한 시각적인 변경, 입력되는 제1 컨텐츠의 배경에 대한 시각적인 변경, 시각적으로 변화하는 슬라이드 바, 시각적으로 변화하는 계측기 바늘, 시각적으로 변화하는 상기 제1 컨텐츠와 연관된 사용자 인터페이스, 시각적으로 변화하는 이모티콘, 및 시각적으로 변화하는 아이콘 중 적어도 하나를 포함할 수 있고, 여기에 제한되지 않는 여하한 사용자 인터페이스 또는 이미지 기타 컨텐츠를 포함할 수 있다.
이상, 도 1 내지 도 3을 참조하여 전술된 기술적 특징에 대한 설명은, 도 4에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 5 내지 도 8은 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠를 분석하고, 제1 컨텐츠와 연관된 피드백 정보를 생성하여 사용자 단말에 제공하는 예시를 나타낸다.
도 5 내지 도 8을 참조하여서는, 전술된 단계들(410-1 내지 410-4)과 관련된 구체적인 실시예들이 더 자세하게 설명된다.
도 5에서는, 입력 제한 정보로서 "욕설(개*!@)"이 텍스트에 포함된 예시가 도시되었다. 사용자 단말(110)을 통해 욕설(510)이 입력된 경우 컨텐츠 분석부(224)는 텍스트에 욕설(510)이 포함되었음을 판정할 수 있다.
피드백 정보 생성부(226)는 텍스트에 욕설(510)이 포함된 경우 텍스트의 배경(즉, 제1 컨텐츠의 배경)의 색상을 변경하도록 하는 피드백 정보를 생성할 수 있다. 또한, 피드백 정보 생성부(226)는 텍스트에 욕설(510)이 더 많이 포함될수록 텍스트의 배경색을 더 진하게(예컨대, 더 붉게) 변경하도록 하는 피드백 정보를 생성할 수 있다.
또는, 피드백 정보 생성부(226)는 텍스트에 욕설(510)이 포함된 경우 해당 텍스트는 등록될 수 없음을 나타내는 정보를 포함하는 피드백 정보를 생성할 수 있다. 예컨대, 사용자 단말(110)에는 "해당 코멘트는 등록될 수 없습니다"와 같은 메시지가 출력될 수 있고, 이러한 메세지는 텍스트가 일정 수준 이상의 욕설을 포함할 때(또는, 텍스트의 배경이 가장 진하게 된 때) 출력될 수도 있다.
또한, 피드백 정보 생성부(226)는 텍스트에 욕설(510)이 포함된 경우 텍스트의 욕설(510)에 해당하는 부분을 블러 처리하거나 특수문자로 처리하도록 하는 피드백 정보를 생성할 수도 있다.
욕설 뿐만아니라, 선정적인 내용/표현과 기타 피드백 정보 제공 시스템(100)에 의해 제한된 내용/표현을 제한하기 위해 전술된 것과 유사한 기술적 설명이 적용될 수 있으므로 중복되는 설명은 생략한다.
도 6에서는 텍스트의 성격을 판정하고, 텍스트의 성격에 따라 시각적으로 변화하는 피드백 정보가 제공되는 예시가 설명된다.
i) 컨텐츠 분석부(224)는 텍스트(610)와 같이 긍정적인 내용을 포함하는 텍스트를 긍정적인 성격의 텍스트로 판정할 수 있고, 이 때, 피드백 정보 생성부(226)는 웃는 얼굴을 포함하는 아이콘 또는 이모티콘(620)을 포함하는 피드백 정보를 생성할 수 있다. ii) 또는, 컨텐츠 분석부(224)는 텍스트(630)와 같이 부정적인 내용을 포함하는 텍스트를 긍정적인 성격의 텍스트로 판정할 수 있고, 이 때, 피드백 정보 생성부(226)는 찡그린 얼굴을 포함하는 아이콘 또는 이모티콘(640)을 포함하는 피드백 정보를 생성할 수 있다.
또한, 컨텐츠 분석부(224)가 입력되는 텍스트의 내용이 긍정적인 내용에서 부정적인 내용으로 점점 변해간다는 판정을 할 경우, 피드백 정보 생성부(226)는 아이콘 또는 이모티콘의 표정이 웃는 얼굴에서 점점 찡그린 얼굴로 변해가도록 하는 정보를 포함하는 피드백 정보를 생성할 수 있다.
도 7에서는 텍스트의 카테고리를 판정하고, 카테고리를 나타내는 정보를 포함하는 피드백 정보가 제공되는 예시가 설명된다.
컨텐츠 분석부(224)는 입력되는 텍스트의 내용에 따라 텍스트가 어떠한 카테고리에 속하는 것인지를 판정할 수 있다. 예컨대, 컨텐츠 분석부(224)는 (기계 학습의 결과에 기반하여) 도시된 예시의 텍스트("영화가...")를 영화 리뷰에 관한 것으로 판정할 수 있고, 피드백 정보 생성부(226)는 영화 리뷰 카테고리와 관련된 정보("<영화 평점>")를 포함하는 피드백 정보(710)를 생성할 수 있다. 컨텐츠 분석부(224)는 입력되는 텍스트의 내용을 실시간으로 분석함으로써 텍스트의 카테고리를 판정할 수 있고, 따라서, 이러한 판정의 결과에 따라 생성 및 사용자 단말(110)로 제공되는 피드백 정보에 포함되는 카테고리를 나타내는 정보는 변화할 수 있다.
도 8에서는 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정하고, 해당 사용자군을 나타내는 정보를 포함하는 피드백 정보가 제공되는 예시가 설명된다.
컨텐츠 분석부(224)는 입력되는 텍스트의 내용에 따라 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정(결정)할 수 있다. 예컨대, 컨텐츠 분석부(224)는 (기계 학습의 결과에 기반하여) 도시된 예시의 텍스트("요즘 급식이...")는 학교 생활에 관한 것으로 판정할 수 있고 이러한 텍스트에 관심을 가질 사용자군을 10대로 판정할 수 있다. 이러한 판정에 따라, 피드백 정보 생성부(226)는 "이 글을 좋아할 것 같은 사람은 10대 입니다"라는 메시지를 포함하는 피드백 정보(810)를 생성할 수 있다. 컨텐츠 분석부(224)는 입력되는 텍스트의 내용을 실시간으로 분석함으로써 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정할 수 있고, 따라서, 이러한 판정의 결과에 따라 생성 및 사용자 단말(110)로 제공되는 피드백 정보에 포함되는 관심 사용자군을 나타내는 정보는 변화할 수 있다.
이상, 도 1 내지 도 4를 참조하여 전술된 기술적 특징에 대한 설명은, 도 5 내지 도 8의 예시에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 9는 일 예에 따른, 사용자 단말로부터 다른 사용자 단말에 대해 전송하는 메시지가 피드백 정보를 포함하는 예시를 나타낸다.
도 1 내지 도 8을 참조하여 설명된 제1 컨텐츠는 사용자 단말(110)로부터 다른 사용자 단말에 대해 전송하기 위한 메시지일 수 있다. 이 때, 제1 컨텐츠와 연관된 피드백 정보는 메시지를 수신한 다른 사용자 단말의 사용자가 메시지의 전체 내용을 열람하지 않더라도, 메시지의 성격 또는 적어도 일부의 내용을 인지할 수 있도록 하는 정보를 포함할 수 있다. 메시지는 예컨대, 이메일, 메신저 앱의 메시지, 인스턴트 메시지 또는 SMS 등일 수 있다.
일례로, 도시된 예시와 같이 발신자측 사용자 단말(910)에서 "제품에 문제가 있네요"와 같은 메시지가 입력될 경우, 컨텐츠 분석부(224)는 해당 메시지는 컴풀레인에 해당하는 것인 바, 메시지가 포함하는 텍스트의 성격을 부정적인 것으로 판정할 수 있다. 이 때, 수신자측 사용자 단말(920)에는 피드백 정보로서 메시지의 배경(940) 색이 붉게 변경된 메시지가 출력될 수 있다. 또는/추가적으로, 수신자측 사용자 단말(920)에는 피드백 정보로서 찡그린 얼굴의 아이콘 또는 이모티콘(930)이 포함된 메시지가 출력될 수 있다
배경(940) 및/또는 찡그린 얼굴의 아이콘 또는 이모티콘(930)을 식별하는 것을 통해 수신자측 사용자 단말(920)의 사용자는 해당 메시지가 부정적인 내용을 포함하고 있음을, 메시지의 전체의 내용을 열람하지 않고도 파악할 수 있게 된다.
또한, 도시된 내용 외에도, 피드백 정보는 메시지의 내용을 심볼화하여 메시지의 제목이나 배경에 연관되어 제공될 수 있다.
또한, 피드백 정보는 메시지를 작성하는 발신자측 단말(910)에도 표시될 수 있고, 따라서, 작성자는 수신자측 사용자 단말(920)에서 메시지가 어떻게 출력될 것인지를 메시지의 발송 전에 검토할 수 있다.
이상, 도 1 내지 도 8을 참조하여 전술된 기술적 특징에 대한 설명은, 도 9의 예시에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
전술된 실시예들 외에, 피드백 정보의 종류 또는 입력되는 제1 컨텐츠의 종류에 따라, 제1 컨텐츠가 입력되는 서비스의 종류에 따라, 사용자 단말(110) 또는 피드백 정보 시스템(100)의 성능에 따라, 또는, 기타 여하한 필요에 따라, 피드백 정보는 사용자 단말(110)에 실시간으로 출력 또는 제공되지 않을 수도 있고, 제1 컨텐츠의 입력이 완료되거나 제1 컨텐츠의 작성이 완료 또는 완성된 경우에만 적용될 수도 있다.
도 10은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습에 있어서 이용되는 데이터세트 및 전처리 과정을 나타낸다.
도시된 예시는, 서브-캐릭터 레벨 BiLSTM 모델(Sub-Character Level Bi-directional Long Short-Term Memory Model)을 사용하여 한국어 코멘트 리뷰로부터의 영화 평점을 예측하는 방법에 있어서의 기계 학습을 나타낸다.
데이터 세트(1010)는 기계 학습에 있어서 사용되는 데이터 세트일 수 있다. 데이터 세트(1010)는 전술된 데이터베이스(120)에 저장된 데이터일 수 있다. 도시된 예시에서, 데이터 세트(1010)는 네이버 무비로부터 수집된 약 500만개의 한국어 영화 리뷰들일 수 있다. 리뷰들 각각은 특정한 영화에 대한 사용자의 코멘트 및 사용자에 입력된 평점을 포함할 수 있다. 또한, 리뷰들 각각은 특정한 영화에 대한 사용자의 코멘트 및 해당 사용자의 코멘트와 연관하여 피드백 정보 제공 시스템(100)에 의해 생성된 피드백 정보로서의 평점을 포함할 수도 있다.
기계 학습은 데이터 세트(1010)에 대해 노이즈를 더 포함하는 데이터를 사용하여 수행될 수도 있고, 데이터 세트(1010)에 포함된 정보(예컨대, 도 1 내지 9룰 참조하여 전술된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보) 중 일부의 정보가 삭제된 데이터를 사용하여 수행될 수도 있다. 데이터 세트(1010)에 대한 일부 데이터의 삭제 및/또는 노이즈의 첨가는 기계 학습의 결과의 개선을 위해 의도적으로 이루어지는 것일 수 있다.
데이터 세트(1010)에 포함된 각각의 리뷰에 포함되는 각 시퀀스는 [1, 10] 범위로 실제-평가된 점수들(real-valued scores)을 가질 수 있고, 최대 30자의 길이를 가질 수 있다. 입력 문장들은 ASCII 코드에 대응하는 문자들 및 특수 문자들을 포함할 수 있다. 예컨대, 한국어 서브-캐릭터들을 포함하는, 파싱된 문자들의 총 크기는 255로 가정될 수 있다.
예시에서, 데이터 세트(1010)에 대응하는 영화 리뷰 데이터 세트의 크기는 4,989,205이고, 랜덤 셔플링을 사용하여 학습(train), 검증(validation), 테스트(test) 세트는 8:1:1 비율로 구분될 수 있다.
도 10에서는 데이터 세트(1010)를 사용하는 기계 학습에 있어서, 전처리 과정(preprocessing)이 더 자세하게 설명된다.
예시에서, 데이터 세트(1010)를 구성하는 각 리뷰는 30글자 이하의 문장(X, 코멘트), 1~10 점 사이의 점수(Y, 코멘트와 연관된 평점)으로 구성될 수 있다. 이 중 X에 해당하는 코멘트를 구성하는 완성형 한글은 서브-캐릭터(Sub-Character), 즉, 자음 모음 형태로, 유니코드 파싱을 통해 분리될 수 있다. 예컨대, "안녕"은 "ㅇㅏㄴㄴㅕㅇ"과 같이 분리될 수 있다.
이와 같은, 유니코드 파싱을 통한 서브-캐릭터로의 분리는 한글뿐만 아니라 영어, 숫자, 특수문자, 기호(예컨대, ☆) 및 `ㅋㅋㅋ`와 같은 완성형 한글이 아닌 것을 포함하는 코멘트에 대해서도 수행될 수 있다.
서브-캐릭터의 종류는 모두 255가지일 수 있고, 이는 index 형태로 처리(예컨대, ㄱ: 1 , ㄴ: 2 , ... , ☆: 255 와 같이 대응되도록처리)될 수 있다. 처리의 결과는 csv파일에 기록될 수 있다.
데이터 세트(1010)에서 각 코멘트의 좌측에 표시된 숫자는 해당 코멘트와 연관된 평접일 수 있다. 여기에서, 코멘트(X)는 서브-캐릭터 단위로 분리될 수 있다.
코멘트(X)를 구성하는 각각의 서브-캐릭터는 초성, 중성 및 종성으로 각각 구분될 수 있다(1020). 중성은 모음일 수 있고, 초성 및 종성은 자음일 수 있다. 이 때, 각 서브-캐릭터는 초성에 해당하는 ㄱ, ㄴ, ... , 중성에 해당하는 ㅏ, ㅒ, ... , 종성에 해당하는 ㄱ, ... 의 각각으로 분리될 수 있고, 초성의 ㄱ과 종성의 ㄱ은 인덱스 번호가 서로 다르게 구분될 수 있다.
코멘트(X)를 구성하는 각각의 서브-캐릭터는 1 내지 255 중 어느 하나의 인덱스로 변환될 수 있다. 표(1030)은 데이터 세트(1010)를 인덱스로 변환한 예시를 나타낼 수 있다. 표(1030)의 각 행은 하나의 코멘트를 나타낼 수 있다. 도시된 예시의 표(1030)에서는 3개의 코멘트에 해당하는 인덱스들이 도시되었다. 표의 각 행의 가장 촤측의 컬럼은 해당 행에 대응하는 코멘트와 연관된 평점을 나타낼 수 있고, 그 다음 컬럼부터 코멘트를 서브-캐릭터로 파싱한 결과를 나타낼 수 있다.
표(1030)와 같이 인덱스화된 데이터는, 데이터 세트(1010)에 포함된 각 코멘트와 연관된 평점을 기계 학습하기 위해 사용될 수 있다.
말하자면, 전술된 실시예들을 참조하여 전술된 기계 학습은 데이터 세트(1010)가 포함하는 코멘트들 각각에 대해, 각 코멘트를 유니코드 파싱을 통해 분리하는 과정 및 각 코멘트의 분리된 요소들 각각을 인덱스화하는 과정을 포함하는 전처리 과정을 포함할 수 있다.
진술된 바와 같이, 전술된 실시예들 및 예시들에서는 사용자 단말(110)로부터 입력되는 코멘트(텍스트)나, 데이터베이스(120)에 저장된 코멘트(텍스트)를 처리함에 있어서, 코멘트를 형태소 단위로 분석하여 처리하지 않고, (즉, 형태소 분석 없이) 코멘트를 구성하는 문장(sub-word level)을 캐릭터 레벨로 분해한 후에 부호화/인코딩할 수 있고, 이러한 부호화/인코딩된 데이터를 기계 학습 및 분석할 수 있다.
도 11은 일 예에 따른, 사용자 단말로부터 입력되는 제1 컨텐츠를 분석하기 위한 기계 학습에 있어서 이용되는 방법론(methodology)들을 나타내고, 도 12는 적용한 방법론에 따른 기계 학습의 성능 평가를 나타낸다.
도 11은 전술된 서브-캐릭터 레벨 BiLSTM 네트워크를 사용하여 영화에 대한 코멘트와 연관된 평점을 학습함에 있어서, 각 코멘트 내에 포함된 시퀀스 내에서, 확률적으로(stochastically) 세그먼트화된 청크(Chunk)들과 연관된 노이즈를 생성하여 처리하는 정규화(regularization) 기법에 대해 설명한다. 이와 같은 정규화 기법을 사용하는 것을 통해, 결과적으로, 견고한, 실시간 평점 예측 모델의 기계 학습이 이루어질 수 있다.
청크는 코멘트를 구성하는 시퀀스가 포함하는 적어도 하나의 아이템으로 구성될 수 있다. 아이템은 예컨대, 코멘트에 포함된 문자(서브 캐릭터) 또는 이와 연관된 인덱스일 수 있다. 청크는 문장, 예컨대, 문장에 포함된 시퀀스에서 일정한 크기의 연속된 아이템의 묶음을 의미할 수 있다. 청크의 크기와 위치는 매 시퀀스 마다 랜덤하게 설정될 수 있고, 그, 위치도 랜덤일 수 있으며, 그 사이즈 역시 0~N으로 랜덤일 수 있다.
전술된 정규화 기법의 일례는 드롭 청크 정규화(Drop Chunk Regularization) 알고리즘을 사용하는 기법일 수 있다(도 11의 (1) 참조).
드롭 청크 정규화 알고리즘은 청크에 포함된 적어도 일부의 데이터를 삭제하여 상기 데이터를 없는 것처럼 처리하여 기계 학습을 수행하는 것일 수 있다. 청크의 사이즈가 사이즈가 0인 경우의 청크에 대해서는 드롭 청크 정규화 알고리즘이 적용되지 않을 수 있다. 드롭 청크 정규화 알고리즘은 데이터를 삭제하지 않고, 마스킹 처리함으로써 마스킹된 데이터에 해당하는 그라디언트(gradient)를 삭제하여 데이터는 읽되, 기계 학습은 하지 않도록 하는 종래에 방식에 비해, 기계 학습의 성능을 더 우수하게 할 수 있다. 또한, 마스킹 방식보다 더 naive한 방법인 제로-패딩(zero-padding)(데이터에 0을 대입시켜 처리하는 기법)에 비해서도 기계 학습의 성능을 더 우수하게 할 수 있다.
또한, 전술된 정규화 기법의 일례는 퍼뮤트 청크(Permute Chunk) 정규화 알고리즘을 사용하는 기법일 수 있다(도 11의 (2) 참조).
퍼뮤트 청크(Permute Chunk) 정규화 알고리즘은 청크 내의 아이템을 랜덤으로 배치하는 알고리즘일 수 있다. 청크의 크기는 전술한 바와 같이, 1~N 사이에서 랜덤일 수 있다. N이 1일 경우 퍼뮤트 청크(Permute Chunk) 정규화 알고리즘의 적용의 의미가 없으므로, 알고리즘은 적용되지 않을 수 있다.
전술된 드롭 청크 정규화 알고리즘 및/또는 퍼뮤트 청크 정규화 알고리즘이 적용된 청크가 기계 학습에 있어서 사용될 수 있다.
다음으로, 불연속 회귀(Discretized Regression) 기법을 사용하여, 기계 학습을 수행하는 나타내는 방법을 설명한다. 아래 수학식 1에서와 같이, Argmax output(수학식 1의 (2) 참조) 또는 Exptected output의 기법(수학식 1의 (1) 참조)이 사용될 수 있다.
위 수학식에서, y는 코멘트와 연관된 평점으로서, 예컨대, 평점이 특정한 영화의 평점인 경우에는 0~10 사이의 정수 값일 수 있다. x는 평점과 연관되는 코멘트일 수 있다. θ는 뉴럴네트워크의 파라미터일 수 있다. y'는 결과값일 수 있다.
도 12는 전술된 정규화 알고리즘들 및 기계 학습의 기법들을 적용한 실험의 결과를 나타낸다.
(1)은 드롭 청크 정규화 알고리즘을 적용한 경우에 있어서의 기계 학습의 성능을 나타낸다. (2)는 드롭 청크 정규화 알고리즘과 퍼뮤트 청크 정규화 알고리즘을 적용한 경우의 기계 학습의 성능의 비교와, 이들을 함께 사용한 경우에 있어서의 기계 학습의 성능을 나타낸다. (3)은 불연속 회귀 기법 및 연속 회귀 기법 간의 기계 학습의 성능의 비교를 나타낸다. 도시된 그래프에서, 가로축은 10번의 학습 반복(iteration)을 할 때마다 1씩 증가할 수 있다.
(1) 및 (2)를 참조할 때, 기계 학습 시에 드롭 청크 정규화 알고리즘을 적용하면 기계 학습의 성능이 좋아지고(1211, 1212, 1213, 1221), 퍼뮤트 청크 정규화 알고리즘을 함께 적용할 경우 기계 학습의 성능이 좋아짐을 확인할 수 있다(1223).
(3)을 참조할 때 연속 회귀 기법과 불연속 회귀 기법을 적용한 경우를 비교할 때, 연속 회귀 기법을 적용한 경우가 기계 학습의 성능이 더 좋게 나타남을 확인할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (18)
- 피드백 정보 제공 시스템에 의해 수행되는 피드백 정보 제공 방법에 있어서,
상기 피드백 정보 제공 시스템의 컨텐츠 입력 감지부가, 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠의 입력을 감지하는 단계;
상기 피드백 정보 제공 시스템의 컨텐츠 컨텐츠 분석부가, 데이터베이스에 저장된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 상기 제1 컨텐츠의 실시간으로 입력되고 있는 텍스트를 소정의 단위로 수신하여 실시간으로 분석하는 단계;
상기 피드백 정보 제공 시스템의 피드백 정보 생성부가, 상기 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성하는 단계; 및
상기 피드백 정보 제공 시스템의 피드백 정보 제공부가, 상기 생성되는 피드백 정보를 상기 사용자 단말에 제공하는 단계
를 포함하고,
상기 생성되는 피드백 정보는 상기 제1 컨텐츠의 상기 실시간으로 입력되고 있는 텍스트의 내용에 따른 실시간으로의 상기 분석의 결과에 따라 적응적으로 변화하고,
상기 생성되는 피드백 정보를 상기 사용자 단말에 제공하는 단계는, 상기 사용자 단말에 의해 상기 제1 컨텐츠의 텍스트가 입력되고 있는 동안, 상기 적응적으로 변화하는 피드백 정보를 상기 사용자 단말에 제공하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 각각, 상기 데이터베이스에 기 저장된, 소정의 컨텐츠 또는 소정의 서비스에 대한 사용자들로부터의 코멘트들 및 상기 코멘트들과 연관된 평점들이고,
상기 제1 컨텐츠 및 상기 제1 컨텐츠와 연관된 피드백 정보는 각각 상기 소정의 컨텐츠 또는 소정의 서비스에 대한 상기 사용자 단말의 사용자로부터의 코멘트 및 상기 코멘트와 연관된 평점인, 피드백 정보 제공 방법. - 삭제
- 제1항에 있어서,
상기 실시간으로 분석하는 단계는
상기 실시간으로 입력되고 있는 텍스트가 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 판정하는 단계
를 포함하고,
상기 생성되는 피드백 정보에는 상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보가 포함되는, 피드백 정보 제공 방법. - 제4항에 있어서,
상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지를 나타내는 정보는 상기 실시간으로 입력되고 있는 텍스트의 등록 또는 업로드가 제한됨을 나타내는 정보 및 상기 실시간으로 입력되고 있는 텍스트가 상기 입력 제한 정보를 포함하는지 여부 또는 상기 입력 제한 정보를 얼마나 포함하는지에 따라 시각적으로 변화하는 인디케이터 중 적어도 하나를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 실시간으로 분석하는 단계는
상기 실시간으로 입력되고 있는 텍스트의 성격을 판정하는 단계
를 포함하고,
상기 생성되는 피드백 정보는, 판정된 상기 텍스트의 성격에 따라 시각적으로 변화하는 인디케이터를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 실시간으로 분석하는 단계는
상기 실시간으로 입력되고 있는 텍스트의 카테고리를 판정하는 단계
를 포함하고,
상기 생성되는 피드백 정보는, 판정된 상기 텍스트의 카테고리를 나타내는 정보를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 실시간으로 분석하는 단계는
상기 실시간으로 입력되고 있는 텍스트에 관심을 가질 것으로 예측되는 사용자군을 판정하는 단계
를 포함하고,
상기 생성되는 피드백 정보는, 판정된 상기 사용자군을 나타내는 정보를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 피드백 정보는 상기 분석의 결과에 따라,
소정의 형태로 디스플레이되는 스코어, 입력되는 상기 제1 컨텐츠에 대한 시각적인 변경, 입력되는 상기 제1 컨텐츠의 배경에 대한 시각적인 변경, 시각적으로 변화하는 슬라이드 바, 시각적으로 변화하는 계측기 바늘, 시각적으로 변화하는 상기 제1 컨텐츠와 연관된 사용자 인터페이스, 시각적으로 변화하는 이모티콘, 및 시각적으로 변화하는 아이콘 중 적어도 하나를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 제1 컨텐츠는 상기 사용자 단말로부터 다른 사용자 단말에 대해 전송하기 위한 메시지이고,
상기 피드백 정보는 상기 메시지를 수신한 상기 다른 사용자 단말의 사용자가 상기 메시지의 전체 내용을 열람하지 않더라도, 상기 메시지의 성격 또는 적어도 일부의 내용을 인지할 수 있도록 하는 정보를 포함하는, 피드백 정보 제공 방법. - 제1항에 있어서,
상기 기계 학습은 노이즈를 더 포함하는 데이터를 사용하여 수행되거나, 상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보 중 일부의 정보가 삭제된 데이터를 사용하여 수행되는, 피드백 정보 제공 방법. - 제2항에 있어서,
상기 기계 학습은,
상기 코멘트들 각각에 대해, 각 코멘트를 유니코드 파싱을 통해 분리하는 과정 및 상기 각 코멘트의 분리된 요소들 각각을 인덱스화하는 과정을 포함하는 전처리 과정을 포함하는, 피드백 정보 제공 방법. - 제2항에 있어서,
상기 기계 학습은, 상기 코멘트를 구성하는 시퀀스가 포함하는 적어도 하나의 아이템으로 구성되는 청크에 대해,
상기 청크의 데이터를 삭제하여 상기 데이터를 없는 것처럼 처리하여 학습을 수행하는 드롭 청크(Drop Chunk) 정규화 알고리즘 및 상기 청크 내의 아이템을 랜덤으로 배치하는 퍼뮤트 청크(Permute Chunk) 정규화 알고리즘 중 적어도 하나를 사용하는 과정을 포함하는, 피드백 정보 제공 방법. - 피드백 정보 제공 시스템에 의해 수행되는 피드백 정보 제공 방법에 있어서,
상기 피드백 정보 제공 시스템의 컨텐츠 입력 감지부가, 사용자 단말로부터의 제1 컨텐츠의 입력을 감지하는 단계;
상기 피드백 정보 제공 시스템의 컨텐츠 컨텐츠 분석부가, 데이터베이스에 저장된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 상기 제1 컨텐츠를 실시간으로 분석하는 단계;
상기 피드백 정보 제공 시스템의 피드백 정보 생성부가, 상기 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성하는 단계
상기 피드백 정보 제공 시스템의 피드백 정보 제공부가, 상기 생성되는 피드백 정보를 상기 사용자 단말에 제공하는 단계; 및
상기 피드백 정보 제공 시스템이, 상기 사용자 단말에 제공된 피드백 정보에 대해, 상기 사용자 단말로부터의 수정 정보를 수신하는 단계
를 포함하고,
상기 수정 정보가 반영된 피드백 정보 및 상기 사용자 단말에 의해 입력된 상기 제1 컨텐츠는 이후의 상기 기계 학습의 수행에 있어서 사용되는, 피드백 정보 제공 방법. - 제1항, 제2항, 및 제4항 내지 제14항 중 어느 한 항의 방법을 수행하는 컴퓨터 판독 가능 기록 매체에 기록된 프로그램.
- 사용자 단말로부터 입력되는 텍스트를 포함하는 제1 컨텐츠의 입력을 감지하는 컨텐츠 입력 감지부;
데이터베이스에 저장된 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보를 사용하여 수행된 기계 학습의 결과에 기반하여, 상기 제1 컨텐츠의 실시간으로 입력되고 있는 텍스트를 소정의 단위로 수신하여 실시간으로 분석하는 컨텐츠 분석부;
상기 분석의 결과에 기반하여, 상기 제1 컨텐츠와 연관된 피드백 정보를 생성하는 피드백 정보 생성부; 및
상기 생성되는 피드백 정보를 상기 사용자 단말에 제공하는 피드백 정보 제공부
를 포함하고,
상기 생성되는 피드백 정보는 상기 제1 컨텐츠의 상기 실시간으로 입력되고 있는 텍스트의 내용에 따른 실시간으로의 상기 분석의 결과에 따라 적응적으로 변화하고,
상기 피드백 정보 제공부는 상기 사용자 단말에 의해 상기 제1 컨텐츠의 텍스트가 입력되고 있는 동안, 상기 적응적으로 변화하는 피드백 정보를 상기 사용자 단말에 제공하는, 피드백 정보 제공 시스템. - 제16항에 있어서,
상기 제2 컨텐츠 및 상기 제2 컨텐츠와 연관된 피드백 정보는 각각, 상기 데이터베이스에 기 저장된, 소정의 컨텐츠 또는 소정의 서비스에 대한 사용자들로부터의 코멘트들 및 상기 코멘트들과 연관된 평점들이고,
상기 제1 컨텐츠 및 상기 제1 컨텐츠와 연관된 피드백 정보는 각각 상기 소정의 컨텐츠 또는 소정의 서비스에 대한 상기 사용자 단말의 사용자로부터의 코멘트 및 상기 코멘트와 연관된 평점인, 피드백 정보 제공 시스템. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018212991A JP6776310B2 (ja) | 2017-11-14 | 2018-11-13 | ユーザ−入力コンテンツと連関するリアルタイムフィードバック情報提供方法およびシステム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170151747 | 2017-11-14 | ||
| KR20170151747 | 2017-11-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190054884A KR20190054884A (ko) | 2019-05-22 |
| KR102078627B1 true KR102078627B1 (ko) | 2020-02-19 |
Family
ID=66680463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180064863A KR102078627B1 (ko) | 2017-11-14 | 2018-06-05 | 사용자-입력 컨텐츠와 연관된 실시간 피드백 정보 제공 방법 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6776310B2 (ko) |
| KR (1) | KR102078627B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220142705A (ko) | 2021-04-15 | 2022-10-24 | 연세대학교 원주산학협력단 | 초고속 분석 인공지능을 이용한 실시간 댓글 판단 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298906B (zh) * | 2019-06-28 | 2023-08-11 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
| JP6802332B1 (ja) * | 2019-07-16 | 2020-12-16 | 株式会社マクロミル | 情報処理方法および情報処理装置 |
| EP4220438A4 (en) * | 2020-09-28 | 2024-03-27 | Sony Group Corp | INFORMATION PROCESSING DEVICE AND NOTIFICATION METHOD |
| KR102607387B1 (ko) * | 2021-09-15 | 2023-11-30 | 중소기업은행 | 메시지 검증 방법, 장치 및 컴퓨터 프로그램 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011118723A1 (ja) * | 2010-03-26 | 2011-09-29 | 日本電気株式会社 | 意味抽出装置、意味抽出方法、および、記録媒体 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4478479B2 (ja) * | 2004-02-23 | 2010-06-09 | 株式会社アイスタイル | 化粧品評価情報分析システム及び方法 |
| KR101792587B1 (ko) * | 2009-01-23 | 2017-11-02 | 삼성전자주식회사 | 컨텐츠에 대한 선호도 예측 방법 및 장치와, 샘플 컨텐츠 선정 방법 및 장치 |
| KR101054524B1 (ko) * | 2009-02-27 | 2011-08-04 | 한국전자통신연구원 | 평점 계산 방법 및 그 시스템 |
| JP5577546B2 (ja) * | 2010-05-13 | 2014-08-27 | 株式会社日立製作所 | 計算機システム |
| JP2012044562A (ja) * | 2010-08-20 | 2012-03-01 | Kyocera Corp | 携帯端末装置 |
| KR101356035B1 (ko) * | 2012-05-14 | 2014-01-29 | 한국과학기술원 | 욕설 제거 방법 및 시스템 |
| KR101446468B1 (ko) * | 2012-11-28 | 2014-10-06 | (주)이스트소프트 | 자동완성 질의어 제공 시스템 및 방법 |
| JP5930217B2 (ja) * | 2013-10-03 | 2016-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 特定のテーマに依存して危険表現となりうる表現を検出する方法、並びに、当該表現を検出するための電子装置及びその電子装置用プログラム |
| KR101624284B1 (ko) * | 2014-08-06 | 2016-06-08 | 네이버 주식회사 | 정보 제공 시스템 및 방법 |
| KR101662791B1 (ko) * | 2015-01-29 | 2016-10-14 | 주식회사 포워드벤처스 | 상품 평가 관련 정보 디스플레이 시스템 및 상품 평가 관련 정보 디스플레이 방법 |
-
2018
- 2018-06-05 KR KR1020180064863A patent/KR102078627B1/ko active IP Right Grant
- 2018-11-13 JP JP2018212991A patent/JP6776310B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011118723A1 (ja) * | 2010-03-26 | 2011-09-29 | 日本電気株式会社 | 意味抽出装置、意味抽出方法、および、記録媒体 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220142705A (ko) | 2021-04-15 | 2022-10-24 | 연세대학교 원주산학협력단 | 초고속 분석 인공지능을 이용한 실시간 댓글 판단 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6776310B2 (ja) | 2020-10-28 |
| JP2019091450A (ja) | 2019-06-13 |
| KR20190054884A (ko) | 2019-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102078627B1 (ko) | 사용자-입력 컨텐츠와 연관된 실시간 피드백 정보 제공 방법 및 시스템 | |
| Wang et al. | Detecting medical misinformation on social media using multimodal deep learning | |
| Mehralian et al. | Data-driven accessibility repair revisited: on the effectiveness of generating labels for icons in Android apps | |
| AlQahtani | Product sentiment analysis for amazon reviews | |
| CN108108468A (zh) | 一种基于概念和文本情感的短文本情感分析方法和装置 | |
| CN107077640B (zh) | 经由经验归属来分析、资格化和摄取非结构化数据源的系统和处理 | |
| US20220358280A1 (en) | Context-aware font recommendation from text | |
| McKelvey et al. | Visualizing communication on social media: Making big data accessible | |
| El Abdouli et al. | Sentiment analysis of moroccan tweets using naive bayes algorithm | |
| Upadhyay et al. | Semantic knowledge extraction from research documents | |
| Haque et al. | Opinion mining from bangla and phonetic bangla reviews using vectorization methods | |
| Nagra et al. | Deep sentiments analysis for roman urdu dataset using faster recurrent convolutional neural network model | |
| US10614100B2 (en) | Semantic merge of arguments | |
| Kushwaha et al. | Predicting retweet class using deep learning | |
| Anoop et al. | We chased covid-19; did we forget measles?-public discourse and sentiment analysis on spiking measles cases using natural language processing | |
| Aires et al. | A deep learning approach to classify aspect-level sentiment using small datasets | |
| Theophilo et al. | Explainable artificial intelligence for authorship attribution on social media | |
| Braşoveanu et al. | Visualizing and explaining language models | |
| US11120204B2 (en) | Comment-based article augmentation | |
| Tsourakis | Machine Learning Techniques for Text: Apply modern techniques with Python for text processing, dimensionality reduction, classification, and evaluation | |
| Ramsay et al. | Machine Learning for Emotion Analysis in Python: Build AI-powered tools for analyzing emotion using natural language processing and machine learning | |
| Mezahem | Sentiment Analysis for Arabic Social media Movie Reviews Using Deep Learning | |
| Likhith et al. | Sentimental Analysis of COVID-19 Twitter Data Using Machine Learning | |
| Conceição | Natural Language Processing In Citizen Messages About Forest Fires | |
| Simo et al. | Towards Automated Detection and Prevention of Regrettable (Self-) Disclosures on Social Media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |