KR102359638B1 - 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템 - Google Patents

의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템 Download PDF

Info

Publication number
KR102359638B1
KR102359638B1 KR1020210082010A KR20210082010A KR102359638B1 KR 102359638 B1 KR102359638 B1 KR 102359638B1 KR 1020210082010 A KR1020210082010 A KR 1020210082010A KR 20210082010 A KR20210082010 A KR 20210082010A KR 102359638 B1 KR102359638 B1 KR 102359638B1
Authority
KR
South Korea
Prior art keywords
evaluation
content
medical institution
information
analysis
Prior art date
Application number
KR1020210082010A
Other languages
English (en)
Inventor
송환구
윤현지
윤수현
김기호
Original Assignee
주식회사 닥터송
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 닥터송 filed Critical 주식회사 닥터송
Priority to KR1020210082010A priority Critical patent/KR102359638B1/ko
Application granted granted Critical
Publication of KR102359638B1 publication Critical patent/KR102359638B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

의료 분야에 맞춤화된 컨텐츠 감성분석을 통해, 온라인 상의 의료기관에 대한 평가로서, 특히 환자경험평가를 포함하는 다수의 평가 정보를 이용하여, 의료기관에 대한 평가 정보를 생성하여 제공하는 기술을 제공한다. 본 발명의 일 실시예에 따른 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템은, 하나 이상의 프로세서 및 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템에 관한 것으로, 적어도 의료기관에 대한 리뷰 및 평가 정보를 포함하는 텍스트 및 이미지를 포함하는 제1 컨텐츠를 외부로부터 수집하는 컨텐츠 수집부; 수집된 제1 컨텐츠에 대해서 멀티모달 신경망(Mutimodal NN) 및 한국어 기반의 버트(BERT, Bidirectional Encoder Representations from Transformers)모델을 이용하여, 제1 컨텐츠에 대한 감성분석 결과인 제1 결과 정보를 도출하는 컨텐츠 감성분석부; 및 컨텐츠 감성분석부의 제1 결과 정보를 이용하여, 의료기관의 평가 관리를 위한 가이드 정보인 제2 결과 정보를 도출하여 의료기관 계정에 제공하는 리포트 제공부;를 포함하는 것을 특징으로 한다.

Description

의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템{MEDICAL INSTITUTION ANALYSYS MANAGEMENT SYSTEM THROUGH SENTIMENT ANALYSIS TAILORED TO THE MEDICAL FIELD}
본 발명은 의료 분야에 맞춤화된 컨텐츠 감성분석을 통한 의료기관의 평가 정보를 관리하는 기술에 관한 것으로, 구체적으로는 이미지 및 텍스트에 대한 멀티모달 신경망 및 버트(BERT) 모델을 통한 감성분석과 함께, 컨텐츠 가공을 통해서 온라인 상의 의료기관에 대한 평가로서, 특히 환자경험평가를 포함하는 다수의 평가 정보를 이용하여, 의료기관에 대한 평가 정보를 생성하여 제공함으로써, 의료기관이 서비스 품질 등에 대한 관리를 수행할 수 있도록 하기 위한 기술에 관한 것이다.
감성분석(Sentiment Analysis)이란 텍스트에 들어있는 의견이나 감성, 평가, 태도 등의 주관적인 정보를 컴퓨터를 통해 분석하는 기술분야이다. 자연어 데이터에 들어있는 감성을 분석하는 일은 오래 전부터 연구되어왔다. 그럼에도 언어가 가지고 있는 모호성 때문에 쉽지 않았던 것이 사실이다.
강성분석은 크게 문서(문장)의 어떤 부분에 의견이 담겨 있는지를 정의하고, 이를 요약하는 과정을 통해서 이루어진다. 이때 의견 영역을 정의하는 데에는, 분석 대상이 되는 개체 또는 개체의 특성, 개체에 대한 의견에 담겨있는 감성, 의견을 표현하는 주체 및 발화 시점을 포함한다. 이러한 감성 분석의 기본적 모델에서는, 하나의 문서 내에 하나의 주체가 하나의 개체에 대한 평가 의견을 포함함을 가정한다.
이러한 가정은 분석 대상 개체에 대한 리뷰 컨텐츠 등에 가장 적합하다. 특히 해당 리뷰 컨텐츠는, 개체, 구체 및 발화 시점을 다수 추출하고 분석할 필요가 없고, 개체에 대한 키워드 및 해당 키워드에 대한 감성을 추출하는 것을 통해 간단하게 감성분석이 가능하다.
감성분석의 방법론으로서 기조에는 어휘 기반(Lexicon-based)의 감성 분석이 이루어져 왔고, AI 및 딥 러닝(Deep Learning) 등의 머신 러닝(Machine Learning)이 상용화되면서 해당 모델을 이용한 분석이 이루어져 왔다. 최근에는, 버트(BERT, Bidirectional Encoder Representations from Transformers)와 같은 트랜스포머 기반의 머신 러닝을 이용한 신경망 모델이 많이 적용되고 있다.
이러한 감성분석은 특히 주식 시장 등에서 투자 종목에 대한 의견 등을 분석하기 위해서 주로 적용되고 있다. 예를 들어, 한국등록특허 제10-2214871호 등에서는, 기업, 즉 종목별 뉴스 기사 등의 이벤트를 수신하고, 이에 대한 감성분석 알고리즘을 이용하여, 종목에 대한 미래 주가를 예측하는 기술을 제공하고 있다.
이러한 감성분석은 최근 주식 시장뿐 아니라 다양한 분야에 적용이 시도되고 있는데, 특히, 국민의 건강에 대한 관심도 및 의료기관에 대한 다양한 정보 공유가 이루어지면서, 의료기관에 대한 정보에 대해서 감성분석을 통한 서비스의 필요성이 증가되고 있다.
최근에는 환자경험평가가 공식적으로 이루어지고 있는데, 환자경험평가는 의료기관의 다양한 서비스에 대해서 환자들의 공식화된 포맷에 의한 평가가 이루어질 수 있다. 따라서, 해당 컨텐츠를 이용하여 의료기관의 서비스 품질 관리가 이루어질 수 있도록 하기 위한 기술의 필요성이 증가되고 있다.
이에 본 발명은, 의료기관에 대한 온라인 상의 유저들의 리뷰 컨텐츠 등의 다양한 컨텐츠로서 특히 환자경험평가에 대한 데이터를 이용하되, 감성분석을 통해서 각 서비스 요소에 대한 면밀하고 정확한 평가가 가능하도록 함으로써, 의료기관의 서비스 품질 관리에 도움이 될 수 있는 기술을 제공하는 데 그 목적이 있다.
또한 본 발명은, 의료 분야라는 매우 협소한 분야에 있어서 유저들의 다양한 자연어를 이용한 평가 정보에 대해서 새로운 키워드의 입력 시에도 이를 평가 정보로서 활용할 수 있도록 하여, 평가 정보의 정확하고 다양한 평가가 가능한 기술을 제공하는데 다른 목적이 있다.
상술한 목적을 달성하기 위해서, 본 발명의 일 실시예에 따른 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템은, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템에 관한 것으로, 적어도 의료기관에 대한 리뷰 및 평가 정보를 포함하는 텍스트 및 이미지를 포함하는 제1 컨텐츠를 외부로부터 수집하는 컨텐츠 수집부; 수집된 제1 컨텐츠에 대해서 멀티모달 신경망(Mutimodal NN) 및 한국어 기반의 버트(BERT, Bidirectional Encoder Representations from Transformers)모델을 이용하여, 제1 컨텐츠에 대한 감성분석 결과인 제1 결과 정보를 도출하는 컨텐츠 감성분석부; 및 상기 컨텐츠 감성분석부의 제1 결과 정보를 이용하여, 의료기관의 평가 관리를 위한 가이드 정보인 제2 결과 정보를 도출하여 의료기관 계정에 제공하는 리포트 제공부;를 포함하는 것을 특징으로 한다.
상기 컨텐츠 감성분석부는, 상기 제1 컨텐츠에 포함된 복수의 메인 키워드 및 상기 메인 키워드 주변의 서브 키워드를 기반으로, 메인 키워드를 의료기관에 대한 평가 요소로, 상기 서브 키워드의 감성분석 결과를 기반으로 의료기관에 대한 긍부정 평가 결과를 도출하여, 상기 평가 요소에 대한 긍부정 평가 결과를 제1 결과 정보로서 도출하는 것이 바람직하다.
상기 제1 결과 정보는 공인된 환자경험평가 형식의 데이터로서 가공되도록, 각 의료기관의 식별 정보, 상기 평가 요소 및 상기 긍부정 평가 결과 정보가 결합된 형태로 가공되는 것도 가능하다.
상기 컨텐츠 수집부는, 적어도 상기 의료기관에 대하여 입력된 환자경험평가 정보를 제1 컨텐츠로서 수집하고, 상기 컨텐츠 감성분석부는, 의료기관의 식별 정보, 각 환자경험평가 정보에 포함된 평가 요소 및 각 평가 요소에 대한 긍부정 평가 결과를 제1 결과 정보로 도출하고, 상기 리포트 제공부는, 상기 제1 결과 정보를 의료기관에 대해서 총 분석하되, 적어도 평가 요소별로 긍부정 평가 결과를 수치화한 평가 점수를 분석 결과로서 도출하고, 평가 요소별 분석 결과를 결합한 결과를 제2 결과 정보로 도출하여 의료기관 계정에 제공하는 것도 가능하다.
상기 리포트 제공부는, 제2 결과 정보로서, 적어도 의료기관 평가 수치, 의료기관에 대한 서비스 요소별 평가 수치, 의료기관에 대한 서비스 요소별 분석 결과, 및 위험수준 감지 정보 중 적어도 하나를 상기 의료기관 계정에 제공하는 것도 가능하다.
상기 리포트 제공부는, 상기 긍부정 데이터에 포함된 긍부정 정도에 따라서 비례하는 평가 수치를 기반으로, 의료기관 전체에 대한 제1 결과 정보를 기반으로 의료기관 전체에 대한 평가 수치를 상기 의료기관 평가 수치로 도출하고, 상기 평가 요소별로 상기 평가 수치를 취합하여 평가 요소에 대응되는 서비스 요소별 평가 수치를 의료기관에 따라서 결합하여 상기 의료기관에 대한 서비스 요소별 평가 수치로, 각 평가 요소별 서브 키워드를 각 서브 키워드별 유사도 파악 알고리즘을 이용하여, 유사한 서브 키워드들을 유사한 서브 키워드들 중 사용 빈도수가 가장 높은 키워드인 대표 키워드에 따라서 그룹화하고, 평가 요소에 대응되는 서비스 요소별로 대표 키워드를 매칭한 결과를 상기 의료기관에 대한 서비스 요소별 분석 결과로 도출하는 것도 가능하다.
상기 리포트 제공부는, 상기 의료기관 평가 수치 또는 상기 의료기관에 대한 서비스 요소별 평가 수치가, 기설정된 임계 위험 수치 미만인 경우, 의료기관 계정에 위험 수준 감지 정보를 생성하여 제공하는 것도 가능하다.
상기 제1 컨텐츠에 포함된 복수의 메인 키워드 및 상기 메인 키워드 주변의 서브 키워드들을 추출한 결과, 추출된 대상 키워드가 데이터베이스에 저장되어 있지 않은 키워드인 경우, 외부 온라인 상의 의료 컨텐츠에 대한 유사어 검색 알고리즘을 통해 대상 키워드와 유사도 수치가 가장 높은 단어의 의미를 이용하거나, 상기 대상 키워드에 대한 외부 온라인 상의 의료 컨텐츠 검색 결과를 바탕으로 대상 키워드의 의미 정보를 생성하고, 생성된 의미 정보와 대상 키워드를 신규 키워드 사전 정보로서 상기 데이터베이스에 저장하는 키워드 정보 생성부;를 더 포함하는 것이 바람직하다.
상기 키워드 정보 생성부는, 상기 대상 키워드에 대한 외부 온라인 상의 의료 컨텐츠 검색 결과에 따라서 수집된 의료 컨텐츠에 대한 버트 모델 적용 결과 도출된 키워드들을, 정의 텍스트, 카테고리 정보 및 대상 키워드의 속성 정보로 분류함으로써 대상 키워드에 대한 의미 정보를 생성하는 것도 가능하다.
상기 컨텐츠 감성분석부는, 의료기관이 속한 진단 분야에 대한 외부 온라인 상의 의료 컨텐츠를 기반으로 상기 버트 모델에 대한 프리 트레이닝(Pre-training)을 진행하고, 복수의 의료기관에 대한 제1 컨텐츠를 이용하여 상기 버트 모델에 대한 파인 튜닝(Fine tuning)을 통해 상기 버트 모델을 지속적으로 학습시키는 것이 바람직하다.
본 발명에 의하면, 의료 기관에 대해서 특화되도록, 의료 기관에 대한 평가 정보로서, 특히 환자경험평가 등의 컨텐츠에 대해서 키워드 도출 및 이에 의한 감성분석을 통하여 제1 결과 정보를 도출하고, 이를 가공하여 의료기관에 서비스 품질에 대한 평가 관리가 가능한 정보인 제2 결과 정보를 도출하여 의료기관에 제공하게 된다.
특히, 이미지 및 텍스트를 함께 처리하는 멀티모달 신경망과, 제너럴한 감성분석이 가능한 버트 모델을 이용하여 감성분석을 수행함으로써 매우 정확하고 의미 있는 제2 결과 정보가 도출되어, 의료기관이 해당 정보를 기반으로 품질 및 평가를 효율적으로 관리할 수 있는 효과가 있다.
특히, 키워드 정보 생성부에 의하여, 특정 분야의 컨텐츠 부족에 의하여, 평가 정보에 대한 감성분석이 이루어질 수 없는 경우에 유연하게 대응하면서, 키워드를 확장시킬 수 있어, 매우 정확하고 범용성이 있는 의료기관에 대한 평가 관리가 가능한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템의 구성 블록도.
도 2는 본 발명의 일 실시예의 구현에 적용되는 멀티모달 신경망의 구조를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예의 구현에 따라서 키워드가 도출되고 감성분석이 수행되는 흐름을 설명하기 위한 도면.
도 4 내지 6은 본 발명의 일 실시예의 구현에 따라 제2 결과 정보가 도출되는 흐름을 설명하기 위한 도면.
도 7은 본 발명의 일 실시예의 구현에 따라서 의료기관 계정에 제공되는 제2 결과 정보 확인 화면의 예를 도시한 도면.
도 8은 본 발명의 다른 실시예에 따른 키워드 정보 생성부의 기능을 설명하기 위한 도면.
도 9은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템의 구성 블록도, 도 2는 본 발명의 일 실시예의 구현에 적용되는 멀티모달 신경망의 구조를 설명하기 위한 도면, 도 3은 본 발명의 일 실시예의 구현에 따라서 키워드가 도출되고 감성분석이 수행되는 흐름을 설명하기 위한 도면, 도 4 내지 6은 본 발명의 일 실시예의 구현에 따라 제2 결과 정보가 도출되는 흐름을 설명하기 위한 도면, 도 7은 본 발명의 일 실시예의 구현에 따라서 의료기관 계정에 제공되는 제2 결과 정보 확인 화면의 예를 도시한 도면, 도 8은 본 발명의 다른 실시예에 따른 키워드 정보 생성부의 기능을 설명하기 위한 도면이다. 이하의 설명에 있어서 본 발명의 각 실시예 및 구성 요소에 대한 설명을 위하여, 하나 이상의 도면이 함께 참조되어 설명될 것이다.
상술한 도면들을 함께 참조하면, 본 발명의 일 실시예에 따른 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템(10. 이하 본 발명의 시스템이라 함)은, 컨텐츠 수집부(11), 컨텐츠 감성분석부(12) 및 레포트 제공부(13)를 포함하는 것을 특징으로 한다. 또한, 본 발명의 시스템(10)에는, 추가적으로 키워드 정보 생성부(미도시)가 더 포함될 수 있다. 키워드 정보 생성부는 후술하는 바와 같이 컨텐츠 수집부(11)에 연결되어 컨텐츠 감성분석부(12)에 연결된 데이터베이스에 신규 키워드에 대한 정보를 저장하는 기술을 수행하도록 기능할 수 있다.
본 발명의 시스템(10)은 후술하는 도 9에 도시된 컴퓨팅 장치를 통해 구현될 수 있으며, 하나의 컴퓨팅 장치에 구현되거나, 다수의 컴퓨팅 장치가 상술한 각 구성을 하나 이상 포함하도록 그룹웨어로 구성될 수 있다. 구성을 위한 컴퓨팅 장치의 수는, 저장되는 데이터의 용량 및 시스템 로드에 따라서 다양하게 설정될 수 있다.
컨텐츠 수집부(11)는 적어도 의료기관에 대한 리뷰 및 평가 정보를 포함하는 텍스트 및 이미지를 포함하는 제1 컨텐츠를 외부(20)로부터 수집하는 기능을 수행한다. 본 발명에서 의료기관은, 병의원 등 환자의 건강 상태에 대한 검진, 질병 치료 및 관리를 수행하는 모든 주체를 의미하며, 본 발명에서 컨텐츠가 수집될 시, 수집되는 컨텐츠를 한정하는 개념으로 이해될 것이다. 즉, 컨텐츠의 수집 시, 각 의료기관별로 해당 컨텐츠가 수집되는 것이다. 이로부터, 후술하는 각 구성의 기능 수행을 통해서 의료기관별로 제2 결과 정보가 도출되어 제공될 수 있으며, 이는 각 의료기관의 계정에 매칭되어 제공될 것이다.
본 발명에서 제1 컨텐츠는, 상술한 바와 같이 의료기관에 대한 리뷰 및 평가 정보를 포함하는 정보로서, 제1 컨텐츠는 텍스트 정보로서 문장 또는 문구를 포함하거나, 이미지, 영상 데이터 등을 포함하는 멀티미디어 데이터를 포함하는 개념으로 이해될 수 있다.
본 발명에서 외부는, 본 발명의 시스템(10)이 유무선 근거리 또는 원거리 네트워크를 통해서 접근 가능한 모든 네트워크 상의 공간을 의미한다. 예를 들어, 의료기관 내부의 인트라넷에 저장되는 내방객 또는 방문객의 평가 정보로서 의료기관 단말에 저장되는 컨텐츠 또는 공개 접근 가능한 온라인 상의 소셜 미디어 등의 SNS(Social Network Service) 서버, 건강보험공단 등 환자경험평가 데이터가 저장되는 공간, 포털 사이트 등 모든 공간을 의미한다.
물론, 각 공간에 개인정보보호 규정에 따라서 접근이 제한되는 경우에는, 각 개인에 대한 정보 공유 동의 프로세스를 통해서 공유가 허락된 컨텐츠에 대해서만 외부에서 수집 가능하도록 설정될 수 있다. 또한, 제1 컨텐츠는 의료기관의 특성 상 민감한 개인정보로서, 개인의 식별 정보, 질병 정보 등에 대해서는 포함하지 않도록 설정될 수 있다.
한편, 제1 컨텐츠의 공유는 완전 개방형 네트워크의 경우 별다른 계약 없이 이루어질 수 있지만, 회원제 공유 서비스 등의 경우에는, 해당 SNS 서버 운영 주체, 기관 등과의 계약 체결을 통해서 제1 컨텐츠를 컨텐츠 수집부(11)에 의하여 수집할 수 있도록 설정된 상태에서 수집될 수 있다.
컨텐츠 수집부(11)가 수집하는 제1 컨텐츠는 상술한 바와 같이 개인 정보가 제거된 상태에서 의료기관에 대한 평가를 기반으로 해당 평가에 대한 감성분석을 통한 제1 결과 정보를 생성할 수 있는 내용을 포함하는 컨텐츠임이 바람직하다. 예를 들어, 의료기관의 식별 정보, 서비스 요소, 서비스에 대한 의견 정보가 포함된 컨텐츠임이 바람직하다. 예를 들어 도 3의 문장 정보(101)가 제1 컨텐츠로서 수집될 수 있는 것이다.
컨텐츠 감성분석부(12)는 수집된 제1 컨텐츠에 대해서 멀티모달 신경망(Mutimodal NN) 및 한국어 기반의 버트(BERT, Bidirectional Encoder Representations from Transformers)모델을 이용하여, 제1 컨텐츠에 대한 감성분석 결과인 제1 결과 정보를 도출하는 기능을 수행한다.
멀티모달 신경망은 일 종류의 컨텐츠에 대한 알고리즘 처리가 아닌, 텍스트를 포함하는 멀티미디어에 대해서 처리가 가능한, 즉 텍스트 처리 알고리즘 및 이미지 처리 알고리즘이 포함된 신경망 처리를 위한 구성이다. 해당 신경망은 특히 다종의 생체 신호를 이용한 딥러닝 기반 감정 분류 등에 사용되어, 다종의 데이터를 기반으로 일 결과를 도출하기 위해서 사용되는 모델로 이해된다.
도 2를 참조하면, 본 발명에서는 더욱 다양한 컨텐츠에서 감성분석을 통해서 의료기관에 대한 평가를 도출하기 위해서, 문장 정보(101)에 대응되는 제1 컨텐츠뿐 아니라, 이미지 정보(102) 등의 제1 컨텐츠가 사용된다. 이를 통해서 후술하는 제1 분석 결과로서의 출력값(110)이 도출된다. 이때, 이미지를 이용한 감성 분석은, 이미지에 대한 딥 러닝 적용을 통한 감성분석에 사용될 수 있는 키워드 정보의 추출 방식이 사용될 수 있다. 또는 이미지 자체에 대한 감성 트리 등을 이용한 감성분석 알고리즘을 적용할 수 있다.
이미지를 통한 감성 분석 알고리즘은 예를 들어, 감성 트리를 이용한 알고리즘을 예로 들 수 잇다. 이는 이미지를 감성으로 쾌 또는 불쾌, 긴장 또는 평온의 구분 감성을 트리 형식으로 가중치를 부여하여 평가한다. 이미지 대표평가 감성인 명도대비를 평가 기준으로 1차는 쾌, 불쾌 또는 긴장 또는 평온이고 2차는 세분화 이미지 감성으로 구분한다. 4개의 감성인식을 수치화 된 명도대비 데이터로 측정한다. 평가 구현은 OpenCV를 통해 명도대비를 그래프화하여 긴장, 평온, 쾌, 불쾌 값 변화에 따라 4개 감성으로 구분하여 컴퓨팅한다. 감성 컴퓨팅으로 명도대비의 입력된 값에 따라 '불쾌'를 '쾌' 또는 '긴장'을 '평온'으로 감성적 변화를 줄 수 있다.
또는 이미지에서 추출되는 도형에서 삼각형, 사각형, 원중에 추출되는 도형을 대표 도형으로 선정했으며, 대표 도형의 종류와 기울기에 따라 쾌-불쾌 수치를 측정하여 사용자의 감정을 분류하는 방식 등 다양한 방식이 사용될 수 있다.
텍스트를 기반으로 한 감성분석 알고리즘은 예를 들어 머신 러닝 및 키워드 기반 분석 알고리즘으로서, 대표적으로 상술한 버트 모델이 적용될 수 있다.
머신러닝 기반의 감성 분석은 예를 들어, 회귀 분석을 통한 사전 구축 방식이 있다. 일반적으로 리뷰 데이터에는 평점을 부여하는데, 이렇게 평점을 레이블링 된 데이터에 회귀 분석 모델을 적용하여 각 단어에 대한 감성 사전을 구축한다. 구축한 이후에는 교차 검증을 통해 감성 사전으로서의 타당한 성능을 지니는지를 평가한다. 검증을 통해 구축한 사전의 성능이 확보된 후에는 새로운 문서에 대한 감성 분석을 수행할 수 있게 된다.
한편 Semi-supervised 방식이 있다. 지도 학습과 비지도 학습의 중간인 준지도 학습(Semi-supervised Learning)을 통해 감성 사전을 구축하기도 한다. 준지도 학습 기반의 방법은 2가지 세부 방법으로 나뉘게 된다. 첫 번째는 감성 그래프(Sentiment graph)를 이용하는 방식이다. 고차원 단어를 저차원으로 임베딩한 후에 거리를 기반으로 각 단어 사이의 네트워크를 구축한다. 감성 점수가 확실한 수 개의 단어를 미리 레이블링(Pre-labeled sentiment words)한 뒤에 공간상의 위치에 따라 나머지 단어의 감성 점수를 측정한다.
예를 들어“좋다”, "짱", "재밌다", "훌륭하다" 등을 긍정으로 "거슬리다", "억지", "지루", "아쉬움" 등을 부정으로, 그리고 "보다", "감독", "주인공", "친구", "카메라" 와 같이 중립으로 미리 레이블링 하고 그리고 이들과의 관계로부터 나머지 단어의 감정 점수를 매기게 되어 감성분석을 수행하게 된다.
준지도 학습을 통한 두 번째 접근 방식은 자가 학습(Self-training)이다. 이 방법 역시 감성 그래프 방법에서 했던 것과 같이 특정한 수 개의 단어는 미리 레이블링 되어 있다. 이 어휘로만 분류기를 학습한 뒤에 정답이 없는 어휘에 분류기를 적용하여 결과의 신뢰도가 높으면 정답으로 지정한 후에 학습기를 재학습하는 방식이다. 반복 학습 횟수가 늘어날수록 레이블링 되는 단어가 더 많다.
RNTN(Recursive Neural Tensor Network) 방법 역시 사용될 수 있다. 여기서의 R은 Recursive(재귀적인)를 나타내는 단어로 RNN에서 사용되는 Recurrent(순환하는)와는 다른 의미를 가지고 있다. RNTN은 두 가지 벤치마크 모델이 있다. 첫 번째는 RecursiveNN 로서 각 단어를 아래와 같이 구조적으로 나타낸 이후 각 단어를 구(Phrase)로 하나씩 결합하면서 감성이 어떻게 나타내는 지를 계속해서 학습한다. 일 논문에서는 긍정과 부정을 25단계로구분하였으며 동일한 구에 대해서는 3명이 평가한 결과물의 평균을 사용하여 레이블링 한다. 여기서 재귀적(Recursive)이라는 수식어를 사용하는 이유는 각 단어 혹은 구마다 동일한 가중치를 적용하기 때문이다.
두 번째는 MV-RNN(Matrix-Vector Recursive Neural Network) 이다. 이 방법은 더 긴 문장의 문맥을 행렬에 저장하여 기존 RecursiveNN의 한계점을 해결하고자 한다. 그리고 두 벤치마크 모델을 결합하여 텐서로 쌓아 나타낸 것이 바로 아래의 RNTN이다. RNTN은 일반적으로 각각의 벤치마크 모델보다 성능이 더 좋다. 특히 "but"등의 단어로 두 문장이 이어져 있거나 복잡한 부정 표현(High-level Negation)이 문장에 존재하는 경우에 기존 모델보다 훨씬 더 좋은 성능을 나타낸다.
한편 버트 모델은, 구글에서 개발한 NLP(자연어처리) 사전 훈련 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model이다. 11개 이상의 자연어처리 과제에서 BERT가 최첨단 성능을 발휘하고 있어, 최근 언어처리에 매우 적합한 모델로 각광받고 있다. BERT는 지금까지 자연어처리에 활용하였던 앙상블 모델보다 더 좋은 성능을 내고 있어서 많은 관심을 받고 있는 언어모델이다.
특정 과제를 수행하기 위한 모델의 성능은, 데이터가 충분히 많다면 Embedding이 큰 영향을 미치게 되며, 단어의 의미를 잘 표현하는 벡터로 표현하는 Embedding된 단어들이 훈련과정에서 당연히 좋은 성능을 낼 것이다. 이 임베딩 과정에서 BERT를 사용하는 것이고, BERT는 특정 과제를 하기 전 사전 훈련 Embedding을 통해 특정 과제의 성능을 더 좋게 할 수 있는 언어모델로 이해될 수 있다.
BERT등장 이전에는 데이터의 전처리 임베딩을 Word2Vec, GloVe, Fasttext 방식을 많이 사용했지만, 요즘의 고성능을 내는 대부분의 모델에서 BERT를 많이 사용하고 있다.
버트 모델에서는 인풋 텍스트 데이터를 Token Embedding, Segment Embedding 및 Position Embedding을 통해 처리한다. Token Embedding은 Word Piece 임베딩 방식으로서 각 Char(문자) 단위로 임베딩을 하고, 자주 등장하면서 가장 긴 길이의 sub-word를 하나의 단위로 만든다. 자주 등장하지 않는 단어는 다시 sub-word로 만든다. 이는 이전에 자주 등장하지 않았던 단어를 모조리 'OOV'처리하여 모델링의 성능을 저하했던 'OOV'문제도 해결할 수 있다.
Segment Embedding에서는 토큰 시킨 단어들을 다시 하나의 문장으로 만드는 작업을 수행한다. BERT에서는 두개의 문장을 구분자([SEP])를 넣어 구분하고 그 두 문장을 하나의 Segment로 지정하여 입력한다. BERT에서는 이 한 세그먼트를 512 sub-word 길이로 제한하는데, 한국어는 보통 20 sub-word가 한 문장을 이룬다고 하며 대부분의 문장은 60 sub-word가 넘지 않는다고 하니 BERT를 사용할 때, 하나의 세그먼트에 128로 제한하여도 충분히 학습이 가능하다.
Position Embedding에 있어서 버트는 Transformer 모델의 일부만을 사용한다. Transformer란 CNN, RNN 과 같은 모델 대신 Self-Attention 이라는 모델을 사용하는 모델이다. BERT는 Transformer의 인코더, 디코더 중 인코더만 사용합니다.
Self Attention은 입력의 위치를 고려하지 않고 입력 토큰의 위치 정보를 고려한다. 그래서 Transformer모델에서는 Sinusoid 함수를 이용하여 Positional encoding을 사용하고 BERT는 이를 따서 Position Encoding을 사용한다. 즉 Token의 순서대로 임베딩을 수행하는 것이다.
BERT는 위 세가지 임베딩을 합치고 이에 Layer정규화와 Dropout을 적용하여 입력으로 사용한다.
데이터들을 임베딩하여 훈련시킬 데이터를 모두 인코딩 하였으면, 사전훈련(Pre-Training)을 시킨다. 즉 본 발명에서 컨텐츠 감성분석부(12)는, 버트 모델을 적용하여, 버트 모델은 기존의 특정 스페시픽(Specific)한 분야의 분석 모델을 사용하지 않고, 제너럴(General)한 모델을 먼저 제시한 뒤 이를 Fine Tuning하여 해당 태스크를 수행하는 알고리즘을 도출한다. 즉, 버트 모델에 대한 프리 트레이닝(Pre-training)을 진행하고, 복수의 의료기관에 대한 제1 컨텐츠를 이용하여 상기 버트 모델에 대한 파인 튜닝(Fine tuning)을 통해 상기 버트 모델을 지속적으로 학습시키는 것이다.
기존의 방법들은 보통 문장을 왼쪽에서 오른쪽으로 학습하여 다음 단어를 예측하는 방식이거나, 예측할 단어의 좌우 문맥을 고려하여 예측하는 방식을 사용한다. 하지만 BERT는 언어의 특성을 잘 학습하도록,MLM(Masked Language Model) 및 NSP(Next Sentence Prediction) 두가지 방식을 사용한다.
MLM은 입력 문장에서 임의로 토근을 버리고(Mask처리) 해당 토큰을 맞추는 방식으로 학습을 진행하게 되고, NSP는 두 문장이 주어졌을 때, 두 문장의 순서를 예측하는 방식으로서, 두 문장 간 관련이 고려되야 하는 NLI와 QA의 파인 튜닝을 위해 두 문장의 연관을 맞추는 학습을 진행한다.
프리 트레이닝 이후에는 상기와 같이 학습된 언어모델을 전이학습시키는 Fine tuning 과정이 수행된다. 즉 프리트레인을 마친 단어 임베딩(문장임베딩)은 말뭉치의 의미적 문법적 정보를 충분히 담고 있고, 다운스트림 태스크를 수행하기 위한 파인튜닝 추가학습을 통해 임베딩을 다운스트림 태스크에 맞게 업데이트 하게 된다. 전이학습은 BERT의 언어 모델의 출력에 추가적인 모델을 쌓아 만든다. 일반적으로 복잡한 CNN, LSTM, Attention을 쌓지 않고 간단한 DNN만 쌓아도 성능이 잘 나오며 별 차이가 없다고 알려져 있다.
ERT를 각 Task에 쓰기위해서는 먼저 문장 쌍 분류 문제로 두 문장을 하나의 입력으로 넣고 두 문장간 관계를 구하거나, 한 문장을 입력으로 넣고 문장의 종류를 분류하거나, 문장이나 문단 내에서 원하는 정답 위치의 시작과 끝을 구하거나, 입력 문장 Token들의 개체명(Named entity recognigion)을 구하거나 품사(Part-of-speech tagging) 를 구한다.
이때 컨텐츠 감성분석부(12)에서는 해당 파인튜닝을 이용하여 입력 문장에 대한 긍부정 분류를 수행하게 되는데, 파인튜닝으로 입력 문장의 종류(긍/부정)를 분류하는 task의 경우 classification layer가 추가되어 문장에 대한 수치나 단어 등의 키워드에 따라서 긍부정을 분류하고, 이때 파라미터로서, Batch Size, Epoch, Max Sequence Length, Dropout Rate, Learning Rate 등이 설정되어 사용될 수 있다.
한편, 본 발명에서 버트는, 한국어에 특화된 KoBERT 모델로 이해될 수 있다. 일 연구결과에 의하면, 버트 모델에 있어서의 감성 분석에 대한 영화평 분석에 있어서 다국어 모델모다 KoBERT 모델 학습 시 약 2.83% 높은 성능을 보여, 본 발명에서도 버트 모델은 한국어 컨텐츠에 대한 분석을 수행 시, 상술한 KoBERT 모델이 적용될 수 있다.
본 발명에서 컨텐츠 감성분석부(12)는 외부에서 파인튜닝된 버트 모델을 사용하거나, 프리트레이닝된 상태의 버트모델을 제1 컨텐츠를 통해서 지속적으로 파인튜닝하면서 제1 컨텐츠의 분석에 사용할 수 있다.
이 결과 도출되는 제1 결과 정보는 도 2의 출력값(110)을 의미하는 것으로 이해될 수 있다. 상술한 바에 의하면, 제1 결과 정보에는 의료기관에 대한 긍부정 평가 정보를 포함하게 된다. 즉 컨텐츠 감성분석부는, 상기 제1 컨텐츠에 포함된 복수의 메인 키워드 및 메인 키워드 주변의 서브 키워드를 기반으로, 메인 키워드를 의료기관에 대한 평가 요소로, 상기 서브 키워드의 감성분석 결과를 기반으로 의료기관에 대한 긍부정 평가 결과를 도출하여, 평가 요소에 대한 긍부정 평가 결과를 제1 결과 정보로서 도출하는 것이다. 이때 각 키워드는 상술한 버트 모델의 적용 시 각 핵심 단어를 메인 키워드로, 이에 대한 감성 분석 결과를 서브 키워드를 통해 도출하는 것으로 이해될 수 있다.
또한 본 발명에서 상술한 메인 키워드 및 서브 키워드는, 버트 모델에서의 토큰으로 구성되는 것으로서, 특히 상술한 파인튜닝 과정에서 도출되는 각 키워드들 중, 긍부정 분석의 대상이 되는 키워드를 메인 키워드로서, 긍부정을 나타내는 의견 데이터의 도출 근거가 되는 키워드를 서브 키워드로 이해될 것이다.
예를 들어 간단하게 도 3에 대한 도식화를 참조하면, 분석 대상 문장(101)에 대해서 키워드 분류를 통해, 102 내지 105의 키워드가 도출된다. 버트 모델의 적용 시 해당 키워드(102 ~ 105)는 각 키워드의 성격에 따라서 제1 결과 정보(110)로서 가공되며, 키워드에 따라서 의료기관의 식별 정보, 평가 요소(103, 104) 및 긍부정 데이터(P)로서 도출될 수 있다.
특히 의료기관에 대해서 최근 적용되고 있는 환자경험평가 데이터와의 결합 용이성 및 평가 정보의 가공을 위해서, 제1 결과 정보는 상술한 예와 유사하에, 공인된 환자경험평가 형식의 데이터로서 가공되도록, 각 의료기관의 식별 정보, 상기 평가 요소 및 상기 긍부정 평가 결과 정보가 결합된 형태로 가공되는 것도 가능하다.
상술한 환자경험평가 형식의 데이터로 가공됨은, 각 평가 요소에 대한 키워드를 제1 결과 정보가 환자경혐평가 형식에 포함된 키워드로 맞춤화되도록 유사어 분석 등을 통해서 보정하고, 이에 대한 평가 수치 역시 긍부정 데이터가 각 평가 수치에 반영되도록 하는 것이다. 예를 들어 환자경험평가가 각 평가요소에 대한 점수를 1에서 5로 설정하는 경우에 있어서는 긍정은 5, 부정은 1로 설정하는 것으로 그 예를 들 수 있다.
환자경험평가는 도 5에 도시된 바와 같은 데이터 구조(101-1)로 구현될 수 있다. 즉 하나의 환자경험평가 문장은 평가 요소, 세부 평가 요소 및 점수로 구성될 수 있는데, 본 발명에 있어서 제1 결과 정보 역시, 상술한 도 3의 출력값(110)과 도 5의 데이터 구조(101-1)의 유사성을 기반으로 가공될 수 있는 것이다.
한편 출력값, 즉 제1 결과 정보(110)는 도 4와 같이 리포트 제공부(13)에 의하여 제2 결과 정보(120)로 가공되어 의료기관 계정에 제공된다. 즉, 리포트 제공부(13)는 컨텐츠 감성분석부(12)의 제1 결과 정보를 이용하여, 의료기관의 평가 관리를 위한 가이드 정보인 제2 결과 정보를 도출하여 의료기관 계정에 제공하는 기능을 수행한다.
제2 결과 정보는 예를 들어 제1 결과 정보를 각 평가 요소별로 결합하고, 해당 평가 요소에 따른 상술한 긍부정 데이터를 수치화한 결과를 누적 합산하여, 최종적으로 각 평가 요소에 대한 평가 수치를 도출함으로써 생성되는 예로 설명될 수 있다.
즉 도 4에 도시된 바와 같이, 각 제1 결과 정보(110)를 제1 결과 정보(110)에 포함되거나 링크된 의료기관의 식별정보에 따라서 결합하면, 제2 결과 정보(120)가 도출된다.
이때 도 4에 도시된 바를 참조하면, 리포트 제공부(13)는 제2 결과 정보를 다양한 측면에서 도출하여 제공할 수 있다. 즉 상술한 바와 같이, 긍부정 데이터에 포함된 긍부정 정도에 따라서 비례하는 평가 수치를 기반으로, 의료기관 전체에 대한 제1 결과 정보를 기반으로 의료기관 전체에 대한 평가 수치를 상기 의료기관 평가 수치로 도출할 수 있다.
또는 평가 요소별로 상기 평가 수치를 취합하는데, 평가 요소에 대응되는 서비스 요소별 평가 수치를 의료기관에 따라서 결합하여 상기 의료기관에 대한 서비스 요소별 평가 수치로, 각 평가 요소별 서브 키워드를 각 서브 키워드별 유사도 파악 알고리즘을 이용하여, 유사한 서브 키워드들을 유사한 서브 키워드들 중 사용 빈도수가 가장 높은 키워드인 대표 키워드에 따라서 그룹화하고, 평가 요소에 대응되는 서비스 요소별로 대표 키워드를 매칭한 결과를 상기 의료기관에 대한 서비스 요소별 분석 결과로 도출할 수 있다.
도 4의 예에 있어서는 XX 병원이라는 의료기관의 식별 정보(121)를 기반으로 모든 평가 수치를 합산한 결과를 도출할 수 있는데, 상술한 바와 같이 평가 요소별 대표 키워드(122)를 설정하고 각 대표 키워드(122)에 그룹화된 서브 키워드에 대한 평가 수치를 합산한 결과(123)를 분석 결과로서 도출할 수 있는 것이다. 즉 상술한 서비스 요소별 평가 수치는, 상술한 대표 키워드별로 도출될 수 있거나 세부 평가 요소별로 도출될 수 있다.
이때, 리포트 제공부(13)는 예를 들어, 제2 결과 정보로서, 적어도 의료기관 평가 수치, 의료기관에 대한 서비스 요소별 평가 수치, 의료기관에 대한 서비스 요소별 분석 결과, 및 위험수준 감지 정보 중 적어도 하나를 상기 의료기관 계정에 제공할 수 있다. 의료기관 평가 수치, 의료기관에 대한 서비스 요소별 평가 수치는 상술한 바와 같고, 서비스 요소는 평가 요소와 동일한 개념으로 이해될 수 있다.
서비스 요소별 분석 결과는 상술한 바와 같이 서비스 요소별로 대표 키워드를 매칭한 결과 그 자체 또는 해당 매칭 결과에 빈도수가 가장 높은 긍부정 데이터에 대응되는 서브 키워드를 의미할 수 있다.
즉 도 6에 도시된 바를 참조하면, 서브 키워드들(104-1. 105-1)에 있어서 빈도수를 기반으로 예를 들어 "나아짐"이 가장 높은 경우, 해당 서비스 요소, 즉 평가 요소(122)로서 "치료 품질"에 있어서는 분석 결과가 "평균적으로 잘 나아짐"으로서 가공될 수 있다.
한편 서브 키워드들(104-1, 105-1)에 나타난 긍부정 데이터 및 그 정도값을 기반으로 평가 수치(123-1)가 각각 존재할 수 있고 해당 평가 수치(123-1)가 평가 요소(122)에 대해서 합산되어, 평가 요소(122)에 대한 총 평가 수치가 도출되는 것이다.
한편 상술한 위험수준 감지 정보를 제공함에 있어서 리포트 제공부(13)는 상술한 바와 같이 산출된 의료기관 평가 수치 또는 의료기관에 대한 서비스 요소별 평가 수치가, 기설정된 임계 위험 수치 미만인 경우, 의료기관 계정에 위험 수준 감지 정보를 생성하여 제공한다.
상술한 바를 결합하여, 의료기관 계정에 제공되어 도 1에 도시된 바와 같은 의료기관 담당자의 단말(30)에 출력되는 리포트 화면의 예가 도 7에 도시되어 있다. 도 7을 참조하면, 리포트 화면(200)에는 상술한 바와 같이 의료기관 전체의 평가 수치(201)과, 각 서비스 요소, 즉 평가 요소별 평가 수치(202)를 확인할 수 있다.
또한, 대표 평가 보기(204)를 통해서, 분석 대상이 된 제1 컨텐츠들 중, 각 평가 요소별로 제1 컨텐츠를 확인할 수 있도록 할 수 있다. 이때 대표 평가 보기(204)에서 확인 가능한 제1 컨텐츠는 예를 들어 조회수, 추천수가 가장 높은 제1 컨텐츠 또는 다수의 제1 컨텐츠를 의미할 수 있다. 한편 상세 보기 메뉴(205)를 통해서는 상술한 서비스 요소별 분석 결과를 키워드로 확인할 수 있다.
이때 임계 위험 수치가 2.3 등으로 설정된 경우, 치료 속도에 대한 평가 요소에 대한 평가 수치 2.1에 의하여 해당 평가 요소에 대한 이벤트 효과(203)를 적용하여, 위험 수준 감지 정보로서 제공할 수 있다.
이러한 종합적인 화면(200)을 통해서 의료기관은 각 평가 요소 또는 전체적인 평가를 객관적으로 확인할 수 있으며, 이에 따라서 개선해야 하는 서비스 요소에 대한 직관적인 확인을 통해서, 평가 요소에 대한 관리가 매우 면밀하고 용이하게 가능한 효과가 있는 것이다.
한편, 본 발명에 있어서, 각 키워드에 대해서는 의료 분야 컨텐츠라는 제1 컨텐츠의 매우 좁은 포커싱에 의하여, 특정 추출된 키워드가 데이터베이스에 정의되지 않은 상태일 수 있다. 이 경우, 해당 키워드에 대한 분석이 생략될 수 있어 이에 대한 사전적 정의 형식이 데이터베이스에 추가될 수 있는 기능의 수행 시 더욱 정확한 포괄적인 평가 관리가 가능하다.
이를 위해서 도 8에 도시된 바와 같은 기능을 수행하기 위해서 본 발명의 시스템(10)에는 키워드 정보 생성부가 더 포함될 수 있다.
키워드 정보 생성부는 상술한 바와 같이 제1 컨텐츠에 포함된 복수의 메인 키워드 및 메인 키워드 주변의 서브 키워드들을 추출한 결과, 추출된 대상 키워드가 데이터베이스에 저장되어 있지 않은 키워드인 경우, 외부 온라인 상의 의료 컨텐츠에 대한 유사어 검색 알고리즘을 통해 대상 키워드와 유사도 수치가 가장 높은 단어의 의미를 이용하거나, 대상 키워드에 대한 외부 온라인 상의 의료 컨텐츠 검색 결과를 바탕으로 대상 키워드의 의미 정보를 생성하고, 생성된 의미 정보와 대상 키워드를 신규 키워드 사전 정보로서 데이터베이스에 저장하는 기능을 수행한다. 본 발명에서 데이터베이스는 적어도 컨텐츠 감성분석부(12)의 기능 수행을 위해서 분석되는 키워드의 정의가 저장 및 관리되는 저장공간을 의미하며, 컨텐츠 감성분석부(12)에 포함되는 구성으로 구현될 수 있다.
상술한 바와 달리 외부의 의료 컨텐츠에 대상 키워드에 대한 정의가 존재하지 않는 경우, 이에 대한 연관 정보를 분석하여 사전 정보를 정의하거나, 의료 컨텐츠 이외의 다른 컨텐츠로부터 사전 정보를 정의할 수 있다.
즉 키워드 정보 생성부는, 사전 정보가 설정되지 않은 신규 키워드에 대해서, 대상 키워드에 대한 외부 온라인 상의 의료 컨텐츠 검색 결과에 따라서 수집된 의료 컨텐츠에 대한 버트 모델 적용 결과 도출된 키워드들을, 정의 텍스트, 카테고리 정보 및 대상 키워드의 속성 정보로 분류함으로써 대상 키워드에 대한 의미 정보를 생성한다.
도 8을 참조하면 예를 들어 "Fine Tuning"이라는 키워드가 제1 컨텐츠로부터 도출된 상태에서, 키워드 정보 생성부는 해당 키워드 중 "Tuning"이 도 1에 도시된 바와 같은 외부(20)에 존재하지 않는 경우, 기타 의료 컨텐츠에 대한 외부 네트워크(12)를 통해서 관련 정보를 수집하고, 이를 상술한 BERT, 특히 KoBERT 모델(300)에 적용하여, Tuning이라는 단어의 정의, 카테고리 및 주요 정보(101-2)를 정의하게 된다. 이후 이를 상술한 데이터베이스(40)에 저장하며 이를 통해 상술한 서브 키워드, 메인 키워드 등에 대한 유사도 분석 및 키워드 활용 시 해당 사전 정보를 활용하는 것이다.
도 9은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 8에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.
도 9에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 9의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 9에 도시된 일부 컴포넌트가 생략되거나, 도 9에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 9에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (1)

  1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템에 관한 것으로,
    적어도 의료기관에 대한 리뷰 및 평가 정보를 포함하는 텍스트 및 이미지를 포함하는 제1 컨텐츠를 외부로부터 수집하는 컨텐츠 수집부;
    수집된 제1 컨텐츠에 대해서 멀티모달 신경망(Mutimodal NN) 및 한국어 기반의 버트(BERT, Bidirectional Encoder Representations from Transformers)모델을 이용하여, 제1 컨텐츠에 대한 감성분석 결과인 제1 결과 정보를 도출하는 컨텐츠 감성분석부; 및
    상기 컨텐츠 감성분석부의 제1 결과 정보를 이용하여, 의료기관의 평가 관리를 위한 가이드 정보인 제2 결과 정보를 도출하여 의료기관 계정에 제공하는 리포트 제공부;를 포함하되,
    상기 컨텐츠 감성분석부는,
    상기 수집된 제1 컨텐츠가 상기 이미지만을 포함하는 컨텐츠인 경우, 명도대비를 평가 기준으로 하는 감성 분석 알고리즘을 이용하여, 상기 제1 컨텐츠의 상기 이미지를 쾌 또는 불쾌, 긴장 또는 평온의 구분 감성에 기반한 트리 형식으로 가중치를 부여해 감성분석하거나, 상기 이미지 내에서 대표 도형을 선정하여, 상기 선정된 대표 도형의 종류와 기울기에 따라 쾌 또는 불쾌, 긴장 또는 평온의 구분 감성에 기반한 감성 수치를 측정해 감성분석을 실시하는 것을 특징으로 하는 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템.
KR1020210082010A 2021-06-24 2021-06-24 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템 KR102359638B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210082010A KR102359638B1 (ko) 2021-06-24 2021-06-24 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210082010A KR102359638B1 (ko) 2021-06-24 2021-06-24 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템

Publications (1)

Publication Number Publication Date
KR102359638B1 true KR102359638B1 (ko) 2022-02-08

Family

ID=80252826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210082010A KR102359638B1 (ko) 2021-06-24 2021-06-24 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템

Country Status (1)

Country Link
KR (1) KR102359638B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599136B1 (ko) * 2023-01-03 2023-11-03 손효상 트랜스포머 모델을 이용한 농산물 가격예측 방법 및 시스템
KR102614705B1 (ko) * 2023-04-12 2023-12-15 클라우드호스피탈 주식회사 사용자특성에 기반하여 의료서비스사용자와 의료진을 중개하는 방법 및 시스템
CN117995338A (zh) * 2024-04-03 2024-05-07 中国科学院合肥物质科学研究院 一种基于语义分析的体检数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004165A (ko) * 2015-07-01 2017-01-11 지속가능발전소 주식회사 뉴스의 데이터마이닝을 통한 기업 평판 분석 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20200127557A (ko) * 2019-05-03 2020-11-11 주식회사 자이냅스 뉴스 기사의 감성 정보 레이블링 프로그램이 기록된 기록매체
KR20210063875A (ko) * 2019-11-25 2021-06-02 주식회사 데이터마케팅코리아 마케팅 정보 분석 서비스 제공을 위한 프로그램 및 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004165A (ko) * 2015-07-01 2017-01-11 지속가능발전소 주식회사 뉴스의 데이터마이닝을 통한 기업 평판 분석 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20200127557A (ko) * 2019-05-03 2020-11-11 주식회사 자이냅스 뉴스 기사의 감성 정보 레이블링 프로그램이 기록된 기록매체
KR20210063875A (ko) * 2019-11-25 2021-06-02 주식회사 데이터마케팅코리아 마케팅 정보 분석 서비스 제공을 위한 프로그램 및 기록매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599136B1 (ko) * 2023-01-03 2023-11-03 손효상 트랜스포머 모델을 이용한 농산물 가격예측 방법 및 시스템
KR102614705B1 (ko) * 2023-04-12 2023-12-15 클라우드호스피탈 주식회사 사용자특성에 기반하여 의료서비스사용자와 의료진을 중개하는 방법 및 시스템
CN117995338A (zh) * 2024-04-03 2024-05-07 中国科学院合肥物质科学研究院 一种基于语义分析的体检数据处理方法及系统

Similar Documents

Publication Publication Date Title
Fan et al. Adverse drug event detection and extraction from open data: A deep learning approach
Li et al. How textual quality of online reviews affect classification performance: a case of deep learning sentiment analysis
Mahmood et al. Deep sentiments in roman urdu text using recurrent convolutional neural network model
Zhou et al. Latent customer needs elicitation by use case analogical reasoning from sentiment analysis of online product reviews
KR102359638B1 (ko) 의료 분야 맞춤형 감성분석을 통한 의료기관 평가 분석 시스템
Feng et al. Enhanced sentiment labeling and implicit aspect identification by integration of deep convolution neural network and sequential algorithm
Ahmed Detecting opinion spam and fake news using n-gram analysis and semantic similarity
Zhang et al. Cross-modal image sentiment analysis via deep correlation of textual semantic
Yan et al. Multimodal sentiment analysis using multi-tensor fusion network with cross-modal modeling
Zhang et al. A weakly supervised approach to Chinese sentiment classification using partitioned self-training
Biswas et al. Scope of sentiment analysis on news articles regarding stock market and GDP in struggling economic condition
Yadav et al. A Language-independent Network to Analyze the Impact of COVID-19 on the World via Sentiment Analysis
US20230244869A1 (en) Systems and methods for classification of textual works
Kambar et al. A survey on deep learning techniques for joint named entities and relation extraction
KR20230099999A (ko) 인공지능 자연어처리를 이용한 객체 평판 평가 방법, 장치 및 컴퓨터-판독가능 기록매체
Goossens et al. Extracting Decision Model and Notation models from text using deep learning techniques
Jin et al. Textual content prediction via fuzzy attention neural network model without predefined knowledge
Wang et al. User and topic hybrid context embedding for finance-related text data mining
Baldania Sentiment analysis approaches for movie reviews forecasting: A survey
Basiri et al. Bidirectional LSTM deep model for online doctor reviews polarity detection
Jlifi et al. Beyond the use of a novel Ensemble based Random Forest-BERT Model (Ens-RF-BERT) for the Sentiment Analysis of the hashtag COVID19 tweets
US20220165430A1 (en) Leveraging deep contextual representation, medical concept representation and term-occurrence statistics in precision medicine to rank clinical studies relevant to a patient
Wang et al. CA-CD: context-aware clickbait detection using new Chinese clickbait dataset with transfer learning method
Quan et al. Textual emotion recognition for enhancing enterprise computing
Zarandi et al. A survey of aspect-based sentiment analysis classification with a focus on graph neural network methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant