KR102325022B1 - On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method - Google Patents
On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method Download PDFInfo
- Publication number
- KR102325022B1 KR102325022B1 KR1020200122018A KR20200122018A KR102325022B1 KR 102325022 B1 KR102325022 B1 KR 102325022B1 KR 1020200122018 A KR1020200122018 A KR 1020200122018A KR 20200122018 A KR20200122018 A KR 20200122018A KR 102325022 B1 KR102325022 B1 KR 102325022B1
- Authority
- KR
- South Korea
- Prior art keywords
- analysis
- information
- data
- unit
- deep learning
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 238000012552 review Methods 0.000 title claims abstract description 38
- 238000012351 Integrated analysis Methods 0.000 title claims abstract description 28
- 230000002996 emotional effect Effects 0.000 claims abstract description 58
- 238000007405 data analysis Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 26
- 238000013480 data collection Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 14
- 230000008451 emotion Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000007790 scraping Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010237 hybrid technique Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010028916 Neologism Diseases 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06Q40/103—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법 및 시스템에 관한 것이다.The present invention relates to an online image and review integrated analysis method and system using a deep learning-based hybrid analysis method.
일반적인 감성분석이나 오피니언 분석의 경우, 수집-전처리-자연어처리-[규칙기반]-머신러닝 또는 어휘 기반 처리-시각화 순의 5~6단계로 진행된다.In the case of general sentiment analysis or opinion analysis, collection-preprocessing-natural language processing-[rule-based]-machine learning or vocabulary-based processing-visualization proceeds in 5-6 steps.
이와 같은 일반적인 감성분석의 경우, 다음과 같은 과정 및 문제점을 갖는다.In the case of such general sentiment analysis, it has the following processes and problems.
첫째, 수집 단계에서는 뉴스, 온라인 리뷰 등 뿐만 아니라 포스팅된 이미지의 텍스트까지 융합 분석을 위해 수집하지는 않는다.First, in the collection stage, news and online reviews as well as texts of posted images are not collected for convergence analysis.
둘째, 전처리 과정에서는 HTML 태그 등과 이모티콘과 같은 불용어들을 제거하는데, 제거된 감탄사, 이모티콘 등이 분석결과에 영향을 줄 수도 있다.Second, in the preprocessing process, stop words such as HTML tags and emoticons are removed, and the removed exclamation words and emoticons may affect the analysis result.
셋째, 자연어처리는 입력 데이터를 형태소 분석기에 의해 형태소로 분리하고 품사정보를 태깅하는 프로세스인데, 띄어쓰기, 줄임말, 은어, 신조어, 리뷰에서 많이 사용하는 단어 등에 대해 잘못된 품사로 태깅하여 정확도에 영향을 준다.Third, natural language processing is a process of separating input data into morphemes by a morpheme analyzer and tagging part-of-speech information. It affects accuracy by tagging spaces, abbreviations, slang, neologisms, and words frequently used in reviews with incorrect parts-of-speech. .
넷째, 통상 규칙기반은 한국어가 가지고 있는 언어 표현의 복잡성과 다양성, 중의성 등을 해결하기 위해 사용하는 방법 중 하나이지만 문제해결을 하지 못한다.Fourth, although rule-based is one of the methods used to solve the complexity, diversity, and ambiguity of language expressions in Korean, it does not solve the problem.
다섯째, 사전 방식은 어휘기반의 접근법 중 하나로서 말뭉치(corpus)나 사전(dictionary)을 이용하여 감성을 분류하는데 영어에선 각 어휘에 긍정, 중립, 부정의 극성이 태깅된 Senti-WordNet과 같은 감성사전 등 분석에 필요한 자원이 한국어보다 많으므로 보다 높은 정확도를 기대할 수 있으나, 한국어는 분석에 필요한 어휘 자원이 부족하고 특히 도메인에 따른 특성을 반영하질 못하고 있어 정확도에 큰 장애요인이며 통상 개발자가 수작업에 의존한다.Fifth, the dictionary method is one of the vocabulary-based approaches to classify emotions using a corpus or dictionary. Higher accuracy can be expected because there are more resources required for analysis, such as Korean, but Korean lacks vocabulary resources required for analysis and, in particular, does not reflect the characteristics of each domain, which is a major obstacle to accuracy. do.
여섯째, 머신러닝 기법은 지도학습(supervised learning) 방법으로 SVM(Support Vector Machine), Naive Bayes와 같은 분류기(classifier)를 많이 사용하는데 레이블된 많은 양의 트레이닝 데이터가 필요하므로 현재 상황에서는 한계가 있다. Sixth, the machine learning technique is a supervised learning method that uses a lot of classifiers such as Support Vector Machine (SVM) and Naive Bayes, but it requires a large amount of labeled training data, so there is a limit in the current situation.
끝으로 시각화는 일반적인 통계에서의 시각화가 이용된다. Finally, visualization in general statistics is used for visualization.
한편, 종래 리뷰 분석 방법으로, 한국등록특허 10-2020756호에 ‘머신러닝을 이용한 리뷰 분석 방법’이 기재되어 있다.On the other hand, as a conventional review analysis method, Korean Patent No. 10-2020756 describes a 'review analysis method using machine learning'.
이에 본 발명은 전술한 배경에서 안출된 것으로, 소비자의 VoC(리뷰, 댓글 등) 뿐만 아니라 사진 이미지를 감성사전과 딥러닝의 하이브리드 기법을 사용하여 주제(제품, 서비스), 장소(여행지, 행정구역), 사람, 이슈 등에 대해 하위 주제(이후 관점으로 표현)와 속성으로 세분화하고 일반적인 감성분석이나 통계중심의 비즈니스 인텔리전스 분석결과가 아닌, 소비자 경험을 중심으로 한 기회 및 위험요인 발굴과 같은 특정 비즈니스 문제를 해결하기 위해 비전문가나 중소기업도 쉽게 사용할 수 있는 클라우드 기반의 융합 의견분석(opinion analysis) 서비스를 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised in the background described above, and the subject (product, service), place (travel destination, administrative district), as well as the consumer's VoC (reviews, comments, etc.) ), people, issues, etc. are subdivided into sub-topics (expressed in perspective later) and attributes, and specific business problems such as discovery of opportunities and risk factors centered on consumer experience rather than general sentiment analysis or statistics-oriented business intelligence analysis results. The purpose of this is to provide a cloud-based convergence opinion analysis service that can be easily used by non-experts and small and medium-sized enterprises (SMEs) to solve this problem.
특히, 비정형 텍스트 분석뿐만 아니라 최근 증가하고 있는 사진이미지(인스타그램 등 이미지 기반 SNS)에서 기업명이나 브랜드명을 추출하고, 해당 이미지의 포스트(post)까지 함께 분석하여 노출빈도 뿐만 아니라 원하는 분석결과를 도출할 수 있어 위험요인 발굴과 같은 기업이 필요로 하는 특정 임무 중심(mission critical)의 서비스가 가능하며, 또한 처리하는 과정에서 처음의 오류가 결과에 미치는 영향을 줄이며, 일반 감성분석 서비스의 한계를 극복하고 분석결과의 정확도를 향상시키기 위해 감성어휘사전과 딥러닝 기법을 결합한 하이브리드 접근법과 순차적으로 각 조건에 맞는 서비스 기능을 효율적으로 수행하는 적응형 프레임워크 기법에 의한 클라우드 기반 융합 의견분석(opinion analysis) 서비스를 제공하는데 그 목적이 있다.In particular, in addition to analyzing atypical text, the company name or brand name is extracted from photo images (image-based SNS such as Instagram) that are increasing recently, and the post of the image is also analyzed to obtain the desired analysis result as well as the exposure frequency. It is possible to derive specific mission critical services required by the company, such as discovering risk factors, and also reduces the impact of the initial error on the results in the process of processing, and reduces the limitations of general sentiment analysis services. Cloud-based convergence opinion analysis (opinion analysis) by a hybrid approach that combines emotional vocabulary and deep learning techniques to overcome and improve the accuracy of analysis results and an adaptive framework technique that sequentially performs service functions suitable for each condition ) to provide services.
본 발명의 목적은 여기에 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited thereto, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
이러한 목적을 달성하기 위하여 본 발명의 일실시예는 (a) 서버(101)의 데이터수집부(103)가, 기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하는 단계; (b) 상기 서버(101)의 데이터처리부(105)가, 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하는 단계; (c) 상기 서버(101)의 데이터분석부(107)가, 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성하는 단계; (d) 상기 서버(101)의 상기 데이터분석부(107)가, 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성하는 단계; (e) 상기 서버(101)의 상기 데이터분석부(107)가, 딥러닝 알고리즘과 기저장된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하는 단계; 및 (f) 상기 서버(101)의 데이터저장부(109)가, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법을 제공한다.In order to achieve this object, an embodiment of the present invention (a) the
또한, 데이터수집부(103)와, 데이터처리부(105)와, 데이터분석부(107)와, 데이터저장부(109)를 포함하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에 있어서, 상기 데이터수집부(103)는, 기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하고, 상기 데이터처리부(105)는, (1) 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하며, 상기 데이터분석부(107)는, (1) 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성, (2) 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성, 및 (3) 딥러닝 알고리즘과 기설정된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하며, 상기 데이터저장부(109)는, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템을 제공한다.In addition, the online image and review integrated analysis system using a deep learning-based hybrid analysis method including a
본 발명의 일실시예에 의하면, 소비자의 VoC(리뷰, 댓글 등) 뿐만 아니라 사진 이미지를 감성사전과 딥러닝의 하이브리드 기법을 사용하여 주제(제품, 서비스), 장소(여행지, 행정구역), 사람, 이슈 등에 대해 관점과 속성으로 세분화하고 일반적인 감성분석이나 통계중심의 비즈니스 인텔리전스 분석결과가 아닌, 소비자 경험을 중심으로 한 기회 및 위험요인 발굴과 같은 특정 비즈니스 문제를 해결하기 위해 비전문가나 중소기업도 쉽게 사용할 수 있는 클라우드 기반의 융합 의견분석(opinion analysis) 서비스를 제공할 수 있는 효과가 있다.According to an embodiment of the present invention, the subject (product, service), place (travel destination, administrative district), person by using a hybrid technique of emotional dictionary and deep learning as well as consumer VoC (reviews, comments, etc.) , issues, etc. are subdivided into perspectives and attributes, and can be easily used by non-specialists and small and medium-sized enterprises (SMEs) to solve specific business problems, such as discovering opportunities and risk factors centered on consumer experience, rather than general sentiment analysis or statistics-oriented business intelligence analysis results. It has the effect of providing a cloud-based convergence opinion analysis service that can
또한, 비정형 텍스트 분석뿐만 아니라 최근 증가하고 있는 사진이미지(인스타그램 등 이미지 기반 SNS)에서 기업명이나 브랜드명을 추출하고, 해당 이미지의 포스트(post)까지 함께 분석하여 노출빈도 뿐만 아니라 원하는 분석결과를 도출할 수 있어 위험요인 발굴과 같은 기업이 필요로 하는 특정 임무 중심(mission critical)의 서비스를 가능하게 하며, 또한 처리하는 과정에서 처음의 오류가 결과에 미치는 영향을 줄이며, 일반 감성분석 서비스의 한계를 극복하고 분석결과의 정확도를 향상시키기 위해 감성어휘사전과 딥러닝 기법을 결합한 하이브리드 접근법과 순차적으로 각 조건에 맞는 서비스 기능을 효율적으로 수행하는 적응형 프레임워크 기법에 의한 클라우드 기반 융합 의견분석(opinion analysis) 서비스를 제공할 수 있는 효과가 있다.In addition, the company name or brand name is extracted from photo images (image-based SNS such as Instagram) that are increasing recently as well as atypical text analysis, and the post of the image is also analyzed to obtain the desired analysis result as well as the exposure frequency. It enables specific mission critical services required by companies, such as risk factor discovery, and also reduces the impact of initial errors on the results in the process of processing, and limits the general sentiment analysis service. Cloud-based convergence opinion analysis (opinion analysis) by a hybrid approach that combines a sentiment dictionary and deep learning technique and an adaptive framework technique that sequentially performs service functions suitable for each condition efficiently analysis) service.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템의 블록도이다.
도 2는 데이터수집부에서 텍스트정보와 이미지정보가 수집되는 예를 나타낸 블록도이다.
도 3은 데이터처리부에서 텍스트정보와 이미지정보가 처리되는 과정을 나타낸 블록도이다.
도 4는 데이터분석부에서 감성지수정보가 생성되는 과정을 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템의 시스템 아키텍처를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 데이터 수집, 전처리, 도메인 분류를 나타낸 순서도이다.
도 7은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 구문분석 과정을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 도메인템플리트의 개념을 나타낸 도면이다.1 is a block diagram of an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
2 is a block diagram illustrating an example in which text information and image information are collected by a data collection unit.
3 is a block diagram illustrating a process of processing text information and image information in a data processing unit.
4 is a block diagram illustrating a process of generating emotional index information in the data analysis unit.
5 is a diagram illustrating a system architecture of an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
6 is a flowchart illustrating data collection, pre-processing, and domain classification in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
7 is a flowchart illustrating a syntax analysis process in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
8 is a diagram illustrating the concept of a domain template in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It should be understood that elements may be “connected,” “coupled,” or “connected.”
도 1은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템의 블록도이다.1 is a block diagram of an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
도 2는 데이터수집부에서 텍스트정보와 이미지정보가 수집되는 예를 나타낸 블록도이다.2 is a block diagram illustrating an example in which text information and image information are collected by a data collection unit.
도 3은 데이터처리부에서 텍스트정보와 이미지정보가 처리되는 과정을 나타낸 블록도이다.3 is a block diagram illustrating a process of processing text information and image information in a data processing unit.
도 4는 데이터분석부에서 감성지수정보가 생성되는 과정을 나타낸 블록도이다.4 is a block diagram illustrating a process of generating emotional index information in the data analysis unit.
도 5는 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템의 시스템 아키텍처를 나타낸 도면이다.5 is a diagram illustrating a system architecture of an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
도 6은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 데이터 수집, 전처리, 도멘인 분류를 나타낸 순서도이다.6 is a flowchart illustrating data collection, pre-processing, and domainin classification in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
도 7은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 구문분석 과정을 나타낸 순서도이다.7 is a flowchart illustrating a syntax analysis process in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 도메인템플리트의 개념을 나타낸 도면이다.8 is a diagram illustrating the concept of a domain template in an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to an embodiment of the present invention.
이들 도면들에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법은, (a) 서버(101)의 데이터수집부(103)가, 기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하는 단계; (b) 상기 서버(101)의 데이터처리부(105)가, 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하는 단계; (c) 상기 서버(101)의 데이터분석부(107)가, 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성하는 단계; (d) 상기 서버(101)의 상기 데이터분석부(107)가, 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성하는 단계; (e) 상기 서버(101)의 상기 데이터분석부(107)가, 딥러닝 알고리즘과 기저장된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하는 단계; 및 (f) 상기 서버(101)의 데이터저장부(109)가, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하는 단계;를 포함하는 것을 특징으로 한다.As shown in these figures, the online image and review integrated analysis method using a deep learning-based hybrid analysis method according to an embodiment of the present invention, (a) the
이하, 각 단계별로 설명한다.Hereinafter, each step will be described.
먼저, (a) 단계는, 서버(101)의 데이터수집부(103)가, 기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 기특정된 제품 또는 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하는 단계이다.First, in step (a), the
여기서, ‘기특정된 제품’은 일예로 ‘화장품’일 수 있고, ‘기특정된 서비스’는 일예로 ‘화장품판매(쇼핑) 서비스’일 수 있으나, 이에 한정되는 것은 아니다.Here, the 'pre-specified product' may be, for example, 'cosmetics', and the 'pre-specified service' may be, for example, a 'cosmetics sales (shopping) service', but is not limited thereto.
또한, ‘인터넷웹사이트 또는 SNS’는 일예로, 블로그, 커뮤니티(인터넷 카페 등), 포럼, 온라인쇼핑몰, 기업 웹사이트, 유튜브, 인스타그램, 페이스북 등 다양하게 제공되며, 특정 도메인으로 표시될 수 있다.In addition, 'Internet website or SNS' is provided in various ways, such as blogs, communities (Internet cafes, etc.), forums, online shopping malls, corporate websites, YouTube, Instagram, Facebook, etc., for example, and may be displayed as a specific domain. can
한편, 데이터수집부(103)는, 스크래핑 방식에 의해 인터넷웹사이트 또는 SNS에서 텍스트정보(i1)와 이미지정보(i3)를 수집할 수 있다.Meanwhile, the
스크래핑 방식을 이용할 경우, 데이터수집부(103)는 특정 도메인에서 필요한 데이터만 수집할 수 있다.When the scraping method is used, the
물론, 이에 반드시 한정되는 것은 아니며, 데이터수집부(103)가 텍스트정보(i1)와 이미지정보(i3)를 수집하는 방식은, 크롤링 방식, OpenAPI 방식, RSS 등 다양하게 제공될 수 있다.Of course, the present invention is not necessarily limited thereto, and various methods for the
이어서, (b) 단계는, 서버(101)의 데이터처리부(105)가, 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 이미지정보(i3)로부터 기특정된 제품 또는 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하는 단계이다.Subsequently, in step (b), the
여기서, 데이터처리부(105)가 텍스트정보(i1)를 전처리하는 작업은, 결측값(missing value)을 채우거나, 잡음값(noisy data) 완화, 이상점(outlier)을 발견하여 이를 제거하는 정제(data cleaning) 과정, 데이터 통합(data integration), 데이터 정리(data reduction), 데이터 변환(data transformation) 등의 과정을 포함한다.Here, the
한편, 데이터처리부(105)는, 종래의 전처리 방식과 달리, 관용어, 이모티콘 등을 분석 대상에 포함시켜서, 텍스트정보(i1)를 생성한 저자의 감성이 왜곡되거나 편향되지 않도록 한다.On the other hand, the
또한, 데이터처리부(105)는, 텍스트정보(i3)의 전처리시, 개인식별정보를 삭제한다.In addition, the
즉, 데이터처리부(105)는, 텍스트정보(i3)의 전처리시 개인정보의 비식별화 처리를 수행하는데, 개인정보는 일예로, 성명, 주소, 주민등록번호, 여권번호, 계좌번호, 신용카드번호, 각종 자격증 및 면허 번호, 신체 식별정보 등을 포함할 수 있다.That is, the
한편, 데이터처리부(105)는 상술한 형태소 분석시 일예로 Okt 형태소 분석기를 사용할 수 있다.Meanwhile, the
Okt 형태소 분석기에서 제공하는 함수는 형태소를 추출하는 morphs, 명사만 추출하는 nouns, 어절을 추출하는 phrases, 품사 정보를 추출하는데 norm은 문장을 정규화하고 stem은 각 단어에서 어간을 그리고 join 옵션을 형태소와 품사를 ‘형태소/품사’형태의 리스트로 추출하는 pos가 있다.The functions provided by the Okt stemming analyzer extract morphs to extract morphemes, nouns to extract only nouns, phrases to extract words, and part-of-speech information. There is a pos that extracts the part-of-speech into a list of 'morpheme/part-of-speech' form.
또한, 분석에 활용할 품사 정보는 주제 및 속성 정보를 위한 명사, 긍부정 판단의 가감을 위한 동사와 형용사, 부사 그리고 감탄사이며 감성단어사전에 포함된 정서표현의 관용어가 있다.In addition, the part-of-speech information to be used for analysis includes nouns for subject and attribute information, verbs, adjectives, adverbs, and exclamations for positive/negative judgment, and there are idioms for emotional expression included in the emotional word dictionary.
한편, 데이터처리부(105)는 이미지정보(i3)로부터 기특정된 제품 또는 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출한다.On the other hand, the
일예로, 데이터처리부(105)는, 수집된 이미지정보(i3)로부터 기특정된 제품 또는 기특정된 서비스를 제공하는 기업의 상표, 기업명, 브랜드 로고 등을 적어도 하나 이상 포함하는 브랜드이미지정보(i7)를 추출한다.As an example, the
이어서, (c) 단계는, 서버(101)의 데이터분석부(107)가, 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성하는 단계이다.Subsequently, in step (c), the
데이터분석부(107)가 생성한 구문분석말뭉치정보(i9)에는, 명사구, 형용사구, 동사구 등이 추출되어 포함된다.The syntax analysis corpus information i9 generated by the
한편, 도메인템플리트는 서비스를 위해 거쳐야 하는 많은 과정을 줄이기 위한 분석 프로세스 방법으로, 이는 분석 프로세스에서 수집된 리뷰 등이 도메인(특정 분류, 웹사이트, SNS 등)에 해당되는지 확인하고 맞으면 기설정된 룰(규칙)을 통해 세부적으로 체크하도록 설계하여 중복되는 부분을 줄이는 것뿐만 아니라 효율적으로 처리하기 위한 기법이다.On the other hand, the domain template is an analysis process method to reduce the many processes that must be passed for service. It checks whether the reviews collected in the analysis process correspond to the domain (specific classification, website, SNS, etc.) It is a technique to not only reduce overlapping parts by designing to check in detail through rules) but also to process them efficiently.
이러한 템플리트의 개념은 도 8을 참고할 수 있다.For the concept of such a template, reference may be made to FIG. 8 .
이어서, (d) 단계는, 서버(101)의 데이터분석부(107)가, 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성하는 단계이다.Next, in step (d), the
여기서, 데이터분석부(107)는, 구문분석말뭉치정보(i9)를 이용하여 관점 및 속성분석 수행시, 구문분석 수행을 통해 추출한 명사구, 동사구, 형용사구 중 적어도 하나 이상을 활용할 수 있다.Here, the
상기 (d) 단계는, 특정 도메인에 따라 달라지는 속성의 의미에 대해 의견저자의 정확한 소비자경험과 감정을 추출하기 위해, 데이터분석부(107)가 구문분석말뭉치정보(i9)를 이용하여 관점 및 속성분석을 수행하는 과정이다.In step (d), the
즉, 속성의 경우, 특정 도메인에서는 긍정적일 수 있으나 다른 도메인에서는 부정적일 수 있어서 속성 분석에 어려움이 있는 바, 본원발명에서는 ‘기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS’로 도메인을 특정함으로써, 속성 분석의 정확도를 향상시킨다.That is, in the case of an attribute, it may be positive in a specific domain but may be negative in another domain, so it is difficult to analyze the attribute. By specifying , the accuracy of attribute analysis is improved.
아래 [표 1]은 화장품 제품 카테고리별 속성의 예시이고, [표 2]는 속성 및 관점에 대한 예시이다.[Table 1] below is an example of attributes for each cosmetic product category, and [Table 2] is an example of attributes and viewpoints.
이어서, (e) 단계는, 서버(101)의 데이터분석부(107)가, 딥러닝 알고리즘과 기저장된 감성단어사전을 단계별로 적용하면서 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하는 단계이다.Next, in step (e), the
달리 말하면, (e) 단계에서 데이터분석부(107)는, 딥러닝 알고리즘과 기저장된 감성단어사전을 단계별로 진행하면서 정확한 소비자경험 추출과 정확성을 높이기 위해 관점 및 속성에 따른 의견을 추출하고, 오피니언 및 감성의 정도를 분석하여 감성지수정보(i13)를 생성한다.In other words, in step (e), the
한편, (e) 단계에서 데이터분석부(107)는, 감성분석 수행시 딥러닝 알고리즘을 먼저 적용하여 시드감성점수를 생성하고, 시드감성점수의 정확도 개선을 위해 기저장된 감성단어사전을 이용하여 감성의 극성 방향과 극성 정도를 조절하여 감성지수정보(i13)를 생성한다.On the other hand, in step (e), the
상술한 (e) 단계에서 데이터분석부(107)는, 딥러닝 알고리즘으로 Bi-LSTM을 활용할 수 있다.In step (e) described above, the
다음 [표 3]은 감성지수정보(i13)에 포함된 5단계 감성지수표를 나타낸다.The following [Table 3] shows the five-step emotional index table included in the emotional index information (i13).
[표 3]의 5단계 감성지수표에서는 감성지수가 부정(1~2단계), 긍정(4~5단계) 및 중립(3단계)으로 분류되어 있다.In the five-step emotional index table of [Table 3], the emotional index is classified into negative (steps 1 to 2), positive (steps 4 to 5), and neutral (step 3).
한편, 감성분석 수행시, 구문분석 수행을 통해 추출된 명사구, 동사구, 형용사구 등이 기저장된 감성단어사전에 없는 경우, 해당 명사구, 동사구, 형용사구 등은 향후 빈도수 계산 및 피드백 대상으로 고려하기 위해 데이터저장부(109)에 저장된다.On the other hand, when performing sentiment analysis, if noun phrases, verb phrases, adjective phrases, etc. extracted through syntax analysis are not in the pre-stored emotional word dictionary, the corresponding noun phrases, verb phrases, adjective phrases, etc. is stored in
또한, 데이터분석부(107)는, 상술한 데이터처리부(105)가 텍스트정보(i1)를 전처리하여 형태소분석을 하고 구문분석을 진행하여 확보한 관용구와, 기설정된 감성단어사전(관용구의 감성점수 기재)의 관용구가 매칭되는 어휘가 있는지 검색한다.In addition, the
이후, 해당 관용구가 있다면 그 관용구의 감성점수를 시드감성점수의 정확도 개선을 위해 이용한다(감성의 방향과 극성 정도 조절).After that, if there is a corresponding idiom, the emotional score of the idiom is used to improve the accuracy of the seed emotional score (adjusting the direction and polarity of emotions).
물론, 데이터분석부(107)는 상술한 내용과 동일한 방식으로, 데이터처리부(105)가 텍스트정보(i1)를 전처리하여 확보한 이모티콘과, 기설정된 감성단어사전(이모티콘의 감성점수 기재)의 이모티콘이 매칭되는 것이 있는지 검색하고, 해당 이모티콘이 있다면 그 이모티콘의 감성점수를 시드감성점수의 정확도 개선을 위해 이용할 수도 있다.Of course, in the same manner as described above, the
이어서, (f) 단계는, 서버(101)의 데이터저장부(109)가, 감성지수정보(i13)와 브랜드이미정보(i7)를 연동하여 저장하는 단계이다.Next, step (f) is a step in which the
이와 같이 감성지수정보(i13)와 브랜드이미지정보(i7)가 연동하여 데이터저장부(109)에 저장되면, 이후 해당 정보들은 비전문가나 중소기업도 쉽게 사용할 수 있는 클라우드 기반 융합 의견분석(opinion analysis) 서비스로 제공될 수 있게 된다.As such, when the emotional index information (i13) and the brand image information (i7) are interlocked and stored in the
한편, 본 발명의 다른 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템은, 데이터수집부(103)와, 데이터처리부(105)와, 데이터분석부(107)와, 데이터저장부(109)를 포함하며, 상기 데이터수집부(103)는, 기특정된 제품 또는 기특정된 서비스와 관련된 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하고, 상기 데이터처리부(105)는, (1) 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하며, 상기 데이터분석부(107)는, (1) 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성, (2) 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성, 및 (3) 딥러닝 알고리즘과 기설정된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하며, 상기 데이터저장부(109)는, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하는 것을 특징으로 한다.On the other hand, an online image and review integrated analysis system using a deep learning-based hybrid analysis method according to another embodiment of the present invention includes a
또한, 상기 데이터수집부(103)는, 스크래핑 방식에 의해 상기 인터넷웹사이트 또는 SNS에서 상기 텍스트정보(i1)와 이미지정보(i3)를 수집할 수 있다.Also, the
또한, 상기 데이터처리부(105)는, 상기 텍스트정보(i1)의 전처리시, 개인식별정보를 삭제할 수 있다.Also, the
또한, 상기 데이터분석부(107)는, 상기 구문분석말뭉치정보(i9)를 이용하여 상기 관점 및 속성분석 수행시, 상기 구문분석 수행을 통해 추출한 명사구, 동사구, 형용사구 중 적어도 하나 이상을 활용할 수 있다.In addition, the
또한, 상기 데이터분석부(107)는, 상기 감성분석 수행시 상기 딥러닝 알고리즘을 먼저 적용하여 시드감성점수를 생성하고, 상기 시드감성점수의 정확도 개선을 위해 상기 감성단어사전을 이용하여 감성의 극성 방향과 극성 정도를 조절하여 상기 감성지수정보(i13)를 생성할 수 있다.In addition, the
이상에서 설명한 본 발명의 다른 실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템에서 세부 구성의 기능 등에 대한 설명은, 앞에서 살펴본 본 발명의 일실시예에 따른 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법에서 설명한 바와 같으므로, 그 구체적 설명은 생략한다.The description of the function of the detailed configuration in the online image and review integrated analysis system using the deep learning-based hybrid analysis method according to another embodiment of the present invention described above is, Since it is the same as described in the online image and review integrated analysis method using the analysis method, a detailed description thereof will be omitted.
이상에서 설명한 바와 같이, 본 발명의 일실시예에 의하면, 소비자의 VoC(리뷰, 댓글 등) 뿐만 아니라 사진 이미지를 감성사전과 딥러닝의 하이브리드 기법을 사용하여 주제(제품, 서비스), 장소(여행지, 행정구역), 사람, 이슈 등에 대해 관점과 속성으로 세분화하고 일반적인 감성분석이나 통계중심의 비즈니스 인텔리전스 분석결과가 아닌, 소비자 경험을 중심으로 한 기회 및 위험요인 발굴과 같은 특정 비즈니스 문제를 해결하기 위해 비전문가나 중소기업도 쉽게 사용할 수 있는 클라우드 기반의 융합 의견분석(opinion analysis) 서비스를 제공할 수 있는 효과가 있다.As described above, according to an embodiment of the present invention, the subject (product, service), place (travel destination), as well as the consumer's VoC (reviews, comments, etc.), by using a hybrid technique of emotional dictionary and deep learning, as well as photographic images. , administrative district), people, issues, etc., to be subdivided into perspectives and attributes, and to solve specific business problems such as discovering opportunities and risk factors centered on consumer experience, not general sentiment analysis or statistics-oriented business intelligence analysis results. It has the effect of providing a cloud-based convergence opinion analysis service that can be easily used by non-specialists and small and medium-sized enterprises (SMEs).
또한, 비정형 텍스트 분석뿐만 아니라 최근 증가하고 있는 사진이미지(인스타그램 등 이미지 기반 SNS)에서 기업명이나 브랜드명을 추출하고, 해당 이미지의 포스트(post)까지 함께 분석하여 노출빈도 뿐만 아니라 원하는 분석결과를 도출할 수 있어 위험요인 발굴과 같은 기업이 필요로 하는 특정 임무 중심(mission critical)의 서비스를 가능하게 하며, 또한 처리하는 과정에서 처음의 오류가 결과에 미치는 영향을 줄이며, 일반 감성분석 서비스의 한계를 극복하고 분석결과의 정확도를 향상시키기 위해 감성어휘사전과 딥러닝 기법을 결합한 하이브리드 접근법과 순차적으로 각 조건에 맞는 서비스 기능을 효율적으로 수행하는 적응형 프레임워크 기법에 의한 클라우드 기반 융합 의견분석(opinion analysis) 서비스를 제공할 수 있는 효과가 있다.In addition, the company name or brand name is extracted from photo images (image-based SNS such as Instagram) that are increasing recently as well as atypical text analysis, and the post of the image is also analyzed to obtain the desired analysis result as well as the exposure frequency. It enables specific mission critical services required by companies, such as risk factor discovery, and also reduces the impact of initial errors on the results in the process of processing, and limits the general sentiment analysis service. Cloud-based convergence opinion analysis (opinion analysis) by a hybrid approach that combines a sentiment dictionary and deep learning technique and an adaptive framework technique that sequentially performs service functions suitable for each condition efficiently analysis) service.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention are described as being combined or operating in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
101 : 서버
103 : 데이터수집부
105 : 데이터처리부
107 : 데이터분석부
109 : 데이터저장부
i1 : 텍스트정보
i3 : 이미지정보
i5 : 말뭉치정보
i7 : 브랜드이미지정보
i9 : 구문분석말뭉치정보
i11 : 관점및속성분석말뭉치정보
i13 : 감성지수정보101: server
103: data collection unit
105: data processing unit
107: data analysis unit
109: data storage unit
i1 : text information
i3 : image information
i5 : corpus information
i7 : Brand image information
i9 : Parse corpus information
i11: Perspective and attribute analysis corpus information
i13: emotional index information
Claims (10)
(b) 상기 서버(101)의 데이터처리부(105)가, 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하는 단계;
(c) 상기 서버(101)의 데이터분석부(107)가, 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성하는 단계;
(d) 상기 서버(101)의 상기 데이터분석부(107)가, 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성하는 단계;
(e) 상기 서버(101)의 상기 데이터분석부(107)가, 딥러닝 알고리즘과 기저장된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하는 단계; 및
(f) 상기 서버(101)의 데이터저장부(109)가, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하는 단계;를 포함하되,
상기 (b) 단계에서 상기 데이터처리부(105)는, 상기 텍스트정보(i1)의 전처리시 이모티콘을 분석 대상에 포함시키고,
상기 (e) 단계에서 상기 데이터분석부(107)는, 상기 감성분석 수행시 상기 딥러닝 알고리즘을 먼저 적용하여 시드감성점수를 생성하고, 상기 시드감성점수의 정확도 개선을 위해 상기 감성단어사전을 이용하여 감성의 극성 방향과 극성 정도를 조절하여 상기 감성지수정보(i13)를 생성하며,
상기 (e) 단계에서 상기 데이터분석부(107)는, 상기 데이터처리부(105)가 상기 텍스트정보(i1)를 전처리하여 확보한 상기 이모티콘과, 기설정된 상기 감성단어사전(이모티콘의 감성점수 기재)의 이모티콘이 매칭되는 것이 있는지 검색하고, 해당 이모티콘이 있다면 그 이모티콘의 감성점수를 상기 시드감성점수의 정확도 개선을 위해 이용하고,
상기 (e) 단계에서 상기 데이터분석부(107)가 감성분석 수행시, 구문분석을 통해 추출된 명사구, 동사구 또는 형용사구가 상기 감성단어사전에 없는 경우, 향후 빈도수 계산 및 피드백 대상으로 고려하기 위해 해당 명사구, 동사구 또는 형용사구가 상기 데이터저장부(109)에 저장되는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법.(a) the data collection unit 103 of the server 101 is related to the specified product or service, the specified product or collecting text information (i1) and image information (i3) related to the predetermined service;
(b) the data processing unit 105 of the server 101 pre-processes the text information i1, performs morpheme analysis and poomsogging to generate corpus information i5, and from the image information i3, extracting brand image information (i7) related to the product or the specified service;
(c) the data analysis unit 107 of the server 101 checks the corresponding domain using the corpus information i5 and the domain template, performs syntax analysis, and generates the syntax analysis corpus information i9 step;
(d) the data analysis unit 107 of the server 101 performing viewpoint and attribute analysis using the syntax analysis corpus information i9, and generating viewpoint and attribute analysis corpus information i11 ;
(e) the data analysis unit 107 of the server 101 performs sentiment analysis using the viewpoint and attribute analysis corpus information i11 while applying the deep learning algorithm and the pre-stored emotional word dictionary step by step, and , generating emotional index information (i13); and
(f) storing, by the data storage unit 109 of the server 101, the emotional index information (i13) and the brand image information (i7) in association with each other;
In the step (b), the data processing unit 105 includes an emoticon as an analysis target during pre-processing of the text information i1,
In step (e), the data analysis unit 107 generates a seed emotional score by first applying the deep learning algorithm when performing the sentiment analysis, and uses the sentiment word dictionary to improve the accuracy of the seed sentiment score. to adjust the polarity direction and the degree of polarity of emotion to generate the emotional index information (i13),
In the step (e), the data analysis unit 107 includes the emoticon secured by the data processing unit 105 pre-processing the text information i1, and the preset emotional word dictionary (emoticon emotional score description). Searches for a matching emoticon, and if there is a corresponding emoticon, the emotional score of the emoticon is used to improve the accuracy of the seed emotional score,
When the data analysis unit 107 performs sentiment analysis in step (e), if noun phrases, verb phrases, or adjective phrases extracted through syntax analysis are not in the sentiment word dictionary, in order to be considered as a future frequency calculation and feedback target An online image and review integrated analysis method using a deep learning-based hybrid analysis method, characterized in that noun phrases, verb phrases or adjective phrases are stored in the data storage unit 109.
상기 (a) 단계에서 상기 데이터수집부(103)는, 스크래핑 방식에 의해 상기 인터넷웹사이트 또는 SNS에서 상기 텍스트정보(i1)와 이미지정보(i3)를 수집하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법.The method of claim 1,
In the step (a), the data collection unit 103 collects the text information (i1) and the image information (i3) from the Internet website or SNS by a scraping method. An integrated analysis method of online images and reviews using
상기 (b) 단계에서 상기 데이터처리부(105)는, 상기 텍스트정보(i1)의 전처리시, 개인식별정보를 삭제하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법.The method of claim 1,
In the step (b), the data processing unit 105, an online image and review integrated analysis method using a deep learning-based hybrid analysis method, characterized in that when the text information (i1) is pre-processed, personal identification information is deleted.
상기 (d) 단계에서 상기 데이터분석부(107)는, 상기 구문분석말뭉치정보(i9)를 이용하여 상기 관점 및 속성분석 수행시, 상기 구문분석 수행을 통해 추출한 명사구, 동사구, 형용사구 중 적어도 하나 이상을 활용하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 방법.The method of claim 1,
In step (d), when the data analysis unit 107 performs the perspective and attribute analysis using the syntax analysis corpus information i9, at least one or more of a noun phrase, a verb phrase, and an adjective phrase extracted through the syntax analysis. An online image and review integrated analysis method using a deep learning-based hybrid analysis method characterized by using
상기 데이터수집부(103)는, 기특정된 제품 또는 기특정된 서비스와 관련된, 특정 도메인으로 표시되는 인터넷웹사이트 또는 SNS(Social Network Sites)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 텍스트정보(i1)와 이미지정보(i3)를 수집하고,
상기 데이터처리부(105)는, (1) 상기 텍스트정보(i1)를 전처리하고 형태소분석 및 품사태깅하여 말뭉치정보(i5)를 생성하며, 상기 이미지정보(i3)로부터 상기 기특정된 제품 또는 상기 기특정된 서비스와 관련된 브랜드이미지정보(i7)를 추출하며,
상기 데이터분석부(107)는, (1) 상기 말뭉치정보(i5) 및 도메인템플리트를 이용하여 해당 도메인을 확인하며 구문분석을 수행하고, 구문분석말뭉치정보(i9)를 생성, (2) 상기 구문분석말뭉치정보(i9)를 이용하여 관점및속성분석을 수행하고, 관점및속성분석말뭉치정보(i11)를 생성, 및 (3) 딥러닝 알고리즘과 기설정된 감성단어사전을 단계별로 적용하면서 상기 관점및속성분석말뭉치정보(i11)를 이용하여 감성분석을 수행하고, 감성지수정보(i13)를 생성하며,
상기 데이터저장부(109)는, 상기 감성지수정보(i13)와 상기 브랜드이미지정보(i7)를 연동하여 저장하고,
상기 데이터처리부(105)는, 상기 텍스트정보(i1)의 전처리시 이모티콘을 분석 대상에 포함시키며,
상기 데이터분석부(107)는, 상기 감성분석 수행시 상기 딥러닝 알고리즘을 먼저 적용하여 시드감성점수를 생성하고, 상기 시드감성점수의 정확도 개선을 위해 상기 감성단어사전을 이용하여 감성의 극성 방향과 극성 정도를 조절하여 상기 감성지수정보(i13)를 생성하되,
상기 데이터분석부(107)는, 상기 데이터처리부(105)가 상기 텍스트정보(i1)를 전처리하여 확보한 상기 이모티콘과, 기설정된 상기 감성단어사전(이모티콘의 감성점수 기재)의 이모티콘이 매칭되는 것이 있는지 검색하고, 해당 이모티콘이 있다면 그 이모티콘의 감성점수를 상기 시드감성점수의 정확도 개선을 위해 이용하고,
상기 데이터분석부(107)가 감성분석 수행시, 구문분석을 통해 추출된 명사구, 동사구 또는 형용사구가 상기 감성단어사전에 없는 경우, 향후 빈도수 계산 및 피드백 대상으로 고려하기 위해 해당 명사구, 동사구 또는 형용사구가 상기 데이터저장부(109)에 저장되는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템.In the online image and review integrated analysis system using a deep learning-based hybrid analysis method including a data collection unit 103, a data processing unit 105, a data analysis unit 107, and a data storage unit 109,
The data collection unit 103 is related to the pre-specified product or service related to the pre-specified product or the pre-specified service from an Internet website or SNS (Social Network Sites) displayed in a specific domain. Collect text information (i1) and image information (i3),
The data processing unit 105 generates corpus information i5 by preprocessing the text information i1, morphological analysis, and part tagging, and from the image information i3, the specified product or the group. Extracts brand image information (i7) related to a specified service,
The data analysis unit 107, (1) using the corpus information (i5) and the domain template to check the corresponding domain, perform syntax analysis, and generate the syntax analysis corpus information (i9), (2) the syntax The viewpoint and attribute analysis are performed using the analysis corpus information (i9), the viewpoint and attribute analysis corpus information (i11) is generated, and (3) the deep learning algorithm and the preset emotional word dictionary are applied step by step. Perform emotional analysis using the attribute analysis corpus information (i11), generate emotional index information (i13),
The data storage unit 109 stores the emotional index information (i13) and the brand image information (i7) in association with each other,
The data processing unit 105 includes an emoticon as an analysis target during pre-processing of the text information i1,
The data analysis unit 107 generates a seed sentiment score by first applying the deep learning algorithm when performing the sentiment analysis, and uses the sentiment word dictionary to improve the accuracy of the seed sentiment score. By adjusting the degree of polarity to generate the emotional index information (i13),
The data analysis unit 107 determines that the emoticon obtained by preprocessing the text information i1 by the data processing unit 105 matches the emoticon in the preset emotional word dictionary (emoticon’s emotional score description). If there is a corresponding emoticon, the emoticon's emotional score is used to improve the accuracy of the seed emotional score,
When the data analysis unit 107 performs sentiment analysis, if the noun phrase, verb phrase, or adjective phrase extracted through syntax analysis is not in the sentiment word dictionary, the corresponding noun phrase, verb phrase or adjective phrase is An integrated online image and review analysis system using a deep learning-based hybrid analysis method, characterized in that it is stored in the data storage unit (109).
상기 데이터수집부(103)는, 스크래핑 방식에 의해 상기 인터넷웹사이트 또는 SNS에서 상기 텍스트정보(i1)와 이미지정보(i3)를 수집하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템.7. The method of claim 6,
The data collection unit 103 collects the text information (i1) and the image information (i3) from the Internet website or SNS by a scraping method. An online image using a deep learning-based hybrid analysis method and Review integrated analysis system.
상기 데이터처리부(105)는, 상기 텍스트정보(i1)의 전처리시, 개인식별정보를 삭제하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템.7. The method of claim 6,
The data processing unit 105, an online image and review integrated analysis system using a deep learning-based hybrid analysis method, characterized in that when the pre-processing of the text information (i1), the personal identification information is deleted.
상기 데이터분석부(107)는, 상기 구문분석말뭉치정보(i9)를 이용하여 상기 관점 및 속성분석 수행시, 상기 구문분석 수행을 통해 추출한 명사구, 동사구, 형용사구 중 적어도 하나 이상을 활용하는 것을 특징으로 하는 딥러닝 기반 하이브리드 분석법을 활용한 온라인 이미지 및 리뷰 통합 분석 시스템.7. The method of claim 6,
The data analysis unit 107 uses at least one of a noun phrase, a verb phrase, and an adjective phrase extracted through the syntax analysis when performing the viewpoint and attribute analysis using the syntax analysis corpus information i9. Online image and review integrated analysis system using deep learning-based hybrid analysis method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200122018A KR102325022B1 (en) | 2020-09-22 | 2020-09-22 | On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200122018A KR102325022B1 (en) | 2020-09-22 | 2020-09-22 | On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102325022B1 true KR102325022B1 (en) | 2021-11-11 |
Family
ID=78516391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200122018A KR102325022B1 (en) | 2020-09-22 | 2020-09-22 | On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102325022B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102499688B1 (en) | 2022-07-08 | 2023-02-15 | 주식회사 바이럴픽 | E-commerce product sales store management system based on bigdata and mehotd for providing integrated product evaluation information service thereof |
| CN116881504A (en) * | 2023-09-06 | 2023-10-13 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
| CN117076613A (en) * | 2023-10-13 | 2023-11-17 | 中国长江电力股份有限公司 | Electric digital data processing system based on Internet big data |
| CN117669566A (en) * | 2024-01-30 | 2024-03-08 | 北京点聚信息技术有限公司 | Real-time data online intelligent processing method for layout file |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140056717A (en) * | 2012-10-31 | 2014-05-12 | 에스케이플래닛 주식회사 | An apparatus for constructing statistical opinion mining knowledge based on hierarchical categories of opinion |
| KR102032091B1 (en) * | 2019-03-15 | 2019-10-14 | 배준철 | Method And System of Comment Emotion Analysis based on Artificial Intelligence |
| KR102099157B1 (en) * | 2018-06-27 | 2020-04-09 | (주)이지서티 | Method and apparatus for pre-processing big data |
| KR20200048693A (en) * | 2018-10-30 | 2020-05-08 | 삼성에스디에스 주식회사 | System for performing sentimental analysis and the method thereof |
| KR20200078155A (en) * | 2018-12-21 | 2020-07-01 | 원상진 | recommendation method and system based on user reviews |
-
2020
- 2020-09-22 KR KR1020200122018A patent/KR102325022B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140056717A (en) * | 2012-10-31 | 2014-05-12 | 에스케이플래닛 주식회사 | An apparatus for constructing statistical opinion mining knowledge based on hierarchical categories of opinion |
| KR102099157B1 (en) * | 2018-06-27 | 2020-04-09 | (주)이지서티 | Method and apparatus for pre-processing big data |
| KR20200048693A (en) * | 2018-10-30 | 2020-05-08 | 삼성에스디에스 주식회사 | System for performing sentimental analysis and the method thereof |
| KR20200078155A (en) * | 2018-12-21 | 2020-07-01 | 원상진 | recommendation method and system based on user reviews |
| KR102032091B1 (en) * | 2019-03-15 | 2019-10-14 | 배준철 | Method And System of Comment Emotion Analysis based on Artificial Intelligence |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102499688B1 (en) | 2022-07-08 | 2023-02-15 | 주식회사 바이럴픽 | E-commerce product sales store management system based on bigdata and mehotd for providing integrated product evaluation information service thereof |
| CN116881504A (en) * | 2023-09-06 | 2023-10-13 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
| CN116881504B (en) * | 2023-09-06 | 2023-11-24 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
| CN117076613A (en) * | 2023-10-13 | 2023-11-17 | 中国长江电力股份有限公司 | Electric digital data processing system based on Internet big data |
| CN117669566A (en) * | 2024-01-30 | 2024-03-08 | 北京点聚信息技术有限公司 | Real-time data online intelligent processing method for layout file |
| CN117669566B (en) * | 2024-01-30 | 2024-04-09 | 北京点聚信息技术有限公司 | Real-time data online intelligent processing method for layout file |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102325022B1 (en) | On-line image and review integrated analysis method and system using deep learning-based hybrid analysis method | |
| Ding et al. | Entity-level sentiment analysis of issue comments | |
| Pavlick et al. | Simple PPDB: A paraphrase database for simplification | |
| Sharif et al. | Sentiment analysis of Bengali texts on online restaurant reviews using multinomial Naïve Bayes | |
| CN110175325B (en) | Comment analysis method based on word vector and syntactic characteristics and visual interaction interface | |
| Paredes-Valverde et al. | Sentiment analysis in Spanish for improvement of products and services: A deep learning approach | |
| Rushdi‐Saleh et al. | OCA: Opinion corpus for Arabic | |
| Al-Kabi et al. | An opinion analysis tool for colloquial and standard Arabic | |
| Bayot et al. | Multilingual author profiling using word embedding averages and svms | |
| Bhoir et al. | Sentiment analysis of movie reviews using lexicon approach | |
| RU2646380C1 (en) | Using verified by user data for training models of confidence | |
| Bakar et al. | Sentiment analysis of noisy Malay text: state of art, challenges and future work | |
| Rahate et al. | Feature selection for sentiment analysis by using svm | |
| Wang et al. | Feature-based Sentiment Analysis Approach for Product Reviews. | |
| Saranya et al. | Onto-based sentiment classification using machine learning techniques | |
| Marreddy et al. | Am I a resource-poor language? Data sets, embeddings, models and analysis for four different NLP tasks in telugu language | |
| Parupalli et al. | Bcsat: A benchmark corpus for sentiment analysis in telugu using word-level annotations | |
| Ashna et al. | Lexicon based sentiment analysis system for malayalam language | |
| JP5462546B2 (en) | Content detection support apparatus, content detection support method, and content detection support program | |
| Vīksna et al. | Sentiment analysis in Latvian and Russian: A survey | |
| Nama et al. | Sentiment analysis of movie reviews: A comparative study between the naive-bayes classifier and a rule-based approach | |
| Patil et al. | Inflectional and derivational hybrid stemmer for sentiment analysis: a case study with Marathi tweets | |
| Suresha et al. | Topic Modeling and Sentiment Analysis of Electric Vehicles of Twitter Data | |
| Rastogi et al. | Sentiment analysis methods and applications–a review | |
| Kaur et al. | Sentiment detection from Punjabi text using support vector machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |