KR102344804B1 - 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법 - Google Patents

Abstract

본 개시의 몇몇 실시예에 따라 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법이 개시된다. 상기 방법은: 고객사와 관련된 복수 개의 게시물들을 크롤링(crawling)하는 단계; 사전 학습된 제 1 신경망 모델을 이용하여, 상기 복수 개의 게시물들에 대한 제 1 의미 정보를 획득하고, 상기 제 1 의미 정보를 이용하여 상기 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식하는 단계; 고객사 단말로부터 적어도 하나의 이슈 키워드를 사전에 수신하거나 또는 상기 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출하는 단계; 상기 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식하는 단계; 사전 학습된 제 2 신경망 모델을 이용하여, 상기 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 상기 제 2 의미 정보를 이용하여 상기 적어도 하나의 이슈 게시물에 대한 반응 정보를 추출하는 단계; 상기 반응 정보 및 서로 다른 시점에 추출된 상기 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성하는 단계; 및 상기 적어도 하나의 노이즈 게시물, 상기 적어도 하나의 이슈 게시물 및 상기 유저 피드백 정보를 포함하는 사용자 인터페이스(User Interface)를 상기 고객사 단말로 제공하는 단계;를 포함할 수 있다.

Description

인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법{Method for user feedback information management using AI-based monitoring technology}

본 개시는 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법에 관한 것으로서, 구체적으로 고객사와 관련된 게시물을 이용하여 유저 피드백 정보를 생성 및 제공하는 방법에 관한 것이다.

일반적으로, 온라인 서비스 또는 온라인 판매를 업으로 하는 기업들은 웹 페이지에 게시되는 게시물들을 통해 서비스 또는 제품에 대한 고객들의 평가를 확인할 수 있다.

예를 들어, 게임 서비스를 제공하는 기업은 게임 서비스와 관련된 자사 커뮤니티, 카페, 소셜 네트워크의 채널 등에 업로드 되는 게시물을 통해 게임 서비스에 대한 게임 유저들의 평가 및 게임이 업데이트 또는 패치에 대한 게임 유저들의 피드백을 확인할 수 있다.

한편, 이러한 유저의 피드백을 확인하기 위해 사람이 게시물을 하나씩 확인하는 방법이 주로 이용되고 있다. 이러한 방법은 사람이 게시물을 확인하기 때문에 인건비에 대한 부담이 높고, 피드백을 확인하는 기준이 주관적이기 때문에 피드백 확인 결과에 대한 신뢰성이 떨어질 우려가 존재한다.

따라서, 효율적인 유저 피드백 정보 관리방법에 대한 수요가 당업계에 존재한다.

이와 관련하여 한국의 공개특허공보 제10-2009-0077385호는 온라인 게임 서비스에 있어서의 진정 처리 시스템 및 그 방법에 관하여 개시한다.

본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법을 제공하고자 하는 것이다.

본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따라, 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법이 개시된다. 상기 방법은: 고객사와 관련된 복수 개의 게시물들을 크롤링(crawling)하는 단계; 사전 학습된 제 1 신경망 모델을 이용하여, 상기 복수 개의 게시물들에 대한 제 1 의미 정보를 획득하고, 상기 제 1 의미 정보를 이용하여 상기 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식하는 단계; 고객사 단말로부터 적어도 하나의 이슈 키워드를 사전에 수신하거나 또는 상기 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출하는 단계; 상기 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식하는 단계; 사전 학습된 제 2 신경망 모델을 이용하여, 상기 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 상기 제 2 의미 정보를 이용하여 상기 적어도 하나의 이슈 게시물에 대한 반응 정보를 추출하는 단계; 상기 반응 정보 및 서로 다른 시점에 추출된 상기 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성하는 단계; 및 상기 적어도 하나의 노이즈 게시물, 상기 적어도 하나의 이슈 게시물 및 상기 유저 피드백 정보를 포함하는 사용자 인터페이스(User Interface)를 상기 고객사 단말로 제공하는 단계;를 포함할 수 있다.

또한, 상기 복수 개의 게시물들은, 시간의 흐름 또는 이벤트가 발생됨에 따라 상기 이슈 키워드와 관련된 유저의 반응 변화를 획득하기 위해 기 설정된 시간 간격 마다 또는 기 설정된 이벤트가 발생될 때 마다 크롤링될 수 있다.

또한, 상기 방법은, 상기 적어도 하나의 노이즈 게시물을 인식한 경우, 상기 적어도 하나의 노이즈 게시물 각각에 대응하는 카테고리로 분류하는 단계;를 더 포함하고, 상기 노이즈 게시물은, 광고와 관련된 게시물 및 유해성 게시물 중 적어도 하나를 포함할 수 있다.

상기 반응 변화 정보는, 제 1 시점에 획득된 제 1 이슈 키워드 및 제 1 반응 정보와 상기 제 1 시점과 상이한 제 2 시점에 획득된 제 2 이슈 키워드 및 제 2 반응 정보를 비교하여 생성될 수 있다.

또한, 상기 방법은, 상기 반응 변화 정보에 기초하여, 사전 설정된 조건의 반응 변화와 관련된 특정 이슈 키워드를 인식하는 단계; 상기 특정 이슈 키워드에 대한 솔루션 정보를 생성하는 단계; 및 상기 솔루션 정보를 상기 고객사 단말로 전송하는 단계;를 더 포함하고, 상기 솔루션 정보는, 상기 특정 이슈 키워드에 대한 평판 변화에 대한 정보, 상기 특정 이슈 키워드와 관련된 유저의 요구 사항에 대한 정보 및 상기 평판이 긍정적으로 변화되도록 야기하는 대안에 대한 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 방법은, 상기 고객사로부터 게시물 관리 권한 및 계정 관리 권한을 획득하는 단계; 상기 고객사의 웹 사이트에서 상기 노이즈 게시물을 삭제하는 단계; 및 기 설정된 개수를 초과하는 노이즈 게시물을 게시한 특정 계정의 게시물 업로드 기능을 제한하는 단계;를 더 포함할 수 있다.

또한, 상기 사용자 인터페이스는, 메뉴 선택을 위한 제 1 영역, 게시물에 대한 조건을 설정하거나 게시물을 검색하기 위한 제 2 영역, 게시물의 내용이 표시되는 제 3 영역 중 적어도 하나를 포함하고, 상기 제 1 영역은, 모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터 중 적어도 하나를 포함하고, 상기 제 2 영역은, 상기 모니터링 인디케이터, 상기 보관함 인디케이터, 상기 사용자 관리 인디케이터, 상기 모니터링 설정 인디케이터, 상기 알림 설정 인디케이터 및 상기 공지사항 인디케이터 각각에 대응하는 조건 설정 인디케이터 또는 검색창을 포함하고, 상기 제 3 영역은 상기 제 2 영역에서 설정되거나 검색된 게시물들을 표시할 수 있다.

또한, 상기 방법은, 상기 적어도 하나의 이슈 게시물을 인식한 경우, 상기 적어도 하나의 이슈 키워드 별로 상기 적어도 하나의 이슈 게시물을 분류하는 단계;를 더 포함하고, 상기 사용자 인터페이스는, 상기 적어도 하나의 이슈 키워드 각각에 대응하는 게시물들의 리스트를 포함할 수 있다.

또한, 상기 방법은, 상기 적어도 하나의 노이즈 게시물을 인식한 경우, 상기 적어도 하나의 노이즈 게시물에 대한 적법성을 판단하는 단계; 및 적법하지 않다고 판단된 특정 노이즈 게시물이 존재하는 경우, 상기 특정 노이즈 게시물에 대한 입증 자료를 생성하는 단계;를 더 포함할 수 있다.

또한, 상기 적어도 하나의 노이즈 게시물을 인식한 경우, 상기 적어도 하나의 노이즈 게시물에 대한 적법성을 판단하는 단계는, 상기 적어도 하나의 노이즈 게시물에 특정 사용자의 개인정보가 포함되어 있는지 여부를 인식하는 단계; 및 상기 특정 사용자의 개인 정보가 포함된 특정 노이즈 게시물을 적법하지 않다고 판단하는 단계;를 포함하고, 상기 적법하지 않다고 판단된 특정 노이즈 게시물이 존재하는 경우, 상기 특정 노이즈 게시물에 대한 입증 자료를 생성하는 단계는, 상기 특정 노이즈 게시물의 이미지, 상기 특정 노이즈 게시물이 업로드된 시간, 상기 특정 노이즈 게시물이 업로드된 위치 및 상기 특정 노이즈 게시물을 업로드한 계정의 사용자 정보를 포함하는 상기 입증 자료를 생성하는 단계;를 포함할 수 있다.

또한, 고객사와 관련된 복수 개의 게시물들을 획득한 경우, 상기 복수 개의 게시물들 각각의 유사도 값을 산출하는 단계; 상기 복수 개의 게시물들 중에서 상기 유사도 값이 기 설정된 값 이상인 적어도 두 개 이상의 게시물을 추출하는 단계; 및 상기 적어도 두 개 이상의 게시물들의 개수가 기 설정된 개수를 초과하는 경우, 상기 사용자 인터페이스를 통해 상기 적어도 두 개 이상의 게시물들에 대한 검토를 요청하는 단계;를 더 포함하고, 상기 검토 요청에 대한 응답이 획득될 때까지 상기 적어도 두 개 이상의 게시물들을 블라인드 처리할 수 있다.

전술한 바와 같은 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따라, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 컴퓨팅 장치의 프로세서로 하여금 이하의 단계들을 수행하기 위한 명령들을 포함하며, 상기 단계들은: 고객사와 관련된 복수 개의 게시물들을 크롤링(crawling)하는 단계; 사전 학습된 제 1 신경망 모델을 이용하여, 상기 복수 개의 게시물들에 대한 제 1 의미 정보를 획득하고, 상기 제 1 의미 정보를 이용하여 상기 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식하는 단계; 고객사 단말로부터 적어도 하나의 이슈 키워드를 사전에 수신하거나 또는 상기 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출하는 단계; 상기 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식하는 단계; 사전 학습된 제 2 신경망 모델을 이용하여, 상기 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 상기 제 2 의미 정보를 이용하여 상기 적어도 하나의 이슈 게시물에 대한 반응 정보를 추출하는 단계; 상기 반응 정보 및 서로 다른 시점에 추출된 상기 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성하는 단계; 및 상기 적어도 하나의 노이즈 게시물, 상기 적어도 하나의 이슈 게시물 및 상기 유저 피드백 정보를 포함하는 사용자 인터페이스(User Interface)를 상기 고객사 단말로 제공하는 단계;를 포함할 수 있다.

본 개시에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법은 사전 학습된 인공지능 모델을 이용하여 유저의 피드백을 효율적으로 수집 및 관리하고, 이에 따른 솔루션을 제공할 수 있는 장점이 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 개시의 다양한 양태가 구현될 수 있는 컴퓨팅 장치의 블록 구성도이다.
도 2는 본 개시의 몇몇 실시예에 따른 네트워크 함수를 나타낸 개략도이다.
도 3은 본 개시의 몇몇 실시예에 따른 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법의 일례를 설명하기 위한 도면이다.
도 4는 본 개시의 몇몇 실시예에 따른 유저 피드백 정보를 생성하는 방법의 일례를 설명하기 위한 도면이다.
도 5는 본 개시의 몇몇 실시예에 따른 게시물 및 계정이 자동으로 관리되는 방법의 일례를 설명하기 위한 흐름도이다.
도 6은 본 개시의 몇몇 실시예에 따른 적법하지 않은 특정 노이즈 게시물에 대한 입증 자료를 생성하는 방법의 일례를 설명하기 위한 흐름도이다.
도 7은 본 개시의 몇몇 실시예에 따른 특정 게시물들에 대한 검토를 요청하는 방법의 일례를 설명하기 위한 흐름도이다.
도 8은 본 개시의 몇몇 실시예에 따른 사용자 인터페이스의 일례를 설명하기 위한 도면이다.

다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 감지될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다. 구체적으로, 본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.

또한, 다양한 양상들 및 특징들이 하나 이상의 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들, 모듈들 등의 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 용어 "컴퓨터 프로그램", "컴포넌트", "모듈", "시스템" 등은 서로 호환가능하게 사용될 수 있으며, 그리고 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다.

또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.

이하, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략한다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

비록 제1, 제2 등이 다양한 소자나 구성요소들을 서술하기 위해서 사용되나, 이들 소자나 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자나 구성요소를 다른 소자나 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자나 구성요소는 본 개시의 기술적 사상 내에서 제2 소자나 구성요소 일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, "X는 A 또는 B를 이용한다"는 의미는 X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

더불어, 본 명세서에서 사용되는 용어 "정보" 및 "데이터"는 종종 서로 상호교환 가능하도록 사용될 수 있다.

이하의 설명에서 사용되는 구성 요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 개시의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 개시를 설명하는데 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 개시내용의 청구범위에서의 단계들에 대한 권리범위는, 각 단계들에 기재된 기능 및 특징들에 의해 발생되는 것이지, 각각의 단계에서 그 순서의 선후관계를 명시하지 않는 이상, 청구범위에서의 각 단계들의 기재 순서에 영향을 받지 않는다. 예를 들어, A단계 및 B단계를 포함하는 단계로 기재된 청구범위에서, A단계가 B단계 보다 먼저 기재되었다고 하더라도, A단계가 B단계 이전에 선행되어야 한다는 것으로 권리범위가 제한되지는 않는다.

도 1은 본 개시의 다양한 양태가 구현될 수 있는 컴퓨팅 장치의 블록 구성도이다.

본 개시의 몇몇 실시예에 따른 컴퓨팅 장치(100)는 프로세서(110), 통신부(120) 및 메모리(130)를 포함할 수 있다. 다만, 상술한 구성요소들은 컴퓨팅 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 컴퓨팅 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

본 개시의 몇몇 실시예에 따르면, 컴퓨팅 장치(100)는 유저 피드백 정보 관리 서비스를 제공하기 위한 서버일 수 있다. 다만, 이에 한정되는 것은 아니다.

본 개시의 유저 피드백 정보 관리 서비스는 고객사와 관련된 복수 개의 게시물들을 크롤링하고, 크롤링된 게시물들을 분석하여 유저의 피드백 정보를 제공하는 서비스를 포함할 수 있다. 추가적으로, 본 개시의 유저 피드백 정보 관리 서비스는 노이즈 게시물(예컨대, 광고성 게시물 또는 유해성 게시물)에 대한 관리 서비스를 포함할 수 있다. 예를 들어, 고객사는 본 개시의 유저 피드백 정보 관리 서비스를 통해 인건비를 절약하고, 획일화된 기준으로 유저의 반응을 파악할 수 있다.

컴퓨팅 장치(100)는 예를 들어, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 프로세서, 휴대용 디바이스 및 디바이스 제어기 등과 같은 임의의 타입의 컴퓨터 시스템 또는 컴퓨터 디바이스를 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.

컴퓨팅 장치(100)의 프로세서(110)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 제어한다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(130)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 프로세서(110)는 메모리(130)에 저장된 응용 프로그램을 구동하기 위하여, 컴퓨팅 장치(100)의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(110)는 상기 응용 프로그램의 구동을 위하여, 컴퓨팅 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

본 개시의 몇몇 실시예에 따르면, 컴퓨팅 장치(100)의 프로세서(110)는 고객사와 관련된 복수 개의 게시물들을 크롤링(crawling)할 수 있다. 또한, 프로세서(110)는 사전 학습된 제 1 신경망 모델을 이용하여, 복수 개의 게시물들에 대한 제 1 의미 정보를 획득할 수 있다. 그리고, 프로세서(110)는 제 1 의미 정보를 이용하여 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식할 수 있다.

본 개시의 사전 학습된 제 1 신경망 모델은 자연어 처리 모델로, 학습 데이터 세트(구체적으로, 노이즈 게시물에서 도출된 특성들)를 통해 학습된 하나 이상의 네트워크 함수로 구성될 수 있으며, 입력 문장을 입력으로 하여 입력 문장에 대한 의미 분석 및 형태 분석을 수행하는 모델일 수 있다.

즉, 프로세서(110)는 자연어 처리 모델을 통해 게시물에 대한 제 1 의미를 파악함으로써, 게시물이 노이즈 게시물(예를 들어, 광고 게시물 또는 유해성 게시물)인지 여부를 판별할 수 있다. 이하, 제 1 신경망 모델을 구성하는 네트워크 함수에 관한 설명은 도 2를 참조하여 후술한다.

컴퓨팅 장치(100)의 프로세서(110)는 고객사 단말로부터 적어도 하나의 이슈 키워드를 사전에 수신하거나 또는 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출할 수 있다. 여기서, 이슈 키워드는 웹 상에서 유저들에게 자주 언급되는 키워드일 수 있다. 예를 들어, 이슈 키워드는 게임 서비스와 관련된 게임 업데이트, 게임 패치, 새로운 던전 이름 및 새로운 아이템 이름 등을 포함할 수 있다. 또한, 이슈 키워드는 물리적인 상품과 관련된 제품명, 소재명, 배송, 사이즈, 품질 등을 포함할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 적어도 하나의 이슈 키워드를 추출한 경우, 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식할 수 있다. 그리고, 프로세서(110)는 사전 학습된 제 2 신경망 모델을 이용하여, 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 제 2 의미 정보를 이용하여 적어도 하나의 이슈 게시물에 대한 반응 정보를 추출할 수 있다.

본 개시의 사전 학습된 제 2 신경망 모델은 자연어 처리 모델로, 학습 데이터 세트를 통해 학습된 하나 이상의 네트워크 함수로 구성될 수 있으며, 입력 문장을 입력으로 하여 입력 문장에 대한 의미 분석 및 형태 분석을 수행하는 모델일 수 있다.

즉, 프로세서(110)는 자연어 처리 모델을 통해 이슈 게시물에 대한 제 2 의미를 파악함으로써, 이슈 게시물의 반응(구체적으로, 이슈 키워드에 대한 반응)이 긍정적인지 또는 부정적인지 여부를 판별할 수 있다. 이하, 제 2 신경망 모델을 구성하는 네트워크 함수에 관한 설명은 도 2를 참조하여 후술한다.

한편, 컴퓨팅 장치(100)의 프로세서(110)는 반응 정보 및 서로 다른 시점에 추출된 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성할 수 있다. 그리고, 프로세서(110)는 고객사에게 모니터링 기능을 제공하기 위해 적어도 하나의 노이즈 게시물, 적어도 하나의 이슈 게시물 및 유저 피드백 정보를 포함하는 사용자 인터페이스(User Interface)를 고객사 단말로 제공할 수 있다.

따라서, 본 개시의 컴퓨팅 장치(100)는 고객사와 관련된 게시물을 편리하게 관리할 수 있는 유저 피드백 정보 관리 서비스를 고객사에게 제공할 수 있다.

이하, 컴퓨팅 장치(100)의 프로세서(110)가 수행하는 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법에 대한 설명은 도 3 내지 도 8을 참조하여 후술한다.

컴퓨팅 장치(100)의 통신부(120)는 컴퓨팅 장치(100)와 고객사 서버 사이 및 컴퓨팅 장치(100)와 사용자 단말(예를 들어, 고객사의 관리자 단말) 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 통신부(120)는, 컴퓨팅 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

컴퓨팅 장치(100)와 사용자 단말 사이 및 컴퓨팅 장치(100)와 서버 사이의 통신을 연결하는 네트워크는 공중전화 교환망(PSTN:Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.

또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.

본 개시의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(LAN: Local Area Network), 원거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW:World Wide Web)일 수 있으며, 적외선(IrDA:Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다.

본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.

컴퓨팅 장치(100)의 메모리(130)는 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 또는 영구 저장할 수도 있다. 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

본 개시의 몇몇 실시예에 따르면, 메모리(130)는 복수 개의 게시물들에 대한 의미 정보를 획득하기 위해 사전 학습된 신경망 모델을 저장하고 있을 수 있다. 또한, 메모리(130)는 프로세서(110)가 생성한 유저 피드백 정보를 저장할 수 있다. 다만, 이에 한정되는 것은 아니다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 및 저장매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 컴퓨팅 장치(100)의 프로세서(110) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 컴퓨팅 장치(100)의 메모리(130)에 저장되고, 컴퓨팅 장치(100)의 프로세서(110)에 의해 실행될 수 있다.

도 2는 본 개시의 몇몇 실시예에 따른 네트워크 함수를 나타낸 개략도이다.

본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 상호 교환 가능한 의미로 사용될 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 링크에 의해 상호 연결될 수 있다.

신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 상술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드의 데이터는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 링크는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.

상술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호 연결되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.

신경망은 하나 이상의 노드들의 집합으로 구성될 수 있다. 신경망을 구성하는 노드들의 부분 집합은 레이어(layer)를 구성할 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 상술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.

최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들을 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다.

본 개시의 몇몇 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수와 동일할 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하다가 다시 증가하는 형태의 신경망일 수 있다. 또한, 본 개시의 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수 보다 적을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다. 또한, 본 개시의 또 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 증가하는 형태의 신경망일 수 있다. 본 개시의 또 다른 일 실시예에 따른 신경망은 상술한 신경망들의 조합된 형태의 신경망일 수 있다.

딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

본 개시의 몇몇 실시예에서 네트워크 함수는 오토 인코더(autoencoder)를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 차원과 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.

뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 반교사학습(semi supervised learning), 또는 강화학습(reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 뉴럴 네트워크가 특정한 동작을 수행하기 위한 지식을 뉴럴 네트워크에 적용하는 과정일 수 있다.

뉴럴 네트워크는 출력의 오류를 최소화하는 방향으로 학습될 수 있다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.

뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃(dropout), 배치 정규화 레이어(batch normalization layer)의 활용 등의 방법이 적용될 수 있다.

도 3은 본 개시의 몇몇 실시예에 따른 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법의 일례를 설명하기 위한 도면이다.

도 3을 참조하면, 컴퓨팅 장치(100)의 프로세서(110)는 고객사와 관련된 복수 개의 게시물들을 크롤링할 수 있다(S110). 여기서, 복수 개의 게시물들은 시간의 흐름 또는 이벤트가 발생됨에 따라 이슈 키워드와 관련된 유저의 반응 변화를 획득하기 위해 기 설정된 시간 간격 마다 또는 기 설정된 이벤트가 발생될 때 마다 크롤링될 수 있다.

본 개시의 이슈 키워드는 웹 상에서 유저들에게 자주 언급되는 키워드일 수 있다. 예를 들어, 이슈 키워드는 게임 서비스와 관련된 게임 업데이트, 게임 패치, 새로운 던전 이름 및 새로운 아이템 이름 등을 포함할 수 있다. 또한, 이슈 키워드는 물리적인 상품과 관련된 제품명, 소재명, 배송, 사이즈, 품질 등을 포함할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 사전 학습된 제 1 신경망 모델을 이용하여, 복수 개의 게시물들에 대한 제 1 의미 정보를 획득하고, 제 1 의미 정보를 이용하여 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식할 수 있다(S120).

구체적으로, 프로세서(110)는 자연어 처리 모델을 통해 게시물에 대한 제 1 의미를 파악하여, 제 1 의미가 노이즈에 대응되는 의미인지 여부를 판별할 수 있다. 노이즈에 대응되는 의미를 포함하는 게시물은 예를 들어, 광고 게시물 또는 유해성 게시물(자세히 예를 들어, 욕설, 비방, 불법 행위 등을 포함하는 게시물)일 수 있다. 즉, 노이즈 게시물은 광고와 관련된 게시물 및 유해성 게시물 중 적어도 하나를 포함할 수 있다.

추가적으로, 프로세서(110)는 적어도 하나의 노이즈 게시물을 인식한 경우, 적어도 하나의 노이즈 게시물 각각에 대응하는 카테고리로 분류할 수 있다. 이 경우, 단계(S170)에서 후술될 사용자 인터페이스는 노이즈의 타입(예컨대, 광고 또는 유해성)에 대응하는 게시물들의 리스트를 포함할 수 있다. 즉, 프로세서(110)는 사용자가 각 노이즈 타입에 대응하는 게시물들을 용이하게 확인할 수 있도록 노이즈 게시물의 타입 별 게시물 리스트를 생성할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 고객사 단말로부터 적어도 하나의 이슈 키워드를 사전에 수신하거나 또는 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출할 수 있다(S130).

구체적으로, 프로세서(110)는 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드를 추출하는 경우, 나머지 게시물들 각각에서 단어들을 추출할 수 있다. 좀더 구체적으로, 프로세서(110)는 나머지 게시물들 각각에서 명사적 의미를 갖는 단어들(즉, 명사 단어들)을 추출할 수 있다. 예를 들어, 프로세서(110)는 명사를 제외한 품사들(예를 들어, 수사, 조사, 동사, 형용사 등)은 제외하고 단어를 추출할 수 있다. 그리고, 프로세서(110)는 추출된 단어들 중 기 설정된 개수 이상 추출된 단어를 이슈 키워드로 결정할 수 있다. 여기서, 기 설정된 개수는 고객사 단말로부터 수신하거나 초기 값이 사전에 설정되어 있을 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 이슈 키워드를 추출한 후, 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식할 수 있다(S140).

추가적으로, 컴퓨팅 장치(100)의 프로세서(110)는 상기 적어도 하나의 이슈 게시물을 인식한 경우, 적어도 하나의 이슈 키워드 별로 적어도 하나의 이슈 게시물을 분류할 수 있다. 이 경우, 단계(S170)에서 후술될 사용자 인터페이스는 적어도 하나의 이슈 키워드 각각에 대응하는 게시물들의 리스트를 포함할 수 있다. 즉, 프로세서(110)는 사용자가 각 이슈 키워드에 대응하는 게시물들을 용이하게 확인할 수 있도록 이슈 키워드 별 게시물 리스트를 생성할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 사전 학습된 제 2 신경망 모델을 이용하여, 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 제 2 의미 정보를 이용하여 적어도 하나의 이슈 게시물에 대한 반응 정보를 추출할 수 있다(S150).

구체적으로, 프로세서(110)는 자연어 처리 모델을 통해 게시물에 대한 제 2 의미를 파악하여, 제 2 의미가 긍정적인 의미인지 또는 부정적인 의미인지 여부(즉, 평판)를 판별할 수 있다. 즉, 프로세서(110)는 적어도 하나의 이슈 게시물 각각이 긍정적인 반응인지 또는 부정적인 반응인지 여부를 포함하는 반응 정보를 추출할 수 있다.

한편, 컴퓨팅 장치(100)의 프로세서(110)는 반응 정보와 서로 다른 시점에 추출된 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성할 수 있다(S160).

구체적으로, 반응 변화 정보는 제 1 시점에 획득된 제 1 이슈 키워드 및 제 1 반응 정보와 상기 제 1 시점과 상이한 제 2 시점에 획득된 제 2 이슈 키워드 및 제 2 반응 정보를 비교하여 생성될 수 있다.

예를 들어, 제 1 시점에 획득된 제 1 이슈 키워드가 1차 업데이트이고, 제 1 반응 정보가 상기 1차 업데이트에 대해 긍정적이라는 의미를 포함하고, 제 2 시점에 획득된 제 2 이슈 키워드가 2차 업데이트이고, 제 2 반응 정보가 상기 2차 업데이트에 대해 부정적이라는 의미를 포함하는 경우, 반응 변화 정보는 업데이트가 2차로 진행됨에 따라 유저들의 반응이 부정적으로 변화했다는 정보를 포함할 수 있다.

다른 예를 들어, 제 1 시점에 획득된 제 1 이슈 키워드가 제 1 제품(예컨대, 반팔 티)이고, 제 1 반응 정보가 긍정적이라는 의미를 포함하고, 제 2 시점에 획득된 제 2 이슈 키워드가 제 2 제품(예컨대, 스웨트셔츠)이고, 제 2 반응 정보가 긍정적이라는 의미를 포함하는 경우, 반응 변화 정보는 긍정적인 반응의 제품이 제 1 제품에서 제 2 제품으로 변화했다는 정보를 포함할 수 있다.

한편, 컴퓨팅 장치(100)의 프로세서(110)는 적어도 하나의 노이즈 게시물, 적어도 하나의 이슈 게시물 및 유저 피드백 정보를 포함하는 사용자 인터페이스를 고객사 단말로 제공할 수 있다(S170).

본 개시의 사용자 인터페이스는, 메뉴 선택을 위한 제 1 영역, 게시물에 대한 조건을 설정하거나 게시물을 검색하기 위한 제 2 영역, 게시물의 내용이 표시되는 제 3 영역 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스의 제 1 영역은 모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터를 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스의 제 2 영역은 모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터 각각에 대응하는 조건 설정 인디케이터 또는 검색창을 포함할 수 있다.

사용자 인터페이스의 제 3 영역은 제 2 영역에서 설정되거나 검색된 게시물들을 표시할 수 있다.

이하, 사용자 인터페이스에 대한 예시는 도 8을 참조하여 후술한다.

도 3을 참조하여 상술한 바와 같이, 본 개시의 컴퓨팅 장치(100)는 고객사와 관련된 다양한 게시물들을 추출하고, 각 게시물들의 성격에 따라 분류하며, 각 게시물들로부터 유저들의 반응 또는 반응 변화에 대한 정보를 획득하여 고객사에게 제공할 수 있다.

다양한 실시 예에서, 컴퓨팅 장치(100)는 특정 키워드와 관련된 기 설정된 기준값 이상의 부정 반응이 반복적으로 발생하는 경우, 이를 추적하여 모니터링할 수 있다. 예를 들어, 특정 아이템과 관련하여 부정반응이 기 설정된 기준값 이상 반복하여 발생하는 경우, 해당 부정반응의 내용을 확인하고, 점검하도록 하는 알림을 관리자에게 제공할 수 있다. 또한, 해당 문제를 해결하기 위한 업데이트를 진행한 뒤 부정반응이 계속되는지, 사라지는지, 혹은 긍정반응이 나타나는지 여부를 추적 관리하여, 업데이트의 성과를 판단할 수 있다. 또한, 업데이트 이후에도 부정반응이 발생할 경우, 그 내용을 분석할 수 있다. 예를 들어, 계속해서 해당 아이템에 대한 부정반응이 발생할 경우 문제가 해결되지 않은 것으로 판단할 수 있다. 또한, 해당 아이템 자체에 대한 부정반응은 사라졌으나, 전체 게시물 내에서의 부정반응의 수가 줄어들지 않았을 경우, 해당 문제가 해결되었음에도 사용자들의 불만은 해소되지 않은 것으로 판단할 수 있다. 이 경우, 사용자들의 불만내용을 분석하여 보상을 제공하거나 재업데이트를 하는 방안을 고려할 수 있도록 관리자에게 다시 알림을 제공할 수 있다. 컴퓨팅 장치(100)는 보상의 수준 혹은 대응방향을 판단할 수 있도록 부정반응의 수, 지속기간, 부정반응을 보인 사용자의 수 등의 통계를 제공하거나, 학습된 모델을 이용하여 해당 통계에 따른 적절한 보상의 수준을 제안할 수 있다. 컴퓨팅 장치(100)는 기존의 부정반응 통계와, 이에 따라 제공된 보상의 종류 및 수준, 그리고 이에 따른 부정반응의 변화 히스토리에 기초하여 모델을 학습시킬 수 있다. 이에 따라, 컴퓨팅 장치(100)는 현재 부정반응 통계에 따른 적절한 보상을 제안할 수 있다.

이에 따라, 본 개시의 컴퓨팅 장치(100)는 효율적인 유저 피드백 정보 관리방법을 제공할 수 있으며, 고객사의 관리자는 사용자 인터페이스를 통해 고객사와 관련된 게시물들을 손쉽게 모니터링할 수 있다.

도 4는 본 개시의 몇몇 실시예에 따른 유저 피드백 정보를 생성하는 방법의 일례를 설명하기 위한 도면이다.

도 4를 참조하면, 컴퓨팅 장치(100)의 프로세서(110)는 반응 변화 정보에 기초하여 사전 설정된 조건의 반응 변화와 관련된 특정 이슈 키워드를 인식할 수 있다(S210).

여기서, 사전 설정된 조건의 반응 변화는 예를 들어, 특정 키워드에 대해 부정적인 반응으로 변화되는 조건, 특정 키워드에 대해 긍정적인 반응이 유지되는 조건, 특정 키워드에 대해 긍정적인 반응으로 변화되는 조건 등을 포함할 수 있다. 즉, 컴퓨팅 장치(100)의 프로세서(110)는 고객사와 관련된 키워드들 중 개선할 내용과 관련된 키워드 또는, 지속적인 관리가 요구되는 키워드를 인식할 수 있다.

그리고, 컴퓨팅 장치(100)의 프로세서(110)는 특정 이슈 키워드에 대한 솔루션 정보를 생성할 수 있다(S220).

예를 들어, 프로세서(110)는 특정 이슈 키워드에 대한 반응 변화 정보를 입력하였을 때, 대안을 출력하도록 사전 학습된 신경망 모델을 이용하여, 키워드와 관련된 평판이 긍정적으로 변화되도록 야기하는 대안에 대한 정보를 획득할 수 있다. 여기서, 사전 학습된 신경망 모델은 다양한 사업 모델의 반응 변화와 관련된 학습용 입력 데이터와 반응이 긍정적으로 변화된 해결 방법과 관련된 라벨링 데이터를 이용하여 사전에 학습될 수 있다.

본 개시의 솔루션 정보는 특정 이슈 키워드에 대한 평판 변화에 대한 정보, 특정 이슈 키워드와 관련된 유저의 요구 사항에 대한 정보 및 평판이 긍정적으로 변화되도록 야기하는 대안에 대한 정보 중 적어도 하나를 포함할 수 있다.

예를 들어, 솔루션 정보는 ‘소재 관련된 얇다, 비치다 키워드가 많아요. 한여름 상품인가요? 한여름 상품이 아니라면 두께감도 고려하는 게 어떨까요?’, ‘오늘 트랜드 체커에서 롱원피스가 급상승했어요, 관련 내용을 확인해보세요.’, ‘고객님들이 사이즈 문의를 많이 해주셨네요. 테니스 치마의 사이즈 개선이 필요한거 같아요.’, ‘이번 업데이트에서 신규 오픈한 게시판 기능이 유저들의 핫이슈입니다. 지금 확인해보세요.’ 및 ‘가장 많이 언급되었던 키워드는 만족도였어요. 그중에서 스판 슬랙스가 가장 많이 언급되었네요.’ 등과 같은 메시지를 포함할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 솔루션 정보를 고객사 단말로 전송할 수 있다(S230).

구체적으로, 컴퓨팅 장치(100)의 프로세서(110)는 솔루션 정보를 고객사 단말로 전송하도록 통신부(120)를 제어하거나 또는 사용자 인터페이스를 통해 고객사의 관리자에게 솔루션 정보가 전달되도록 야기할 수 있다.

따라서, 본 개시의 컴퓨팅 장치(100)는 개선할 내용과 사업 우선 순위 등을 고객사에게 제공할 수 있다. 이 경우, 고객사는 보다 쉽게 문제점을 파악하거나 사업 아이템의 우선 순위를 결정할 수 있다.

도 5는 본 개시의 몇몇 실시예에 따른 게시물 및 계정이 자동으로 관리되는 방법의 일례를 설명하기 위한 흐름도이다.

도 5를 참조하면, 컴퓨팅 장치(100)의 프로세서(110)는 고객사로부터 게시물 관리 권한 및 계정 관리 권한을 획득할 수 있다(S310).

예를 들어, 컴퓨팅 장치(100)의 프로세서(110)는 게시물 및 계정을 관리할 수 있는 관리자 계정 및 상기 관리자 계정에 로그인할 수 있는 패스워드를 고객사 단말로부터 수신할 수 있다.

컴퓨팅 장치(100)의 프로세서(110)는 도 3의 단계(S120)에서 인식한 적어도 하나의 노이즈 게시물을 고객사의 웹 사이트에서 삭제할 수 있다(S320). 여기서, 삭제된 게시물은 사용자 인터페이스의 삭제된 게시물 탭에서 표시될 수 있다.

또한, 컴퓨팅 장치(100)의 프로세서(110)는 기 설정된 개수를 초과하는 노이즈 게시물을 게시한 특정 계정의 게시물 업로드 기능을 제한할 수 있다(S330).

따라서, 본 개시의 컴퓨팅 장치(100)는 불필요한 게시물을 자동으로 삭제하고, 악성 사용자 계정을 자동으로 차단하여 고객사의 웹 페이지 관리를 용이하게 할 수 있다.

도 6은 본 개시의 몇몇 실시예에 따른 적법하지 않은 특정 노이즈 게시물에 대한 입증 자료를 생성하는 방법의 일례를 설명하기 위한 흐름도이다.

도 6을 참조하면, 컴퓨팅 장치(100)의 프로세서(110)는 적어도 하나의 노이즈 게시물을 인식한 경우, 적어도 하나의 노이즈 게시물에 대한 적법성을 판단할 수 있다(S410). 그리고, 프로세서(110)는 적법하지 않다고 판단된 특정 노이즈 게시물이 존재하는 경우, 특정 노이즈 게시물에 대한 입증 자료를 생성할 수 있다(S420).

예를 들어, 프로세서(110)는 적어도 하나의 노이즈 게시물에 특정 사용자의 개인정보가 포함되어 있는지 여부를 인식할 수 있다. 그리고, 프로세서(110)는 노이즈 게시물에 특정 사용자의 개인 정보가 포함되었다고 판단된 경우, 특정 노이즈 게시물을 적법하지 않다고 판단할 수 있다.

이 경우, 프로세서(110)는 특정 노이즈 게시물의 이미지, 특정 노이즈 게시물이 업로드된 시간, 특정 노이즈 게시물이 업로드된 위치(즉, 게시판 또는 웹 주소), 특정 노이즈 게시물을 업로드한 사용자 계정의 사용자 정보를 포함하는 입증 자료를 생성할 수 있다.

이러한 입증 자료는 개인 정보가 노출된 사용자의 계정 또는 고객사에게 제공될 수 있다. 즉, 입증 자료는 법적 대응에 요구되는 입증 자료를 포함할 수 있다.

따라서, 본 개시의 컴퓨팅 장치(100)는 불법적인 게시물을 게시한 사용자에 대한 법적인 대응을 보다 신속하고 편리하게 진행되도록 야기할 수 있다.

도 7은 본 개시의 몇몇 실시예에 따른 특정 게시물들에 대한 검토를 요청하는 방법의 일례를 설명하기 위한 흐름도이다.

도 7을 참조하면, 컴퓨팅 장치(100)의 프로세서(110)는 고객사와 관련된 복수 개의 게시물을 획득한 경우, 복수 개의 게시물들 각각의 유사도 값을 산출할 수 있다(S510). 그리고, 프로세서(110)는 복수 개의 게시물들 중에서 유사도 값이 기 설정된 값 이상인 적어도 두 개 이상의 게시물을 추출할 수 있다(S520).

구체적으로, 컴퓨팅 장치(100)의 프로세서(110)는 복수 개의 게시물들 각각에서 HTML, Script 태그를 제거할 수 있다. 그리고, 프로세서(110)는 형태소 분석기를 이용하여 가중치가 높은 순서대로 기 설정된 개수(예컨대, 5개)의 명사를 추출하거나, 사용 빈도가 높은 순서대로 기 설정된 개수의 명사를 추출할 수 있다.

그리고, 프로세서(110)는 게시물에 포함된 명사를 기초로 복수 개의 게시물들 중 임의로 선택되는 두 개의 게시물들을 비교하거나, 하나의 게시물과 나머지 게시물들을 비교하여 유사도 값을 산출할 수 있다.

즉, 컴퓨팅 장치(100)의 프로세서(110)는 적어도 두 개 이상의 게시물이 실질적으로 동일한 게시물인지 여부를 판단할 수 있다. 그리고, 컴퓨팅 장치(100)의 프로세서(110)는 적어도 두 개 이상의 게시물들의 개수가 기 설정된 개수를 초과하는 경우, 사용자 인터페이스를 통해 적어도 두 개 이상의 게시물들에 대한 검토를 요청할 수 있다(S530).

여기서, 프로세서(110)는 검토 요청에 대한 응답이 획득될 때까지 적어도 두 개 이상의 게시물들을 블라인드 처리할 수 있다.

따라서, 본 개시의 컴퓨팅 장치(100)는 도배성으로 작성되는 중복 게시물에 대한 검토를 요청하고, 검토가 완료될 때까지 다른 유저들에게 노출되지 않도록 블라인드 처리하여 게시판을 쾌적하게 유지할 수 있다.

도 8은 본 개시의 몇몇 실시예에 따른 사용자 인터페이스의 일례를 설명하기 위한 도면이다.

본 개시의 몇몇 실시예에 따르면, 컴퓨팅 장치(100)의 프로세서(110)는 적어도 하나의 노이즈 게시물, 적어도 하나의 이슈 게시물 및 유저 피드백 정보를 포함하는 사용자 인터페이스를 고객사 단말로 제공할 수 있다.

도 8을 참조하면, 사용자 인터페이스(60)는 메뉴 선택을 위한 제 1 영역(61), 게시물에 대한 조건을 설정하거나 게시물을 검색하기 위한 제 2 영역(62), 게시물의 내용이 표시되는 제 3 영역(63) 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(60)의 제 1 영역(61)은 모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터를 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(60)의 제 2 영역(62)은 모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터 각각에 대응하는 조건 설정 인디케이터 또는 검색창을 포함할 수 있다.

예를 들어, 제 1 영역(61)에 포함된 보관함 인디케이터가 선택된 경우, 제 2 영역(62)은 주요 키워드 및 유해 키워드의 제 3 영역(63)에 표시할지 여부를 결정하기 위한 버튼, 게시물의 날짜를 선택할 수 있는 창 및 게시물을 검색할 수 있는 검색 창을 포함할 수 있다.

사용자 인터페이스(60)의 제 3 영역(63)은 제 2 영역(62)에서 설정되거나 검색된 게시물들을 표시할 수 있다.

예를 들어, 제 1 영역(61)에서 보관함 인디케이터가 선택되고, 제 2 영역(62)에서 유해 키워드를 표시하는 것으로 설정된 경우, 제 3 영역(63)에는 유해 키워드가 포함된 노이즈 게시물들이 표시될 수 있다.

추가로, 제 3 영역(63)에는 노이즈 게시물들 각각이 어떤 게임 커뮤니티에 게시되었는지에 대한 정보, 게시판 종류에 대한 정보, 제목에 대한 정보, 처리자(예컨대, 자동 분류 또는 관리자의 이름 등)에 대한 정보, 처리 시간 및 일시(또는 날짜)에 대한 정보가 표시될 수 있다.

또한, 제 3 영역(63)에는 노이즈 게시물들 중 어느 하나의 게시물이 선택된 경우, 해당 게시물의 내용과 노이즈 게시물의 타입(광고, 결제장애, 서버장애, 음란, 욕설 등)을 표시할 수 있다.

따라서, 본 개시의 컴퓨팅 장치(100)는 사용자 인터페이스(60)를 통해 고객사와 관련된 게시물을 편리하게 관리할 수 있는 유저 피드백 정보 관리 서비스를 고객사에게 제공할 수 있다.

상술한 사용자 인터페이스(60)에 대한 설명은 본 개시의 이해를 돕기 위한 예시일 뿐, 이에 한정되는 것은 아니고, 사용자 인터페이스(60)는 고객사의 관리자가 게시물을 용이하게 관리하기 위한 다양한 구성요소들이 더 포함되거나 더 적은 구성요소들로 구성될 수도 있다.

제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (12)

1. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법에 있어서,
   고객사의 게임 서비스와 관련된 복수 개의 게시물들을 크롤링(crawling)하는 단계;
   사전 학습된 제 1 신경망 모델을 이용하여, 상기 복수 개의 게시물들에 대한 제 1 의미 정보를 획득하고, 상기 제 1 의미 정보를 이용하여 상기 복수 개의 게시물들 중 적어도 하나의 노이즈 게시물을 인식하는 단계;
   상기 적어도 하나의 노이즈 게시물을 제외한 나머지 게시물들을 이용하여 적어도 하나의 이슈 키워드 - 상기 이슈 키워드는, 상기 게임 서비스에 포함된 특정 아이템에 대한 키워드임 - 를 추출하는 단계;
   상기 적어도 하나의 이슈 키워드를 포함하는 적어도 하나의 이슈 게시물을 인식하는 단계;
   사전 학습된 제 2 신경망 모델을 이용하여, 상기 적어도 하나의 이슈 게시물에 대한 제 2 의미 정보를 획득하고, 상기 제 2 의미 정보를 이용하여 상기 적어도 하나의 이슈 게시물에 대한 제 1 반응 정보를 추출하는 단계;
   상기 제 1 반응 정보가 기 설정된 기준값 이상의 부정 반응에 해당하는 경우, 상기 이슈 키워드에 대응하는 아이템에 대한 문제를 해결하라는 정보를 포함하는 알림을 제공하는 단계;
   상기 아이템에 대한 업데이트 정보를 획득하는 단계;
   상기 제 1 반응 정보 및 상기 업데이트 이후의 다른 시점에 추출된 제 2 반응 정보를 이용하여 생성된 반응 변화 정보를 포함하는 유저 피드백 정보를 생성하는 단계; 및
   상기 적어도 하나의 노이즈 게시물, 상기 적어도 하나의 이슈 게시물 및 상기 유저 피드백 정보를 포함하는 사용자 인터페이스(User Interface)를 상기 고객사 단말로 제공하는 단계;
   를 포함하고,
   상기 유저 피드백 정보를 생성하는 단계는,
   상기 제 2 반응 정보에 포함된 부정 반응에 대한 통계를 생성하는 단계;
   상기 제 2 반응 정보에 포함된 부정 반응이 상기 아이템과 관련된 것일 경우, 상기 아이템에 대한 재업데이트가 필요하다는 정보를 포함하는 알림을 제공하는 단계; 및
   사전 학습된 제3 신경망 모델을 이용하여, 상기 통계 정보에 따라 사용자들에게 제공할 보상의 종류 및 수준을 결정하는 단계; 를 포함하고,
   상기 제3 신경망 모델은, 기존에 수집된 부정반응의 통계, 이에 따라 제공된 보상의 종류 및 수준, 그리고 이에 따른 부정반응의 변화 정도에 기초하여 학습된 것을 특징으로 하고,
   상기 유저 피드백 정보 관리방법은,
   상기 고객사로부터 게시물 관리 권한 및 계정 관리 권한을 획득하는 단계;
   상기 고객사의 웹 사이트에서 상기 노이즈 게시물을 삭제하는 단계;
   기 설정된 개수를 초과하는 노이즈 게시물을 게시한 특정 계정의 게시물 업로드 기능을 제한하는 단계;
   상기 적어도 하나의 노이즈 게시물에 대한 적법성을 판단하는 단계; 및
   적법하지 않다고 판단된 특정 노이즈 게시물이 존재하는 경우, 상기 특정 노이즈 게시물에 대한 입증 자료를 생성하는 단계; 를 더 포함하고,
   상기 적어도 하나의 노이즈 게시물에 대한 적법성을 판단하는 단계는,
   상기 적어도 하나의 노이즈 게시물에 특정 사용자의 개인정보가 포함되어 있는지 여부를 인식하는 단계; 및
   상기 특정 사용자의 개인 정보가 포함된 특정 노이즈 게시물을 적법하지 않다고 판단하는 단계;
   를 포함하고,
   상기 적법하지 않다고 판단된 특정 노이즈 게시물이 존재하는 경우, 상기 특정 노이즈 게시물에 대한 입증 자료를 생성하는 단계는,
   상기 특정 노이즈 게시물의 이미지, 상기 특정 노이즈 게시물이 업로드된 시간, 상기 특정 노이즈 게시물이 업로드된 위치 및 상기 특정 노이즈 게시물을 업로드한 계정의 사용자 정보를 포함하는 상기 입증 자료를 생성하는 단계;
   를 포함하고,
   상기 유저 피드백 정보 관리방법은,
   고객사와 관련된 복수 개의 게시물들을 획득한 경우, 상기 복수 개의 게시물들 각각의 유사도 값을 산출하는 단계;
   상기 복수 개의 게시물들 중에서 상기 유사도 값이 기 설정된 값 이상인 적어도 두 개 이상의 게시물을 추출하는 단계;
   상기 적어도 두 개 이상의 게시물들의 개수가 기 설정된 개수를 초과하는 경우, 상기 사용자 인터페이스를 통해 상기 적어도 두 개 이상의 게시물들에 대한 검토를 요청하는 단계; 및
   상기 검토 요청에 대한 응답이 획득될 때까지 상기 적어도 두 개 이상의 게시물들을 블라인드 처리하는 단계; 를 더 포함하고,
   상기 유사도 값을 산출하는 단계는,
   상기 복수 개의 게시물들 각각에서 형태소 분석기를 이용하여 가중치가 높은 순서대로 기 설정된 개수의 명사를 추출하는 단계; 및
   상기 복수 개의 게시물들 각각에서 추출된 명사를 비교하여 상기 복수 개의 게시물들 각각의 유사도 값을 산출하는 단계; 를 포함하는,
   인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법.
   
2. 제 1 항에 있어서,
   상기 복수 개의 게시물들은,
   시간의 흐름 또는 이벤트가 발생됨에 따라 상기 이슈 키워드와 관련된 유저의 반응 변화를 획득하기 위해 기 설정된 시간 간격 마다 또는 기 설정된 이벤트가 발생될 때 마다 크롤링되는,
   인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법.
   
3. 제 1 항에 있어서,
   상기 적어도 하나의 노이즈 게시물을 인식한 경우, 상기 적어도 하나의 노이즈 게시물 각각에 대응하는 카테고리로 분류하는 단계;
   를 더 포함하고,
   상기 노이즈 게시물은,
   광고와 관련된 게시물 및 유해성 게시물 중 적어도 하나를 포함하는,
   인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법.
   
4. 삭제
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 사용자 인터페이스는,
   메뉴 선택을 위한 제 1 영역, 게시물에 대한 조건을 설정하거나 게시물을 검색하기 위한 제 2 영역, 게시물의 내용이 표시되는 제 3 영역 중 적어도 하나를 포함하고,
   상기 제 1 영역은,
   모니터링 인디케이터, 보관함 인디케이터, 사용자 관리 인디케이터, 모니터링 설정 인디케이터, 알림 설정 인디케이터 및 공지사항 인디케이터 중 적어도 하나를 포함하고,
   상기 제 2 영역은,
   상기 모니터링 인디케이터, 상기 보관함 인디케이터, 상기 사용자 관리 인디케이터, 상기 모니터링 설정 인디케이터, 상기 알림 설정 인디케이터 및 상기 공지사항 인디케이터 각각에 대응하는 조건 설정 인디케이터 또는 검색창을 포함하고,
   상기 제 3 영역은 상기 제 2 영역에서 설정되거나 검색된 게시물들을 표시하는,
   인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법.
   
8. 제 1 항에 있어서,
   상기 적어도 하나의 이슈 게시물을 인식한 경우, 상기 적어도 하나의 이슈 키워드 별로 상기 적어도 하나의 이슈 게시물을 분류하는 단계;
   를 더 포함하고,
   상기 사용자 인터페이스는,
   상기 적어도 하나의 이슈 키워드 각각에 대응하는 게시물들의 리스트를 포함하는,
   인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법.
   
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images