KR20190066156A - 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템 - Google Patents

Abstract

본 발명은 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템에 관한 것으로서, 질의에 대한 철자 오류, 동의어처리 등 질의를 표준화된 형식으로 변환하며, 화행분류기는 질의에서 사용자의 의도를 추출하는 전처리기, 사용자 질의, 화행분류기를 통해 분류된 질의의도, 그리고 핵심어를 이용하여 미리 구축된 답변 지식으로부터 가장 적절한 답변을 매칭하는 답변매칭기, 지능적인 대화를 위하여 중요한 부분으로서, 대화의 주제에 대한 내용을 유지함으로써 답변을 보다 문맥에 맞게 처리하는 문맥관리기, 답변이 사용자에게 제시되기 전에 최종적으로 보다 자연스럽게 답변을 변경하는 후처리기, 그리고 에이전트가 대화를 수행하는데 필요한 지식을 저장하는 스크립트를 포함한다.

Description

빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템{Bigdata and machine learning based smart travel chatting robot system}

본 발명은 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템에 관한 것이다.

아이슬랜드 에어(IcelandAir)는 항공편 검색과 예약을 돕는 채팅로봇 소프트웨어 구현하였으며, 타코 벨(Taco Bell)과 도미노(Dominos)는 음식을 주문할 수 있는 채팅로봇 소프트웨어 운영을 하고 있다.

하이판초(Hi Poncho)는 메신저에서 날씨를 알려주는 '고양이'로 인기 높으며, 버버리(Burberry) 런던 패션 주간 동안 자사 패션을 선보이는 채팅로봇 소프트웨어를 구현한다.

주요 해외사례국가들은 다양한 기능을 활용하여 관광객들에게 스마트관광 정보서비스를 제공해주고 있다.

특히 노르웨이, 스위스, 싱가폴은 관광 전 단계에서 관광객이 원스톱으로 계획을 실행할 수 있도록 가격 비교뿐만 아니라 온라인 예약 기능을 제공해주고 있다.

미국과 홍콩은 관광객의 즐거움을 위해 미션 수행에 따른 뱃지(badge)나 스탬프 발급 등으로 관광객에게 엔터테인먼트 기능을 제공하고 있다.

주요 해외사례국가들은 외래관광객을 위해 언지 지원, 현지인 의견 제공등의 정보를 제공해주고 있다.

호주와 노르웨이는 외래관광객들 위해 각 23개, 10개의 다국어 지원 서비스를 제공해주고 있다.

프랑스, 스위스, 노르웨이는 현지인들의 의견을 통해 음식점이나 숙박시설 등의 관광정보를 외래관광객에게 제공해주고 있으며, 독일은 현지인들의 설문조사를 바탕으로 독일 관광명소 100곳을 외래관광객에게 소개하고 있다.

또한, 호주는 각 분야의 전문가들의 의견을 통해 외래관광객에게 호주 관광명소와 관광코스, 숙박 시설 등의 정보 제공하고 있다.

본 발명이 해결하고자 하는 과제는 빅데이터 시스템 구축을 위한 전처리 기술과 빅데이터 수집 기술, 추천시스템 구축을 위한 빅데이터 분석 기술과 추천 기술을 개발하여 빅데이터 시스템을 구축하기 위한 것이다.

본 발명이 해결하고자 하는 다른 과제는 사용자의 프로필에 따른 로그데이터와 상품 특성에 따른 추천 알고리즘의 정확도를 높이기 위해 머신러닝 기술을 개발하고 이를 기반으로 사용자와의 커뮤니케이션을 수행하는 채팅로봇 소프트웨어 기술을 개발하여, 커뮤니케이션 시스템을 구축하기 위한 것이다.

본 발명의 한 특징에 따른 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템은 질의에 대한 철자 오류, 동의어처리 등 질의를 표준화된 형식으로 변환하며, 화행분류기는 질의에서 사용자의 의도를 추출하는 전처리기, 사용자 질의, 화행분류기를 통해 분류된 질의의도, 그리고 핵심어를 이용하여 미리 구축된 답변 지식으로부터 가장 적절한 답변을 매칭하는 답변매칭기, 지능적인 대화를 위하여 중요한 부분으로서, 대화의 주제에 대한 내용을 유지함으로써 답변을 보다 문맥에 맞게 처리하는 문맥관리기, 답변이 사용자에게 제시되기 전에 최종적으로 보다 자연스럽게 답변을 변경하는 후처리기, 그리고 에이전트가 대화를 수행하는데 필요한 지식을 저장하는 스크립트를 포함한다.

이러한 특징에 따르면, 빅데이터 시스템 구축을 위한 전처리 기술과 빅데이터 수집 기술, 추천시스템 구축을 위한 빅데이터 분석 기술과 추천 기술을 개발된다.

또한, 사용자의 프로필에 따른 로그데이터와 상품 특성에 따른 추천 알고리즘의 정확도를 높이기 위해 머신러닝 기술을 개발하고 이를 기반으로 사용자와의 커뮤니케이션을 수행하는 채팅로봇 소프트웨어 기술을 개발하여, 커뮤니케이션 시스템이 구축된다.

도 1은 스마트 관광 채팅 로봇 소프트웨어 개념도이다.
도 2는 관광기업을 위한 빅데이터와 머신러닝 기반 스마트관광 채팅 로봇 소프트웨어 개발 개념도이다.
도 3은 본 발명의 한 실시예에 따른 빅데이터 시스템과 추천시스템에 대한 개념도이다.
도 4는 본 발명의 한 실시예에 따른 빅데이터 시스템에 관한 개념도이다.
도 5는 본 발명의 한 실시예에 따른 추천 시스템에 대한 개념도이다.
도 6은 본 발명의 한 실시예에 따른 머신러닝 기술을 기반으로 사용자와의 커뮤니케이션을 수행하는 채팅로봇 소프트웨어 기술을 구비한 커뮤니케이션 시스템에 대한 개념도이다.
도 7은 본 발명의 한 실시예에 따른 머신러닝 기술에 대한 개념도이다.
도 8은 본 발명의 한 실시예에 따른 커뮤니케이션 시스템에 대한 개념도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명하는데 있어서, 해당 분야에 이미 공지된 기술 또는 구성에 대한 구체적인 설명을 부가하는 것이 본 발명의 요지를 불분명하게 할 수 있다고 판단되는 경우에는 상세한 설명에서 이를 일부 생략하도록 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명의 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 해당 분야의 관련된 사람 또는 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 '포함하는'의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.

이하, 첨부된 도면을 참고로 하여 본 발명의 실시예에 따른 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템에 대해서 설명하도록 한다.

도 2를 참고로 하면, 본 발명은 빅데이터 시스템, 추천 시스템 및 커뮤니케이션 시스템은 구비하고 있다.

빅데이터 시스템은 전처리 기술과 빅데이터 수집 기술을 실시한다.

이때, 전처리 기술은 목표 사이트를 선택하고, 구조를 분석하고, 데이터 상관성을 확인하고, 데이터 베이스 모델을 구축한다.

빅데이터 수집 기술은 목표 사이트별 데이터수집 시스템 구축, 테스트 후, 데이터 수집한다.

추천 시스템은 빅데이터 분석 기술과 추천 기술을 실행하며, 빅데이터 분석 기술은 수집한 데이터의 중복성을 체크하고, 데이터를 분류하고, 스팸을 제거하고, 추천 기술은 사용자의 프로필에 따른 로그데이터와 상품 특성에 따른 추천 알고리즘 개발한다.

커뮤니케이션 시스템은 머신러닝 기술 및 채팅로봇 기술을 행한다.

머신러닝 기술은 추천에 대한 고객의 반응 데이터를 수집하여, 알고리즘의 정확도를 높이고, 채팅로봇 기술은 고객의 정보를 수집하고, 추천된 정보를 전달하고, 고객의 행동을 수집하는 모바일 커뮤니케이션 툴을 개발하여 실행한다.

이로 인해, 빅데이터 시스템 구축을 위한 전처리 기술과 빅데이터 수집 기술, 추천시스템 구축을 위한 빅데이터 분석 기술과 추천 기술을 개발하여 빅데이터 시스템을 구축하게 된다.

도 3에서, 전처리 기술은 사이트 분석을 위해 목표 사이트를 선택하고, 구조를 분석하고, 데이터 상관성을 확인하고, 데이터 베이스 모델을 구축하기 위한 것이다.

빅데이터 수집 기술은 크롤링을 통해 목표 사이트별 데이터수집 시스템 구축, 테스트 후, 데이터 수집하기 위한 것이다.

빅데이터 분석 기술은 수집한 데이터의 중복성을 체크하고, 데이터를 분류하고, 스팸을 제거하기 위한 것이며, 추천 기술은 사용자 프로파일, 상품정보 등 기반으로 추천 알고리즘 개발함. 소비자가 상품 구매 시 얼마나 자주 구매하는지, 얼마나 최근에 구매했는지, 구매 후 그 상품의 인기가 언제까지 유지되는지를 분석하여 소비자의 영향력을 분석하는 기술을 통한 랭킹 알고리즘 개발 및 구현하기 위한 것이다.

도 4에 관한 내용은 다음과 같다.

전처리 기술은 수집된 데이터의 분석 및 활용을 위해 분석에 사용되지 않는 문자, 기호, 숫자 등을 제거하기 위한 과정으로, 전처리 대상이 되는 문자의 특성을 파악하고, 특성을 모델링하여 각 각의 전처리 규칙을 정의하는 기술이다.

빅데이터 수집 기술은 한국의 레스토랑 관련 웹사이트, 블로그로부터 소비자가 작성한 외식상품에 대한 다국어 비정형 데이터를 래퍼기반 웹크롤러를 개발하여 수집대상 사이트의 구조정보를 분석한 후 필요한 데이터만 추출하여 데이터 정제와 전처리 시 소요되는 시간을 줄일 수 있도록 기술이다.

웹 크롤러(Web Crawler)는 관련된 리뷰 데이터베이스(리뷰 제목, 본문, 태그, URL, 리뷰 이미지 등)의 구축을 목표로 함. 기본 데이터베이스는 블로그로부터 정보를 수집하여 구축. 다양한 블로그로부터 리뷰 정보를 수집하기 위해 래퍼 기반 웹 크롤러를 개발함. 래퍼 기반 웹 크롤러는 블로그로부터 리뷰 정보를 정확하고 빠르게 수집하기 위해 개발, 이를 위해 각 블로그별로 추출해야 할 리뷰 정보가 표현된 웹 페이지의 구조를 분석하여 래퍼 DB를 구축하고 이를 래퍼 기반 웹 크롤러에 적용하여 데이터를 수집하기 위한 것이다.

정제 기술은 래퍼기반 웹 크롤러를 이용하여 수집한 데이터 중 외식상품과 관련 없는 스팸 문서를 제거하여 분석의 정확도를 높일 수 있는 기술을 개발함. 이를 위해 스팸 문서 검증을 위한 실험 모델을 구축하고 실험 모델을 이용하여 스팸 문서를 분류한 후, 완성된 스팸문서 제거 모델을 이용하여 분석에 이용하지 않는 외식상품과 관련 없는 문서를 제거하는 기술이다.

또한, 빅데이터 수집 시스템은 빅데이터 시스템은 비정형 빅데이터 수집 기술, 정형 빅데이터 수집 기술, 매출 빅데이터 수집 기술을 개발하여 한/중/일 Semless 마케팅 플랫폼 구축을 위한 DB를 구축하는 것이다.

도 5를 참고로 하면, 빅데이터 분석 기술은 수집한 데이터의 중복성을 체크하고, 데이터를 분류하고, 스팸을 제거하기 위한 것이다.

추천 기술은 사용자가 선호할 만한 아이템을 추측함으로써 여러 가지 항목 중 사용자에게 적합한 특정 항목을 선택(information filtering)하여 제공하는 기술을 말하며, ‘필터링’이란 여러 가지 항목 중 적당한 항목을 선택하는 기술로서, 기본적인 추천 시스템은 협업 필터링(Collaborative filtering)과 콘텐츠 기반 필터링(Content-based filtering)이 존재한다.

또한, 내용기반 추천 기술은 내용 기반 추천은 항목 자체를 분석하여 추천을 구현함. 예를 들어 음악을 추천하기 위해 음악 자체를 분석하여 유사한 음악을 추천하는 방식임. 내용 기반 추천을 위해서는 항목을 분석한 프로파일(item profile)과 사용자의 선호도를 추출한 프로파일(user profile)을 추출하여 이의 유사성을 계산함. 군집분석(Clustering analysis), 인공신경망(Artificial neural network), tf-idf(term frequencyinversedocument frequency) 등의 기술이 사용된다. 본 발명에서는 군집분석을 통해 추천 알고리즘을 구현한다.

협업기반 추천 기술은 대규모의 기존 사용자 행동 정보를 분석하여 해당 사용자와 비슷한 성향의 사용자들이 기존에 좋아했던 항목을 추천하는 기술로 온라인 쇼핑 사이트에서 흔히 볼 수 있는 ‘이 상품을 구매한 사용자가 구매한 상품들’ 서비스를 말한다.

이때, 사용자가 두 제품을 같이 구매했다는 기록을 바탕으로 새로운 사용자에게 추천한다.

비슷한 패턴을 가진 사용자나 항목을 추출하는 기술이 핵심적이며 행렬분해(Matrix Factorization), k-최근접 이웃 알고리즘 (k-Nearest Neighbor algorithm;kNN) 등의 방법이 많이 사용된다.

도 6은 사용자의 프로필에 따른 로그데이터와 상품 특성에 따른 추천 알고리즘의 정확도를 높이기 위해 머신러닝 기술을 개발하고 이를 기반으로 사용자와의 커뮤니케이션을 수행하는 채팅로봇 소프트웨어 기술을 구비하고 있는 커뮤니케이션 시스템에 대한 개념도이다.

이때, 머신러닝 기술은 추천에 대한 고객의 반응 데이터를 수집하여, 알고리즘의 정확도를 논이는 것으로서, 기계, 즉 컴퓨터를 인간처럼 학습시켜 스스로 규칙을 형성할 수 있지 않을까 하는 시도에서 비롯되었으며, 주로 통계적인 접근 방법을 사용하는데, 위의 독감의 예와 반대로 "독감이 걸린 사람은 대부분 열이 많이 나고 오한이 있고 구토 증상이 있었다"라는 통계에 기반하여 독감을 진단하는 것으로 인간이 하는 추론 방식과 유사하고 매우 강력한다.

채팅로봇 기술은 고객의 정보를 수집하고, 추천된 정보를 전달하고, 고객의 행동을 수집하는 모바일 커뮤니케이션 툴을 개발하는 것에 대한 것이다. 인터넷 사이트의 정보량이 증가함에 따라 효율적인 정보제공의 필요성이 커지고 있으나, 대부분의 사이트에서 제공하는 핵심어의 불리언 조합에 기반을 둔 정보검색기법은 사용 자의 의도를 제대로 표현하기 어렵기 때문에 지나치게 많거나 의도하지 않은 검색결과를 얻기 쉽다는 문제가 있다. 자연어 대화를 통하여 사용자에게 보다 정확하고 친절하게 정보를 제공할 수 있는 채팅로봇이 필요하다.

채팅로봇은 자연어 질의에 유한상태 오토마타를 적용하여 사용자의 질의의도를 파악하고 이를 답변지식의 구조적 패턴매칭에 활용함으로써, 어순변화에 강건하고 질의의도에 부합하는 답변을 제공하게 된다.

도 7은 머신러닝 기술에 대한 개념도러서, 머신 러닝(영어: machine learning)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다.

지도 학습(Supervised Learning)은 사람이 교사로써 각각의 입력(x)에 대해 레이블(y)을 달아놓은 데이터를 컴퓨터에 주면 컴퓨터가 그것을 학습하는 것으로, 사람이 직접 개입하므로 정확도가 높은 데이터를 사용할 수 있다는 장점이 있으나, 사람이 직접 레이블을 달아야 하므로 인건비 문제가 있고, 구할 수 있는 데이터양도 적다는 문제가 있다.

비지도 학습(Unsupervised Learning)은 사람 없이 컴퓨터가 스스로 레이블 되어 있지 않은 데이터에 대해 학습하는 것. 즉 y없이 x만 이용해서 학습하는 것임. 정답이 없는 문제를 푸는 것이므로 학습이 맞게 됐는지 확인할 길은 없지만, 인터넷에 있는 거의 모든 데이터가 레이블이 없는 형태로 있어 머신러닝에 적합하다.

강화 학습(Reinforcement Learning)은 현재의 상태(State)에서 어떤 행동(Action)을 취하는 것이 최적인지를 학습하는 것으로, 행동을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화 하는 방향으로 학습이 진행된다.

전처리기는 질의에 대한 철자 오류, 동의어처리 등 질의를 표준화된 형식으로 변환하며, 화행분류기는 질의에서 사용자의 의도를 추출하는 모듈이다. 이러한 전처리기는 유한상태 오토마타를 이용하여 사용자의 질의의도를 파악함으로써, 기존의 패턴매칭 기법에 기반을 둔 대화형 에이전트 시스템보다 질의의도에 부합하는 응답을 제공한다.

답변매칭기는 사용자 질의, 화행분류기를 통해 분류된 질의의도, 그리고 핵심어를 이용하여 미리 구축된 답변 지식으로부터 가장 적절한 답변을 매칭한다. 이를 위하여 답변지식과의 유기적인 연동이 필수적인데, 답변지식구축 시에 질의의도 및 핵심어를 답변매칭을 위한 조건부에 구조적으로 기술함으로써 보다 정확한 매칭이 이루어질 수 있이다.

문맥관리기는 보다 지능적인 대화를 위하여 중요한 부분으로서, 대화의 주제에 대한 내용을 유지함으로써 답변을 보다 문맥에 맞게 한다.

후처리기는 답변이 사용자에게 제시되기 전에 최종적으로 보다 자연스럽게 답변을 변경하는 역할을 한다.

스크립트는 에이전트가 대화를 수행하는데 필요한 지식의 저장소로서, 예상되는 질의를 매칭하기 위한 조건을 기술해 놓은 매칭조건과 그에 따른 답변의 쌍으로 구성되며 스크립트 해석기에 의해 해석된다.

Claims (1)

1. 질의에 대한 철자 오류, 동의어처리 등 질의를 표준화된 형식으로 변환하며, 화행분류기는 질의에서 사용자의 의도를 추출하는 전처리기,
   사용자 질의, 화행분류기를 통해 분류된 질의의도, 그리고 핵심어를 이용하여 미리 구축된 답변 지식으로부터 가장 적절한 답변을 매칭하는 답변매칭기,
   지능적인 대화를 위하여 중요한 부분으로서, 대화의 주제에 대한 내용을 유지함으로써 답변을 보다 문맥에 맞게 처리하는 문맥관리기,
   답변이 사용자에게 제시되기 전에 최종적으로 보다 자연스럽게 답변을 변경하는 후처리기, 그리고
   에이전트가 대화를 수행하는데 필요한 지식을 저장하는 스크립트
   를 포함하는 빅데이터 및 머신러닝 기반 스마트 관광 채팅로봇 시스템.

Images