KR102572880B1

KR102572880B1 - 빅데이터 기반 음성인식 poi 시스템, 그 시스템을 위한 처리방법, 그 시스템 처리를 위한 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 저장된 매체

Info

Publication number: KR102572880B1
Application number: KR1020200165301A
Authority: KR
Inventors: 장용석; 육창근
Original assignee: (주)다울디엔에스
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2023-08-30
Also published as: KR20220077258A

Abstract

본 발명은 빅데이터 기반 음성인식 POI 시스템 등에 관한 것으로, 더욱 상세하게는 음성인식을 통한 개인화된 POI(Point of Interest) 데이터를 수집하고 활용하되, 이를 효율적으로 관리하기 위한 빅데이터 기반의 시스템 등에 관한 것이다.
네트워크로 상호 연결된 사용자 요청 처리부와 음성인식 처리부와 대화형 음성 처리부 및 빅데이터 처리부를 포함하되, 상기 사용자 요청 처리부는 다수의 사용자 단말기에 설치되거나 서버로부터 다운로드 되어 구동되는 에이전트로서, 사용자 인증을 처리하고, 응용프로그램과 연동되어 음성 또는 텍스트 데이터 수집 또는 요청 받은 사용자 데이터를 음성인식 처리부와 빅데이터 처리부에 전송하고 응답을 사용자에게 전달하는 기능을 하고, 상기 음성인식 처리부는 상기 사용자 요청 처리부로부터 전달 받은 데이터 중 음성데이터를 추출하여 인식하고, 텍스트 데이터로 변환하여 사용자 요청 처리부 또는 빅데이터 처리부로 전송하는 기능을 수행하며, 상기 대화형 음성 처리부는 상기 음성인식 처리부와 연동되어 상기 음성인식 처리부에서 즉시 인식하지 못한 유사 문장 또는 대화형 문장들을 해석하고 인식하여 음성인식 처리부로 응답하는 기능을 하고, 상기 빅데이터 처리부는 사용자 요청 처리부 또는 음성인식 처리부로부터 전달받은 POI 데이터를 실시간 수집하여 처리 후 데이터 저장부에 저장하거나, POI 데이터 검색 요청에 응답하여 데이터를 사용자 요청 처리부로 전송하는 기능을 수행하는 것을 특징으로 한다.

Description

빅데이터 기반 음성인식 POI 시스템, 그 시스템을 위한 처리방법, 그 시스템 처리를 위한 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 저장된 매체{BIG DATA BASED VOICE RECOGNITION POI SYSTEM, METHOD FOR THE SYSTEM PROCESSING, COMPUTER PROGRAM FOR THE SYSTEM, AND MEDIUM WITH THE COMPUTER PROGRAM}

본 발명은 빅데이터 기반 음성인식 POI 시스템, 그 시스템을 위한 처리방법, 그 시스템 처리를 위한 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 저장된 매체에 관한 것으로, 더욱 상세하게는 음성인식을 통한 개인화된 POI(Point of Interest) 데이터를 수집하고 활용하되, 이를 효율적으로 관리하기 위한 빅데이터 기반의 시스템 및 처리방법과 처리를 위한 컴퓨터 프로그램 등에 관한 것이다.

최근 다양한 위치 기반의 정보 서비스가 제공되고 있는데, 특히 사용자별로 각자가 선호하는 개인화 된 관심 지점(POI, Point of Interest)에 관한 데이터를 수집하고 관리하는 서비스에 대한 관심이 매우 높다.

POI(Point of Interest)는 특정인이 관심을 가지는 현실 세계 또는 지도나 도면상의 특정 위치를 의미하는데, 예를 들어 차량 운전자가 쉽게 목표 지점을 찾을 수 있도록 제공하는 도로 주변의 건물, 주요 시설물, 역, 맛집, 관광지 등에 관한 위치 정보이다.

종래 POI 정보 제공을 위한 시스템 등은 텍스트 기반 또는 아이콘 클릭 기반의 유저 인터페이스를 제공하는 것이 주를 이루고 있어 다소 복잡한 단말기 조작을 수반하여야 했고, 특히 운전 중 관심 지점 등록 및 호출을 위한 단말기를 조작하는 경우 여러 불편함과 위험한 상황을 야기한다.

또한, 개인화된 POI 데이터는 사용자마다 수많은 데이터를 수반하게 되므로 네트워크 상의 다수의 단말기와 서버로 부터 수집되는 대량의 빅데이터를 처리하는데 있어서 상당한 부담이 따르고 있어 이를 효율적으로 처리하기 위한 다양한 방법들이 연구되고 있다.

관련 선행기술들로는 등록특허 제10-1544462호(발명의 명칭: 위치기반 정보 제공 시스템에서의 클라이언트 단말 정보를 이용한 개인화 된 POI정보 제공방법 및 그 클라이언트 단말), 등록특허 제10-1134883호(발명의 명칭: 오픈형 POI를 등록하는 시스템 및 방법), 등록특허 제10-2096419호(발명의 명칭: 위치정보와 빅데이터 분석에 기반한 여행 동행 및 상품 제공 시스템 및 방법) 등이 있다.

KR

10-1544462

B1

KR

10-1134883

B1

KR

10-2096419

B1

본 발명은 종래 문제를 해결하기 위하여 음성인식을 통해 안전하고 간편하게 개인화된 POI 데이터 수집하고 이를 효과적으로 관리하고 활용할 수 있는 시스템과 처리방법 및 컴퓨터 프로그램 등에 관한 발명을 제공한다.

본 발명의 빅데이터 기반 음성인식 POI 시스템은 네트워크로 상호 연결된 사용자 요청 처리부(1)와 음성인식 처리부(2)와 대화형 음성 처리부(4) 및 빅데이터 처리부(3)를 포함하되, 상기 사용자 요청 처리부(1)는 다수의 사용자 단말기에 설치되거나 서버로부터 다운로드 되어 구동되는 에이전트로서, 사용자 인증을 처리하고, 응용프로그램과 연동되어 음성 또는 텍스트 데이터 수집 또는 요청 받은 사용자 데이터를 음성인식 처리부(2)와 빅데이터 처리부(3)에 전송하고 응답을 사용자에게 전달하는 기능을 하고, 상기 음성인식 처리부(2)는 상기 사용자 요청 처리부(1)로부터 전달 받은 데이터 중 음성데이터를 추출하여 인식하고, 텍스트 데이터로 변환하여 사용자 요청 처리부(1) 또는 빅데이터 처리부(3)로 전송하는 기능을 수행하며, 상기 대화형 음성 처리부(4)는 상기 음성인식 처리부(2)와 연동되어 상기 음성인식 처리부(2)에서 즉시 인식하지 못한 유사 문장 또는 대화형 문장들을 해석하고 인식하여 음성인식 처리부(2)로 응답하는 기능을 하고, 상기 빅데이터 처리부(3)는 사용자 요청 처리부(1) 또는 음성인식 처리부(2)로부터 전달받은 POI 데이터를 실시간 수집하여 처리 후 데이터 저장부(34)에 저장하거나, POI 데이터 검색 요청에 응답하여 데이터를 사용자 요청 처리부(1)로 전송하는 기능을 수행하는 것을 특징으로 한다.

삭제

또한, 상기 빅데이터 처리부(3)는 데이터를 분산처리 후 저장하기 위하여 데이터 수집부(31)와 버퍼링 처리부(32) 및 데이터 가공부(33)를 포함하고, 상기 데이터 저장부(34)는 분산 데이터 베이스(341)와 관계형 데이터 베이스(342)를 포함하되, 상기 데이터 수집부(31)는 여러 에이전트들에서 생산된 대량의 데이터를 수집하여 상기 버퍼링 처리부(32)로 전송하고, 상기 버퍼링 처리부(32)는 상기 데이터 수집부(31)로부터 전송된 데이터를 버퍼링 하여 데이터 가공부(33)로 전송하며, 상기 데이터 가공부(33)는 상기 버퍼링 처리부(32)로부터 전송되는 데이터를 적절한 포맷으로 가공 후 데이터 유형에 따라 데이터 저장부(34)의 분산 데이터 베이스(341)와 관계형 데이터 베이스(342)에 각각 저장하는 기능을 수행하는 것을 특징으로 한다.

또한, 상기 사용자 요청 처리부(1)에서, (S1101) 사용자 발화를 감지하기 위해 대기하는 단계와, (S1102) 사용자 발화를 감지하는 단계와, (S1103) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계와, (S1104) 수신된 응답에 따라 GPS 주소 변환 및 POI 데이터를 생성하는 단계 및, (S1105) 생성된 POI 데이터를 빅데이터 처리부에 데이터 수집을 요청하는 단계를 수행하는 것을 특징으로 한다.

또한, 사용자 요청 처리부(1)에서, (S1201) 서비스 처리를 위해 대기하는 단계와, (S1202) GPS 기반 자동 반경 검색을 수행하는 단계와, (S1203) 빅데이터 처리부에 등록 정보 검색 요청 및 응답을 수신하는 단계와, (S1204) 응답 리스트를 사용자에게 제공하는 단계와, (S1205) 사용자 발화를 수신하는 단계와, (S1206) 음성인식 처리부에 처리 요청 및 빅데이터 처리부의 응답을 수신하는 단계 및 (S1207) 응용 프로그램과 POI 데이터를 연동하는 단계를 포함하는 것을 특징으로 한다.

또한, 사용자 요청 처리부(1)에서, (S1301) 사용자 발화를 감지하기 위해 대기하는 단계와, (S1302) 사용자 발화를 감지하는 단계와, (S1303) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계와, (S1304) 빅데이터 처리부에 등록 정보 검색 요청 및 응답을 수신하는 단계와, (S1305) 응답 리스트를 사용자에게 제공하는 단계와, (S1306) 사용자 발화를 수신하는 단계와, (S1307) 음성인식 처리부에 처리 요청 및 응답을 수신하는 단계 및 (S1308) 응용 프로그램과 POI 데이터를 연동하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 빅데이터 처리부(3)에서, (S301) 수집 데이터를 지정된 폴더에 파일 형태로 저장하는 단계와, (S302) 지정된 폴더에서 새로운 파일을 탐지하는 단계와, (S303) 새로운 파일로부터 정보를 읽어 버퍼링 처리부로 전달하는 단계와, (S304) 수집된 데이터를 버퍼링 하는 단계와, (S305) 수집된 데이터를 가공하는 단계 및 (S306) 분산 데이터 베이스와 관계형 데이터 베이스에 각각 구분하여 저장하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 매체에 저장된 빅데이터 기반 음성인식 POI 시스템 처리를 위한 컴퓨터 프로그램은 상기 처리 방법을 포함하는 것을 특징으로 한다.

본 발명의 빅데이터 기반 음성인식 POI 시스템 처리를 위한 컴퓨터 프로그램이 저장된 매체는 상기 처리 방법을 포함하는 컴퓨터 프로그램을 저장한다.

본 발명의 빅데이터 기반 음성인식 POI 시스템과 처리방법과, 처리를 위한 컴퓨터 프로그램 및 매체는 사용자가 개인화된 POI를 등록하고 활용하는데 있어서 편리하게 이용할 수 있도록 음성인식 및 대화형 음성인식을 통해 POI 데이터를 수집 등록할 수 있게 하고, 활용에 있어서도 음성을 통해 위치 기반 또는 검색 기반의 POI 데이터를 요청하여 활용할 수 있도록 한다.

또한, 방대하게 수집되는 POI 데이터를 효과적을 처리할 수 있는 빅데이터 처리 시스템을 제공함으로써 네트워크에 참여한 각각의 개인별 POI 데이터를 효율적으로 등록하고 관리하며 활용할 수 있도록 한다.

도1은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 주요 구성요소를 도시한 블록도.
도2는 본 발명의 빅데이터 기반 음성인식 POI 시스템의 빅데이터 처리부의 처리절차를 도시한 순서도.
도3은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부의 POI 데이터 수집 처리절차를 도시한 순서도.
도4는 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 데이터 수집시 위치 기반 POI 등록 절차의 데이터 흐름을 도시한 시퀀스 다이어그램.
도5는 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 데이터 수집시 검색 기반 POI 등록 절차의 데이터 흐름을 도시한 시퀀스 다이어그램.
도6은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부의 위치 기반 POI 활용시 처리절차를 도시한 순서도.
도7은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 활용시 위치 기반 POI 활용 절차의 데이터 흐름을 도시한 시퀀스 다이어그램.
도8은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부의 검색 기반 POI 활용시 처리절차를 도시한 순서도.
도9은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 활용시 메모 검색 기반 POI 활용 절차의 데이터 흐름을 도시한 시퀀스 다이어그램.
도10은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 활용시 주소 검색 기반 POI 활용 절차의 데이터 흐름을 도시한 시퀀스 다이어그램.

본 발명을 실시하기 위한 구체적인 내용을 도면을 참조하여 설명하면 하기와 같다.

도1은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 주요 구성요소를 도시한 도면으로 본 발명의 빅데이터 기반 음성인식 POI 시스템은 네트워크로 상호 연결된 사용자 요청 처리부(1)와 음성인식 처리부(2) 및 빅데이터 처리부(3)를 포함하여 구성된다.

상기 사용자 요청 처리부(1)는 자동으로 구동되는 에이전트(Agent)로서, 네트워크와 연동되어 시스템의 일부로 사용자의 요청과 서버의 응답을 처리하는 기능을 한다. 다수의 사용자가 사용하는 스마트 기기, 차량 AVN 등 단말기에 설치될 수 있고, 서버로부터 다운로드 되어 서비스 앱, 웹 브라우저에서 응용프로그램과 연동되거나 프로그램의 일부로 구현될 수 있으며, Open API 형태로 제공되는 웹서비스로 구현될 수도 있다.

상기 사용자 요청 처리부(1)는 자동 로그인 등 사용자 인증 기능과, 응용프로그램과 연동되어 사용자로부터 수집되거나 요청된 음성 또는 텍스트 데이터를 음성인식 처리부(2)와 빅데이터 처리부(3)에 전송하고, 각각의 서버로 부터 응답 받은 데이터를 사용자 단말의 응용 프로그램과 연동하여 사용자에게 전달하는 기능을 수행한다. 또한, GPS 기반 자동 반경 검색 기능, 메모 기반 검색 기능, 주소기반 검색 기능 등 세부적인 사용자 요구를 수행하기 위한 사용자 인터페이스를 제공한다.

상기 음성인식 처리부(2)는 상기 사용자 요청 처리부(1)로부터 전달 받은 데이터 중 음성데이터를 추출하여 인식하고, 인식된 음성 데이터를 텍스트 데이터로 변환하여 사용자 요청 처리부(1) 또는 빅데이터 처리부(3)으로 전송하는 기능을 수행 한다. 음성인식 처리부의 주요 기능은 STT(Speech To Text) 또는 TTS(Text To Speech) 기능이며 이를 위해 음성 인식 처리를 위한 프로그램을 포함한다. 음성 인식 프로그램으로는 오픈 소스로 제공되는 KALDI와 같은 프로그램을 활용할 수 있을 것이며, 기타 공개된 다양한 프로그램을 활용할 수 있을 것이다.

본 발명의 음성인식 POI 시스템은 상황에 따라 사용자와 좀 더 복잡한 상호작용을 처리하기 위하여 상기 음성 인식 처리부(2)와 연동된 대화형 음성 처리부(4)를 더 포함할 수 있다. 상기 대화형 음성 처리부(4)는 사용자 요청 데이터와 유사한 문장들 예를들어 "주소 등록"에 대해 사용자가 "지점 등록", "장소 등록" 등 다양한 문장으로 입력할 수 있도록 처리하거나 대화형 요청을 인식할 수 있도록 처리한다. 이를 처리하기 위한 프로그램으로 공개된 자연어 처리를 위한 인공지능 라이브러리를 활용할 수 있을 것인바, 오픈 소스로 공개된 DeepPavlov 프로그램을 활용할 수 있을 것이다.

상기 빅데이터 처리부(3)는 사용자 요청 처리부(1) 또는 음성인식 처리부(2)로부터 전달받은 POI 데이터를 실시간 수집하여 처리한 후 데이터 저장부(34)에 저장하거나, POI 데이터 검색 요청에 응답하여 데이터를 사용자 요청 처리부(1)로 전송하는 기능을 수행한다.

빅데이터 처리부(3)는 실시간으로 수집되는 방대한 데이터를 효과적으로 처리하기 위하여 데이터를 분산처리 후 저장하기 위하여 데이터 수집부(31)와 버퍼링 처리부(32) 및 데이터 가공부(33)를 포함할 수 있다. 이때 상기 데이터 저장부(34)는 관심지점에 대해 실시간 수집 데이터를 저장하는 분산 데이터 베이스(341)와 사용자 정보, 차량 부가정보, Open Api 정보 등 기본적인 정보를 저장하는 관계형 데이터 베이스(342)로 이원화하여 효과적으로 관리하도록 한다. 상기 분산 데이터 베이스(341)는 HDFS(Hadoop Distributed File System) 기반의 HBASE를 활용할 수 있고, 관계형 데이터 베이스는 MSSQL, MySQL 등 다양한 도구를 활용할 수 있을 것이다.

상기 데이터 수집부(31)는 여러 에이전트(Agent)들에서 생산된 대량의 데이터를 효과적으로 수집하여 HDFS와 같은 분산 파일 시스템으로 관리하기 위하여 상기 버퍼링 처리부(32)로 전송한다. 수집된 데이터가 파일 형태로 저장되면, 지정된 폴더에서 새로운 파일을 탐지하는 기능, 새로운 파일로 부터 정보를 읽어 수집 데이터 버퍼링처리부로 전달하는 기능을 포함하며, 실시간 데이터 수집을 위해 활용 가능한 도구로는 아파치(Apache) 재단에서 로그 데이터 수집 기술로 제공하는 오픈 소스 플럼(Flume)을 예로 들 수 있다. 대량 데이터 수집에 있어서 플럼(Flume) 을 활용하게 되면 신뢰성, 규모 확장성 및 기능 확장성을 확보할 수 있는 장점이 있다. 또한 장애시에도 수집된 데이터의 유실을 방지할 수있으며, 스케일업/스케일아웃 방식의 모든 확장 방식을 지원하므로 매우 유용하다.

상기 버퍼링 처리부(32)는 상기 데이터 수집부(31)로부터 전송된 데이터를 버퍼링 하여 데이터 가공부(33)로 전송한다. 수집된 데이터의 버퍼링 처리를 위해 아피치 재단에서 제공하는 카프카(Kafka), 주키퍼(zookeeper)를 활용할 수 있을 것이다.

상기 데이터 가공부(33)는 상기 버퍼링 처리부(32)로부터 전송되는 데이터를 적절한 포맷으로 가공 후 데이터 유형에 따라 분산 데이터 베이스(341)와 관계형 데이터 베이스(342)에 각각 저장하는 기능을 수행한다. 이를 위해 아파치 재단의 Storm을 활용할 수있을 것이다. 아파치 스톰(Apache Storm)은 카프라(Kafka)등으로부터 수신 받은 데이터들을 분산 처리하고, 최종 목적지 저장소에 적재하는 역할을 하는 실시간 분산 처리기이다.

도2는 빅데이터 처리부(3)가 실시간 수집되는 대량의 POI 데이터를 효과적으로 처리하기 위한 처리절차를 설명하기 위한 도면이다. 도시된 바와 같이 본 발명의 빅데이터 기반 음성인식 POI 시스템의 빅데이터 처리부(3) 내에서 빅데이터를 처리하는 방법은 (S301)수집 데이터를 지정된 폴더에 파일 형태로 저장하는 단계와, (S302)지정된 폴더에서 새로운 파일을 탐지하는 단계와, (S303)새로운 파일로부터 정보를 읽어 버퍼링 처리부로 전달하는 단계와, (S304)수집된 데이터를 버퍼링 하는 단계와, (S305)수집된 데이터를 가공하는 단계 및, (S306)분산 데이터 베이스와 관계형 데이터에 각각 구분하여 저장하는 단계를 포함한다. 상기 (S301) 내지 (S303) 단계는 데이터 수집부(31)에 의해 처리되고, 상기 (S304) 단계는 버퍼링 처리부(32)에 의해 처리되며, 상기 (S304) 내지 (S306) 단계는 데이터 가공부(33) 및 데이터 저장부(34)에서 처리된다.

도3은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부(1)의 POI 데이터 수집 처리절차를 도시한 도면이고, 도4는 POI 데이터 수집시 위치 기반 POI 등록 절차의 데이터 흐름을 도시한 시퀀스 다이어그램이며, 도5는 POI 데이터 수집시 검색 기반 POI 등록 절차의 데이터 흐름을 도시한 시퀀스 다이어그램이다.

개인화된 POI 데이터 수집을 위해서는 사용자 요청 처리부(1)에서 사용자 데이터를 처리하는 절차가 중요하다. 이를 위해서는 도3에 도시된 바와 같이 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부(1)에서, (S1101) 사용자 발화를 감지하기 위해 대기하는 단계와, (S1102) 사용자 발화를 감지하는 단계와, (S1103) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계와, (S1104) 수신된 응답에 따라 GPS 주소 변환 및 POI 데이터를 생성하는 단계 및 (S1105) 생성된 POI 데이터를 빅데이터 처리부에 데이터 수집을 요청하는 단계를 수행하는 절차를 포함한다.

본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 수집방법은 등록할 곳(맛집, 관광지 등)을 직접 방문한 후 이를 등록하는 위치 기반 POI 등록 방식(도4)과 브라우저를 실행 후 맛집 이나 주소를 검색한 후 이를 등록하는 검색 기반 POI 등록방식(도5)이 있다.

위치 기반 POI 등록의 예는 도4에 도시된 바와 같다. 사용자가 대기중인 사용자 요청 처리부(에이전트)를 음성 호출하면, 사용자 요청 처리부는 사용자 발화를 감지한다. 이때 음성인식 처리부(2) Wakeup/Ready 상태로 전환하게 할 수 있다. 사용자가 현재 위치를 등록하기 위하여 "여기 등록"이라고 발화하면, 음성인식 처리부(2)는 인식을 완료하고, 완료 여부를 사용자 요청 처리부(1)에 응답한다. 사용자 요청 처리부(1)는 사용자에게 "등록 메모를 말해 주세요"라고 메모를 요청하면 사용자는 "용계동 흑돈" 등의 사용자 지정 메모를 발화하고 사용자 요청 처리부(1)는 음성 데이터를 음성인식 처리부(2)에서 텍스트로 전환해 줄 것을 요청한다. 사용자 요청 처리부(1)는 텍스트로 전환된 데이터를 이용하여 GPS 주소로 변환 후 메모와 함께 개인화된 POI를 생성한다. GPS, 주소, 메모, 발화문구 등 개인화된 POI 데이터는 빅데이터 처리 시스템으로 전송되어 등록된다.

검색 기반 POI 등록의 예는 도5에 도시된 바와 같으며, 사용자가 검색한 후 등록할 주소를 메모와 함께 등록한다는 것 이외에 상기와 같은 절차를 수행한다.

음성 처리 과정에서 유사한 문장이나 대화형 문장 등 상황에 따라 복잡한 상호작용을 처리하기 위하여 음성 인식 처리부(1)와 연동된 대화형 음성 처리부(4)가 처리를 돕는다.

도6은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부의 위치 기반 POI 활용시 처리절차를 도시한 순서도이며, 도7은 위치 기반 POI 활용 절차의 데이터 흐름을 도시한 시퀀스 다이어그램이다.

본 발명의 빅데이터 기반 음성인식 POI 시스템의 위치 기반 POI 활용을 위해서 상기 사용자 요청 처리부(1) 내에서는 (S1201) 서비스 처리를 위해 대기하는 단계와, (S1202) GPS 기반 자동 반경 검색을 수행하는 단계와, (S1203) 빅데이터 처리부에 등록 정보 검색 요청 및 빅데이터 처리부의 응답을 수신하는 단계와, (S1204) 응답 리스트를 사용자에게 제공하는 단계와, (S1205) 사용자 발화를 수신하는 단계와, (S1206) 음성인식 처리부에 처리 요청 및 응답을 수신하는 단계 및, (S1207) 응용 프로그램과 POI 데이터(POI-GPS 데이터)를 연동하는 단계를 포함한다.

도7과 같이 위치 기반 POI 활용예를 살펴보면, 사용자가 이미 POI 데이터로 등록된 곳 주변을 방문하면, 사용자 요청 처리부(1)는 사용자의 요청을 대기하는 상태에서 지속적으로 GPS 기반 자동 반경 검색을 수행하면서 빅데이터 처리부(3)에 메모와 함께 수집된 POI의 등록정보 검색을 요청한다. 사용자 요청 처리부(1)는 "주변에 등록된 피오아이가 OO개 존재합니다"라고 빅데이터 처리부로 부터 응답받은 데이터를 사용자에게 제공한다. 사용자는 "리스트를 말해줘"라고 발화하게 되면, 사용자 요청 처리부(1)는 발화를 감지하고 음성인식 처리부(2)에 음성 인식을 요청한다. 음성 인식 처리부에 의해 인식이 완료되면 인식된 데이터는 텍스트로 변환되어 빅데이터 처리부(2)로 전달되고, 빅데이터 처리부(2)는 요청에 대한 응답을 사용자 요청 처리부(1)에 전송한다. "첫 번째 메모로 찾아가자" 등과 같은 부가적인 요청에 대해 음성인식 처리부(2) 처리와 빅데이터 처리부(3)의 응답을 수신한 후 사용자 요청 처리부(1)는 네비게이션 프로그램(지도 등)과 POI-GPS 데이터를 연동 하여 사용자에게 서비스가 되도록 한다.

도8은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부의 검색 기반 POI 활용시 처리절차를 도시한 순서도이다. 도시된바와 같이 본 발명의 빅데이터 기반 음성인식 POI 시스템에서 사용자 요청 처리부(1) 내에서 (S1301) 사용자 발화를 감지하기 위해 대기하는 단계와, (S1302) 사용자 발화를 감지하는 단계와, (S1303) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계와, (S1304) 빅데이터 처리부에 등록 정보 검색 요청 및 응답을 수신하는 단계와, (S1305) 응답 리스트를 사용자에게 제공하는 단계와, (S1306) 사용자 발화를 수신하는 단계와, (S1307) 음성인식 처리부에 처리 요청 및 응답을 수신하는 단계 및 (S1308) 응용 프로그램과 POI 데이터(POI-GPS 데이터)를 연동하는 단계를 포함한다.

도9 및 10은 본 발명의 빅데이터 기반 음성인식 POI 시스템의 POI 활용시 검색 기반 POI 활용 절차의 데이터 흐름을 도시한 시퀀스 다이어그램으로 도9는 메모 기반 검색을 통한 POI 활용 절차의 예이고, 도10은 주소 기반 검색을 통한 POI 활용 절차의 예이다.

도시된 바와 같이 사용자 요청 처리부(1)와 음성인식 처리부(2)(및 대화형 음성 처리부(3))의 Wakeup/Ready 상태를 위해 사용자는 "다울 피오아이!"라고 발화한다. 사용자가 사용자 요청 처리부(1)에 "찾아보자"라고 발화하면 음성인식 처리부(2)에서 직접 인식을 완료하거나, 대화형 음성 처리부(4)를 거쳐 인식을 완료하고 응답한다. 사용자 요청 처리부(1)는 "메모 혹은 찾고자 하시는 인근 주소를 말해 주세요"라고 발화하면, 사용자는 "메모! 돼지고기"라고 메모를 말하거나, "주소! 대구 용계동"이라고 주소를 말하면, 사용자 요청 처리부는 이를 음성인식 처리부(2)에 전달하고, 음성인식 처리부(2)는 전달 받은 음성 데이터를 텍스트로 전환하여 응답한다. 사용자 요청 처리부(1)는 텍스트로 변환된 메모 데이터 또는 주소 데이터를 기반으로 빅데이터 처리부(3)에 검색을 요청하고 응답 받은 후 "돼지고기로 등록된 피오아이가 OO개 있습니다" 또는 "대구 용계동 인근 등록된 피오아이가 OO개 있습니다"라고 사용자에게 전달한다. 이후 사용자가 "리스트를 말해줘~"라고 발화하게 되면 이후 상기 위치 기반 POI 활용 방법 절차와 마찬가지로 이후의 절차를 수행하게 된다.

상기 내용은 본 발명의 바람직한 실시예에 관한 것으로 상기 내용을 기초로 본 발명의 기술사상의 범위내에서 다양한 형태로 응용되고 변형되어 실시될 수 있을 것이다. 따라서, 본 발명의 권리범위는 상기 내용에 의하여 제한되어 해석되어서는 아니될 것이다.

1: 사용자 요청 처리부
2: 음성인식 처리부
3: 빅데이터 처리부
31: 데이터 수집부
32: 버퍼링 처리부
33: 데이터 가공부
34: 데이터 저장부
341: 분산 데이터 베이스
342: 관계형 데이터 베이스
4: 대화형 음성 처리부

Claims

네트워크로 상호 연결된 사용자 요청 처리부와 음성인식 처리부와 대화형 음성 처리부 및 빅데이터 처리부를 포함하되,
상기 사용자 요청 처리부는 다수의 사용자 단말기에 설치되거나 서버로부터 다운로드 되어 구동되는 에이전트로서, 사용자 인증을 처리하고, 응용프로그램과 연동되어 음성 또는 텍스트 데이터 수집 또는 요청 받은 사용자 데이터를 음성인식 처리부와 빅데이터 처리부에 전송하고 응답을 사용자에게 전달하는 기능을 하고,
상기 음성인식 처리부는 상기 사용자 요청 처리부로부터 전달 받은 데이터 중 음성데이터를 추출하여 인식하고, 텍스트 데이터로 변환하여 사용자 요청 처리부 또는 빅데이터 처리부로 전송하는 기능을 수행하며,
상기 대화형 음성 처리부는 상기 음성인식 처리부와 연동되어 상기 음성인식 처리부에서 즉시 인식하지 못한 유사 문장 또는 대화형 문장들을 해석하고 인식하여 음성인식 처리부로 응답하는 기능을 하고,
상기 빅데이터 처리부는 사용자 요청 처리부 또는 음성인식 처리부로부터 전달받은 POI 데이터를 실시간 수집하여 처리 후 데이터 저장부에 저장하거나, POI 데이터 검색 요청에 응답하여 데이터를 사용자 요청 처리부로 전송하는 기능을 수행하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템.
삭제
제1항에 있어서, 상기 빅데이터 처리부는 데이터를 분산처리 후 저장하기 위하여 데이터 수집부와 버퍼링 처리부 및 데이터 가공부를 포함하고, 상기 데이터 저장부는 분산 데이터 베이스와 관계형 데이터 베이스를 포함하되,
상기 데이터 수집부는 여러 에이전트들에서 생산된 대량의 데이터를 수집하여 상기 버퍼링 처리부로 전송하고,
상기 버퍼링 처리부는 상기 데이터 수집부로부터 전송된 데이터를 버퍼링 하여 데이터 가공부로 전송하며,
상기 데이터 가공부는 상기 버퍼링 처리부로부터 전송되는 데이터를 적절한 포맷으로 가공 후 데이터 유형에 따라 데이터 저장부의 분산 데이터 베이스와 관계형 데이터 베이스에 각각 저장하는 기능을 수행하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템.
제1항의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부(1)에서,
(S1101) 사용자 발화를 감지하기 위해 대기하는 단계;
(S1102) 사용자 발화를 감지하는 단계;
(S1103) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계;
(S1104) 수신된 응답에 따라 GPS 주소 변환 및 POI 데이터를 생성하는 단계; 및
(S1105) 생성된 POI 데이터를 빅데이터 처리부에 데이터 수집을 요청하는 단계를 수행하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템 처리 방법.
제1항의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부(1)에서,
(S1201) 서비스 처리를 위해 대기하는 단계;
(S1202) GPS 기반 자동 반경 검색을 수행하는 단계;
(S1203) 빅데이터 처리부에 등록 정보 검색 요청 및 응답을 수신하는 단계;
(S1204) 응답 리스트를 사용자에게 제공하는 단계;
(S1205) 사용자 발화를 수신하는 단계;
(S1206) 음성인식 처리부에 처리 요청 및 빅데이터 처리부의 응답을 수신하는 단계; 및
(S1207) 응용 프로그램과 POI 데이터를 연동하는 단계를 포함하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템 처리 방법.
제1항의 빅데이터 기반 음성인식 POI 시스템의 사용자 요청 처리부(1)에서,
(S1301) 사용자 발화를 감지하기 위해 대기하는 단계;
(S1302) 사용자 발화를 감지하는 단계;
(S1303) 감지된 사용자 발화를 음성인식 처리부에 처리를 요청하고 응답을 수신하는 단계;
(S1304) 빅데이터 처리부에 등록 정보 검색 요청 및 응답을 수신하는 단계;
(S1305) 응답 리스트를 사용자에게 제공하는 단계;
(S1306) 사용자 발화를 수신하는 단계;
(S1307) 음성인식 처리부에 처리 요청 및 응답을 수신하는 단계; 및
(S1308) 응용 프로그램과 POI 데이터를 연동하는 단계를 포함하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템 처리 방법.
제1항의 빅데이터 기반 음성인식 POI 시스템의 빅데이터 처리부(3)에서,
(S301) 수집 데이터를 지정된 폴더에 파일 형태로 저장하는 단계;
(S302) 지정된 폴더에서 새로운 파일을 탐지하는 단계;
(S303) 새로운 파일로부터 정보를 읽어 버퍼링 처리부로 전달하는 단계;
(S304) 수집된 데이터를 버퍼링 하는 단계;
(S305) 수집된 데이터를 가공하는 단계; 및
(S306) 분산 데이터 베이스와 관계형 데이터 베이스에 각각 구분하여 저장하는 단계를 포함하는 것을 특징으로 하는 빅데이터 기반 음성인식 POI 시스템 처리 방법.
제4항 내지 제7항 중 어느 한 항의 처리 방법을 포함하는 것을 특징으로 하는 매체에 저장된 빅데이터 기반 음성인식 POI 시스템 처리를 위한 컴퓨터 프로그램.
제4항 내지 제7항 중 어느 한 항의 처리 방법을 포함하는 빅데이터 기반 음성인식 POI 시스템 처리를 위한 컴퓨터 프로그램을 저장한 매체.