KR101568654B1 - Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템 - Google Patents

Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템 Download PDF

Info

Publication number
KR101568654B1
KR101568654B1 KR1020140000792A KR20140000792A KR101568654B1 KR 101568654 B1 KR101568654 B1 KR 101568654B1 KR 1020140000792 A KR1020140000792 A KR 1020140000792A KR 20140000792 A KR20140000792 A KR 20140000792A KR 101568654 B1 KR101568654 B1 KR 101568654B1
Authority
KR
South Korea
Prior art keywords
data
big data
web server
cluster
user
Prior art date
Application number
KR1020140000792A
Other languages
English (en)
Other versions
KR20150081126A (ko
Inventor
주정민
이현태
윤태수
Original Assignee
주식회사 테크인모션
목원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테크인모션, 목원대학교 산학협력단 filed Critical 주식회사 테크인모션
Priority to KR1020140000792A priority Critical patent/KR101568654B1/ko
Publication of KR20150081126A publication Critical patent/KR20150081126A/ko
Application granted granted Critical
Publication of KR101568654B1 publication Critical patent/KR101568654B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/116Details of conversion of file system types or formats

Abstract

본 발명은 센서는 감지된 신호를 JSON(javascript object notation) 코드의 데이터로 변환하여 웹서버에 전송하는 단계 및 API 드라이버는 상기 웹서버로 전송된 JSON(application programming interface) 코드로 변환된 데이터를 파서 라이브러리를 사용하여 파싱(parsing)하고 맵리듀스(mapreduce)하여 빅데이터 클러스터에 저장하는 단계를 포함하는 것을 특징으로 하는 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법에 관한 것이다.

Description

API 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템{Big data service system based on web server and big data cluster using API driver}
본 발명은 빅데이터 서비스 시스템에 관한 것으로서, 더욱 상세하게는 센서로부터 전송된 JSON(javascript object notation) 코드의 데이터를 웹서버에 전송하고, 웹서버로부터 JSON 코드의 데이터를 파싱(parsing)하고 맵리듀스(mapreduce)하여 빅데이터 클러스터에 축적하고, 사용자가 웹페이지에 로그인하여 빅데이터를 요청하면, 빅데이터를 분석하여 웹페이지에 출력해주는 API(application programming interface) 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 분석 시스템에 관한 것이다.
웹에서 검색이란 규격이 일정하지 않은 여러 종류의 데이터가 대규모로 쌓여 있는 데이터 더미에서 원하는 내용을 효과적으로 빠른 시간 안에 찾는 것이 필수적이다. 웹 검색엔진 개발자들은 이러한 문제를 해결하기 위해 다양한 시도를 하고 있다. 디지털 경제의 확산으로 우리 주변에는 규모를 가늠할 수 없을 정도로 많은 정보와 데이터가 생산되는 빅데이터(big data) 환경이 도래하고 있다.
빅데이터란 현존하는 데이터베이스관리시스템(database management system)으로는 수집, 저장, 관리 및 분석할 수준을 넘어선 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 빅데이터 처리와 관련하여 크기, 속도 및 다양성 측면에서 이슈화되고 있다. 여기서, 크기(volume)는 수집, 저장, 분석할 데이터의 크기를 의미하고, 속도(velocity)는 데이터의 저장 및 처리에 소요되는 속도를 의미하며, 다양성(variety)은 데이터의 형태를 의미하며, 정형화된 데이터뿐 만 아니라 이미지, 음성, 트위터와 같은 비정형 데이터를 포함하는 의미로 사용된다.
그러나 종래의 빅데이터 관련 플랫폼에서는 웹서버와 빅데이터 클러스터간의 통신 방법이 부재하여 빅데이터를 사용자가 쉽게 활용하기 어려운 문제점이 있다.
특허문헌 1은 클라우드 서비스를 이용한 운전자를 위한 빅 데이터 서비스 시스템에 관한 발명이나, 웹서버와 빅데이터 클러스터간의 데이터 통신 방법에 관한 해결점을 제시하지는 못하고 있다.
1. 한국등록특허 제10-1306891호(2013년 09월 04일 등록)
상기와 같은 문제점을 해결하고자 본 발명은 간단히 웹페이지에 로그인만 하면, 별다른 프로그램의 변경 없이 모든 상황에 적용할 수 있는 API 드라이버를 이용하여 웹서버와 빅데이터 클러스터간의 데이터를 통신하여 사용자가 요청한 빅데이터를 웹플랫폼에 보여주는 빅데이터 분석 시스템을 제공하고자 한다.
상기의 해결하려는 과제를 위한 본 발명에 의한 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법은, 센서에서 감지된 신호를 JSON(javascript object notation) 코드의 데이터로 변환하여 웹서버에 전송하는 단계 및 API(application programming interface) 드라이버에서 상기 웹서버로 전송된 JSON 코드로 변환된 데이터를 파서 라이브러리를 사용하여 파싱(parsing)하고 맵리듀스(mapreduce)하여 빅데이터 클러스터에 저장하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 한다.
다른 실시예로서 본 발명에 의한 API 드라이버를 이용한 빅데이터 서비스 시스템은, 감지된 신호를 JSON 코드의 데이터로 변환하여 웹서버로 전송하는 센서, 사용자의 로그인을 통해 빅데이터 분석 요청 신호를 전송받는 웹서버, 상기 웹서버로 전송된 데이터를 파서 라이브러리를 사용하여 소정 단위로 파싱하고 파싱된 단위 데이터를 맵리듀스하여 소정 순서로 배열하여 빅데이터 클러스터에 저장하는 API 드라이버 및 상기 API 드라이버의 출력 데이터를 다수의 저장소에 분산 저장하는 빅데이터 클러스터를 포함하는 것을 특징으로 한다.
다른 실시예로서 본 발명에 의한 빅데이터를 활용한 개인 맞춤형 건강관리 서비스 시스템은, 심박수, 체온, 체질량 지수 및 혈당 중 적어도 하나를 감지하여 JSON 코드의 데이터로 변환한 후 웹서버로 전송하는 생체 센서, 상기 생체 센서로부터 전송받은 JSON 코드의 데이터를 상기 웹서버로부터 전송받아 파싱하고 맵리듀스하여 빅데이터 클러스터로 전송하는 API 드라이버 및 상기 API 드라이버의 출력 데이터를 다수개의 저장소에 분산하여 저장하는 빅데이터 클러스터를 포함하는 것을 특징으로 한다.
다른 실시예로서 본 발명에 의한 빅데이터를 활용한 교통정보 제공 시스템은 GPS 센서가 내장되어 차량의 이동경로 또는 위치정보를 웹서버로 전송하는 네비게이션, 상기 네비게이션에서 전송된 정보를 상기 웹서버로부터 가져와서 파싱하고 맵리듀스하는 API 드라이버 및 상기 API 드라이버로부터 전송된 맵리듀스된 데이터를 분산 저장하는 빅데이터 클러스터를 포함하는 것을 특징으로 한다.
본 발명은 특정 어플리케이션이 아닌 웹서버와 빅데이터 클러스터간의 데이터 입출력 처리에 관련된 대부분의 빅데이터 분석 시스템에 광범위하게 적용할 수 있다.
본 발명은 사용자들의 모든 환경에 적합한 빅데이터를 수집, 저장, 관리 및 분석할 수 있는 빅데이터 서비스 시스템을 구축할 수 있다.
본 발명은 사용자가 블로그나 페이스북과 같은 웹페이지를 통해 로그인하여 빅데이터 클러스터에 저장된 빅데이터를 활용할 수 있으므로 빅데이터 서비스 시스템을 구축비용을 절감할 수 있고, 일반인이 쉽고 간단하게 빅데이터 서비스 시스템을 활용할 수 있다.
본 발명은 센서로부터 전송되는 사용자 개개인의 정보를 빅데이터로 활용함으로써 사용자별로 최적화되고 개인 맞춤화된 빅데이터 분석 서비스를 제공할 수 있다.
도 1은 본 발명에 따른 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 입력 방법의 개략적인 흐름도.
도 2는 본 발명에 따른 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 출력 방법의 개략적인 흐름도.
도 3은 본 발명에 따른 빅데이터 서비스 시스템의 개략적인 구성도.
도 4는 도 3에 도시된 API 드라이버의 상세 구성도.
이하 본 발명의 실시를 위한 구체적인 실시예를 도면을 참고하여 설명한다. 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것은 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.
본 발명은 센서(1)에서 전송된 JSON 코드의 사용자 관련 정보들의 집합체인 데이터를 웹서버(2)에 전송하면, API 드라이버(3)는 빅데이터들을 단위 데이터로 파싱하고, 이를 맵리듀스에 용이하도록 순서를 배열하여 빅데이터 클러스터(4)에 분산 저장하고, 사용자가 웹페이지를 통해 요청한 빅데이터 정보를 제공하기 위해 빅데이터 클러스터(4)로부터 관련 빅데이터를 불러들여 분석한 후 사용자가 요청한 포맷으로 웹 플랫폼으로 전송함으로써, 종래의 데이터베이스관리시스템(database management system: DBMS)의 규모를 넘은 방대한 빅데이터를 정확하고 오류가 발생하지 않도록 저장, 관리 및 분석할 수 있는 발명이다.
또한, 기존의 빅데이터 시스템과는 달리 블로그나 페이스북과 같은 웹페이지를 통해 사용자 인증을 거쳐 로그인하면, 간단히 사용자가 요청한 정보를 빅데이터를 활용하여 추출할 수 있으므로 사용자 편의성이 크게 높아지며 서비스 제공자는 이윤 창출 효과를 크게 얻을 수 있다.
이하 도 1 내지 도 4를 참조하여 본 발명에 의한 API 드라이버(3)를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법 및 이를 활용한 빅데이터 서비스 시스템을 설명하면 다음과 같다.
도 1은 본 발명에 따른 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 입력 방법의 개략적인 흐름도이다.
센서(1)는 감지한 신호를 주기적으로 웹서버(2)의 웹페이지 URL(uniform resource locator)에 전송한다. 센서(1)가 수집한 정보는 빅데이터 분석 시스템의 활용예에 따라 달라질 수 있으며, 예를 들면, 위치 정보, 온도, 습도, 생체 신호 등이 될 수 있다. 센서(1)는 이러한 가공되지 않은 로 데이터(raw data)를 결합하여 JSON 형식의 데이터로 변환하여 웹서버(2)로 전송한다.
이 후, 웹서버(2)에는 상기 센서(1)의 정보를 전송받아 저장할 수 있는 웹페이지 URL이 생성된다. 웹서버(2)는 아파치(apache)를 활용할 수 있다. 웹서버(2)는 상기 센서(1)의 출력을 HTTP 프로토콜 기반의 PUT request 방식으로 전송받는다.
이 후, API 드라이버(3)는 HDFS 파싱(hadoop distributed file system parsing) 라이브러리를 사용하여 JSON 형식의 데이터를 단위 데이터로 파싱(parsing)하고, 파싱된 단위 데이터들을 맵리듀스(mapreduce) 과정에 최적화되도록 소정의 순서대로 배열하고, 맵리듀스 과정을 거쳐 빅데이터 클러스터(4)에 분산 저장한다.
맵리듀스 과정은 맵(map) 동작과 리듀스(reduce) 동작을 포함한다. 맵 동작은 대규모 데이터를 여러 대의 컴퓨터에 분산하여 병렬적으로 처리한다. 파싱된 각 단위 데이터마다 맵동작이 수행된다. 파싱된 단위 데이터는 레코드 단위로 읽어 처리하고, 그 결과를 key와 value 쌍으로 만들어 저장한다. 저장할 때는 같은 key끼리 정렬해서 저장하며, 같은 key끼리 모은 데이터는 다시 같은 리듀스 동작에서 처리할 데이터끼리 모아서 정렬한다. 리듀스 동작은 이렇게 생성된 맵동작의 출력들을 결합한다. 리듀스 동작은 각 파싱 데이터들로부터 가져온 데이터를 key별로 병합하고 정렬한다. 정렬이 끝난 데이터는 key, value, list 쌍으로 묶어서 빅데이터 클러스터(4)에 저장한다. 여기서, key는 출발지 포트번호, 도착지 포트번호, 출발지 IP 주소, 도착지 IP주소를 하나의 바이트배열로 구성한 값이 될 수 있다. value는 패킷의 수가 될 수 있다.
도 2는 본 발명에 따른 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 출력 방법의 개략적인 흐름도이다. 이는 사용자가 웹페이지에 접속하여 센서(1)로부터 얻은 로 데이터를 활용한 빅데이터 분석 정보를 요청할 때의 프로세싱 흐름도이다.
사용자는 블로그나 트위터, 페이스북과 같은 웹서버(2)의 인증 API를 거친 후 로그인하여 해당 URL의 웹페이지에 접속한다. 사용자 인증은 소비자(consumer)와 서비스 제공자(service provider) 사이에서 일어나는데 그 인증 과정은 일반적인 인증 과정이 될 수 있으나 설명하면 다음과 같다. 소비자가 서비스 제공자에게 요청토큰(request token)을 요청한다. 서비스 제공자가 소비자에게 요청토큰을 발급해준다. 소비자가 사용자를 서비스 제공자로 이동시킨다. 여기서 사용자 인증이 수행된다. 서비스 제공자가 사용자를 소비자로 이동시킨다. 소비자가 접근토큰(access token)을 요청한다. 서비스 제공자가 접근토큰을 발급한다. 발급된 접근토큰을 이용하여 소비자에서 사용자 정보에 접근한다.
사용자가 웹페이지에서 사용자가 원하는 분석 데이터를 요청하면, API 드라이버(3)는 빅데이터 클러스터(4)에 빅데이터를 요청하고 제공받은 빅데이터로부터 맵리듀스 동작을 실행하고, 사용자가 요구하는 포맷에 적합하게 데이터를 변환하여 웹페이지에 출력한다. 이때, 출력 형식은 JSON 형식 또는 그래프 포맷일 수 있다.
하나의 예로서, 센서(1)에서 수집한 데이터 정보가 온도일 경우, 특정 구간에서 측정한 데이터는 20, 21, 22이라고 하면, 20, 21, 22의 데이터는 가공되지 않은 로 데이터(raw data)에 해당된다. 데이터를 수치화하는 것은 이러한 로우 데이터에서 사용자가 원하는 수치로 가공하여 제공한다. 예를 들면, 평균값 21, 최대값 22, 최소값 20과 같이 데이터를 가공하고, 사용자가 평균값을 요청하면 평균값을 JSON 형식으로 변환하여 웹 플랫폼에 보여준다.
본 발명은 서비스 제공자가 소비자의 기호를 분석하는데 활용할 수 있을 뿐만 아니라 소비자인 사용자 자신과 관련된 데이터를 빅데이터 클러스터(4)에 분산 저장하고, 빅데이터 클러스터(4)에 저장된 데이터를 사용자 맞춤형으로 분석하여 사용자가 원하는 정보를 제공하는 개인 맞춤형 빅데이터 서비스 시스템으로도 활용할 수 있다. 각 개인이 활용하기에 용이하도록 웹페이지를 통해 접속하여 간단히 활용할 수 있을 뿐 아니라, 각 상황별에 별도의 프로그램의 변경 없이 사용할 수 있는 API 드라이버(3)를 통해 빅데이터 서비스 시스템을 제공할 수 있다.
도 3은 본 발명에 의한 빅데이터 서비스 시스템의 개략적인 구성도로서, 센서(1), 웹서버(2), API 드라이버(3) 및 빅데이터 클러스터(4)를 포함한다.
센서(1)는 온도, 습도, 위치정보 등을 감지하여 가공되지 않은 로 데이터(raw data)를 JSON(javascript object notation) 형식으로 변환하여 웹서버(2)로 전송한다.
상기 웹서버(2)는 상기 센서(1)의 출력을 전송받을 뿐 아니라 인터넷상에 존재하는 관련 데이터들을 API 드라이버(3)에 제공할 수 있다.
API 드라이버(3)는 상기 웹서버(2)로 전송된 데이터를 파서 라이브러리를 사용하여 소정 단위로 파싱하고 파싱된 단위 데이터를 맵리듀스하여 소정 순서로 배열하여 빅데이터 클러스터(4)에 분산 저장한다.
빅데이터 클러스터(4)는 복수의 저장소를 포함하여, 데이터의 복제본이 존재하고, 데이터의 병렬 처리가 이루어지도록 한다. 빅데이터 클러스터(4)는 하나의 스토리지에 담기 어려운 수준의 대규모 데이터를 높은 가용성을 유지하기 위해 API 드라이버(3)를 통해 웹서버(2)와 빅데이터 클러스터(4)간 데이터 통신을 수행한다. 빅데이터 클러스터(4)는 하둡과 같은 빅데이터를 다루는 자바 기반의 오픈 소스 프레임워크를 사용할 수 있다.
도 4는 도 3에 도시된 본 발명에 따른 API 드라이버(3)의 상세 구성도로서, 상기 API 드라이버(3)는 JSON 파서(5), JSON 빌더(6), 사용자 인증모듈(7), 맵리듀스모듈(8), 분석모듈(9) 및 서치모듈(10)을 포함한다.
JSON 파서(5)는 로우 데이터를 맵리듀스모듈(8)에서 정확하고 빠르게 동작할 수 있도록 단위 데이터로 파싱한다. 이 때, 파싱 라이브러리를 사용하여 파싱할 수 있다. JSON 빌더(6)는 맵리듀스가 실행된 데이터를 결합하여 사용자가 요청한 포맷으로 변환한다. 맵리듀스모듈(8)은 맵(map) 동작과 리듀스(reduce) 동작을 실행한다. 맵동작과 리듀스 동작은 앞서 설명한 바와 같다.
서치모듈(10)은 상기 사용자 요청정보를 주제별로 분류하여 복수의 분석모듈(9) 중 가장 유사한 분석 방법을 제공하는 분석모듈(9)을 선택한다. 복수의 분석모듈(9)은 상기 서치모듈(10)에 따라 선택적으로 동작하고, 각 분석모듈(9)은 서로 다른 분석 방법을 제공한다. 따라서 다양한 상황마다 API 드라이버(3)의 기능을 변경하지 않고, 관련 주제에 가장 유사한 분석 방법에 해당하는 분석모듈(9)을 선택하여 사용자가 원하는 분석을 제공해줌으로써 모든 상황에 적용될 수 있는 API 드라이버(3)를 이용한 빅데이터 서비스 시스템을 제공할 수 있다. 이로 인해 빅데이터의 수집, 저장, 관리 및 분석의 편의성이 크게 향상될 수 있다.
본 발명의 다른 실시예는 빅데이터를 활용한 교통정보 제공 시스템으로서, 각 사용자가 보유한 네비게이션에는 GPS 센서(1)가 내장되고, GPS 센서(1)로부터 얻은 차량의 위치정보 또는 이동경로는 웹서버(2)로 전송되면, API 드라이버(3)는 웹서버(2)로부터 각 차량의 위치정보를 읽어들이고, 이를 단위 데이터를 파싱하고, 맵리듀스하여 빅데이터 클러스터(4)에 분산 저장한다. 또한, 사용자가 요구하는 정보를 빅데이터 클러스터(4)로부터 얻은 빅데이터를 분석하여 사용자에게 제공해줌으로써 방대한 데이터를 가용성있게 처리할 수 있으면서도, 각 사용자로부터 얻은 데이터를 활용하기 때문에 각 사용자별로 맞춤화된 분석 정보를 제공해줄 수 있게 된다.
또 다른 응용예는 개인 맞춤형 건강관리 시스템이며, 사용자들의 생체 센서(1)로부터 얻은 심박수, 체온, 체질량 지수, 혈당과 같은 데이터를 해당 웹사이트에서 전송받아 빅데이터를 축적하고 이를 각 사용자에게 적합하도록 데이터를 가공하여 제공해줌으로써 과학적이고 체계적인 빅데이터를 활용한 개인 맞춤형 건강관리 서비스 시스템을 제공할 수 있다.
이상에서는 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1 : 센서 2 : 웹서버
3 : API 드라이버 4 : 빅데이터 클러스터
5 : JSON 파서 6 : JSON 빌더
7 : 사용자 인증모듈 8 : 맵리듀스모듈
9 : 분석모듈 10 : 서치모듈
11 : 사용자 인증서버

Claims (16)

  1. 센서는 감지된 신호를 주기적으로 웹서버의 웹페이지 URL에 JSON(javascript object notation) 코드의 데이터로 변환하여 웹서버에 PUT request 방식으로 전송하는 단계;
    API(application programming interface) 드라이버는 상기 웹서버로 전송된 JSON 코드로 변환된 데이터를 파서 라이브러리를 사용하여 파싱(parsing)하고 맵리듀스(mapreduce)하여 빅데이터 클러스터에 저장하는 단계;
    클라이언트는 블로그 또는 페이스북으로 로그인하여 인증을 거쳐 API 드라이버 사용자 홈페이지에 접속하여 빅데이터 분석 요청을 하는 단계;
    상기 API 드라이버는 상기 웹페이지에 입력된 사용자 요청 정보를 분석하여 상기 빅데이터 클러스터에 축적된 빅데이터를 가져오고, 이를 사용자의 요청에 맞도록 분석하고 JSON코드의 데이터로 변환하여 웹페이지에 출력하는 단계를 포함하되,
    상기 API 드라이버는,
    상기 빅데이터 분석 요청 신호를 주제별로 분류하여 복수의 분석모듈 중 가장 유사한 분석 방법을 제공하는 분석모듈을 선택하는 서치모듈 및
    상기 서치모듈에 따라 선택적으로 동작하고, 서로 다른 분석 방법을 제공하는 복수의 분석모듈을 포함하고,
    상기 맵리듀스(mapreduce)하여 빅데이터 클러스터에 저장하는 단계는,
    상기 파싱된 데이터를 key와 value 쌍으로 구분하고, 같은 key의 데이터끼리 정렬하는 단계 및
    상기 같은 key 별로 정렬된 데이터를 병합하고, key value, list 쌍으로 묶어서 상기 빅데이터 클러스터에 저장하는 단계를 포함하고,
    상기 웹페이지에 출력하는 단계는, API 드라이버가 복수의 분석모듈 중 사용자가 요청한 정보에 가장 유사한 주제에 해당하는 분석모듈을 선택하여 해당 분석모듈만을 구동시켜 상기 빅데이터를 분석하고 상기 웹페이지에 출력하는 것을 특징으로 하는 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 API 드라이버는,
    상기 JSON 코드의 데이터를 파서 라이브러리를 사용하여 단위 데이터로 파싱하는 JSON 파서;
    상기 빅데이터 클러스터에서 출력한 빅데이터를 결합하는 JSON 빌더 및
    상기 JSON 파서가 출력하는 단위 데이터를 맵리듀스하여 상기 빅데이터 클러스터에 전송하는 맵리듀스부를 포함하는 것을 특징으로 하는 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법.
  9. 삭제
  10. 삭제
  11. 제1항에 있어서,
    상기 웹서버의 웹페이지에 전송된 사용자 인증 요청에 따라 사용자의 접속을 허용하는 사용자 인증모듈을 더 포함하는 것을 특징으로 하는 API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법.
  12. 제1항에 있어서,
    상기 센서는, 심박수, 체온, 체질량 지수 및 혈당 중 적어도 하나를 감지하는 생체 센서로서 빅데이터를 활용한 개인 맞춤형 건강관리 서비스를 위한, API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법.
  13. 삭제
  14. 삭제
  15. 제1항에 있어서,
    상기 센서는 GPS 센서가 내장되어 사용자 차량의 이동경로 또는 위치정보를 웹서버로 전송하는 네비게이션으로서 빅데이터를 활용한 교통정보 제공을 위한, API 드라이버를 이용한 웹서버와 빅데이터 클러스터간의 데이터 통신 방법.
  16. 삭제
KR1020140000792A 2014-01-03 2014-01-03 Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템 KR101568654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140000792A KR101568654B1 (ko) 2014-01-03 2014-01-03 Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000792A KR101568654B1 (ko) 2014-01-03 2014-01-03 Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템

Publications (2)

Publication Number Publication Date
KR20150081126A KR20150081126A (ko) 2015-07-13
KR101568654B1 true KR101568654B1 (ko) 2015-11-16

Family

ID=53792938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000792A KR101568654B1 (ko) 2014-01-03 2014-01-03 Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템

Country Status (1)

Country Link
KR (1) KR101568654B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436248B2 (en) 2018-12-20 2022-09-06 At&T Intellectual Property I, L.P. Systems and methods for providing dynamically configured responsive storage

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864509B1 (ko) * 2016-11-30 2018-06-04 영남대학교 산학협력단 빅데이터 분석 시스템 및 방법
WO2018216828A1 (ko) * 2017-05-24 2018-11-29 재단법인차세대융합기술연구원 에너지 빅데이터 관리 시스템 및 그 방법
WO2019117390A1 (ko) * 2017-12-11 2019-06-20 (주)인스페이스 클라우드 기반 유기적인 데이터 가시화 서비스
CN112015568A (zh) * 2020-07-06 2020-12-01 尚特杰电力科技有限公司 一种实现rtu远程升级和配置多线程并行的方法及系统
CN114584593A (zh) * 2022-03-28 2022-06-03 中国电子科技集团公司第三十八研究所 一种基于集群状态感知的数据采集系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101255060B1 (ko) 2012-07-16 2013-04-16 한국과학기술정보연구원 맵리듀스 기반 분산 병렬 개체 추출 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101255060B1 (ko) 2012-07-16 2013-04-16 한국과학기술정보연구원 맵리듀스 기반 분산 병렬 개체 추출 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436248B2 (en) 2018-12-20 2022-09-06 At&T Intellectual Property I, L.P. Systems and methods for providing dynamically configured responsive storage

Also Published As

Publication number Publication date
KR20150081126A (ko) 2015-07-13

Similar Documents

Publication Publication Date Title
KR101568654B1 (ko) Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템
JP7148654B2 (ja) 推薦されるデータ変換および修復のための宣言型言語およびビジュアライゼーションシステム
US20230153924A1 (en) Systems and methods for providing search results based on user interaction with content
US10257196B2 (en) Access control for a document management and collaboration system
JP6568935B2 (ja) 知識ソースを用いた類似性分析およびデータ強化の技術
US9111211B2 (en) Systems and methods for relevance scoring of a digital resource
US9135211B2 (en) Systems and methods for trending and relevance of phrases for a user
CN102130933B (zh) 一种基于移动互联网的推荐方法、系统和设备
US9128896B2 (en) Systems and methods for identifying phrases in digital content that are trending
US20130159298A1 (en) System and method providing search results based on user interaction with content
US20130159826A1 (en) Systems and methods for recommending a list of urls
KR20140064930A (ko) 사용자 네비게이션 이벤트의 예측
KR102478464B1 (ko) 웹 트래픽 데이터를 처리 및 관리하는 시스템, 장치 및 방법
WO2013106595A2 (en) Processing store visiting data
US11475323B2 (en) Systems and methods for crowdsourcing device recognition
Iggena et al. Iotcrawler: Challenges and solutions for searching the internet of things
Perakis et al. Data sources and gateways: Design and open specification
US20160292151A1 (en) Distributed storytelling framework for intelligence analysis
WO2013095755A2 (en) Systems and methods for relevance scoring of a digital resource
CN104123307A (zh) 数据加载方法及系统
KR20210000041A (ko) 로그 데이터의 실시간 분석 방법 및 그 장치
Al-Saadi et al. SDN-based routing framework for elephant and mice flows using unsupervised machine learning
Subahi et al. IoT Traffic Analyzer Tool with Automated and Holistic Feature Extraction Capability
US10445306B1 (en) Database index storage based on temporal data
Gómez-Sánchez et al. Estimation of web proxy response times in community networks using matrix factorization algorithms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 4

R401 Registration of restoration