KR102177971B1 - 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법 및 이를 위한 장치 - Google Patents

Abstract

클라우드 스트리밍 환경에서의 사용자 활동 재생 방법 및 이를 위한 장치가 개시된다. 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하고, HTML 엘리먼트를 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하고, 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 사용자 활동 데이터를 기반으로 사용자 활동에 상응하는 레코딩 화면을 재생할 수 있다. 클라우드 스트리밍 서버에서 실행되는 웹 어플리케이션에 대해 수집된 사용자 활동을 녹화하고, 사용자 요청에 따라 녹화된 사용자 활동을 재생하여 제공하는 것이 가능하다.

Description

클라우드 스트리밍 환경에서의 사용자 활동 재생 방법 및 이를 위한 장치 {METHOD FOR PLAY BACK USER ACTIVITY IN ENVIROMENT OF CLOUD STREAMING AND APPARATUS FOR THE SAME}

본 발명은 클라우드 스트리밍 서버에서의 사용자 활동을 재생해주는 기술에 관한 것으로, 특히 클라우드 스트리밍 서버 내의 클라우드 브라우저 상에서 사용자 활동을 직접 감지하여 레코딩 서버에 기록해두었다가 향후 요청에 의해 사용자 활동을 재생(Play Back)하는 기술에 관한 것이다.

인터넷의 급속한 발달은 개인의 통신 속도를 급격히 향상시키는 결과를 가져왔으며, 이러한 통신 속도의 향상은 원격지에 위치한 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경을 제공하고 있다. 또한, 스마트폰과 같은 이동통신 단말에서 구동되는 어플리케이션이 다양하게 개발되면서, 비교적 낮은 성능의 사용자 단말에서 높은 성능을 필요로 하는 어플리케이션을 구동하기 위한 가상화 기술들이 많이 제안되고 있다.

클라우드 스트리밍(Cloud Streaming) 기술은 고사양의 시스템 자원을 필요로 하는 어플리케이션 또는 서비스를 클라우드 스트리밍 서버에서 구동하고, 렌더링된 결과만을 클라이언트 단말로 전달하는 솔루션에 해당한다. 따라서, 저사양의 단말에서도 고사양의 비디오를 재생하거나 또는 3D 게임을 플레이 할 수 있다.

이와 같은, 클라우드 스트리밍 시스템에서는 웹 어플리케이션에서 발생하는 사용자 활동을 클라이언트 단에서만 수집하여 처리하기 때문에 다양한 데이터를 수집하는데 어려움이 존재한다.

한국 공개 특허 제10-2012-0070403호, 2012년 6월 29일 공개 (명칭: 웹브라우징 액션 탐지 및 접근 차단 방법 및 장치)

본 발명의 목적은, 클라우드 스트리밍 서버에서 실행되는 웹 어플리케이션에 대해 수집된 사용자 활동을 녹화하고, 사용자 요청에 따라 녹화된 사용자 활동을 재생하여 제공하는 것이다.

또한, 본 발명의 목적은 사람이 직접 복잡하게 수행해야하는 작업을 클라우드 스트리밍 서버 및 레코딩 서버 등의 기계가 대신 수행하게 함으로써 Robotic Process Automation 기능을 구현하는 것이다.

또한, 본 발명의 목적은 웹 어플리케이션을 수정하지 않고도, 클라우드 스트리밍 서버 내에서 사용자 활동을 감지하는 것이다.

또한, 본 발명의 목적은 클라이언트에서 사용자 활동 정보를 수집하는 방법보다 정확하고 풍부한 사용자 활동 데이터를 생산할 수 있는 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 사용자 활동 재생 방법은, 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(DOCUMENT OF MODEL)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하는 단계; 상기 HTML 엘리먼트를 상기 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하는 단계; 및 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 상기 사용자 활동 데이터를 기반으로 상기 사용자 활동에 상응하는 레코딩 화면을 재생하는 단계를 포함한다.

이 때, 웹 어플리케이션은 클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행될 수 있다.

이 때, 재생하는 단계는 상기 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드(LODE)하는 단계; 및 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 상기 브라우저를 기반으로 상기 가상 키를 발생시키는 단계를 포함할 수 있다.

이 때, 레코딩 화면은 상기 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면일 수 있다.

이 때, 사용자 활동 재생 방법은 상기 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 상기 브라우저를 기반으로 상기 키 입력 이벤트를 감지하는 단계; 및 상기 레코딩을 종료하기 위한 명령이 입력되는 경우, 상기 사용자 활동 데이터를 상기 클라우드 스트리밍 서버와 연동된 레코딩 서버에 저장하는 단계를 더 포함할 수 있다.

이 때, 키 입력 이벤트를 감지하는 단계는 상기 브라우저에 인젝션(INJECTION)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 상기 키 입력 이벤트를 감지할 수 있다.

이 때, 사용자 활동 재생 방법은 상기 브라우저가 HTML 문서를 페인팅(PAINTING)하는 시점을 기준으로 상기 변경된 문서 객체 모델을 검색하는 단계를 더 포함할 수 있다.

이 때, 클라우드 스트리밍 서버는 상기 사용자 활동 재생 요청이 수신되는 경우, 상기 레코딩 서버로 사용자 활동 데이터 전송 요청을 전송하여 상기 사용자 활동 데이터를 획득할 수 있다.

또한, 본 발명에 따른 클라우드 스트리밍 서버는, 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(DOCUMENT OF MODEL)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하고, 상기 HTML 엘리먼트를 상기 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하고, 사용자로부터 사용자 활동 재생 요청이 수신되는 경우에 레코딩 서버로부터 상기 사용자 활동 데이터를 수신하여 상기 사용자 활동에 상응하는 레코딩 화면을 재생하는 프로세서; 및 클라이언트로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 상기 사용자 활동 데이터를 저장하는 메모리를 포함한다.

이 때, 웹 어플리케이션은 클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행될 수 있다.

이 때, 프로세서는 상기 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드(LODE)하고, 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 상기 브라우저를 기반으로 상기 가상 키를 발생시킬 수 있다.

이 때, 레코딩 화면은 상기 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면일 수 있다.

이 때, 프로세서는 상기 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 상기 브라우저를 기반으로 상기 키 입력 이벤트를 감지하고, 상기 레코딩을 종료하기 위한 명령이 입력되는 경우, 상기 사용자 활동 데이터를 상기 클라우드 스트리밍 서버와 연동된 레코딩 서버에 저장할 수 있다.

이 때, 프로세서는 상기 브라우저에 인젝션(INJECTION)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 상기 키 입력 이벤트를 감지할 수 있다.

이 때, 프로세서는 상기 브라우저가 HTML 문서를 페인팅(PAINTING)하는 시점을 기준으로 상기 변경된 문서 객체 모델을 검색할 수 있다.

이 때, 프로세서는 상기 사용자 활동 재생 요청이 수신되는 경우, 상기 레코딩 서버로 사용자 활동 데이터 전송 요청을 전송하여 상기 사용자 활동 데이터를 획득할 수 있다.

본 발명에 따르면, 클라우드 스트리밍 서버에서 실행되는 웹 어플리케이션에 대해 수집된 사용자 활동을 녹화하고, 사용자 요청에 따라 녹화된 사용자 활동을 재생하여 제공할 수 있다.

또한, 본 발명은 사람이 직접 복잡하게 수행해야하는 작업을 클라우드 스트리밍 서버 및 레코딩 서버 등의 기계가 대신 수행하게 함으로써 Robotic Process Automation 기능을 구현할 수 있다.

또한, 본 발명은 웹 어플리케이션을 수정하지 않고도, 클라우드 스트리밍 서버 내에서 사용자 활동을 감지할 수 있다.

또한, 본 발명은 클라이언트에서 사용자 활동 정보를 수집하는 방법보다 정확하고 풍부한 사용자 활동 데이터를 생산할 수 있는 방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 사용자 활동 레코딩 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 사용자 활동 재생 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 레코딩하는 과정을 상세하게 나타낸 동작흐름도이다.
도 6은 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 재생하는 과정을 상세하게 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 시스템을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 시스템은 클라우드 스트리밍 서버(110), 클라이언트(120-1~120-N), 레코딩 서버(130) 및 네트워크(140)를 포함한다.

클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.

본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 클라이언트(120-1~120-3)로부터 요청된 클라우드 스트리밍 서비스를 처리하기 위한 클라우드 스트리밍 엔진을 포함할 수 있다.

이 때, 도 1에서는 클라이언트를 3개로 나타내었으나, 이는 일실시예에 해당할 뿐 클라이언트의 개수는 3개로 한정되지 않는다.

이 때, 클라우드 스트리밍 서버(110)에서는 클라우드 스트리밍 엔진이 실행되는 시점에 기 정의된 수만큼 브라우저를 생성할 수 있는데, 브라우저는 HTML, CSS 및 JavaScript등을 다운로드하고 실행하여 화면에 렌더링해줄 수 있다.

이 때, HTML(Hyper Text Markup Language)는 웹 페이지의 큰 뼈대를 제공하고, CSS(Cascading Style Sheets)는 색깔이나 글씨체와 같은 디자인 요소를 관리하며, 자바스크립트(Javascritp)는 크로스 플랫폼, 객체지향 스크립트 언어로 웹페이지의 동작을 담당할 수 있다.

또한, 클라우드 스트리밍 서버(110)는 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(Document Of Model)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출한다.

이 때, 웹 어플리케이션은 클라우드 스트리밍 서버(110)에서 생성되는 브라우저에서 실행될 수 있다.

또한, 클라우드 스트리밍 서버(110)는 HTML 엘리먼트를 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성한다.

또한, 클라우드 스트리밍 서버(110)는 클라이언트(120-1~120-3)로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버(130)로부터 수신된 사용자 활동 데이터를 기반으로 사용자 활동에 상응하는 레코딩 화면을 재생한다.

이 때, 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드할 수 있다.

이 때, 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 브라우저를 기반으로 가상 키를 발생시킬 수 있다.

이 때, 레코딩 화면은 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면일 수 있다.

또한, 클라우드 스트리밍 서버(110)는 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 브라우저를 기반으로 키 입력 이벤트를 감지한다.

이 때, 브라우저에 인젝션(Injection)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 키 입력 이벤트를 감지할 수 있다.

또한, 클라우드 스트리밍 서버(110)는 레코딩을 종료하기 위한 명령이 입력되는 경우, 사용자 활동 데이터를 클라우드 스트리밍 서버(110)와 연동된 레코딩 서버(130)에 저장한다.

또한, 클라우드 스트리밍 서버(110)는 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 변경된 문서 객체 모델을 검색한다.

또한, 클라우드 스트리밍 서버(110)는 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버(130)로 사용자 활동 데이터 전송 요청을 전송하여 사용자 활동 데이터를 획득한다.

클라이언트(120-1~120-3)는 클라우드 스트리밍 서버(110)에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버(110)로부터 요청에 따른 실행화면을 수신하여 사용자에게 제공해줄 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 클라이언트(120-1~120-3)에 상응하는 단말에서 실행되는 것처럼 느낄 수 있다.

이 때, 클라이언트(120-1~120-3)는 각각 통신망에 연결되어 클라우드 스트리밍 서버(110)와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 클라이언트(120-1~120-3)는 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 클라이언트(120-1~120-3)는 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.

또한, 클라이언트(120-1~120-3)에 상응하는 단말은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 클라이언트(120-1~120-3)에 상응하는 단말의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 클라이언트(120-1~120-3)에 상응하는 단말의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 클라이언트(120-1~120-3)에 상응하는 단말의 입력부는 클라이언트(120-1~120-3)에 상응하는 단말의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 클라이언트(120-1~120-3)에 상응하는 단말의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다.

또한, 클라이언트(120-1~120-3)에 상응하는 단말의 표시부는 클라이언트(120-1~120-3)에 상응하는 단말의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 클라이언트(120-1~120-3)에 상응하는 단말의 표시부는 클라이언트(120-1~120-3)에 상응하는 단말의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 클라이언트(120-1~120-3)에 상응하는 단말의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 클라이언트(120-1~120-3)에 상응하는 단말의 표시부가 터치스크린 형태로 구성된 경우, 클라이언트(120-1~120-3)에 상응하는 단말의 표시부는 클라이언트(120-1~120-3)에 상응하는 단말의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다.

또한, 클라이언트(120-1~120-3)에 상응하는 단말의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 클라이언트(120-1~120-3)에 상응하는 단말의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 클라이언트(120-1~120-3)에 상응하는 단말의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 클라이언트(120-1~120-3)에 상응하는 단말은 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.

또한, 클라이언트(120-1~120-3)에 상응하는 단말의 통신부는 클라우드 스트리밍 서버(110)와 네트워크를 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 클라이언트(120-1~120-3)에 상응하는 단말의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 클라이언트(120-1~120-3)에 상응하는 단말의 통신부는 무선통신 모듈을 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 클라이언트(120-1~120-3)에 상응하는 단말이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(110)로 송수신할 수 있다. 즉 클라이언트(120-1~120-3)에 상응하는 단말은 무선통신 모듈을 이용하여 네트워크에 접속하며, 네트워크를 통해 클라우드 스트리밍 서버(110)와 데이터를 송수신할 수 있다.

또한, 클라이언트(120-1~120-3)에 상응하는 단말의 제어부는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(110)에 접속하는 과정 전반을 제어할 수 있다. 이 때, 클라이언트(120-1~120-3)에 상응하는 단말이 클라우드 스트리밍 서버(110)에 접속하는 경우, 사용자의 요청에 따라 동영상과 같은 컨텐츠나 어플리케이션이 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(110)로 서비스 이용 요청이 전송되도록 제어할 수 있다. 이 때 사용자 인증에 필요한 클라이언트(120-1~120-3)에 상응하는 단말의 정보가 함께 전송되도록 제어할 수도 있다.

레코딩 서버(130)는 사용자 활동 데이터를 저장 및 관리하는 서버에 상응할 수 있다.

이 때, 레코딩 서버(130)는 웹 기반의 서버에 상응하는 것으로, 클라우드 스트리밍 서버(110)에서 생성되는 사용자 활동 데이터를 수신하여 저장할 수 있다.

이 때, 클라우드 스트리밍 서버(110)가 클라이언트(120-1~120-3)로부터 사용자 활동 재생 요청을 수신하는 경우, 레코딩 서버(130)를 통해 사용자 활동 데이터를 획득하고, 획득한 사용자 활동 데이터를 재생하여 클라이언트(120-1~120-3)에게 출력할 수 있다.

이 때, 네트워크(140)는 클라우드 스트리밍 서버(110) 및 클라이언트(120-1~120-3) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신 망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.

도 2는 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법을 나타낸 동작흐름도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(Document Of Model)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출한다(S210).

이 때, 사용자 활동은 클라우드 스트리밍 시스템 내에서 구동되는 웹 어플리케이션에서 사용자(클라이언트) 입력에 따라 발생하는 이벤트를 의미할 수 있다.

종래의 클라우드 스트리밍 시스템에서는 클라우드 스트리밍 서버의 웹 어플리케이션에서 발생하는 사용자 활동을 웹 어플리케이션 또는 클라우드 브라우저에서 직접 감지하거나 수집하지 않고, 사용자(클라이언트) 단에서만 사용자 활동에 대한 처리를 수행하였다. 즉, 사용자가 클라우드 스트리밍 서버에서 키 입력 이벤트에 의한 사용자 활동을 감지하고, 수집하여 사용하는 방식이었다.

그러나, 사용자는 실질적으로 사용자 활동이 발생하는 클라우드 스트리밍 서버의 외부에 위치하기 때문에 사용자 활동을 감지하거나 수집하는데 있어서 정보의 정확성 또는 정보의 다양성이 떨어지는 문제점이 존재하였다.

또한, 종래에는 이러한 문제점을 해결하기 위해서, 웬 어플리케이션을 사용자 활동을 분석하기 위한 형태로 수정하여 제공하는 방안도 제시하고 있지만, 종류가 다양하고 구성이 복잡한 웹 어플리케이션을 수정하는 데에는 많은 어려움이 따른다.

따라서, 본 발명에서는 클라우드 스트리밍 서버의 내부에 위치하는 클라우드 브라우저를 기반으로 클라우드 스트리밍 서버에 대한 사용자 활동을 감지하여 사용자 활동을 녹화(레코딩)하되, 사용자의 요청에 따라 녹화된 사용자 활동을 다시 재생하여 보여줄 수 있는 기술을 제공하고자 한다.

이 때, 웹 어플리케이션은 클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행될 수 있다.

이 때, 클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.

예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 웹 어플리케이션(321)은 클라우드 스트리밍 서버에서 클라우드 스트리밍 엔진(310)의 실행을 기반으로 로드되는 브라우저(320)에서 실행될 수 있다. 이 때, 브라우저(320)는 웹 엔진을 실행시킴으로써 웹 어플리케이션(321)을 실행시킬 수 있다.

이 때, 브라우저를 기반으로 실행되는 웹 어플리케이션은 클라우드 사용자로부터 입력되는 키 입력을 바탕으로 동작할 수 있다.

이 때, 사용자는 클라우드 스트리밍 서버에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버로부터 요청에 따른 실행화면을 수신할 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 사용자 단말에서 실행되는 것처럼 느낄 수 있다.

이 때, 사용자 단말은 각각 통신망에 연결되어 클라우드 스트리밍 서버와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 사용자 단말은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 사용자 단말은 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 변경된 문서 객체 모델을 검색할 수 있다.

이 때, HTML 엘리먼트(element)는 HTML 문서나 웹 페이지를 이루는 개별적인 요소를 의미할 수 있으며, 문서 객체 모델(Document Of Model)로 파싱될 수 있다.

이 때, 문서 객체 모델은 웹 브라우저를 통해 확장성 생성 언어 문서의 상호 연동을 위한 객체 기반의 문서 모델에 해당하는 것으로, 프로그램과 스크립트에 의한 문서의 내용, 구조 종류 등의 동적인 접근과 변경이 가능할 수 있다. 또한, 스크립트나 프로그램 언어에 웹 페이지를 연결해줄 수 있다. 이 때, 웹 페이지를 조작 및 생성하기 위해 사용되는 속성, 방법 및 이벤트가 객체를 구성하는데, 이러한 객체들은 대부분의 웹 브라우저에서 스크립트 언어를 통해 접근할 수 있다.

예를 들어, HTML 엘리먼트는 구문 분석 과정을 거쳐, 클라우드 브라우저 내에서 문서 객체 모델의 내부 표현으로 변환될 수 있다.

따라서, 클라우드 스트리밍 서버의 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 수정된 문서 객체 모델(Document Of Model)을 검색하고, 문서 객체 모델에서 변경된 HTML 엘리먼트를 추출할 수 있다.

이 때, 사용자에 의한 키 입력 이벤트가 발생하는 즉시 문서 객체 모델이 변경되지 않기 때문에, 사용자 키 이벤트 발생 후 브라우저가 HTML 문서를 새롭게 페인팅(Painting)하는 시점에 문서 객체 모델을 검색함으로써 변경된 HTML 엘리먼트를 검색 및 추출할 수 있다.

또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 HTML 엘리먼트를 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성한다(S220).

예를 들어, 사용자 활동 데이터는 [표 1]과 같은 형태로 생성될 수 있다. 이 때, 키 입력 이벤트가 발생한 순서에 따라 시퀀스 넘버를 부여하고, 해당하는 테이블에 문서 객체 모델에서 추출된 HTML 엘리먼트와 키 입력 이벤트에 상응하는 키 종류를 저장하는 방식으로 사용자 활동 데이터를 생성하여 사용자 활동을 녹화할 수 있다.

User Key Event	Sequence Number	DOM(HTML) Element
Enter Key down	1	<li class="focus" data-menu_id="A000001519" data-is_leaf="N" data-yn_adult="N" data-m_name="TV Replay" data-s_v_style="1" data-c_menu="108320" data-call_url="" data-d_type="0" data-show_menu="" data-call_type="" data-par_menu_id="A000001509"
Enter Key up	2	<li class="focus" data-menu_id="A000001519" data-is_leaf="N" data-yn_adult="N" data-m_name="TV Replay" data-s_v_style="1" data-c_menu="108320" data-call_url="" data-d_type="0" data-show_menu="" data-call_type="" data-par_menu_id="A000001509"
Right Key down	3	<div class="tip"> <span class="tip_txt">2015 Top Cartoons</span> </div>
Right Key up	4	<div class="tip"> <span class="tip_txt">2015 Top Cartoons</span> </div>
Number 1 Key down	5	<img src="image/poster/M312118_127x182.jpg" alt="" style="display: block;" onload="this.style.display='block'">
Number 1 Key up	6	<img src="image/poster/M312118_127x182.jpg" alt="" style="display: block;" onload="this.style.display='block'">

[표 1]을 참조하면, 클라우드 스트리밍 서비스를 이용하는 사용자에 의해 순차적으로 Enter key, Right key, Number 1 key에 상응하는 키 입력 이벤트가 발생하였음을 알 수 있다. 또한, 해당 키 입력 이벤트가 발생함에 따라 변경된 문서 객체 모델에서 변경된 HTML 엘리먼트를 추출하여 [표 1]과 같이 함께 저장할 수 있다.

이 때, 키 입력 이벤트에 의한 키는 사용자 단말에 상응하는 입력 키 또는 마우스에 의한 이벤트에 상응할 수 있다.

이 때, 브라우저를 통해 생성된 사용자 활동 데이터를 도 3에 도시된 것과 같이 클라우드 스트리밍 서버와 별도의 레코딩 서버(330)로 전달되어 저장될 수 있다.

이 때, 레코딩 서버(330)는 클라우드 스트리밍 서버의 외부에 위치할 수 있으며, 브라우저로부터 HTML 엘리먼트와 키를 직접 전달받아 사용자 활동 데이터로 저장할 수도 있다.

이 때, 레코딩 서버는 도 3에 도시된 것처럼 클라우드 스트리밍 서버의 외부에 위치하거나 또는 클라우드 스트리밍 서버의 내부에서 모듈의 형태로 저장될 수도 있다.

또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 사용자 활동 데이터를 기반으로 사용자 활동에 상응하는 레코딩 화면을 재생한다(S230).

예를 들어, 도 4를 참조하면, 클라우드 스트리밍 서버가 사용자로부터 사용자 활동 재생 요청을 수신하는 경우, 브라우저(410)를 통해 레코딩 서버(420)에게 사용자 활동 데이터를 요청할 수 있다. 이 후, 브라우저(410)는 레코딩 서버(420)에 저장된 사용자 활동 데이터를 수신하여 레코딩 화면을 재생할 수 있다.

이 때, 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드할 수 있다.

예를 들어, 상기의 [표 1]을 참조하면, 사용자 활동 데이터는 키 입력 이벤트가 발생한 시간순서에 따라 시퀀스 넘버가 부여되어 저장된 것을 확인할 수 있다. 따라서, HTML 엘리먼트를 로드할 때에도 시퀀스 넘버를 참고하여 1번에 저장된 HTML 엘리먼트부터 순차적으로 로드할 수 있다.

이 때, 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 브라우저를 기반으로 가상 키를 발생시킬 수 있다.

예를 들어, 상기의 [표 1]에서 시퀀스 넘버 1, 2에 해당하는 HTML 엘리먼트들이 순차적으로 로드되었다고 가정한다면, Enter Key와 동일한 처리를 수행하는 가상 키를 생성하고, 브라우저에서 Enter Key와 동일한 처리를 수행하는 가상 키를 발생시킬 수 있다. 이 때, 브라우저는 HTML 엘리먼트를 기반으로 해당 키 입력 이벤트가 발생한 웹 어플리케이션 페이지를 실행할 수 있다.

이 때, 레코딩 화면은 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면일 수 있다.

즉, 레코딩 화면은 사용자가 클라우드 스트리밍 서버에 접속하여 웹 어플리케이션을 사용하는 중에 기록된 화면에 상응할 수 있다. 따라서, 레코딩 화면의 재생을 통해 사용자가 웹 어플리케이션 상에서 어떤 키 입력을 수행하였고, 어떤 사용자 활동을 하였는지 시각적으로 확인할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 브라우저를 기반으로 키 입력 이벤트를 감지한다.

이 때, 사용자 활동을 레코딩하기 위한 명령은 사용자가 클라우드 스트리밍 서버에 접속하는 경우에 자동으로 생성되거나 또는 사용자에 의해 최초의 키 입력 이벤트가 발생하는 경우에 생성될 수도 있다. 또는, 클라우드 스트리밍 서버를 관리하는 관리자나 사용자에 의해 발생될 수도 있다.

이 때, 브라우저에 인젝션(Injection)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 키 입력 이벤트를 감지할 수 있다.

이 때, 자바스크립트 코드 또는 자바스크립트 파일을 인젝션한다는 의미는 프로그램의 동작을 인젝션(Injection), 즉 삽입된 코드나 파일에 상응하게 변경하여 실행하는 것일 수 있다.

이 때, 본 발명에서는 이러한 기능을 이용하여 웹 서버에서 다운로드된 자바스크립트와는 별도로 사용자 활동을 감지하기 위한 감지 코드를 브라우저에 인젝션하여 실행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버가 실행되면, 클라우드 스트리밍 서버에 생성된 브라우저가 웹 서버에게 웹 어플리케이션 실행을 위한 자바스크립트 코드를 요청할 수 있다. 이 후, 브라우저는 웹 어플리케이션 실행을 위한 자바스크립트 코드를 인젝션하여 웹 어플리케이션을 실행할 수 있다. 이 후, 브라우저는 자바스크립트 코드 더미 또는 자바스크립트 파일에 상응하는 사용자 활동 감지 코드를 인젝션하여 실행함으로써 웹 어플리케이션에 대한 키 입력 이벤트를 감지할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 레코딩을 종료하기 위한 명령이 입력되는 경우, 사용자 활동 데이터를 클라우드 스트리밍 서버와 연동된 레코딩 서버에 저장한다.

예를 들어, 도 3을 참조하면, 브라우저(320)로 사용자 활동에 대한 레코딩을 종료하기 위한 명령이 입력되는 경우, 브라우저(320)가 레코딩하여 생성하던 사용자 활동 데이터를 레코딩 서버(330)로 전달하여 저장할 수 있다.

이 때, 레코딩 서버(330)는 브라우저(320)로부터 HTML 엘리먼트와 키를 포함하는 사용자 활동 데이터를 수신할 수도 있고, HTML 엘리먼트와 키를 수신할 수도 있다.

이 때, 클라우드 스트리밍 서버는 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로 사용자 활동 데이터 전송 요청을 전송하여 사용자 활동 데이터를 획득할 수 있다.

예를 들어, 도 4를 참조하면, 사용자에 의해 클라우드 스트리밍 서버로 사용자 활동 재생 요청이 전송되었다고 가정한다면, 클라우드 스트리밍 서버는 해당 요청을 클라우드 스트리밍 서버 내에 생성된 브라우저(410)로 전달할 수 있다. 이 후, 브라우저(410)는 요청에 따른 레코딩 화면을 생성하기 위해, 레코딩 서버(420)에게 사용자 활동 데이터를 요청할 수 있다. 이 후, 브라우저(410)는 레코딩 서버(420)로부터 수신된 사용자 활동 데이터를 이용하여 웹 어플리케이션(411)에 기반한 레코딩 화면을 생성하고, 생성된 레코딩 화면을 사용자에게 출력하여 사용자 활동을 재생해 줄 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 네트워크와 같은 통신망을 통해 사용자 활동 재생을 위해 필요한 정보를 송수신할 수 있다. 특히, 사용자로부터 입력되는 요청을 수신하거나, 레코딩 서버로 사용자 활동 데이터를 전송할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 사용자 활동 재생을 위한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법을 통해 클라우드 스트리밍 서버에서 실행되는 웹 어플리케이션에 대해 수집된 사용자 활동을 녹화하고, 사용자 요청에 따라 녹화된 사용자 활동을 재생하여 제공할 수 있다.

또한, 사람이 직접 복잡하게 수행해야하는 작업을 클라우드 스트리밍 서버 및 레코딩 서버 등의 기계가 대신 수행하게 함으로써 Robotic Process Automation 기능을 구현할 수 있다.

또한, 웹 어플리케이션을 수정하지 않고도, 클라우드 스트리밍 서버 내에서 사용자 활동을 감지할 수 있고, 클라이언트에서 사용자 활동 정보를 수집하는 방법보다 정확하고 풍부한 사용자 활동 데이터를 생산할 수 있는 방법을 제공할 수도 있다.

도 5는 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 레코딩하는 과정을 상세하게 나타낸 동작흐름도이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 레코딩하는 과정은 먼저 레코딩 명령을 기반으로 클라우드 스트리밍 서버에서의 사용자 활동에 대한 레코딩을 시작할 수 있다(S510).

이 때, 사용자 활동을 레코딩하기 위한 레코딩 명령은 사용자가 클라우드 스트리밍 서버에 접속하는 경우에 자동으로 생성되거나 또는 사용자에 의해 최초의 키 입력 이벤트가 발생하는 경우에 생성될 수도 있다. 또는, 클라우드 스트리밍 서버를 관리하는 관리자나 사용자에 의해 발생될 수도 있다.

이 후, 사용자로부터 키 입력 이벤트가 발생할 수 있다(S520).

이 때, 키 입력 이벤트는 사용자 단말에 상응하는 입력 키 또는 마우스에 의한 이벤트에 상응할 수 있다.

이 후, 사용자로부터 입력된 키는 클라우드 스트리밍 엔진으로 전달되어(S530), 클라우드 스트리밍 서버 내에 생성되는 브라우저로 전달될 수 있다(S540).

이 후, 브라우저는 키 입력 이벤트에 의해 변경된 문서 객체 모델(DOM)을 검색하고, 검색된 문서 객체 모델에서 변경된 HTML 엘리먼트를 추출할 수 있다(S550).

이 때, 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 변경된 문서 객체 모델을 검색할 수 있다.

이 때, 사용자에 의한 키 입력 이벤트가 발생하는 즉시 문서 객체 모델이 변경되지 않기 때문에, 사용자 키 이벤트 발생 후 브라우저가 HTML 문서를 새롭게 페인팅(Painting)하는 시점에 문서 객체 모델을 검색함으로써 변경된 HTML 엘리먼트를 검색 및 추출할 수 있다.

이 후, 브라우저는 추출된 HTML 엘리먼트와 키 입력 이벤트에 상응하는 키를 시간순서대로 입력하여 사용자 활동 데이터를 생성할 수 있다(S560).

이 후, 사용자 활동에 대한 녹화(레코딩)가 종료되었는지 여부를 판단하고(S565), 종료되지 않았으면 다시 단계(S520)으로 돌아가서 레코딩을 수행할 수 있다(S520).

이 때, 레코딩을 종료하기 위한 명령이 입력되는 경우, 사용자 활동에 대한 녹화(레코딩)이 종료된 것으로 판단할 수 있다.

또한, 단계(S520) 판단결과 사용자 활동에 대한 녹화(레코딩)가 종료되었으면, 레코딩 서버에 사용자 활동 데이터를 저장할 수 있다(S570).

이 때, 레코딩 서버는 브라우저로부터 HTML 엘리먼트와 키를 포함하는 사용자 활동 데이터를 수신할 수도 있고, HTML 엘리먼트와 키를 수신할 수도 있다.

도 6은 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 재생하는 과정을 상세하게 나타낸 동작흐름도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 사용자 활동 재생 방법 중 사용자 활동을 재생하는 과정은 먼저 클라우드 스트리밍 서버에 접속한 사용자로부터 사용자 활동 데이터 재생 요청이 수신되면(S610), 클라우드 스트리밍 서버가 레코딩 서버로부터 사용자 활동 데이터를 로드할 수 있다(S620).

이 후, 클라우드 스트리밍 서버가 내부의 브라우저로 사용자 활동 데이터를 전달하면(S630), 브라우저가 사용자 활동 데이터에 포함된 HTML 엘리먼트를 시간순서에 따라 순차적으로 로드할 수 있다(S640).

이 후, 브라우저가 HTML 엘리먼트와 함께 저장된 키 입력 이벤트에 상응하는 키와 동일한 종류의 가상 키를 생성하고(S650), 가상 키를 입력함으로써 사용자 활동을 재생할 수 있다(S660).

이 후, 사용자 활동 재생이 종료되었는지 여부를 판단하고(S665), 종료되지 않았으면 단계(S630)으로 돌아가 사용자 활동 재생 과정을 반복적으로 수행할 수 있다.

또한, 단계(S665)의 판단결과 사용자 활동 재생이 종료되었으면, 사용자 활동 재생을 위한 과정을 종료하고 대기할 수 있다.

도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.

도 7을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버는 통신부(710), 프로세서(720) 및 메모리(730)를 포함한다.

통신부(710)는 네트워크와 같은 통신망을 통해 클라우드 스트리밍 환경에서의 사용자 활동 재생을 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(710)는 사용자로부터 입력되는 요청을 수신하거나, 레코딩 서버로 사용자 활동 데이터를 전송할 수 있다.

프로세서는(720) 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(Document Of Model)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출한다.

이 때, 사용자 활동은 클라우드 스트리밍 시스템 내에서 구동되는 웹 어플리케이션에서 사용자(클라이언트) 입력에 따라 발생하는 이벤트를 의미할 수 있다.

종래의 클라우드 스트리밍 시스템에서는 클라우드 스트리밍 서버의 웹 어플리케이션에서 발생하는 사용자 활동을 웹 어플리케이션 또는 클라우드 브라우저에서 직접 감지하거나 수집하지 않고, 사용자(클라이언트) 단에서만 사용자 활동에 대한 처리를 수행하였다. 즉, 사용자가 클라우드 스트리밍 서버에서 키 입력 이벤트에 의한 사용자 활동을 감지하고, 수집하여 사용하는 방식이었다.

그러나, 사용자는 실질적으로 사용자 활동이 발생하는 클라우드 스트리밍 서버의 외부에 위치하기 때문에 사용자 활동을 감지하거나 수집하는데 있어서 정보의 정확성 또는 정보의 다양성이 떨어지는 문제점이 존재하였다.

또한, 종래에는 이러한 문제점을 해결하기 위해서, 웬 어플리케이션을 사용자 활동을 분석하기 위한 형태로 수정하여 제공하는 방안도 제시하고 있지만, 종류가 다양하고 구성이 복잡한 웹 어플리케이션을 수정하는 데에는 많은 어려움이 따른다.

따라서, 본 발명에서는 클라우드 스트리밍 서버의 내부에 위치하는 클라우드 브라우저를 기반으로 클라우드 스트리밍 서버에 대한 사용자 활동을 감지하여 사용자 활동을 녹화(레코딩)하되, 사용자의 요청에 따라 녹화된 사용자 활동을 다시 재생하여 보여줄 수 있는 기술을 제공하고자 한다.

이 때, 웹 어플리케이션은 클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행될 수 있다.

이 때, 클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.

예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 웹 어플리케이션(321)은 클라우드 스트리밍 서버에서 클라우드 스트리밍 엔진(310)의 실행을 기반으로 로드되는 브라우저(320)에서 실행될 수 있다. 이 때, 브라우저(320)는 웹 엔진을 실행시킴으로써 웹 어플리케이션(321)을 실행시킬 수 있다.

이 때, 브라우저를 기반으로 실행되는 웹 어플리케이션은 클라우드 사용자로부터 입력되는 키 입력을 바탕으로 동작할 수 있다.

이 때, 사용자는 클라우드 스트리밍 서버에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버로부터 요청에 따른 실행화면을 수신할 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 사용자 단말에서 실행되는 것처럼 느낄 수 있다.

이 때, 사용자 단말은 각각 통신망에 연결되어 클라우드 스트리밍 서버와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 사용자 단말은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 사용자 단말은 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.

또한, 프로세서(720)는 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 변경된 문서 객체 모델을 검색할 수 있다.

이 때, HTML 엘리먼트(element)는 HTML 문서나 웹 페이지를 이루는 개별적인 요소를 의미할 수 있으며, 문서 객체 모델(Document Of Model)로 파싱될 수 있다.

이 때, 문서 객체 모델은 웹 브라우저를 통해 확장성 생성 언어 문서의 상호 연동을 위한 객체 기반의 문서 모델에 해당하는 것으로, 프로그램과 스크립트에 의한 문서의 내용, 구조 종류 등의 동적인 접근과 변경이 가능할 수 있다. 또한, 스크립트나 프로그램 언어에 웹 페이지를 연결해줄 수 있다. 이 때, 웹 페이지를 조작 및 생성하기 위해 사용되는 속성, 방법 및 이벤트가 객체를 구성하는데, 이러한 객체들은 대부분의 웹 브라우저에서 스크립트 언어를 통해 접근할 수 있다.

예를 들어, HTML 엘리먼트는 구문 분석 과정을 거쳐, 클라우드 브라우저 내에서 문서 객체 모델의 내부 표현으로 변환될 수 있다.

따라서, 클라우드 스트리밍 서버의 브라우저가 HTML 문서를 페인팅(Painting)하는 시점을 기준으로 수정된 문서 객체 모델(Document Of Model)을 검색하고, 문서 객체 모델에서 변경된 HTML 엘리먼트를 추출할 수 있다.

이 때, 사용자에 의한 키 입력 이벤트가 발생하는 즉시 문서 객체 모델이 변경되지 않기 때문에, 사용자 키 이벤트 발생 후 브라우저가 HTML 문서를 새롭게 페인팅(Painting)하는 시점에 문서 객체 모델을 검색함으로써 변경된 HTML 엘리먼트를 검색 및 추출할 수 있다.

또한, 프로세서(720)는 HTML 엘리먼트를 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성한다.

예를 들어, 사용자 활동 데이터는 [표 1]과 같은 형태로 생성될 수 있다. 이 때, 키 입력 이벤트가 발생한 순서에 따라 시퀀스 넘버를 부여하고, 해당하는 테이블에 문서 객체 모델에서 추출된 HTML 엘리먼트와 키 입력 이벤트에 상응하는 키 종류를 저장하는 방식으로 사용자 활동 데이터를 생성하여 사용자 활동을 녹화할 수 있다.

[표 1]을 참조하면, 클라우드 스트리밍 서비스를 이용하는 사용자에 의해 순차적으로 Enter key, Right key, Number 1 key에 상응하는 키 입력 이벤트가 발생하였음을 알 수 있다. 또한, 해당 키 입력 이벤트가 발생함에 따라 변경된 문서 객체 모델에서 변경된 HTML 엘리먼트를 추출하여 [표 1]과 같이 함께 저장할 수 있다.

이 때, 키 입력 이벤트에 의한 키는 사용자 단말에 상응하는 입력 키 또는 마우스에 의한 이벤트에 상응할 수 있다.

이 때, 브라우저를 통해 생성된 사용자 활동 데이터를 도 3에 도시된 것과 같이 클라우드 스트리밍 서버와 별도의 레코딩 서버(330)로 전달되어 저장될 수 있다.

이 때, 레코딩 서버(330)는 클라우드 스트리밍 서버의 외부에 위치할 수 있으며, 브라우저로부터 HTML 엘리먼트와 키를 직접 전달받아 사용자 활동 데이터로 저장할 수도 있다.

이 때, 레코딩 서버는 도 3에 도시된 것처럼 클라우드 스트리밍 서버의 외부에 위치하거나 또는 클라우드 스트리밍 서버의 내부에서 모듈의 형태로 저장될 수도 있다.

또한, 프로세서(720)는 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 사용자 활동 데이터를 기반으로 사용자 활동에 상응하는 레코딩 화면을 재생한다.

예를 들어, 도 4를 참조하면, 클라우드 스트리밍 서버가 사용자로부터 사용자 활동 재생 요청을 수신하는 경우, 브라우저(410)를 통해 레코딩 서버(420)에게 사용자 활동 데이터를 요청할 수 있다. 이 후, 브라우저(410)는 레코딩 서버(420)에 저장된 사용자 활동 데이터를 수신하여 레코딩 화면을 재생할 수 있다.

이 때, 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드할 수 있다.

예를 들어, 상기의 [표 1]을 참조하면, 사용자 활동 데이터는 키 입력 이벤트가 발생한 시간순서에 따라 시퀀스 넘버가 부여되어 저장된 것을 확인할 수 있다. 따라서, HTML 엘리먼트를 로드할 때에도 시퀀스 넘버를 참고하여 1번에 저장된 HTML 엘리먼트부터 순차적으로 로드할 수 있다.

이 때, 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 브라우저를 기반으로 가상 키를 발생시킬 수 있다.

예를 들어, 상기의 [표 1]에서 시퀀스 넘버 1, 2에 해당하는 HTML 엘리먼트들이 순차적으로 로드되었다고 가정한다면, Enter Key와 동일한 처리를 수행하는 가상 키를 생성하고, 브라우저에서 Enter Key와 동일한 처리를 수행하는 가상 키를 발생시킬 수 있다. 이 때, 브라우저는 HTML 엘리먼트를 기반으로 해당 키 입력 이벤트가 발생한 웹 어플리케이션 페이지를 실행할 수 있다.

이 때, 레코딩 화면은 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면일 수 있다.

즉, 레코딩 화면은 사용자가 클라우드 스트리밍 서버에 접속하여 웹 어플리케이션을 사용하는 중에 기록된 화면에 상응할 수 있다. 따라서, 레코딩 화면의 재생을 통해 사용자가 웹 어플리케이션 상에서 어떤 키 입력을 수행하였고, 어떤 사용자 활동을 하였는지 시각적으로 확인할 수 있다.

또한, 프로세서(720)는 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 브라우저를 기반으로 키 입력 이벤트를 감지한다.

이 때, 사용자 활동을 레코딩하기 위한 명령은 사용자가 클라우드 스트리밍 서버에 접속하는 경우에 자동으로 생성되거나 또는 사용자에 의해 최초의 키 입력 이벤트가 발생하는 경우에 생성될 수도 있다. 또는, 클라우드 스트리밍 서버를 관리하는 관리자나 사용자에 의해 발생될 수도 있다.

이 때, 브라우저에 인젝션(Injection)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 키 입력 이벤트를 감지할 수 있다.

이 때, 자바스크립트 코드 또는 자바스크립트 파일을 인젝션한다는 의미는 프로그램의 동작을 인젝션(Injection), 즉 삽입된 코드나 파일에 상응하게 변경하여 실행하는 것일 수 있다.

이 때, 본 발명에서는 이러한 기능을 이용하여 웹 서버에서 다운로드된 자바스크립트와는 별도로 사용자 활동을 감지하기 위한 감지 코드를 브라우저에 인젝션하여 실행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버가 실행되면, 클라우드 스트리밍 서버에 생성된 브라우저가 웹 서버에게 웹 어플리케이션 실행을 위한 자바스크립트 코드를 요청할 수 있다. 이 후, 브라우저는 웹 어플리케이션 실행을 위한 자바스크립트 코드를 인젝션하여 웹 어플리케이션을 실행할 수 있다. 이 후, 브라우저는 자바스크립트 코드 더미 또는 자바스크립트 파일에 상응하는 사용자 활동 감지 코드를 인젝션하여 실행함으로써 웹 어플리케이션에 대한 키 입력 이벤트를 감지할 수 있다.

또한, 프로세서(720)는 레코딩을 종료하기 위한 명령이 입력되는 경우, 사용자 활동 데이터를 클라우드 스트리밍 서버와 연동된 레코딩 서버에 저장한다.

예를 들어, 도 3을 참조하면, 브라우저(320)로 사용자 활동에 대한 레코딩을 종료하기 위한 명령이 입력되는 경우, 브라우저(320)가 레코딩하여 생성하던 사용자 활동 데이터를 레코딩 서버(330)로 전달하여 저장할 수 있다.

이 때, 레코딩 서버(330)는 브라우저(320)로부터 HTML 엘리먼트와 키를 포함하는 사용자 활동 데이터를 수신할 수도 있고, HTML 엘리먼트와 키를 수신할 수도 있다.

이 때, 프로세서(720)는 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로 사용자 활동 데이터 전송 요청을 전송하여 사용자 활동 데이터를 획득할 수 있다.

예를 들어, 도 4를 참조하면, 사용자에 의해 클라우드 스트리밍 서버로 사용자 활동 재생 요청이 전송되었다고 가정한다면, 클라우드 스트리밍 서버는 해당 요청을 클라우드 스트리밍 서버 내에 생성된 브라우저(410)로 전달할 수 있다. 이 후, 브라우저(410)는 요청에 따른 레코딩 화면을 생성하기 위해, 레코딩 서버(420)에게 사용자 활동 데이터를 요청할 수 있다. 이 후, 브라우저(410)는 레코딩 서버(420)로부터 수신된 사용자 활동 데이터를 이용하여 웹 어플리케이션(411)에 기반한 레코딩 화면을 생성하고, 생성된 레코딩 화면을 사용자에게 출력하여 사용자 활동을 재생해 줄 수 있다.

메모리(730)는 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 사용자 활동 데이터를 저장한다.

또한, 메모리(730)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생을 위한 기능을 지원할 수 있다. 이 때, 메모리(730)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 클라우드 스트리밍 서버는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 클라우드 스트리밍 서버를 이용하여 클라우드 스트리밍 서버에서 실행되는 웹 어플리케이션에 대해 수집된 사용자 활동을 녹화하고, 사용자 요청에 따라 녹화된 사용자 활동을 재생하여 제공할 수 있다.

또한, 사람이 직접 복잡하게 수행해야하는 작업을 클라우드 스트리밍 서버 및 레코딩 서버 등의 기계가 대신 수행하게 함으로써 Robotic Process Automation 기능을 구현할 수 있다.

또한, 웹 어플리케이션을 수정하지 않고도, 클라우드 스트리밍 서버 내에서 사용자 활동을 감지할 수 있고, 클라이언트에서 사용자 활동 정보를 수집하는 방법보다 정확하고 풍부한 사용자 활동 데이터를 생산할 수 있는 방법을 제공할 수도 있다.

본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.

컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

본 명세서에서 '시스템'이나 '장치'라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다

이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

이상에서와 같이 본 발명에 따른 클라우드 스트리밍 환경에서의 사용자 활동 재생 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

본 발명에 의하면 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하고, HTML 엘리먼트를 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하고, 사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 사용자 활동 데이터를 기반으로 사용자 활동에 상응하는 레코딩 화면을 재생할 수 있다. 나아가, 클라우드 스트리밍 서버에서 직접 사용자 활동을 감지하여 기록함으로써 보다 효율적으로 클라우드 스트리밍 시스템을 운영할 수 있고, 보다 정확하고 풍부한 사용자 활동 데이터를 통해 다양한 사용자 활동 정보를 제공하는 것이 가능하다.

110: 클라우드 스트리밍 서버 120-1~120-N: 클라이언트
130, 330, 420: 레코딩 서버 140: 네트워크
310: 클라우드 스트리밍 엔진 320, 410: 브라우저
321, 411: 웹 어플리케이션 710: 통신부
720: 프로세서 730: 메모리

Claims (10)

1. 컴퓨터 시스템에 의해 수행되는 사용자 활동 재생 방법에 있어서,
   클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행되는 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(DOCUMENT OF MODEL)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하는 단계;
   상기 HTML 엘리먼트를 상기 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하는 단계; 및
   사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 상기 사용자 활동 데이터를 기반으로 상기 사용자 활동에 상응하는 레코딩 화면을 재생하는 단계; 를 포함하되,
   상기 재생하는 단계는,
   상기 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드(LOAD)하는 단계; 및
   로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 상기 브라우저를 기반으로 상기 가상 키를 발생시키는 단계;
   를 포함하는 것을 특징으로 하는 사용자 활동 재생 방법.
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   상기 레코딩 화면은
   상기 가상 키에 의한 키 입력 이벤트에 상응하는 웹 어플리케이션 실행화면인 것을 특징으로 하는 사용자 활동 재생 방법.
5. 청구항 1에 있어서,
   상기 사용자 활동 재생 방법은
   상기 사용자 활동을 레코딩하기 위한 명령이 입력되는 경우, 상기 브라우저를 기반으로 상기 키 입력 이벤트를 감지하는 단계; 및
   상기 레코딩을 종료하기 위한 명령이 입력되는 경우, 상기 사용자 활동 데이터를 상기 클라우드 스트리밍 서버와 연동된 레코딩 서버에 저장하는 단계를 더 포함하는 것을 특징으로 하는 사용자 활동 재생 방법.
6. 청구항 5에 있어서,
   상기 키 입력 이벤트를 감지하는 단계는
   상기 브라우저에 인젝션(INJECTION)되어 실행되는 자바스크립트 코드 또는 자바스크립트 파일의 실행을 기반으로 상기 키 입력 이벤트를 감지하는 것을 특징으로 하는 사용자 활동 재생 방법.
7. 청구항 1에 있어서,
   상기 사용자 활동 재생 방법은
   상기 브라우저가 HTML 문서를 페인팅(PAINTING)하는 시점을 기준으로 상기 변경된 문서 객체 모델을 검색하는 단계를 더 포함하는 것을 특징으로 하는 사용자 활동 재생 방법.
8. 청구항 5에 있어서,
   상기 클라우드 스트리밍 서버는
   상기 사용자 활동 재생 요청이 수신되는 경우, 상기 레코딩 서버로 사용자 활동 데이터 전송 요청을 전송하여 상기 사용자 활동 데이터를 획득하는 것을 특징으로 하는 사용자 활동 재생 방법.
9. 클라우드 스트리밍 서버에서 생성되는 브라우저에서 실행되는 웹 어플리케이션에 대한 사용자 활동으로 변경된 문서 객체 모델(DOCUMENT OF MODEL)을 기반으로 키 입력 이벤트가 발생한 HTML 엘리먼트를 추출하고, 상기 HTML 엘리먼트를 상기 키 입력 이벤트에 상응하는 키와 함께 시간순서대로 저장하여 사용자 활동 데이터를 생성하고, 사용자로부터 사용자 활동 재생 요청이 수신되는 경우에 레코딩 서버로부터 상기 사용자 활동 데이터를 수신하고, 상기 사용자 활동 데이터에 저장된 적어도 하나의 HTML 엘리먼트를 순차적으로 로드(LOAD)하고, 로드된 HTML 엘리먼트와 함께 저장된 키와 동일한 종류의 가상 키를 생성하고, 상기 브라우저를 기반으로 상기 가상키를 발생시키고, 상기 사용자 활동에 상응하는 레코딩 화면을 재생하는 프로세서; 및
   사용자로부터 사용자 활동 재생 요청이 수신되는 경우, 레코딩 서버로부터 수신된 상기 사용자 활동 데이터를 저장하는 메모리
   를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
10. 삭제

Images