KR101480140B1 - 멀티 인젝션 서버 및 그 방법 - Google Patents

멀티 인젝션 서버 및 그 방법 Download PDF

Info

Publication number
KR101480140B1
KR101480140B1 KR20130000745A KR20130000745A KR101480140B1 KR 101480140 B1 KR101480140 B1 KR 101480140B1 KR 20130000745 A KR20130000745 A KR 20130000745A KR 20130000745 A KR20130000745 A KR 20130000745A KR 101480140 B1 KR101480140 B1 KR 101480140B1
Authority
KR
South Korea
Prior art keywords
terminal
application
container
dedicated
dedicated container
Prior art date
Application number
KR20130000745A
Other languages
English (en)
Other versions
KR20140088799A (ko
Inventor
정병곤
김일수
박인식
장봉철
Original Assignee
주식회사 비티비솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비티비솔루션 filed Critical 주식회사 비티비솔루션
Priority to KR20130000745A priority Critical patent/KR101480140B1/ko
Publication of KR20140088799A publication Critical patent/KR20140088799A/ko
Application granted granted Critical
Publication of KR101480140B1 publication Critical patent/KR101480140B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements

Abstract

멀티 인젝션 서버 및 그 방법이 개시된다. 본 발명의 일 실시 예에 따른 멀티 인젝션 서버는, 애플리케이션 실행환경을 갖는 컨테이너와, 로컬 세션을 통해 접속된 단말의 요청에 따라 애플리케이션 실행을 위한 컨테이너를 생성하고 생성된 컨테이너를 통해 애플리케이션을 실행하며 컨테이너에서 실행되는 애플리케이션의 입출력을 가로채는 멀티 인젝션 제어부와, 멀티 인젝션 제어부에서 획득된 출력화면을 단말에 제공하는 서비스 제공부를 포함한다.

Description

멀티 인젝션 서버 및 그 방법 {Multi injection server and method thereof}
본 발명은 가상화 기술에 관한 것으로, 보다 상세하게는 다수의 클라이언트에게 지연 없는 가상화 서비스를 제공할 수 있는 기술에 관한 것이다.
데이터 저장 공간 및 애플리케이션 등을 인터넷 공간에서 제공하는 가상 데스크톱 서비스는 대부분의 서비스가 서버에서 실행되고 그 서버에서 실행한 응용 프로그램 실행결과 화면을 네트워크를 통해 클라이언트가 수신하기 때문에, 클라이언트의 컴퓨팅 자원 사용량은 감소하고 그에 따라 클라이언트의 가격도 상대적으로 낮아진다.
그런데, 하나의 서버가 다수의 클라이언트를 대상으로 가상 데스크톱 서비스를 제공할 때에, 서버는 성능 과부하로 인해 각 클라이언트에게 자연스러운 출력 화면을 제공하지 못하게 된다. 이에 따라 다수의 클라이언트와의 연결을 제공하고 연결된 다수의 클라이언트에 지연 없는 서비스를 제공할 수 있는 기술이 요구된다.
일 실시 예에 따라, 다수의 클라이언트와의 원활한 연결을 제공하고 연결된 다수의 클라이언트에 지연 없는 가상화 서비스를 제공할 수 있는 멀티 인젝션 서버 및 그 방법을 제안한다.
일 실시 예에 따른 멀티 인젝션 서버는, 애플리케이션 실행환경을 갖는 컨테이너와, 로컬 세션을 통해 접속된 단말의 요청에 따라 애플리케이션 실행을 위한 컨테이너를 생성하고 생성된 컨테이너를 통해 애플리케이션을 실행하며 컨테이너에서 실행되는 애플리케이션의 입출력을 가로채는 멀티 인젝션 제어부와, 멀티 인젝션 제어부에서 획득된 출력화면을 단말에 제공하는 서비스 제공부를 포함한다.
멀티 인젝션 제어부는, 애플리케이션 별로 자신의 전용 컨테이너를 다중 생성하고, 애플리케이션 별 전용 컨테이너를 각각 이용하여 해당 애플리케이션들을 다중 실행하며, 다중 실행되는 각 애플리케이션의 입출력을 다중 제어할 수 있다.
멀티 인젝션 제어부는, 애플리케이션들이 각자의 전용 컨테이너를 통해 독립적인 프로세스 영역에서 실행되도록 다중 제어할 수 있다.
멀티 인젝션 제어부는, 단말의 요청에 따라 단말과의 연결 세션을 생성한 후 전용 컨테이너를 실행하고 아이피 주소와 포트 정보를 포함하는 실행 파라미터를 단말에 제공하며, 단말이 실행 파라미터를 이용하여 티씨피 접속하면 단말로부터의 사용자 입력을 연결 세션을 통해 전용 컨테이너에 전달함으로써 단말을 원격 제어할 수 있다.
멀티 인젝션 제어부는, 전용 컨테이너의 실행코드를 동적 링크 라이브러리 인젝션을 통해 가로채서 전용 컨테이너를 실행하고 동적 링크 라이브러리 인젝션을 통해 전용 컨테이너에서 실행되는 애플리케이션에 진입하여 애플리케이션 입출력을 가로챌 수 있다.
멀티 인젝션 제어부는 단말의 요청에 따라 단말과의 연결 세션을 생성한 후 전용 컨테이너를 실행하고 실행 파라미터를 단말에 제공하고, 단말이 실행 파라미터를 이용하여 티씨피 접속하면 윈도우 리스트 중에서 전용 컨테이너 윈도우 핸들을 검색하여 획득하고, 단말로부터의 사용자 입력을 연결 세션을 이용하여 첫째, 윈도우 메시지 형태로 전용 컨테이너 윈도우 핸들에 전달하거나, 둘째, 단말로부터의 사용자 입력을 티씨피를 통해 전용 컨테이너에 전송한 후 다이렉트 인풋방식으로 전용 컨테이너에서 실행 중인 애플리케이션에 전달하거나, 셋째, 단말로부터의 사용자 입력을 애플리케이션이 제공하는 OLE 인터페이스에 전달함으로써 단말을 원격 제어할 수 있다.
다른 실시 예에 따른 멀티 인젝션 서버의 멀티 인젝션 방법은, 로컬 세션을 이용하여 접속한 단말의 요청에 따라 애플리케이션 별로 전용 컨테이너를 다중 생성하고 다중 생성된 컨테이너를 통해 해당 애플리케이션을 다중 실행하는 단계와, 다중 실행되는 각 애플리케이션의 입출력을 가로채는 단계와, 가로챈 출력화면을 단말에 제공하는 단계를 포함한다.
입출력을 가로채는 단계는, 동적 링크 라이브러리 인젝션 또는 윈도우 프로시저를 이용하여 애플리케이션 입출력을 가로챌 수 있다.
추가 실시 예에 따라, 멀티 인젝션 서버의 멀티 인젝션 방법은, 컨테이너에서 실행된 애플리케이션의 최종 상태 데이터를 단말에 제공하는 단계와, 최종 상태 데이터를 제공받은 단말의 접속시에 단말로부터 최종 상태 데이터를 수신하면 애플리케이션을 최종 상태부터 시작하는 단계를 포함한다.
일 실시 예에 따르면, 가상화 데스크톱 서비스 제공 시에, 원격세션방식에 비해 중앙처리장치(CPU)의 점유율은 낮추고, 그래픽 처리장치(GPU)의 성능은 가속화(acceleration)시켜 지연 없이 자연스러운 서비스를 다수의 클라이언트에게 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 멀티 인젝션 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 도 1의 서버의 구성도,
도 3은 본 발명의 일 실시 예에 따른 도 1의 컨테이너의 구조,
도 4는 본 발명의 일 실시 예에 따라 게임 전용 컨테이너를 이용한 멀티 인젝션 기능을 설명하는 참조도,
도 5는 본 발명의 일 실시 예에 따라 게임 전용 컨테이너의 구조도,
도 6은 본 발명의 일 실시 예에 따라 웹 애플리케이션 전용 컨테이너를 이용한 멀티 인젝션 기능을 설명하는 참조도,
도 7은 본 발명의 일 실시 예에 따라 웹 전용 컨테이너의 구조도,
도 8은 본 발명의 일 실시 예에 따른 멀티 인젝션 기능을 이용한 입력제어 및 출력획득 프로세스를 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 멀티 인젝션 시스템(1)의 구성도이다.
도 1을 참조하면, 멀티 인젝션 시스템(1)은 네트워크(12)를 통해 연결되는 멀티 인젝션 서버(이하 '서버'라 칭함)(10)와 단말(14)을 포함한다.
단말(14)은 씬 클라이언트(thin client) 또는 제로 클라이언트(zero client)로서, 개인용 컴퓨터, 랩탑 컴퓨터, 스마트폰, 휴대 전화, IPTV(Internet Protocol Television), 셋탑 박스 등 다양한 이종의 사용자 단말일 수 있다. 도 1에는 3개의 단말이 도시되어 있으나, 단말의 개수는 이에 제한되지 않는다.
서버(10)는 네트워크를 통해 단말(14)과 연결되어 가상 데스크톱 서비스를 제공한다. 이때, 서버(10)는 단말(14)과의 통신을 통하여 단말(14)이 요청하는 애플리케이션을 실행하고, 애플리케이션 실행 결과를 나타내는 화면을 단말(14)에 제공한다. 애플리케이션이 멀티미디어 콘텐츠 재생 애플리케이션인 경우, 애플리케이션 실행 결과를 나타내는 화면은 멀티미디어 콘텐츠 재생 애플리케이션을 통해 재생되는 콘텐츠를 포함한다. 여기에서, 콘텐츠는, 텍스트, 비디오, 오디오, 멀티미디어 콘텐츠 등 다양한 형태의 데이터를 포함할 수 있다. 서버(10)는 고정형 컴퓨터 또는 이동형 컴퓨터로 구현될 수 있으며, 특정 타입의 장치로 제한되지 않는다.
서버(10)는 세션을 통해 연결된 단말(14)의 환경에 적합하도록 콘텐츠를 인코딩하여 제공할 수 있다. 또한, 서버(10)는 하나의 콘텐츠를 복수의 형식으로 병렬적으로 인코딩하여 인코딩된 화면을 멀티 세션을 통해 복수의 단말로 전송할 수 있다.
단말(14)은 로컬 세션(local session)을 통해 서버(10)에 접속한다. 원격 세션(remote session)이 서버(10) 내에서 열리는 세션으로 출력화면이 단말(14) 사용자에 의해 열리지 않는 것이라면, 로컬 세션은 단말(14)의 사용자가 로그인을 통해 서버(10)에 접속하여 마치 단말(14)에 화면이 열리는 것처럼 보이는 것을 의미한다.
도 2는 본 발명의 일 실시 예에 따른 도 1의 서버(10)의 구성도이다.
도 2를 참조하면, 서버(10)는 컨테이너(100), 멀티 인젝션 제어부(110) 및 서비스 제공부(120)를 포함한다.
멀티 인젝션 제어부(110)는 로컬 세션을 통해 접속된 단말(14)의 요청에 따라 애플리케이션 실행을 위한 컨테이너(100)를 생성하고 생성된 컨테이너(100)를 통해 애플리케이션을 실행하며 컨테이너(100)에서 실행되는 애플리케이션의 입출력을 가로챈다. 여기서, 가로채는 것을 인젝션(injection)이라 칭한다.
멀티 인젝션 제어부(110)는 멀티 인젝션(multi injection) 기능을 수행할 수 있는데, 멀티 인젝션은 하나의 서버(10)에 다중 사용자 접속을 가능하게 하는 것으로, 애플리케이션 별로 전용 컨테이너를 다중 생성하고, 애플리케이션 별 전용 컨테이너를 이용하여 해당 애플리케이션들을 다중 실행하며, 다중 실행되는 각 애플리케이션의 입출력을 다중 제어할 수 있다.
멀티 인젝션 제어부(110)는 3D게임, 플래쉬, 웹 등의 애플리케이션을 각자의 전용 컨테이너(100)에서 실행시키고 실행된 애플리케이션의 출력화면과 입력처리를 가로채는 방식으로 다중 애플리케이션을 원격 제어한다. 3D게임, 플래쉬, 웹 등의 애플리케이션 등은 하드웨어 가속(acceleration)이 가능하여 서버(10)의 하드웨어 자원을 최대한 활용할 수 있으므로, 지연 없는 그래픽 화면을 자연스럽게 구현할 수 있다.
서비스 제공부(120)는 멀티 인젝션 제어부(110)에서 획득된 출력화면을 단말(14)에 제공한다. 이때 서비스 제공부(120)는 멀티 인젝션 제어부(110)를 통해 각자의 전용 컨테이너에서 실행되는 애플리케이션에 대해 획득된 출력화면을 세션 인코딩한 후 클라이언트인 단말(14)에 스트리밍 전송할 수 있다. 단말(14)을 통한 사용자 입력은 멀티 인젝션 제어부(110)를 통해 전용 애플리케이션에 전송된다.
이하, 멀티 인젝션 제어부(110)의 기능에 대해 상세히 후술한다.
멀티 인젝션 제어부(110)는 애플리케이션들을 다중 실행한다. 예를 들어, 3D게임, 플래쉬 애플리케이션, 웹 애플리케이션 등을 동시에 실행할 수 있다.
멀티 인젝션 제어부(110)는 애플리케이션 별로 자신의 전용 컨테이너에서 애플리케이션을 실행한다. 예를 들어, 3D게임은 DirectX 컨테이너에서, 플래쉬 애플리케이션은 플래쉬 컨테이너에서, 웹 애플리케이션은 웹 컨테이너에서 각각 독립적으로 실행할 수 있다.
멀티 인젝션 제어부(110)는 전용 컨테이너의 실행코드 인젝션을 통해 입출력 제어권을 획득할 수 있다. 즉, 전용 컨테이너를 실행시키는 주체인 멀티 인젝션 제어부(110)는 전용 컨테이너(예: DirectX, 플래쉬 및 웹 전용 컨테이너)의 실행코드 일부를 가로채어 비디오 및 오디오 등의 출력을 획득하고 입력 제어권을 획득한다.
일 실시 예에 따라, 멀티 인젝션 제어부(110)는 전용 컨테이너에서 애플리케이션을 실행하고 입출력 제어를 위해 동적 링크 라이브러리(Dynamic Link Library: 이하 DLL이라 칭함) 인젝션 기술을 사용하여 입출력을 가로챈다. 한편, 다중 실행된 애플리케이션은 자신의 전용 컨테이너를 통해 독립적인 프로세스 영역에서 실행되도록 보장한다.
멀티 인젝션 제어부(110)는 독립적인 프로세스 영역에서 실행된 애플리케이션의 입력을 제어하고 비디오, 오디오 출력을 획득하기 위해서 전용 컨테이너를 사용한다. 그리고, 전용 컨테이너를 다중 생성하고 감시하며, 리셋 및 종료를 제어한다.
컨테이너(100)는 멀티 인젝션 제어부(110)에 의해 프로세스로 실행된다. 멀티 인젝션 제어부(110)는 현재 연결된 단말과의 연결해제 등과 같은 이유로 인해 컨테이너(100)에 재연결하거나 초기화한 후 다른 단말과의 연결을 위해 대기할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 도 1의 컨테이너(100)의 구조도이다.
도 3을 참조하면, 전용 컨테이너(100)는 애플리케이션 별로 생성되고, 애플리케이션 별 전용 컨테이너(100)는 실행된 애플리케이션에 DLL 인젝션 방식으로 진입하여 입력(Inputs)과 출력(0utputs)을 가로챌 수 있다. 만약 DLL 인젝션 방식을 통해 입출력 제어가 불가능한 경우, 윈도우즈 프로시저(Windows procedure) 방식을 통해 애플리케이션에 진입하여 입력과 출력을 가로챌 수도 있다. 이하 도 4 내지 도 7을 통해 다양한 전용 컨테이너를 이용한 멀티 인젝션 기능에 대해 상세히 후술한다.
도 4는 본 발명의 일 실시 예에 따라 게임 전용 컨테이너(100a)를 이용한 멀티 인젝션 기능을 설명하는 참조도이다.
도 4를 참조하면, 멀티 인젝션 제어부(110)는 3D게임 등과 같은 게임 애플리케이션을 실행하고 입출력 제어를 위해 DLL 인젝션 기술을 사용하여 애플리케이션 입출력을 가로챈다. 이때, 멀티 인젝션 제어부(110)는 전송 제어 프로토콜(transmission control protocol: 이하 TCP라 칭함)에 기반하여 사용자 입력을 제어하고, DriectX에 기반하여 출력을 획득할 수 있다. 게임 애플리케이션은 게임 전용 컨테이너(100a)를 통해 독립적인 프로세스 영역에서 실행되도록 보장된다.
멀티 인젝션 제어부(110)는 독립적인 프로세스 영역에서 실행된 게임의 입력을 제어하고 비디오, 오디오 등의 출력을 획득하기 위해서 도 4에 도시된 바와 같이 게임 전용 컨테이너(100a)를 사용한다. 입력은 예를 들어, 키보드, 마우스, 조이스틱 등을 통한 사용자 입력이다. 멀티 인젝션 제어부(110)는 게임 전용 컨테이너들을 다중 생성하고 다중 생성된 게임 전용 컨테이너들을 동시에 제어할 수 있는데, 예를 들어 감시, 리셋 및 종료 등을 제어할 수 있다.
게임 전용 컨테이너(100a)는 멀티 인젝션 제어부(110)에 의해 프로세스로 독립적으로 실행된다. 멀티 인젝션 제어부(110)는 현재 연결된 단말과의 연결해제 등과 같은 이유로 인해 게임 전용 컨테이너(100a)에 재연결하거나, 초기화한 후 다른 단말과의 연결을 위해 대기할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 게임 전용 컨테이너의 구조도이다.
도 5를 참조하면, 멀티 인젝션 제어부(110)는 게임 전용 컨테이너(100a)에서 실행된 게임에 DLL 인젝션 방식으로 진입하여 입력과 출력을 가로챌 수 있다. 만약 DLL 인젝션 방식을 통해 제어가 되지 않는 경우, 윈도우즈 프로시저 방식을 통해 게임에 진입하여 입력과 출력을 가로챌 수도 있다.
멀티 인젝션 제어부(110)는 DLL 인젝션 방식을 활성화하기 위해서 예를 들어 게임 전용 컨테이너 실행코드 DirectXContainer.exe “C:\Program Files\ Game\DX3D_Game.exe”를 실행할 수 있다.
멀티 인젝션 제어부(110)의 DLL 인젝션 방식을 통한 게임 전용 컨테이너(100a)의 입출력 제어를 예를 들면, 화면출력 제어를 위해 Direct3D SDK에서 제공하는 EndScene()과 같은 함수를 대체한다. 음향출력 제어를 위해서는 DirectSound SDK에서 제공하는 DirectSoundCreate()와 같은 함수를 대체한다. 입력 제어를 위해서는 DirectInput SDK에서 제공하는 CreateDevice()와 같은 함수를 대체한다.
도 6은 본 발명의 일 실시 예에 따라 웹 애플리케이션 전용 컨테이너(100b)를 이용한 멀티 인젝션 기능을 설명하는 참조도이다.
멀티 인젝션 제어부(110)는 웹 브라우저 실행을 지원하는데, 독립적인 프로세스 영역에서 실행된 웹 브라우저의 입력을 제어하고 비디오, 오디오 출력을 획득하기 위해서 게임 전용 컨테이너와 유사한 웹 전용 컨테이너(100b)를 사용한다. 멀티 인젝션 제어부(110)는 웹 전용 컨테이너를 다중 생성하고 감시, 리셋 및 종료를 수행한다.
도 7은 본 발명의 일 실시 예에 따라 웹 전용 컨테이너의 구조도이다.
도 7을 참조하면, 웹 전용 컨테이너(100b)는 게임 전용 컨테이너와 동일하게 DLL 인젝션 방식으로 실행된 웹 애플리케이션에 진입하여 출력을 가로챌 수 있으며 그 기능을 대체하지만, 입력제어를 위해서 윈도우 프로시저 방식을 사용할 수 있다.
멀티 인젝션 제어부(110)는 DLL 인젝션 방식을 활성화하기 위해서 예를 들어 게임 전용 컨테이너 실행코드 WebContainer.exe “http://www.naver.com”를 실행할 수 있다.
멀티 인젝션 제어부(110)는 웹 전용 컨테이너의 출력제어를 위해 DLL 인젝션 방식을 사용하고, 입력제어를 위해 윈도우 프로시저 방식을 사용할 수 있다. 예를 들어, 화면출력 제어를 위해서는 Direct3D SDK에서 제공하는 EndScene()와 같은 함수를 대체한다. 음향출력 제어를 위해서는 DirectSound SDK에서 제공하는 DirectSoundCreate()와 같은 함수를 대체한다. 입력 제어를 위해서는 Win32 SDK에서 제공하는 SendMessage() 함수, DirectInput() 관련 함수 또는 애플리케이션에서 제공하는 OLE(OBJECT LINKING AND EMBEDDING) 인터페이스를 사용한다.
도 4 내지 7을 참조로 하여 전술한 설명을 토대로 멀티 인젝션 서버의 각 전용 컨테이너에서 실행되는 애플리케이션의 입출력 제어를 표로 정리하면 다음과 같다.
모듈 항목
게임 전용 컨테이너 [입력제어] DirectInput을 대체하고 사용자가 게임입력을 제어
[화면출력제어] Direct3D를 대체하고 화면출력을 획득
[음향출력제어] DirectSound를 대체하고 음향출력을 획득
[각종게임시험] 서비스 대상 게임에 대한 DLL Injection을 시험
[통제] 멀티 인젝션 제어부와 연결하고 생성, 제어, 리셋 및 종료
웹 전용 컨테이너 [입력제어] Windows Procedure방식으로 사용자가 웹을 제어
[화면출력제어] Direct3D를 대체하고 화면출력을 획득
[음향출력제어] DirectSound를 대체하고 음향출력을 획득
[통제] 멀티 인젝션 제어부와 연결하고 생성, 제어, 리셋 및 종료
플래쉬 전용 컨테이너 [입력제어] Windows Procedure 방식, 또는 OLE인터페이스로 사용자가 Flash를 제어
[화면출력제어] Direct3D를 대체하고 화면출력을 획득
[음향출력제어] WaveOut을 대체하고 음향출력을 획득
[통제] 멀티 인젝션 제어부와 연결하고 생성, 제어, 리셋 및 종료
멀티 인젝션 제어부 [관리] 전용 컨테이너를 생성하고 연결 및 통제
[통합] 멀티 인젝션 기능을 멀티 인젝션 서버 프로세스에 통합
[인코딩] 전용 컨테이너의 비디오와 오디오를 인코딩
[입력중계] 단말로부터 사용자 입력을 전용 컨테이너에 전달
도 8은 본 발명의 일 실시 예에 따른 멀티 인젝션 기능을 이용한 입력제어 및 출력획득 프로세스를 도시한 흐름도이다.
도 8을 참조하면, TCP 기반 입력제어를 위해 단말(14) 사용자가 멀티 인젝션 서버(10)에 접속을 요청(800)하면, 서버(10)는 단말(14) 사용자를 위한 연결 세션을 생성(810)한 후 전용 컨테이너를 실행(820)하면서 실행 파라미터로 멀티 인젝션 서버 정보로써 아이피(ip) 주소와 포트(port) 정보를 단말(14)에 제공한다(830). 이어서, 전용 컨테이너가 실행되면 단말(14)은 실행 파라미터를 참조하여 서버(10)에 TCP 접속한다(840). 사용자를 위한 연결 세션을 통해 전용 컨테이너의 접속에 대한 통로가 생성된다. 이어서, 서버(10)는 컨테이너에서 실행되는 애플리케이션의 입출력을 가로채는데, 사용자가 입력한 키보드, 마우스 등의 입력은 사용자 연결 세션을 통해 전용 컨테이너에 전달됨으로써 서버(10)의 원격 제어가 가능하다(850). 이어서, 서버(10)는 출력 화면을 단말(14)에 제공한다(860).
다른 실시 예에 따라 윈도우 프로시저 기반 입력제어를 위해, 서버(10)는 전술한 TCP 기반 입력 제어절차를 기본적으로 실행한 후 윈도우 프로시저 기반 입력제어를 실행한다. 이때, 전용 컨테이너에서 실행하는 애플리케이션이 Direct Input을 사용하지 않는 경우 윈도우 프로시저 방식으로 입력을 제어할 수 있다. 이를 위해, 서버(10)는 윈도우 리스트 중에서 전용 컨테이너 윈도우 핸들을 검색하여 획득한다. 그리고, 사용자가 입력한 키보드, 마우스 등의 입력은 사용자 연결 세션을 통해 윈도우 메시지 형태로 전용 컨테이너 윈도우 핸들에 전송하여 원격 제어가 가능하다. 또는, 단말(14)로부터의 사용자 입력을 TCP를 통해 전용 컨테이너에 전송한 후 다이렉트 인풋방식(Direct Input)으로 전용 컨테이너에서 실행 중인 애플리케이션에 전달할 수 있다. 또는, 사용자 입력을 애플리케이션이 제공하는 OLE 인터페이스에 전달함으로써 단말(14)을 원격 제어할 수 있다.
한편, 서버(10)의 애플리케이션 출력 획득은 비디오와 오디오 출력으로 구분된다. 출력 획득을 위해서 서버(10)는 전용 컨테이너의 실행코드를 가로채고, EndScene() 함수, WaveOut() 함수 등의 절대실행번지에 미리 준비한 함수로 대체한다.
일 실시 예에 따라, 비디오 화면의 출력제어를 위해, 서버(10)는 EncScene()함수를 대체하여 비디오 화면을 비트맵 버퍼(Bitmap Buffer) 등으로 획득한 후 이를 사용자 연결 세션마다 고유한 비디오 공유 메모리에 기록한다. 그리고, 사용자 연결 세션을 통해 공유 메모리에 저장된 비디오 화면을 H.264 등으로 인코딩한 후 단말(14)에 스트리밍 전송한다.
일 실시 예에 따라, 오디오 출력 제어를 위해, 서버(10)는 WaveOut()함수를 대체하여 오디오 데이터를 PCM(Pulse code modulation) 등으로 획득한 후 이를 사용자 연결 세션마다 고유한 오디오 공유 메모리에 기록한다. 그리고, 사용자 연결 세션을 통해 공유 메모리에 기록된 오디오 데이터를 고급 오디오 부호화(AAC: Advanced Audio Coding) 등으로 인코딩한 후 단말(14)에 스트리밍 전송한다.
추가 실시 예에 따라, 서버(10)는 컨테이너에서 실행된 애플리케이션의 최종 상태 데이터를 단말(14)에 제공하며, 단말(14)은 이를 저장한다. 이후, 단말(14)이 서버(14)에 접속하여 최종 상태 데이터를 서버(10)에 전송하면, 서버(10)는 애플리케이션을 처음 상태가 아닌 최종 상태부터 시작할 수 있다. 이는 비정상적 상황으로 연결이 끊긴 경우에 가능하다. 나아가, 정상적인 상황에서도 최종 상태부터 재시작하는 경우에도 사용될 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1 : 멀티 인젝션 시스템 10 : 멀티 인젝션 서버
14 : 단말 100 : 컨테이너
110 : 멀티 인젝션 제어부 120 : 서비스 제공부

Claims (9)

  1. 삭제
  2. 애플리케이션 실행환경을 갖는 컨테이너;
    로컬 세션을 통해 접속된 단말의 요청에 의해 애플리케이션의 종류 별로 각자의 전용 컨테이너를 구분하여 다중 생성하고 애플리케이션 별 전용 컨테이너를 통해 해당 애플리케이션들을 다중 실행하며, 구분된 전용 컨테이너의 종류에 따라 서로 상이한 방식으로 각 전용 컨테이너의 입출력을 가로채는 멀티 인젝션 제어부; 및
    상기 멀티 인젝션 제어부에서 획득된 출력화면을 상기 단말에 제공하는 서비스 제공부;
    를 포함하는 것을 특징으로 하는 멀티 인젝션 서버.
  3. 제 2 항에 있어서, 상기 멀티 인젝션 제어부는,
    애플리케이션들이 각자의 전용 컨테이너를 통해 독립적인 프로세스 영역에서 실행되도록 다중 제어하는 것을 특징으로 하는 멀티 인젝션 서버.
  4. 제 2 항에 있어서, 상기 멀티 인젝션 제어부는,
    단말의 요청에 따라 단말과의 연결 세션을 생성한 후 전용 컨테이너를 실행하고 아이피 주소와 포트 정보를 포함하는 실행 파라미터를 단말에 제공하며, 상기 단말이 실행 파라미터를 이용하여 티씨피 접속하면 단말로부터의 사용자 입력을 연결 세션을 통해 전용 컨테이너에 전달함으로써 단말을 원격 제어하는 것을 특징으로 하는 멀티 인젝션 서버.
  5. 제 2 항에 있어서, 상기 멀티 인젝션 제어부는,
    전용 컨테이너의 실행코드를 동적 링크 라이브러리 인젝션을 통해 가로채서 전용 컨테이너를 실행하고 동적 링크 라이브러리 인젝션을 통해 전용 컨테이너에서 실행되는 애플리케이션에 진입하여 애플리케이션 입출력을 가로채는 것을 특징으로 하는 멀티 인젝션 서버.
  6. 제 2 항에 있어서, 상기 멀티 인젝션 제어부는,
    단말의 요청에 따라 단말과의 연결 세션을 생성한 후 전용 컨테이너를 실행하고 실행 파라미터를 단말에 제공하며, 상기 단말이 실행 파라미터를 이용하여 티씨피 접속하면 윈도우 리스트 중에서 전용 컨테이너 윈도우 핸들을 검색하여 획득하고, 단말로부터의 사용자 입력을 연결 세션을 이용하여 윈도우 메시지 형태로 전용 컨테이너 윈도우 핸들에 전달하거나, 단말로부터의 사용자 입력을 티씨피를 통해 전용 컨테이너에 전송한 후 다이렉트 인풋방식으로 전용 컨테이너에서 실행 중인 애플리케이션에 전달하거나, 단말로부터의 사용자 입력을 애플리케이션이 제공하는 OLE 인터페이스에 전달함으로써 단말을 원격 제어하는 것을 특징으로 하는 멀티 인젝션 서버.
  7. 로컬 세션을 이용하여 접속한 단말의 요청에 의해 애플리케이션의 종류 별로 전용 컨테이너를 구분하여 다중 생성하고 애플리케이션 별 전용 컨테이너를 통해 해당 애플리케이션을 다중 실행하는 단계;
    구분된 전용 컨테이너의 종류에 따라 서로 상이한 방식으로 각 전용 컨테이너의 입출력을 가로채는 단계; 및
    가로챈 출력화면을 상기 단말에 제공하는 단계;
    를 포함하는 것을 특징으로 하는 멀티 인젝션 서버의 멀티 인젝션 방법.
  8. 제 7 항에 있어서, 상기 입출력을 가로채는 단계는,
    동적 링크 라이브러리 인젝션 또는 윈도우 프로시저를 이용하여 애플리케이션 입출력을 가로채는 것을 특징으로 하는 멀티 인젝션 서버의 멀티 인젝션 방법.
  9. 제 7 항에 있어서,
    컨테이너에서 실행된 애플리케이션의 최종 상태 데이터를 상기 단말에 제공하는 단계; 및
    최종 상태 데이터를 제공받은 단말의 접속시에 상기 단말로부터 최종 상태 데이터를 수신하면 애플리케이션을 최종 상태부터 시작하는 단계;
    를 더 포함하는 것을 특징으로 하는 멀티 인젝션 서버의 멀티 인젝션 방법.
KR20130000745A 2013-01-03 2013-01-03 멀티 인젝션 서버 및 그 방법 KR101480140B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130000745A KR101480140B1 (ko) 2013-01-03 2013-01-03 멀티 인젝션 서버 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130000745A KR101480140B1 (ko) 2013-01-03 2013-01-03 멀티 인젝션 서버 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140088799A KR20140088799A (ko) 2014-07-11
KR101480140B1 true KR101480140B1 (ko) 2015-01-07

Family

ID=51737186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130000745A KR101480140B1 (ko) 2013-01-03 2013-01-03 멀티 인젝션 서버 및 그 방법

Country Status (1)

Country Link
KR (1) KR101480140B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216972A1 (ko) * 2017-05-23 2018-11-29 주식회사 엔젠소프트 컨테이너 기술 기반의 시스템 전환 장치 및 방법
KR101974974B1 (ko) * 2017-05-23 2019-05-07 주식회사 엔젠소프트 컨테이너 기술 기반의 시스템 전환 장치 및 방법
KR102568415B1 (ko) * 2021-04-28 2023-08-21 (주)이머시브캐스트 Hmd 기반의 pc 게임 확장 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065833A (ko) * 2003-01-16 2004-07-23 정연억 가상장치를 통한 서버 무선단말기간의 애플릿의 실행 이미지 전송방식에 관한 방법 및 시스템
JP2008181387A (ja) 2007-01-25 2008-08-07 Nec Corp Ｉ／ｏバスシステム及びその管理方法
KR20120033450A (ko) * 2010-09-30 2012-04-09 에스케이플래닛 주식회사 단말기에 따른 적응적 화면 가상화 방법 및 시스템
KR20120072904A (ko) * 2010-12-24 2012-07-04 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065833A (ko) * 2003-01-16 2004-07-23 정연억 가상장치를 통한 서버 무선단말기간의 애플릿의 실행 이미지 전송방식에 관한 방법 및 시스템
JP2008181387A (ja) 2007-01-25 2008-08-07 Nec Corp Ｉ／ｏバスシステム及びその管理方法
KR20120033450A (ko) * 2010-09-30 2012-04-09 에스케이플래닛 주식회사 단말기에 따른 적응적 화면 가상화 방법 및 시스템
KR20120072904A (ko) * 2010-12-24 2012-07-04 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템

Also Published As

Publication number Publication date
KR20140088799A (ko) 2014-07-11

Similar Documents

Publication Publication Date Title
US10915983B2 (en) System for distributed virtualization of GPUs in desktop cloud
US10887354B2 (en) Media optimization of browser-based real-time communications applications in a virtual desktop environment
US9549152B1 (en) Application content delivery to multiple computing environments using existing video conferencing solutions
US9532103B2 (en) Multi-user support for set top boxes and game consoles
US9135052B2 (en) Distributed multiple monitor display split using multiple client devices in a virtualization system
US11128903B2 (en) Systems and methods of orchestrated networked application services
US20120212575A1 (en) Gateway/stb interacting with cloud server that performs high end video processing
WO2022227938A1 (zh) 一种云游戏的处理方法、装置、设备及存储介质
US10983810B2 (en) Implementing web browser in virtual machine
US20180213274A1 (en) Apparatus and method for playing back and seeking media in web browser
US11108840B2 (en) Transport layer network service for live content broadcasting
US10389832B2 (en) Remote casting of media content
US11321931B2 (en) Creating cloud-hosted, streamed augmented reality experiences with low perceived latency
WO2018072650A1 (zh) 移动终端与iptv进行交互的实现方法、装置及平台
CN113926185A (zh) 一种数据处理方法、装置、设备及存储介质
KR20180086112A (ko) 웹 브라우저에서 미디어를 재생하고 탐색하는 장치 및 방법
KR101480140B1 (ko) 멀티 인젝션 서버 및 그 방법
US10547713B2 (en) Method and system of transmitting state based input over a network
US20160092037A1 (en) Computer-Implemented Methods, Computer Readable Media, And Systems For Distributed Processing
US9954718B1 (en) Remote execution of applications over a dispersed network
US20210154576A1 (en) Vector graphics-based live streaming of video games
US20240020081A1 (en) Multimedia redirection in collaborative sessions on virtual desktops
KR20130109904A (ko) 멀티스크린 기반의 다차원 게임 서비스 방법 및 그 장치
US10645444B2 (en) Accessing web content in offline mode
US11013994B2 (en) Method for playing back applications from a cloud, telecommunication network for streaming and for replaying applications (APPs) via a specific telecommunication system, and use of a telecommunication network for streaming and replaying applications (APPs)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee