KR20160000887A - 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템 - Google Patents

모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템 Download PDF

Info

Publication number
KR20160000887A
KR20160000887A KR1020140077260A KR20140077260A KR20160000887A KR 20160000887 A KR20160000887 A KR 20160000887A KR 1020140077260 A KR1020140077260 A KR 1020140077260A KR 20140077260 A KR20140077260 A KR 20140077260A KR 20160000887 A KR20160000887 A KR 20160000887A
Authority
KR
South Korea
Prior art keywords
service
mobile cloud
network
information
cloud service
Prior art date
Application number
KR1020140077260A
Other languages
English (en)
Other versions
KR101585775B1 (ko
Inventor
홍충선
허림
고람 라비울 알람 엠디
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140077260A priority Critical patent/KR101585775B1/ko
Publication of KR20160000887A publication Critical patent/KR20160000887A/ko
Application granted granted Critical
Publication of KR101585775B1 publication Critical patent/KR101585775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 전송 시스템을 개시한다. 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법은 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집하는 과정과, 상기 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하는 과정 및 상기 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 콘텐츠 전송 서비스를 제공하는 과정을 포함한다.

Description

모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템{CONTEXT-AWARE CONTENT PROVIDING SYSTEM FOR QOS IN MOBILE CLOUD SYSTEM}
모바일 클라우드에 관한 것으로서, 모바일 클라우드 시스템에서 서비스 품질 유지를 위한 상황인지 기반의 콘텐츠 제공 시스템에 관한 것이다.
최근, 클라우드 서비스를 통한 콘텐츠 서비스, 예를 들어 영화, 음악, 어플리케이션 다운로드와 같은 콘텐츠 서비스가 증가하고 있다.
특히, 모바일 단말을 통한 클라우드 서비스 이용이 폭발적으로 증가하고 있는 추세이다.
따라서, 상황인지 기반의 모바일 클라우드에 있어서, 신뢰성이 높거나 QoS(Quality of Service)가 보장되는 콘텐츠 전송 프레임워크가 요구된다.
이때, 모바일 클라우드는 기기의 종류와 OS의 종류와는 상관없이 N스크린 지향성의 모바일 클라우드 컴퓨팅 환경을 제공하여, 기존의 클라우드 서비스를 제공함과 동시에 단말 자원 재 사용을 위한 디바이스로서의 서비스(DaaS : Device as a Service)를 위한 클라우드 기술을 말한다.
한국 공개특허 제2013-0070489호(2013.06.27), "개방형 모바일 클라우드를 위한 협업 미들웨어 장치 및 서비스 방법" 한국 공개특허 제2014-0022078호(2014.02.21), "콘텐츠 중심 네트워크에서의 무결절 이동성 기법들을 위한 방법 및 장치" 한국 공개특허 제2012-0060565호(2012.06.12), "콘텐츠-중심적인 네트워크로의 점진적인 전환을 위한 방법 및 이를 기반으로 하는 네트워크 시스템 " 한국 공개특허 제2010-0112742호(2010.10.20), "강화 학습을 위한 행위-기반 구조 "
본 발명의 실시예의 목적은, 모바일 클라우드 환경에서 효율적인 콘텐츠 전송을 위해 상황을 인지할 수 있는 방법 및 시스템을 제공하는 것이다.
또한, 본 발명의 실시예의 목적은 모바일 클라우드 환경에서 콘텐츠 제공에 대한 QoS를 보장하는 콘텐츠 전송 프레임워크를 제공하는 것이다.
일 실시예에 따른 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법은 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집하는 과정; 상기 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하는 과정; 및 상기 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 콘텐츠 전송 서비스를 제공하는 과정을 포함한다.
또한, 일 실시예에 따른 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법은, 네트워크 엔티티(Network entity)의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 이벤트 메시지를 수신하는 단계; 상기 이벤트 메시지에 대응하는 새로운 플로우 테이블(flow table)을 생성하고, 상기 새로운 플로우 테이블을 상기 네트워크 엔티티로 전송하는 단계; 및 상기 네트워크 엔티티를 통해 상기 이벤트 메시지에 대응하는 서비스를 제공하는 단계를 포함한다.
또한, 일 실시예에 따른 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법은, 모바일 클라우드 서비스를 위한 네트워크의 성능에 대한 정보, 콘텐츠 전달 지연에 대한 정보 및 네트워크 처리량에 대한 정보를 포함하는 환경 정보를 획득하는 단계; 기 설정된 기준값들과 상기 획득된 환경 정보를 비교하여 보상 값과 패널티 값을 결정하는 단계; 및 상기 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성하는 단계를 포함한다.
이때, 상기 보상 값은 네트워크 데이터 처리량(Network Throughput), 콘텐츠의 전송 시간(Content Delivery Time), 네트워크에서 발생하는 오버헤드 값(Overhead in the network), 상기 모바일 클라우드 서비스의 사용자 접속 네트워크의 데이터 처리량(Access network throughput) 중 적어도 어느 하나를 고려하여 결정될 수 있다.
본 발명의 일 실시예에 따르면, 모바일 클라우드 환경에서 효율적인 콘텐츠 전송을 위해 상황을 인지할 수 있는 방법 및 시스템을 제공된다.
또한, 본 발명의 일 실시예에 따르면, 모바일 클라우드 환경에서 콘텐츠 제공에 대한 QoS를 보장하는 콘텐츠 전송 프레임워크를 제공된다.
또한, 본 발명의 일 실시예에 따르면, CCN을 사용하지 않는 클라우드환경에서도, SDN 기법을 이용하여 노드 이동시 제어평면 메시지를 줄인 새로운 경로를 제공할 수 있으며, 이를 이용하여 좀 더 이동성에 적합한 네트워크를 제공할 수 있다.
도 1은 콘텐츠 중심 네트워크의 콘텐츠 전송 동작을 설명하기 위한 예시도이다.
도 2는 SDN의 개념을 설명하기 위한 예시도이다.
도 3은 일 실시예에 따른 상황인지 기반 콘텐츠 전송 프레임워크를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 서버의 구성을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 상황인지 기반 콘텐츠 제공 시스템의 콘텐츠 전송 시나리오의 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
도 7은 다른 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
도 8은 또 다른 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
기존의 클라우드 컴퓨팅 환경에서는 이동 노드가 이동하게 되면, 클라우드 내부에 콘텐츠 재전송과 이동노드를 처리하기 위한 제어평면(Control Plane) 메시지가 증가하고, 콘텐츠 요청 메시지가 다시 서버에게 전달되는 문제점이 있다. 따라서, 본 발명의 일 실시예는 이러한 문제점을 해결하기 위해, 모바일 클라우드에서 소프트웨어 정의 네트워크(SDN: Software Defined Network)기반 콘텐츠 전송 프레임워크를 제안하고, 문제점을 해결하기 위해 강화학습을 적용시킨 콘텐츠 전송방법을 제안하고자 한다.
강화학습은 에이전트가 어떤 행위를 선택하여 얻게되는 시행착오를 통해 주어진 환경(state)을 학습하고, 정해진 정책에 따라 행동(action)을 결정하고 실행한다. 행동에 따라 얻게 되는 보상(reward)을 기초로 행동정책을 수정해가면서 학습하는 기계학습의 일종이다.
도 1은 콘텐츠 중심 네트워크의 콘텐츠 전송 동작을 설명하기 위한 예시도이다.
콘텐츠 중심 네트워크(CCN: Contents Centric Network)는 미래 인터넷 연구의 일부분으로, IP(Internet Protocol)대신 컨텐츠를 이용한 데이터 통신을 통해, 현재 인터넷에서 발생되고 있는 메시지 복제 문제를 해결하는 것을 목적으로 하고 있다.
CCN에서 각 노드들은 데이터 통신을 위해 요청 메시지인 Interesting Packet과 요청에 대한 응답 메시지인 Data Packet을 통해 통신한다.
그리고 Data Packet을 통해 전달된 컨텐츠는 CCN 라우터의 컨텐츠 스토어에 저장된다. 따라서, CCN 라우터에 이전에 저장된 컨텐츠에 대한 Interesting Packet이 전달되면, 라우터는 컨텐츠 목록을 검색하여 컨텐츠 목록에서 요청된 컨텐츠가 검색되면 요청한 곳으로 Data Packet을 전달할 수 있다.
도 1을 참조하면, (1)은 Client 1이 콘텐츠를 요청하는 경우를 나타낸다. 도 1의 (1)을 참조하면, Client 1은 Interesting packet을 통해 네트워크에 콘텐츠를 요청(Data Request)하고, Interesting packet은 요청된 콘텐츠를 가지고 있는 노드 A까지 전달된다.
도 1의 (2)는 소스 노드인 A로부터 Client 1에 콘텐츠가 전달되는 과정을 나타낸다. 도 1의 (2)를 참조하면, CCN의 라우터 A는 요청된 콘텐츠를 서버(110)로부터 수신하고, 콘텐츠를 Interesting Packet의 역순으로 Client 1에게 전달한다.
도 1의 (2)에서 각 CCN 라우터들(A, B, D, H)은 컨텐츠를 전송 할 때마다 자신의 캐쉬에 컨텐츠를 저장한다.
이때, 도 1의 (3)과 같이 Client 2가 Client 1과 동일한 컨텐츠를 요청하면, Interesting Packet은 CCN 라우터 D에게 전달된다. CCN 라우터 D는
이미 요청된 컨텐츠를 자신의 캐쉬에 저장하고 있기 때문에 도 1의 (4)와 같이 Data Packet을 Client2에게 전달하게 된다. 이러한 전달 방법을 통해 CCN은 기존의 IP 네트워크에서 발생할 수 있는 자원 중복 복제의 문제점을 해결할 수 있다.
도 2는 SDN의 개념을 설명하기 위한 예시도이다.
SDN은 종래 네트워크가 폐쇄적이라는 문제점을 개선하기 위해 미국의 Stanford 대학에서 Openflow를 최초로 개발한 후 이를 기반으로 네트워크에 소프트웨어 개념을 접목시킨 SDN이 개발되었다. SDN을 통해 네트워킹 기술을 컴퓨팅 기술로 모델링하고, 소프트웨어 프로그램에 의해 네트워크 제어 및 관리가 가능하게 되었다.
SDN에서, 중앙 컨트롤러인 SDN controller(230)는 전체 네트워크를 관리할 수 있고 모든 네트워크 경로와 장비 기능에 대한 정보가 하나의 애플리케이션에 위치할 수 있다. 따라서, SDN controller는 발신지(210)와 목적지(220) 주소를 기반으로 경로를 계산하고 여러 트래픽 유형에 대해 다양한 네트워크 경로를 사용할 수 있으며, 네트워크 환경의 변화에 신속하게 대응할 수 있다.
도 3은 일 실시예에 따른 상황인지 기반 콘텐츠 전송 프레임워크를 설명하기 위한 도면이다.
클라우드 서비스를 제공하는 클라우드 서비스 서버는 복수의 Virtual Machine들을 포함하고, SDN의 Hypervisor를 포함할 수 있다.
이때, 복수의 Virtual Machine들 각각은 SDN VM(Virtual Machine), Content Management Package, Learning Engine(LE) 및 Service Analyzer를 포함할 수 있다.
LE는 본 발명의 실시예에 따라, QoS를 보장하는 콘텐츠 전송을 위해 네트워크 오버헤드, 네트워크 throughput, 콘텐츠 전송시간뿐만이 아니라, 서비스의 종류, 사용하고 있는 네트워크의 성능 등을 고려하여 최적화된 콘텐츠 전송 방법을 선택할 수 있다.
사용자가 사용하는 서비스에 대한 정보는 SDN Agent를 통해 Service Analyzer에 수집되고, 수집된 서비스 정보는 LE에 전달되어 활용될 수 있다.
이때, 서비스에 대한 정보는 예를 들어, CCN 또는 IP 기반 전송을 통해 서비스를 제공 받고 있는지 여부, 제공 받고 있는 콘텐츠 서비스의 종류 등을 포함할 수 있다.
또한, 콘텐츠 서비스는 TCP/IP 전송을 사용하였을 때 더 좋은 효율을 가지는 Non-Content Service (SMS, e-mail etc)와 CCN 콘텐츠 전송 기법을 사용하였을 때 더 좋은 전송 효율을 가지는 Content Service (동영상 스트리밍, 대용량 데이터 전송 등)으로 구분 될 수 있다.
도 3을 참조하면, 콘텐츠 전송을 위해 사용자 단말(UE)이 사용하는 엑세스 네트워크의 종류는 LTE 망, 펨토셀(소형 기지국) 및 무선랜(WiFi)를 포함할 수 있다.
도 3에서, 각각의 네트워크 엔티티들(eNB, Femto Cell AP, Wifi AP, Router 등)은 클라우드 서비스 서버의 SDN Controller와 통신을 하기위해 SDN Agent를 포함하고 있다.
각각의 네트워크 엔티티들은 SDN Agent의 Flow Table에 정의되어 있지 않은 새로운 이벤트 메시지(노드 이동 및 콘텐츠 요청 등)가 도착하면 이를 클라우드에 전송한다.
이 메시지는 클라우드 내의 SDN VM에 전달된다. SDN VM내부의 SDN Controller는 Agent Handling 기능과 Flow Management 기능을 통해 새로운 Flow Table을 정의하고, 이를 각각의 SDN Agent에 통보하여 동작하게 한다. 그리고 콘텐츠 전달과 같은 메시지가 도착하면 콘텐츠 관리 패키지(Content Management Package) 내부의 Forwarding Engine을 통해 해당 콘텐츠를 검색하고, 검색된 컨텐츠를 제공할 수 있다.
도 4는 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 서버의 구성을 설명하기 위한 도면이다.
도 4를 참조하면, 상황인지 기반 모바일 클라우드 서비스 서버(400)는 서비스 분석부(410), 강화 학습 수행부(420) 및 제어부(430)를 포함한다.
서비스 분석부(410)는 도 3의 Service Analyzer의 기능을 수행할 수 있다. 예를 들어, 서비스 분석부(410)는 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집한다.
이때, 사용자에게 제공되는 서비스는 콘텐츠 중심 네트워크(CCN; Content Centric Network)를 통한 콘텐츠 전송 서비스 및 인터넷 프로토콜(IP; Internet Protocol) 기반 네트워크 전송 서비스를 포함할 수 있다.
강화 학습 수행부(420)는 도 3의 Learning Engine의 기능을 수행할 수 있다. 예를 들어, 강화 학습 수행부(420)는 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행한다.
강화 학습 수행부(420)는 상기 수집된 서비스에 대한 정보에 기초하여 모바일 클라우드 서비스와 연결된 전체 네트워크의 서비스 품질(QoS; Quality of Service)과 관련된 환경 정보를 유추하고, 상기 유추된 환경 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하여 상황 인지 정보를 생성할 수 있다.
이때, 서비스 품질과 관련된 환경 정보는 네트워크 성능, 콘텐츠 전송 시간 및 서비스의 종류 중 적어도 어느 하나를 포함하고, 상기 강화 학습은 기 설정된 기준값과 상기 환경 정보를 비교하여 보상 값과 패널티 값을 결정하고, 상기 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성할 수 있다.
제어부(430)는 도 3의 Virtual Machine과 같이 클라우드 서비스의 전반적인 동작을 제어하며, SDM VM 및 Content Management Package의 기능을 수행할 수 있다.
따라서, 제어부(430)는 SDN VM(431) 및 Content Management Package의 기능을 수행하는 컨텐츠 관리부(433)를 포함할 수 있다.
예를 들어, 제어부(430)는 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 상황인지 기반 콘텐츠 전송 서비스를 제공할 수 있다.
예를 들어, 제어부(430)는 강화 학습 결과를 반영하여 콘텐츠 전송을 위한 경로나 네트워크를 선택할 수 있다. 또한, 제어부(430)는 상황 인지 정보에 기초하여 모바일 클라우드 서비스를 위한 콘텐츠 전송 경로 또는 서비스 종류를 결정할 수 있다.
도 5는 일 실시예에 따른 상황인지 기반 콘텐츠 제공 시스템의 콘텐츠 전송 시나리오의 예를 설명하기 위한 도면이다.
도 5에 도시된 예는, LTE 기지국인 eNB 1을 통해 비디오 스트리밍 서비슬 받고 있던 노드 UE가 다른 기지국 eNB 2로 이동한 상황을 나타낸다.
이때, 네트워크 엔티티들은 네트워크 환경에서 정의된 핸드오버 이벤트를 발생시킨다. 예를 들어, eNB 2는 이벤트 확인 메시지를 CCN의 Router 2를 통해 클라우드 내부의 SDN VM에 전달 할 수 있다.
CNN의 전송 특성에 의해, UE 는 Router 2가 아닌, 기존에 콘텐츠를 전달 받았던 Router1의 Content Store에 저장된 콘텐츠를 전달 받게 된다.
즉, SDN VM을 사용하여 핸드오버가 완료된 후, 비디오 스트리밍 서비스를 UE에 재전송하기 위해 콘텐츠 요청 메시지가 서버로 전달되는 것이 아니라, 해당 콘텐츠를 가지고 있는 Router 1을 통해 비디오 스트리밍 서비스가 UE로 제공될 수 있다.
따라서, 일 실시예에 따르면, 핸드오버 시 발생하는 Control Plane과 관련된 메시지의 수를 줄이고, 서버로의 서비스 요청메시지 재전송 및 콘텐츠 전송으로 인한 네트워크 부하를 줄일 수 있다.
한편, 본 발명의 실시예에 따른 강화 학습(Reinforcement learning)은 콘텐츠 전송 시 콘텐츠 전송 방법을 선택하기 위해 적용될 수 있다.
[수학식 1]은 Learning Engine 내에서 강화학습 문제를 해결하기 위해 정의된 상태(S), 동작 집합(A), 행동에 대한 보상(R)을 나타낸다.
행동에 대한 보상은 각각의 요인에 의해 보상값과 패널티값으로 결정될 수 있다.
[수학식 1]
Figure pat00001
[수학식 1]에서 각 파라미터의 의미는 [표 1]에 정의된 바와 같다.
[표 1]
Figure pat00002
이때, UTCP/IP는 TCP/IP 기반의 콘텐츠 전송 상태를 의미하고, UCCN은 CCN기반의 콘텐츠 전송 상태를 의미하고, DTCP/IP는 TCP/IP 기반의 서비스로 변경하는 행동, DCCN은 IP 기반 전송에서 CCN 기반 전송으로 변경하는 행동을 의미하고, NOP는 특별한 행동을 하지 않는 행동을 의미한다.
그리고, HSLA는 현재 서비스의 네트워크 처리량(데이터 처리량)의 기준 값, TSLA는 콘텐츠 전송에 걸리는 시간 또는 지연의 기준 값, Oth는 네트워크에서 발생하는 오버헤드의 임계값을 의미하고, ANSLA는 엑세스 네트워크의 처리량의 기준 값을 의미한다.
따라서, 아래 첨자가 있는 파라미터는 실험에 의해 결정되거나, 또는 네트워크에서 요구되는 기준 값일 수 있다. 예를 들어 현재 서비스의 네트워크 처리량(H)이 기준값(HSLA)보다 크고, 지연(T)이 기준값(TSLA) 보다 작을수록 현재 행동에 대한 보상 값이 커지게 된다.
패널티 값(P)을 구성하는 요소들을 살펴 보면, Prqst는 네트워크 처리량에 대한 패널티이고, Pdl은 콘텐츠 전송 시간에 대한 패널티이고, Povhd는 네트워크 오버헤드에 대한 패널티이고, PAN은 엑세스 네트워크의 처리량에 대한 패널티 값을 의미한다.
이때, Rsrv, Csrv, 및 패널티 값을 구성하는 각 요소들은 강화 학습 알고리즘에서 사용되는 다양한 방식으로 산출 될 수 있다.
예를 들어, Rsrv 및 Csrv는 [수학식 2]와 같이 정의 될 수 있다.
[수학식 2]
Figure pat00003
이때, NCS는 Non-Content Service를 의미하고, CS는 Content Service를 의미하며, 각 콘텐츠 서비스가 각각 TCP/IP 및 CCN을 통해 서비스되는 확률일 수 있다.
또한, 예를 들어 패널티 값을 구성하는 각 요소들은 [수학식 3]과 같이 정의 될 수 있고, 이때
Figure pat00004
는 기준값 또는 임계값을 위반을 제어하기 위한 가중치를 의미한다.
[수학식 3]
Figure pat00005
Learning Engine은 강화 학습 도중, 최적의 정책(policy)
Figure pat00006
와 가장 가까운 Q값을 찾기 위해 Q(s, a)를 갱신할 수 있다.
Q(s, a)를 갱신하기 위한 정책은 [수학식 4]와 같이 정의 될 수 있다.
[수학식 4]
Figure pat00007
이때,
Figure pat00008
는 learning rate(예를 들어, 0.3)이고,
Figure pat00009
는 discount rate(예를 들어, 0.8)을 나타낸다. 그리고, r은 보상값을 나타낸다.
하기 [표 2]는 Q(s, a)를 갱신하는 절차를 나타내는 슈도 코드(Pseudo Code)의 예를 나타낸다.
[표 2]
Figure pat00010

도 6은 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 방법은 도 4에 도시된 모바일 클라우드 서비스 서버(400)에 의해 수행될 수 있다.
610단계에서 서버(400)는 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집한다.
620단계에서 서버(400)는 상기 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행한다.
강화 학습을 수행하는 과정은, 상기 수집된 서비스에 대한 정보에 기초하여 모바일 클라우드 서비스와 연결된 전체 네트워크의 서비스 품질(QoS; Quality of Service)과 관련된 환경 정보를 유추하는 단계를 포함할 수 있다.
이때, 환경 정보는 예를 들어 패널티 값(P)을 구성하는 각 요소들, 보상 값을 구성하는 각 요소들일 수 있다.
강화 학습을 수행하는 과정은, 상기 유추된 환경 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하여 상황 인지 정보를 생성하는 단계를 포함할 수 있다.
이때, 상황 인지 정보는 예를 들어, 갱신된 Q(s, a)일 수 있다.
630단계에서 서버(400)는 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 콘텐츠 전송 서비스를 제공한다.
도 7은 다른 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 방법은 도 4에 도시된 모바일 클라우드 서비스 서버(400)에 의해 수행될 수 있다.
710단계에서 서버(400)는 네트워크 엔티티(Network entity)의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 이벤트 메시지를 수신한다.
예를 들어, 서버(400)는 도 5와 같이 핸드오버 이벤트 메시지를 수신할 수 있다.
720단계에서 서버(400)는 이벤트 메시지에 대응하는 새로운 플로우 테이블(flow table)을 생성하고, 상기 새로운 플로우 테이블을 상기 네트워크 엔티티로 전송한다.
730단계에서 서버(400)는 상기 네트워크 엔티티를 통해 상기 이벤트 메시지에 대응하는 서비스를 제공한다.
이때, 이벤트 메시지에 대응하는 서비스는 예를 들어, 도 5와 같이 Router1에 저장된 콘텐츠를 UE에 제공하는 것일 수 있다.
도 8은 또 다른 일 실시예에 따른 상황인지 기반 모바일 클라우드 서비스 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 방법은 도 4에 도시된 모바일 클라우드 서비스 서버(400)에 의해 수행될 수 있다.
도 8에 도시된 방법은 강화 학습을 수행하는 과정일 수 있다.
810단계에서 서버(400)는 모바일 클라우드 서비스를 위한 네트워크의 성능에 대한 정보, 콘텐츠 전달 지연에 대한 정보 및 네트워크 처리량에 대한 정보를 포함하는 환경 정보를 획득한다.
820단계에서 서버(400)는 기 설정된 기준값들과 상기 획득된 환경 정보를 비교하여 보상 값과 패널티 값을 결정한다.
이때, 기준 값들은 예를 들어 수학식 1에서 설명된 파라미터들 일 수 있다.
830단계에서 서버(400)는 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성한다.
이때, 보상 값은 수학식 1에서 설명한 바와 같이, 네트워크 데이터 처리량(Network Throughput), 콘텐츠의 전송 시간(Content Delivery Time), 네트워크에서 발생하는 오버헤드 값(Overhead in the network), 상기 모바일 클라우드 서비스의 사용자 접속 네트워크의 데이터 처리량(Access network throughput) 중 적어도 어느 하나를 고려하여 결정될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집하는 과정;
    상기 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하는 과정; 및
    상기 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 콘텐츠 전송 서비스를 제공하는 과정
    을 포함하는 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  2. 제1항에 있어서,
    상기 사용자에게 제공되는 서비스는
    콘텐츠 중심 네트워크(CCN; Content Centric Network)를 통한 콘텐츠 전송 서비스 및 인터넷 프로토콜(IP; Internet Protocol) 기반 네트워크 전송 서비스를 포함하는
    모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  3. 제1항에 있어서,
    상기 강화 학습을 수행하는 과정은
    상기 수집된 서비스에 대한 정보에 기초하여 모바일 클라우드 서비스와 연결된 전체 네트워크의 서비스 품질(QoS; Quality of Service)과 관련된 환경 정보를 유추하는 단계; 및
    상기 유추된 환경 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하여 상황 인지 정보를 생성하는 단계
    를 포함하는 포함하는 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  4. 제3항에 있어서,
    상기 서비스 품질과 관련된 환경 정보는 네트워크 성능, 콘텐츠 전송 시간 및 서비스의 종류 중 적어도 어느 하나를 포함하고,
    상기 강화 학습은 기 설정된 기준값과 상기 환경 정보를 비교하여 보상 값과 패널티 값을 결정하고, 상기 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성하는
    모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  5. 제3항에 있어서,
    상기 상황 인지 정보에 기초하여 모바일 클라우드 서비스를 위한 콘텐츠 전송 경로 또는 서비스 종류를 결정하는 단계
    를 더 포함하는 모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  6. 네트워크 엔티티(Network entity)의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 이벤트 메시지를 수신하는 단계;
    상기 이벤트 메시지에 대응하는 새로운 플로우 테이블(flow table)을 생성하고, 상기 새로운 플로우 테이블을 상기 네트워크 엔티티로 전송하는 단계; 및
    상기 네트워크 엔티티를 통해 상기 이벤트 메시지에 대응하는 서비스를 제공하는 단계를 포함하는
    모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  7. 모바일 클라우드 서비스를 위한 네트워크의 성능에 대한 정보, 콘텐츠 전달 지연에 대한 정보 및 네트워크 처리량에 대한 정보를 포함하는 환경 정보를 획득하는 단계;
    기 설정된 기준값들과 상기 획득된 환경 정보를 비교하여 보상 값과 패널티 값을 결정하는 단계; 및
    상기 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성하는 단계를 포함하되,
    상기 보상 값은 네트워크 데이터 처리량(Network Throughput), 콘텐츠의 전송 시간(Content Delivery Time), 네트워크에서 발생하는 오버헤드 값(Overhead in the network), 상기 모바일 클라우드 서비스의 사용자 접속 네트워크의 데이터 처리량(Access network throughput) 중 적어도 어느 하나를 고려하여 결정되는
    모바일 클라우드 서비스 서버의 상황인지 기반 모바일 클라우드 서비스 방법.
  8. 네트워크 엔티티(Network entity)들 각각의 소프트웨어 정의 네트워크 에이전트(Software Defined Network Agent)로부터 사용자에게 제공되는 서비스에 대한 정보를 수집하는 서비스 분석부;
    상기 수집된 서비스에 대한 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하는 강화 학습 수행부; 및
    상기 강화 학습 결과를 반영하여 모바일 클라우드 환경에서 콘텐츠 전송 서비스를 제공하는 제어부
    를 포함하는 상황인지 기반 모바일 클라우드 서비스 서버.
  9. 제8항에 있어서,
    상기 사용자에게 제공되는 서비스는
    콘텐츠 중심 네트워크(CCN; Content Centric Network)를 통한 콘텐츠 전송 서비스 및 인터넷 프로토콜(IP; Internet Protocol) 기반 네트워크 전송 서비스를 포함하는
    상황인지 기반 모바일 클라우드 서비스 서버.
  10. 제8항에 있어서,
    강화 학습 수행부는
    상기 수집된 서비스에 대한 정보에 기초하여 모바일 클라우드 서비스와 연결된 전체 네트워크의 서비스 품질(QoS; Quality of Service)과 관련된 환경 정보를 유추하고, 상기 유추된 환경 정보에 기초하여 강화 학습(Reinforcement learning)을 수행하여 상황 인지 정보를 생성하는
    상황인지 기반 모바일 클라우드 서비스 서버.
  11. 제10항에 있어서,
    상기 서비스 품질과 관련된 환경 정보는 네트워크 성능, 콘텐츠 전송 시간 및 서비스의 종류 중 적어도 어느 하나를 포함하고,
    상기 강화 학습은 기 설정된 기준값과 상기 환경 정보를 비교하여 보상 값과 패널티 값을 결정하고, 상기 보상 값과 패널티 값을 반영하여 상기 상황 인지 정보를 생성하는
    상황인지 기반 모바일 클라우드 서비스 서버.
  12. 제10항에 있어서,
    상기 제어부는
    상기 상황 인지 정보에 기초하여 모바일 클라우드 서비스를 위한 콘텐츠 전송 경로 또는 서비스 종류를 결정하는
    상황인지 기반 모바일 클라우드 서비스 서버.
KR1020140077260A 2014-06-24 2014-06-24 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템 KR101585775B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140077260A KR101585775B1 (ko) 2014-06-24 2014-06-24 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140077260A KR101585775B1 (ko) 2014-06-24 2014-06-24 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템

Publications (2)

Publication Number Publication Date
KR20160000887A true KR20160000887A (ko) 2016-01-06
KR101585775B1 KR101585775B1 (ko) 2016-01-18

Family

ID=55164863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140077260A KR101585775B1 (ko) 2014-06-24 2014-06-24 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템

Country Status (1)

Country Link
KR (1) KR101585775B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180099206A (ko) * 2017-02-28 2018-09-05 한국전자통신연구원 무선 통신 시스템에서 콘텐츠 전달을 위한 네트워크 구성 방법 및 네트워크 시스템
KR20230087218A (ko) * 2021-12-09 2023-06-16 부산대학교 산학협력단 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021231734A1 (en) * 2020-05-14 2021-11-18 Intel Corporation Techniques for management data analytics (mda) process and service

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030035525A (ko) * 2001-10-31 2003-05-09 삼성전자주식회사 네트워크에 적응적인 실시간 멀티미디어 스트리밍 시스템및 방법
KR20100112742A (ko) 2009-04-10 2010-10-20 경기대학교 산학협력단 강화 학습을 위한 행위-기반 구조
KR20120060565A (ko) 2010-12-02 2012-06-12 서울대학교산학협력단 콘텐츠-중심적인 네트워크로의 점진적인 전환을 위한 방법 및 이를 기반으로 하는 네트워크 시스템
KR20130070489A (ko) 2011-12-19 2013-06-27 인텔렉추얼디스커버리 주식회사 개방형 모바일 클라우드를 위한 협업 미들웨어 장치 및 서비스 방법
KR20140022078A (ko) 2011-07-12 2014-02-21 후아웨이 테크놀러지 컴퍼니 리미티드 콘텐츠 중심 네트워크에서의 무결절 이동성 기법들을 위한 방법 및 장치
KR20140052847A (ko) * 2012-10-22 2014-05-07 한국전자통신연구원 소프트웨어 정의 네트워킹 기반 네트워크에서 서비스 품질 제공 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030035525A (ko) * 2001-10-31 2003-05-09 삼성전자주식회사 네트워크에 적응적인 실시간 멀티미디어 스트리밍 시스템및 방법
KR20100112742A (ko) 2009-04-10 2010-10-20 경기대학교 산학협력단 강화 학습을 위한 행위-기반 구조
KR20120060565A (ko) 2010-12-02 2012-06-12 서울대학교산학협력단 콘텐츠-중심적인 네트워크로의 점진적인 전환을 위한 방법 및 이를 기반으로 하는 네트워크 시스템
KR20140022078A (ko) 2011-07-12 2014-02-21 후아웨이 테크놀러지 컴퍼니 리미티드 콘텐츠 중심 네트워크에서의 무결절 이동성 기법들을 위한 방법 및 장치
KR20130070489A (ko) 2011-12-19 2013-06-27 인텔렉추얼디스커버리 주식회사 개방형 모바일 클라우드를 위한 협업 미들웨어 장치 및 서비스 방법
KR20140052847A (ko) * 2012-10-22 2014-05-07 한국전자통신연구원 소프트웨어 정의 네트워킹 기반 네트워크에서 서비스 품질 제공 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180099206A (ko) * 2017-02-28 2018-09-05 한국전자통신연구원 무선 통신 시스템에서 콘텐츠 전달을 위한 네트워크 구성 방법 및 네트워크 시스템
KR20230087218A (ko) * 2021-12-09 2023-06-16 부산대학교 산학협력단 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법

Also Published As

Publication number Publication date
KR101585775B1 (ko) 2016-01-18

Similar Documents

Publication Publication Date Title
US20220174539A1 (en) Method and system for using policy to handle packets
NL2033617B1 (en) Resilient radio resource provisioning for network slicing
WO2017167237A1 (en) Systems and methods for service and session continuity in software defined topology management
JP4705173B2 (ja) ネットワークを利用したモジュール的ポリシー決定
US9635085B2 (en) Optimizing multimedia streaming in WLANS (wireless local access networks)
US10348796B2 (en) Adaptive video streaming over preference-aware multipath
US10470218B2 (en) System and method for optimized idle and active state transitions of user equipment in a network environment
US11082891B2 (en) Context aware QoS/QoE policy provisioning and adaptation in 5G systems
CN109076419B (zh) 无线网络中的锚移动性
US20190045374A1 (en) Mobile service chain placement
KR101585775B1 (ko) 모바일 클라우드 시스템에서 서비스 품질을 위한 상황인지 기반 콘텐츠 제공 시스템
US20220303208A1 (en) Method for artificial intelligent software defined network enabled border gateway protocol routing disaster recovery
Caraguay et al. Framework for optimized multimedia routing over software defined networks
US10341453B2 (en) Facilitating in-network content caching with a centrally coordinated data plane
US20190386895A1 (en) East-west traffic monitoring solutions for the microservice virtualized data center lan
Amadeo et al. Empowering 5G network softwarization through information centric networking
WO2021078792A1 (en) Mechanism for controlling service migration
US20240086253A1 (en) Systems and methods for intent-based orchestration of a virtualized environment
Kalan et al. Multimedia service management with virtualized cache migration
Meneses et al. Traffic-aware Live Migration in Virtualized CPE Scenarios
Tunc et al. Fixed-point analysis of a network of routers with persistent TCP/UDP flows and class-based weighted fair queuing
KR101384934B1 (ko) 모바일 노드의 이동을 처리하기 위한 방법 및 장치
US20230247476A1 (en) Data Unit Handling in a Wireless System
US20240129808A1 (en) Facilitating network slicing information preservation in advanced networks
US20230362615A1 (en) Method and system for detection and autocorrection of stale session information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 5