KR102164685B1 - 콘텐츠 서비스 제어 방법 및 장치 - Google Patents

콘텐츠 서비스 제어 방법 및 장치 Download PDF

Info

Publication number
KR102164685B1
KR102164685B1 KR1020190107386A KR20190107386A KR102164685B1 KR 102164685 B1 KR102164685 B1 KR 102164685B1 KR 1020190107386 A KR1020190107386 A KR 1020190107386A KR 20190107386 A KR20190107386 A KR 20190107386A KR 102164685 B1 KR102164685 B1 KR 102164685B1
Authority
KR
South Korea
Prior art keywords
service
target
content
output
base station
Prior art date
Application number
KR1020190107386A
Other languages
English (en)
Inventor
홍준표
전상은
정재욱
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020190107386A priority Critical patent/KR102164685B1/ko
Application granted granted Critical
Publication of KR102164685B1 publication Critical patent/KR102164685B1/ko

Links

Images

Classifications

    • H04L67/327—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H04L67/2823—
    • H04L67/2842—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 실시예는, 콘텐츠 서비스 제어장치에 있어서, 사용자로부터 제1 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하는 서비스요청 수신부; 상기 제1 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 상기 신경망으로부터 적어도 하나의 제1 신경망 출력을 생성하는 서비스환경 처리부; 상기 적어도 하나의 제1 신경망 출력 중에서 제1 대상 출력을 선택하여 상기 제1 대상 출력에 대응하는 대상 기지국을 결정하는 대상개체 결정부; 상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠가 상기 사용자에게 서비스되는 데에 소요되는 서비스 지연을 산출하는 서비스지연 산출부; 및 상기 제1 대상 출력의 값 및 상기 서비스 지연에 기반하여 상기 신경망 내의 적어도 하나의 가중치를 갱신하는 가중치 갱신부를 포함하는 콘텐츠 서비스 제어장치를 제공한다.

Description

콘텐츠 서비스 제어 방법 및 장치{Method and Apparatus for Controlling Contents Service}
본 실시예는 콘텐츠 서비스 제어 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
5G 통신시스템에서, 전파가 잘 도달되지 않는 가정이나 사무실 등 실내의 음영지역 해소 및 소규모 지역에서 집중 발생하는 데이터 트래픽을 수용하기 위한 방안의 하나로 소형셀 네트워크(small cell network)를 설치하는 방법이 있다. 하지만, 소형셀 네트워크 설치를 위해서는 소형셀 네트워크와 연결되는 유선 백홀(backhaul)의 용량 확장이 필요하나 유선 백홀의 추가 설치에는 일반적으로 많은 비용이 소요된다.
이와 같은 유선 백홀의 제한된 확장성으로 인한 소형셀 네트워크 설치의 문제점을 완화하기 위한 방안의 하나로 무선 백홀이 사용될 수 있다.
무선 백홀은 유선 백홀에 비해 확장성, 유연성, 그리고 설비비용 절감 등의 장점이 있지만, 무선 백홀 매체의 특성 상 유선 백홀에 비해 상대적으로 높은 전송오류 확률을 가지며, 전송오류 확률이 커질수록 패킷 재전송이 자주 발생하게 되어 서비스 지연(latency) 정도가 커지게 된다.
특히, 최근 급격히 증가하고 있는 음악 및 동영상 스트리밍 등의 멀티미디어 서비스의 경우, 서비스 지연이 서비스 QoE(Quality of Experience) 결정에 큰 영향을 미치는 요인이기 때문에 밀집 지역에서 고속의 저지연 통신을 위한 전송기술이 필요하다.
고속의 저지연 통신을 위한 대표적 기술로서 기지국 캐싱(caching) 기술이 있다. 기지국 캐싱 기술은 불안정한 무선 백홀로 인해 발생하는 통신 지연 문제와 이로 인한 낮은 데이터 처리량 문제를 해결하기 위해 각 소형셀 기지국마다 요청될 확률이 높은 콘텐츠를 사전에 저장하는 기술을 의미한다. 특정 소형셀 기지국에 저장된 콘텐츠에 대한 사용자의 요청이 발생되었을 때 콘텐츠 서버와 소형셀 기지국 사이의 무선 백홀을 이용하지 않고 소형셀 기지국에서 해당 콘텐츠를 직접 제공함으로써 서비스 지연을 감소시키고 처리 성능을 향상시킬 수 있다.
하지만, 기지국 캐싱 방법에서는, 트래픽이 많이 발생하지 않는 시간대에 콘텐츠의 서비스 요청 확률, 즉 인기도에 따라 기지국에 저장되는 콘텐츠를 업데이트하는 것이 일반적이기 때문에 콘텐츠 요청확률이 빠르게 변화하는 환경에서는 콘텐츠 캐싱에 의한 서비스 제공 시의 서비스 지연율 감소는 제한적이다.
본 실시예는 콘텐츠 서비스 요청확률의 변화에 대응하여 기지국에 저장된 콘텐츠를 실시간으로 업데이트하고 콘텐츠 요청 사용자가 해당 기지국으로 접속 가능하도록 하는 데에 주된 목적이 있다.
본 실시예에 의하면, 콘텐츠 서비스 제어장치에 있어서, 사용자로부터 제1 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하는 서비스요청 수신부; 상기 제1 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 상기 신경망으로부터 적어도 하나의 제1 신경망 출력을 생성하는 서비스환경 처리부; 상기 적어도 하나의 제1 신경망 출력 중에서 제1 대상 출력을 선택하여 상기 제1 대상 출력에 대응하는 대상 기지국을 결정하는 대상개체 결정부; 상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠가 상기 사용자에게 서비스되는 데에 소요되는 서비스 지연을 산출하는 서비스지연 산출부; 및 상기 제1 대상 출력의 값 및 상기 서비스 지연에 기반하여 상기 신경망 내의 적어도 하나의 가중치를 갱신하는 가중치 갱신부를 포함하는 콘텐츠 서비스 제어장치를 제공한다.
본 실시예에 의하면, 콘텐츠 서비스 제어장치가 콘텐츠 서비스를 제어하는 방법에 있어서, 사용자로부터 제1 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하는 과정; 상기 제1 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 상기 신경망으로부터 적어도 하나의 제1 신경망 출력을 생성하는 과정; 상기 적어도 하나의 제1 신경망 출력 중에서 제1 대상 출력을 선택하여 상기 제1 대상 출력에 대응하는 대상 기지국을 결정하는 과정; 상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠가 상기 사용자에게 서비스되는 데에 소요되는 서비스 지연을 산출하는 과정; 및 상기 제1 대상 출력의 값 및 상기 서비스 지연에 기반하여 상기 신경망 내의 적어도 하나의 가중치를 갱신하는 과정을 포함하는 콘텐츠 서비스 제어방법을 제공한다.
본 실시예에 의하면, 콘텐츠 서비스 요청확률의 변화에 대응하여 기지국에 저장된 콘텐츠를 실시간으로 업데이트하고 콘텐츠 요청 사용자가 해당 기지국으로 접속 가능하도록 함으로써 서비스 요청 사용자에 대한 콘텐츠 서비스 지연을 최소화한다.
도 1은 본 실시예에 따른 콘텐츠 서비스 제어 장치를 포함하는 소형셀 네트워크 콘텐츠 서비스환경을 도시한 도면이다.
도 2는 본 실시예에 따른 콘텐츠 서비스 제어 장치의 구성을 블록도로 도시한 도면이다.
도 3은 강화학습을 이용하여 본 실시예에 따른 콘텐츠 서비스 제어를 하기 위한 알고리즘을 나타낸 도면이다.
도 4는 서비스환경 처리부에서 사용되는 신경망의 구조를 나타낸 도면이다.
도 5는 제1 신경망 출력을 나타내는 원-핫 인코딩 형식의 벡터를 예시한 도면이다.
도 6은 본 실시예에 따른 콘텐츠 서비스 제어 방법을 흐름도로 도시한 도면이다.
도 7은 본 실시예의 방법과 다음의 종래의 방법을 시뮬레이션으로 비교한 결과를 도시한 도면이다.
도 8은 본 실시예의 방법(DQN)과 종래의 방법에서 관심범위에 따른 누적지연 시간을 보여주는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 실시예에 따른 콘텐츠 서비스 제어 장치를 포함하는 소형셀 네트워크 콘텐츠 서비스환경을 도시한 도면이다.
도 1에 도시한 바와 같이 소형셀 네트워크 콘텐츠 서비스환경은 사용자 단말기(110), 복수의 소형셀 기지국(121, 122, 123, 124) 및 중앙 유닛(130)을 포함한다.
사용자 단말기(110)는 서비스 대상 콘텐츠에 대한 서비스 요청을 생성하는 장치로서, 스마트폰, 랩탑 등의 단말기일 수 있다.
복수의 소형셀 기지국(121, 122, 123, 124)은 펨토셀, 피코셀 등의 초소형 기지국일 수 있다.
중앙 유닛(130)은 복수의 소형셀 기지국(121, 122, 123, 124)과 통신하도록 구성된 것으로서 매크로셀 기지국 등일 수 있다.
사용자 단말기(110)는 소형셀 기지국(121, 122, 123, 124) 중 하나에 접속하여 접속된 대상 기지국으로부터 서비스 대성 콘텐츠에 대한 서비스를 제공받는다.
소형셀 기지국(121, 122, 123, 124)과 중앙 유닛(130)의 위치는 고정되어 있으며, 소형셀 기지국(121, 122, 123, 124)과 중앙 유닛(130)은 무선 백홀을 이용하여 서로 연결된다.
중앙 유닛(130)은 일반적으로 코어망(core network)에 의해 콘텐츠 서버(미도시)와 연결되며 콘텐츠 서버(미도시)가 서비스 가능한 콘텐츠에 대한 접근이 가능하다.
중앙 유닛(130)은 특정 서비스 대상 콘텐츠를 하나의 소형셀 기지국에 저장하고자 하는 경우, 콘텐츠 서버(미도시)에 접속하여 서비스 대상 콘텐츠를 획득하고 무선 백홀을 이용하여 대상 콘텐츠를 해당 소형셀 기지국에 전송하며, 중앙 유닛(130)으로부터 대상 콘텐츠를 수신한 소형셀 기지국은 콘텐츠 캐시에 해당 대상 콘텐츠를 저장한다.
중앙 유닛(130)과 각 소형셀 기지국(121, 122, 123, 124) 사이의 통신거리는 각각 고정되어 있으므로 중앙 유닛(130)으로부터 각 소형셀 기지국(121, 122, 123, 124)으로 콘텐츠의 무선 백홀 전송은 항상 일정한 전송오류 확률을 갖는다. 하지만, 각 소형셀 기지국(121, 122, 123, 124)으로부터 사용자 단말기(110)로의 콘텐츠 무선 전송은 사용자 단말기(110)의 위치에 따라 서로 다른 전송오류 확률을 갖는다.
이러한 전송오류 확률에 따른 콘텐츠 전송오류 횟수 및 서비스 지연에 대한 자세한 사항은 후술한다.
각 소형셀 기지국(121, 122, 123, 124)은 기설정 개수의 콘텐츠를 저장할 수 있는 캐시(cache)를 구비한다. 각 소형셀 기지국(121, 122, 123, 124)마다 캐시 내에 저장할 수 있는 콘텐츠의 개수는 서로 동일하도록 구현되나 실시예에 따라서는 서로 다르도록 구현될 수도 있다.
도 1의 네트워크 환경에서, 사용자 단말기(110)가 하나의 소형셀 기지국(121, 122, 123, 124)으로부터 콘텐츠를 전송받는 과정에서 무선전송 오류로 인해 발생할 수 있는 서비스 지연을 최소화하기 위한 소형셀 기지국 선택 및 소형셀 기지국 캐시교체 방법은 다음의 단계를 거쳐 이루어진다.
(1) 제1단계: 먼저, 중앙 유닛(130)은 서비스 가능한 모든 콘텐츠의 인기도 분포, 각 소형셀 기지국(121, 122, 123, 124)의 위치정보 및 각 소형셀 기지국(121, 122, 123, 124)이 저장하고 있는 콘텐츠 목록을 수집한다.
(2) 제2단계: 사용자 단말기(110)는 접속가능한 주변의 모든 소형셀 기지국(121, 122, 123, 124)과 중앙 유닛(130)에게 서비스 대상 콘텐츠에 대한 서비스 요청 메시지를 멀티캐스트 방식으로 전송한다.
(3) 제3단계: 중앙 유닛(130)은 사용자 단말기(110)의 위치, 요청 콘텐츠의 인기도, 각 소형셀 기지국(121, 122, 123, 124)이 저장하고 있는 콘텐츠 목록, 각 소형셀 기지국(121, 122, 123, 124)의 위치 등에 대한 정보를 바탕으로 소형셀 기지국(121, 122, 123, 124) 중에서 사용자 단말기(110)에게 서비스할 대상 기지국을 선택한다. 또한, 중앙 유닛(130)은 대상 기지국이 서비스 대상 콘텐츠를 캐시 내에 저장하고 있는지 여부에 따라 대상 기지국의 삭제 대상 콘텐츠를 선택한다.
- 대상 기지국이 서비스 대상 콘텐츠를 저장하고 있을 경우, 대상 기지국의 캐시에 저장된 콘텐츠의 교체는 이루어지지 않음.
- 대상 기지국이 서비스 대상 콘텐츠를 저장하고 있지 않을 경우, 대상 기지국의 캐시로부터 제거할 콘텐츠를 선택함.
(4) 제4단계: 대상 기지국이 서비스 대상 콘텐츠를 저장하고 있지 않을 경우, 중앙 유닛(130)은 대상 기지국에서 제거될 콘텐츠에 대한 정보 및 서비스 대상 콘텐츠를 대상 기지국에게 전송한다. 전송오류가 발생하는 경우 전송이 성공될 때까지 대상 기지국에서 제거될 콘텐츠에 대한 정보 및 서비스 대상 콘텐츠가 계속 재전송되며, 대상 기지국에서 제거될 콘텐츠에 대한 정보 및 서비스 대상 콘텐츠에 대한 전송 시마다 τc의 시간만큼 지연이 발생한다.
(5) 제5단계: 대상 기지국은 저장하고 있는 서비스 대상 콘텐츠를 사용자 단말기(110)에게 전송한다. 대상 기지국이 서비스 대상 콘텐츠를 사용자 단말기(110)에게 전송함에 따른 전송오류가 발생하는 경우, 전송이 성공될 때까지 서비스 대상 콘텐츠가 계속 재전송되며, 서비스 대상 콘텐츠에 대한 전송 시마다 τs의 시간만큼 지연이 발생한다.
만일, 제4단계에서 대상 기지국으로부터 제거될 콘텐츠에 대한 정보 및 서비스 대상 콘텐츠가 중앙 유닛(130)으로부터 대상 기지국으로 N1 번(단, N1은 실수) 전송되고, 제5단계에서 대상 기지국으로부터 사용자 단말기(110)에게 서비스 대상 콘텐츠가 N2 번(단, N2는 실수) 전송되었다면, 무선 전송오류로 인해 발생한 전체 서비스 지연 τi는 수학식 1과 같이 산출될 수 있다.
Figure 112019089565300-pat00001
중앙 유닛(130)은 사용자 단말기(110)의 콘텐츠 서비스 요청뿐만 아니라 다음번의 콘텐츠 서비스 요청에 대한 서비스 지연을 포함한 누적 서비스 지연을 최소화할 수 있도록 대상 기지국과 해당 대상 기지국의 교체 대상 콘텐츠를 선택한다.
도 2는 본 실시예에 따른 콘텐츠 서비스 제어 장치의 구성을 블록도로 도시한 도면이다.
도 2에 도시한 바와 같이, 본 실시예에 따른 콘텐츠 서비스 제어 장치(200)는 서비스요청 수신부(210), 서비스환경 수집부(220), 서비스환경 처리부(230), 대상개체 결정부(240), 캐시교체부(250), 서비스지연 산출부(260) 및 가중치 갱신부(270)를 포함한다.
이하, 도 1 및 도 2를 함께 참조하면서 콘텐츠 서비스 제어 장치(200)의 동작에 대해 설명한다.
사용자 단말기의 서비스 대상 콘텐츠에 대한 정보로부터 서비스 대상 기지국의 선택 및 대상 기지국에서 교체할 캐시의 선택에 관한 문제는 MDP(Markov Decision Process)로 표현될 수 있다. MDP는 상태(state), 행동(action), 천이확률(transition probability), 보상(reward)의 요소로서 결정되며, 본 실시예에서 MDP의 각 요소는 다음과 같이 정의된다.
여기서, 상태를 나타내는 공간, 즉 상태공간은 사용자 단말기(110)가 요청한 서비스 대상 콘텐츠에 대한 정보(c), 사용자 단말기(110)의 위치 정보 (x0, y0), 사용자 단말기(110)의 접속 가능 기지국에 저장된 콘텐츠 목록을 나타내는 정보(mi) 을 구성요소로서 포함한다. 또한, 상태공간은 각 콘텐츠의 인기도에 대한 정보(pj)도 구성요소로서 포함될 수 있다.
행동을 나타내는 공간, 즉 행동공간은 선택된 대상 기지국 및 교체 대상 콘텐츠로서 나타낼 수 있다. 천이 확률은, 어떤 특정 상태에 도달하면 그 이전에 어떤 상태를 거쳤는지 여부에 관계 없이 다음 상태로 갈 확률은 항상 같다는 것을 나타낸다. 보상을 나타내는 공간, 즉 보상공간은 후술하는 콘텐츠 전송오류 확률에 따른 서비스 지연을 나타낸다.
MDP에 대한 상세한 설명은 본 발명의 요지를 벗어나므로 더 이상의 상세한 설명은 생략한다.
도 3은 MDP로 표현되는 본 실시예에 따른 콘텐츠 서비스 제어를 하기 위한 강화학습(reinforcement learning) 알고리즘을 나타낸 도면이다.
이하, 도 3의 알고리즘을 이용하여 본 실시예에 따른 콘텐츠 서비스 제어방법을 설명한다.
서비스요청 수신부(210)는 사용자 단말기(110)로부터 특정 서비스 대상 콘텐츠에 대한 서비스 요청을 수신한다. 여기서, (x0, y0) 위치에 존재하는 사용자 단말기(110)가 콘텐츠 C1에 대한 서비스를 요청한 경우를 가정하여 설명한다.
서비스환경 수집부(220)는 사용자 단말기(110)가 접속 가능한 각 기지국(121, 122, 123, 124)의 위치, 각 기지국(121, 122, 123, 124)에 저장된 콘텐츠 목록 및 각 기지국(121, 122, 123, 124)에 저장된 콘텐츠의 인기도를 서비스 환경 정보로서 수집한다.
서비스환경 처리부(230)는 서비스 대상 콘텐츠를 나타내는 정보 및 서비스 환경 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 신경망으로부터 복수의 제1 신경망 출력을 생성한다.
도 4는 서비스환경 처리부(230)에서 사용되는 신경망의 구조를 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 실시예에 따른 신경망은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성된다. 또한, 입력층의 노드 및 은닉층의 노드 사이와, 은닉층의 노드 및 출력층의 노드 사이에는 가중치(w11, w12, ..., w29)를 갖는 에지(edge)가 연결된다.
도 4에서 은닉층이 하나인 것으로 도시하였으나 실시예에 따라서는 은닉층의 개수는 2 개 이상이 되도록 구현될 수 있다. 또한, 노드 사이를 연결하는 에지의 위치 및 개수 등도 실시예에 따라서 다양하게 구현될 수 있다.
도 4에서 입력층은 각 입력변수에 대응되는 노드로 구성되며, 입력층의 노드의 개수는 입력변수의 개수와 같다. 여기서, 입력변수는 사용자 단말기(110)가 요청한 서비스 대상 콘텐츠에 대한 정보(c), 사용자 단말기(110)의 위치 정보 (x0, y0), 사용자 단말기(110)의 접속 가능 기지국에 저장된 콘텐츠 목록을 나타내는 정보(mi)를 포함한다. 또한, 입력변수에는 각 콘텐츠의 인기도에 대한 정보(pj)도 추가로 포함될 수 있다.
은닉층은 입력층으로부터 전달되는 변수 값들의 선형 결합을 시그모이드(sigmoid) 함수와 같은 비선형 함수로 처리하여 출력층 또는 다른 은닉층에 전달하는 역할을 한다. 입력층으로부터 전달되는 변수 값들의 선형 결합을 비선형 함수로 처리하여 출력층 또는 다른 은닉층에 전달하는 것은 당업자에게 자명하므로 더 이상의 상세한 설명은 생략한다.
출력층은 출력 변수에 대응되는 노드로서 출력변수의 수만큼 출력 노드가 구성된다. 여기서, 각 출력변수는 각 기지국(121, 122, 123, 124)에 대해 저장된 각각의 콘텐츠를 나타내는 신경망 출력값이 될 수 있다. 예를 들어, 출력 z1은 제1 기지국(121)의 제1 콘텐츠에 대한 신경망 출력값을 나타내고, 출력 z2는 제1 기지국(121)의 제2 콘텐츠에 대한 신경망 출력값을 나타내고, 출력 zn은 제4 기지국(124)의 제m 콘텐츠에 대한 신경망 출력값을 나타낸다.
참고로, 입력층의 데이터 입력방식, 신경망의 내부 구성 및 그 상세한 동작은 당업자에게 자명한 사항일 뿐만 아니라 본 발명의 요지를 벗어나므로 더 이상의 상세한 설명은 생략한다.
대상개체 결정부(240)는 복수의 제1 신경망 출력 중에서 제1 대상 출력을 선택하고 선택된 제1 대상 출력에 대응하는 대상 기지국 및 해당 기지국에서 교체 가능한 콘텐츠를 나타내는 정보를 결정한다.
대상개체 결정부(240)는 복수의 제1 신경망 출력 중에서 가장 큰 값을 갖는 출력을 제1 대상 출력으로서 선택한다.
또한, 대상개체 결정부(240)는 복수의 제1 신경망 출력 중에서 가장 큰 값을 갖는 출력을 제1 대상 출력으로서 선택하는 방법 대신 복수의 제1 신경망 출력 중에서 임의의 출력을 제1 대상 출력으로서 선택하는 방법을 사용할 수도 있다.
또한, 대상개체 결정부(240)는 복수의 제1 신경망 출력 중에서 가장 큰 값을 갖는 출력을 제1 대상 출력으로서 선택하는 제1과정과 복수의 제1 신경망 출력 중에서 임의의 출력을 제1 대상 출력으로서 선택하는 제2과정을 선택적으로 수행하는 ε-그리디(greedy) 알고리즘을 사용할 수도 있다. 제1과정과 제2과정을 선택적으로 수행하는 ε-그리디 알고리즘을 적용하는 방법은 당업자에게 자명하므로 더 이상의 상세한 설명은 생략한다.
대상개체 결정부(240)는 각각의 제1 신경망 출력에 대응하여 기지국 식별정보 및 해당 기지국에서 교체 가능한 콘텐츠를 나타내는 정보를 각각 원-핫 인코딩 형식의 벡터로 저장한다.
도 5는 제1 신경망 출력을 나타내는 원-핫 인코딩 형식의 벡터를 예시한 도면이다.
도 5에 도시된 원-핫 인코딩 형식의 벡터에서 제1 컬럼 성분은 제1 기지국(SBS1: 121), 제2 컬럼 성분은 제2 기지국(SBS2: 122), 제3 컬럼 성분은 제3 기지국(SBS3: 123), 제4 컬럼 성분은 제4 기지국(SBS4: 124), 제5 컬럼 성분은 제1 콘텐츠(C1), 제6 컬럼 성분은 제2콘텐츠(C2), 제(m+4) 컬럼 성분은 제m 콘텐츠(Cm)를 각각 의미한다.
도 5에서, 제1 신경망 출력 z1에 해당하는 벡터의 의미는 서비스 대상 콘텐츠를 서비스하는 기지국이 제1 기지국(121)이고 교체대상 콘텐츠는 없음을 의미한다.
제1 신경망 출력 z2에 해당하는 벡터의 의미는 서비스 대상 콘텐츠를 서비스하는 기지국은 제1 기지국(121)이고 교체대상 콘텐츠는 제1 콘텐츠(C1)임을 의미한다.
제1 신경망 출력 z3에 해당하는 원-핫 인코딩 형식의 벡터의 의미는 서비스 대상 콘텐츠를 서비스하는 기지국은 제1 기지국(121)이고 교체대상 콘텐츠는 제2 콘텐츠(C2)임을 의미한다.
제1 신경망 출력 zn에 해당하는 원-핫 인코딩 형식의 벡터의 의미는 서비스 대상 콘텐츠를 서비스하는 기지국은 제4 기지국(124)이고 교체대상 콘텐츠는 제m 콘텐츠(Cm)임을 의미한다.
대상개체 결정부(240)는 제1 대상 출력이 의미하는 정보를 저장하고 있는 벡터를 이용하여 제1 대상 출력에 해당하는 대상 기지국 및 대상 기지국의 교체대상 콘텐츠를 식별한다.
예를 들어, ε-그리디 알고리즘이 적용된 결과 복수의 제1 신경망 출력 중에서 z1이 제1 대상 출력으로서 선택된 경우, 대상개체 결정부(240)는 제1 대상 출력 z1에 해당하는 원-핫 인코딩 형식의 벡터의 구성요소를 확인하여 서비스 대상 콘텐츠를 서비스할 기지국이 제1 기지국(121)이고 서비스 대상 콘텐츠는 제1 기지국(121)에 이미 저장되어 있어서 제1 기지국(121)에서 교체대상 콘텐츠는 존재하지 않음을 인식한다.
또한, ε-그리디 알고리즘이 적용된 결과 복수의 제1 신경망 출력 중에서 z2가 제1 대상 출력으로서 선택된 경우, 대상개체 결정부(240)는 제1 대상 출력 z2에 해당하는 원-핫 인코딩 형식의 벡터의 구성요소를 확인하여 서비스 대상 콘텐츠를 서비스하는 기지국이 제1 기지국(121)이고 제1 기지국(121)에는 서비스 대상 콘텐츠가 저장되어 있지 않아서 제1 기지국(121)의 교체대상 콘텐츠는 제2 콘텐츠(C2)임을 인식한다.
전술하였듯이, 대상개체 결정부(240)는 제1 대상 출력을 참조하여 대상 기지국에 교체대상 콘텐츠가 존재하는지 여부를 판단한다. 대상개체 결정부(240)는 대상 기지국에 교체대상 콘텐츠가 존재함을 확인한 경우, 대상 기지국의 교체대상 콘텐츠를 서비스 대상 콘텐츠로 교체하라는 제1 메시지를 캐시교체부(250)에게 전송한다.
캐시교체부(250)는 대상개체 결정부(240)로부터 제1 메시지를 수신하여 대상 기지국의 교체대상 콘텐츠를 서비스 대상 콘텐츠로 교체하여 캐시에 저장한다.
캐시교체부(250)는 콘텐츠 서버(미도시)에게 서비스 대상 콘텐츠를 요청하여 콘텐츠 서버(미도시)로부터 서비스 대상 콘텐츠를 수신하고 대상 기지국에게 교체대상 콘텐츠를 삭제하라는 메시지 및 서비스 대상 콘텐츠를 전송함으로써 대상 기지국의 교체 대상 콘텐츠가 서비스 대상 콘텐츠로 교체되도록 제어한다.
참고로, 각 기지국에서 캐시에 저장되고 삭제되는 콘텐츠의 단위는 패킷일 수 있으나, 본 발명이 이에 한정되지는 않는다.
서비스지연 산출부(260)는 대상 기지국으로부터 서비스 대상 콘텐츠가 사용자 단말기(110)에게 서비스되는 데에 소요되는 서비스 지연을 산출한다.
다시 말해서, 서비스지연 산출부(260)는 콘텐츠 캐시가 교체되는 과정의 제1 전송오류 확률 및 대상 기지국으로부터 서비스 대상 콘텐츠가 사용자 단말기(110)에게 제공되는 과정의 제2 전송오류 확률을 고려하여 서비스 지연을 산출한다.
콘텐츠 캐시가 교체되는 과정에서는 중앙 유닛(130)으로부터 대상 기지국에게 서비스 대상 콘텐츠를 무선 백홀로 전송하는 경우의 통신 거리 및 통신 경로가 일정하기 때문에 콘텐츠 전송 시마다 각각 일정한 제1 전송오류 확률 Pei를 갖는다.
또한, 대상 기지국으로부터 사용자 단말기(110) 사이의 통신거리(hi)는 가변적이므로 대상 기지국으로부터 사용자 단말기(110)로의 콘텐츠 전송 시에는 수학식 2와 같은 제2 전송오류 확률 Psi를 갖는다.
Figure 112019089565300-pat00002
수학식 2에서, dsi는 대상 기지국과 사용자 단말기(110) 사이의 통신거리, α는 경로감쇠 지수, ρ는 전송 신호대 잡음 전력비, R은 전송 패킷의 데이터율, w는 Rayleigh 분포를 따르는 소규모 페이딩(small scale fading) 성분을 각각 나타낸다.
서비스지연 산출부(260)는 콘텐츠 캐시 교체 과정의 제1 전송오류 확률 Pei를 기초로 전송오류 횟수 e1을 계산하고 대상 기지국으로부터 서비스 대상 콘텐츠에 대한 서비스가 사용자 단말기(110)에게 제공되는 과정의 제2 전송오류 확률 Psi를 기초로 전송오류 횟수 e2를 계산한다. 한편, 전송오류 확률로부터 전송오류 횟수를 산출하는 것은 본 발명의 요지를 벗어나므로 더 이상의 상세한 설명은 생략한다.
따라서, 서비스지연 산출부(260)는 콘텐츠 캐시 교체 과정의 전송 시도 횟수 N1 = e1+1과 대상 기지국으로부터 서비스 대상 콘텐츠에 대한 서비스가 사용자 단말기(110)에게 제공되는 과정의 전송 시도 횟수 N2 = e2+1를 각각 계산하고, 수학식 1을 이용하여 서비스 지연 τi를 산출한다.
가중치 갱신부(270)는 대상개체 결정부(240)에서 선택한 제1 대상 출력의 값 및 서비스지연 산출부(260)에서 산출한 서비스 지연에 기반하여 신경망 내의 적어도 하나의 가중치를 갱신한다.
가중치 갱신부(270)에 의한 가중치 갱신은 임의의 콘텐츠에 대한 다음번의 서비스 요청에 대하여 서비스환경 처리부(230)에 의해 제2 신경망 출력이 생성된 후에 이루어진다. 여기서 다음번의 서비스 요청이란, 현재의 사용자 단말기(110)가 다른 콘텐츠를 요청한 것을 의미하거나 다른 사용자 단말기가 어떤 하나의 콘텐츠에 대한 서비스를 요청하는 것을 의미한다.
예를 들어, 사용자 단말기(110)에 의하여 서비스 요청된 콘텐츠 C1에 대한 서비스가 제공된 이후에, 제2 사용자 단말기가 임의의 콘텐츠, 즉 제2 서비스 대상 콘텐츠에 대한 서비스 요청을 발생한 경우, 서비스요청 수신부(210)는 제2 사용자 단말기의 제2 서비스 대상 콘텐츠에 대한 서비스 요청을 수신한다.
서비스환경 처리부(230)는 제2 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 제2 콘텐츠 서비스 정보를 신경망에 입력시켜 복수의 제2 신경망 출력을 생성한다.
대상개체 결정부(240)는 ε-그리디 알고리즘을 이용하여 복수의 제2 신경망 출력 중에서 제2 대상 출력을 선택한다.
가중치 갱신부(270)는 직전의 서비스 대상 콘텐츠(즉, 제1 서비스 대상 콘텐츠)에 대한 제1 대상 출력의 값, 직전의 서비스 대상 콘텐츠에 대한 서비스 지연 및 현재의 서비스 대상 콘텐츠(즉, 제2 서비스 대상 콘텐츠)에 대한 제2 대상 출력의 값을 기반으로 가중치를 갱신한다.
가중치 갱신부(270)가 제1 대상 출력의 값, 제1 서비스 대상 콘텐츠에 대한 서비스 지연 및 제2 대상 출력의 값에 기반하여 타겟 출력의 크기를 산출한다.
가중치 갱신부(270)는 수학식 3을 이용하여 타겟 출력의 크기를 산출할 수 있다.
Figure 112019089565300-pat00003
수학식 3에서, 각 변수의 의미는 아래와 같다.
- Q(S', A): 타겟 출력의 값
- Q(S1, A): 제1 대상 출력의 값
- R: 제1 대상 출력에 대응하는 대상 기지국으로부터 서비스 대상 콘텐츠가 사용자에게 서비스되는 데에 소요되는 서비스 지연
- maxaQ(S', a): 제2 신경망 출력의 값 중에서 가장 큰 값을 갖는 출력의 값, 즉 제2 대상 출력의 값
α: 기설정된 비례상수
수학식 3에 나타낸 바와 같이, 가중치 갱신부(270)는 타겟 출력의 값은 제2 대상 출력의 값과 제1 대상 출력의 값 사이의 차이값과 서비스 지연(R)을 더한 값의 일정 비율(α) 만큼을 제1 대상 출력의 값에 더한 값을 타겟 출력의 값으로서 산출한다.
가중치 갱신부(270)는 제2 콘텐츠 서비스 정보에 대하여 현재의 서비스 환경에서 타겟 출력의 크기만큼 제2 대상 출력이 신경망에서 생성될 수 있도록 각 가중치 값들을 산출한다. 가중치 갱신부(270)는 타겟 출력의 값이 신경망에서 산출되도록 신경망 내의 각 가중치를 역전파(backpropagation) 알고리즘을 이용하여 산출한다.
가중치 갱신부(270)가 신경망 내의 각 가중치를 산출하는 방법은 역전파 알고리즘에 한정되지 않고 다양한 방법이 사용될 수 있으며, 역전파 알고리즘을 이용한 신경망 내 가중치의 산출은 당업자에게 자명한 사항이므로 더 이상의 상세한 설명은 생략한다.
가중치 갱신부(270)는 역전파 알고리즘을 이용하여 산출한 각 가중치를 신경망 내의 가중치로서 갱신한다.
한편, 가중치 갱신부(270)는 갱신되기 전의 가중치 값들과 갱신 후의 가중치 값들의 차이가 임계값 이하인 경우 더 이상의 가중치의 갱신을 중지하라는 메시지를 발생하도록 구현될 수 있다. 여기서, 갱신되기 전의 가중치 값들과 갱신 후의 가중치 값들의 차이를 구하는 방법으로 유클리디안 거리(euclidean distance)를 이용한 방법으로 산출할 수 있으나 본 발명이 이에 한정되지는 않는다.
또한, 가중치 갱신부(270)는 기설정 횟수의 콘텐츠 서비스 이전의 가중치인 제1 값들과 현재 갱신된 가중치인 제2 값들과의 차이가 임계값 이하인 경우 더 이상의 가중치 갱신을 중지하라는 메시지를 발생하여 콘텐츠 서비스 제어장치(200)가 더 이상의 콘텐츠 서비스 제어를 중지하도록 구현될 수도 있다.
서비스환경 처리부(230)는 갱신된 가중치가 적용된 신경망에 제2 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 제2 콘텐츠 서비스 정보를 입력시켜 상기 제2 신경망 출력을 재산출한다.
도 6은 본 실시예에 따른 콘텐츠 서비스 제어 방법을 흐름도로 도시한 도면이다.
먼저, 서비스 제어변수 i를 0으로 설정한다(S610).
서비스요청 수신부(210)는 사용자 단말기(110)로부터 특정 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하고, 서비스환경 수집부(220)는 사용자 단말기(110)가 접속 가능한 각 기지국(121, 122, 123, 124)의 위치, 각 기지국(121, 122, 123, 124)에 저장된 콘텐츠 목록 및 각 기지국(121, 122, 123, 124)에 저장된 콘텐츠의 인기도를 서비스 환경 정보로서 수집한다(S620).
서비스환경 수집부(220)는 i가 0인지 여부를 확인한다(S630).
S630 과정의 확인 결과 i가 0이면, 서비스환경 처리부(230)는 서비스 대상 콘텐츠를 나타내는 정보 및 서비스 환경 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 신경망으로부터 복수의 신경망 출력을 제1 신경망 출력으로서 생성한다(S640).
대상개체 결정부(240)는 복수의 제1 신경망 출력 중에서 제1 대상 출력을 선택하고 제1 대상 출력에 대응하는 대상 기지국 및 해당 기지국에서 교체 가능한 콘텐츠를 나타내는 정보를 식별한다(S650).
대상개체 결정부(240)는 대상 기지국에서 교체 가능한 콘텐츠를 나타내는 정보를 식별하여 서비스 대상 콘텐츠가 대상 기지국에 저장되어 있는 콘텐츠인지 여부를 확인한다(S660).
S660 과정의 확인 결과, 서비스 대상 콘텐츠가 대상 기지국에 저장되어 있는 콘텐츠인 것으로 확인되면 서비스 대상 콘텐츠를 대상 기지국에 저장하기 위한 캐시 교체 과정 없이 수학식 1의 서비스 지연을 산출하고 서비스 제어변수 i를 1만큼 증가시킨다(S680). 캐시 교체 과정이 없는 경우, 수학식 1의 N1은 0이 된다.
S660 과정의 확인 결과, 대상 기지국에 교체대상 콘텐츠가 존재함이 확인되면, 대상개체 결정부(240)는 대상 기지국의 교체대상 콘텐츠를 서비스 대상 콘텐츠로 교체하라는 제1 메시지를 캐시교체부(250)에게 전송하여 대상 기지국의 교체대상 콘텐츠를 서비스 대상 콘텐츠로 교체하여 캐시에 저장한다(S670).
S670 과정에서 서비스 대상 콘텐츠를 해당 기지국에 저장하기 위한 캐시 교체 과정이 수행되면, 수학식 1을 이용하여 서비스 지연 τi를 산출하고 서비스 제어변수 i를 1만큼 증가시킨다(S680).
서비스 지연을 산출하는 S680 과정을 수행한 후에 제2 서비스 대상 콘텐츠의 서비스를 요청하는 다른 서비스 요청이 수신되면 및 제2 서비스 환경 수집을 수행하는 S620 과정을 수행한다.
다른 서비스 요청 수신 및 서비스 환경 수집을 수행한 후 i가 0인지 확인하면(S630), 이 경우는 최초의 서비스 요청을 하는 것이 아닌 경우에 해당하므로 i는 0이 아닌 값을 갖게 된다.
S630 과정의 확인 결과 i는 0이 아닌 값임이 확인되면, 서비스환경 처리부(230)는 제2 서비스 대상 콘텐츠를 나타내는 정보 및 제2 서비스 환경 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 신경망으로부터 복수의 제2 신경망 출력을 생성한다(S690).
대상개체 결정부(240)는 예컨대, ε-그리디 알고리즘을 이용하여 복수의 제2 신경망 출력 중에서 제2 대상 출력을 선택하고, 가중치 갱신부(270)는 제1 대상 출력의 값, 제1 서비스 대상 콘텐츠에 대한 서비스 지연 및 제2 대상 출력의 값에 기반하여 타겟 출력의 크기를 산출한다(S692).
가중치 갱신부(270)는 산출된 타겟 출력의 크기만큼 제2 대상 출력이 신경망에서 생성될 수 있도록 각 가중치 값들을 산출하고 산출된 각 가중치를 신경망 내의 가중치로서 갱신한다(S694).
가중치 갱신부(270)는 i가 L과 같은지 여부를 확인한다(S696). 여기서 L은 가중치 갱신 전과 가중치 갱신 후의 값을 비교하기 위한 서비스 제공 간격을 의미한다.
S696 과정의 확인 결과, i가 L과 같지 않은 경우에는, 서비스환경 처리부(230)는 제2 서비스 대상 콘텐츠를 나타내는 정보 및 제2 서비스 환경 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 신경망으로부터 복수의 제2 신경망 출력을 다시 생성한다(S640).
S696 과정의 확인 결과, i가 L과 같은 경우에는, 가중치 갱신부(270)는 기설정 횟수의 콘텐츠 서비스 이전의 가중치 값들인 제1값과 현재 갱신된 가중치 갱신값인 제2값들과의 차이가 임계값 이하인지 여부를 확인한다(S698).
S696 과정의 확인 결과, 제1값과 제2값들과의 차이가 임계값 이하인 경우에는 가중치 갱신부(270)는 더 이상의 가중치 갱신을 중지하라는 메시지를 발생하여 콘텐츠 서비스 제어장치(200)가 더 이상의 콘텐츠 서비스 제어를 중지하도록 한다.
S696 과정의 확인 결과, 제1값과 제2값들과의 차이가 임계값 이하가 아닌 경우에는, 가중치 갱신부(270)는 i를 0으로 갱신하고(S699) S640 과정으로 진행한다.
도 7은 본 실시예의 방법(DQN)과 다음의 종래의 방법을 시뮬레이션으로 서로 비교한 결과를 도시한 도면이다.
도 7에서 RA-RR(Random Association and Random Replacement)은 접속 기지국과 교체 대상 패킷을 임의로 선택하는 방법의 성능을 나타낸 것이고, SD-LFU(Shortest Distance and Least Frequently Used)는 가장 가까운 거리에 있는 기지국에 접속하여 인기도가 가장 낮은 패킷을 교체하는 방법의 성능을 나타낸 것이고, CD-LFU(Cached shortest Distance and Least Frequently Used)는 서비스 요청 패킷을 저장하고 있는 가장 가까운 기지국에 접속하여 접속 기지국에서 인기도가 가장 낮은 패킷을 교체하고 서비스 요청 패킷을 저장한 기지국이 없을 경우 가장 가까운 기지국에 접속하는 방법의 성능을 나타낸 것이다.
도 7은 200 개의 이용자 콘텐츠 요청에 따른 서비스 처리를 하나의 에피소드로 정의하고 에피소드 진행에 따른 누적 통신지연 시간을 보여주고 있으며, 본 실시예에 따른 기법(DQN)은 에피소드 진행에 따라 소형셀 기지국 선택 및 콘텐츠 교체 방법을 학습함으로써 통신 지연이 점차 감소하기 시작하여, 약 6,000 에피소드 이후에는 기존 LFU기반 기법들보다 향상된 성능을 갖게 되는 것을 확인할 수 있다.
도 8은 본 실시예의 방법(DQN)과 종래의 방법에서 관심범위에 따른 누적지연 시간을 보여주는 도면이다.
도 8에 나타낸 바와 같이 하나의 중앙 유닛이 커버하는 범위(관심 범위)가 늘어남에 따라 중앙 유닛(130)과 기지국 사이 뿐만 아니라 기지국과 사용자 단말기 사이의 통신 거리가 늘어나게 된다.
이로 인해 전송오류 및 재전송 횟수가 증가하게 되어 누적지연 또한 관심범위 확대와 함께 늘어나는 것을 확인할 수 있다. 또한 모든 관심범위 영역에서 본 실시예에 따른 방법이 가장 좋은 성능을 달성함을 확인할 수 있다.
연속적인 서비스 요청에 대한 누적 지연성능을 고려할 때, 기존 소형셀 캐시 네트워크 연구에 적용되었던 독립적인 소형셀 접속 및 캐시 업데이트 방법은 캐시활용으로 인한 성능이득을 충분히 이끌어내지 못한다.
하지만, 본 실시예는 강화학습을 이용하여 행동 선택으로 인해 발생할 수 있는 향후 영향을 함께 고려하여 소형셀 기지국 선택 및 콘텐츠 교체를 수행함으로써 보다 향상된 성능을 얻을 수 있다.
한편, 도 6에 기재된 본 실시예에 따른 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 사용자 단말기 121, 122, 123, 124: 소형셀 기지국
130: 중앙 유닛 200: 콘텐츠 서비스 제어 장치
210: 서비스요청 수신부 220: 서비스환경 수집부
230: 서비스환경 처리부 240: 대상개체 결정부
250: 캐시교체부 260: 서비스지연 산출부
270: 가중치 갱신부

Claims (16)

  1. 콘텐츠 서비스 제어장치에 있어서,
    사용자로부터 제1 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하는 서비스요청 수신부;
    상기 제1 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 상기 신경망으로부터 적어도 하나의 제1 신경망 출력을 생성하는 서비스환경 처리부;
    상기 적어도 하나의 제1 신경망 출력 중에서 제1 대상 출력을 선택하여 상기 제1 대상 출력에 대응하는 대상 기지국을 결정하는 대상개체 결정부;
    상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠가 상기 사용자에게 서비스되는 데에 소요되는 서비스 지연을 산출하는 서비스지연 산출부; 및
    상기 제1 대상 출력의 값 및 상기 서비스 지연에 기반하여 상기 신경망 내의 적어도 하나의 가중치를 갱신하는 가중치 갱신부
    를 포함하는 콘텐츠 서비스 제어장치.
  2. 제1항에 있어서,
    상기 콘텐츠 서비스 정보는,
    상기 제1 서비스 대상 콘텐츠를 나타내는 정보, 상기 사용자의 위치정보, 상기 사용자가 접속 가능한 각 기지국에 저장된 콘텐츠 목록을 나타내는 정보를 포함하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  3. 제1항에 있어서,
    상기 대상개체 결정부는,
    상기 적어도 하나의 제1 신경망 출력 중에서 가장 큰 값을 갖는 출력을 상기 제1 대상 출력으로서 선택하는 제1과정과 상기 적어도 하나의 제1 신경망 출력 중에서 임의의 출력을 상기 제1 대상 출력으로서 선택하는 제2과정을 선택적으로 수행하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 제1 신경망 출력은,
    상기 사용자에게 상기 제1 서비스 대상 콘텐츠를 서비스할 수 있는 적어도 하나의 기지국 및 상기 적어도 하나의 기지국마다 교체 가능한 콘텐츠를 나타내는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  5. 제4항에 있어서,
    상기 대상개체 결정부는,
    각각의 제1 신경망 출력에 대응하여 기지국 식별정보 및 해당 기지국에서 교체 가능한 콘텐츠를 나타내는 정보를 각각 원-핫 인코딩 형식의 벡터로 저장하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  6. 제4항에 있어서,
    상기 제1 대상 출력은, 상기 적어도 하나의 기지국 중에서 선택된 상기 대상 기지국에 대한 정보 및 상기 대상 기지국의 교체 가능한 콘텐츠 중에서 선택된 교체대상 콘텐츠에 대한 정보를 포함하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  7. 제6항에 있어서,
    상기 대상개체 결정부는,
    상기 제1 대상 출력을 참조하여 상기 대상 기지국에서 교체대상 콘텐츠의 존재 여부에 따라 상기 대상 기지국에서 상기 교체대상 콘텐츠를 상기 제1 서비스 대상 콘텐츠로 교체하라는 메시지를 생성하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  8. 제7항에 있어서,
    상기 메시지에 따라 콘텐츠 서버로부터 상기 제1 서비스 대상 콘텐츠를 수신하고, 상기 대상 기지국에게 상기 교체대상 콘텐츠를 삭제하라는 메시지 및 상기 제1 서비스 대상 콘텐츠를 전송하여 상기 대상 기지국의 캐시를 교체하는 캐시교체부를 더 포함하는 콘텐츠 서비스 제어장치.
  9. 제8항에 있어서,
    상기 서비스지연 산출부는,
    상기 캐시가 교체되는 과정의 제1 전송오류 확률 및 상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠에 대한 서비스가 상기 사용자에게 제공되는 과정의 제2 전송오류 확률을 고려하여 상기 서비스 지연을 산출하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  10. 제4항에 있어서,
    상기 교체 가능한 콘텐츠의 교체 단위는 패킷인 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  11. 제1항에 있어서,
    상기 서비스요청 수신부는 제2 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하고,
    상기 서비스환경 처리부는 상기 제2 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 제2 콘텐츠 서비스 정보를 상기 신경망에 입력시켜 적어도 하나의 제2 신경망 출력을 생성하며,
    상기 대상개체 결정부는 상기 적어도 하나의 제2 신경망 출력 중에서 제2 대상 출력을 선택하고,
    상기 가중치 갱신부는 상기 제1 대상 출력의 값, 상기 서비스 지연 및 상기 제2 대상 출력의 값에 기반하여 상기 적어도 하나의 가중치를 갱신하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  12. 제11항에 있어서,
    상기 가중치 갱신부는,
    상기 제1 대상 출력의 값, 상기 서비스 지연 및 상기 제2 대상 출력의 값에 기반하여 타겟 출력의 크기를 산출하고, 상기 제2 콘텐츠 서비스 정보에 대하여 상기 타겟 출력의 크기만큼 상기 제2 대상 출력이 상기 신경망에서 생성되도록 상기 적어도 하나의 가중치를 갱신하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  13. 제12항에 있어서,
    상기 가중치 갱신부는,
    상기 제2 대상 출력의 값과 상기 제1 대상 출력의 값 사이의 차이값과 상기 서비스 지연에 기반하여 상기 타겟 출력의 크기를 산출하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  14. 제12항에 있어서,
    상기 가중치 갱신부는,
    상기 갱신된 가중치 값과 갱신되기 전의 가중치 값의 차이가 임계값 이하인 경우 더 이상의 가중치 갱신을 중지하라는 메시지를 발생하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  15. 제12항에 있어서,
    상기 가중치 갱신부는 기설정 횟수의 콘텐츠 서비스 이전의 가중치 제1 값들과 현재 갱신된 가중치 제2 값들과의 차이가 임계값 이하인 경우 더 이상의 가중치 갱신을 중지하라는 메시지를 발생하는 것을 특징으로 하는 콘텐츠 서비스 제어장치.
  16. 콘텐츠 서비스 제어장치가 콘텐츠 서비스를 제어하는 방법에 있어서,
    사용자로부터 제1 서비스 대상 콘텐츠에 대한 서비스 요청을 수신하는 과정;
    상기 제1 서비스 대상 콘텐츠를 나타내는 정보를 포함하는 콘텐츠 서비스 정보를 신경망으로 입력시키고 상기 신경망으로부터 적어도 하나의 제1 신경망 출력을 생성하는 과정;
    상기 적어도 하나의 제1 신경망 출력 중에서 제1 대상 출력을 선택하여 상기 제1 대상 출력에 대응하는 대상 기지국을 결정하는 과정;
    상기 대상 기지국으로부터 상기 제1 서비스 대상 콘텐츠가 상기 사용자에게 서비스되는 데에 소요되는 서비스 지연을 산출하는 과정; 및
    상기 제1 대상 출력의 값 및 상기 서비스 지연에 기반하여 상기 신경망 내의 적어도 하나의 가중치를 갱신하는 과정
    을 포함하는 콘텐츠 서비스 제어방법.
KR1020190107386A 2019-08-30 2019-08-30 콘텐츠 서비스 제어 방법 및 장치 KR102164685B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190107386A KR102164685B1 (ko) 2019-08-30 2019-08-30 콘텐츠 서비스 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190107386A KR102164685B1 (ko) 2019-08-30 2019-08-30 콘텐츠 서비스 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102164685B1 true KR102164685B1 (ko) 2020-10-12

Family

ID=72886237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190107386A KR102164685B1 (ko) 2019-08-30 2019-08-30 콘텐츠 서비스 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102164685B1 (ko)

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"A deep reinforcement learning-based framework for content caching"(Chen Zhong, IEEE, 2018.03.23.) *
"Deep Reinforcement Learning for Adaptive Caching in Hierarchical Content Delivery Networks"(Alireza Sadeghi et al, 2019.07.11.) *
"Intelligent Routing based on Deep Reinforcement Learning in Software-Defined Data-Center Networks"(Wai-xi Liu, IEEE, 2019.07.03.) *
"Multi-Objective Workflow Scheduling With Deep-Q-Network-Based Multi-Agent Reinforcement Learning"(Yuandou Wang et al, IEEE, 2019.03.29.) *

Similar Documents

Publication Publication Date Title
Zhang et al. Smart proactive caching: Empower the video delivery for autonomous vehicles in ICN-based networks
Zhong et al. A deep reinforcement learning-based framework for content caching
KR101785221B1 (ko) 무선 통신에서 파일의 전송 성공 확률을 고려하여 캐싱 확률을 결정하는 방법 및 장치
JP2018506873A (ja) モビリティ管理のための仮想サービングゲートウェイを配置するためのシステムおよび方法
CN113282786B (zh) 一种基于深度强化学习的全景视频边缘协作缓存替换方法
Kwon et al. Self-adaptive power control with deep reinforcement learning for millimeter-wave Internet-of-vehicles video caching
KR102252896B1 (ko) 사용자 이동성과 다중 파일 선호도에 기초한 기지국 에지 캐싱 방법 및 그 방법을 수행하기 위한 기지국
CN107637046A (zh) 用于控制多连接以提高数据传输率的方法和设备
CN115314944A (zh) 基于移动车辆社会关系感知的车联网协作缓存方法
CN115633380A (zh) 一种考虑动态拓扑的多边缘服务缓存调度方法和系统
KR102164685B1 (ko) 콘텐츠 서비스 제어 방법 및 장치
CN113672819B (zh) 一种基于推荐感知和协作边缘缓存的内容请求处理系统
CN111465057B (zh) 一种基于强化学习的边缘缓存方法、装置及电子设备
Huang et al. An effective data communication community establishment scheme in opportunistic networks
CN110784881B (zh) 一种物联终端多级边缘节点主动缓存方法、设备及介质
Ahn et al. A novel proactive caching strategy with community-aware learning in CoMP-enabled small-cell networks
CN115484314B (zh) 一种移动边缘计算网络下推荐赋能的边缘缓存优化方法
CN113573103B (zh) 分布式移动网络视频缓存放置方法、系统及相关设备
KR101928650B1 (ko) 제한된 캐시 메모리 환경에서 파일 및 화질의 선호도를 고려한 파일 저장 방법 및 파일 저장 장치
JP7138739B2 (ja) 通信システム、通信装置、及びプログラム
Hoiles et al. Risk-averse caching policies for YouTube content in femtocell networks using density forecasting
CN110072216B (zh) 一种面向预测控制的最优缓存方法
KR101980458B1 (ko) 무선 온라인 캐싱 시스템에서 파일 및 화질의 선호도를 고려한 파일 저장 방법 및 파일 저장 장치
KR102151314B1 (ko) 이종 스몰셀 네트워크에서 랜덤 컨텐츠 저장 최적화 방법 및 시스템
CN115103408B (zh) 一种面向mec的边缘视频缓存服务器部署规划方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant