KR102602371B1 - Apparatus and method for caching based on reinforcement learning in content-centric network - Google Patents

Apparatus and method for caching based on reinforcement learning in content-centric network Download PDF

Info

Publication number
KR102602371B1
KR102602371B1 KR1020210175964A KR20210175964A KR102602371B1 KR 102602371 B1 KR102602371 B1 KR 102602371B1 KR 1020210175964 A KR1020210175964 A KR 1020210175964A KR 20210175964 A KR20210175964 A KR 20210175964A KR 102602371 B1 KR102602371 B1 KR 102602371B1
Authority
KR
South Korea
Prior art keywords
content
requested content
cache
network
requested
Prior art date
Application number
KR1020210175964A
Other languages
Korean (ko)
Other versions
KR20230087218A (en
Inventor
유영환
임준영
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020210175964A priority Critical patent/KR102602371B1/en
Publication of KR20230087218A publication Critical patent/KR20230087218A/en
Application granted granted Critical
Publication of KR102602371B1 publication Critical patent/KR102602371B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Abstract

본 발명은 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법에 관한 것으로, 코어 네트워크로 콘텐츠의 요청을 감지하고, 상기 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 상기 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 상기 요청한 콘텐츠를 송신하고, 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하고, 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하고, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하면, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장한다.The present invention relates to an apparatus and method for caching based on reinforcement learning in a content-centric network. When a content request is detected by a core network and the requested content is received from the core network, a user terminal requests the content from the core network. transmit the requested content, select a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network, check whether the selected node has sufficient storage space to store the requested content, and check whether the selected node has sufficient storage space to store the requested content. If there is enough storage space to store the requested content, the requested content is stored in the selected node.

Description

콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법{APPARATUS AND METHOD FOR CACHING BASED ON REINFORCEMENT LEARNING IN CONTENT-CENTRIC NETWORK}Device and method for caching based on reinforcement learning in content-centered network {APPARATUS AND METHOD FOR CACHING BASED ON REINFORCEMENT LEARNING IN CONTENT-CENTRIC NETWORK}

이하의 일 실시 예들은 콘텐츠 중심 네트워크에서 서비스 종류에 따른 강화학습을 기반으로 콘텐츠를 캐싱하는 장치 및 방법에 관한 것이다.The following embodiments relate to an apparatus and method for caching content based on reinforcement learning according to service type in a content-centric network.

일반 기업이나 중소통신사, 시스템통합(SI) 업체도 5G망을 구축할 수 있게 되었다. 5G 특화망을 사용하는 사업체 혹은 기관의 경우, 사업 분야에 따라 필요한 5G 서비스가 구분되는 특징을 가진다. General companies, small and medium-sized communications companies, and system integration (SI) companies can now build 5G networks. For businesses or organizations that use 5G specialized networks, the required 5G services are differentiated depending on the business field.

5G 네트워크는 크게 세 가지 시나리오를 제공하고 각 시나리오는 서로 다른 성능 지표를 가진다. 먼저 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication)는 로봇 원격 제어, 자율주행차량 등 실시간 반응 속도가 필요한 서비스를 위한 것으로 기본 수십 밀리 세컨드의 지연 시간을 1ms 수준으로 최소화 하는 것과 이동성을 지원해야하는 조건을 가진다.5G networks largely provide three scenarios, and each scenario has different performance indicators. First, ultra-reliable low latency communication (uRLLC) is for services that require real-time response speed, such as remote control of robots and autonomous vehicles, and is designed to minimize the basic delay time of tens of milliseconds to 1 ms and improve mobility. There are conditions that must be applied.

향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand)는 UHD 기반 AR/VR 및 홀로그램 등 대용량 전송이 필요한 서비스를 위해 더 큰 주파수 대역폭을 사용하고 더 많은 안테나를 사용하여 100Mbps의 사용자 체감 속도와 최대 20Gbps의 훨씬 많은 데이터 전송속도 제공을 목표로 한다. 따라서 향상된 모바일 브로드밴드(eMBB)는 최고 전송 속도, 사용자 체감 전송 속도, 주파수 효율, 면적당 데이터 처리 용량 등을 지원해야 한다. 대규모 사물 통신(mMTC; massive Machine Type Communications)는 수많은 가정용, 산업용 IoT 기기들이 상호 연결되어 동작할 스마트시티, 스마트 홈, 스마트 팩토리 등의 환경을 대비하기 위한 것으로 1km^2당 1백만개의 연결을 동시 지원하는 것을 목표로 한다. 이를 위해 mMTC는 높은 최대 기기 연결 수와 네트워크 에너지 효율성을 지원해야 한다.Enhanced Mobile Broadband (eMBB) uses a larger frequency bandwidth and more antennas for services that require large-capacity transmission, such as UHD-based AR/VR and holograms, providing a user-perceived speed of 100Mbps and much higher bandwidth of up to 20Gbps. The goal is to provide data transfer speeds. Therefore, improved mobile broadband (eMBB) must support the highest transmission speed, user-perceived transmission speed, spectral efficiency, and data processing capacity per area. Massive Machine Type Communications (mMTC) is intended to prepare for environments such as smart cities, smart homes, and smart factories where numerous home and industrial IoT devices will be interconnected and operate, and can support 1 million connections per 1km^2 simultaneously. The goal is to support To achieve this, mMTC must support a high maximum number of device connections and network energy efficiency.

5G 특화망이란 기존 이동통신사가 아닌 일반 기업이 필요에 따라 주파수를 할당 또는 지정 받아 토지, 건물 등 제한된 구역에 구축해 운영하는 소규모 네트워크를 말한다. 기존 이동통신사에서 제한적으로 운영한 대용량 저지연 기술 구현이 가능한 28GHz 대역을 필요한 기업에서 사용할 수 있고 이를 이용해 다양한 서비스를 선보일 수 있다. 5G 특화망을 설치하는 기업의 경우, 사업 분야에 따라 필요한 5G 서비스가 구분되는 특징을 가진다 예를 들어 교육 혹은 OTT(Over The Top)와 같은 사업분야일 경우 해당 사업체에서 사용하는 5G 특화망에서는 eMBB 서비스가 주가 될 것이고, 안전과 관련된 사업체의 경우 uRLLC 서비스가 주를 이룰 것이다.A 5G specialized network refers to a small-scale network that is established and operated in limited areas such as land and buildings by allocating or designating frequencies as needed by general companies, not existing mobile carriers. Companies that need the 28 GHz band, which can implement high-capacity, low-latency technology that was limited by existing mobile carriers, can be used and various services can be introduced using this. In the case of companies installing 5G specialized networks, the required 5G services are differentiated depending on the business field. For example, in the case of business fields such as education or OTT (Over The Top), the 5G specialized network used by the business requires eMBB. Services will be the main focus, and for businesses related to safety, uRLLC services will be the mainstay.

네트워크 캐싱은 네트워크 자원의 효율적 사용을 위해 요청 빈도가 높은 데이터를 사용자 가까이에 저장해 두는, 전통적인 네트워크 성능 향상 방법이다. 일반적인 IP 네트워크에서는 사용자 네트워크에 있는 프록시 서버가 데이터를 저장하고 해당 데이터의 원래 서버에 전송되는 IP 기반의 데이터 요청을 중간에 가로채 처리한다.Network caching is a traditional method of improving network performance that stores frequently requested data close to users for efficient use of network resources. In a typical IP network, a proxy server in the user's network stores data and intercepts and processes IP-based data requests sent to the original server of the data.

하지만 기존의 네트워크 캐싱으로는 5G 특화망에서 요구하는 사항을 만족하기 어렵다. 따라서, 5G 특화망에 적합한 새로운 캐싱이 요구된다.However, it is difficult to meet the requirements of 5G specialized networks with existing network caching. Therefore, new caching suitable for 5G specialized networks is required.

본 발명은 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법을 제공하는 것을 목적으로 한다.The purpose of the present invention is to provide a device and method for caching based on reinforcement learning in a content-centric network.

본 발명의 일 실시 예에 따른 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법은, 코어 네트워크로 콘텐츠의 요청을 감지하는 단계; 상기 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 상기 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 상기 요청한 콘텐츠를 송신하는 단계; 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계; 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하는 단계; 및 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하면, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장하는 단계를 포함한다.A method of caching based on reinforcement learning in a content-centric network according to an embodiment of the present invention includes detecting a request for content from a core network; Upon receiving the requested content from the core network, transmitting the requested content to a user terminal that requested the content from the core network; Selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network; Checking whether the selected node has sufficient storage space to store the requested content; And if the selected node has sufficient storage space to store the requested content, storing the requested content in the selected node.

이때, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산할 수 있다.At this time, the step of selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network includes ultra-reliable low latency communication (uRLLC). ) In the case of a service, the reward value of the reinforcement learning can be calculated through <Equation 1> below.

[수학식 1][Equation 1]

여기서, dcache는 캐싱한 콘텐츠를 요청하여 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠가 도착하여야 하는 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다. Havg는 해당 콘텐츠가 전체 네트워크에 얼마나 고르게 분산되어 캐시되어 있는가를 나타내는 값으로 평균값 대신 같은 콘텐츠가 캐시된 가장 가까운 노드와의 홉 수가 될 수도 있다.Here, d cache represents the actual time it takes to request and receive cached content, d required represents the request validity period during which the requested content must arrive, and R cache represents the number of nodes where the requested content exists in the network. H avg represents the dispersion of the cache as the average number of hops between nodes where the requested content exists, and α and β each represent preset weights. H avg is a value that indicates how evenly distributed and cached the content is across the entire network. Instead of the average value, it can be the number of hops to the nearest node where the same content is cached.

이때, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스 또는 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산할 수 있다.At this time, the step of selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network includes an enhanced Mobile Broadband (eMBB; enhanced Mobile BroadBand (eMBB) service or large-scale object) service type of the content-centric network. In the case of a massive machine type communications (mMTC) service, the reward value of the reinforcement learning can be calculated using Equation 2 below.

[수학식 2][Equation 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다. 이 Havg 역시 평균값 대신 같은 콘텐츠가 캐시된 가장 가까운 노드와의 홉 수가 될 수도 있다.Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights. This H avg can also be the number of hops to the nearest node where the same content is cached instead of the average value.

이때, 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법은, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계; 및 상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 상기 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고 상기 요청한 콘텐츠를 상기 선택한 노드에 저장하는 단계를 더 포함할 수 있다.At this time, the method of caching based on reinforcement learning in a content-centric network is that, if the selected node does not have enough storage space to store the requested content, the content stored in the selected node and the requested content are stored according to the service type of the content-centric network. calculating a cache gain for each content; And as a result of calculating the cache gain of each of the requested contents, if the cache gain of the requested content is not the lowest, removing the content with the lowest cache gain among the stored contents and storing the requested content in the selected node. It can be included.

이때, 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법은, 상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠를 저장할 상기 선택한 노드를 상기 콘텐츠 중심 네트워크에서 한 단계 상위 노드로 선택하는 단계를 더 포함할 수 있다.At this time, the reinforcement learning-based caching method in the content-centric network includes calculating the cache gain of each requested content and selecting the selected node to store the requested content as a node one level higher in the content-centric network. may further include.

이때, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 아래 <수학식 3>을 통해서 캐시 이득을 계산할 수 있다.At this time, the step of calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centric network includes ultra-reliable low-latency communication (uRLLC; In the case of a low latency communication service, the cache gain can be calculated through <Equation 3> below.

[수학식 3][Equation 3]

여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.

이때, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스인 경우 아래 <수학식 4>을 통해서 캐시 이득을 계산할 수 있다.At this time, the step of calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centered network includes an enhanced Mobile Broadband (eMBB; enhanced Mobile BroadBand service) service type of the content-centered network. In this case, the cache gain can be calculated through <Equation 4> below.

[수학식 4][Equation 4]

여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.

이때, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 아래 <수학식 5>을 통해서 캐시 이득을 계산할 수 있다.At this time, in the step of calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centric network, the service type of the content-centric network is Massive Machine Type Communications (mMTC). In the case of a service, the cache gain can be calculated through <Equation 5> below.

[수학식 5][Equation 5]

여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .

본 발명의 일 실시 예에 따른 캐싱 제어 장치는, 코어 네트워크로 콘텐츠의 요청을 감지하고, 상기 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 상기 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 상기 요청한 콘텐츠를 송신하는 컨텐츠 처리부; 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 강화 학습부; 및 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하고, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하면, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장하는 캐싱부를 포함한다.The caching control device according to an embodiment of the present invention detects a request for content from the core network, and when receiving the requested content from the core network, transmits the requested content to the user terminal that requested the content from the core network. processing department; a reinforcement learning unit that selects a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network; and a caching unit that checks whether the selected node has sufficient storage space to store the requested content, and, if the selected node has sufficient storage space to store the requested content, stores the requested content in the selected node.

이때, 상기 강화 학습부는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산할 수 있다.At this time, the reinforcement learning unit calculates the reward value of the reinforcement learning through <Equation 1> below when the service type of the content-centered network is an ultra-reliable low latency communication (uRLLC) service. You can.

[수학식 1][Equation 1]

여기서, dcache는 요청한 콘텐츠를 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠의 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, d cache represents the actual time taken to receive the requested content, d required represents the request validity period of the requested content, R cache represents the number of nodes where the requested content exists in the network, and H avg represents the requested content. The dispersion of the cache is expressed as the average number of hops between nodes where content exists, and α and β each represent preset weights.

이때, 상기 강화 학습부는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스 또는 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산할 수 있다.At this time, the reinforcement learning unit, if the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service or a massive Machine Type Communications (mMTC) service, sets the reward value of the reinforcement learning as follows. It can be calculated through <Equation 2>.

[수학식 2][Equation 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다.Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights.

이때, 상기 캐싱부는, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하고, 상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 상기 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고 상기 요청한 콘텐츠를 상기 선택한 노드에 저장할 수 있다.At this time, if the selected node does not have enough storage space to store the requested content, the caching unit calculates a cache gain for each of the content stored in the selected node and the requested content according to the service type of the content-centric network, and As a result of calculating the cache gain of each requested content, if the cache gain of the requested content is not the lowest, the content with the lowest cache gain among the stored content may be removed and the requested content may be stored in the selected node.

이때, 상기 캐싱부는, 상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮으면, 상기 요청한 콘텐츠를 저장할 상기 선택한 노드를 상기 콘텐츠 중심 네트워크에서 한 단계 상위 노드로 선택할 수 있다.At this time, if the cache gain of the requested content is the lowest as a result of calculating the cache gain of each of the requested content, the caching unit may select the selected node to store the requested content as a node one level higher in the content-centric network. there is.

이때, 상기 캐싱부는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 아래 <수학식 3>을 통해서 캐시 이득을 계산할 수 있다.At this time, if the service type of the content-centered network is an ultra-reliable low latency communication (uRLLC) service, the caching unit can calculate the cache gain through Equation 3 below.

[수학식 3][Equation 3]

여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.

이때, 상기 캐싱부는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스인 경우 아래 <수학식 4>을 통해서 캐시 이득을 계산할 수 있다.At this time, the caching unit may calculate the cache gain through Equation 4 below when the service type of the content-centered network is an enhanced Mobile Broadband (eMBB) service.

[수학식 4][Equation 4]

여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.

이때, 상기 캐싱부는, 상기 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 아래 <수학식 5>을 통해서 캐시 이득을 계산할 수 있다.At this time, if the service type of the content-centric network is a massive machine type communications (mMTC) service, the caching unit can calculate the cache gain through Equation 5 below.

[수학식 5][Equation 5]

여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .

본 발명은 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법에 관한 것으로, 캐싱 노드를 선택함에 있어서 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 진행하여 최적의 캐싱 노드를 선택하고, 캐싱 노드에 저장함에 있어서도 콘텐츠 중심 네트워크의 서비스 종류에 따른 캐시 이득을 계산하고, 캐시 이득을 고려하여 저장할 콘텐츠를 선별함으로써 콘텐츠 중심 네트워크의 서비스 종류에 최적화된 네트워크 캐싱이 가능하다.The present invention relates to an apparatus and method for caching based on reinforcement learning in a content-centric network. In selecting a caching node, reinforcement learning is performed according to the service type of the content-centric network to select the optimal caching node, and the caching node When storing, network caching optimized for the service type of the content-centered network is possible by calculating the cache gain according to the service type of the content-centered network and selecting the content to be stored considering the cache gain.

도 1은 본 발명의 일 실시 예에 따른 강화학습을 기반으로 캐싱하는 콘텐츠 중심 네트워크의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따라 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 캐싱 제어 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 콘텐츠 중심 네트워크의 캐싱 제어 장치에서 강화학습을 기반으로 캐싱하는 과정을 도시한 흐름도이다.Figure 1 is a diagram illustrating an example of a content-centric network caching based on reinforcement learning according to an embodiment of the present invention.
Figure 2 is a diagram illustrating the configuration of a caching control device that performs caching based on reinforcement learning in a content-centric network according to an embodiment of the present invention.
Figure 3 is a flowchart showing a caching process based on reinforcement learning in a caching control device for a content-centric network according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the attached drawings. However, various changes can be made to the embodiments, so the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes for the embodiments are included in the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are for descriptive purposes only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the embodiments belong. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, when describing with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiments, if it is determined that detailed descriptions of related known technologies may unnecessarily obscure the gist of the embodiments, the detailed descriptions are omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. Additionally, in describing the components of the embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, sequence, or order of the component is not limited by the term. When a component is described as being "connected," "coupled," or "connected" to another component, that component may be directly connected or connected to that other component, but there is no need for another component between each component. It should be understood that may be “connected,” “combined,” or “connected.”

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components including common functions will be described using the same names in other embodiments. Unless stated to the contrary, the description given in one embodiment may be applied to other embodiments, and detailed description will be omitted to the extent of overlap.

이하에서는, 본 발명의 일 실시 예에 따른 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 장치 및 방법을 첨부된 도 1 내지 도 3을 참조하여 상세히 설명한다.Hereinafter, an apparatus and method for caching based on reinforcement learning in a content-centric network according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 3 attached.

도 1은 본 발명의 일 실시 예에 따른 강화학습을 기반으로 캐싱하는 콘텐츠 중심 네트워크의 예를 도시한 도면이다.Figure 1 is a diagram illustrating an example of a content-centric network caching based on reinforcement learning according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에서 가정하는 네트워크는 일반적인 IP 네트워크가 아닌 콘텐츠 중심 네트워크(100)이다. 5G는 셀룰러와 와이파이 등 다양한 통신이 접목된 Multi-RAT(radio access technology) 환경을 구성한다. 또한 이기종 네트워크 간 간섭, 수많은 장치들로 구성된 동적 토폴로지 등 보다 복잡하고 다양한 환경을 고려해야 한다. 이러한 환경에서 기존의 IP 주소 기반 콘텐츠 전송 방식을 따르면 잦은 핸드오버 등으로 불필요한 전송 지연이 발생할 수 있다. 콘텐츠 중심 네트워크 라우터를 네트워크에 배치할 경우 IP 주소의 변동에 관계없이 콘텐츠 검색 및 전달이 가능하므로 전송 시간을 크게 줄일 수 있다. Referring to FIG. 1, the network assumed in the present invention is a content-centered network 100 rather than a general IP network. 5G creates a Multi-RAT (radio access technology) environment that combines various communications such as cellular and Wi-Fi. Additionally, more complex and diverse environments, such as interference between heterogeneous networks and dynamic topologies consisting of numerous devices, must be considered. In this environment, if the existing IP address-based content transmission method is followed, unnecessary transmission delays may occur due to frequent handovers. When a content-centric network router is placed in a network, content can be searched and delivered regardless of changes in IP addresses, thereby significantly reducing transmission time.

콘텐츠 중심 네트워크(100)는 기지국(121~114)를 통해서 모바일 단말기(111~114)로부터 콘텐츠 요청을 수신할 수 있고, 콘텐츠 캐시(131~135)에 요청받은 콘텐츠가 저장되어 있으면 모바일 단말기(111~114)로 전달하고, 콘텐츠 캐시(131~135)에 요청받은 콘텐츠가 저장되어 있지 않으면 코어 네트워크(160)로 요청하여 전달한다.The content-centric network 100 can receive content requests from mobile terminals 111 to 114 through base stations 121 to 114, and if the requested content is stored in the content caches 131 to 135, the mobile terminal 111 ~114), and if the requested content is not stored in the content cache (131-135), it is requested and delivered to the core network (160).

콘텐츠 중심 네트워크(100)에서는 콘텐츠 요청 시 콘텐츠 정보를 담은 interest packet이 일치하는 콘텐츠가 발견될 때까지 이웃한 엣지(edge) 서버(144, 145)의 콘텐츠 캐시(134, 135), 라우터(142, 143)의 콘텐츠 캐시(132, 133), 게이트웨이(141)의 콘텐츠 캐시(131) 그리고 코어 네트워크(160)의 콘텐츠 캐시에 차례로 전달된다. 각 콘텐츠 캐시(131~135)는 콘텐츠가 발견되면 interest packet의 전달을 멈추고 콘텐츠를 사용자에게 전송하지만, 원하는 콘텐츠가 없으면 이웃에게 interest packet을 이웃에게 전파하고 해당 요청을 PIT(pending interest table)에 저장한다. 이때, 엣지 서버(144, 145)는 엣지 스위치(151, 152)를 통해서 지국(121~114)과 통신할 수 있다.In the content-centered network 100, when requesting content, the content cache 134, 135 of the neighboring edge servers 144, 145, the router 142, until content matching the interest packet containing content information is found. It is sequentially delivered to the content caches 132 and 133 of 143, the content cache 131 of the gateway 141, and the content cache of the core network 160. Each content cache (131 to 135) stops delivering the interest packet when content is found and transmits the content to the user, but if the desired content is not found, it spreads the interest packet to neighbors and stores the request in the PIT (pending interest table). do. At this time, the edge servers 144 and 145 can communicate with the stations 121 to 114 through the edge switches 151 and 152.

대형 통신사가 운용하는 기존 5G 네트워크는 특정 서비스에 제한되지 않고 다양한 종류의 서비스를 제공하기 때문에 일반적인 네트워크 캐싱 전략을 사용하나, 5G의 특정 서비스를 타겟으로 구축되는 5G 특화망을 고려한 본 발명에서는 해당 서비스의 QoE를 고려한 최적의 캐싱 전략 선택이 가능하다.Existing 5G networks operated by large telecommunication companies use a general network caching strategy because they provide various types of services without being limited to specific services. However, in the present invention, considering a 5G specialized network built to target a specific 5G service, the corresponding service It is possible to select the optimal caching strategy considering QoE.

콘텐츠 중심 네트워크의 라우팅 과정에서는 캐시 적중률 뿐만 아니라 콘텐츠가 In the routing process of a content-centric network, not only the cache hit rate but also the content

엣지 서버(144, 145)의 콘텐츠 캐시(134, 135), 라우터(142, 143)의 콘텐츠 캐시(132, 133), 게이트웨이(141)의 콘텐츠 캐시(131), 코어 네트워크(160)의 콘텐츠 캐시 중 어디에서 발견 되느냐에 따라 응답시간과 네트워크의 효율이 크게 달라지기 때문에 콘텐츠 중심 네트워크(100)에서 콘텐츠를 선택하는 것 외에도 여러 레벨의 캐시 중 어느 곳에 저장할 것인지도 신중하게 결정해야한다. 따라서 본 발명의 네트워크 캐싱 전략은 2단계로 구성된다.Content caches 134 and 135 of edge servers 144 and 145, content caches 132 and 133 of routers 142 and 143, content caches 131 of gateways 141, and content caches of core network 160. Because response time and network efficiency vary greatly depending on where content is found, in addition to selecting content in a content-centric network (100), you must also carefully decide where to store it among several levels of cache. Therefore, the network caching strategy of the present invention consists of two steps.

1단계는 강화학습을 통해 해당 콘텐츠를 엣지 서버(144, 145)의 콘텐츠 캐시(134, 135), 라우터(142, 143)의 콘텐츠 캐시(132, 133), 게이트웨이(141)의 콘텐츠 캐시(131), 코어 네트워크(160)의 콘텐츠 캐시 중 어느 네트워크 레벨에 캐싱할지 결정하는 것이다. (물론 코어 네트워크 이후 공중망(public network)에도 여러 단계의 캐시가 존재할 수 있지만 이는 공중망의 정책에 따라 달라지므로 본 발명과는 상관이 없다.) In the first step, through reinforcement learning, the content is stored in the content cache (134, 135) of the edge servers (144, 145), the content cache (132, 133) of the router (142, 143), and the content cache (131) of the gateway (141). ), which determines which network level among the content caches of the core network 160 to cache. (Of course, there may be several levels of cache in the public network after the core network, but this has nothing to do with the present invention because it depends on the policy of the public network.)

본 발명은 5G 서비스 시나리오의 QoE(Quality-of-Experience)와 콘텐츠의 인기도 및 요청 빈도 등의 특성에 기반한 강화학습 기술을 통해 최적의 캐싱 위치를 찾는다. 서비스의 종류, 서비스 요청 빈도, 캐시 가용 자원 크기 등이 상태 정보가 되며, 현재 상태에 따라 각 레벨에서 캐시 여부를 나타내는 벡터 형태로 액션을 표현할 수 있다. 이때 여러 레벨에서 동시에 캐시를 하게 될 수도 있는데 과도한 중복(redundancy)은 캐시 자원의 낭비를 가져오므로 음의 보상(reward)이 되고, 캐시 적중에 의한 전송 지연시간 감소 정도는 양의 보상이 된다. 캐시 적중에 의한 보상은 액션 후 즉각적으로 확인할 수 있는 값이 아니므로 감쇠 인자(discount factor)를 통해 보정한다. 해당 기법은 평균 응답시간을 줄여 사용자 만족도를 크게 향상 시킬 수 있다. The present invention finds the optimal caching location through reinforcement learning technology based on characteristics such as QoE (Quality-of-Experience) of 5G service scenarios and content popularity and request frequency. The type of service, frequency of service requests, size of available cache resources, etc. become status information, and depending on the current status, actions can be expressed in the form of a vector indicating whether or not to cache at each level. At this time, caching may be done at multiple levels simultaneously. Excessive redundancy results in waste of cache resources, which is a negative reward, and the reduction in transmission delay time due to cache hits is a positive reward. Since compensation due to a cache hit is not a value that can be immediately confirmed after the action, it is corrected through a discount factor. This technique can significantly improve user satisfaction by reducing the average response time.

제안 캐싱 전략의 2단계는 정해진 캐싱 위치에 남아 있는 메모리 공간이 부족한 경우 교체할 콘텐츠를 정하는 방법이다. 네트워크 노드들은 제한된 캐시 저장 공간을 가지고, 네트워크 코어에서 멀어질수록 작은 캐시 공간을 가진다. 따라서 강화학습을 통해 정해진 최적의 위치에 이미 다른 콘텐츠들이 저장되어 있어 해당 콘텐츠를 곧바로 저장할 수 없는 경우가 발생한다. 본 발명에서는 콘텐츠별 캐시 이득을 고려하여 우선순위를 결정한다. The second step of the proposed caching strategy is to determine the content to be replaced when the remaining memory space in the designated caching location is insufficient. Network nodes have limited cache storage space, and the farther away they are from the network core, the smaller the cache space. Therefore, there may be cases where the content cannot be saved immediately because other content is already stored in the optimal location determined through reinforcement learning. In the present invention, priority is determined by considering cache gain for each content.

본 발명의 네트워크 캐싱 전략은 캐싱 제어 장치에 의해서 수행되며, 콘텐츠 중심 네트워크(100)의 최상의 노드에 위치한다. 따라서, 콘텐츠 중심 네트워크(100)의 게이트웨이(141)는 캐싱 제어 장치를 포함할 수 있다. 캐싱 제어 장치의 구체적인 설명은 이수 도 2를 참조하여 후술한다.The network caching strategy of the present invention is performed by a caching control device, located at the highest node of the content-centric network 100. Accordingly, the gateway 141 of the content-centric network 100 may include a caching control device. A detailed description of the caching control device will be described later with reference to FIG. 2.

도 2는 본 발명의 일 실시 예에 따라 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 캐싱 제어 장치의 구성을 도시한 도면이다.Figure 2 is a diagram illustrating the configuration of a caching control device that performs caching based on reinforcement learning in a content-centric network according to an embodiment of the present invention.

도 2를 참조하면, 캐싱 제어 장치(200)는 프로세서(210), 통신부(220), 메모리(230)를 포함하여 구성된다. 이때, 프로세서(210)는 컨텐츠 처리부(212), 강화 학습부(214) 및 캐싱부(216)를 포함할 수 있다.Referring to FIG. 2, the caching control device 200 includes a processor 210, a communication unit 220, and a memory 230. At this time, the processor 210 may include a content processing unit 212, a reinforcement learning unit 214, and a caching unit 216.

통신부(220)는 콘텐츠 중심 네트워크에 포함된 각 노드들과 코어 네트워크와 통신을 하여 콘텐츠를 송수신할 수 있다.The communication unit 220 can transmit and receive content by communicating with each node included in the content-centered network and the core network.

메모리(230)는 프로세서(210)의 제어에 의해 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 또한, 메모리(230)는 콘텐츠를 저장할 수 있다.The memory 230 may store various data, programs, or applications for driving and controlling the display device 100 under the control of the processor 210. Additionally, the memory 230 can store content.

메모리(230)는 롬, 램 또는 디스플레이 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.The memory 230 includes ROM, RAM, or a memory card (eg, micro SD card, USB memory, not shown) mounted on the display device 100. Additionally, memory 120 may include non-volatile memory, volatile memory, hard disk drive (HDD), or solid state drive (SSD).

일 실시 예에 따라, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. According to one embodiment, the memory 120 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (e.g., SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) ), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk.

컨텐츠 처리부(212)는 코어 네트워크로 콘텐츠의 요청을 감지하고, 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 요청한 콘텐츠를 송신한다.The content processing unit 212 detects a request for content from the core network, and upon receiving the requested content from the core network, transmits the requested content to the user terminal that requested the content from the core network.

강화 학습부(214)는 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 요청한 콘텐츠를 저장할 캐싱 노드를 선택한다.The reinforcement learning unit 214 selects a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network.

초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication)는 로봇 원격 제어, 자율주행차량 등 실시간 반응 속도가 필요한 서비스를 위한 것으로 기본 수십 밀리 세컨드의 지연 시간을 1ms 수준으로 최소화 하는 것과 이동성을 지원해야하는 조건을 가진다.Ultra-reliable low latency communication (uRLLC) is for services that require real-time response speed, such as remote control of robots and autonomous vehicles, and supports mobility by minimizing the basic delay time of tens of milliseconds to 1 ms. There are conditions that must be met.

따라서, 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC) 서비스인 경우, 서비스의 지연시간이 중요하고 일반적으로 데이터의 크기가 작으므로 사용자와 가까운 곳에 캐싱하는 것이 유리하다. 교체할 콘텐츠를 선택할 때는 요청 빈도를 우선적으로 고려해야 하지만, 삭제 후 요청이 발생하게 되면 네트워크 코어에서 다시 가져와야 하므로 네트워크 코어와의 거리를 고려하여야 한다. 따라서 uRLLC용 콘텐츠 중심 네트워크의 경우 데이터 청크 크기를 작게 하고 가능한 계층(hierarchy)이 낮은 평면적인 네트워크 구조가 유리하다. Therefore, when the service type of the content-centric network is an ultra-reliable low-latency communication (uRLLC) service, the latency of the service is important and the data size is generally small, so it is advantageous to cache it close to the user. When selecting content to replace, the frequency of requests should be considered first, but if a request occurs after deletion, it must be retrieved from the network core again, so the distance from the network core should be considered. Therefore, in the case of a content-centric network for uRLLC, a flat network structure with small data chunk sizes and as low a hierarchy as possible is advantageous.

이때, 강화 학습부(214)는 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC) 서비스인 경우 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산할 수 있다.At this time, the reinforcement learning unit 214 can calculate the reward value of reinforcement learning through <Equation 1> below when the service type of the content-centered network is an ultra-reliable low-latency communication (uRLLC) service.

[수학식 1][Equation 1]

여기서, dcache는 요청한 콘텐츠를 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠의 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, d cache represents the actual time taken to receive the requested content, d required represents the request validity period of the requested content, R cache represents the number of nodes where the requested content exists in the network, and H avg represents the requested content. The dispersion of the cache is expressed as the average number of hops between nodes where content exists, and α and β each represent preset weights.

강화 학습부(214)는 <수학식 1>에서 Rcache/Havg를 통해 해당 캐시의 중복도를 구하여 음의 보상값을 취할 수 있다.The reinforcement learning unit 214 can obtain the redundancy of the corresponding cache through R cache /H avg in <Equation 1> and take a negative compensation value.

한편, 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand)는 UHD 기반 AR/VR 및 홀로그램 등 대용량 전송이 필요한 서비스를 위해 더 큰 주파수 대역폭을 사용하고 더 많은 안테나를 사용하여 100Mbps의 사용자 체감 속도와 최대 20Gbps의 훨씬 많은 데이터 전송속도 제공을 목표로 한다. 따라서 eMBB는 최고 전송 속도, 사용자 체감 전송 속도, 주파수 효율, 면적당 데이터 처리 용량 등을 지원해야 한다. 그리고, 대규모 사물 통신(mMTC; massive Machine Type Communications)는 수많은 가정용, 산업용 IoT 기기들이 상호 연결되어 동작할 스마트시티, 스마트 홈, 스마트 팩토리 등의 환경을 대비하기 위한 것으로 1km^2당 1백만개의 연결을 동시 지원하는 것을 목표로 한다. Meanwhile, enhanced Mobile Broadband (eMBB) uses a larger frequency bandwidth and more antennas for services that require large-capacity transmission such as UHD-based AR/VR and holograms, providing a user-perceived speed of 100Mbps and up to 20Gbps. It aims to provide much higher data transfer speeds. Therefore, eMBB must support the highest transmission speed, user-perceived transmission speed, frequency efficiency, and data processing capacity per area. Massive Machine Type Communications (mMTC) is intended to prepare for environments such as smart cities, smart homes, and smart factories where numerous home and industrial IoT devices will be interconnected and operate, with 1 million connections per km^2. The goal is to support simultaneously.

향상된 모바일 브로드밴드(eMBB) 서비스를 제공하는 콘텐츠 중심 네트워크의 경우 지연시간은 상대적으로 덜 중요한 반면 데이터의 크기가 크기 때문에 코어 쪽에 캐싱하는 것이 유리하다. 이를 고려하여 청크 크기를 크게 하고 계층적인 네트워크 구조를 사용하여 높은 레벨에 콘텐츠를 캐싱함으로써 되도록 많은 사용자가 콘텐츠 캐싱의 효과를 누릴 수 있도록 하는 것이 바람직하다. For content-centric networks providing enhanced mobile broadband (eMBB) services, latency is relatively less important, but because the data size is large, caching on the core side is advantageous. Considering this, it is desirable to enable as many users as possible to enjoy the effects of content caching by increasing the chunk size and caching content at a high level using a hierarchical network structure.

대규모 사물 통신(mMTC)의 경우 IoT와 센서 장치들이 많은데 이들이 전송하는 데이터들은 시의성이 있어서 시간이 지나면 가치가 낮아지는 경우가 많다. 따라서 교체 콘텐츠를 선택할 때는 생성된지 가장 오래된 콘텐츠를 선택하고, 캐싱 위치를 결정할 때는 센싱 데이터가 여러 사용자들에게 공개되는 경우가 일반적임을 고려하여 매개 중심성이 높은 저장소가 유리하다.In the case of large-scale machine-to-machine communication (mMTC), there are many IoT and sensor devices, but the data they transmit is timely, so its value often decreases over time. Therefore, when selecting replacement content, select the content that has been created the oldest, and when determining the caching location, considering that sensing data is usually disclosed to multiple users, a storage with high betweenness centrality is advantageous.

따라서, 강화 학습부(214)는 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB) 서비스 또는 대규모 사물 통신(mMTC) 서비스인 경우 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산할 수 있다.Therefore, the reinforcement learning unit 214 can calculate the reward value of reinforcement learning through <Equation 2> below when the service type of the content-centered network is an enhanced mobile broadband (eMBB) service or a large-scale machine-to-machine communication (mMTC) service. there is.

[수학식 2][Equation 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다.Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights.

강화 학습부(214)는 <수학식 2>에서 dcore와 dcache의 차를 통해 캐시 적중에 의한 전송 지연 시간을 구할 수 있고 이를 양의 보상으로 취할 수 있다.The reinforcement learning unit 214 can obtain the transmission delay time due to a cache hit through the difference between d core and d cache in <Equation 2> and take this as positive compensation.

캐싱부(216)는 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하고, 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분하면, 선택한 노드에 요청한 콘텐츠를 저장한다.The caching unit 216 checks whether the selected node has enough storage space to store the requested content, and if the selected node has enough storage space to store the requested content, it stores the requested content in the selected node.

캐싱부(216)는 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 콘텐츠 중심 네트워크의 서비스 종류에 따라 선택한 노드에 저장된 콘텐츠와 요청한 콘텐츠 각각의 캐시 이득을 계산하고, 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고 요청한 콘텐츠를 선택한 노드에 저장한다.If there is not enough storage space to store the requested content in the selected node, the caching unit 216 calculates the cache gain of each content stored in the selected node and the requested content according to the service type of the content-centric network, and calculates the cache gain of each requested content. As a result of calculating , if the cache gain of the requested content is not the lowest, the content with the lowest cache gain among the stored content is removed and the requested content is stored in the selected node.

캐싱부(216)에서 요청한 콘텐츠의 캐시 이득이 가장 낮은지 확인하는 것은, 요청한 콘텐츠를 저장할 정도의 메모리 공간을 확보할 수 있는지 여부를 확인하기 위한 것으로, 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 저장된 콘텐츠를 제거함으로써 요청한 콘텐츠르 저장할 수 있는 저장 공간을 확보할 수 있는지 확인하는 것이다. 따라서, 요청한 콘텐츠가 가장 낮은 캐시 이득을 가지고 있지 않더라도, 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 저장된 콘텐츠를 제거해서 요청한 콘텐츠를 저장할 수 있는 저장 공간을 확보할 수 없다면 캐싱부(216)는 요청한 콘텐츠의 캐시 이득이 가장 낮은 것으로 판단할 수 있다.The purpose of checking whether the cache gain of the requested content in the caching unit 216 is the lowest is to check whether memory space sufficient to store the requested content can be secured, and stored content with a cache gain lower than the requested content is used. This is to check whether storage space for storing the requested content can be secured by removing it. Therefore, even if the requested content does not have the lowest cache gain, if storage space for storing the requested content cannot be secured by removing stored content with a cache gain lower than the requested content, the caching unit 216 caches the requested content. It can be judged to have the lowest benefit.

또한, 캐싱부(216)는 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거할 때, 요청한 콘텐츠를 저장할 수 있는 저장 공간을 확보 할 때까지 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 콘텐츠를 캐시 이득이 낮은 순으로 콘텐츠를 제거할 수 있다.Additionally, when removing the content with the lowest cache gain among the stored content, the caching unit 216 selects content with a lower cache gain than the requested content in order of lowest cache gain until storage space for storing the requested content is secured. You can remove content with .

캐싱부(216)는 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 요청한 콘텐츠의 캐시 이득이 가장 낮으면, 요청한 콘텐츠를 저장할 선택한 노드를 콘텐츠 중심 네트워크에서 한 단계 상위 노드로 선택하고, 요청한 콘텐츠가 네트워크 노드에 저장될 때까지 선택한 노드의 저장 공간이 충분하지 여부와 캐시 이득을 계산하는 것을 반복할 수 있다.As a result of calculating the cache gain of each requested content, if the cache gain of the requested content is the lowest, the caching unit 216 selects the selected node to store the requested content as a node one level higher in the content-centric network, and determines that the requested content is stored in the network. You can repeat calculating whether the selected node has enough storage space and calculating the cache gain until it is stored in the node.

이때, 캐싱부(216)는 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC) 서비스인 경우 콘텐츠의 요청 빈도, 콘텐츠의 크기 그리고 해당 노드와 코어 네트워크 와의 거리를 우선적으로 고려하여 아래 <수학식 3>을 통해서 캐시 이득을 계산할 수 있다.At this time, if the service type of the content-centered network is an ultra-reliable low-latency communication (uRLLC) service, the caching unit 216 first considers the request frequency of the content, the size of the content, and the distance between the node and the core network and performs the following <mathematics>. The cache gain can be calculated through Equation 3>.

[수학식 3][Equation 3]

여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.

캐싱부(216)는 요청빈도와 서버와의 거리는 값이 클수록 캐시 이득이 증가 함으로 계수에 곱을 취해 캐시 이득을 구할 수 있다.The caching unit 216 can calculate the cache gain by multiplying the coefficient because the cache gain increases as the request frequency and distance to the server increase.

또한, 캐싱부(216)는 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB) 서비스인 경우 데이터의 크기와, 딥러닝을 통해 분석한 인기도 및 재요청 확률을 우선적으로 고려한다. 향상된 모바일 브로드밴드(eMBB)의 대용량 멀티미디어 서비스의 경우 시간, 요일, 그리고 영상의 카테고리 별로 콘텐츠의 인기도와 재요청 확률이 달라질 수 있다. 예를 들어 잔인한 장면이 나오는 공포영화는 낮 시간보다 저녁 시간에 콘텐츠 인기도가 상승하고, 어린이 그리고 청소년들이 주로 시청하는 만화 또는 교육 방송의 경우 낮 시간에 인기도가 상승한다. 또한 평일 기간보다 주말에 예능 프로그램의 인기도가 높아지고 상대적으로 교육 방송은 평일 기간에 인기도가 높다. 본 발명에서는 이러한 점들을 고려하여 시간, 요일 그리고 영상 카테고리를 포함한 시계열 데이터로 학습한 RNN 모델을 활용하여 인기도를 예측하고 이를 활용한다.In addition, when the service type of the content-centered network is an improved mobile broadband (eMBB) service, the caching unit 216 prioritizes the size of the data, popularity analyzed through deep learning, and re-request probability. In the case of enhanced mobile broadband (eMBB) high-capacity multimedia services, the popularity and re-request probability of content may vary depending on time, day of the week, and video category. For example, the popularity of horror movies with brutal scenes increases in the evening rather than during the day, and the popularity of cartoons or educational broadcasts that are mainly watched by children and teenagers increases during the day. Additionally, the popularity of entertainment programs increases on weekends compared to weekdays, and educational broadcasts are relatively more popular on weekdays. Taking these points into consideration, the present invention predicts popularity and utilizes an RNN model learned from time series data including time, day of the week, and video category.

캐싱부(216)는 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB) 서비스인 경우 아래 <수학식 4>을 통해서 캐시 이득을 계산할 수 있다.When the service type of the content-centered network is an enhanced mobile broadband (eMBB) service, the caching unit 216 can calculate the cache gain through Equation 4 below.

[수학식 4][Equation 4]

여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.

또한, 캐싱부(216)는 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC) 서비스인 경우 스마트 홈, 스마트 팩토리, 스마트 시티와 같은 환경에서 IoT 디바이스들이 주기적인 간격을 가지고 센서를 통해 수집한 데이터를 전송한다. 따라서 콘텐츠들은 일정한 수명을 가지게 되고 본 발명에서는 이를 대규모 사물 통신(mMTC) 서비스를 위한 콘텐츠 중심 네트워크에서 최우선으로 고려하여 캐시 이득을 구한다. In addition, when the service type of the content-centered network is a large-scale machine-to-machine communication (mMTC) service, the caching unit 216 collects data collected through sensors by IoT devices at periodic intervals in environments such as smart homes, smart factories, and smart cities. transmit. Therefore, contents have a certain lifespan, and in the present invention, cache gain is obtained by considering this as a top priority in a content-centric network for large-scale machine-to-machine communication (mMTC) service.

캐싱부(216)는 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC) 서비스인 경우 아래 <수학식 5>을 통해서 캐시 이득을 계산할 수 있다.When the service type of the content-centric network is a large-scale machine-to-machine communication (mMTC) service, the caching unit 216 can calculate the cache gain through Equation 5 below.

[수학식 5][Equation 5]

여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .

프로세서(210)는 캐싱 제어 장치(200)의 전반적인 동작을 제어할 수 있다. 그리고, 프로세서(210)는 컨텐츠 처리부(212), 강화 학습부(214) 및 캐싱부(216)의 기능을 수행할 수 있다. 프로세서(210), 컨텐츠 처리부(212), 강화 학습부(214) 및 캐싱부(216)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 프로세서(210)는 컨텐츠 처리부(212), 강화 학습부(214) 및 캐싱부(216) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 프로세서(210)는 컨텐츠 처리부(212), 강화 학습부(214) 및 캐싱부(216) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.The processor 210 may control the overall operation of the caching control device 200. Additionally, the processor 210 may perform the functions of the content processing unit 212, the reinforcement learning unit 214, and the caching unit 216. The processor 210, content processing unit 212, reinforcement learning unit 214, and caching unit 216 are shown separately for the purpose of distinguishing and explaining each function. Accordingly, the processor 210 may include at least one processor configured to perform the respective functions of the content processing unit 212, the reinforcement learning unit 214, and the caching unit 216. Additionally, the processor 210 may include at least one processor configured to perform some of the functions of the content processing unit 212, the reinforcement learning unit 214, and the caching unit 216.

이하, 상기와 같이 구성된 본 발명에 따른 방법을 아래에서 도면을 참조하여 설명한다.Hereinafter, the method according to the present invention configured as above will be described with reference to the drawings.

도 3은 본 발명의 일 실시 예에 따른 콘텐츠 중심 네트워크의 캐싱 제어 장치에서 강화학습을 기반으로 캐싱하는 과정을 도시한 흐름도이다.Figure 3 is a flowchart showing a caching process based on reinforcement learning in a caching control device for a content-centric network according to an embodiment of the present invention.

도 3을 참조하면, 캐싱 제어 장치(200)는 코어 네트워크로 콘텐츠의 요청을 감지하고(310), 코어 네트워크로부터 요청한 콘텐츠를 수신하면(312), 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 요청한 콘텐츠를 송신한다(314). 이때, 코어 네트워크로의 콘텐츠 요청은 콘텐츠 중심 네트워크에 존재하는 네트워크 캐시에 해당 콘텐츠가 존재하지 않는 경우에 발생한다.Referring to FIG. 3, the caching control device 200 detects a request for content from the core network (310), and upon receiving the requested content from the core network (312), sends the requested content to the user terminal that requested the content from the core network. Send (314). At this time, a content request to the core network occurs when the content does not exist in the network cache existing in the content-centric network.

그리고, 캐싱 제어 장치(200)는 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 요청한 콘텐츠를 저장할 캐싱 노드를 선택한다(316).Then, the caching control device 200 selects a caching node to store the requested content through reinforcement learning according to the service type of the content-centered network (316).

316 단계에서 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 캐싱 제어 장치(200)는 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산할 수 있다.In step 316, if the service type of the content-centered network is an ultra-reliable low latency communication (uRLLC) service, the caching control device 200 calculates the reward value of reinforcement learning through <Equation 1> below. It can be calculated.

[수학식 1][Equation 1]

여기서, dcache는 요청한 콘텐츠를 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠의 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, d cache represents the actual time taken to receive the requested content, d required represents the request validity period of the requested content, R cache represents the number of nodes where the requested content exists in the network, and H avg represents the requested content. The dispersion of the cache is expressed as the average number of hops between nodes where content exists, and α and β each represent preset weights.

또한, 316 단계에서 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스 또는 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 캐싱 제어 장치(200)는 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산할 수 있다.Additionally, in step 316, if the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service or a massive Machine Type Communications (mMTC) service, the caching control device 200 determines the reward value of reinforcement learning. can be calculated through <Equation 2> below.

[수학식 2][Equation 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다.Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights.

그리고, 캐싱 제어 장치(200)는 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인한다(318).Then, the caching control device 200 checks whether the selected node has enough storage space to store the requested content (318).

318단계의 확인결과 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분하면, 캐싱 제어 장치(200)는 선택한 노드에 요청한 콘텐츠를 저장한다(328).If, as a result of the confirmation in step 318, there is sufficient storage space to store the requested content in the selected node, the caching control device 200 stores the requested content in the selected node (328).

318단계의 확인결과 선택한 노드에 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 캐싱 제어 장치(200)는 콘텐츠 중심 네트워크의 서비스 종류에 따라 선택한 노드에 저장된 콘텐츠와 요청한 콘텐츠 각각의 캐시 이득을 계산한다(320).If, as a result of the confirmation in step 318, there is not enough storage space to store the requested content in the selected node, the caching control device 200 calculates the cache gain of each content stored in the selected node and the requested content according to the service type of the content-centric network ( 320).

320단계에서 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 캐싱 제어 장치(200)는 아래 <수학식 3>을 통해서 캐시 이득을 계산할 수 있다.In step 320, if the service type of the content-centered network is an ultra-reliable low latency communication (uRLLC) service, the caching control device 200 can calculate the cache gain through Equation 3 below.

[수학식 3][Equation 3]

여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.

320단계에서 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스인 경우 캐싱 제어 장치(200)는 아래 <수학식 4>을 통해서 캐시 이득을 계산할 수 있다.In step 320, if the service type of the content-centered network is an enhanced Mobile BroadBand (eMBB) service, the caching control device 200 can calculate the cache gain through Equation 4 below.

[수학식 4][Equation 4]

여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.

320단계에서 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 캐싱 제어 장치(200)는 아래 <수학식 5>을 통해서 캐시 이득을 계산할 수 있다.In step 320, if the service type of the content-centric network is a massive machine type communications (mMTC) service, the caching control device 200 can calculate the cache gain through Equation 5 below.

[수학식 5][Equation 5]

여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .

그리고, 캐싱 제어 장치(200)는 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 요청한 콘텐츠의 캐시 이득이 가장 낮은지 확인한다(322).Then, the caching control device 200 determines whether the cache gain of the requested content is the lowest as a result of calculating the cache gain of each requested content (322).

322단계는 요청한 콘텐츠를 저장할 정도의 메모리 공간을 확보할 수 있는지 여부를 확인하기 위한 것으로, 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 저장된 콘텐츠를 제거함으로써 요청한 콘텐츠르 저장할 수 있는 저장 공간을 확보할 수 있는지 확인하는 것이다.Step 322 is to check whether memory space sufficient to store the requested content can be secured. By removing stored content with a lower cache gain than the requested content, it is possible to secure storage space to store the requested content. It is done.

따라서, 요청한 콘텐츠가 가장 낮은 캐시 이득을 가지고 있지 않더라도, 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 저장된 콘텐츠를 제거해서 요청한 콘텐츠를 저장할 수 있는 저장 공간을 확보할 수 없다면 캐싱 제어 장치(200)는 요청한 콘텐츠의 캐시 이득이 가장 낮은 것으로 판단할 수 있다.Therefore, even if the requested content does not have the lowest cache gain, if storage space for storing the requested content cannot be secured by removing stored content with a cache gain lower than the requested content, the caching control device 200 may not store the requested content. It can be judged that the cache gain is the lowest.

322단계의 확인결과 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 캐싱 제어 장치(200)는 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고(326), 요청한 콘텐츠를 선택한 노드에 저장한다(328). If the cache gain of the requested content is not the lowest as a result of step 322, the caching control device 200 removes the content with the lowest cache gain from among the stored content (326) and stores the requested content in the selected node (328).

326단계에서 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거할 때, 캐싱 제어 장치(200)는 요청한 콘텐츠를 저장할 수 있는 저장 공간을 확보 할 때까지 요청한 콘텐츠 보다 낮은 캐시 이득을 가진 콘텐츠를 캐시 이득이 낮은 순으로 콘텐츠를 제거할 수 있다.When removing the content with the lowest cache gain among the stored content in step 326, the caching control device 200 removes content with a cache gain lower than the requested content until storage space for storing the requested content is secured. You can remove content in descending order.

322단계의 확인결과 요청한 콘텐츠의 캐시 이득이 가장 낮으면, 캐싱 제어 장치(200)는 콘텐츠 중심 네트워크에서 한 단계 상위 노드를 선택하고(324), 318단계로 돌아가서 요청한 콘텐츠가 네트워크 노드에 저장(캐싱)될 때까지 이후 일련의 과정을 반복한다.If the cache gain of the requested content is the lowest as a result of step 322, the caching control device 200 selects a node one level higher in the content-centric network (324), returns to step 318, and stores the requested content in the network node (caching). ), repeat the subsequent series of processes until.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with limited drawings as described above, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the following claims.

200: 캐싱 제어 장치
210: 프로세서
212: 컨텐츠 처리부
214: 강화 학습부
216: 캐싱부
220: 통신부
230: 메모리200: Caching control device
210: processor
212: Content processing unit
214: Reinforcement learning department
216: caching unit
220: Department of Communications
230: memory

Claims (17)

코어 네트워크로 콘텐츠의 요청을 감지하는 단계;
상기 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 상기 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 상기 요청한 콘텐츠를 송신하는 단계;
콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계;
선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하는 단계;
상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하면, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장하는 단계;
상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계; 및
상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 상기 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고 상기 요청한 콘텐츠를 상기 선택한 노드에 저장하는 단계
를 포함하는 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
Detecting a request for content through the core network;
Upon receiving the requested content from the core network, transmitting the requested content to a user terminal that requested the content from the core network;
Selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network;
Checking whether the selected node has sufficient storage space to store the requested content;
If the selected node has sufficient storage space to store the requested content, storing the requested content in the selected node;
If the selected node does not have enough storage space to store the requested content, calculating a cache gain for each of the content stored in the selected node and the requested content according to the service type of the content-centric network; and
As a result of calculating the cache gain of each requested content, if the cache gain of the requested content is not the lowest, removing the content with the lowest cache gain from the stored content and storing the requested content in the selected node.
A caching method based on reinforcement learning in a content-centric network including.
 제1항에 있어서,
상기 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산하는
콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
[수학식 1]


여기서, dcache는 요청한 콘텐츠를 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠의 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.
According to paragraph 1,
The step of selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network,
If the service type of the content-centric network is an ultra-reliable low latency communication (uRLLC) service, the reward value of the reinforcement learning is calculated through <Equation 1> below.
A caching method based on reinforcement learning in content-centric networks.
[Equation 1]


Here, d cache represents the actual time taken to receive the requested content, d required represents the request validity period of the requested content, R cache represents the number of nodes where the requested content exists in the network, and H avg represents the requested content. The dispersion of the cache is expressed as the average number of hops between nodes where content exists, and α and β each represent preset weights.
 제1항에 있어서,
상기 콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 단계는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스 또는 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산하는
콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
[수학식 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다.
According to paragraph 1,
The step of selecting a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network,
If the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service or a Massive Machine Type Communications (mMTC) service, the reward value of the reinforcement learning is calculated using Equation 2 below. calculating
A caching method based on reinforcement learning in content-centric networks.
[Equation 2]

Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights.
 삭제delete 제1항에 있어서,
상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮으면, 상기 요청한 콘텐츠를 저장할 상기 선택한 노드를 상기 콘텐츠 중심 네트워크에서 한 단계 상위 노드로 선택하는 단계
를 더 포함하는 콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
According to paragraph 1,
As a result of calculating the cache gain of each requested content, if the cache gain of the requested content is the lowest, selecting the selected node to store the requested content as a node one level higher in the content-centric network.
A caching method based on reinforcement learning in a content-centric network that further includes.
 제1항에 있어서,
상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 아래 <수학식 3>을 통해서 캐시 이득을 계산하는
콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
[수학식 3]


여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.
According to paragraph 1,
Calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centric network,
If the service type of the content-centric network is an ultra-reliable low latency communication (uRLLC) service, the cache gain is calculated through Equation 3 below.
A caching method based on reinforcement learning in content-centric networks.
[Equation 3]


Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.
 제1항에 있어서,
상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스인 경우 아래 <수학식 4>을 통해서 캐시 이득을 계산하는
콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
[수학식 4]


여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.
According to paragraph 1,
Calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centric network,
If the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service, the cache gain is calculated through Equation 4 below.
A caching method based on reinforcement learning in content-centric networks.
[Equation 4]


Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.
 제1항에 있어서,
상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하는 단계는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 아래 <수학식 5>을 통해서 캐시 이득을 계산하는
콘텐츠 중심 네트워크에서 강화학습을 기반으로 캐싱하는 방법.
[수학식 5]


여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.
According to paragraph 1,
Calculating the cache gain of each of the content stored in the selected node and the requested content according to the service type of the content-centric network,
If the service type of the content-centric network is a Massive Machine Type Communications (mMTC) service, the cache gain is calculated using Equation 5 below.
A caching method based on reinforcement learning in content-centric networks.
[Equation 5]


Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .
 제1항 내지 제3항 및 제5항 내지 제8항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
A computer-readable recording medium, characterized in that a program for executing the method of any one of claims 1 to 3 and 5 to 8 is recorded thereon.
 코어 네트워크로 콘텐츠의 요청을 감지하고, 상기 코어 네트워크로부터 요청한 콘텐츠를 수신하면, 상기 코어 네트워크로 콘텐츠를 요청한 사용자 단말기로 상기 요청한 콘텐츠를 송신하는 컨텐츠 처리부;
콘텐츠 중심 네트워크의 서비스 종류에 따른 강화학습을 통해서 상기 요청한 콘텐츠를 저장할 캐싱 노드를 선택하는 강화 학습부; 및
선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분한지 확인하고, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하면, 상기 선택한 노드에 상기 요청한 콘텐츠를 저장하는 캐싱부
를 포함하고,
상기 캐싱부는,
상기 선택한 노드에 상기 요청한 콘텐츠를 저장할 저장공간이 충분하지 않으면, 상기 콘텐츠 중심 네트워크의 서비스 종류에 따라 상기 선택한 노드에 저장된 콘텐츠와 상기 요청한 콘텐츠 각각의 캐시 이득을 계산하고, 상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮지 않으면, 상기 저장된 콘텐츠 중에서 캐시 이득이 가장 낮은 콘텐츠를 제거하고 상기 요청한 콘텐츠를 상기 선택한 노드에 저장하는
캐싱 제어 장치.
a content processing unit that detects a request for content from the core network and, upon receiving the requested content from the core network, transmits the requested content to a user terminal that requested the content from the core network;
a reinforcement learning unit that selects a caching node to store the requested content through reinforcement learning according to the service type of the content-centric network; and
A caching unit that checks whether the selected node has enough storage space to store the requested content, and if the selected node has enough storage space to store the requested content, stores the requested content in the selected node.
Including,
The caching unit,
If there is not enough storage space to store the requested content in the selected node, the cache gain of each of the content stored in the selected node and the requested content is calculated according to the service type of the content-centric network, and the cache gain of each of the requested content is calculated. As a result of calculating, if the cache gain of the requested content is not the lowest, remove the content with the lowest cache gain among the stored content and store the requested content in the selected node.
Caching Control Unit.
 제10항에 있어서,
상기 강화 학습부는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 1>을 통해서 계산하는
캐싱 제어 장치.
[수학식 1]


여기서, dcache는 요청한 콘텐츠를 받아올 때 걸리는 실제 소요 시간을 나타내고, drequired는 요청한 콘텐츠의 요청 유효 기간을 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.
According to clause 10,
The reinforcement learning department,
If the service type of the content-centric network is an ultra-reliable low latency communication (uRLLC) service, the reward value of the reinforcement learning is calculated through <Equation 1> below.
Caching Control Unit.
[Equation 1]


Here, d cache represents the actual time taken to receive the requested content, d required represents the request validity period of the requested content, R cache represents the number of nodes where the requested content exists in the network, and H avg represents the requested content. The dispersion of the cache is expressed as the average number of hops between nodes where content exists, and α and β each represent preset weights.
 제10항에 있어서,
상기 강화 학습부는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스 또는 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 상기 강화학습의 보상값을 아래의 <수학식 2>을 통해서 계산하는
캐싱 제어 장치.
[수학식 2]

여기서, dcore는 네트워크 코어에서 요청한 콘텐츠를 전송 받을 경우에 예상되는 지연 시간을 나타내고, dcache는 가장 가까운 레벨의 노드에서 요청한 콘텐츠를 전송 받을 때 소요되는 지연 시간을 나타내고, B는 매개 중심성(Betweenness centrality)으로 노드간 최단 경로에 요청한 콘텐츠를 포함하는 노드가 얼마나 포함되어 있는지를 나타내고, Rcache는 네트워크에 요청한 콘텐츠가 존재하는 노드의 수를 나타내고, Havg는 요청한 콘텐츠가 존재하는 노드 사이의 평균 홉 수로 캐시의 분산도를 나타내고, α, β 및 γ 각각은 기설정된 가중치를 나타낸다.
According to clause 10,
The reinforcement learning department,
If the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service or a Massive Machine Type Communications (mMTC) service, the reward value of the reinforcement learning is calculated using Equation 2 below. calculating
Caching Control Unit.
[Equation 2]

Here, d core represents the expected delay time when receiving the requested content from the network core, d cache represents the delay time required when receiving the requested content from the node at the nearest level, and B is betweenness centrality. centrality) indicates how many nodes containing the requested content are included in the shortest path between nodes, R cache indicates the number of nodes in the network where the requested content exists, and H avg is the average between nodes where the requested content exists. The number of hops represents the dispersion of the cache, and α, β, and γ each represent preset weights.
 삭제delete 제10항에 있어서,
상기 캐싱부는,
상기 요청한 콘텐츠 각각의 캐시 이득을 계산한 결과, 상기 요청한 콘텐츠의 캐시 이득이 가장 낮으면, 상기 요청한 콘텐츠를 저장할 상기 선택한 노드를 상기 콘텐츠 중심 네트워크에서 한 단계 상위 노드로 선택하는
캐싱 제어 장치.
According to clause 10,
The caching unit,
As a result of calculating the cache gain of each requested content, if the cache gain of the requested content is the lowest, the selected node to store the requested content is selected as a node one level higher in the content-centric network.
Caching Control Unit.
 제10항에 있어서,
상기 캐싱부는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 초고신뢰 저지연 통신(uRLLC; ultra-reliable low latency communication) 서비스인 경우 아래 <수학식 3>을 통해서 캐시 이득을 계산하는
캐싱 제어 장치.
[수학식 3]


여기서, P는 요청된 콘텐츠의 요청 빈도를 나타내고, D는 요청된 콘텐츠가 저장된 노드와의 거리를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.
According to clause 10,
The caching unit,
If the service type of the content-centric network is an ultra-reliable low latency communication (uRLLC) service, the cache gain is calculated through Equation 3 below.
Caching Control Unit.
[Equation 3]


Here, P represents the request frequency of the requested content, D represents the distance from the node where the requested content is stored, and α and β each represent a preset weight.
 제10항에 있어서,
상기 캐싱부는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 향상된 모바일 브로드밴드(eMBB; enhanced Mobile BroadBand) 서비스인 경우 아래 <수학식 4>을 통해서 캐시 이득을 계산하는
캐싱 제어 장치.
[수학식 4]


여기서, S는 요청된 콘텐츠의 크기를 나타내고, R은 순환 신경망(RNN; Recurrent Neural Network) 모델을 통해 예측한 요청된 콘텐츠의 인기도를 나타내고,α와 β 각각은 기설정된 가중치를 나타낸다.
According to clause 10,
The caching unit,
If the service type of the content-centric network is an enhanced Mobile Broadband (eMBB) service, the cache gain is calculated through Equation 4 below.
Caching Control Unit.
[Equation 4]


Here, S represents the size of the requested content, R represents the popularity of the requested content predicted through a Recurrent Neural Network (RNN) model, and α and β each represent preset weights.
 제10항에 있어서,
상기 캐싱부는,
상기 콘텐츠 중심 네트워크의 서비스 종류가 대규모 사물 통신(mMTC; massive Machine Type Communications) 서비스인 경우 아래 <수학식 5>을 통해서 캐시 이득을 계산하는
캐싱 제어 장치.
[수학식 5]


여기서, Lt는 요청된 콘텐츠의 총 수명을 나타내고, Ls는 요청된 콘텐츠가 생성된 후 소모된 시간을 나타내고, S는 요청된 콘텐츠의 크기를 나타내고, α와 β 각각은 기설정된 가중치를 나타낸다.According to clause 10,
The caching unit,
If the service type of the content-centric network is a Massive Machine Type Communications (mMTC) service, the cache gain is calculated using Equation 5 below.
Caching Control Unit.
[Equation 5]


Here, L t represents the total lifespan of the requested content, L s represents the time consumed after the requested content is created, S represents the size of the requested content, and α and β each represent a preset weight. .
KR1020210175964A 2021-12-09 2021-12-09 Apparatus and method for caching based on reinforcement learning in content-centric network KR102602371B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210175964A KR102602371B1 (en) 2021-12-09 2021-12-09 Apparatus and method for caching based on reinforcement learning in content-centric network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175964A KR102602371B1 (en) 2021-12-09 2021-12-09 Apparatus and method for caching based on reinforcement learning in content-centric network

Publications (2)

Publication Number Publication Date
KR20230087218A KR20230087218A (en) 2023-06-16
KR102602371B1 true KR102602371B1 (en) 2023-11-16

Family

ID=86948541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175964A KR102602371B1 (en) 2021-12-09 2021-12-09 Apparatus and method for caching based on reinforcement learning in content-centric network

Country Status (1)

Country Link
KR (1) KR102602371B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508349B1 (en) * 2014-01-22 2015-04-07 한국과학기술원 Device and method for managing of the server in content delivery network

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100710B1 (en) * 2012-11-26 2020-04-16 삼성전자주식회사 Method for transmitting packet of node and content owner in content centric network
KR101585775B1 (en) * 2014-06-24 2016-01-18 경희대학교 산학협력단 Context-aware content providing system for qos in mobile cloud system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508349B1 (en) * 2014-01-22 2015-04-07 한국과학기술원 Device and method for managing of the server in content delivery network

Also Published As

Publication number Publication date
KR20230087218A (en) 2023-06-16

Similar Documents

Publication Publication Date Title
KR101943530B1 (en) Systems and methods for placing virtual serving gateways for mobility management
Yao et al. Heterogeneous cloudlet deployment and user‐cloudlet association toward cost effective fog computing
Jin et al. Information-centric mobile caching network frameworks and caching optimization: a survey
Amadeo et al. Content-centric wireless networking: A survey
CN111556514B (en) Decentralized mobile edge computing resource discovery and selection method and system
CN102075562B (en) Cooperative caching method and device
KR101790934B1 (en) Context aware neighbor discovery
CN101127714B (en) A route management method and device for wireless mesh network
KR101959970B1 (en) Contents delivery service method using contents sharing, and cache apparatus therefor
US10250671B2 (en) P2P-based file transmission control method and P2P communication control device therefor
CN112153699A (en) Interest packet routing in information-centric networks
US20230126039A1 (en) Method for delivering an audio and/or video content in a mobile network infrastructure
Chai et al. An efficient cooperative hybrid routing protocol for hybrid wireless mesh networks
Abani et al. Popularity-based partial caching for information centric networks
Raissi et al. Hybrid communication architecture in VANETs via named data network
Alioua et al. Incentive edge caching in software‐defined internet of vehicles: A Stackelberg game approach
Pu Pro^NDN: MCDM-Based Interest Forwarding and Cooperative Data Caching for Named Data Networking
KR102602371B1 (en) Apparatus and method for caching based on reinforcement learning in content-centric network
US11218412B2 (en) Method and system for managing the download of data
CN110913430B (en) Active cooperative caching method and cache management device for files in wireless network
Abbasi et al. An intelligent method for reducing the overhead of analysing big data flows in Openflow switch
US10862858B2 (en) Information centric approach in achieving anycast in machine type communications
US20100238939A1 (en) Intermediate node device, method of controlling intermediate node device, and network system
US9112807B2 (en) System and method for managing network information
Kumar et al. Link discontinuity and optimal route data delivery for random waypoint model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right