KR20210074218A - 에지 프레임워크 시스템 - Google Patents

Abstract

에지 프레임워크 시스템은 복수의 코어를 포함하는 프로세서, 그리고 상기 프로세서로 하여금 호스트 OS(operating system)를 실행하도록 하는 명령을 저장하고 있는 메모리를 포함하고, 상기 호스트 OS는 상기 복수의 코어 중 적어도 일부를 속도 기반으로 제1 코어 집합과 제2 코어 집합으로 분리하여 병렬로 실행시키며, 응용에 필요한 병렬 처리 수준에 따라 상기 제1 코어 집합과 제2 코어 집합의 코어 수를 동적으로 선택한다.

Description

에지 프레임워크 시스템{EDGE FRAMEWORK SYSTEM}

본 발명은 에지 프레임워크 시스템에 관한 것으로, 특히 지능형 빅데이터 처리를 위한 빠르고 확장 가능하며 통합된 에지 프레임워크 시스템에 관한 것이다.

산업용 사물인터넷(Industrial Internet of Things, IIoT)의 등장은 머신간 통신과 실시간 빅데이터 분석을 결합하여 운영 효율성, 생산성 및 안정성을 개선할 수 있는 능력으로 인해 발생한다. 특히, IIoT는 운영 효율성을 향상시킬 뿐만 아니라 새로운 비즈니스 모델을 만들기 위해 에지를 활용하여 수익을 늘리기 위해 제조, 농업, 운송, 의료 등의 산업에서 점점 더 많이 사용되고 있다.

IIoT 관련 애플리케이션은 자원이 많이 필요로 하고, 데이터 집약적이며, 실시간 분석을 요구하고, 컨텍스트나 위치를 인식해야 하며, 보안성이 증가하고, 많은 대역폭을 지원해야 한다. 이러한 IIoT 관련 애플리케이션의 요구사항은 고급 네트워크 장비, 지능형 네트워킹 응용 프로그램 및 고급 무선 액세스 기술을 포함한 안정적이고 확장 가능한 네트워크 인프라를 사용하여 해결될 수 있다. 그러나 이러한 애플리케이션 프로그램에는 실시간으로 수집 및 처리해야 하는 많은 데이터가 사용되며, 생성되는 데이터의 형식 및 소스 측면에서 데이터의 특성이 변화된다. 데이터의 크기와 복잡성이 증가함에 따라 실시간 분석이 더욱 어려워진다. 따라서 중요한 IIoT 애플리케이션에서의 요구사항을 충족시키기 위해 강력한 에지 컴퓨팅 인프라가 필요하다.

프로세서 기술이 엑사 스케일(exascale) 컴퓨팅 시대로 나아가면서 프로세서는 멀티코어에서 매니코어 시스템으로 진화하였다. 그러나 일관된 공유 메모리를 가진 제한된 수의 동종 프로세서에 대해서만 개발된 모노리틱(monolithic) 운영 체제에서는 높은 성능과 확장성을 지원하지 못한다. 파일 시스템 입출력 및 네트워크 집약적 워크로드에서는 병목 현상을 해결하기 위해 커널을 우회하는 사용자 스페이스 기법이 연구되었다. 또한 DPDK(Data Plan Development Kit) 및 RDMA(Remote Direct Memory Access)는 네트워크 성능 가속화를 위해 널리 알려진 커널 우회 솔루션이다. 그러나 사용자 스페이스의 해결 방식은 보안, 유연성, 견고성, 상호 운용성 및 하드웨어 공급업체 종속의 문제가 있어서, 고성능 에지 컴퓨팅 플랫폼을 위한 운영체제 개선 기술이 필요하다. 특히 대부분의 상업용 에지 컴퓨팅 솔루션은 특정 유스케이스(use case)에 특화되어 있다. 따라서 유연성이 부족하기 때문에 시간에 민감한 대량의 데이터가 유입될 경우 성능이 저하된다. 진화하는 IIoT 애플리케이션에서의 요구 사항에 적응할 수 있는 고성능의 확장 가능한 에지 플랫폼이 필요하다.

본 발명이 해결하려는 과제는 지능형 빅데이터 처리를 위한 고성능의 확장 가능한 에지 프레임워크 시스템을 제공하는 것이다.

본 발명의 한 실시 예에 따르면, 에지 프레임워크 시스템을 제공한다. 에지 프레임워크 시스템은 복수의 코어를 포함하는 프로세서, 그리고 상기 프로세서로 하여금 호스트 OS(operating system)를 실행하도록 하는 명령어들을 저장하고 있는 메모리를 포함하며, 상기 호스트 OS는 상기 복수의 코어 중 적어도 일부를 속도 기반으로 제1 코어 집합과 제2 코어 집합으로 분리하여 병렬로 실행시키며, 응용에 필요한 병렬 처리 수준에 따라 상기 제1 코어와 제2 코어의 수를 동적으로 선택한다.

본 발명의 실시 예에 의하면, 매니코어 시스템 환경에서 진화하는 IIoT 요구사항에 적응할 수 있는 고성능의 확장 가능하고 유연한 하드웨어 및 가상화 프레임워크 시스템을 제공할 수 있다.

본 발명의 실시 예에 의하면, 런타임 동안에 전체 시스템의 성능을 향상시킬 수 있을 뿐만 아니라 다양한 IIoT 응용 프로그램의 요구사항을 충족시킬 수 있고, 컴퓨팅 및 데이터 집약적인 애플리케이션에 가속화된 통신, 고성능 계산 및 효율적인 저장기법을 제공하여 엄격한 QoS(Quality of Service) 요구사항을 충족시킬 수 있다.

또한 본 발명의 실시 예에 따른 에지 프레임워크를 가까운 기지국이나 무선 네트워크 제어기에 배치하면 낮은 대기 시간에 서비스를 제공할 수 있기 때문에 실시간 에지 인텔리전스를 제공하고 또한 데이터를 로컬에서 효율적으로 처리하여 전송 비용을 줄일 수 있다.

도 1은 본 발명의 실시 예에 따른 에지 프레임워크 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 OS 및 가상화 계층의 호스트 OS 처리부의 멀티커널 구조를 개략적으로 나타낸 도면이다.
도 3은 도 1에 도시된 호스트 OS 처리부의 가속화 기능을 설명하는 도면이다.
도 4는 도 1에 도시된 호스트 OS 처리부의 경량 동기화 기능을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 FENCE 프레임워크로 동작하는 서버 배치의 일 예를 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이제 본 발명의 실시 예에 따른 에지 프레임워크 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 에지 프레임워크 시스템을 나타낸 도면이다.

도 1을 참고하면, 본 발명의 실시 예에 따른 에지 프레임워크 시스템은 빠르고 확장 가능하며 통합된 에지(Fast, Extensible, and Consolidated Edge, ENCE) 프레임워크 시스템으로, 에지 호스트(100) 및 에지 플랫폼 매니저(200)로 구성된다.

에지 호스트(100)에는 매니코어 인프라스트럭처 계층(110), OS(Operating System) 및 가상화 계층(120), 응용 프로그램 및 서비스 계층(130)이 포함된다.

에지 플랫폼 매니저(200)에는 에지 애플리케이션을 실행하고 서비스를 사용하는데 필요한 기능이 포함된다.

매니코어 인프라스트럭처 계층(110)은 프로세서(112), 데이터 스토리지(114) 및 네트워크 인터페이스(116)를 포함한다.

프로세서(112)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리 또는 저장 장치에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(112)는 메모리 및 저장 장치들 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(112)는 병렬 처리를 위한 다수의 작은 코어와 순차적 작업을 효율적으로 실행하기 위한 이기종 매니코어를 포함할 수 있다. 코어는 서로 연결되어 있으며 고속 상호 연결을 사용하여 데이터 스토리지(114) 및 네트워크 인터페이스(116)에 빠르게 연결될 수 있다. 코어는 한 번에 하나의 명령을 처리하는 하드웨어 연산 장치일 수 있다.

이와 같이, 다양한 유형의 코어를 사용할 수 있으므로, 특정 응용 프로그램 요구사항에 따라 리소스 할당이 가능해지므로, 성능과 확장성이 최적화된다. 또한 이기종 리소스를 원활하게 포함할 수 있어 FENCE 프레임워크를 보다 유연하고 확장 가능하게 만들 수 있다.

데이터 스토리지(114)는 메모리 또는 저장 장치를 포함할 수 있다. 메모리 또는 저장 장치는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 메모리에는 프로세서(112)로 하여금 호스트 OS를 실행하도록 하는 명령들을 저장할 수 있다. 메모리는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다. 저장 장치는 하드 디스크(hard disk), SSD(Solid State Drive), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 ROM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.

OS 및 가상화 계층(120)은 매니코어 인프라스트럭처 계층(110)의 이기종 매니코어를 활용하고 비대칭 코어로 달성되는 성능 속도를 더욱 향상시킨다. OS 및 가상화 계층(120)은 호스트 OS 처리부(122) 및 가상화 처리부(124)를 포함한다.

호스트 OS 처리부(122)는 호스트 OS의 기능을 제공한다. 호스트 OS 처리부(122)는 응용의 병렬처리를 고속 코어와 저속 코어로 분리하여 실행시킬 수 있으며, 응용에 필요한 병렬 처리 수준에 따라 최고 성능을 위한 최적의 할당을 달성하기 위해 고속 코어와 저속 코어의 수를 동적으로 선택할 수 있다.

또한 호스트 OS 처리부(122)는 데이터 구조적인 부분에서 락 없는 설계 및 경량 태스크 스케줄링 기능을 제공한다. 락 없는 설계 및 경량 태스크 스케줄링은 적은 컨텍스트 스위치 및 보다 효과적인 스케줄링을 결정하는 특징을 가진다. 매니코어 시스템의 경우, 많은 수의 코어의 가용성 측면에서 빠른 스케줄링 결정 방법이 더욱 효과적일 수 있다.

호스트 OS 처리부(122)는 매니코어 시스템을 위한 최신 운영체제 기술로 향상된 통신 기능(예를 들면, 가속 패킷 처리), 고성능 계산 기능(예를 들면, 경량커널과 풀커널로 구성된 분산 멀티 커널 OS) 및 효율적인 데이터 저장 기능(예를 들면, 확장성을 제공하는 파일시스템 및 경량화된 동기화)을 제공한다.

가상화 처리부(124)는 가상화를 가능하게 한다. 에지 컴퓨팅에서 컴퓨팅 집약적이거나 지연시간에 민감함 응용의 경우 가상화 영향을 최소화시키면서 최대 성능을 보여야 한다. 가상화 처리부(124)는 가상머신, 컨테이너, 유니커널과 같은 다양한 가상화 기술을 사용하여 가상화된 리소스를 사용할 수 있다. 예를 들면, 하이퍼바이저나 컨테이너 엔진 등이 가상화 처리부(124)에 해당될 수 있다.

애플리케이션 및 서비스 계층(130)은 IoT 및 에지 응용을 효과적으로 호스팅하는 데 필요한 위치 서비스, 기계 학습 엔진, 네트워크 관리 서비스 등과 같은 다양한 서비스를 지원한다.

아래에서는 ENCE 프레임워크 시스템을 통해 빠르고 효율적인 에지 컴퓨팅을 제공하기 위한 주요 활성화 및 최적화 기술을 설명한다.

도 2는 도 1에 도시된 OS 및 가상화 계층의 호스트 OS 처리부의 멀티커널 구조를 개략적으로 나타낸 도면이다.

도 2를 참고하면, OS 및 가상화 계층(120)은 호스트 OS 처리부(122) 및 가상화 처리부(124)를 포함한다. 호스트 OS 처리부(122)는 멀티커널을 포함할 수 있다.

멀티 커널은 LWK(Light weight kernel)와 FWK(Full weight kernel)의 분산 배열로 구현될 수 있다.

FWK에서는 일반적으로 요구되는 기능적인 처리나 파일 입출력과 같이 시간이 오래 걸리는 작업을 수행한다.

LWK에서는 주로 연산의 기능만을 수행하여, 커널 노이즈 감소로 인해 매우 높은 효율을 나타낸다. LWK 구현은 요구사항에 따라 달라질 수 있지만 일반적으로 단순화된 알고리즘, 메모리 관리 및 스케줄링과 같은 기본 OS 기능의 구현을 포함하며 추가 기능은 필요에 따라 FWK로 오프로드될 수 있다. LWK는 코어 당 데이터 구조, CPU 피닝 등에 중점을 두어 리소스 경합을 최소화함으로써 시간 공유 정책보다는 공간 공유 정책의 이점을 활용하여 매니코어 환경에서 더 나은 확장성과 병렬 성능을 제공한다.

매니코어 시스템에서의 가상화는 유니커널이 적합할 수 있다. 가상화 처리부(124)는 경량 커널에 유니커널의 기술을 적용할 수 있다. 유니커널은 하이퍼바이저 위에서 동작한다. 유니커널은 커널 기능을 담당하는 LibOS, 응용프로그램 실행에 필요한 런타임 라이브러리, 그리고 응용프로그램을 포함한다. 유니커널의 특징은 응용프로그램이 필요한 라이브러리만을 가지고 응용프로그램과 커널이 같은 주소 공간을 가진다는 것이다. 이를 통해 페이지 오류 처리 및 문맥 교환 시 발생하는 커널 노이즈를 줄임으로써 부팅 및 실행 속도가 빨라진다. 또한 유니커널은 응용 프로그램에 필요한 최소의 코드만 포함하는 OS로 수백 KB 정도의 매우 작은 용량으로 구성되어 공격 표면을 최소화 하기 때문에 기존 가상화 기법인 가상머신 및 컨테이너와 비교하여 더 높은 보안 및 배포 효율성을 제공할 수 있다.

도 3은 도 1에 도시된 호스트 OS 처리부의 가속화 기능을 설명하는 도면이다.

기존 가속화 메커니즘에는 과도한 메모리 사용, 낮은 보안, 확장성의 문제가 있다.

본 발명의 실시 예에 따른 FENCE 프레임워크 시스템의 호스트 OS 처리부(122)에서는 커널 네트워크 스택의 송신(TX) 및 수신(RX) 경로에서 병목 현상을 해결하여 고성능 및 확장성을 제공한다.

도 3을 참고하면, 네트워크 인터페이스 카드(Network Interface Card, NIC)는 RX 및 TX 패킷을 송수신하는 디바이스다. NIC는 네트워크로부터 수신한 RX 패킷을 RX 링에 전달하고, TX 링으로부터 전달 받은 TX 패킷을 네트워크로 전송한다. 패킷 저장을 위해 사용된 RX 링과 TX 링은 커널 메모리의 일부를 할당 받아 사용한다.

RX 패킷 처리 과정을 보면, NIC에서는 RX 패킷을 수신하면 DMA(Direct Memory Access)를 통해 수신된 RX 패킷을 NIC의 RX 링에 복사한다. 또한 하드웨어 인터럽트(Hardware Interrupt Reuest, HW IRQ)가 발생하여 다른 IRQ를 비활성화한다. 커널에서는 RX 패킷을 수신한 NIC의 식별자를 폴 리스트에 추가하고, 패킷 처리를 위한 NET_RX_SOFTIRQ를 발생시킨다. NET_RX_SOFTIRQ의 스케줄링에 따라 RX 링에 저장된 데이터를 폴링하는데, 폴 리스트에 저장되어 있는 NIC에서만 폴링하여 프레임 전달(Frame forwarding) 엔진에 보낸다. 폴 리스트에 있는 NIC의 RX 링의 패킷을 모두 처리하게 되면 NIC가 폴 리스트에서 제거되고 IRQ가 다시 활성화된다.

TX 패킷 처리 과정을 보면, 프레임 전달 엔진에서 프레임 전달 절차가 완료되면, 패킷 전송에 적합한 NIC가 선택되고, NET_TX_SOFTIRQ가 발생되어 패킷을 전송한다. NIC는 메타데이터를 저장하는 메타데이터 버퍼와 데이터 패킷을 저장하는 데이터 버퍼를 사전에 메모리 영역에 할당하여 직접 메모리 영역에 접근할 수 있다. 보내고자 하는 패킷은 먼저 TX 링에 저장한다. TX 링은 커널 메모리의 일부를 할당 받아 사용하기 때문에 저장하는 연산의 경우 TX 스핀락을 사용하여 동기화를 제공한다. NIC는 TX 링에 저장된 TX 패킷을 전송한다. 모든 패킷이 성공적으로 전송되면 HW IRQ를 발생시켜 커널에 전송 완료를 전달한다. 커널에서는 HW IRQ를 확인하여 패킷 저장에 사용된 메모리 영역 할당을 해제하는 TX 클린업(clean-up)을 수행한다.

일반적으로 RX/TX 패킷 처리에서 주요 오버헤드는 커널 메모리를 공유하는 RX 및 TX 데이터 및 메타데이터, RX 디스크립터 할당 및 해제, TX에서의 스핀락, TX 인터럽트 처리 및 클린업에서 발생된다. 이와 같은 오버헤드는 도 3에 도시한 바와 같이, 커널 메모리의 선할당 기법을 통한 데이터 및 메타데이터와 수신 RX 디스크립터의 관리, RX 및 TX 데이터 및 메타데이터 버퍼의 선할당/해제를 통한 관리, TX 링 선택 기법을 개선하여 TX에서 발생하는 스핀락의 최적화, 워크로드에 적합한 적응형 인터럽트 처리 및 클린업을 통해 줄일 수 있다.

도 4는 도 1에 도시된 호스트 OS 처리부의 경량 동기화 기능을 설명하는 도면이다.

도 4를 참고하면, 매니코어 시스템에서 멀티스레드는 공유된 자원(자료구조)을 동시에 접근하는 일이 자주 발생하며 동시에 실행되는 스레드 갯수가 증가할수록 시스템의 성능은 공유자원 접근 방법(동기화 매커니즘)에 따라 크게 좌우된다.

매니코어 시스템에서 여러 태스크가 공유 자원에 동시에 접근하면 시스템 성능에 병목이 발생한다. 이를 해결하기 위해 동기화 기법이 개선되어야 한다.

호스트 OS 처리부(122)는 매니코어 시스템에서의 확장성 지원을 위해 RLU(read-log-update) 및 MV-RLU(multi-version RLU)와 같은 경량 동기화 메커니즘을 사용할 수 있다. RLU를 사용하면 동기화되지 않은 읽기 작업 순서를 업데이트와 동시에 실행할 수 있기 때문에 확장성이 향상된다. 하지만 RLU는 이중 버전의 동시성을 지원하기 때문에 쓰기 작업에서는 성능이 크게 저하되는데, 이를 해결하여 다중 버전 관리 체계를 제안한 것이 MV-RLU이다. 도 4에서는 MV-RLU를 도시하였다.

도 4에 도시한 바와 같이, MV-RLU 메커니즘은 RLU라는 기존 기법의 장점을 계승하며, 멀티버전 로깅과 로그 버퍼의 재활용 정책이다. 멀티버전 로깅은 멀티스레드가 공유자원을 동시에 접근하도록 하는 메커니즘이다. 공유자원에 접근 읽기 연산(①)은 데이터를 변경하지 않기 때문에 여러 개의 요청이 처리될 수 있다. 반면, 쓰기 연산(②)은 데이터를 변경시키기 때문에 하나의 연산이 끝날 때까지 다른 연산은 기다려야 하여 성능의 병목현상이 발생된다. 이를 해결하기 위해 하나의 노드 또는 오브젝트(Master object)는 버전 체인으로 연결하여 요청 수만큼 멀티버전의 오브젝트(copy object)를 생성하고, 각 버전에 타임스탬프를 부여하여 각 스레드가 각자 적합한 버전의 오브젝트에 접근할 수 있도록 한다. 이를 통해 공유자원에 대한 각 쓰기 연산(②)은 대기 없이 바로 실행될 수 있다. 이러한 락프리(lock-free) 동기화 메커니즘은 매니코어 시스템에서 향상된 스토리지 및 캐싱 지원에 사용되는 도쿄 캐비닛(Kyoto Cabinet), DBX-1000과 같은 데이터베이스 관리 시스템의 성능과 확장성을 크게 향상시킬 수 있다.

도 5는 본 발명의 실시 예에 따른 FENCE 프레임워크로 동작하는 서버 배치의 일 예를 나타낸 도면이다.

도 5를 참고하면, FENCE 프레임워크로 동작하는 서버(410, 420, 430)는 사용자 수, 생성되는 데이터의 양, QoS 요구 사항의 엄격성에 따라 네트워크에서 다른 위치에 배포될 수 있다. 예를 들어, FENCE 프레임워크로 동작하는 서버(410, 420, 430)는 모바일 에지에서 가까운 기지국이나 무선 네트워크 제어기에 배치될 수 있다. 또한 중요한 산업적인 유스케이스에 따라 배치 장소가 정해질 수 있다. 실감 응용 분야, 차량 통신 분야, 산업 자동화 분야, 의학 및 헬스케어 분야 등 다양한 시나리오에서 이상적인 FENCE 프레임워크로 동작하는 서버(410, 420, 430)의 배치는 낮은 대기 시간을 제공하여 실시간적인 에지 인텔리전스를 제공하고, 데이터를 로컬에서 처리하기 때문에 전송 비용을 줄일 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (1)

1. 복수의 코어를 포함하는 프로세서, 그리고
   상기 프로세서로 하여금 호스트 OS(operating system)를 실행하도록 하는 명령을 저장하고 있는 메모리
   를 포함하고,
   상기 호스트 OS는 상기 복수의 코어 중 적어도 일부를 속도 기반으로 제1 코어 집합과 제2 코어 집합으로 분리하여 병렬로 실행시키며, 응용에 필요한 병렬 처리 수준에 따라 상기 제1 코어 집합과 제2 코어 집합의 코어 수를 동적으로 선택하는 에지 프레임워크 시스템.

Images