KR20210043762A - 딥러닝 연산에서의 인-메모리 그리드 운용 방법 및 장치 - Google Patents

Abstract

본 발명은 인메모리 기반 딥러닝 연산을 위한 장치 및 방법에 관한 것으로, 인공지능(Ai) 알고리즘인 기계학습 (machine learning), 딥러닝(Deep learning) 학습 모델 생성 , 생성된 모델 기반으로 추론 연산시에 사용되는 하드웨어 장비간의 내부 통신(Bus)를 사용하는; 입력데이터에 대한 물리적 저장장치에서 메모리 기반의 가상화된 논리적 저장장치로 데이터 parser 커넥션 브로커; 상기 인메모리 기반 딥러닝 연산을 하기위한 운영체제를 포함하는 시스템 리소스 현황을 제공하는 연산 리소스 풀; 및 하드웨어 리소스를 지원하고 상기 소프트웨어 리소스에 저장된 소프트웨어를 각 학습 연산 장치에 동적으로 할당하는 데이터 컨트롤 연산 스트럭쳐;를 포함한다.

Description

딥러닝 연산에서의 인-메모리 그리드 운용 방법 및 장치 {Method and device for operating in-memory grid in deep learning operation}

본 발명은 딥러닝 연산에서 인메모리 기반 서비스를 위한 장치 및 방법에 관한 것이다.

4차 산업혁명 시대를 대표하는 기술로 인공지능이 화두가 되고 있다. 인공지능 기술은 다양한 분야에서 다양한 서비스를 인공지능화하고자 하는 요구가 늘어나고 있다. 그 예 자율 주행 자동차와 같이 자동차 스스로 판단하여 최적 경로를 가장 안전하게 운전하여 주는 것과 같은 서비스에 대한 요구가 산업 전반에서 급증하고 있다.

‘데이터를 이용한 모델링 기법’인 기계학습(machine Learning) 이 1959년 아서 사무엘(Arthur Samuel)의 논문에서 정의되고 나서 1986년 역전파(backpropagation) 알고리즘덕분에 심층신경망에 대한 학습문제가 해결되었지만 실제 이 딥러닝(Deep-Learning)의 실효성을 낼 수 있는 기술은 2007년 중반부터 시작되었다. 이때부터 Loss율 5% 내외의 CNN(Convolution Neural network)의 개발이 본격적으로 진행되었으며 구글 브레인팀의 Tensorflow, Keras, 페이스북의 Caffe, Torch, MxNet, 마이크로소프트의 CNTK와 같은 개발자용 딥러닝 라이브러리(Ai frameworks)가 공개되고 활발한 연구와 개발이 진행되고 있다.

현재 심층신경망의 성능 개선을 위해서 3가지 핵심요소가 지목받고 있다.

첫째, 역전파 알고리즘으로 심층신경망을 학습시키는 과정에게, 출력층에서 멀어질수록 신경망의 출력 오차가 반영되지 않는 현상인 그라디언트 소실(vanishing gradient) 현상을 ReLU(Rectifield Linear Unit)함수로 변경하여 학습율을 높히는 방안이다.

둘째, 드롭아웃 학습 기법 적용이다. 딥러닝의 심층 신경망의 성능을 높혀서 추론 연산시 Loss율을 낮추기위해서는 신경망의 은닉층을 늘여 더 많은 신경망의 학습요소로 결과값을 출력하는 것인데 이때 은닉충이 늘어나면서 각 신경망 노드의 연결 가중치가 많아져서 신경망이 과적합에 빠지는 것을 예방하는 방안이다.

셋째, 학습 시간에 단축에 필요한 고성능 컴퓨팅 파워이다. 은닉충이 많아질 수록 CNN의 연결 가중치가 기하급수적으로 높아지고 있으며 결과값 오류를 최소를 위한 모델 구축을 위해서도 대규모 딥러닝 모델의 학습을 수행하기위해서 지속된 컴퓨팅 파워의 필요성이 대두되었다.

딥러닝 연산에 사용되는 고성능 컴퓨팅의 연산은 CPU와 GPU로 이루어진 이종(Heterogeneous) 시스템으로 사용된다. 최근 일반적인 딥러닝 연산 컴퓨팅 아키텍처 에서는 CPU에서는 OS를 실행하고 I/O나 네트워크를 지원하며 데이터입력을 저장장치에서 수행하여 RAM을 통해 그 데이터를 GPU에 공급하고 대량 계산을 수행하여 그 결과를 CPU에 돌려주어 디스크 등의 I/O에 기록하거나 네트워크를 거쳐 외부로 보내는 채택하고 있으나 CPU의 연산집적도 향상됨에 따라 CPU와 GPU에서 동시에 병렬 연산을 통해 딥러닝 모델을 구성하고 있다.

이종 시스템의 구조상에서 딥러닝 학습을 모델링은 학습 데이터는 저장매체로 SSD(Solid-State Drive) NAND 플래시 메모리를 기반으로 한 저장매체를 사용한다. NAND 플래시 메모리 모듈의 단점은 수명이 짧다는 것이다. NAND 플래시의 저장필드 역할을 담당하는 트랜지스터는 셀(Shell)에 전자를 저장하면서 쓰기/읽기를 반복하며 이것을 P/E (Program & Erase) 라고 한다. 이 P/E 싸이클마다 일부 전자가 오류나면서 트랜지스터에 갇히게되는데 이것이 데이터 유실, 오류로 직결하는 배드섹터(Bad sector)의 원인이 된다. 또한 앞에서 논한 것과 같이 딥러닝 연산에서는 CPU의 I/O에 연결되어 병렬연산을 위해 RAM을 거쳐 CPU 또는 GPU로 최대 3개의 다른 인터페이스 통신을 지나 학습데이터를 전송하여 연산을 진행해야 하기 때문에 처리속도의 한계성을 가지고 있다.

또한 최근 딥러닝 기술은 높은 정확도를 요구하는 딥러닝 모델로 확장되는 추세이며 이로 인해 더 많은 학습데이터와 더 높은 해상도의 학습 데이터를 요구(예, 고해상도 영상 처리 요구 증가)하기 시작했다. 더 높은 정확도를 가지는 모델은 기하급수적인 계산량 증가를 수반하게 되어 생산성에 대한 신뢰성이 중요하게 되었다.

NAND 플래시 메모리의 트랜지스터 오류는 딥러닝 학습 모델을 생성하면서 오류로 직결되어 이것은 개발단에서의 시간적 생산성을 저하시키고 정확도 낮은 모델을 구성하게됨으로써 추론시 loss율이 높은 결과를 내게되어 모델의 신뢰성을 크게 낮추게 된다.

이러한 배경에서, 본 발명은 딥러닝 연산 서비스를 효율적으로 제공할 수 있는 아키텍쳐(Architecture)를 제공하는 데 주된 목적이 있다.

본 발명에서 해결하고자 하는 기술적 목적은 딥러닝 CNN과 Ai Frameworks 서비스 환경에서 대용량 인메모리 기술을 접목하여 보다 빠르고 신뢰성 높은 학습, 추론 연산 서비스를 제공할 수 있는 딥러닝 연산을 위한 장치 및 방법 제공하는데 있다.

본 발명은 이기종과 연산장치별 다른 통신 인터페이스를 가진 시스템 환경에서 딥러닝 연산을 수행할 경우에 사용자가 각 연산 장치의 리소스 자원을 체크하여 수동으로 자원 분배하는 대신에 보다 효과적으로 인메모리환경에서 데이터를 자원 분배를 할 수 있는 관리 기술을 제공하는데 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 신뢰성 및 처리 속도 낮은 SSD 및 저장 디스크의 효율성을 제고하기 위해서 학습 데이터를 저장하고, 모델 데이터를 학습 및 실 모델을 참고하는 추론 서비스시 메인 메모리에 저장하고, 이를 사용하여 운영하는 인메모리 딥러닝 연산 시스템을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위해 본 발명은 딥러닝 연산 시스템 및 서비스를 사용하는 학습, 추론 연산시에 사용되는 하드웨어 장비간의 내부 통신(Bus)를 사용하는 입력데이터에 대한 물리적 저장장치에서 메모리 기반의 가상화된 논리적 저장장치로 데이터 parser 커넥션 브로커; 상기 인메모리 기반 딥러닝 연산을 하기위한 운영체제를 포함하는 시스템 리소스 현황을 제공하는 연산 리소스 풀; 및 하드웨어 리소스를 지원하고 상기 소프트웨어 리소스에 저장된 소프트웨어를 각 학습 연산 장치에 동적으로 할당하는 데이터 컨트롤 연산 스트럭쳐; 를 포함한다.

상기와 같은 목적을 달성하기 위해 본 발명은 사용자요청에 의해 입력된 데이터를 최적의 연산을 위해 모델 종류, 데이터 크기를 참조하여 인메모리 할당 데이터 필드를 생성,할당하는 단계;데이터 Parser 커넥션 프로커가 딥러닝 (Deep-Learning) 연산을 위해 학습 데이터를 물리적 저장장치에서 인메모리 기반의 논리적 데이터 필드로 저장되는 단계; 상기 논리적 데이터 필드보다 입력 데이터가 많을 상황에 학습이 완료된 데이터 인덱스 파라미터(index parameter) 값을 로드 하여 완료된 데이터를 삭제하여 신규 입력 데이터를 로드(load)하는 단계; 리소스 풀의 병렬 연산 하드웨어 자원 사용량을 로드 하여 각 연산 하드웨어의 최대 자원 사용 값과 최소 자원 사용 값을 실시간 감지를 하고 자원 사용값이 관리자 운영 정책값 범위에서 벗어나는 경우 최대 자원 사용 연산 장치에 전송 봉인(Parse Lock)을 진행하고 최소 자원 연산 장치에 학습 데이터를 우선 할당하는 프로파일을 데이터 컨트롤 연산 스트럭쳐에서 적용하는 단계; 딥러닝의 합성곱신경망(Convolution Neural network )에 모델을 인메모리 기반의 논리적 데이터 필드로 생성하는 단계; 추론(inference) 연산 및 서비스를 진행시에 입력 데이터와 분류 코드를 로드 하여 적합한 모델을 인메모리에 등록(mount)하는 단계; 입력 데이터를 통해 인메모리 상에서 추론(inference) 연산을 실행 및 결과값을 출력하는 단계;를 포함한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 딥러닝 연산 시스템 및 서비스를 효율적으로 제공할 수 있는 아키텍처(Architecture) 를 제공하는 효과가 있다.

본 발명에 따르면, 딥러닝 연산 시스템 및 방법에서 시스템 연산 및 I/O 자원 관리 기능이 적용된 Dash 시스템이 적용되며, 딥러닝 연산 시스템의 순수 연산 성능 향상과 자원 분산 방식의 로드밸런싱(Load Balancing) 기술 적용을 통한 생산성 확보와 함께 학습 데이터의 Transmission error (전송오류)률을 더욱 낮게 구성하여 신뢰성 높은 모델 구축과 서비스가 가능하며, 시스템 적용이 용이하고 기존 딥러닝 연산 시스템에도 적용가능 할 수 있다.

도 1은 본 발명의 실시에 따른 딥러닝 연산 장치 및 서비스를 위한 시스템 아키텍처를 나타낸 도면이다.
도2는 본 발명의 실시예에 따른 딥러닝 학습 연산 장치 및 서비스를 위한 시스템 아키텍처에 대한 개념적인 다이어그램이다.
도3는 본 발명의 실시예에 따른 딥러닝 추론 연산 장치 및 서비스를 위한 시스템 아키텍처에 대한 개념적인 다이어그램이다.
도 4은 본 발명의 실시예에 따른 딥러닝 연산 장치 및 서비스를 위한 주요 유닛에 대한 구조와 기능상 계층화된 아키텍처를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 딥러닝 연산 장치 및 서비스를 위한 기능상 계층화된 아키텍처를 나타낸 도면이다.

본 발명의 일주 실시예들을 예시적인 도면을 통해 상세하게 설명한다.

도1은 본 발명의 실시예에 따른 딥러닝 연산 장치 및 서비스를 위한 시스템 아키텍처(System architecture)를 나타낸 도면이다. 시스템 서비스 제공자는 딥러닝 기반의 플랫폼 서비스를 구축하는 사용자에게 데이터 신뢰성과 안정적인 성능 제공하기 위한 단계는 데이터 parser 커넥션 브로커 ( Data Parser CB : Connection Broker, 110), 시스템 리소스 풀(Resource Pool, 120), 딥러닝 데이터 연산 스트럭쳐 (Deep-Learning Data Operation Structure, 130)를 통해 수행 될 수 있다. 이 3개의 유닛(unit) 객체는 도2,4를 참조하여 설명한다.

도 2는 본 발명의 실시예에 따른 딥러닝 학습 연산 장치 및 서비스를 위한 시스템 아키텍처에 대한 개념적인 다이어그램이다. 도2에서 도식화하고 있는 것과 같이, 이 과정은 딥러닝 심층신경망에 학습 데이터를 통해 모델을 구성하는 프로세스이다. 모델을 구성하기 위한 학습 데이터의 종류와 각 데이터의 인덱스(index)를 구성하고 데이터 용량을 체크하는 단계를 딥러닝 데이터 연산 스트럭쳐 (130)가 수행을 하는 단계를 거쳐 시스템 리소스 풀(120)이 현재의 RAM에 활성할 수 있는 인-메모리 논리 디스크 자원 용량을 체크 한다.

입력된 학습데이터 용량이 활성가능한 인-메모리 논리 디스크에 트랜잭션(Transaction)하여 Mount 할 수 있는 용량이 큰 경우 학습이 완료된 학습 데이터 인덱스 파라미터(index parameter) 값을 로드 하여 완료된 데이터를 저장 영역에서 삭제(mem_free) 한다.

입력된 학습데이터 용량이 활성가능한 인-메모리 논리 디스크에 트랜잭션(Transaction)하여 Mount 할 수 있는 용량이 적은 경우에는 다음 단계를 진행한다.딥러닝 데이터 연산 스트럭쳐 (130)에서 인-메모리내에 학습 데이터를 mount 할 수 있는 필드(A)를 생성하고 시스템 리소스 풀(120)에서 휘발성 저장매체(SSD)에 있는 데이터를 인-메모리내의 저장소로 트랜잭션하여 mount를 한다. 이때 인-메모리로 저장되는 학습데이터의 무결성을 확보하기 위해 시스템 heap memory단의 Buffer에 저장하여 완성된 데이터와 비교하는 모듈을 실행한다.

병렬 연산 하드웨어 자원 사용량을 로드 하여 각 연산 하드웨어의 최대 자원 사용 값과 최소 자원 사용 값을 실시간 감지를 하고 자원 사용값이 관리자 운영 정책값 범위에서 벗어나는 경우 최대 자원 사용 연산 장치에 전송 봉인(Parse Lock)을 진행하고 최소 자원 연산 장치에 학습 데이터를 우선 할당하는 프로파일을 데이터 컨트롤 연산 스트럭쳐에서 적용하는 단계를 진행한다. 여기서 연산 유닛(unit)이라고 정의하는 것은 CPU, GPU 기타 PCI-e 인터페이스(interface)를 사용하는 연산 프로세서를 포함한다. 인-메모리에 저장되어있는 학습데이터를 각 연산 프로세서 유닛(unit)에서 병렬 학습 연산을 진행한다. 합성곱신경망(Convolution Neural network )에 학습 연산을 하면서 구성되어지는 라이브러리 집합체인 모델을 논리적 데이터 필드로 저장하기위한 인-메모리내 저장소를 할당하고 모델 결과 데이터를 도출한다. 그후 비휘발성 저장소로 데이터 트랜잭션을 진행하는 동작을 진행한다.

상기의 입력된 학습데이터 용량이 활성가능한 인-메모리 논리 디스크에 트랜잭션(Transaction)하여 Mount 할 수 있는 용량이 큰 경우 학습이 완료된 학습 데이터 인덱스 파라미터(index parameter) 값을 로드 하여 완료된 데이터를 저장 영역에서 삭제(mem_free)하는 동작과

리소스 풀의 병렬 연산 하드웨어 자원 사용량을 로드 하여 각 연산 하드웨어의 최대 자원 사용 값과 최소 자원 사용 값을 실시간 감지를 하고 자원 사용값이 관리자 운영 정책값 범위에서 벗어나는 경우 최대 자원 사용 연산 장치에 전송 봉인(Parse Lock)을 진행하고 최소 자원 연산 장치에 학습 데이터를 우선 할당하는 프로파일을 데이터 컨트롤 연산 스트럭쳐에서 적용하는 단계는

학습데이터의 입력방식에 따른 키 순차 처리 방식(keyed sequential access method)와 같은 직렬순차처리등의 비즈니스 범용성을 위해 반복 운영(iterative operation )방식을 채택한다.

도3은 본 발명의 실시예에 따른 딥러닝 추론 연산 장치 및 서비스를 위한 시스템 아키텍처에 대한 개념적인 다이어그램이다. 딥러닝 추론(inference) 연산은 도2와 같은 학습 연산을 통해 구성되어진 모델에 입력데이터를 입력하여 결과값을 출력하는 딥러닝의 워크로드를 가지고 있다. 도2의 학습 연산과 유사한 동작흐름을 가지고 있으나 인메모리 데이터필드에 적용되는 데이터의 속성이 상기와 같이 모델, 입력 데이터로 변동이 된다. 해당 모델과 입력데이터는 학습 연산시에 사용되는 학습 데이터와 비교했을때 비교적 매우 적은 용량을 가지고 있으며 자율주행서비스와 같은 실시간 입력데이터가 발생하는 산업군을 염두하여 시스템 단순화를 위해 데이터 인덱스 파라미터(index parameter) 값을 로드 하여 완료된 데이터를 저장 영역에서 삭제(mem_free)는 동작은 생략한다.

도4는 본 발명의 실시예에 따른 딥러닝 연산 장치 및 서비스를 위한 주요 유닛에 대한 구조와 기능상 계층화된 아키텍처를 나타낸 도면이다.

학습과 추론에서 입력된 데이터는 딥러닝 데이터 연산 스트럭쳐 (Deep-Learning Data Operation Structure, 130)의 딥러닝 프로토콜 코디테이션에서 데이터 종류와 사이즈 및 인덱싱 기능; 인메모리 자원에 따른 데이터 필드 관리 기능을 지원한다. 연산 리소스 모니터링 계층에서 연산 유닛(CPU,GPU, PCI-e 인터페이스(interface)를 사용하는 연산 프로세서)의 자원 관리기능을 지원한다. 연산 리소스 로드밸런싱 운영 계층에서 인-메모리상의 데이터를 자원에 따른 효율적인 분배를 지원한다.

데이터 parser 커넥션 브로커 ( Data Parser CB : Connection Broker, 110)의 데이터 매니지먼트 계층에서는 인-메모리 및 물리 디스크의 트랜잭션(Transaction)간의 관리를 지원한다. 데이터 무결성 계층에서는 인-메모리로 저장되는 학습데이터의 무결성을 확보하기 위해 시스템 heap memory단의 Buffer에 저장하여 완성된 데이터와 비교하는 모듈을 실행하는 계층을 지원한다.

리소스풀은 하드웨어의 자원 운영 및 모니터링 계층이며 리소스 프로비전에서 타 운영계층과의 실 자원의 입력/출력 운영을 관리하는 기능을 지원한다.

도5는 본 발명의 실시예에 따른 딥러닝 연산 장치 및 서비스를 위한 기능상 계층화된 아키텍처를 나타낸 도면이다. 도면과 같이 해당 딥러닝 연산에서의 인-메모리 서비스 및 장치는 하드웨어, OS 단과 인공지능 플랫폼(AI platform)단 사이에서 동작하는 미들웨어(middleware)의 구조를 기본으로 가지고 있다. 리소스 레이어(Resource Layer)는 본 발명의 목적인 저장 리소스(물리적 , 논리적 리소스 포함한다), 연산 리소스를 런타임(Runtime) 상태 모니터링하고 본 발명에 목적을 위한 모든 상호작용 정보(interaction information)을 전달 할 수 있다. 리소스 컨트롤 서비스 레이어(Resource control Service Layer)는 연산 자원에 코디네이트 하는 기능과 함께 자원 분배 기능으로 딥러닝 연산에 대한 동작 환경을 보강하는 액션(Action) 관리기능을 가지고 있다.데이터 액세스 퍼플릭케이션 레이어 (Data Access and Publication Layer)는 학습환경에서의 학습데이터, 모델과 추론환경에서의 입력데이터, 모델에 대한 데이터를 관리, 운영을 한다. 사용자 레이어(User Layer)계층에서는 학습,추론 형태별; 자동, 수동 연산 자원 관리 방법에 대한 사용자 프로파일(user profile)을 설정과 하단 계층(Data Access and Publication Layer, Resources control Service Layer, Resources Layer)간의 인터랙션(interaction)을 UI를 통해 딥러닝 인-메모리 기반 연산 종단 사용자 기능(End user Function)을 포함한다.

110 데이터 parser 커넥션 브로커
120 시스템 리소트 풀
130 딥러닝 데이터 연산 스트럭쳐

Claims (10)

1. 입력데이터에 대한 물리적 저장장치에서 메모리 기반의 가상화된 논리적 저장장치로 데이터 parser 커넥션 브로커;
   상기 인메모리 기반 딥러닝 연산을 하기위한 운영체제를 포함하는 소프트웨어 리소스를 제공하는 풀;
   하드웨어 리소스를 지원하고 상기 소프트웨어 리소스에 저장된 소프트웨어를 각 학습 연산 장치에 동적으로 할당하는 데이터 컨트롤 연산 스트럭쳐;를 포함하는 인메모리 기반 딥러닝 연산 서비스를 위한 장치
   
2. 제 1항에 있어서, 데이터 컨트롤 연산 스트럭쳐는
   CPU, GPU , FPGA 외 클라우드 입력 디바이스의 학습, 제어 구동을 지원하는 자원 제어 운영 서비스;를 포함하는 기반 딥러닝 연산 서비스를 위한 장치.
   
3. 제 1항에 있어서, 데이터 parser 커넥션 브로커는
   장치에 저장되어 있는 학습 데이터를 인메모리기반 논리 저장소로 복제, 관리, 운영에 대한 코디네이션 작업을 수행하는 딥러닝 연산 서비스를 위한 장치.
   
4. 청구항 1에 있어서, 데이터 컨트롤 연산 스트럭쳐는
   상기 하드웨어의 자원을 가상화 하여 인메모리 가상화 저장 엔진을 포함하는 것을 특징으로 하는 러닝 연산 서비스를 위한 장치.
   
5. 제 3항에 있어서, 데이터 컨트롤 연산 스트럭쳐는
   학습 연산을 위한 데이터가 저장된 논리 저장소를 포함하는 하드웨어; 및
   상기 하드웨어의 연산 자원으로 데이터 인덱싱(Data indexing ) 및 전송(Transformation) 하여 학습 연산 구동을 실행하게 하는 운영 소프트웨어; 를 포함하는 것을 특징으로 하는 인메모리 기반 딥러닝 연산 서비스를 위한 장치.
   
6. 제 1항에 있어서, 연산 리소스 풀은
   하드웨어의 자원 연산 리소스 모니터링 기능을 통해 실시간 데이터를 수집하여 데이터 컨트롤 연산 스트럭쳐 및 데이터 parser 커넥션 브로커의 입력 신호에 따른 데이터 관리 운영하는 장치.
   
7. 제 3항에 있어서, 데이터 컨트롤 연산 스트럭쳐는
   각 자원의 효율성을 위해 적합한 연산 환경을 찾고 연산 데이터를 제공하는 것을 딥러닝 연산 서비스를 위한 장치.
   
8. 데이터 Parser 커넥션 프로커가 딥러닝 (Deep-Learning) 연산을 위해 학습 데이터를 물리적 저장장치에서 인메모리 기반의 논리적 데이터 필드로 저장되는 단계;
   상기 논리적 데이터 필드보다 입력 데이터가 많을 상황에 학습이 완료된 데이터 인덱스 파라미터(index parameter) 값을 로드 하여 완료된 데이터를 삭제하여 신규 입력 데이터를 로드(load)하는 단계;
   리소스 풀의 병렬 연산 하드웨어 자원을 로드 하여 각 연산 하드웨어의 최대 자원 사용 값과 최소 자원 사용 값을 실시간 감지를 하고 자원 사용값이 관리자 운영 정책값 범위에서 벗어나는 경우 최대 자원 사용 연산 장치에 전송 봉인(Parse Lock)을 진행하고 최소 자원 연산 장치에 학습 데이터를 우선 할당하는 프로파일을 데이터 컨트롤 연산 스트럭쳐에서 적용하는 방법
   딥러닝의 합성곱신경망(Convolution Neural network )에 모델을 인메모리 기반의 논리적 데이터 필드로 생성하는 단계;
   추론(inference) 연산 및 서비스를 진행시에 입력 데이터와 분류 코드를 로드 하여 적합한 모델을 인메모리에 등록(mount)하는 단계;
   입력 데이터를 통해 인메모리 상에서 추론(inference) 연산을 실행 및 결과값을 출력하는 방법.
   
9. 제 8항에 있어서, 딥러닝 연산 서비스 방법은
   상기 학습(Learning), 추론(inference) 의 연산을 위한 각 모델 프로파일 관리하는 단계를 더 포함하는 것을 특징으로 하는 인메모리 딥러닝 연산 서비스 방법.
   
10. 제 9항에 있어서, 상기 프로파일을 관리하는 단계는
    사용자요청에 의해 입력된 데이터를 최적의 연산을 위해 모델 종류, 데이터 크기를 참조하여 인메모리 할당 데이터 필드를 생성,할당하는 단계;를 포함하는 것을 특징으로 하는 인메모리 기반 딥러닝 연산 서비스 방법.
    
    

Images