KR20240003537A - 공유자원 기반 원격 분산 학습 시스템 - Google Patents

공유자원 기반 원격 분산 학습 시스템 Download PDF

Info

Publication number
KR20240003537A
KR20240003537A KR1020220081232A KR20220081232A KR20240003537A KR 20240003537 A KR20240003537 A KR 20240003537A KR 1020220081232 A KR1020220081232 A KR 1020220081232A KR 20220081232 A KR20220081232 A KR 20220081232A KR 20240003537 A KR20240003537 A KR 20240003537A
Authority
KR
South Korea
Prior art keywords
resource
unit
virtual
control unit
learning
Prior art date
Application number
KR1020220081232A
Other languages
English (en)
Inventor
화지민
Original Assignee
몬드리안에이아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 몬드리안에이아이 주식회사 filed Critical 몬드리안에이아이 주식회사
Priority to KR1020220081232A priority Critical patent/KR20240003537A/ko
Priority to PCT/KR2022/011257 priority patent/WO2024005255A1/ko
Publication of KR20240003537A publication Critical patent/KR20240003537A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 공유자원 기반 원격 분산 학습 시스템과 관련된다. 본 발명은 실시예로, 중앙연산부, 자원제어부, 가상환경제어부, 네트워크분배부 및 원격연산부를 포함하여 구성되어 사용자의 적극적인 개입 없이 공유자원의 동적 할당 및 추적을 할 수 있도록 하여 자원 관리의 효율성을 높이는 공유자원 기반 원격 분산 학습 시스템을 제시한다.

Description

공유자원 기반 원격 분산 학습 시스템{Shared resource-based remote distributed learning system}
본 발명은 공유자원 기반 원격 분산 학습 시스템에 관한 것으로서 상세하게는 머신 러닝 학습에 있어서 공유자원을 활용한 학습 연산을 통해 머신 러닝 분산 학습을 수행할 수 있는 시스템과 관련된다.
머신 러닝 또는 기계 학습은 컴퓨터 과학 중 인공지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이다.
머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라고 할 수 있다.
여기에서 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.
구체적으로 머신 러닝의 알고리즘들은 학습 시스템에 내장되어 학습 시스템에 입력된 정보 및 데이터를 연산하고 그 결과를 돌려주게 된다.
이러한 머신 러닝에서는 다량의 데이터를 연산하여야하기 때문에 사용자는 연산 환경을 가진 별도의 장치에 연산 처리를 요청하고 해당 연산 환경에서 연산을 거친 결과 데이터를 받아 이후의 작업을 수행하는 경우가 많이 발생한다.
하지만 현재 연산 환경을 제공하는 장치는 다수의 사용자가 공유하는 형태가 많고 사용자가 직접 개입하여 공유자원을 할당받는 방식을 가지므로 사용자들 사이에 적절하게 자원을 할당하고 이를 회수하는 것이 문제가 될 수 있다.
대한민국 공개특허 제10-2020-0023706호 (2020.03.06)
본 발명은 사용자의 적극적인 개입 없이 공유자원의 동적 할당 및 추적을 할 수 있도록 하여 자원 관리성을 향상하며, 자원 관리의 효율성을 높일 수 있게 하는 공유자원 기반 원격 분산 학습 시스템을 제시한다.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
위 과제를 해결하기 위하여 본 발명은 실시예로, 머신 러닝 학습에 있어서 공유자원을 활용하여 분산 학습을 수행할 수 있는 공유자원 기반 원격 분산 학습 시스템으로서, 사용자로부터 분산 학습의 요청을 받으면 분산 학습을 위한 자원 할당을 요청하고 자원을 할당받아 해당 자원에 학습 대상 데이터를 전송하여 원격 연산을 요청하며 학습 결과 데이터를 전송받아 취합하는 중앙연산부, 상기 중앙연산부로부터 자원 할당 요청을 받으면 분산 학습을 수행할 가상 자원의 생성을 요청하고, 가상 자원이 생성되면 생성된 가상 자원으로의 접근 정보를 전송받아 상기 중앙연산부로 전송하는 한편 상기 접근 정보를 네트워크에 등록하도록 하는 자원제어부, 상기 자원제어부로부터 가상 자원의 생성을 요청받았을 때 가상 자원을 생성하여 가상 연산 환경을 생성하고, 상기 가상 연산 환경의 접근 정보를 상기 자원제어부에 전송하는 가상환경제어부, 상기 자원제어부로부터 생성된 가상 연산 환경으로의 접근 정보를 전송받아 네트워크에 등록하고 상기 중앙연산부의 원격 연산 요청을 가상 연산 환경으로 중계하는 네트워크분배부 및 상기 가상 연산 환경을 구성하고, 상기 네트워크분배부의 중계를 통해 상기 중앙연산부로부터 전송된 학습 대상 데이터에 대해 연산을 수행하며, 연산된 결과인 학습 결과 데이터를 상기 중앙연산부로 전송하여 분산 학습을 수행하는 원격연산부를 포함하는 공유자원 기반 원격 분산 학습 시스템을 제시한다.
여기에서 상기 중앙연산부는, 학습 대상 데이터로 자체에서 연산을 수행하는 메인연산유닛, 학습 대상 데이터와 요구 자원 정보를 포함하여 상기 자원제어부에 자원 할당을 요청하고 가상 연산 환경이 생성되면 생성된 가상 연산 환경으로 학습 대상 데이터를 전송하며 상기 가상 연산 환경으로부터 연산이 완료된 학습 결과 데이터를 전송받는 원격연산유닛 및 상기 학습 결과 데이터의 파라미터를 통합하는 연산통합유닛을 포함할 수 있다.
이때 상기 원격연산유닛은, 상기 자원제어부에 가상 연산 환경의 생성을 위한 자원의 할당을 요청하는 한편 분산 학습이 종료되면 분산 학습에 사용된 자원의 회수를 요청하는 자원요청모듈, 상기 자원요청모듈의 자원 할당 요청에 따라 가상 연산 환경이 생성된 경우 생성된 가상 연산 환경으로 학습 대상 데이터를 전송하여 연산을 요청하는 데이터전송모듈 및 상기 가상 연산 환경으로부터 연산이 완료된 학습 결과 데이터를 수신하는 데이터수신모듈을 포함할 수 있다.
한편 상기 자원제어부는, 사용자의 접근 권한을 검사하고, 자원의 생성이나 반납을 요청하는 자원할당유닛, 생성된 가상 연산 환경의 접근 정보를 상기 가상환경제어부로부터 전송받아 중앙연산부로 전송하는 한편 상기 네트워크분배부에 가상 연산 환경의 접근 정보를 등록하는 접근제어유닛 및 상기 가상환경제어부로부터 가상 연산 환경의 생성, 활용, 제거에 대한 정보를 전송받는 활용추적유닛을 포함할 수 있다.
이때 상기 자원할당유닛은, 상기 중앙연산부로부터 자원 할당의 요청을 받았을 때 사용자의 접근 권한을 검사하는 권한검사모듈, 상기 권한검사모듈에서 사용자가 접근 권한을 가지고 있는 것으로 판정되면 상기 가상환경제어부에 분산 학습을 수행할 가상 자원의 생성을 요청하고, 분산 학습이 종료되면 상기 가상환경제어부에 생성된 가상 자원의 반납을 요청하는 자원관리모듈 및 자원이 생성되거나 자원이 반납되어 자원 할당 정보가 변경되는 경우 자원 할당 정보의 업데이트를 수행하는 환경업데이트모듈을 포함할 수 있다.
한편 상기 가상환경제어부는, 가상 연산 환경의 사용 현황을 모니터링하여 상기 자원제어부에 제공하는 자원모니터링유닛 및 상기 자원제어부에서 가상 자원의 생성을 요청받으면 요청받은 자원의 규모에 따라 단일 또는 다수의 가상 연산 환경을 생성하고 생성된 가상 연산 환경의 접근 정보를 상기 자원제어부에 송신하는 가상환경관리유닛를 포함할 수 있다.
이때 상기 자원모니터링유닛은, 공유자원 풀에 자원이 추가되면 추가된 자원을 감지하고 추가된 상기 자원을 가상 연산 환경을 생성할 수 있는 자원으로 인식하여 등록할 수 있다.
한편 상기 네트워크분배부는, 생성된 가상 연산 환경의 접근 정보를 상기 자원제어부로부터 전송받아 저장하는 네트워크등록유닛 및 상기 네트워크등록유닛에 저장된 접근 정보와 동일한 접근 정보를 가진 중앙연산부에 대해 해당 가상 연산 환경에 대한 접근을 중계하는 가상환경연결유닛를 포함할 수 있다.
또한 상기 원격연산부는, 상기 중앙연산부로부터 상기 네트워크분배부를 통해 전송된 학습 대상 데이터를 수신하는 데이터수신유닛, 상기 데이터수신유닛에 수신된 학습 대상 데이터로 연산을 수행하여 학습 결과 데이터를 생성하는 원격연산유닛 및 상기 원격연산유닛에서 생성된 학습 결과 데이터를 상기 중앙연산부로 전송하는 데이터전송유닛을 포함할 수 있다.
한편 상기 가상환경제어부로부터 가상 연산 환경의 생성, 제거 정보를 얻고, 상기 네트워크분배부에서 해당 가상 연산 환경에 대한 접근을 중계하는 정보를 얻어 가상 연산 환경의 생성 지속 시간과 데이터 전송량에 따라 비용을 산출하는 과금부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자 사이의 충돌 등에 대응한 자원의 조율이 이루어져, 다수의 사용자가 자원을 공유하여 활용해야 할 경우에도 사용자 사이의 조율이 용이하다. 또한 사용자에게 동적으로 자원이 할당되므로 자원의 유휴 상황에 대해 유연한 대처가 가능하며, 유휴 자원에 대한 사용자간 공유를 통해 자원을 효율적으로 활용할 수 있다.
한편 자원의 할당과 반납이 동적으로 이루어지므로 사용자가 직접 반납하지 않을 경우 자원이 묶여 버리거나 다른 사용자에 의해 임의로 자원이 박탈되는 상황이 발생되지 않으므로 공유자원을 용이하게 확보할 수 있다.
또한 서버의 추가 확장과 같은 자원의 변화에 있어서 자원 할당을 매번 조정해야할 필요가 없고 자원의 변화에 대응하여 사용자에게 알맞은 자원을 분배할 수 있다.
또한 사용자별로 동시/최대 활용 가능한 자원량을 역할/권한에 따라 서로 다르게 할당하기 용이하고, 사용자의 역할/권한의 변화에 따라 동적으로 자원 활용을 변경/제약하기 용이하므로 자원의 활용도를 높일 수 있다.
또한 자원 활용에 대한 사용자별 추적이 가능하므로, 사용자별 자원 활용 현황을 통해 사용자 사이의 형평성을 확보하기 용이하고, 사용자가 활용 가능한 자원 정보를 확인하여 그에 알맞은 활용을 요청할 수 있다. 이에 따라 유휴 자원을 최대한 활용이 가능하고 과금을 하는 경우 형평성 확보가 가능하다.
그 외 본 발명의 효과들은 이하에 기재되는 구체적인 내용을 통하여, 또는 본 발명을 실시하는 과정 중에 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
도 1은 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템을 나타내는 구성도.
도 2는 도 1에 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템을 나타내는 블럭도.
도 3은 도 1에 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 분산 학습을 요청하는 과정을 나타내는 흐름도.
도 4는 도 1에 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 분산 학습을 완료하는 과정을 나타내는 흐름도.
도 5는 도 1에 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 사용자 권한이 부족할 때의 과정을 나타내는 흐름도.
도 6은 도 1에 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 자원이 부족할 때의 과정을 나타내는 흐름도.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
이하, 본 발명의 일 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에 대해 도면을 참조하여 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일유사한 구성에 대해서는 동일유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.
본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템(100)은 머신 러닝 학습에 있어서 공유자원을 활용하여 분산 학습을 수행할 수 있는 시스템으로서, 중앙연산부(1), 자원제어부(2), 가상환경제어부(3), 네트워크분배부(4) 및 원격연산부(5)를 포함한다.
중앙연산부(1)는 사용자로부터 분산 학습의 요청을 받으면 분산 학습을 위한 자원 할당을 요청하고 자원을 할당받아 해당 자원에 학습 대상 데이터를 전송하여 연산을 요청하며 연산된 학습 결과 데이터를 전송받아 취합한다.
자원제어부(2)는, 중앙연산부(1)로부터 자원 할당 요청을 받으면 분산 학습을 수행할 가상 자원의 생성을 요청하고, 가상 자원이 생성되면 생성된 가상 자원으로의 접근 정보를 전송받아 중앙연산부(1)로 전송하는 한편 접근 정보를 네트워크에 등록하도록 한다.
가상환경제어부(3)는, 자원제어부(2)로부터 가상 자원의 생성을 요청받았을 때 공유자원 풀(10)에 가상 연산 환경을 생성하고, 가상 연산 환경의 접근 정보를 자원제어부(2)에 전송한다. 여기에서 공유자원 풀(10)은 분산 학습을 제공하기 위해 확보된 단일 또는 다수의 서버의 군집을 의미한다.
네트워크분배부(4)는, 자원제어부(2)로부터 생성된 가상 연산 환경으로의 접근 정보를 전송받아 중앙연산부(1)의 연산 요청을 해당 가상 연산 환경으로 중계한다.
원격연산부(5)는, 가상 연산 환경을 구성하고, 네트워크분배부(4)의 중계를 통해 중앙연산부(1)로부터 전송된 학습 대상 데이터에 대해 연산을 수행하며, 연산된 결과인 학습 결과 데이터를 중앙연산부(1)로 전송하여 분산 학습을 수행한다.
여기에서 중앙연산부(1)는 사용자의 서버 또는 워크스테이션에 구비될 수 있고, 자원제어부(2)는 관리자의 서버 또는 워크스테이션에 구비될 수 있으며, 가상환경제어부(3), 원격연산부(5), 네트워크분배부(4)는 공유자원 풀(10)에 속한 서버에 구비될 수 있다.
한편 가상환경제어부(3), 네트워크분배부(4)는 원격연산부(5)와 별도의 서버에 구비될 수도 있고 공유자원 풀(10)에는 원격연산부(5)만 구비한 서버가 복수로 존재할 수 있다.
이하 각 부의 구성에 대하여 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템을 나타내는 구성도이고, 도 2는 이러한 공유자원 기반 원격 분산 학습 시스템을 나타내는 블럭도이다.
중앙연산부(1)는 머신 러닝에 필요한 연산을 수행하는 구성으로서, 메인연산유닛(11), 원격연산유닛(12) 및 연산통합유닛(13)을 포함하여 구성될 수 있다.
메인연산유닛(11)은 자체적으로 연산을 수행하는 구성으로서 연산량이 많지 않은 경우 이를 메인연산유닛(11)을 통해 수행하게 된다.
원격연산유닛(12)은 연산량이 많아 장치 자체에서 이를 수행하기 어려운 경우 연산을 수행할 자원 할당을 요청하고 할당된 자원에서 연산이 완료되면 연산 결과를 전송받는 구성으로서, 자원요청모듈(121), 데이터전송모듈(122), 데이터수신모듈(123)을 포함하여 구성될 수 있다.
자원요청모듈(121)은 자원제어부(2)에 가상 연산 환경의 생성을 위한 자원의 할당을 요청하는 한편 할당된 자원에서 분산 학습이 종료되면 분산 학습에 사용된 자원의 회수를 요청한다. 구체적으로 사용자가 학습 대상 데이터와 요구 자원 정보를 포함하여 중앙연산부(1)에 분산 학습을 요청하면, 자원요청모듈(121)은 자원제어부(2)에 자원의 할당을 요청한다. 또한 자원요청모듈(121)은 분산 학습이 끝난 후 자원제어부(2)에 자원을 회수할 것을 요청한다.
한편 데이터전송모듈(122)은, 자원의 정상적 확보가 확인된 경우 가상 연산 환경이 생성된 원격연산부(5)로 학습 대상 데이터를 전송하여 연산을 요청한다. 구체적으로 자원이 할당되면 데이터전송모듈(122)은 자원제어부(2)로부터 가상 연산 환경의 접근 정보를 받고 이 접근 정보를 이용하여 네트워크분배부(4)를 통해 원격연산부(5)에 직접 접근하여 학습 대상 데이터를 송신하면서 원격 연산을 요청한다.
데이터수신모듈(123)은 원격연산부(5)로부터 연산이 완료된 학습 결과 데이터를 수신한다. 원격연산부(5)에서 연산이 완료되면 학습 결과 데이터는 네트워크분배부(4)를 통해 데이터수신모듈(123)로 전송된다. 이에 따라 분산 학습을 수행할 수 있다.
연산통합유닛(13) 학습 결과 데이터를 통합하여 통합된 하나의 학습 결과 데이터를 생성하게 되고, 이와 같이 하여 분산 학습이 완료되면 중앙연산부(1)에서는 통합된 학습 결과 데이터를 포함한 연산 결과를 사용자에게 보내주게 된다.
자원제어부(2)는 분산 학습을 수행할 가상 자원의 생성과 반납을 요청하고, 생성된 가상 자원으로의 접근을 제어하며, 생성된 가상 자원의 활용을 추적하는 등 자원과 관련된 전반을 제어하는 기능을 하는 구성으로서, 자원할당유닛(21), 접근제어유닛(22) 및 활용추적유닛(23)을 포함하여 이루어진다.
여기에서 가상 자원은 물리적으로 동일한 장치 여부를 불문하고 동일한 학습을 함께 수행하는 단수 또는 복수의 장치로서, 물리적으로 동일하지 않은 장치를 하나의 그룹으로 하여 가상 자원을 설정할 수도 있고, 하나의 장치에도 서로 다른 가상 자원이 설정될 수 있다.
자원할당유닛(21)은, 사용자의 접근 권한을 검사하고, 가상 자원의 생성이나 제거를 요청하는 구성으로서, 권한검사모듈(211), 자원관리모듈(212) 및 환경업데이트모듈(213)을 포함하여 이루어진다.
권한검사모듈(211)은 중앙연산부(1)로부터 자원제어부(2)가 자원 할당의 요청을 받았을 때 사용자의 접근 권한을 검사한다. 이때 사용자의 권한이 부족하면 권한검사모듈(211)은 중앙연산부(1)에 권한 부족 정보를 송신하고 이를 받은 중앙연산부(1)는 사용자에게 권한 부족 정보를 알린다.
자원관리모듈(212)은, 분산 학습을 요청한 사용자가 접근 권한을 가지고 있을 때 가상환경제어부(3)에 해당 분산 학습을 수행하기 위한 가상 자원을 생성하는 것이 가능한지 여부를 확인하는 한편 가상 자원의 생성이 가능한 경우 가상환경제어부(3)에 가상 자원의 생성을 요청하고 분산 학습이 종료되면 가상환경제어부(3)에 가상 자원의 반납을 요청하는 기능을 수행한다.
구체적으로 자원관리모듈(212)은 가상환경제어부(3)에 자원 현황에 대한 정보를 요청하고 자원 현황에 대한 정보를 받아 유휴 자원이 어느 정도인지 검사한다. 이때 유휴 자원이 충분하여 자원의 유효성이 확인되면, 가상환경제어부(3)에 가상 자원의 생성을 요청한다. 요청에 따라 가상환경제어부(3)가 해당 분산 학습을 수행하기 위한 가상 연산 환경을 생성하면 가상환경제어부(3)는 자원관리모듈(212)에 가상 연산 환경이 생성되었음을 알린다.
한편 자원의 유효성 확인시 자원이 부족한 것으로 확인되면 자원관리모듈(212)은 중앙연산부(1)에 자원 부족 정보를 송신하고 이를 받은 중앙연산부(1)는 사용자에게 자원 부족 정보를 알린다. 이때 자원 부족은 실제 공유자원 풀(10)에서 활용 가능한 자원이 충분하지 않은 경우를 의미한다.
또한 중앙연산부(1)가 학습 결과 데이터를 통합하고 연산을 완료함으로써 분산 학습이 종료되면 중앙연산부(1)는 자원제어부(2)에 자원을 회수할 것을 요청하게 되고 자원관리모듈(212)은 가상환경제어부(3)에 해당 가상 연산 환경을 반납할 것을 요청한다.
환경업데이트모듈(213)은, 현재까지의 자원 할당 정보를 업데이트한다. 이에 따라 가상 연산 환경이 생성되거나 가상 연산 환경이 제거되는 경우 항상 업데이트된 자원 할당 정보를 확인할 수 있다.
접근제어유닛(22)은 생성된 가상 연산 환경에 접근하기 위한 네트워크를 등록하거나 제거하는 구성으로서, 가상환경제어부(3)로부터 생성된 가상 연산 환경의 접근 정보를 전송받아 중앙연산부(1)로 전송하는 한편 네트워크분배부(4)에 가상 환경의 접근 정보를 등록한다.
상세하게는 가상환경제어부(3)가 가상 연산 환경을 생성하면 가상환경제어부(3)는 자원할당유닛(21)의 자원관리모듈(212)에 자원의 생성을 알리고 접근제어유닛(22)에는 가상 연산 환경의 접근 정보를 전송한다. 이때 접근제어유닛(22)은 가상환경제어부(3)로부터 받은 가상 연산 환경의 접근 정보를 네트워크분배부(4)에 등록하는 한편 중앙연산부(1)에 전송하여 중앙연산부(1)가 네트워크분배부(4)를 통해 가상 연산 환경에 접근할 수 있도록 한다.
중앙연산부(1)에서 자원제어부(2)로 자원 회수 요청이 있는 경우 접근제어유닛(22)은 네트워크분배부(4)에 해당 가상 연산 환경에 대한 네트워크 등록을 제거해 줄 것을 요청한다. 요청을 받은 네트워크분배부(4)는 해당 가상 연산 환경에 대한 네트워크 등록을 제거하고 이를 접근제어유닛(22)에 알린다.
한편 통신 오류 등의 상황을 가정하였을 때 중앙연산부(1)에서 자원제어부(2)로 자원 회수 요청이 없는 경우에도 생성된 가상 연산 환경이 일정 시간 이상 사용되지 않는 경우 네트워크 등록을 제거하고 자원을 반납하는 과정이 진행될 수도 있다.
활용추적유닛(23)은 가상 연산 환경의 생성, 활용 및 제거의 전반적인 과정에 대한 지속적인 추적을 수행하는 구성이다.
활용추적유닛(23)은 가상환경제어부(3)로부터 가상 연산 환경의 생성, 활용, 제거에 대한 정보를 전송받는다. 또한 네트워크분배부(4)로부터 해당 가상 연산 환경의 데이터량을 전송받는다.
활용추적유닛(23)을 통해 자원제어부(2)에서는 해당 사용자에 대해 자원이 할당된 양과 자원 할당의 시작과 끝 시점을 기록할 수 있다. 또한 가상 연산 환경에 대한 로깅 정보와 사용자별 자원 할당 정보를 활용하여 사용자별로 자원의 활용 정도를 미터링할 수 있다.
이와 같이 활용추적유닛(23)에서 확보되는 정보를 통해 사용자 또는 관리자에게 자원 현황 정보를 제공할 수 있으며 후술하는 과금부에서 과금의 기초 자료로 활용할 수 있다.
가상환경제어부(3)는 공유자원 풀(10)의 자원을 이용하여 가상 연산 환경을 제어(생성, 추적, 제거)하는 구성으로서, 자원모니터링유닛(31) 및 가상환경관리유닛(32)을 포함할 수 있다.
자원모니터링유닛(31)은, 자원의 사용 현황을 모니터링 하는 구성으로서, 자원의 사용 현황은 자원제어부(2)에 제공될 수 있다.
자원모니터링유닛(31)은 자원제어부(2)로부터 가상 자원의 생성 요청이 있는 경우 사용 가능한 자원의 현황을 자원제어부(2)에 제공한다. 이에 따라 자원제어부(2)는 충분한 자원이 있는지 확인할 수 있고, 사용자가 요청한 자원의 제공이 가능하다고 판단되는 경우 자원제어부(2)는 가상환경관리유닛(32)에 가상 자원의 생성(가상 연산 환경을 생성할 것)을 요청할 수 있다.
가상환경관리유닛(32)은, 공유자원 풀(10)의 자원을 이용하여 가상 연산 환경을 동적으로 생성, 추적, 제거할 수 있다.
이를 위하여 가상환경관리유닛(32)은, 자원제어부(2)에서 가상 자원의 생성을 요청받으면 요청한 자원의 규모를 고려하여 단일/다수의 가상 연산 환경을 생성한다. 또한 가상 연산 환경이 생성되었음을 자원제어부(2)에 알리는 한편 가상 연산 환경의 접근 정보(ID)를 자원제어부(2)의 접근제어유닛(22)에 송신한다.
이때 접근 정보는 특정 가상 연산 환경을 인식하는 식별 정보로서 기능한다. 또한 가상 연산 환경이 다수일 경우 하나가 아닌 각각의 가상 연산 환경에 접근할 수 있도록 여러 개의 접근 정보를 송신할 수 있다.
한편 가상 연산 환경이 생성된 후에는 생성된 가상 연산 환경이 어떻게 운영되고 있는지 추적한다. 예를 들면 생성된 가상 연산 환경을 이루는 가상 자원의 구성과 가상 자원의 활용 정도를 추적할 수 있다.
이후 중앙연산부(1)에서 자원의 회수 요청이 자원제어부(2)에 송신됨에 따라 자원제어부(2)가 가상환경제어부(3)에 가상 자원을 반납할 것을 요청하면 가상환경관리유닛(32)은 해당 가상 연산 환경을 제거한다.
이와 같이 가상 연산 환경이 생성되고 활용되고 제거되는 일련의 정보는 자원제어부(2)의 활용추적유닛(23)에 전송될 수 있다.
한편 자원의 확장이 있는 경우 가상환경제어부(3)는 이를 감지하여 활용할 수 있게 한다. 자원이 추가된 경우 자원모니터링유닛(31)은 이를 감지하게 되며 다음과 같은 과정을 통해 동적 자원의 확장 및 활용이 가능하다.
먼저 공유자원 풀(10)에 자원을 추가하면, 가상환경제어부(3)의 자원모니터링유닛(31)은 추가된 자원을 인식하여 등록한다.
이후 자원제어부(2)에서 자원 현황을 요청할 때, 자원모니터링유닛(31)에서 추가된 자원 정보를 포함하여 전체 자원 정보를 조회해 확인하고 제공한다. 이때 자원제어부(2)에서 추가된 자원에 대하여 가상 자원의 생성 요청을 하면 가상환경관리유닛(32)에서 추가된 자원에 가상 연산 환경을 생성하고 가상 연산 환경의 접근 정보를 자원제어부(2)에 전송한다.
생성된 가상 연산 환경의 접근 정보는 자원제어부(2)의 접근제어유닛(22)을 통해 중앙연산부(1)의 원격연산유닛(12)으로 전송되는 한편 네트워크분배부(4)에 등록되고 원격연산유닛(12)에서 해당 가상 연산 환경을 인지하고 원격 연산을 요청한다.
네트워크분배부(4)는 생성된 가상 연산 환경에 대한 네트워크 등록 및 제거를 수행하고 중앙연산부(1)의 원격 연산 요청을 가상 연산 환경으로 중계하는 구성으로서, 네트워크등록유닛(41)과 가상환경연결유닛(42)을 포함하여 이루어질 수 있다.
네트워크분배부(4)는 동적으로 생성되는 가상 연산 환경 및 원격연산부(5)에 대하여 중앙연산부(1)에게 단일화된 접근 통로를 제공한다.
네트워크등록유닛(41)은 생성된 가상 연산 환경의 접근 정보를 자원제어부(2)로부터 전송받아 저장하여 해당 가상 연산 환경을 사용하고자 하는 중앙연산부(1)가 네트워크분배부(4)에 접근할 수 있도록 한다.
한편 가상환경연결유닛(42)은 생성된 가상 연산 환경의 접근 정보(ID)와 가상 연산 환경의 직접 접근 정보(접근 주소)를 매칭하여 저장하고, 동일한 접근 정보를 가진 중앙연산부(1)에 대해 해당 가상 연산 환경에 대한 연결을 제공한다.
가상환경연결유닛(42)은 중앙연산부(1)와 네트워크분배부(4) 간의 네트워킹 이후, 가상 연산 환경으로의 고유한 식별 정보를 제공하여 중앙연산부(1)에서 송신한 학습 대상 데이터로 가상 연산 환경에서 연산을 수행할 수 있게 한다.
이와 같이 네트워크분배부(4)는 단일화된 접근 통로를 마련해 주며 중앙연산부(1)는 네트워크분배부(4)라는 단일 창구에 대해서만 네트워크 연결이 이루어지면 족하므로 네트워크 인프라 수준의 연결을 매번 수행해 주지 않아도 단순한 접근 정보를 통해 동적으로 생성되는 가상 연산 환경으로의 접근이 가능하다.
원격연산부(5)는 중앙연산부(1)로부터 학습 대상 데이터를 전달받아 연산을 수행하는 구성으로서, 가상 연산 환경이 구성되고, 데이터수신유닛(51), 연산유닛(52), 데이터전송유닛(53)을 포함하여 이루어질 수 있다.
데이터수신유닛(51)은 중앙연산부(1)로부터 네트워크분배부(4)를 통해 전송된 학습 대상 데이터를 수신한다.
원격연산유닛(12)은 데이터수신유닛(51)에 수신된 학습 대상 데이터로 연산을 수행하여 학습 결과 데이터를 생성한다. 원격연산유닛(12)에는 인공지능 모델이 탑재될 수 있다.
데이터전송유닛(53)은 원격연산유닛(12)에서 생성된 학습 결과 데이터를 중앙연산부(1)로 전송한다. 생성된 학습 결과 데이터는 모델 파라미터 데이터를 포함한 연산 결과 데이터일 수 있다.
원격연산부(5)는 서버로 이루어질 수 있고, 원격연산부(5)에는 단수 또는 복수의 가상 연산 환경이 형성될 수 있다. 한편 복수의 원격연산부(5)의 전부 또는 일부를 하나의 그룹으로 하여 가상 연산 환경이 형성될 수도 있다.
한편 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템(100)은 분산 학습 시스템을 사용하는 비용을 산출하는 과금부(미도시)를 더 포함할 수 있다.
과금을 하기 위해서는 자원의 생성 및 활용과 네트워크의 활용을 체크해야 하는데 이를 위하여 과금부는 가상환경제어부(3)에서 가상 연산 환경의 생성, 제거 정보를 전송받고, 네트워크분배부(4)에서 해당 가상 연산 환경에 대한 접근을 중계하는 현황을 전송받아 가상 연산 환경의 생성 지속 시간과 데이터 전송량에 따라 비용을 산출할 수 있다.
한편 과금부는 자원제어부(2)의 활용추적유닛(23)을 통해 과금 자료를 수집하고 비용을 산출할 수도 있다.
구체적으로 가상환경제어부(3)의 가상환경관리유닛(32)은 가상 연산 환경의 생성에 할당된 원격연산부(5)의 수와 가상 연산 환경의 생성과 제거에 따른 사용시간을 모니터링하고 이들 정보를 자원제어부(2)의 활용추적유닛(23)으로 전송할 수 있다.
한편 네트워크분배부(4)의 가상환경연결유닛(42)은 가상 연산 환경의 생성과 제거 사이의 데이터 전송시간과 데이터 전송량을 모니터링하고 이 역시 자원제어부(2)의 활용추적유닛(23)으로 전송할 수 있다.
이에 따라 자원제어부(2)에서는 활용추적유닛(23)을 통해 특정 사용자에 대한 자원 할당량과 자원 할당의 시작과 끝 시점을 기록할 수 있고, 위 과정에서 확보되는 정보를 통해 사용자/관리자에게 자원 현황 정보를 제공할 수 있으며 이를 과금부로 전송함으로써 사용자별로 비용을 산출할 수 있다.
상기와 같이 구성된 공유자원 기반 원격 분산 학습 시스템은 다음과 같이 작동한다. 이하에서는 대표적으로 원격 분산 학습의 요청, 원격 분산 학습의 해제, 권한 부족, 자원 부족의 경우에 대해 설명한다.
원격 분산 학습의 요청
본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 원격 분산 학습을 요청하는 과정은 아래와 같다.
도 3은 본 발명의 실시에 따른 공유자원 기반 원격 분산 학습 시스템에서 분산 학습을 요청하는 과정을 나타내는 흐름도이다.
먼저 사용자는 학습 데이터와 요구 자원 정보를 포함하여 중앙연산부(1)에 분산 학습을 요청한다. 여기에서 요구 자원 정보는 예를 들면 필요한 원격연산부의 갯수, 연산 능력(CPU, 메모리, GPU 등)이며, 이와 같은 요구 자원 정보에 따라 최종적으로 단일 또는 다수의 가상 연산 환경이 생성되게 된다.
분산 학습에 대한 요청을 받은 중앙연산부(1)는 자원제어부(2)에 분산 학습을 위한 자원을 할당해 줄 것을 요청한다.
자원 할당 요청을 받은 자원제어부(2)는 먼저 분산학습을 요청한 사용자의 권한을 검사한다.
사용자 권한에 이상이 없으면 자원제어부(2)는 가상환경제어부(3)에 자원 현황에 대한 정보를 요청하고, 가상환경제어부(3)는 자원 현황에 대한 정보를 자원제어부(2)에 전송한다.
자원 현황에 대한 정보를 전송받은 자원제어부(2)는 사용자가 요청한 만큼 자원을 유효하게 사용 가능한지 확인한다.
자원의 유효성이 확인되면 자원제어부(2)는 가상환경제어부(3)에 가상 자원의 생성을 요청한다. 가상 자원의 생성을 요청받은 가상환경제어부(3)는 가상 연산 환경을 생성하고 가상 연산 환경이 생성되었음과 생성된 가상 연산 환경의 접근 정보를 자원제어부(2)에 전송한다.
이어서 자원제어부(2)는 가상환경제어부(3)로부터 받은 정보를 이용하여 사용자가 가상 연산 환경에 접근할 수 있도록 네트워크분배부(4)에 가상 연산 환경의 접근 정보를 등록(네트워크 등록)한다.
네트워크 등록까지 완료되면 해당 요청에 대한 자원 할당이 완료되므로 자원제어부(2)는 현재까지의 자원 할당 정보를 업데이트시키고 가상환경제어부(3)로부터 전송받아 네트워크분배부(4)에 등록한 가상 연산 환경의 접근 정보를 중앙연산부(1)에도 전송한다.
가상 연산 환경의 접근 정보를 받은 중앙연산부(1)는 이를 이용하여 네트워크분배부(4)를 통해 원격연산부(5)에 직접 접근할 수 있고, 원격연산부(5)에 학습 대상 데이터를 송신하여 원격 연산을 요청한다.
이와 같은 중앙연산부(1)의 요청에 따라 해당 가상 연산 환경을 이루는 원격연산부(5)는 원격 연산을 수행한 후 모델 파라미터 데이터를 포함한 연산 결과를 중앙연산부(1)에 송신한다.
원격연산부(5)로부터 연산 결과를 수신받은 중앙연산부(1)는 파라미터를 통합하고 남은 학습 데이터를 다시 원격연산부(5)로 송신하여 원격 연산을 계속적으로 수행하도록 함으로써 학습을 반복한다.
이와 같이 하여 모든 연산이 완료되면 중앙연산부(1)는 모델 파라미터 데이터를 포함한 학습결과를 사용자에게 보내준다.
원격 분산 학습의 종료
본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 원격 분산 학습을 종료하는 과정은 아래와 같다.
도 4는 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 분산 학습을 완료하는 과정을 나타내는 흐름도이다.
원격 연산이 완료되면 중앙연산부(1)는 자원제어부(2)에 분산 학습에 사용한 자원의 회수를 요청한다.
자원의 회수를 요청받은 자원제어부(2)는 네트워크분배부(4)에 사용자가 가상 연산 환경에 접근하기 위해 사용했던 네트워크 등록을 제거해 줄 것을 요청한다. 요청을 받은 네트워크분배부(4)는 해당 네트워크 등록을 제거한다.
한편 동시에 자원제어부(2)는 가상환경제어부(3)에 가상 자원의 반납을 요청한다. 요청을 받은 가상환경제어부(3)는 해당 가상 연산 환경을 제거한다.
네트워크 등록과 가상 연산 환경이 제거되면 자원 반납이 완료되므로 자원제어부(2)는 현재까지의 자원 할당 정보를 업데이트한다.
상술한 바와 같이 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템(100)은, 분산 학습을 수행하는 자원에 대해 사용자가 아닌 자원제어부(2)가 조율을 담당하며, 사용자는 자원에 대한 접근 정보를 직접적으로 알 필요가 없다.
또한 연산이 종료되면 중앙연산부(1)에서 자원에 대한 반납이 요청되고, 해당 자원은 다른 연산 혹은 다른 사용자에 의해 활용될 수 있는 공유자원으로 회수되므로 자원 활용의 효율을 높일 수 있다.
사용자 권한의 검증
본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 사용자 권한이 부족할 경우 처리 과정은 다음과 같다.
도 5는 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 사용자 권한이 부족할 때 과정을 나타내는 흐름도이다.
먼저 사용자는 학습 데이터와 요구 자원 정보를 포함하여 중앙연산부(1)에 분산 학습을 요청한다.
분산 학습에 대한 요청을 받은 중앙연산부(1)는 자원제어부(2)에 분산 학습을 위한 자원을 할당해 줄 것을 요청한다.
자원 할당 요청을 받은 자원제어부(2)는 먼저 분산학습을 요청한 사용자의 권한을 검사한다.
사용자의 권한이 부족하면 자원제어부(2)는 중앙연산부(1)에 권한 부족 정보를 송신하고 이를 수신한 중앙연산부(1)는 사용자에게 권한 부족 정보를 알린다.
이때 사용자의 권한이 부족한 경우는 사용자의 접근 권한 자체가 부족한 경우 또는 사용자가 요청한 자원의 양이 허용된 양을 초과하여 자원량의 접근 권한이 부족한 경우 등이 있을 수 있다.
이와 같이 사용자의 권한이 부족한 경우 자원제어부(2)에서 사용자의 요청에 따라 권한을 변경하는 것도 가능하다.
자원의 부족
본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 자원이 부족할 경우 처리 과정은 다음과 같다.
도 6은 도시된 실시예에 따른 공유자원 기반 원격 분산 학습 시스템에서 자원이 부족할 때 과정을 나타내는 흐름도이다.
먼저 사용자는 학습 데이터와 요구 자원 정보를 포함하여 중앙연산부(1)에 분산 학습을 요청한다.
분산 학습에 대한 요청을 받은 중앙연산부(1)는 자원제어부(2)에 분산 학습을 위한 자원을 할당해 줄 것을 요청한다.
자원 할당 요청을 받은 자원제어부(2)는 먼저 분산학습을 요청한 사용자의 권한을 검사한다.
사용자 권한에 이상이 없으면 자원제어부(2)는 가상환경제어부(3)에 자원 현황에 대한 정보를 요청하고, 가상환경제어부(3)는 자원제어부(2)에 자원 현황에 대한 정보를 자원제어부(2)에 전송한다.
자원 현황에 대한 정보를 전송받은 자원제어부(2)는 사용자가 요청한 만큼 자원을 유효하게 사용 가능한지 확인한다.
이때 사용할 수 있는 자원이 부족한 것으로 확인되면 자원제어부(2)는 중앙연산부(1)에 자원 부족 정보를 송신하고 이를 수신한 중앙연산부(1)는 사용자에게 자원이 부족함을 알린다. 여기에서 자원이 부족하다는 것은 실제 공유자원 풀(10)에서 활용 가능한 자원이 충분하지 않는 경우를 의미한다.
이와 같은 본 발명의 실시예에 따른 공유자원 기반 원격 분산 학습 시스템은 개인이나 조직의 머신러닝 연구개발 환경을 독자적으로 보유하면서도 공유자원을 활용하여 분산 학습을 수행할 수 있으므로 학습의 효율을 높일 수 있다.
또한 자원의 공유를 통해 자체 자원으로 연구개발을 수행하면서도 간헐적으로 발생하는 추가 학습 자원의 필요성을 합리적인 비용으로 신속하게 해결할 수 있다.
사용자의 적극적인 개입 없이 공유자원의 동적 할당 및 추적을 할 수 있도록 하여 공유자원의 합리적인 운영이 가능하다.
상기와 같이 공유자원 기반 원격 분산 학습 시스템은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1 : 중앙연산부
11 : 메인연산유닛 12 : 원격연산유닛
121 : 자원요청모듈 122 : 데이터전송모듈 123 : 데이터수신모듈
13 : 연산통합유닛
2 : 자원제어부
21 : 자원할당유닛
211 : 권한검사모듈 212 : 자원관리모듈 213 : 환경업데이트모듈
22 : 접근제어유닛 23 : 활용추적유닛
3 : 가상환경제어부 31 : 자원모니터링유닛 32 : 가상환경관리유닛
4 : 네트워크분배부 41 : 네트워크등록유닛 42 : 가상환경연결유닛
5 : 원격연산부 51 : 데이터수신유닛 52 : 연산유닛 53 : 데이터전송유닛
10 : 공유자원 풀 100 : 원격 분산 학습 시스템

Claims (10)

  1. 머신 러닝 학습에 있어서 공유자원을 활용하여 분산 학습을 수행할 수 있는 공유자원 기반 원격 분산 학습 시스템으로서,
    사용자로부터 분산 학습의 요청을 받으면 분산 학습을 위한 자원 할당을 요청하고 자원을 할당받아 해당 자원에 학습 대상 데이터를 전송하여 원격 연산을 요청하며 학습 결과 데이터를 전송받아 취합하는 중앙연산부,
    상기 중앙연산부로부터 자원 할당 요청을 받으면 분산 학습을 수행할 가상 자원의 생성을 요청하고, 가상 자원이 생성되면 생성된 가상 자원으로의 접근 정보를 전송받아 상기 중앙연산부로 전송하는 한편 상기 접근 정보를 네트워크에 등록하도록 하는 자원제어부,
    상기 자원제어부로부터 가상 자원의 생성을 요청받았을 때 가상 자원을 생성하여 가상 연산 환경을 생성하고, 상기 가상 연산 환경의 접근 정보를 상기 자원제어부에 전송하는 가상환경제어부,
    상기 자원제어부로부터 생성된 가상 연산 환경으로의 접근 정보를 전송받아 네트워크에 등록하고 상기 중앙연산부의 원격 연산 요청을 가상 연산 환경으로 중계하는 네트워크분배부 및
    상기 가상 연산 환경을 구성하고, 상기 네트워크분배부의 중계를 통해 상기 중앙연산부로부터 전송된 학습 대상 데이터에 대해 연산을 수행하며, 연산된 결과인 학습 결과 데이터를 상기 중앙연산부로 전송하여 분산 학습을 수행하는 원격연산부
    를 포함하는 공유자원 기반 원격 분산 학습 시스템.
  2. 제1항에 있어서,
    상기 중앙연산부는,
    학습 대상 데이터로 자체에서 연산을 수행하는 메인연산유닛,
    학습 대상 데이터와 요구 자원 정보를 포함하여 상기 자원제어부에 자원 할당을 요청하고, 가상 연산 환경이 생성되면 생성된 가상 연산 환경으로 학습 대상 데이터를 전송하며, 상기 가상 연산 환경으로부터 연산이 완료된 학습 결과 데이터를 전송받는 원격연산유닛 및
    상기 학습 결과 데이터의 파라미터를 통합하는 연산통합유닛
    을 포함하는 공유자원 기반 원격 분산 학습 시스템.
  3. 제2항에 있어서,
    상기 원격연산유닛은,
    상기 자원제어부에 가상 연산 환경의 생성을 위한 자원의 할당을 요청하는 한편 분산 학습이 종료되면 분산 학습에 사용된 자원의 회수를 요청하는 자원요청모듈,
    상기 자원요청모듈의 자원 할당 요청에 따라 가상 연산 환경이 생성된 경우 생성된 가상 연산 환경으로 학습 대상 데이터를 전송하여 연산을 요청하는 데이터전송모듈 및
    상기 가상 연산 환경으로부터 연산이 완료된 학습 결과 데이터를 수신하는 데이터수신모듈
    을 포함하는 공유자원 기반 원격 분산 학습 시스템.
  4. 제1항에 있어서,
    상기 자원제어부는,
    사용자의 접근 권한을 검사하고, 자원의 생성이나 반납을 요청하는 자원할당유닛,
    생성된 가상 연산 환경의 접근 정보를 상기 가상환경제어부로부터 전송받아 중앙연산부로 전송하는 한편 상기 네트워크분배부에 가상 연산 환경의 접근 정보를 등록하는 접근제어유닛 및
    상기 가상환경제어부로부터 가상 연산 환경의 생성, 활용, 제거에 대한 정보를 전송받는 활용추적유닛
    을 포함하는 공유자원 기반 원격 분산 학습 시스템.
  5. 제4항에 있어서,
    상기 자원할당유닛은,
    상기 중앙연산부로부터 자원 할당의 요청을 받았을 때 사용자의 접근 권한을 검사하는 권한검사모듈,
    상기 권한검사모듈에서 사용자가 접근 권한을 가지고 있는 것으로 판정되면 상기 가상환경제어부에 분산 학습을 수행할 가상 자원의 생성을 요청하고, 분산 학습이 종료되면 상기 가상환경제어부에 생성된 가상 자원의 반납을 요청하는 자원관리모듈 및
    자원이 생성되거나 자원이 반납되어 자원 할당 정보가 변경되는 경우 자원 할당 정보의 업데이트를 수행하는 환경업데이트모듈
    을 포함하는 공유자원 기반 원격 분산 학습 시스템.
  6. 제1항에 있어서,
    상기 가상환경제어부는,
    가상 연산 환경의 사용 현황을 모니터링하여 상기 자원제어부에 제공하는 자원모니터링유닛 및
    상기 자원제어부에서 가상 자원의 생성을 요청받으면 요청받은 자원의 규모에 따라 단일 또는 다수의 가상 연산 환경을 생성하고 생성된 가상 연산 환경의 접근 정보를 상기 자원제어부에 송신하는 가상환경관리유닛
    를 포함하는 공유자원 기반 원격 분산 학습 시스템.
  7. 제6항에 있어서,
    상기 자원모니터링유닛은, 공유자원 풀에 자원이 추가되면 추가된 자원을 감지하고 추가된 상기 자원을 가상 연산 환경을 생성할 수 있는 자원으로 인식하여 등록하는 공유자원 기반 원격 분산 학습 시스템.
  8. 제1항에 있어서,
    상기 네트워크분배부는,
    생성된 가상 연산 환경의 접근 정보를 상기 자원제어부로부터 전송받아 저장하는 네트워크등록유닛 및
    상기 네트워크등록유닛에 저장된 접근 정보와 동일한 접근 정보를 가진 중앙연산부에 대해 해당 가상 연산 환경에 대한 접근을 중계하는 가상환경연결유닛
    를 포함하는 공유자원 기반 원격 분산 학습 시스템.
  9. 제1항에 있어서,
    상기 원격연산부는,
    상기 중앙연산부로부터 상기 네트워크분배부를 통해 전송된 학습 대상 데이터를 수신하는 데이터수신유닛,
    상기 데이터수신유닛에 수신된 학습 대상 데이터로 연산을 수행하여 학습 결과 데이터를 생성하는 원격연산유닛 및
    상기 원격연산유닛에서 생성된 학습 결과 데이터를 상기 중앙연산부로 전송하는 데이터전송유닛
    을 포함하는 공유자원 기반 원격 분산 학습 시스템.
  10. 제1항에 있어서,
    상기 가상환경제어부로부터 가상 연산 환경의 생성, 제거 정보를 얻고, 상기 네트워크분배부에서 해당 가상 연산 환경에 대한 접근을 중계하는 정보를 얻어 가상 연산 환경의 생성 지속 시간과 데이터 전송량에 따라 비용을 산출하는 과금부를 더 포함하는 공유자원 기반 원격 분산 학습 시스템.
KR1020220081232A 2022-07-01 2022-07-01 공유자원 기반 원격 분산 학습 시스템 KR20240003537A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220081232A KR20240003537A (ko) 2022-07-01 2022-07-01 공유자원 기반 원격 분산 학습 시스템
PCT/KR2022/011257 WO2024005255A1 (ko) 2022-07-01 2022-07-30 공유자원 기반 원격 분산 학습 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220081232A KR20240003537A (ko) 2022-07-01 2022-07-01 공유자원 기반 원격 분산 학습 시스템

Publications (1)

Publication Number Publication Date
KR20240003537A true KR20240003537A (ko) 2024-01-09

Family

ID=89380799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220081232A KR20240003537A (ko) 2022-07-01 2022-07-01 공유자원 기반 원격 분산 학습 시스템

Country Status (2)

Country Link
KR (1) KR20240003537A (ko)
WO (1) WO2024005255A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023706A (ko) 2018-08-22 2020-03-06 주식회사 머니브레인 스마트 계약을 지원하는 블록체인에 기반한, 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180314971A1 (en) * 2017-04-26 2018-11-01 Midea Group Co., Ltd. Training Machine Learning Models On A Large-Scale Distributed System Using A Job Server
KR102197247B1 (ko) * 2017-06-01 2020-12-31 한국전자통신연구원 파라미터 서버 및 그것에 의해 수행되는 분산 딥러닝 파라미터 공유 방법
US10713092B2 (en) * 2018-01-02 2020-07-14 Jpmorgan Chase Bank, N.A. Dynamic resource management of a pool of resources for multi-tenant applications based on sample exceution, query type or jobs
KR101987661B1 (ko) * 2018-07-19 2019-06-11 나무기술 주식회사 클라우드 플랫폼에서의 클러스터 리소스 할당 및 관리 방법
KR20220009682A (ko) * 2020-07-16 2022-01-25 한국전력공사 분산 기계 학습 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023706A (ko) 2018-08-22 2020-03-06 주식회사 머니브레인 스마트 계약을 지원하는 블록체인에 기반한, 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치

Also Published As

Publication number Publication date
WO2024005255A1 (ko) 2024-01-04

Similar Documents

Publication Publication Date Title
CN112000421B (zh) 基于超融合架构的管理调度技术
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
EP3400535B1 (en) System and method for distributed resource management
CN104618693B (zh) 一种基于云计算的监控视频在线处理任务管理方法及系统
CN112532668B (zh) 一种网络边缘计算方法、装置及介质
KR102103596B1 (ko) 계산 작업을 처리하기 위한 컴퓨터 클러스터 장치 및 이를 작동시키기 위한 방법
CN105049268A (zh) 分布式计算资源分配系统和任务处理方法
TWI547817B (zh) 叢集運算架構的資源規劃方法、系統及裝置
CN108228347A (zh) 一种任务感知的Docker自适应调度系统
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
CN101652750B (zh) 数据处理装置、分散处理系统、数据处理方法
CN104503826B (zh) 一种云计算数据中心的虚拟机映射方法及装置
CN104881325A (zh) 一种资源调度方法和资源调度系统
CN101986272A (zh) 一种云计算环境下的任务调度方法
KR20160087706A (ko) 가상화 플랫폼을 고려한 분산 데이터 처리 시스템의 자원 할당 장치 및 할당 방법
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN102164184A (zh) 云计算网络中计算机实体的接入和管理方法及云计算网络
CN113064744A (zh) 任务处理方法、装置、计算机可读介质及电子设备
CN110490316A (zh) 基于神经网络模型训练系统的训练处理方法、训练系统
US11526784B2 (en) Real-time server capacity optimization tool using maximum predicted value of resource utilization determined based on historica data and confidence interval
CN114138501B (zh) 用于现场安全监控的边缘智能服务的处理方法和装置
CN107967166A (zh) 一种云环境下遥感图像处理服务流实现方法
CN114490049A (zh) 在容器化边缘计算中自动分配资源的方法及系统
CN114371931A (zh) 服务集群资源分配方法、装置及计算机设备
CN115686813A (zh) 一种资源调度方法、装置、电子设备和存储介质