KR20210055560A - Apparatus and Method for Managing Performance about Artificial Intelligent Service - Google Patents
Apparatus and Method for Managing Performance about Artificial Intelligent Service Download PDFInfo
- Publication number
- KR20210055560A KR20210055560A KR1020200012442A KR20200012442A KR20210055560A KR 20210055560 A KR20210055560 A KR 20210055560A KR 1020200012442 A KR1020200012442 A KR 1020200012442A KR 20200012442 A KR20200012442 A KR 20200012442A KR 20210055560 A KR20210055560 A KR 20210055560A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- data
- performance
- model
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
본 문서에서 개시되는 다양한 실시 예들은, 인공지능 모델의 성능 유지 기술과 관련된다.Various embodiments disclosed in this document are related to a technology for maintaining performance of an artificial intelligence model.
인공지능 기술은 주어진 데이터에 대한 식별 정확도가 높은 인공지능 모델을 개발하는데 집중되어 있다. 예를 들어, 인공지능 모델은 주어진 사진을 확인하고 사진에 포함된 객체가 개인지 고양이인지를 정확히 식별하도록 개발되었다. 그런데, 인공지능 모델은 학습 데이터에 기반하여 설계되므로, 실제 필드에서는 학습 시에 비해 정확도가 떨어질 수 있다. Artificial intelligence technology is focused on developing artificial intelligence models with high identification accuracy for given data. For example, artificial intelligence models have been developed to identify a given picture and accurately identify whether the object in the picture is an individual or a cat. However, since the artificial intelligence model is designed based on the training data, the accuracy may be inferior in the actual field compared to the training.
이 같이, 인공지능 모델은 실제 필드에 적용했을 경우에 하기와 같은 이유로 정확도가 떨어질 수 있다. 첫째, 학습 환경과 달리, 실제 IoE(internet of everything) 환경에서는 센서 특성으로 인한 결측치 및 주변 환경 잡음으로 인한 이상치가 빈번히 발생할 수 있다. 둘째, 배치(batch) 형식으로 이뤄지는 학습 시에는 복잡하고 다양한 전처리 기법을 마음껏 사용하여 인공지능 모델을 생성할 수 있다. 하지만, 실제 환경에서는 상기 복잡한 전처리 기법을 적용할 수 없어 예측 정확도가 상당히 떨어질 수 있다. 셋째, 실제 IoE 환경에서 측정되는 데이터는 환경에 따라 실시간으로 달라질 수 있는데, 학습 데이터에 기반하여 설계된 인공지능 모델은 이러한 변화를 반영하지 못할 수 있다. 예를 들어, 교통 상황은 사고나 이벤트성 행사에 따라 관측 데이터의 특성이 변화할 수 있다. 하지만, 교통 예측 서비스를 위한 인공지능 모델은 상기 교통 상황에 따른 변화를 반영할 수 없어 예측 정확도가 떨어질 수 밖에 없다.As such, when the artificial intelligence model is applied to an actual field, the accuracy may be degraded for the following reasons. First, unlike a learning environment, in an actual Internet of everything (IoE) environment, missing values due to sensor characteristics and outliers due to environmental noise may frequently occur. Second, when learning in a batch format, you can create an artificial intelligence model by using complex and various preprocessing techniques. However, in an actual environment, the complex pre-processing technique cannot be applied, and thus prediction accuracy may be considerably degraded. Third, the data measured in the actual IoE environment may vary in real time depending on the environment, and the artificial intelligence model designed based on the learning data may not reflect such changes. For example, in traffic conditions, the characteristics of observed data may change according to an accident or event-related event. However, since the artificial intelligence model for the traffic prediction service cannot reflect the change according to the traffic situation, the prediction accuracy is inevitably degraded.
본 문서에 개시되는 다양한 실시 예들은 서비스되고 있는 인공지능 서비스의 성능을 평가 및 관리할 수 있는 인공지능 서비스에 대한 성능 관리 장치 및 방법을 제공할 수 있다.Various embodiments disclosed in this document may provide a performance management apparatus and method for an artificial intelligence service capable of evaluating and managing the performance of an artificial intelligence service being served.
본 문서에 개시되는 일 실시 예에 따른 성능 관리 장치는, 복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고, 상기 예측 데이터와 관련된 레이블 데이터를 획득하고, 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고, 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택할 수 있다.A performance management apparatus according to an embodiment disclosed in this document includes: a memory for storing meta information related to a plurality of artificial intelligence models; And a processor, wherein the processor obtains prediction data corresponding to observation data based on a first artificial intelligence model currently mounted on an artificial intelligence platform among the plurality of artificial intelligence models, and a label related to the prediction data Acquire data, check the performance of the first artificial intelligence model based on the prediction data and the label data, and if the performance is less than the reference value, replace the first artificial intelligence model among the plurality of artificial intelligence models You can choose a second artificial intelligence model to do.
또한, 본 문서에 개시되는 일 실시 예에 따른 성능 관리 방법은, 복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 예측 데이터를 획득하는 동작; 상기 예측 데이터와 관련된 레이블 데이터를 획득하는 동작; 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하는 동작; 및 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하는 동작을 포함할 수 있다.In addition, a performance management method according to an embodiment disclosed in this document includes: acquiring prediction data based on a first artificial intelligence model currently mounted on an artificial intelligence platform among a plurality of artificial intelligence models; Obtaining label data related to the prediction data; Checking the performance of the first artificial intelligence model based on the prediction data and the label data; And if the performance is less than the reference value, selecting a second artificial intelligence model to replace the first artificial intelligence model from among the plurality of artificial intelligence models.
또한, 본 문서에 개시되는 일 실시 예에 따른 성능 관리 장치는, 적어도 하나의 인스트럭션 및 복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리; 및 프로세서를 포함하고, 상기 적어도 하나의 인스트럭션은, 실행 시에 상기 프로세서가, 상기 복수의 인공지능 모델들 중 상기 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고, 상기 예측 데이터와 관련된 레이블 데이터를 획득하고, 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고, 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하도록 할 수 있다.In addition, a performance management apparatus according to an embodiment disclosed in this document includes: a memory for storing meta-information related to at least one instruction and a plurality of artificial intelligence models; And a processor, wherein the at least one instruction, when executed, the processor predicts the observation data based on a first artificial intelligence model currently mounted on the artificial intelligence platform among the plurality of artificial intelligence models. Acquire data, obtain label data related to the prediction data, check the performance of the first artificial intelligence model based on the prediction data and the label data, and if the performance is less than a reference value, the plurality of artificial intelligences Among the models, a second artificial intelligence model to be substituted for the first artificial intelligence model may be selected.
본 문서에 개시되는 다양한 실시 예들에 따르면, 서비스되고 있는 인공지능 서비스의 성능을 평가 및 관리할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.According to various embodiments disclosed in this document, it is possible to evaluate and manage the performance of an artificial intelligence service being served. In addition to this, various effects that are directly or indirectly identified through this document can be provided.
도 1은 일 실시예에 따른 인공지능 성능 관리 시스템을 나타낸다.
도 2는 일 실시예에 따른 인공지능 플랫폼의 구성도를 나타낸다.
도 3은 일 실시예에 따른 성능 관리 장치의 구성도를 나타낸다.
도 4는 일 실시예에 따른 성능 관리 장치의 구성도를 나타낸다.
도 5는 일 실시예에 따른 레이블 데이터 구성 방법을 나타낸다.
도 6은 일 실시예에 따른 인공지능 서비스 성능 관리 방법의 흐름도를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.1 shows an artificial intelligence performance management system according to an embodiment.
2 shows a configuration diagram of an artificial intelligence platform according to an embodiment.
3 is a block diagram of a performance management apparatus according to an embodiment.
4 is a block diagram of a performance management apparatus according to an embodiment.
5 shows a method of configuring label data according to an embodiment.
6 is a flowchart of a method for managing performance of an artificial intelligence service according to an embodiment.
In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar components.
도 1은 일 실시예에 따른 인공지능 성능 관리 시스템을 나타낸다.1 shows an artificial intelligence performance management system according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 인공지능 성능 관리 시스템(10)은 IoE 센서망(110), 사용자 단말(120), 인공지능 플랫폼(130) 및 성능 관리 장치(140)를 포함할 수 있다. 1, the artificial intelligence
IoE 센서망(110)은 복수의 IoE 센서들을 포함하고, 각 IoE 센서들은 설치된 환경에 대한 환경 정보를 측정할 수 있다. 각 IoE 센서들은 IoE 센서망(110)을 통해 인공지능 플랫폼(130)으로 측정된 환경 정보(이하, "관측 데이터"로 언급될 수 있음)를 송신할 수 있다.The IoE
사용자 단말(120)은 인공지능 플랫폼(130)에 접속하여 인공지능 플랫폼(130)에 의해 제공되는 인공지능 서비스를 이용할 수 있다. 예를 들어, 사용자 단말(120)은 인공지능 플랫폼(130) 내 인공지능 모델에 인공지능 서비스에 따른 추론 요청을 송신하고, 인공지능 모델에 의한 추론 결과를 인공지능 플랫폼(130)으로부터 제공받을 수 있다.The
인공지능 플랫폼(130)은 탑재된 인공지능 모델에 기반하여 IoE 센서망(110)으로부터 획득된 환경 정보를 분석하고, 분석 결과에 기반하여 인공지능 서비스를 제공할 수 있다. 인공지능 모델은 빅데이터(학습 데이터)에 기반하여 지정된 인공지능 서비스를 제공하도록 설계된 것일 수 있다. 인공지능 플랫폼(130)은 예를 들면, 운용자에 의해 운용되는 서비스 서버에 포함될 수 있다.The
일 실시예에 따르면, 인공지능 플랫폼(130)은 IoE 센서망(110)으로부터 수집(또는, 획득)된 관측 데이터 및 인공지능 플랫폼(130)에 의한 예측 데이터를 성능 관리 장치(140)에 제공할 수 있다. 인공지능 플랫폼(130)은 현재 탑재된 인공지능 모델에 관련된 메타 정보를 성능 관리 장치(140)에 제공할 수 있다.According to an embodiment, the
일 실시예에 따르면, 성능 관리 장치(140)는 상기 메타 정보 및 상기 관측 데이터에 기반하여 인공지능 플랫폼에 의하여 제공되는 서비스 성능(예: 예측 정확도)를 확인할 수 있다. 예를 들어, 성능 관리 장치(140)는 상기 메타 정보에 기반하여 인공지능 플랫폼(130)에 현재 탑재된 인공지능 모델을 탑재하고, 자체 탑재된 인공지능 모델에 기반하여 상기 관측 데이터에 대응하는 예측 데이터를 생성할 수 있다. 성능 관리 장치(140)는 예측 데이터에 대응하는 레이블 데이터를 획득하고, 레이블 데이터 및 예측 데이터에 기반하여 인공지능 플랫폼의 성능을 확인할 수 있다. 다른 예를 들어, 인공지능 플랫폼(130)이 현재 관측된 교통 속도에 기반하여 t시간 후의 교통 속도를 예측하는 경우에, 성능 관리 장치(140)는 예측된 교통 속도와 t시간 후에 관측된 교통 속도를 비교할 수 있다. 성능 관리 장치(140)는 예측된 교통 속도와 관측된 교통 속도 간 유사도에 기반하여 인공지능 모델의 예측 정확도를 확인할 수 있다. According to an embodiment, the
일 실시예에 따르면, 성능 관리 장치(140)는 확인된 예측 정확도가 기준치 미만이면, 인공지능 플랫폼에 현재 탑재된 인공지능 모델(이하, "서빙 모델"로 언급될 수 있음)보다 성능이 우수한 다른 인공지능 모델을 검색할 수 있다. 예를 들어, 성능 관리 장치(140)는 메모리에 저장되어 있는 복수의 인공지능 모델들의 예측 정확도를 각기 측정하고, 예측 정확도가 가장 우수한 인공지능 모델을 검색 및 선택할 수 있다. According to an embodiment, the
일 실시예에 따르면, 성능 관리 장치(140)는 선택된 인공지능 모델 관련 정보(예: 모델 고유 정보)를 인공지능 플랫폼(130)에 제공할 수 있다. 인공지능 플랫폼(130)은 선택된 인공지능 모델 관련 정보에 기반하여 인공지능 모델을 교체하여 탑재할 수 있다. 이후, 인공지능 플랫폼(130)은 교체된 인공지능 모델에 기반하여 인공지능 서비스를 제공할 수 있다.According to an embodiment, the
상술한 실시예에 따르면, 인공지능 성능 관리 시스템(10)은 인공지능 서비스 성능을 실시간으로 확인하고, 실제 환경의 데이터 특성이나, 특정 이벤트로 인해 서비스 성능이 기준치를 미달할 경우에는 인공지능 모델을 교체함에 따라 인공지능 서비스의 품질을 기준치 이상으로 관리할 수 있다.According to the above-described embodiment, the artificial intelligence
도 2는 일 실시예에 따른 인공지능 플랫폼의 구성도를 나타낸다.2 shows a configuration diagram of an artificial intelligence platform according to an embodiment.
도 2를 참조하면, 인공지능 플랫폼(130)은 관측 데이터에 기반하여 하나 이상의 인공지능 서비스들을 제공할 수 있다. 각 인공지능 서비스들은 개별 인공지능 모델(예: 132)에 기반하여 제공될 수 있다. Referring to FIG. 2, the
데이터 관리부(131)는 인공지능 모델을 생성하기 위하여 관측 데이터를 수집, 저장 및 관리할 수 있다. 예를 들어, 데이터 관리부(131)는 IoE 센서망(110)으로부터 IoE 센서들에 의해 측정된 관측 데이터를 수집하거나, 지정된 웹 서버(예: 공공 데이터 포털 서버)에 공개되어 있는 관측 데이터를 가져오거나, 지정된 기관 서버(예: 기상청 서버)로부터 실시간으로 제공되는 관측 데이터를 수신할 수 있다. 데이터 관리부(131)는 관측 데이터를 성능 관리 장치(140)로 재전송(redirect)할 수 있다.The
서비스 기능 관리부(132)는 관측 데이터를 처리 및 구성하는 데이터 구성 기능, ML(machine learning) 파이프라인을 구성하여 인공지능 모델을 갱신하는 모델 파이프라인 구성 기능 및 구성된 인공지능 모델에 기반하여 인공지능 서비스를 제공하는 모델 관리 기능을 수행할 수 있다. 예를 들어, 서비스 기능 관리부(132)는 성능 관리 장치(140)로부터 모델 갱신 요청을 수신하면, 모델 갱신 요청에 포함된 모델 고유 정보에 따라 인공지능 모델의 ML 파이프라인을 재구성할 수 있다. The service
서비스 기능 관리부(132)는 각 기능들에 관련된 메타 정보를 관리할 수 있다. 상기 메타 정보는 예를 들면, 데이터 구성 정보, ML 파이프라인 구성 정보 및 모델 관리 정보 중 적어도 하나의 기능 관련 정보를 포함할 수 있다. 상기 메타 정보는 인공지능 모델의 모델 ID 정보와 관련하여 저장될 수 있다. 상기 메타 정보는 데이터베이스(150) 중 모델 저장소(151)에 저장될 수 있다. 상기 데이터베이스(150)는 인공지능 플랫폼(130)이 포함된 서비스 서버에 포함될 수 있다.The service
상술한 실시예에 따르면, 인공지능 플랫폼(130)은 인공지능 서비스의 성능 평가에 필요한 데이터를 성능 관리 장치(140)에 제공하고, 성능 관리 장치(140)에 의한 서비스 성능 확인 결과에 따라 인공지능 모델을 재구성함에 따라 인공지능 서비스의 성능 관리를 지원할 수 있다.According to the above-described embodiment, the
도 3은 일 실시예에 따른 성능 관리 장치의 구성도를 나타낸다.3 is a block diagram of a performance management apparatus according to an embodiment.
도 3을 참조하면, 일 실시예에 따른 성능 관리 장치(140)는 데이터 관리부(310) 및 서비스 성능 제어부(320)를 포함할 수 있다. Referring to FIG. 3, the
일 실시예에 따르면, 데이터 관리부(310)는 인공지능 플랫폼(130)으로부터 재전송(redirect)되는 관측 데이터를 저장 및 관리할 수 있다. 예를 들어, 데이터 관리부(310)는 인공지능 플랫폼(130)으로부터 메시지 큐 방식(예: kafka, rabbitMQ)으로 발행되는 데이터를 구독(subscribe)함에 따라 실시간으로 관측 데이터를 획득할 수 있다. 다른 예를 들어, 데이터 관리부(310)는 인공지능 플랫폼(130) 내 지정된 데이터베이스(예: mysql, mongo DB)에 직접 접근하여 관측 데이터를 획득할 수 있다. 데이터 관리부(310)는 관측 데이터를 메모리(예: 도 4의 메모리(420))에 저장할 수 있다.According to an embodiment, the
일 실시예에 따르면, 데이터 관리부(310)는 인공지능 서비스의 유형에 따라 관측 데이터를 달리 처리할 수 있다. 예를 들어, 데이터 관리부(310)는 관측 데이터 중에서 지정된 실시간성 데이터를 확인하고, 지정된 실시간성 데이터를 인-메모리(in-memory) 방식으로 처리할 수 있다. 데이터 관리부(310)는 지정되지 않은 비실시간성 데이터에 대해서는 로우 데이터베이스에 우선 저장하고, 저장된 비실시간성 데이터 중 일부 데이터를 ETL(extract, transform, load) 처리할 수 있다. 다른 예를 들어, 데이터 관리부(310)는 교통 속도 예측과 같은 실시간 인공지능 서비스에 대해서는 인-메모리 방식으로 관측 데이터를 저장 및 관리할 수 있다. 데이터 관리부(310)는 높은 정확도를 필요로 하는 배치(batch)형 인공지능 서비스에 대해서는 관측 데이터를 로우 데이터베이스(raw DB)에 우선 저장하고, 데이터 구성 모듈(321)에 의해 필요한 데이터를 로우 데이터베이스로부터 ETL 처리하여 서비스 성능 제어부(320)로 제공할 수 있다. 상기 로우 데이터베이스는 예를 들면, 데이터베이스(150)이거나, 성능 관리 장치(140)의 자체 데이터베이스(예: 메모리(420))일 수 있다.According to an embodiment, the
일 실시예에 따르면, 서비스 성능 제어부(320)는 데이터 구성 모듈(321), 최적 모델 관리 모듈(322) 및 모델 성능 측정 모듈(323)을 포함할 수 있다. 데이터 구성 모듈(321), 최적 모델 관리 모듈(322) 및 모델 성능 측정 모듈(323)은 인공지능 플랫폼(130)에 의해 제공되는 인공지능 서비스 별로 각기 마련될 수 있다. 예를 들어, 데이터 구성 모듈(321), 최적 모델 관리 모듈(322) 및 모델 성능 측정 모듈(323)은 개별 인공지능 서비스에 매핑되어, 매핑된 인공지능 서비스의 성능을 제어할 수 있다. According to an embodiment, the service
일 실시예에 따르면, 데이터 구성 모듈(321)은 데이터 관리부(310)로부터 제공된 관측 데이터에 기반하여 검증 데이터를 구성할 수 있다. 예를 들어, 데이터 구성 모듈(321)은 인공지능 플랫폼(130)(예: 인공지능 플랫폼(130)의 데이터 관리부(131))로부터 데이터 구성 정보를 획득할 수 있다. 데이터 구성 모듈(321)은 데이터 구성 정보에 기반하여 데이터 관리부(310)에 저장된 관측 데이터로부터 특징 데이터를 추출할 수 있다. 데이터 구성 모듈(321)은 관측 데이터에 관련된 레이블 데이터를 획득하고, 특징 데이터 및 레이블 데이터를 관련시킬 수 있다. 데이터 구성 모듈(321)은 특징 데이터 및 레이블 데이터에 대해서 데이터 구성 정보에 따른 지정된 데이터 처리를 수행함에 따라 검증 데이터를 생성할 수 있다. 상기 검증 데이터는 예를 들면, 특징 데이터 및 레이블 데이터를 포함할 수 있다. 상기 지정된 데이터 처리는 인공지능 플랫폼(130)의 학습 데이터 생성 과정에서 적용된 방식과 동일한 방식의 데이터 정제 및 처리를 포함할 수 있다. 상기 레이블 데이터는 사용자에 의해 입력되거나, 관측 데이터 중 일부 데이터에 기반하여 생성될 수 있다. 상기 레이블 데이터는 특징 데이터에 기반한 인공지능 플랫폼(130)의 예측 결과에 대응하는 실측치일 수 있다. According to an embodiment, the
일 실시예에 따르면, 데이터 구성 모듈(321)은 인공지능 플랫폼(130)의 데이터 처리와 성능 관리 장치(140)에 의한 데이터 처리 간의 오차를 확인할 수 있다. 예를 들어, 데이터 구성 모듈(321)은 데이터 관리부(310)를 통해 관측 데이터에 대한 인공지능 플랫폼(130)에 의한 데이터 처리 결과를 획득하고, 획득된 데이터 처리 결과와 검증 데이터 간의 처리 오차 값을 계산할 수 있다. 상기 처리 오차 값은 인공지능 플랫폼(130)과 성능 관리 장치(140) 간의 시스템 차이로 인한 오차 값일 수 있다. 데이터 구성 모듈(321)은 상기 계산된 오차 값을 인공지능 플랫폼(130)에 송신할 수 있다. 인공지능 플랫폼(130)은 상기 오차 값을 이용하여 학습 데이터 확보를 위해 사용하는 데이터 처리 기법을 변경할 수 있다. According to an embodiment, the
일 실시예에 따르면, 최적 모델 관리 모듈(322)은 인공지능 플랫폼(130)에 탑재 가능한 복수의 인공지능 모델들에 관련된 모델 고유 정보를 관리할 수 있다. 상기 모델 고유 정보는 복수의 인공지능 모델들의 ID 정보를 포함할 수 있다. 상기 복수의 인공 지능 모델들은 인공지능 플랫폼(130)을 통해 현재 서비스중인 제1 인공지능 모델 및 기생성된 적어도 하나의 다른 인공지능 모델을 포함할 수 있다. 따라서, 최적 모델 관리 모듈(322)은 현재 서비스중인 제1 인공지능 모델을 구분하여 모델 고유 정보를 관리할 수 있다. According to an embodiment, the optimal
일 실시예에 따르면, 최적 모델 관리 모듈(322)은 모델 성능 측정 모듈(323)로 제1 인공지능 모델들에 대한 성능 측정 요청을 송신할 수 있다. 최적 모델 관리 모듈(322)은 상기 성능 측정 요청에 대한 응답으로 모델 성능 측정 모듈(323)로부터 제1 인공지능 모델과 관련된 모델 고유 정보와 관련된 모델 성능 정보를 획득할 수 있다. 상기 모델 성능 정보는 예를 들면, 예측 정확도를 나타내는 수치일 수 있다.According to an embodiment, the optimal
일 실시예에 따르면, 모델 성능 측정 모듈(323)은 최적 모델 관리 모듈(322)의 성능 측정 요청에 따라 실행되고, 데이터베이스(150)에 접근하여 모델 고유 정보에 대응하는 ML 파이프라인 구성 정보를 획득할 수 있다. 모델 성능 측정 모듈(323)은 획득된 ML 파이프라인 구성 정보에 따라 모델 고유 정보에 대응하는 인공지능 모델을 메모리(420)에 탑재할 수 있다. 모델 성능 측정 모듈(323)은 탑재된 인공지능 모델에 기반하여 검증 데이터(예: 특징 데이터)에 대응하는 예측 데이터를 생성할 수 있다. According to an embodiment, the model
모델 성능 측정 모듈(323)은 검증 데이터에 포함된 레이블 데이터와 예측 데이터 간 유사도에 기반하여 인공지능 모델의 예측 정확도를 확인할 수 있다. 모델 성능 측정 모듈(323)은 RMSE(root mean squared error), MSE(mean squared error), 정확도 및 민감도 중 적어도 하나의 성능 측정 알고리즘에 기반하여 상기 예측 정확도를 확인할 수 있다. The model
모델 성능 측정 모듈(323)은 확인된 예측 정확도를 포함하는 모델 성능 정보를 모델 고유 정보와 관련하여 최적 모델 관리 모듈(322)에 제공할 수 있다. The model
일 실시예에 따르면, 최적 모델 관리 모듈(322)은 모델 성능 정보에 기반하여 제1 인공지능 모델의 성능이 기준치 이상인지를 확인할 수 있다. 최적 모델 관리 모듈(322)은 제1 인공지능 모델의 성능이 기준치 이상이면, 적어도 다음 성능 평가 시까지 제1 인공지능 모델을 교체하지 않는 것으로 결정할 수 있다. According to an embodiment, the optimal
일 실시예에 따르면, 최적 모델 관리 모듈(322)은 제1 인공지능 모델의 성능이 기준치 미만이면, 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택할 수 있다. 예를 들어, 최적 모델 관리 모듈(322)은 복수의 인공지능 모델들에 대하여 각기 성능(예: 예측 정확도)을 확인하고, 확인된 성능에 기반하여 복수의 인공지능 모델들 중에서 가장 성능이 우수한 제2 인공지능 모델을 선택할 수 있다. 다른 예를 들어, 최적 모델 관리 모듈(322)은 모델 성능 측정 모듈(323)에 각 인공지능 모델들에 대한 성능 측정 요청을 송신하고, 성능이 기준치 이상인 인공지능 모델을 확인하면, 확인된 인공지능 모델을 제2 인공지능 모델로 결정할 수 있다. According to an embodiment, when the performance of the first artificial intelligence model is less than a reference value, the optimal
일 실시예에 따르면, 최적 모델 관리 모듈(322)은 제2 인공지능 모델을 선택하면, 선택된 제2 인공지능 모델의 모델 고유 정보를 포함하는 모델 갱신 요청을 인공지능 플랫폼(130)에 제공할 수 있다. 인공지능 플랫폼(130)은 모델 갱신 요청을 수신하면, 모델 갱신 요청에 따라 제2 인공지능 모델을 탑재하고, 이후 제2 인공지능 모델에 기반하여 인공지능 서비스를 제공할 수 있다. According to an embodiment, when the second artificial intelligence model is selected, the optimal
이하, 일 실시예에 따른 데이터 관리부(310)에 의한 데이터 관리 절차를 설명한다.Hereinafter, a data management procedure performed by the
데이터 관리부(310)는 인공지능 플랫폼(130)으로부터 데이터를 수신하기 위한 방법을 설정할 수 있다. 예를 들어, kafka와 같은 메시지 큐 방식의 데이터 수신 및 인공지능 플랫폼(130) 내 직접 접근을 통한 데이터 수신 중 적어도 하나를 설정할 수 있다.The
데이터 관리부(310)는 인-메모리 방식으로 처리되어야 하는 실시간성 데이터를 설정할 수 있다. 데이터 관리부(310)는 설정되지 않는 데이터는 비실시간성 데이터로 분류할 수 있다. The
데이터 관리부(310)는 추가적으로 수신된 관측 데이터에 적용할 기본적인 ETL 기능 (ex., 결측치 및 이상치 제거 등)을 설정할 수 있다.The
데이터 관리부(310)는 관측 데이터 또는 레이블 데이터를 저장할 데이터베이스 정보를 설정한다. 예를 들어, 상기 데이터를 파일에 저장할 경우, 파일 위치를 설정하고, 데이터베이스(150)에 저장할 경우에는 접속 계정 정보(예: ID, PW )등을 설정한다. 상기 데이터베이스(150)는 Mysql 같은 정형 DB 또는 HBase와 같은 NoSQL DB일 수 있다. The
이하, 일 실시예에 따른 데이터 구성 모듈(321)에 의한 검증 데이터 생성 절차에 대하여 설명한다. 상기 절차는 인공지능 서비스에 따라 각기 다를 수 있다. 데이터 구성 모듈(321)은 인공지능 플랫폼(130)에 접근해 실시간 평가 및 검증하고자 하는 인공지능 서비스에 대한 메타 정보를 획득해야 한다. 이를 위하여, 데이터 구성 모듈(321)은 OAuth와 같은 인증 절차를 거쳐 인공지능 플랫폼(130)에 대한 적법한 접근 권한을 획득해야 한다. 이후 데이터 구성 모듈(321)은 다음의 절차로 인공지능 모델의 성능을 검증할 검증 데이터를 구성할 수 있다.Hereinafter, a procedure for generating verification data by the
데이터 구성 모듈(321)은 인공지능 플랫폼(130)을 통해 인공지능 모델에 의해 사용되는 특징 데이터, 레이블 데이터 및 각 데이터에 수행해야 할 데이터 처리 정보를 포함하는 데이터 구성 정보를 획득할 수 있다.The
데이터 구성 모듈(321)은 데이터 관리부(310)에 접근하여 데이터 구성 정보에 기반하여 관측 데이터로부터 특징 데이터를 획득할 수 있다. 레이블 데이터는 사용자(예: 성능 관리 장치(140)의 운용자)에 의해 입력될 수 있고 데이터 관리부(310) 내의 관측 데이터를 적절히 처리함에 따라 생성될 수 있다.The
데이터 구성 모듈(321)은 데이터 구성 정보를 참조하여 서비스 성능 제어부(320)에 의한 데이터 처리 결과와 인공지능 플랫폼(130)에 의한 데이터 처리 결과 간의 오차 값을 계산할 수 있다. 서비스 성능 제어부(320)는 계산된 오차 값을 인공지능 플랫폼(130)에 제공할 수 있다. The
이하, 이하, 일 실시예에 따른 최적 모델 관리 모듈(322)에 의한 성능 관리 절차에 대하여 설명한다. 검증 데이터가 구성되면, 최적 모델 관리 모듈(322)은 다음의 절차로 현재 서비스되고 있는 인공지능 모델의 성능을 평가 및 검증할 수 있다.Hereinafter, a performance management procedure performed by the optimal
최적 모델 관리 모듈(322)은 인공지능 플랫폼(130)에 접근하여 현재 서비스되고 있는 인공지능 모델의 위치 정보, ML 파이프라인 구성 정보를 포함하는 메타 정보를 획득할 수 있다.The optimal
최적 모델 관리 모듈(322)은 획득된 메타 정보를 모델 성능 측정 모듈(323)에 인자로 넘겨 성능 측정 작업을 수행하도록 요청할 수 있다.The optimal
모델 성능 측정 모듈(323)은 상기 메타 정보를 참조하여 ML 파이프라인을 구성하여 메모리(420)에 탑재하고, 데이터 구성 모듈(321)에 의해 구성된 검증 데이터를 활용하여 그 성능을 평가 및 검증할 수 있다. The model
모델 성능 측정 모듈(323)은 평가한 성능 값을 포함하는 모델 성능 정보를 생성하고, 모델 고유 정보와 관련시킬 수 있다.The model
모델 성능 측정 모듈(323)은 서비스 성능이 지정된 인공지능 서비스에 대응하는 기준치에 부합하는지 확인할 수 있다. 모델 성능 측정 모듈(323)은 서비스 성능이 기준치 이상이면, 적어도 다음 평가 및 검증 시기까지 대기할 수 있다.The model
모델 성능 측정 모듈(323)은 현재 서비스 되고 있는 인공지능 모델의 서비스 성능이 기준치 미만인 경우, 서비스 성능이 기준치 이상인 다른 인공지능 모델을 검색할 수 있다. 예를 들어, 모델 성능 측정 모듈(323)은 인공지능 플랫폼(130)의 모델 저장소(152)에 접근하여 N 개 (N은 관리자가 입력)의 인공지능 모델들에 대한 서비스 메타 정보를 획득할 수 있다. 상기 모델 저장소(151)는 지금까지 학습되었던 인공지능 모델들의 메타 정보를 저장할 수 있다. The model
모델 성능 측정 모듈(323)은 각 인공지능 모델에 대하여, 각기 서비스 성능을 확인하여 인공지능 모델에 대하여 모델 고유 정보에 대응하는 모델 성능 정보를 생성할 수 있다. The model
최적 모델 관리 모듈(322)은 N개의 모델 성능 정보에 기반하여 N개의 인공지능 모델들 중에서 가장 서비스 성능이 우수한 제2 인공지능 모델을 선택할 수 있다.The optimal
다양한 실시예에 따르면, 성능 관리 장치(140)는 검증 데이터를 별도로 생성하지 않고, 인공지능 플랫폼(130)으로부터 검증 데이터를 획득하고, 획득된 검증 데이터에 기반하여 서비스 성능을 확인할 수 있다. 상기 검증 데이터는 인공지능 플랫폼(130)가 관측 데이터를 지정된 데이터 처리함에 따라 생성되어, 성능 관리 장치(140)에 제공된 것일 수 있다. According to various embodiments, the
상술한 실시예에 따르면, 성능 관리 장치(140)는 현재 제공되고 있는 인공지능 서비스의 성능을 실시간으로 확인하고, 실제 환경의 데이터 특성이나, 특정 이벤트로 인해 서비스 성능이 기준치를 미달할 경우에는 인공지능 모델을 교체함에 따라 인공지능 서비스의 품질을 관리 또는 보장할 수 있다.According to the above-described embodiment, the
도 4는 일 실시예에 따른 성능 관리 장치의 구성도를 나타낸다.4 is a block diagram of a performance management apparatus according to an embodiment.
도 4를 참조하면, 일 실시예에 따른 성능 관리 장치(140)는 통신 회로(410), 메모리(420) 및 프로세서(430)를 포함할 수 있다. 일 실시 예에서, 성능 관리 장치(140)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또한, 성능 관리 장치(140)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. Referring to FIG. 4, the
통신 회로(410)는 성능 관리 장치(140)와 다른 장치(예: 인공지능 플랫폼(130)이 포함된 장치) 간의 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 상기 통신 채널은 예를 들어, LAN(local area network), FTTH(Fiber to the home), xDSL(x-Digital Subscriber Line), WiFi, Wibro, 3G 또는 4G과 같은 통신 방식의 통신 채널일 수 있다. The
메모리(420)는 성능 관리 장치(140)의 적어도 하나의 구성요소(예: 프로세서(430))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(420)는 인공지능 플랫폼(130)의 성능 관리를 위한 적어도 하나의 인스트럭션(instruction)을 저장할 수 있다. 메모리(420)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The
프로세서(430)는 적어도 하나의 인스트럭션을 실행함에 따라 성능 관리 장치(140)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(430)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. 프로세서(430)는 데이터 관리부(310) 및 서비스 성능 제어부(320)를 포함할 수 있다. 프로세서(430)의 각 구성요소(310, 320)는 각각 별도의 하드웨어 모듈이거나 또는 적어도 하나의 프로세서에 의해 구현되는 소프트웨어 모듈일 수 있다. 예를 들어, 프로세서(430)에 포함된 각각의 모듈들이 수행하는 기능은 하나의 프로세서에 의해 수행되거나 또는 각각 별도의 프로세서에 의해 수행될 수도 있다. 추가적으로 또는 대체적으로, 프로세서(430)는 메모리(420)에 저장된 인스트럭션에 기반하여 데이터 관리부(310) 및 서비스 성능 제어부(320)를 실행할 수 있다. 프로세서(430)는 통신 회로(410)를 통해 인공지능 플랫폼(130) 또는 데이터베이스(150)로부터 데이터를 획득할 수 있다. 프로세서(430)의 각 구성요소의 기능은 도 4에서 이미 설명되었으므로, 그에 대한 세부 설명은 생략한다. As the
도 5는 일 실시예에 따른 레이블 데이터 구성 방법을 나타낸다. 도 5에서는 인공지능 플랫폼(130)이 시계열 데이터(관측 데이터)에 기반한 미래 정보 예측하는 경우를 예로 들어 설명한다. 5 shows a method of configuring label data according to an embodiment. In FIG. 5, a case where the
도 5를 참조하면, 인공지능 플랫폼(130)은 과거 p 주기의 특징 데이터(510)를 활용하여 t시간(p 주기 이하의 시간) 후의 레이블 컬럼 값(520)을 예측할 수 있다. 인공지능 플랫폼(130)은 상기 예측 시에 현재의 레이블 컬럼 값(530)을 특징 데이터로 이용할 수 있다. 예를 들어, 인공지능 플랫폼(130)은 과거 하루의 교통 속도(510)에 기반하여 1시간 후의 교통 속도(520)를 예측하거나, 과거 한달치의 에너지 사용량(510)에 기반하여 24시간 동안의 에너지 사용량(520)을 예측할 수 있다.Referring to FIG. 5, the
성능 관리 장치(140)는 특정 시간이 지나면, 실제 레이블(ground truth)로 사용될 측정 데이터(관측 데이터)를 획득할 수 있다. 예를 들어, 교통 속도를 예측하는 인공지능 플랫폼(130)은 1시간이 지나 측정된 교통 속도를 1시간 전에 예측된 교통 속도의 레이블 데이터로 이용될 수 있다. 다른 예를 들어, 24시간 동안의 에너지 사용량을 예측하는 인공지능 플랫폼(130)은 24시간이 지나면 레이블 데이터로 사용될 관측 데이터를 자동으로 획득할 수 있다. 이러한 경우, 성능 관리 장치(140)는 데이터를 쉬프트함에 따라 검증 데이터에 관련된 레이블 데이터를 획득(또는, 생성)할 수 있다.The
도 6은 일 실시예에 따른 인공지능 서비스 성능 관리 방법의 흐름도를 나타낸다.6 is a flowchart of a method for managing performance of an artificial intelligence service according to an embodiment.
도 6을 참조하면, 동작 610에서, 성능 관리 장치(140)는 복수의 인공지능 모델들 중 인공지능 플랫폼(130)에 현재 탑재된 제1 인공지능 모델에 기반하여 예측 데이터를 획득할 수 있다. 예를 들어, 성능 관리 장치(140)는 인공지능 플랫폼(130)으로부터 상기 예측 데이터를 획득하거나, 인공지능 플랫폼(130)으로부터 획득된 관측 데이터에 기반하여 예측 데이터를 획득(또는, 생성)할 수 있다.Referring to FIG. 6, in operation 610, the
동작 620에서, 성능 관리 장치(140)는 예측 데이터와 관련된 레이블 데이터를 획득할 수 있다. 예를 들어, 성능 관리 장치(140)은 예측 데이터와 관련된 다른 관측 데이터 중 일부 특징 데이터로부터 상기 레이블 데이터를 획득할 수 있다.In operation 620, the
동작 630에서, 성능 관리 장치(140)는 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 서비스 성능을 확인할 수 있다.In operation 630, the
동작 640에서, 성능 관리 장치(140)는 서비스 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택할 수 있다. 예를 들어, 성능 관리 장치(140)는 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하고, 상기 적어도 일부의 인공지능 모델 중 성능이 기준치 이상인 상기 제2 인공지능 모델을 선택할 수 있다. 이와 달리, 성능이 상기 기준치 이상이면, 성능 관리 장치(140)는 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정할 수 있다. In operation 640, when the service performance is less than the reference value, the
일 실시예에 따르면, 성능 관리 장치(예: 도 4의 성능 관리 장치(140))는, 복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리(예: 도 4의 메모리(420)); 및 프로세서(예: 도 4의 프로세서(430))를 포함하고, 상기 프로세서는, 상기 복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고, 상기 예측 데이터와 관련된 레이블 데이터를 획득하고, 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고, 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택할 수 있다. According to an embodiment, the performance management device (eg, the
상기 프로세서는, 상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하고, 상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택할 수 있다.The processor may check the performance of at least some of the artificial intelligence models among the plurality of artificial intelligence models, and select the second artificial intelligence model having the performance equal to or greater than the reference value.
상기 프로세서는, 상기 복수의 인공지능 모델들 중에서 가장 성능이 우수한 제2 인공지능 모델을 선택할 수 있다. The processor may select a second artificial intelligence model having the highest performance among the plurality of artificial intelligence models.
상기 프로세서는, 상기 인공지능 플랫폼으로부터 상기 제1 인공지능 모델의 메타 정보를 획득하고, 상기 메타 정보에 기반하여 상기 제1 인공지능 모델을 상기 메모리에 탑재하고, 상기 제1 인공지능 모델에 기반하여 상기 관측 데이터에 대응하는 상기 예측 데이터를 생성할 수 있다. The processor obtains meta information of the first artificial intelligence model from the artificial intelligence platform, mounts the first artificial intelligence model in the memory based on the meta information, and based on the first artificial intelligence model The prediction data corresponding to the observation data may be generated.
상기 프로세서는, RMSE(root mean squared error), MSE(mean squared error), 정확도 및 민감도 중 적어도 하나의 성능 측정 알고리즘에 기반하여 상기 성능을 확인할 수 있다.The processor may check the performance based on at least one performance measurement algorithm among root mean squared error (RMSE), mean squared error (MSE), accuracy, and sensitivity.
상기 프로세서는, 상기 인공지능 플랫폼이 상기 제2 인공지능 모델을 탑재하도록 상기 제2 인공지능 모델에 관련된 정보를 상기 인공지능 플랫폼에 제공할 수 있다.The processor may provide information related to the second artificial intelligence model to the artificial intelligence platform so that the artificial intelligence platform mounts the second artificial intelligence model.
상기 프로세서는, 상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정할 수 있다. If the performance is greater than or equal to the reference value, the processor may determine not to replace the first artificial intelligence model until at least a next performance check.
상기 프로세서는, 사용자에 의해 입력된 데이터나, 다른 관측 데이터 중 일부 특징 데이터로부터 상기 레이블 데이터를 획득할 수 있다.The processor may obtain the label data from data input by a user or some feature data of other observation data.
상기 예측 데이터는, 지정된 시간 후의 상기 다른 관측 데이터를 예측한 것이고, 상기 프로세서는, 상기 다른 관측 데이터로부터 상기 레이블 데이터를 획득할 수 있다.The prediction data is a prediction of the other observation data after a specified time, and the processor may obtain the label data from the other observation data.
상기 프로세서는, 상기 인공지능 플랫폼으로부터 재전송된 상기 관측 데이터를 획득하고, 상기 관측 데이터에 대하여 상기 인공지능 플랫폼에 의해 적용된 데이터 처리를 수행함에 따라 검증 데이터를 생성하고, 상기 제1 인공지능 모델에 기반하여 상기 검증 데이터에 따른 상기 예측 데이터를 생성할 수 있다.The processor obtains the observation data retransmitted from the artificial intelligence platform, generates verification data by performing data processing applied by the artificial intelligence platform on the observation data, and generates verification data based on the first artificial intelligence model. Thus, the prediction data may be generated according to the verification data.
상기 프로세서는, 메시지 큐 방식으로 상기 관측 데이터를 획득하거나, 상기 인공지능 플랫폼에 관련된 데이터베이스에 접근하여 상기 관측 데이터를 획득할 수 있다. The processor may acquire the observation data through a message queue method or access a database related to the artificial intelligence platform to obtain the observation data.
상기 프로세서는, 상기 관측 데이터가 실시간 데이터로 지정된 경우, 상기 관측 데이터를 인-메모리(in-memory) 방식으로 획득하고, 그외 경우에는 상기 관측 데이터를 상기 메모리에 저장하고 상기 메모리에 저장된 상기 관측 데이터의 일부 데이터를 ETL 처리할 수 있다.When the observation data is designated as real-time data, the processor acquires the observation data in an in-memory manner, and in other cases, stores the observation data in the memory and stores the observation data in the memory. Some of the data can be processed by ETL.
상기 프로세서는, 상기 인공지능 플랫폼으로부터 상기 관측 데이터에 대한 데이터 처리 결과 데이터를 획득하고, 상기 처리 결과 데이터와 상기 검증 데이터 간의 차이에 기반하여 처리 오차를 결정할 수 있다.The processor may obtain data processing result data for the observation data from the artificial intelligence platform, and determine a processing error based on a difference between the processing result data and the verification data.
일 실시예에 따르면, 성능 관리 장치에 의한 성능 관리 방법은, 복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 예측 데이터를 획득하는 동작; 상기 예측 데이터와 관련된 레이블 데이터를 획득하는 동작; 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하는 동작; 및 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하는 동작을 포함하할 수 있다. According to an embodiment, a performance management method by a performance management device includes: acquiring prediction data based on a first artificial intelligence model currently mounted on an artificial intelligence platform among a plurality of artificial intelligence models; Obtaining label data related to the prediction data; Checking the performance of the first artificial intelligence model based on the prediction data and the label data; And if the performance is less than the reference value, selecting a second artificial intelligence model to replace the first artificial intelligence model from among the plurality of artificial intelligence models.
상기 선택하는 동작은, 상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하는 동작; 및 상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택하는 동작을 포함할 수 있다.The selecting may include checking the performance of at least some of the plurality of artificial intelligence models; And selecting the second artificial intelligence model whose performance is equal to or greater than the reference value.
상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정하는 동작을 더 포함할 수 있다.If the performance is equal to or greater than the reference value, determining that the first artificial intelligence model is not to be replaced until at least a next performance check may be further included.
상기 레이블 데이터를 획득하는 동작은, 다른 관측 데이터 중 일부 특징 데이터로부터 상기 레이블 데이터를 획득하는 동작을 포함할 수 있다.The operation of obtaining the label data may include obtaining the label data from some feature data among other observation data.
일 실시예에 따르면, 성능 관리 장치(예: 도 4의 성능 관리 장치(140))는, 적어도 하나의 인스트럭션 및 복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리(예: 도 4의 메모리(420)); 및 프로세서(예: 도 4의 프로세서(430))를 포함하고, 상기 적어도 하나의 인스트럭션은, 실행 시에 상기 프로세서가, 상기 복수의 인공지능 모델들 중 상기 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고, 상기 예측 데이터와 관련된 레이블 데이터를 획득하고, 상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고, 상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하도록 할 수 있다.According to an embodiment, the performance management device (for example, the
상기 적어도 하나의 인스트럭션은, 실행시에 상기 프로세서가, 상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하고, 상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택하도록 할 수 있다.When the at least one instruction is executed, the processor checks the performance of at least some of the plurality of artificial intelligence models, and selects the second artificial intelligence model whose performance is equal to or greater than the reference value. You can do it.
상기 적어도 하나의 인스트럭션은, 실행시에 상기 프로세서가, 상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정하도록 할 수 있다.When the at least one instruction is executed, the processor may determine not to replace the first artificial intelligence model until at least a next performance check if the performance is greater than or equal to the reference value.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of the present document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various modifications, equivalents, or substitutes of the corresponding embodiment. In connection with the description of the drawings, similar reference numerals may be used for similar or related components. The singular form of a noun corresponding to an item may include one or more of the above items unless clearly indicated otherwise in a related context. In this document, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A, Each of phrases such as "at least one of B or C" may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish the component from other Order) is not limited. Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components may be connected to the other components directly (eg by wire), wirelessly, or via a third component.
본 문서에서 사용된 용어 "모듈", "부" 및 "수단"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.The terms "module", "unit" and "means" used in this document may include units implemented in hardware, software or firmware, and include terms such as logic, logic blocks, parts, or circuits. They can be used interchangeably. The module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 성능 관리 장치(140))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)(메모리(420))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 성능 관리 장치(140))의 프로세서(예: 프로세서(430)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document are one stored in a storage medium (eg, internal memory or external memory) (memory 420) that can be read by a machine (eg, performance management device 140). It may be implemented as software (eg, a program) including the above instructions. For example, a processor (eg, processor 430) of a device (eg, performance management device 140) may call and execute at least one command of one or more commands stored from a storage medium. The one or more instructions may be operated to perform at least one function according to the called at least one instruction, and the one or more instructions may include a code generated by a compiler or a code executable by an interpreter. A storage medium that can be read as a non-transitory storage medium may be provided in the form of a non-transitory storage medium, where'non-transitory' refers to a device in which the storage medium is tangible and a signal (eg Electromagnetic waves), and this term does not distinguish between a case where data is stored semi-permanently in a storage medium and a case that is temporarily stored.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product. Computer program products can be traded between sellers and buyers as commodities. Computer program products are distributed in the form of a device-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or through an application store (e.g., Play Store TM ), or through two user devices (e.g., compact disc read only memory (CD-ROM)). It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones), online. In the case of online distribution, at least some of the computer program products may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.
Claims (20)
복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리; 및
프로세서를 포함하고, 상기 프로세서는,
상기 복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고,
상기 예측 데이터와 관련된 레이블 데이터를 획득하고,
상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고,
상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하는, 성능 관리 장치.In the performance management device,
A memory for storing meta information related to a plurality of artificial intelligence models; And
Including a processor, the processor,
Acquiring prediction data corresponding to the observation data based on the first artificial intelligence model currently mounted on the artificial intelligence platform among the plurality of artificial intelligence models,
Obtaining label data related to the prediction data,
Check the performance of the first artificial intelligence model based on the prediction data and the label data,
If the performance is less than the reference value, selecting a second artificial intelligence model to replace the first artificial intelligence model among the plurality of artificial intelligence models, performance management device.
상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하고,
상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택하는, 성능 관리 장치.The method of claim 1, wherein the processor,
Checking the performance of at least some of the artificial intelligence models of the plurality of artificial intelligence models,
The performance management device for selecting the second artificial intelligence model whose performance is equal to or greater than the reference value.
상기 복수의 인공지능 모델들 중에서 가장 성능이 우수한 제2 인공지능 모델을 선택하는, 성능 관리 장치.The method of claim 1, wherein the processor,
A performance management device for selecting a second artificial intelligence model having the highest performance among the plurality of artificial intelligence models.
상기 인공지능 플랫폼으로부터 상기 제1 인공지능 모델의 메타 정보를 획득하고,
상기 메타 정보에 기반하여 상기 제1 인공지능 모델을 상기 메모리에 탑재하고,
상기 제1 인공지능 모델에 기반하여 상기 관측 데이터에 대응하는 상기 예측 데이터를 생성하는, 성능 관리 장치.The method of claim 1, wherein the processor,
Obtaining meta information of the first artificial intelligence model from the artificial intelligence platform,
Mounting the first artificial intelligence model in the memory based on the meta information,
The performance management device for generating the prediction data corresponding to the observation data based on the first artificial intelligence model.
RMSE(root mean squared error), MSE(mean squared error), 정확도 및 민감도 중 적어도 하나의 성능 측정 알고리즘에 기반하여 상기 성능을 확인하는, 성능 관리 장치.The method of claim 1, wherein the processor,
A performance management device that checks the performance based on at least one performance measurement algorithm of root mean squared error (RMSE), mean squared error (MSE), accuracy and sensitivity.
상기 인공지능 플랫폼이 상기 제2 인공지능 모델을 탑재하도록 상기 제2 인공지능 모델에 관련된 정보를 상기 인공지능 플랫폼에 제공하는, 성능 관리 장치.The method of claim 1, wherein the processor,
The performance management apparatus for providing information related to the second artificial intelligence model to the artificial intelligence platform so that the artificial intelligence platform mounts the second artificial intelligence model.
상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정하는, 성능 관리 장치.The method of claim 1, wherein the processor,
If the performance is greater than or equal to the reference value, determining not to replace the first artificial intelligence model until at least a next performance check.
사용자에 의해 입력된 데이터나, 다른 관측 데이터 중 일부 특징 데이터로부터 상기 레이블 데이터를 획득하는, 성능 관리 장치.The method of claim 1, wherein the processor,
A performance management device for acquiring the label data from data input by a user or some feature data among other observation data.
상기 예측 데이터는, 지정된 시간 후의 상기 다른 관측 데이터를 예측한 것이고,
상기 프로세서는, 상기 다른 관측 데이터로부터 상기 레이블 데이터를 획득하는, 성능 관리 장치.The method of claim 8,
The prediction data is a prediction of the other observation data after a specified time,
The processor obtains the label data from the other observation data.
상기 인공지능 플랫폼으로부터 재전송된 상기 관측 데이터를 획득하고,
상기 관측 데이터에 대하여 상기 인공지능 플랫폼에 의해 적용된 데이터 처리를 수행함에 따라 검증 데이터를 생성하고,
상기 제1 인공지능 모델에 기반하여 상기 검증 데이터에 따른 상기 예측 데이터를 생성하는, 성능 관리 장치.The method of claim 1, wherein the processor,
Acquire the observation data retransmitted from the artificial intelligence platform,
Generate verification data by performing data processing applied by the artificial intelligence platform on the observation data,
The performance management apparatus for generating the prediction data according to the verification data based on the first artificial intelligence model.
메시지 큐 방식으로 상기 관측 데이터를 획득하거나, 상기 인공지능 플랫폼에 관련된 데이터베이스에 접근하여 상기 관측 데이터를 획득하는, 성능 관리 장치.The method of claim 1, wherein the processor,
Acquiring the observation data in a message queue method, or accessing a database related to the artificial intelligence platform to obtain the observation data.
상기 관측 데이터가 실시간 데이터로 지정된 경우, 상기 관측 데이터를 인-메모리(in-memory) 방식으로 획득하고,
그외 경우에는 상기 관측 데이터를 상기 메모리에 저장하고 상기 메모리에 저장된 상기 관측 데이터의 일부 데이터를 ETL(extract, transform, load) 처리하는, 성능 관리 장치.The method of claim 1, wherein the processor,
When the observation data is designated as real-time data, the observation data is acquired in an in-memory method,
In other cases, the performance management apparatus stores the observation data in the memory and performs ETL (extract, transform, load) processing on some data of the observation data stored in the memory.
상기 인공지능 플랫폼으로부터 상기 관측 데이터에 대한 데이터 처리 결과 데이터를 획득하고,
상기 처리 결과 데이터와 상기 검증 데이터 간의 차이에 기반하여 처리 오차를 결정하는, 성능 관리 장치.The method of claim 1, wherein the processor,
Acquiring data processing result data for the observation data from the artificial intelligence platform,
A performance management apparatus for determining a processing error based on a difference between the processing result data and the verification data.
복수의 인공지능 모델들 중 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 예측 데이터를 획득하는 동작;
상기 예측 데이터와 관련된 레이블 데이터를 획득하는 동작;
상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하는 동작; 및
상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하는 동작을 포함하는, 성능 관리 방법.In the performance management method by the performance management device,
Acquiring prediction data based on the first artificial intelligence model currently mounted on the artificial intelligence platform among the plurality of artificial intelligence models;
Obtaining label data related to the prediction data;
Checking the performance of the first artificial intelligence model based on the prediction data and the label data; And
And if the performance is less than the reference value, selecting a second artificial intelligence model to replace the first artificial intelligence model from among the plurality of artificial intelligence models.
상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하는 동작; 및
상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택하는 동작을 포함하는, 성능 관리 방법.The method of claim 14, wherein the selecting operation,
Checking the performance of at least some of the plurality of artificial intelligence models; And
And selecting the second artificial intelligence model whose performance is equal to or greater than the reference value.
상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정하는 동작을 더 포함하는, 성능 관리 방법.The method of claim 14,
If the performance is greater than or equal to the reference value, determining that the first artificial intelligence model is not to be replaced until at least a next performance check.
다른 관측 데이터 중 일부 특징 데이터로부터 상기 레이블 데이터를 획득하는 동작을 포함하는, 성능 관리 방법.The method of claim 14, wherein the operation of obtaining the label data,
And obtaining the label data from some feature data among other observation data.
적어도 하나의 인스트럭션 및 복수의 인공지능 모델들에 관련된 메타 정보를 저장하는 메모리; 및
프로세서를 포함하고,
상기 적어도 하나의 인스트럭션은, 실행 시에 상기 프로세서가,
상기 복수의 인공지능 모델들 중 상기 인공지능 플랫폼에 현재 탑재된 제1 인공지능 모델에 기반하여 관측 데이터에 대응하는 예측 데이터를 획득하고,
상기 예측 데이터와 관련된 레이블 데이터를 획득하고,
상기 예측 데이터와 상기 레이블 데이터에 기반하여 상기 제1 인공지능 모델의 성능을 확인하고,
상기 성능이 기준치 미만이면, 상기 복수의 인공지능 모델들 중 상기 제1 인공지능 모델을 대체할 제2 인공지능 모델을 선택하도록 하는, 성능 관리 장치.In the performance management device,
A memory for storing meta information related to at least one instruction and a plurality of artificial intelligence models; And
Including a processor,
When the at least one instruction is executed, the processor,
Acquiring prediction data corresponding to observation data based on a first artificial intelligence model currently mounted on the artificial intelligence platform among the plurality of artificial intelligence models,
Obtaining label data related to the prediction data,
Check the performance of the first artificial intelligence model based on the prediction data and the label data,
If the performance is less than the reference value, to select a second artificial intelligence model to replace the first artificial intelligence model among the plurality of artificial intelligence models, performance management device.
상기 복수의 인공지능 모델들 중 적어도 일부의 인공지능 모델에 대하여 상기 성능을 확인하고,
상기 성능이 상기 기준치 이상인 상기 제2 인공지능 모델을 선택하도록 하는, 성능 관리 장치.The method of claim 18, wherein the at least one instruction is executed by the processor,
Checking the performance of at least some of the artificial intelligence models of the plurality of artificial intelligence models,
The performance management device for selecting the second artificial intelligence model having the performance equal to or greater than the reference value.
상기 성능이 상기 기준치 이상이면, 적어도 다음 성능 확인 시까지 상기 제1 인공지능 모델을 교체하지 않는 것으로 결정하도록 하는, 성능 관리 장치.The method of claim 18, wherein the at least one instruction is executed by the processor,
If the performance is equal to or greater than the reference value, determining not to replace the first artificial intelligence model until at least a next performance check.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190142116 | 2019-11-07 | ||
| KR20190142116 | 2019-11-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210055560A true KR20210055560A (en) | 2021-05-17 |
| KR102377628B1 KR102377628B1 (en) | 2022-03-24 |
Family
ID=76158396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012442A KR102377628B1 (en) | 2019-11-07 | 2020-02-03 | Apparatus and Method for Managing Performance about Artificial Intelligent Service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102377628B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102433830B1 (en) * | 2021-11-10 | 2022-08-18 | 한국인터넷진흥원 | System and method for security threats anomaly detection based on artificial intelligence |
| KR102433935B1 (en) * | 2022-01-12 | 2022-08-19 | 주식회사 에이젠글로벌 | Method for generation and auto management of credit evaluation model of corporate credit bureau and apparatus for performing the method |
| KR102545144B1 (en) * | 2023-01-13 | 2023-06-21 | 주식회사 아이브 | Apparatus and method for providing defective product inspection solution based on deep learning algorithm |
| KR102549857B1 (en) * | 2023-02-14 | 2023-06-30 | 주식회사 마티아솔루션 | Machine vision model service platform system |
| WO2024063437A1 (en) * | 2022-09-22 | 2024-03-28 | 쿠팡 주식회사 | Method and device for managing artificial intelligence model |
| KR102688986B1 (en) * | 2023-09-27 | 2024-07-26 | 주식회사 마키나락스 | Method for configuring data pipe-line |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102583305B1 (en) * | 2022-09-15 | 2023-09-27 | 주식회사 와플랩 | Safety management system and method that converges safety ring, location information and biometric information in thermal power plant |
| KR102518913B1 (en) | 2022-12-14 | 2023-04-10 | 라온피플 주식회사 | Method and apparatus for managing performance of artificial intelligence model |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017068710A (en) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | Distributed processing system, learning model creating method, data processing method, learning model creating program, and data processing program |
| JP2018156415A (en) * | 2017-03-17 | 2018-10-04 | 株式会社リコー | Diagnosis device, diagnosis system, diagnosis method and program |
| JP2019095247A (en) * | 2017-11-21 | 2019-06-20 | 千代田化工建設株式会社 | Inspection assisting system, learning device, and determination device |
-
2020
- 2020-02-03 KR KR1020200012442A patent/KR102377628B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017068710A (en) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | Distributed processing system, learning model creating method, data processing method, learning model creating program, and data processing program |
| JP2018156415A (en) * | 2017-03-17 | 2018-10-04 | 株式会社リコー | Diagnosis device, diagnosis system, diagnosis method and program |
| JP2019095247A (en) * | 2017-11-21 | 2019-06-20 | 千代田化工建設株式会社 | Inspection assisting system, learning device, and determination device |
Non-Patent Citations (1)
| Title |
|---|
| 기계적 모터 고장진단을 위한 머신러닝 기법(정훈 외 1명. 산업경영시스템학회지 v.40 no.1(pp.57 - 64), 2017년 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102433830B1 (en) * | 2021-11-10 | 2022-08-18 | 한국인터넷진흥원 | System and method for security threats anomaly detection based on artificial intelligence |
| KR102433935B1 (en) * | 2022-01-12 | 2022-08-19 | 주식회사 에이젠글로벌 | Method for generation and auto management of credit evaluation model of corporate credit bureau and apparatus for performing the method |
| WO2023136493A1 (en) * | 2022-01-12 | 2023-07-20 | 주식회사 에이젠글로벌 | Cb company credit evaluation model generation and management automation method and apparatus for performing same method |
| WO2024063437A1 (en) * | 2022-09-22 | 2024-03-28 | 쿠팡 주식회사 | Method and device for managing artificial intelligence model |
| KR102545144B1 (en) * | 2023-01-13 | 2023-06-21 | 주식회사 아이브 | Apparatus and method for providing defective product inspection solution based on deep learning algorithm |
| KR102549857B1 (en) * | 2023-02-14 | 2023-06-30 | 주식회사 마티아솔루션 | Machine vision model service platform system |
| KR102688986B1 (en) * | 2023-09-27 | 2024-07-26 | 주식회사 마키나락스 | Method for configuring data pipe-line |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102377628B1 (en) | 2022-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210055560A (en) | Apparatus and Method for Managing Performance about Artificial Intelligent Service | |
| US10565442B2 (en) | Picture recognition method and apparatus, computer device and computer- readable medium | |
| US9645914B1 (en) | Apps store with integrated test support | |
| US11276493B2 (en) | Device configuration based on predicting a health affliction | |
| CN113435770A (en) | Transaction risk assessment method and device based on block chain | |
| CN108985489B (en) | Risk prediction method, risk prediction device and terminal equipment | |
| KR20180030168A (en) | Performance Monitoring of Distributed Storage Systems | |
| KR102344383B1 (en) | Method for analyzing loyalty of the customer to store based on artificial intelligence and system thereof | |
| US11722371B2 (en) | Utilizing unstructured data in self-organized networks | |
| KR102038703B1 (en) | Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof | |
| CN109284321A (en) | Data load method, calculates equipment and computer readable storage medium at device | |
| CN110490132B (en) | Data processing method and device | |
| CN109670126A (en) | A kind of cross-border access accelerating method and device | |
| US12061895B2 (en) | Predictive recycling of computer systems in a cloud environment | |
| US11237890B2 (en) | Analytics initiated predictive failure and smart log | |
| RU2532714C2 (en) | Method of acquiring data when evaluating network resources and apparatus therefor | |
| JP2015184818A (en) | Server, model application propriety determination method and computer program | |
| CN112733454B (en) | Equipment predictive maintenance method and device based on joint learning | |
| CN114465919A (en) | Network service testing method, system, electronic equipment and storage medium | |
| US8965825B2 (en) | Mode determination for multivariate time series data | |
| CN114450696A (en) | Integration of physical sensors in a data assimilation framework | |
| WO2020054599A1 (en) | Model generator, prediction device, model generation method, prediction method, and program | |
| US20220107878A1 (en) | Causal attention-based multi-stream rnn for computer system metric prediction and influential events identification based on metric and event logs | |
| CN110889490B (en) | Prediction method, prediction device, computing equipment and medium | |
| CN115567406A (en) | Method, device and system for managing network nodes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |