KR20210131720A - Methods and systems for managing AI models - Google Patents

Methods and systems for managing AI models Download PDF

Info

Publication number
KR20210131720A
KR20210131720A KR1020200050163A KR20200050163A KR20210131720A KR 20210131720 A KR20210131720 A KR 20210131720A KR 1020200050163 A KR1020200050163 A KR 1020200050163A KR 20200050163 A KR20200050163 A KR 20200050163A KR 20210131720 A KR20210131720 A KR 20210131720A
Authority
KR
South Korea
Prior art keywords
model
artificial intelligence
data
input
legacy system
Prior art date
Application number
KR1020200050163A
Other languages
Korean (ko)
Inventor
김형진
박기찬
이연일
서정범
Original Assignee
(주)엔투엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔투엠 filed Critical (주)엔투엠
Priority to KR1020200050163A priority Critical patent/KR20210131720A/en
Publication of KR20210131720A publication Critical patent/KR20210131720A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Stored Programmes (AREA)

Abstract

Provided are a method and system for managing an artificial intelligence model. In AI development, it is difficult to consistently develop and operate because a development stage of developing a model by analyzing data and an operation stage of applying the developed AI model to the existing system are usually separated. Therefore, the present invention provides a platform for managing the artificial intelligence model so that various procedures from development to operation can be performed more efficiently by providing a single and consistent management method from development to operation by managing a life cycle through a machine learning model.

Description

인공지능 모델을 관리하는 방법 및 시스템 {Methods and systems for managing AI models}{Methods and systems for managing AI models}

본 발명은 인공지능 모델을 관리하는 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 인공지능 모델 개발 및 운영에 있어서 기계학습 모델을 수명주기로 관리하여 개발부터 운영까지 일관된 단일 관리가 가능하도록 하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for managing an artificial intelligence model, and more particularly, a method for managing a machine learning model as a life cycle in artificial intelligence model development and operation to enable consistent single management from development to operation, and It's about the system.

오늘날 인공지능(Artificial Intelligence: AI)은 더욱 방대한 양, 빠른 속도로 데이터를 처리하는 능력으로 널리 보급되고 있으며, 이러한 AI 기술은 거의 모든 산업에 도입되기 시작하고 있고, 기술이 발전하면서 다양한 AI 응용기술에 대한 연구개발이 활발하게 진행되고 있다.Today, artificial intelligence (AI) is becoming more widespread due to its ability to process larger amounts of data at a faster rate, and these AI technologies are beginning to be introduced into almost all industries, and as the technology develops, various AI application technologies R&D is actively underway.

기계학습(머신러닝, Machine Learning)은 이러한 인공지능 응용 기술 중 하나이다. Machine learning (Machine Learning) is one of these AI application technologies.

기계학습은 데이터를 이용해 기계를 훈련시켜, 스스로 결정을 내리거나 예측을 할 수 있도록 하는 인공지능의 한 방법으로, 일반적으로 학습 데이터의 양과 질이 풍부할수록 예측의 정확도가 높아진다. Machine learning is a method of artificial intelligence that trains a machine using data to make decisions or make predictions on its own.

기존에 인공지능 개발은 데이터 분석, 모델 개발과 기존 운영 시스템에 적용이 분리되어 일관된 개발과 운영이 어렵다.Conventionally, AI development is difficult to consistently develop and operate because data analysis, model development, and application to the existing operating system are separated.

따라서 인공지능의 수명 주기(Life-Cycle)를 관리하여 일관된 관리 방안에 대한 필요성이 증가하였다.Therefore, the need for a consistent management plan by managing the life-cycle of artificial intelligence has increased.

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 인공지능의 기계학습 모델의 개발부터 운영에 이르는 다양한 절차를 보다 효율적으로 수행할 수 있도록 인공지능 모델을 관리하는 플랫폼을 제공하여 일관성 있는 인공지능 모델 관리가 가능하도록 하는 데 있다.The technical task to be accomplished by the present invention in order to solve the above problems is to provide a platform for managing artificial intelligence models so that various procedures from development to operation of artificial intelligence machine learning models can be performed more efficiently. The goal is to enable artificial intelligence model management.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에 따르면, 인공지능 모델 관리 방법은, 비즈니스를 분석하여 관리 서버를 통하여 데이터베이스에 인공지능이 필요한 자동화 영역마다 프로젝트로 등록하는 사업 식별 단계; 인공지능 모델에 사용할 입력 데이터셋을 식별, 수집하여 관리 서버에 저장하고 데이터베이스에 등록하는 데이터 준비 단계; 인공지능 모델을 생성하는 모델 개발 단계; 상기 모델 개발 단계에서 생성된 인공지능 모델은 하이퍼 패러미터를 설정하여 변환기에서 받은 데이터로 학습 및 검증을 수행하는 모델 학습평가 단계; 상기 모델 학습평가 단계에서 검증된 모델을 적용하는 모델 적용 단계; 및 현장 데이터를 입력으로 추론 서비스를 수행하고 레거시 시스템과 함께 운용되는 상호 운용 단계;를 포함한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the artificial intelligence model management method is a business identification step of analyzing the business and registering as a project for each automation area requiring artificial intelligence in the database through the management server ; A data preparation step of identifying and collecting an input dataset to be used for the artificial intelligence model, storing it in a management server, and registering it in a database; a model development stage to create an artificial intelligence model; The artificial intelligence model generated in the model development step is a model learning evaluation step of setting hyperparameters and performing learning and verification with the data received from the converter; a model application step of applying the model verified in the model learning evaluation step; and an interoperability step of performing an inference service by inputting field data and operating with a legacy system.

상기 프로젝트는, 업무 프로세스 식별자를 기본키로 하되, 이에 사용할 인공지능 모델, 입력 데이터 구조 및 출력 데이터 구조를 포함한다.The project includes an artificial intelligence model, an input data structure, and an output data structure to be used for the business process identifier as the primary key.

상기 데이터 준비 단계는, 상기 인공지능 모델의 입력부는 입력 데이터를 인공지능 모델이 사용할 수 있도록 변환기로 변환한다.In the data preparation step, the input unit of the artificial intelligence model converts the input data into a converter for use by the artificial intelligence model.

상기 모델 학습평가 단계는, 학습된 모델과 설정된 하이퍼 패러미터와 수행 로그는 관리 서버에 저장하고 데이터베이스에 등록한다.In the model learning evaluation step, the learned model, set hyper parameters and performance log are stored in the management server and registered in the database.

상기 모델 학습평가 단계에서 학습된 모델이 원하는 성능이 나올때까지 하이퍼 패러미터를 튜닝하여 학습 및 검증하면서 상기 모델 개발 단계와 상기 모델 학습평가 단계를 반복한다.The model development step and the model learning evaluation step are repeated while learning and verifying the hyperparameters by tuning the hyperparameter until the model learned in the model learning and evaluation step has the desired performance.

상기 모델 학습평가 단계는, 학습된 모델과 설정된 하이퍼 파라미터와 수행 로그는 관리 서버에 저장하고 데이터베이스에 등록한다.In the model learning evaluation step, the learned model and set hyper parameters and performance log are stored in the management server and registered in the database.

상기 모델 학습평가 단계는, 인공지능 모듈이 레거시 시스템으로부터 입력된 데이터를 수신하는 단계; 인공지능 모델에 맞게 수신한 데이터를 변환하는 단계;The model learning evaluation step may include: receiving, by an artificial intelligence module, data input from a legacy system; transforming the received data to fit the artificial intelligence model;

인공지능 모델은 변환된 데이터를 통해 추론하는 단계; 추론 결과를 레거시 시스템에 맞게 변환하는 단계; 및 상기 변환된 추론 결과를 레거시 시스템에 전송하는 단계;를 포함한다.The AI model infers through the transformed data; transforming the inference result into a legacy system; and transmitting the converted reasoning result to a legacy system.

상기 상호 운용 단계는, 인공지능 모듈이 레거시 시스템으로부터 입력된 데이터를 수신하는 단계; 인공지능 모델에 맞게 수신한 데이터를 변환하는 단계; 인공지능 모델은 변환된 데이터를 통해 추론하는 단계; 추론 결과를 레거시 시스템에 맞게 변환하는 단계; 및 상기 변환된 추론 결과를 레거시 시스템에 전송하는 단계;를 포함한다.The interoperability step may include: receiving, by an artificial intelligence module, data input from a legacy system; transforming the received data to fit the artificial intelligence model; The AI model infers through the transformed data; transforming the inference result into a legacy system; and transmitting the converted reasoning result to a legacy system.

한편, 본 발명의 다른 실시예에 따르면, 인공지능 모델 관리 시스템은, 고객이 유무선 통신을 통해 레거시 시스템에 접속 가능한 클라이언트 단말기; 상기 레거시 시스템 및 데이터베이스와 연결되어 인공지능 모듈을 관리하는 관리 서버; 인공지능을 통해 프로세스를 처리하는 인공지능 모듈; 데이터를 저장하는 데이터베이스; 및 상기 클라이언트 단말기 및 상기 관리 서버와 연결되어 있는 레거시 시스템;을 포함한다.On the other hand, according to another embodiment of the present invention, the artificial intelligence model management system, a client terminal through which a customer can access the legacy system through wired and wireless communication; a management server connected to the legacy system and database to manage the artificial intelligence module; artificial intelligence module that processes processes through artificial intelligence; database for storing data; and a legacy system connected to the client terminal and the management server.

상기 인공지능 모듈은, 레거시 시스템의 요청을 받는 입력부; 입력부를 통해 사용자의 입력을 추론하는 인공지능 모델; 및 추론 결과를 반환하는 출력부;를 포함한다.The artificial intelligence module may include: an input unit for receiving a request from a legacy system; An artificial intelligence model that infers a user's input through an input unit; and an output unit that returns an inference result.

상기 입력부는, 사용자의 입력을 RESTful API로 받는 입력기; 및 입력을 인공지능 모델에 맞게 변환하는 변환기;를 포함한다.The input unit may include: an input device that receives a user's input as a RESTful API; and a converter that converts the input to fit the artificial intelligence model.

상기 인공지능 모델은, 상기 입력부에서 받은 데이터로 학습 및 검증을 수행하는 학습기; 검증된 데이터에 대해 추론하는 추론기; 및 상기 학습기의 모델 학습의 기본 설정이 되며 학습된 모델이 원하는 성능이 나올 때까지 튜닝되는 하이퍼 패러미터;를 포함한다.The artificial intelligence model may include: a learner configured to learn and verify with the data received from the input unit; a reasoner that makes inferences on the verified data; and a hyperparameter that becomes a basic setting for model learning of the learner and is tuned until the learned model achieves a desired performance.

상기 데이터베이스는, 인공지능이 필요한 자동화 영역마다 저장하는 프로젝트;를 포함한다. The database includes a project for storing each automation area requiring artificial intelligence.

본 발명에 따르면,According to the present invention,

인공지능의 기계학습 모델의 개발부터 운영에 이르는 다양한 절차를 보다 효율적으로 수행할 수 있도록 인공지능 모델을 관리하는 플랫폼을 제공하여 일관성 있는 인공지능 모델 관리가 가능하다.Consistent AI model management is possible by providing a platform for managing AI models so that various procedures from development to operation of AI machine learning models can be performed more efficiently.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 의한 인공지능 관리 방법의 순서도,
도 2은 도 1의 본 발명의 모델 학습/평가 단계를 설명하기 위한 순서도,
도 3은 도 1의 본 발명의 레거시시스템과 상호운용 단계를 설명하기 위한 순서도,
도 4은 본 발명의 실시예에 의한 인공지능 관리 시스템의 구성도,
도 5은 도 4의 인공지능 모듈을 설명하기 위한 구성도이다.1 is a flowchart of an artificial intelligence management method according to an embodiment of the present invention;
Figure 2 is a flowchart for explaining the model learning / evaluation step of the present invention of Figure 1;
Figure 3 is a flowchart for explaining the interoperability step with the legacy system of the present invention of Figure 1;
4 is a block diagram of an artificial intelligence management system according to an embodiment of the present invention;
5 is a configuration diagram for explaining the artificial intelligence module of FIG. 4 .

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.In this specification, when terms such as first, second, etc. are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.

또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다. Further, when it is stated that any element, component, device, or system includes a component consisting of a program or software, even if not explicitly stated, that element, component, device, or system means that the program or software is executed. Alternatively, it should be understood to include hardware (eg, memory, CPU, etc.) necessary for operation or other programs or software (eg, drivers necessary for operating an operating system or hardware, etc.).

또한 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. Also, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the terms 'comprises' and/or 'comprising' do not exclude the presence or addition of one or more other components.

또한, 본 명세서에 기재된 '…부', '…기', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, '일', '하나' 및 '그' 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, the '... wealth', '… Terms such as 'group' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. In addition, articles such as 'a', 'an' and 'the' in the context of describing the present invention are meant to include both the singular and the plural unless otherwise indicated herein or clearly contradicted by the context in the context of describing the present invention. can be used

아래의 특정 실시 예들을 기술하는 데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용이 없어도 사용될 수 있다는 것을 인지할 수 있다. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that it can be used without these various specific details.

어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. In some cases, it is mentioned in advance that in describing the invention, parts that are commonly known and not largely related to the invention are not described in order to avoid confusion for no reason in explaining the invention.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific technical contents to be practiced in the present invention will be described in detail with reference to the accompanying drawings.

기계학습 모델의 수명 주기는 모델 개발 단계와 모델 운영 단계로 나눌 수 잇다. 모델 개발 단계는 목표 정의 후 데이터 수집 및 탐색, 데이터 분석 후 모델 검토, 개발, 검증하는 단계이며, 운영하는 단계는 개발에서 검증된 모델을 실제 현장 데이터를 입력으로 하여 추론 서비스를 수행하고 운영계 시스템과 함께 운영되는 단계이다. The life cycle of a machine learning model can be divided into a model development stage and a model operation stage. The model development stage is the stage of collecting and exploring data after defining the goal, and reviewing, developing, and verifying the model after data analysis. It is a step that works together.

도 1은 본 발명의 실시예에 의한 인공지능 관리 방법의 순서도이다.1 is a flowchart of an artificial intelligence management method according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 실시예에 의한 인공지능 관리 방법은 사업 식별 단계(S100), 데이터 준비 단계(S200), 모델 개발 단계(S300), 모델 학습/평가 단계(S400), 모델 적용 단계(S500) 및 레거시 시스템과 상호 운용 단계(S600)를 포함할 수 있다.1 , the artificial intelligence management method according to an embodiment of the present invention includes a business identification step (S100), a data preparation step (S200), a model development step (S300), a model learning/evaluation step (S400), a model application step (S500) and interoperability with the legacy system may include a step (S600).

여기서 사업 식별 단계(S100), 데이터 준비 단계(S200), 모델 개발 단계(S300), 모델 학습/평가 단계(S400) 및 모델 적용 단계(S500)는 모델 개발 단계, 레거시 시스템과 상호 운용 단계(S600)는 모델 운영 단계로 볼 수 있다.Here, the business identification step (S100), the data preparation step (S200), the model development step (S300), the model learning/evaluation step (S400), and the model application step (S500) are the model development step, the interoperability step with the legacy system (S600) ) can be viewed as the model operation stage.

여기서 사업 식별 단계(S100)는, 사업을 분석하여 관리 서버(200)를 통하여 데이터베이스(400)에 인공지능이 필요한 자동화 영역마다 프로젝트(410)를 등록한다. Here, the business identification step (S100) registers the project 410 for each automation area requiring artificial intelligence in the database 400 through the management server 200 by analyzing the business.

프로젝트(410)는 업무 프로세스 식별자를 기본키로 하고 이에 사용할 모델, 입력 데이터 구조, 출력 데이터 구조로 구성된다.The project 410 uses a business process identifier as a primary key and is composed of a model to be used therefor, an input data structure, and an output data structure.

프로젝트(410) 테이블의 예시는 [표 1]에 나타난 바와 같다. An example of the project 410 table is shown in [Table 1].

biz process_step_idbiz process_step_id AI model idAI model id in_datain_data out_dataout_data 영삭인식_1Spiritual recognition_1 CNN_1CNN_1 jpg_1jpg_1 predict_1predict_1

데이터 준비 단계(S200)는 인공지능 모델(320)에 사용할 입력 데이터셋을 식별, 수집하여 관리 서버(200)에 저장하고 데이터베이스(400)에 등록한다.The data preparation step (S200) identifies and collects an input data set to be used in the artificial intelligence model 320, stores it in the management server 200, and registers it in the database 400.

인공지능 모듈(300)의 입력부(310)는 입력 데이터를 인공지능 모델(320)이 사용할 수 있도록 변환기(312)로 바꿔준다.The input unit 310 of the artificial intelligence module 300 converts the input data into a converter 312 so that the artificial intelligence model 320 can use it.

모델 개발 단계(S300)는 인공지능 모델(320)을 생성한다.The model development step (S300) generates an artificial intelligence model (320).

모델 학습/평가 단계(S400)에서는 인공지능 모델(320)은 하이퍼 패러미터(323)를 설정하여 변환기(312)에서 받은 데이터로 학습 및 검증을 수행한다.In the model learning/evaluation step S400 , the artificial intelligence model 320 sets the hyperparameter 323 and performs learning and verification with the data received from the converter 312 .

학습된 모델과 설정된 하이퍼 패러미터(323)와 수행 로그는 관리 서버(200)에 저장하고 데이터베이스(400)에 등록한다. The learned model, the set hyperparameter 323 and the execution log are stored in the management server 200 and registered in the database 400 .

학습된 모델은 원하는 성능이 나올 때까지 하이퍼 패러미터(323)를 튜닝하여 학습 및 검증하면서 모델 개발 단계(S300)부터 모델 학습/평가 단계(S400)까지를 반복한다.The learned model repeats from the model development step (S300) to the model learning/evaluation step (S400) while learning and verifying by tuning the hyperparameter 323 until the desired performance is obtained.

도 2은 도 1의 본 발명의 모델 학습/평가 단계를 설명하기 위한 순서도이다.2 is a flowchart for explaining the model learning/evaluation step of the present invention of FIG. 1 .

도 1의 모델 학습/평가 단계(S400)는 인공지능 모듈(300)이 입력된 요청에 따라 인공지능 모델(320)의 추론 결과를 레거시 시스템에 맞게 출력한다. In the model learning/evaluation step S400 of FIG. 1 , the artificial intelligence module 300 outputs the inference result of the artificial intelligence model 320 according to the input request according to the legacy system.

레거시 시스템(500)의 요청을 받은 인공지능 모듈(300)의 입력부(310)의 입력기(311)는 사용자로부터 입력 데이터를 수신한다. The input device 311 of the input unit 310 of the artificial intelligence module 300 receiving the request from the legacy system 500 receives input data from the user.

수신된 데이터를 변환기(312)에서 인공지능 모델에 맞게 변환하며(S420), 인공지능 모델(320)은 변환된 데이터를 통해 추론하고(S430), 추론 결과를 출력부(330)로 전달하면 출력부(330)의 변환기(331)는 추론 결과를 레거시 시스템에 맞게 변환하여 레거시 시스템에 전송한다(S440).The converter 312 converts the received data to fit the artificial intelligence model (S420), the artificial intelligence model 320 infers through the converted data (S430), and outputs the inference result to the output unit 330 The converter 331 of the unit 330 converts the inference result to fit the legacy system and transmits it to the legacy system (S440).

모델 학습/평가 단계(S400)에서는 이와 같은 단계를 거쳐 인공지능 모델을 학습, 평가, 검증한다.In the model learning/evaluation step (S400), the artificial intelligence model is learned, evaluated, and verified through these steps.

도 3은 도 1의 본 발명의 레거시시스템과 상호운용 단계를 설명하기 위한 순서도이다. FIG. 3 is a flowchart for explaining the steps of interoperability with the legacy system of the present invention of FIG. 1 .

도 1의 레거시시스템과 상호운용 단계(S600)에서도 마찬가지로 인공지능 모듈(300)이 입력된 요청에 따라 인공지능 모델(320)의 추론 결과를 레거시 시스템에 맞게 출력한다. Similarly in the step S600 of interoperating with the legacy system of FIG. 1 , the artificial intelligence module 300 outputs the inference result of the artificial intelligence model 320 according to the input request according to the legacy system.

수신된 데이터를 변환기(312)에서 인공지능 모델에 맞게 변환하며(S420), 인공지능 모델(320)은 변환된 데이터를 통해 추론하고(S430), 추론 결과를 출력부(330)로 전달하면 출력부(330)의 변환기(331)는 추론 결과를 레거시 시스템에 맞게 변환하여 레거시 시스템에 전송한다(S440).The converter 312 converts the received data to fit the artificial intelligence model (S420), the artificial intelligence model 320 infers through the converted data (S430), and outputs the inference result to the output unit 330 The converter 331 of the unit 330 converts the inference result to fit the legacy system and transmits it to the legacy system (S440).

레거시시스템과 상호운용 단계(S600)에서는 이와 같은 단계를 거쳐 레거시 시스템에서 인공지능 모델을 상호 운용한다. In the step S600 of interoperability with the legacy system, the artificial intelligence model is interoperable in the legacy system through these steps.

본 발명의 실시예에 의한 인공지능 관리 시스템은 모델의 수명 주기(Life-Cycle)를 관리하는 AI 모델 관리용 Web 서브 시스템, AI 모델 실행기, 응용과 연계를 위한 모델 서빙 서브 모듈 등으로 구성되며 다양한 서버 환경에 설치하여 사용할 수 있다.The artificial intelligence management system according to the embodiment of the present invention is composed of a web subsystem for AI model management that manages the life-cycle of a model, an AI model executor, and a model serving sub-module for linking with applications. It can be installed and used in a server environment.

도 4은 본 발명의 실시예에 의한 인공지능 관리 시스템의 구성도이다.4 is a block diagram of an artificial intelligence management system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 의한 인공지능 모델 관리 시스템은 클라이언트 단말기(100), 관리 서버(200), 인공지능 모듈(300), 데이터베이스(400), 레거시 시스템(500) 등을 포함할 수 있다.4 , the artificial intelligence model management system according to an embodiment of the present invention includes a client terminal 100 , a management server 200 , an artificial intelligence module 300 , a database 400 , a legacy system 500 , and the like. may include

여기서 클라이언트 단말기(100)는 고객이 유무선 통신을 통해 레거시 시스템에 접속 가능한 단말기이다.Here, the client terminal 100 is a terminal through which a customer can access a legacy system through wired/wireless communication.

클라이언트 단말기(100)는 사용자의 키 조작 또는 명령에 따라 유무선 네트워크를 경유하여 레거시 시스템에 각종 데이터를 송수신할 수 있는 단말기이다. The client terminal 100 is a terminal capable of transmitting and receiving various data to and from a legacy system via a wired/wireless network according to a user's key manipulation or command.

클라이언트 단말기(100)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC : Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Connunication Terminal) 중 어느 하나일 수 있다.The client terminal 100 includes a tablet PC (Tablet PC), a laptop (Laptop), a personal computer (PC: Personal Computer), a smart phone (Smart Phone), a personal digital assistant (PDA) and a mobile communication terminal ( Mobile Connunication Terminal) may be any one.

여기서 관리 서버(200)는 레거시 시스템(500)과 연결되어 인공지능 모듈을 관리하며, 데이터베이스(400)에 데이터를 저장할 수 있다.Here, the management server 200 is connected to the legacy system 500 to manage the artificial intelligence module, and may store data in the database 400 .

인공지능 모듈(300)은 인공지능을 통해 데이터 프로세스를 처리한다.The artificial intelligence module 300 processes the data process through artificial intelligence.

도 5은 도 4의 인공지능 모듈을 설명하기 위한 구성도이다.5 is a configuration diagram for explaining the artificial intelligence module of FIG. 4 .

도 5를 참조하면, 인공지능 모듈(300)의 세부 구조로 입력을 처리하는 입력부(310), 지능화를 통해 자동화 기능을 수행하는 인공지능 모델(320), 추론 결과를 처리하는 출력부(330) 등이 있다. Referring to FIG. 5 , an input unit 310 for processing an input as a detailed structure of the artificial intelligence module 300, an artificial intelligence model 320 for performing an automation function through intelligence, and an output unit 330 for processing an inference result. etc.

여기서 입력부(310)는 사용자나 레거시 시스템의 요청을 받으며, 입력부(310)는 사용자의 입력을 RESTful API로 받는 입력기(311)와 입력을 인공지능 모델에 맞게 변환하는 변환기(312)로 구성된다.Here, the input unit 310 receives a request from a user or a legacy system, and the input unit 310 is composed of an input unit 311 that receives the user's input as a RESTful API, and a converter 312 that converts the input according to the artificial intelligence model.

입력부(310)의 입력을 받은 인공지능 모델(320)은 모델의 추론 결과를 출력부(330)로 전달한다.The artificial intelligence model 320 receiving the input from the input unit 310 transmits the inference result of the model to the output unit 330 .

인공지능 모델(320)은 지능화를 통해 입력을 받아 추론하는 자동화 기능을 수행한다. The artificial intelligence model 320 performs an automated function of inferring by receiving an input through intelligence.

여기서 인공지능 모델(320)은 입력부(310)에서 받은 데이터로 학습하는 학습부(321), 학습된 모델을 통해 데이터를 추론하는 추론기(322), 데이터 학습을 위해 설정되어 학습된 모델이 원하는 성능이 나올 때까지 학습 및 검증을 반복하면서 튜닝되는 하이퍼 패러미터(323)로 구성된다.Here, the artificial intelligence model 320 includes a learning unit 321 that learns from the data received from the input unit 310, an inferencer 322 that infers data through the learned model, and the trained model set for data learning. It consists of hyperparameters 323 that are tuned while repeating learning and verification until performance is obtained.

여기서 출력부(330)는 인공지능 모델(320)의 추론 결과를 반환하며, 출력부(330)는 인공지능 모델(320)의 추론 결과를 레거시 시스템(500)이 사용할 수 있게 변환하는 변환기(331), 이를 레거시 시스템에 RESTful API로 전송하는 출력기(332)로 구성된다.Here, the output unit 330 returns the inference result of the artificial intelligence model 320 , and the output unit 330 converts the inference result of the artificial intelligence model 320 so that the legacy system 500 can use it. ), and a writer 332 that sends it to the legacy system as a RESTful API.

데이터베이스(400)는 관리 서버(200)의 데이터를 저장한다.The database 400 stores data of the management server 200 .

데이터베이스(400)는 사업 식별 단계(S100)에서 비즈니스를 분석하여 인공지능이 필요한 자동화 영역마다 등록되는 프로젝트(410)를 포함한다.The database 400 includes a project 410 that is registered for each automation area requiring artificial intelligence by analyzing the business in the business identification step (S100).

레거시 시스템(500)은 클라이언트 단말기(100)와 관리 서버(200)와 연결되어 있는 기존에 운영중인 시스템이다.The legacy system 500 is an existing operating system connected to the client terminal 100 and the management server 200 .

도 1에서 모델 개발 단계에 해당하는 사업 식별 단계(S100), 데이터 준비 단계(S200), 모델 개발 단계(S300), 모델 학습/평가 단계(S400) 및 모델 적용 단계(S500)에서 각 구성의 설명은 다음과 같다.Description of each configuration in the business identification step (S100), data preparation step (S200), model development step (S300), model learning/evaluation step (S400) and model application step (S500) corresponding to the model development step in FIG. 1 Is as follows.

클라이언트 단말기(100)는 레거시 시스템(500)에 요청하는 서비스 중 인공지능으로 처리할 하부 서비스를 위한 데이터셋을 관리 서버(200)에 등록하고 인공지능 모듈(300)이 사용할 수 있게 전처리하여 관리 서버(200)의 데이터베이스(400)에 등록하고 인공지능 모듈(300)을 검토/개발하고 학습/평가하여 검증된 서비스 가능한 모델을 데이터베이스에 저장하고 운영중인 레거시 시스템(500)이 사용할 수 있게 RESTful API를 제공한다.The client terminal 100 registers a data set for a lower service to be processed by artificial intelligence among the services requested to the legacy system 500 in the management server 200 and pre-processes it so that the artificial intelligence module 300 can use the management server Register in the database 400 of 200, review/develop the artificial intelligence module 300, learn/evaluate, store the verified serviceable model in the database, and use the RESTful API so that the legacy system 500 in operation can use it. to provide.

또한 도 1에서 모델 적용 단계에 해당하는 레거시 시스템과 상호 운용 단계(S600)에서 각 구성의 설명은 다음과 같다.In addition, the description of each configuration in the legacy system and interoperability step (S600) corresponding to the model application step in FIG. 1 is as follows.

클라이언트 단말기(100)는 유무선 통신을 통해 레거시 시스템(500)에 접속 가능한 단말기로서, 사용자는 클라이언트 단말기(100)를 통해 상기 레거시 시스템(500)에 서비스를 요청하면 레거시 시스템(500)은 서비스를 처리할 하부 서비스 중 인공지능으로 처리할 하부 서비스를 관리 서버(200)로 요청하고, 관리 서버(200)는 요청에 따라 해당 서비스를 처리할 프로세서를 생성하여 레거시 시스템(500)의 요청을 전달하게 되고 생성된 프로세스는 이 요청을 처리하여 결과를 레거시 시스템(500)으로 반환한다. The client terminal 100 is a terminal capable of accessing the legacy system 500 through wired/wireless communication. When a user requests a service from the legacy system 500 through the client terminal 100, the legacy system 500 processes the service. Among the sub-services to be processed, a sub-service to be processed by artificial intelligence is requested to the management server 200, and the management server 200 generates a processor to process the corresponding service according to the request and transmits the request of the legacy system 500. The spawned process processes this request and returns the result to the legacy system 500 .

여기서 서비스를 처리할 프로세서는 인공지능 모듈(300)로 볼 수 있다.Here, the processor to process the service may be viewed as the artificial intelligence module 300 .

레거시 시스템(500)은 이 결과를 받아 후처리한 결과를 클라이언트 단말기(100)로 응답을 보낸다.The legacy system 500 receives this result and sends a response to the post-processing result to the client terminal 100 .

본 발명은 사업에 따라 프로젝트를 생성하고 인공지능 적용 업무를 식별하고, 업무에 적합한 인공지능 모델(320)을 선택한다.The present invention creates a project according to a business, identifies an AI application task, and selects an AI model 320 suitable for the task.

선택한 모델에 필요한 데이터 셋을 수집, 분석, 등록하고 학습용 하이퍼 패러미터(323)를 기본 설정으로 등록하여 모델 학습/재학습을 수행한다.It collects, analyzes, and registers the data set required for the selected model, and registers the hyperparameter 323 for learning as the default setting to perform model learning/re-learning.

학습된 모델은 도커(docker) 상에서 서비스로 동작시킨다. The trained model runs as a service on Docker.

기존의 시스템은 RESTful API를 통해 인공지능의 서비스를 사용한다.Existing systems use AI services through RESTful APIs.

100 : 클라이언트 단말기
200 : 관리 서버
300 : 인공지능 모듈
310 : 입력부
311 : 입력기
312 : 변환기
320 : 인공지능 모듈
321 : 학습기
322 : 추론기
323 : 하이퍼 패러미터
330 : 출력부
331 : 변환기
332 : 출력기
400 : 데이터베이스
410 : 프로젝트
500 : 레거시 시스템100: client terminal
200: management server
300: artificial intelligence module
310: input unit
311: input device
312: converter
320: artificial intelligence module
321: learner
322 : reasoner
323: Hyperparameter
330: output unit
331 : converter
332: Writer
400 : database
410 : Project
500 : legacy system

Claims (13)

비즈니스를 분석하여 관리 서버를 통하여 데이터베이스에 인공지능이 필요한 자동화 영역마다 프로젝트로 등록하는 사업 식별 단계;
인공지능 모델에 사용할 입력 데이터셋을 식별, 수집하여 관리 서버에 저장하고 데이터베이스에 등록하는 데이터 준비 단계;
인공지능 모델을 생성하는 모델 개발 단계;
상기 모델 개발 단계에서 생성된 인공지능 모델은 하이퍼 패러미터를 설정하여 변환기에서 받은 데이터로 학습 및 검증을 수행하는 모델 학습평가 단계;
상기 모델 학습평가 단계에서 검증된 모델을 적용하는 모델 적용 단계; 및
현장 데이터를 입력으로 추론 서비스를 수행하고 레거시 시스템과 함께 운용되는 상호 운용 단계;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 방법.A business identification step of analyzing the business and registering as a project for each automation area requiring artificial intelligence in the database through the management server;
A data preparation step of identifying and collecting an input dataset to be used for the artificial intelligence model, storing it in a management server, and registering it in a database;
a model development stage to create an artificial intelligence model;
The artificial intelligence model generated in the model development step is a model learning evaluation step of setting hyperparameters and performing learning and verification with the data received from the converter;
a model application step of applying the model verified in the model learning evaluation step; and
Interoperability step of performing inference services with field data as input and operating with legacy systems;
Artificial intelligence model management method comprising a. 제1항에 있어서,
상기 프로젝트는,
업무 프로세스 식별자를 기본키로 하되,
이에 사용할 인공지능 모델, 입력 데이터 구조 및 출력 데이터 구조를 포함하는 것
을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The project is
With the business process identifier as the primary key,
including the AI model to be used for this, the input data structure and the output data structure;
An artificial intelligence model management method characterized by 제1항에 있어서,
상기 데이터 준비 단계는,
상기 인공지능 모델의 입력부는 입력 데이터를 인공지능 모델이 사용할 수 있도록 변환기로 변환하는 것
을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The data preparation step is
The input unit of the AI model converts the input data into a converter so that the AI model can use it.
An artificial intelligence model management method characterized by 제1항에 있어서,
상기 모델 학습평가 단계는,
학습된 모델과 설정된 하이퍼 패러미터와 수행 로그는 관리 서버에 저장하고 데이터베이스에 등록하는 것
을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The model learning evaluation step is,
The learned model, set hyperparameters, and execution log are stored in the management server and registered in the database.
An artificial intelligence model management method characterized by 제4항에 있어서,
상기 모델 학습평가 단계에서 학습된 모델이 원하는 성능이 나올때까지 하이퍼 패러미터를 튜닝하여 학습 및 검증하면서 상기 모델 개발 단계와 상기 모델 학습평가 단계를 반복하는 것
을 특징으로 하는 인공지능 모델 관리 방법.5. The method of claim 4,
Repeating the model development step and the model learning evaluation step while learning and verifying by tuning hyperparameters until the model learned in the model learning and evaluation step achieves the desired performance
An artificial intelligence model management method characterized by 제1항에 있어서,
상기 모델 학습평가 단계는,
학습된 모델과 설정된 하이퍼 파라미터와 수행 로그는 관리 서버에 저장하고 데이터베이스에 등록하는 것
을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The model learning evaluation step is,
The learned model, set hyperparameters, and execution log are stored in the management server and registered in the database.
An artificial intelligence model management method characterized by 제1항에 있어서,
상기 모델 학습평가 단계는,
인공지능 모듈이 레거시 시스템으로부터 입력된 데이터를 수신하는 단계;
인공지능 모델에 맞게 수신한 데이터를 변환하는 단계;
인공지능 모델은 변환된 데이터를 통해 추론하는 단계;
추론 결과를 레거시 시스템에 맞게 변환하는 단계; 및
상기 변환된 추론 결과를 레거시 시스템에 전송하는 단계;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The model learning evaluation step is,
receiving, by the artificial intelligence module, data input from the legacy system;
transforming the received data to fit the artificial intelligence model;
The AI model infers through the transformed data;
transforming the inference result into a legacy system; and
transmitting the transformed reasoning result to a legacy system;
Artificial intelligence model management method comprising a. 제1항에 있어서,
상기 상호 운용 단계는,
인공지능 모듈이 레거시 시스템으로부터 입력된 데이터를 수신하는 단계;
인공지능 모델에 맞게 수신한 데이터를 변환하는 단계;
인공지능 모델은 변환된 데이터를 통해 추론하는 단계;
추론 결과를 레거시 시스템에 맞게 변환하는 단계; 및
상기 변환된 추론 결과를 레거시 시스템에 전송하는 단계;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 방법.According to claim 1,
The interoperability step is
receiving, by the artificial intelligence module, data input from the legacy system;
transforming the received data to fit the artificial intelligence model;
The AI model infers through the transformed data;
transforming the inference result into a legacy system; and
transmitting the transformed reasoning result to a legacy system;
Artificial intelligence model management method comprising a. 고객이 유무선 통신을 통해 레거시 시스템에 접속 가능한 클라이언트 단말기;
상기 레거시 시스템 및 데이터베이스와 연결되어 인공지능 모듈을 관리하는 관리 서버;
인공지능을 통해 프로세스를 처리하는 인공지능 모듈;
데이터를 저장하는 데이터베이스; 및
상기 클라이언트 단말기 및 상기 관리 서버와 연결되어 있는 레거시 시스템;
을 포함하는 것을 특징으로 하는 인공지능 모델 관리 시스템.a client terminal through which a customer can access a legacy system through wired/wireless communication;
a management server connected to the legacy system and database to manage the artificial intelligence module;
artificial intelligence module that processes processes through artificial intelligence;
database for storing data; and
a legacy system connected to the client terminal and the management server;
Artificial intelligence model management system comprising a. 제9항에 있어서,
상기 인공지능 모듈은,
레거시 시스템의 요청을 받는 입력부;
입력부를 통해 사용자의 입력을 추론하는 인공지능 모델; 및
추론 결과를 반환하는 출력부;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 시스템.10. The method of claim 9,
The artificial intelligence module is
an input unit for receiving requests from legacy systems;
An artificial intelligence model that infers a user's input through an input unit; and
an output unit that returns an inference result;
Artificial intelligence model management system comprising a. 제10항에 있어서,
상기 입력부는,
사용자의 입력을 RESTful API로 받는 입력기; 및
입력을 인공지능 모델에 맞게 변환하는 변환기;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 시스템.11. The method of claim 10,
The input unit,
Input method that receives user's input as RESTful API; and
a transformer that transforms the input to fit the AI model;
Artificial intelligence model management system comprising a. 제10항에 있어서,
상기 인공지능 모델은,
상기 입력부에서 받은 데이터로 학습 및 검증을 수행하는 학습기;
검증된 데이터에 대해 추론하는 추론기; 및
상기 학습기의 모델 학습의 기본 설정이 되며 학습된 모델이 원하는 성능이 나올 때까지 튜닝되는 하이퍼 패러미터;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 시스템.11. The method of claim 10,
The artificial intelligence model is
a learner for learning and verifying the data received from the input unit;
a reasoner that makes inferences on the verified data; and
a hyperparameter that becomes a basic setting for model learning of the learner and is tuned until the learned model achieves a desired performance;
Artificial intelligence model management system comprising a. 제9항에 있어서,
상기 데이터베이스는,
인공지능이 필요한 자동화 영역마다 저장하는 프로젝트;
를 포함하는 것을 특징으로 하는 인공지능 모델 관리 시스템.10. The method of claim 9,
The database is
A project to save for each automation area that requires artificial intelligence;
Artificial intelligence model management system comprising a.
KR1020200050163A 2020-04-24 2020-04-24 Methods and systems for managing AI models KR20210131720A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200050163A KR20210131720A (en) 2020-04-24 2020-04-24 Methods and systems for managing AI models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050163A KR20210131720A (en) 2020-04-24 2020-04-24 Methods and systems for managing AI models

Publications (1)

Publication Number Publication Date
KR20210131720A true KR20210131720A (en) 2021-11-03

Family

ID=78505353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050163A KR20210131720A (en) 2020-04-24 2020-04-24 Methods and systems for managing AI models

Country Status (1)

Country Link
KR (1) KR20210131720A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463077B1 (en) * 2021-11-15 2022-11-04 주식회사 천재교과서 An artificial intelligence smart coaching system and method for coaching various and useful content to users
KR20230067257A (en) * 2021-11-09 2023-05-16 에스케이 주식회사 Ai model serving system and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230067257A (en) * 2021-11-09 2023-05-16 에스케이 주식회사 Ai model serving system and method thereof
WO2023085738A1 (en) * 2021-11-09 2023-05-19 에스케이 주식회사 Ai model serving system and method
KR102463077B1 (en) * 2021-11-15 2022-11-04 주식회사 천재교과서 An artificial intelligence smart coaching system and method for coaching various and useful content to users

Similar Documents

Publication Publication Date Title
US10803394B2 (en) Integrated monitoring and communications system using knowledge graph based explanatory equipment management
US7321879B2 (en) Using neural networks for data mining
Bobek et al. Uncertain context data management in dynamic mobile environments
Cimino et al. An adaptive rule-based approach for managing situation-awareness
KR20210131720A (en) Methods and systems for managing AI models
US20220019916A1 (en) Apparatus and method for recommending federated learning based on tendency analysis of recognition model and method for federated learning in user terminal
KR100707671B1 (en) Reasoning apparatus and method for context adaptive service in knowledge-based home network
KR20200127695A (en) System for Support Connection of Variety Chatbot RPA and Legacy and Method thereof
US20240143611A1 (en) Query-based database linkage distributed deep learning system, and method therefor
Kuter et al. Semantic web service composition in social environments
Zoll et al. Evaluation of predictive-maintenance-as-a-service business models in the internet of things
CN101142559B (en) Monitoring computer-controlled processes and systems
CN102132267A (en) Dynamic metadata
Aksyonov et al. Development of cloud-based microservices to decision support system
Rossit et al. knowledge representation in Industry 4.0 scheduling problems
US20130275116A1 (en) Interactive, live-connection, specifically targetable, database-supported, dynamic dialogue management engine
Dong QoS driven service discovery method based on extended UDDI
CN114898184A (en) Model training method, data processing method and device and electronic equipment
RU2745362C1 (en) System and method of generating individual content for service user
Yadav et al. The Event Crowd: A novel approach for crowd-enabled event processing
JP3364420B2 (en) Integrated search system and method in distributed file system and medium recording integrated search program
Moser et al. Making expert knowledge explicit to facilitate tool support for integrating complex information systems in the atm domain
Meshcheryakov et al. Security Providing for Cyber-Physical Systems Based on the Analysis of Service Dataflow
KR20210079001A (en) Devices and methods for solving corporate problems based on the database
CN118071032B (en) Personalized occupation planning method and device based on artificial intelligence and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application