WO2021125517A1 - 전용 인공 지능 시스템 - Google Patents

전용 인공 지능 시스템 Download PDF

Info

Publication number
WO2021125517A1
WO2021125517A1 PCT/KR2020/013457 KR2020013457W WO2021125517A1 WO 2021125517 A1 WO2021125517 A1 WO 2021125517A1 KR 2020013457 W KR2020013457 W KR 2020013457W WO 2021125517 A1 WO2021125517 A1 WO 2021125517A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
information
output information
external
communication interface
Prior art date
Application number
PCT/KR2020/013457
Other languages
English (en)
French (fr)
Inventor
방성철
Original Assignee
주식회사 유니온플레이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니온플레이스 filed Critical 주식회사 유니온플레이스
Publication of WO2021125517A1 publication Critical patent/WO2021125517A1/ko
Priority to US17/497,752 priority Critical patent/US20220027793A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present disclosure ( ⁇ ) relates to a dedicated artificial intelligence system, and more particularly, to a dedicated artificial intelligence system capable of increasing the learning speed by using output information of an external artificial intelligence system while enhancing security.
  • Artificial intelligence refers to a field of computer science and information technology that studies how computers can perform processes such as thinking and learning that were performed through human intelligence.
  • An artificial intelligence model such as a deep learning algorithm, may be used to implement artificial intelligence. For example, an artificial intelligence model based on a deep learning algorithm is trained using training data.
  • Korean Patent Publication No. 10-2019-0110500 Patent Document 1 entitled “Artificial Intelligence Server", filed by LG Electronics Co., Ltd. and published on September 30, 2019, relates to various domains that caused incorrect answers.
  • Patent Document 1 entitled "Artificial Intelligence Server", filed by LG Electronics Co., Ltd. and published on September 30, 2019, relates to various domains that caused incorrect answers.
  • an artificial intelligence server capable of improving the performance of an artificial intelligence model by sequentially training the artificial intelligence model to be domain adaptation.
  • Korean Patent Publication No. 10-2019-0107626 Patent Document 2 entitled “Artificial Intelligence Server", filed by LG Electronics Co., Ltd. and published on September 20, 2019, provides personalization information from the user who requested recognition.
  • an artificial intelligence server capable of saving a server storage space and providing a personalized recognition service by receiving and performing personalized recognition using the received personalized information.
  • Korean Patent Publication No. 10-2019-0106861 Patent Document 3 entitled “Artificial Intelligence Server", which was applied by LG Electronics Co., Ltd. and published on September 20, 2019, is a target among data collected in the real environment.
  • an artificial intelligence device an artificial intelligence server, and a method for generating learning data by determining whether data is suitable for learning of an artificial intelligence model, and adding labeling data to data suitable for learning.
  • a computer system of a company for example, a customer relationship management (CRM), a computer system such as a fraud detection system (Fraud Detection System), and a factory management system mainly process the work in a rule-based (rule-based). If artificial intelligence is applied to a company's computer system, it is possible to process tasks more efficiently.
  • CRM customer relationship management
  • Fraud Detection System fraud detection system
  • factory management system mainly process the work in a rule-based (rule-based). If artificial intelligence is applied to a company's computer system, it is possible to process tasks more efficiently.
  • the following methods can be considered when building a corporate work environment by applying artificial intelligence to a corporate computer system.
  • External artificial intelligence systems are also referred to as “artificial intelligence platforms" and may be provided by information and communication companies such as Google and Amazon.
  • information and communication companies such as Google and Amazon.
  • Google and Amazon By connecting the external artificial intelligence system and the company's computer system, it is possible to build a work environment with artificial intelligence applied at a simple and relatively low cost.
  • the company's sensitive information is transferred to an external artificial intelligence system. Accordingly, sensitive information such as company trade secret information, customer personal information, and device identification information may be exposed to the outside.
  • the performance of the dedicated artificial intelligence system is generally lower than that of the external artificial intelligence system, and the learning rate of the dedicated artificial intelligence system is slower than that of the external artificial intelligence system. Therefore, it takes a lot of time to improve the performance of the dedicated artificial intelligence system to a level that can be applied to actual work. Since the performance of the artificial intelligence system is determined by the learning speed of the artificial intelligence system, the performance of the dedicated artificial intelligence system is often significantly lower than the performance of the external artificial intelligence system.
  • An object of the technology described herein is to provide a dedicated artificial intelligence system capable of increasing a learning rate by using output information of an external artificial intelligence system while enhancing security.
  • a dedicated artificial intelligence system connected to a computer system for performing business processing of an enterprise, comprising: a communication interface; and an arithmetic processing unit connected to the communication interface, wherein the arithmetic processing unit comprises: (a) processing of receiving input information transmitted from the computer system through the communication interface; (b) a process of generating first output information from the input information using an artificial intelligence model; (c) a process of generating external query information based on the input information; (d) transmitting the external query information to one or more external artificial intelligence systems, respectively, through the communication interface; (e) receiving one or more pieces of second output information respectively transmitted from the one or more external artificial intelligence systems through the communication interface; (f) a process of generating third output information by comparing the first output information with the one or more second output information using the artificial intelligence model; and (g) transmitting the third output information to the computer system through the communication interface.
  • FIG. 1 is a diagram illustrating an exemplary configuration of a dedicated artificial intelligence system according to a first embodiment of the technology described herein;
  • FIG. 2 illustrates an exemplary configuration of a system environment including a dedicated artificial intelligence system in accordance with a first embodiment of the techniques described herein;
  • Fig. 3 is a diagram exemplarily showing processing performed by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment
  • Fig. 4 is a diagram showing in more detail processing of generating first output information by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment
  • FIG. 5 is a diagram specifically illustrating a process in which an operation processing unit of a dedicated artificial intelligence system according to the first embodiment generates first output information
  • 6A and 6B are diagrams showing in more detail processing of generating external query information by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment
  • FIGS. 7A and 7B are diagrams showing in more detail processing for generating third output information by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment
  • FIG. 8 is a diagram illustrating an exemplary configuration of a dedicated artificial intelligence system according to a second embodiment of the technology described herein.
  • FIG. 9 is a diagram illustrating an exemplary configuration of a system environment including a dedicated artificial intelligence system in accordance with a second embodiment of the techniques described herein.
  • Fig. 10 is a diagram exemplarily showing processing performed by an interface device according to a second embodiment of the technology described herein;
  • FIG. 1 is a diagram illustrating an exemplary configuration of a dedicated artificial intelligence system according to a first embodiment of the technology described herein.
  • the dedicated artificial intelligence system 100 includes a communication interface 110 and an arithmetic processing unit 130 . Also referring to FIG. 1 , the dedicated artificial intelligence system 100 may further include a data repository 150 .
  • the dedicated artificial intelligence system 100 may be implemented using, for example, computing devices such as personal computers and dedicated computers.
  • the communication interface 110 is configured to transmit and receive data using wired or wireless communication. More specifically, the communication interface 110 is configured to transmit and receive data between, for example, the computer system 200 and one or more external artificial intelligence systems 300 and the dedicated artificial intelligence system 100 to be described later. That is, the dedicated artificial intelligence system 100 may be connected to the computer system ( 200 in FIG. 2 ) for performing business processing through the communication interface 110 , and one or more external artificial intelligences through the communication interface 110 . It may be directly or indirectly connected to the system ( 300 in FIG. 2 ).
  • the communication interface 110 may be implemented by, for example, a semiconductor device such as a communication chip.
  • the operation processing unit 130 is connected to the communication interface 110 .
  • the arithmetic processing unit 130 is configured to perform processing to be described later according to the technology disclosed herein. A detailed configuration of the processing performed by the arithmetic processing unit 130 will be described later.
  • the arithmetic processing unit 130 may be implemented by, for example, a semiconductor device (ie, a processor) such as a central processing unit (CPU). More specifically, the arithmetic processing unit 130 may include one or more processors 130 - 1 to 130 - 3 that are directly connected or connected to each other through a communication network. Each of the one or more processors 130 - 1 to 130 - 3 is configured to respectively perform at least a part of the processing to be described later performed by the operation processing unit 130 .
  • the arithmetic processing unit 130 may include one processor, or may include two or four or more processors.
  • the data store 150 stores artificial intelligence models and related information.
  • the related information is, for example, element information related to the artificial intelligence model. It may include parameter data such as weight information, rule information, and history information.
  • the data storage 150 may be implemented by, for example, a semiconductor device such as a semiconductor memory.
  • the artificial intelligence model may include, for example, at least one of a restricted Boltzmann machine (RBM)/deep belief network (DBN) model, a recurrent neural network model, and a relation network (RL) model.
  • RBM restricted Boltzmann machine
  • DNN deep belief network
  • RL relation network
  • FIG. 2 is a diagram illustrating an exemplary configuration of a system environment including a dedicated artificial intelligence system according to a first embodiment of the technology described herein.
  • the dedicated artificial intelligence system 100 is connected to the enterprise computer system 200 .
  • the dedicated artificial intelligence system 100 and the computer system 200 are preferably connected through an internal network of the company.
  • the dedicated artificial intelligence system 100 is connected to one or more external artificial intelligence systems 300 .
  • the dedicated artificial intelligence system 100 and one or more external artificial intelligence systems 300 may be connected through a network such as, for example, the Internet.
  • the dedicated artificial intelligence system 100 and one or more external artificial intelligence systems 300 are preferably connected through a security configuration such as the firewall 400 .
  • the computer system 200 includes, for example, a configuration used to perform work within a company, such as CRM, an abnormal transaction detection system, and a factory management system.
  • the computer system 200 processes business mainly based on rules.
  • the abnormal transaction detection system is used as the computer system 200 .
  • the one or more external artificial intelligence systems 300 are artificial intelligence systems (artificial intelligence platforms) provided outside the enterprise.
  • the external artificial intelligence system 300-1 may be an artificial intelligence system provided by Google
  • the external artificial intelligence system 300-2 may be an artificial intelligence system provided by Amazon
  • an external artificial intelligence system ( 300-3) may be an artificial intelligence system provided by Apple.
  • the total number of the one or more external artificial intelligence systems 300 is shown as three in FIG. 2 , the first embodiment is not limited thereto. For example, four or more external artificial intelligence systems may be used as needed.
  • FIG. 3 is a diagram exemplarily illustrating processing performed by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment.
  • the arithmetic processing unit 130 performs a process S110 of receiving input information transmitted from the computer system 200 through the communication interface 110 .
  • the abnormal transaction detection system as the computer system 200 may transmit, for example, financial transaction request information to the dedicated artificial intelligence system 100 as input information.
  • the arithmetic processing unit 130 performs a process S120 of generating the first output information from the input information by using the artificial intelligence model.
  • the artificial intelligence model may include, for example, at least one of an RBM/DBN model, a neural network model, and a RL model.
  • regression analysis clustering analysis, k-nearest neighbor (KNN), naive bayes, SVM (support vector machine), principal component analysis (PCA) ), density-based cluster analysis (DBSCAN), topic modeling, genetic algorithm, association rule analysis, logistic regression analysis, and time series analysis.
  • KNN k-nearest neighbor
  • SVM support vector machine
  • PCA principal component analysis
  • DBSCAN density-based cluster analysis
  • topic modeling genetic algorithm, association rule analysis, logistic regression analysis, and time series analysis.
  • genetic algorithm association rule analysis
  • logistic regression analysis logistic regression analysis
  • time series analysis time series analysis
  • FIG. 4 is a diagram illustrating in more detail processing of generating the first output information by the operation processing unit of the dedicated artificial intelligence system according to the first embodiment
  • FIG. 5 is a diagram illustrating the operation processing unit of the dedicated artificial intelligence system according to the first embodiment. It is a diagram specifically illustrating a process of generating the first output information.
  • the calculation processing unit 130 performs a process S121 of extracting first element information to n-th element information (n is a natural number greater than or equal to 2) from input information based on the artificial intelligence model.
  • the first element information to the nth element information may be determined according to a task to be applied. For example, when the input information is financial transaction request information, the first element information to the nth element information (x 1 to x n in FIG. 5 ) is based on the financial transaction request information, more preferably the financial transaction request information and the pre-stored information. It may be generated based on history information.
  • the first element information may be a value obtained by calculating time information and place information of a financial transaction request.
  • the second element information may be a value obtained by calculating time information and amount information of a financial transaction request.
  • the third element information may be a value obtained by calculating log-in time information and log-out time information of a financial transaction request.
  • the number of element information, ie, n may be appropriately determined using an artificial intelligence model.
  • the arithmetic processing unit 130 performs a process S122 of assigning a first weight to an n-th weight (w 1 to w n in FIG. 5 ) to each of the first to n-th element information.
  • a first weight is given to the first element information, and an n-th weight is also given to the n-th element information.
  • the first to n-th weights may be equally assigned, but if the first to n-th weights are stored, for example, if the first to n-th weights are stored in the data storage 150 , The first to nth weights may be used in the data store 150 .
  • the operation processing unit 130 performs a process S123 of generating a function value by calculating the first element information to the n-th element information and the first weight to the n-th weight using a transfer function.
  • a function value may be generated by summing a value obtained by multiplying the first element information by a first weight or a value obtained by multiplying the n-th element information by the n-th weight and then averaging the sum.
  • the arithmetic processing unit 130 performs a process S124 of extracting the entropy value of the function value by using an activation function.
  • the entropy value may be defined as the difference between the function value and the function value extracted in the previous step (or a predetermined initial value).
  • the arithmetic processing unit 130 performs a process S125 of repeatedly performing processes S123 and S124 by adjusting the first to n-th weights until the entropy value is within a predetermined range.
  • the predetermined range may be designated as a range such as 0 to 0.01.
  • the arithmetic processing unit 130 performs a process S126 of designating a function value as the first output information after the process S125.
  • the first to n-th element information and the first to n-th weights may be determined through deep learning.
  • the operation processing unit 130 may further perform a process S127 of storing first to n-th weights after the process S125.
  • the operation processing unit 130 may store the first to nth weights in the data storage 150 .
  • the operation processing unit 130 may store the first to nth element information in the data storage 150 .
  • the operation processing unit 130 performs a process S130 of generating external query information based on the input information.
  • 6A and 6B are diagrams illustrating in more detail the process of generating external query information by the arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment.
  • the operation processing unit 130 may perform a process S133 of generating external query information by filtering sensitive information included in input information. That is, in order to prevent sensitive information such as company trade secret information, customer personal information, and device identification information from being exposed to the outside, the calculation processing unit 130 filters sensitive information through processing S133, for example, by deleting the sensitive information. Create external query information.
  • the operation processing unit 130 may include a process S136 of generating external query information by replacing sensitive information included in input information with meaningless information.
  • external query information may be generated by replacing the customer's user ID with meaningless information such as “U11”.
  • the operation processing unit 130 performs a process S140 of transmitting external query information to one or more external artificial intelligence systems 300 through the communication interface 110 , respectively.
  • the arithmetic processing unit 130 performs a process S150 of receiving one or more pieces of second output information respectively transmitted from one or more external artificial intelligence systems 300 through the communication interface 110 .
  • the operation processing unit 130 performs a process S160 of generating third output information by comparing the first output information and one or more pieces of second output information using an artificial intelligence model.
  • the third output information is a value for whether the financial transaction request information is abnormal or normal, a value for abnormal type classification and related tags, a value for abnormal symptoms, and an expected response action It can contain information such as values. That is, for example, the third output information to be transmitted to the computer system 200 is generated based on one or more pieces of second output information having a function value like the first output information having a function value.
  • FIG. 7A and 7B are diagrams showing in more detail processing of generating third output information by an arithmetic processing unit of the dedicated artificial intelligence system according to the first embodiment.
  • the operation processing unit 130 may perform a process S163 of generating third output information based on the highest frequency among the first output information and the one or more pieces of second output information. That is, the third output information may be generated based on the highest frequency among the values of the first output information and the one or more values of the second output information.
  • the arithmetic processing unit 130 may perform processing S163 .
  • the arithmetic processing unit 130 is configured to have the highest frequency among the first output information and the one or more second output information, that is, the same among all information output through the dedicated artificial intelligence system 100 and one or more external artificial intelligence systems 300 .
  • third output information may be generated based on information having the highest frequency of occurrence of similar values.
  • the intelligence level of the artificial intelligence model of the dedicated artificial intelligence system 100 or the artificial intelligence model of one or more external artificial intelligence systems 300 may be confirmed by evaluation.
  • the intelligence level of the artificial intelligence model may be evaluated based on the degree of agreement between the already known result value and the result value calculated by the dedicated artificial intelligence system 100 or one or more external artificial intelligence systems 300 .
  • the intelligence level of the artificial intelligence model may be evaluated using a Receiver Operating Characteristic (ROC) curve.
  • ROC Receiver Operating Characteristic
  • the arithmetic processing unit 130 performs a process S166 of generating third output information based on the highest accuracy determined by the artificial intelligence model among the first output information and the one or more second output information. can do. For example, when the performance of the dedicated artificial intelligence system 100 reaches a certain level or higher suitable for processing corporate business through artificial intelligence, the operation processing unit 130 may perform processing S166. Accuracy is determined by the artificial intelligence model, and may be updated as the learning of the artificial intelligence model progresses.
  • the arithmetic processing unit 130 performs a process S170 of transmitting the third output information to the computer system 200 through the communication interface 110 .
  • the operation processing unit 130 may further perform a process S180 of learning the artificial intelligence model based on at least one of the first output information, the one or more pieces of second output information, and the third output information. That is, the operation processing unit 130 may train the artificial intelligence model by using various pieces of information such as first output information, one or more pieces of second output information, and third output information.
  • the learning level of the artificial intelligence model of the dedicated artificial intelligence system 100 can be rapidly improved. That is, it is possible to increase the learning speed of the artificial intelligence model of the dedicated artificial intelligence system 100 .
  • the arithmetic processing unit 130 receives the response information to the third output information from the computer system 200 through the communication interface 110, the processing S190 and the first output information, one or more second output information , processing S200 of learning the artificial intelligence model based on at least one of the third output information and the response information may be further performed.
  • the arithmetic processing unit 130 may check whether the determination according to the third output information is correct. For example, when the input information is financial transaction request information, the calculation processing unit 130 transmits the content determined that the financial transaction request information is normal as the third output information to the computer system 200, but the determination of the actual business person or the actual financial transaction The results may be abnormal.
  • the learning level of the artificial intelligence model of the dedicated artificial intelligence system 100 can be rapidly improved.
  • the response information is provided only to the dedicated artificial intelligence system 100 and not to one or more external artificial intelligence systems 300 . Therefore, the learning level of the artificial intelligence model of the dedicated artificial intelligence system 100 may be improved faster than the learning level of the artificial intelligence model of the one or more external artificial intelligence systems 300 . That is, the learning speed of the artificial intelligence model of the dedicated artificial intelligence system 100 may be increased compared to the one or more external artificial intelligence systems 300 .
  • FIG. 8 is a diagram illustrating an exemplary configuration of a dedicated artificial intelligence system according to a second embodiment of the technology described herein
  • FIG. 9 is a diagram illustrating a dedicated artificial intelligence system according to a second embodiment of the technology described herein. It is a diagram showing an exemplary configuration of a system environment.
  • the second embodiment will be mainly described with respect to the differences between the second embodiment and the first embodiment.
  • the dedicated artificial intelligence system 100 ′ according to the second embodiment further includes an interface device 170 , and the dedicated artificial intelligence system 100 according to the first embodiment and There is a difference.
  • the interface device 170 is connected to the communication unit 110 .
  • the interface device 170 may be implemented by, for example, a computing device including a communication chip, a memory, and a CPU.
  • the operation processing unit 130 is connected to one or more external artificial intelligence systems 300 through the communication interface 110 and the interface device 170 . It is preferable that the dedicated artificial intelligence system 100 ′ and one or more external artificial intelligence systems 300 are connected through a security configuration such as the firewall 400 as in the first embodiment.
  • FIG. 10 is a diagram exemplarily illustrating processing performed by an interface device according to a second embodiment of the technology described herein.
  • the interface device 170 transmits external query information transmitted from the operation unit 130 through the communication interface 110 to one or more external artificial intelligence systems 300 , respectively, and one or more external artificial intelligence systems.
  • a process S210 of receiving one or more pieces of second output information from 300 and transmitting it to the operation unit 130 through the communication interface 110 is performed.
  • the interface device 170 By the interface device 170 , the dedicated artificial intelligence system 100 ′ and one or more external artificial intelligence systems 300 are indirectly connected. Accordingly, the probability that sensitive information may be exposed from the dedicated artificial intelligence system 100 ′ can be further reduced.
  • the interface device 170 may also be connected to one or more external artificial intelligence systems 300 through the firewall 400 .
  • the interface device 170 may perform a process S220 of generating statistical information on the performance of one or more external artificial intelligence systems 300 based on one or more pieces of second output information.
  • the statistical information may include at least one of a speed at which each of the one or more external artificial intelligence systems 300 provides corresponding second output information among the one or more second output information and a data size of the corresponding second output information.
  • the process S220 for generating statistical information on the performance of one or more external artificial intelligence systems 300 based on one or more second output information is performed. can be done Based on the statistical information generated by the interface device 170 , the dedicated artificial intelligence system 100 ′ may evaluate each of the one or more external artificial intelligence systems 300 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

통신 인터페이스; 및 연산 처리부를 포함하고, 상기 연산 처리부는, (a) 전산 시스템으로부터 전송되는 입력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (b) 인공 지능 모델을 이용하여 상기 입력 정보로부터 제1 출력 정보를 생성하는 처리; (c) 상기 입력 정보를 기초로 외부 질의 정보를 생성하는 처리; (d) 상기 외부 질의 정보를 하나 이상의 외부 인공 지능 시스템으로 상기 통신 인터페이스를 통하여 각각 전송하는 처리; (e) 상기 하나 이상의 외부 인공 지능 시스템으로부터 각각 전달되는 하나 이상의 제2 출력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (f) 상기 제1 출력 정보와 상기 하나 이상의 제2 출력 정보를 상기 인공 지능 모델을 이용하여 비교하여 제3 출력 정보를 생성하는 처리; 및 (g) 상기 제3 출력 정보를 상기 전산 시스템으로 상기 통신 인터페이스를 통하여 전송하는 처리를 수행하는 것인 전용 인공 지능 시스템이 개시된다.

Description

전용 인공 지능 시스템
본 개시(開示)는 전용 인공 지능 시스템에 관한 것으로, 더욱 구체적으로는 보안성을 강화하면서도 외부 인공 지능 시스템의 출력 정보를 이용하여 학습 속도를 높일 수 있는 전용 인공 지능 시스템에 관한 것이다.
인공 지능은 인간의 지능을 통하여 수행되던 사고 및 학습과 같은 과정을 컴퓨터가 수행할 수 있는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야를 지칭한다. 인공 지능을 구현하기 위해서 예컨대 딥 러닝 알고리즘과 같은 인공 지능 모델이 이용될 수 있다. 예컨대 딥 러닝 알고리즘에 기초한 인공 지능 모델은 학습 데이터를 이용하여 학습된다.
예컨대 엘지전자 주식회사에 의해서 출원되고 2019년 9월 30일자로 공개된 "인공지능 서버"라는 명칭의 한국특허공개번호 제10-2019-0110500호(특허문헌 1)는 오답을 야기한 다양한 도메인들에 대하여 순차적으로 도메인 적응(domain adaptation)이 되도록 인공 지능 모델을 트레이닝함으로써 인공 지능 모델의 성능을 향상시킬 수 있는 인공 지능 서버를 개시하고 있다.
또한 엘지전자 주식회사에 의해서 출원되고 2019년 9월 20일자로 공개된 "인공지능 서버"라는 명칭의 한국특허공개번호 제10-2019-0107626호(특허문헌 2)는 인식을 요청한 사용자로부터 개인화 정보를 수신하고, 수신된 개인화 정보를 이용하여 개인 맞춤형의 인식을 수행함으로써, 서버의 저장 공간을 절약하고 개인 맞춤형 인식 서비스를 제공할 수 있는 인공 지능 서버를 개시하고 있다.
또한 엘지전자 주식회사에 의해서 출원되고 2019년 9월 20일자로 공개된 "인공지능 서버"라는 명칭의 한국특허공개번호 제10-2019-0106861호(특허문헌 3)는 실제 환경에서 수집되는 데이터 중에서 대상 인공 지능 모델의 학습에 적합한 데이터인지 판단하고, 학습에 적합한 데이터에 대하여 라벨링 데이터를 추가함으로써 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법을 개시하고 있다.
한편, 기업의 전산 시스템, 예컨대 CRM(Customer relationship management), 이상 거래 탐지 시스템(Fraud Detection System) 및 공장 관리 시스템과 같은 전산 시스템은 주로 룰 기반(rule-based)으로 업무를 처리한다. 기업의 전산 시스템에 인공 지능을 적용하면, 보다 효율적으로 업무를 처리하는 것이 가능하다.
기업의 전산 시스템에 인공 지능을 적용하여 기업의 업무 환경을 구축하는 경우, 다음과 같은 방법을 고려할 수 있다.
첫번째로, 외부 인공 지능 시스템과 기업의 전산 시스템을 연결하는 구성을 이용하는 방법이다. 외부 인공 지능 시스템은 "인공 지능 플랫폼"이라고도 지칭되며, 구글 및 아마존과 같은 정보 통신 기업에 의해서 제공될 수 있다. 외부 인공 지능 시스템과 기업의 전산 시스템을 연결하면, 간단하고 비교적 저렴한 비용으로 인공 지능을 적용한 업무 환경을 구축할 수 있다. 그러나, 기업의 민감 정보(sensitive information)가 외부 인공 지능 시스템으로 전달된다. 따라서, 기업의 영업 비밀 정보, 고객의 개인 정보 및 장치 식별 정보와 같은 민감 정보가 외부로 노출될 수 있다.
두번째로, 기업의 전용 인공 지능 시스템과 기업의 전산 시스템을 연결하는 방법이다. 기업의 전용 인공 지능 시스템과 기업의 전산 시스템을 연결하면, 기업의 민감 정보가 외부로 노출되는 것을 방지할 수 있다. 그러나 전용 인공 지능 시스템의 성능은 외부 인공 지능 시스템보다는 일반적으로 낮고, 또한 전용 인공 지능 시스템의 학습 속도는 외부 인공 지능 시스템보다 느리다. 따라서, 전용 인공 지능 시스템의 성능을 실제 업무에 적용할 수 있는 수준까지 향상시키기 위해서 많은 시간이 소요된다. 인공 지능 시스템의 학습 속도에 따라서 인공 지능 시스템의 성능이 결정되기 때문에, 전용 인공 지능 시스템의 성능은 외부 인공 지능 시스템의 성능에 비해서 현저하게 낮은 경우가 대부분이다.
[선행기술문헌]
[특허문헌]
1. 한국특허공개번호 제10-2019-0110500호.
2. 한국특허공개번호 제10-2019-0107626호.
3. 한국특허공개번호 제10-2019-0106861호.
본원에서 설명되는 기술의 목적은 보안성을 강화하면서도 외부 인공 지능 시스템의 출력 정보를 이용하여 학습 속도를 높일 수 있는 전용 인공 지능 시스템을 제공하는 데 있다.
상기 기술적 과제를 달성하기 위하여, 본원에서 설명되는 기술의 일 형태에 따르면, 기업의 업무 처리를 수행하는 전산 시스템과 연결되는 전용 인공 지능 시스템으로서, 통신 인터페이스; 및 상기 통신 인터페이스와 연결되는 연산 처리부를 포함하고, 상기 연산 처리부는, (a) 상기 전산 시스템으로부터 전송되는 입력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (b) 인공 지능 모델을 이용하여 상기 입력 정보로부터 제1 출력 정보를 생성하는 처리; (c) 상기 입력 정보를 기초로 외부 질의 정보를 생성하는 처리; (d) 상기 외부 질의 정보를 하나 이상의 외부 인공 지능 시스템으로 상기 통신 인터페이스를 통하여 각각 전송하는 처리; (e) 상기 하나 이상의 외부 인공 지능 시스템으로부터 각각 전달되는 하나 이상의 제2 출력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (f) 상기 제1 출력 정보와 상기 하나 이상의 제2 출력 정보를 상기 인공 지능 모델을 이용하여 비교하여 제3 출력 정보를 생성하는 처리; 및 (g) 상기 제3 출력 정보를 상기 전산 시스템으로 상기 통신 인터페이스를 통하여 전송하는 처리를 수행하는 것인 전용 인공 지능 시스템이 제공된다.
본원에서 설명되는 기술에 따르면, 보안성을 강화하면서도 외부 인공 지능 시스템의 출력 정보를 이용하여 학습 속도를 높일 수 있는 전용 인공 지능 시스템을 제공할 수 있다.
도 1은 본원에서 설명되는 기술의 제1 실시예에 따른 전용 인공 지능 시스템의 예시적인 구성을 나타내는 도면.
도 2는 본원에서 설명되는 기술의 제1 실시예에 따른 전용 인공 지능 시스템을 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면.
도 3은 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면.
도 4는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제1 출력 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면.
도 5는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제1 출력 정보를 생성하는 과정을 구체적으로 나타내는 도면.
도 6a 및 도 6b는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 외부 질의 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면.
도 7a 및 도 7b는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제3 출력 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면.
도 8은 본원에서 설명되는 기술의 제2 실시예에 따른 전용 인공 지능 시스템의 예시적인 구성을 나타내는 도면.
도 9는 본원에서 설명되는 기술의 제2 실시예에 따른 전용 인공 지능 시스템을 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면.
도 10은 본원에서 설명되는 기술의 제2 실시예에 따른 인터페이스 장치가 수행하는 처리를 예시적으로 나타내는 도면.
이하, 본원에서 설명되는 기술에 따른 전용 인공 지능 시스템의 실시예를 첨부한 도면을 참조로 보다 구체적으로 설명한다. 한편 본원에서 설명되는 기술의 실시예를 설명하기 위한 도면들에서, 설명의 편의를 위해서 실제 구성 중 일부만을 도시하거나 일부를 생략하여 도시하거나 변형하여 도시하거나 또는 축척이 다르게 도시될 수 있다.
<제1 실시예>
도 1은 본원에서 설명되는 기술의 제1 실시예에 따른 전용 인공 지능 시스템의 예시적인 구성을 나타내는 도면이다.
도 1을 참조하면, 전용 인공 지능 시스템(100)은 통신 인터페이스(110)와 연산 처리부(130)를 포함한다. 또한 도 1을 참조하면, 전용 인공 지능 시스템(100)은 데이터 저장소(data repository)(150)를 더 포함할 수 있다.
본원에서 설명되는 기술에 따른 전용 인공 지능 시스템(100)은 예컨대 개인용 컴퓨터 및 전용 컴퓨터와 같은 컴퓨팅 장치를 이용하여 구현될 수 있다.
통신 인터페이스(110)는 유선 또는 무선 통신을 이용하여 데이터를 송수신하도록 구성된다. 보다 구체적으로, 통신 인터페이스(110)는 예컨대 후술하는 전산 시스템(200) 및 하나 이상의 외부 인공 지능 시스템(300)과 전용 인공 지능 시스템(100) 사이에서 데이터를 송수신하도록 구성된다. 즉, 전용 인공 지능 시스템(100)은 통신 인터페이스(110)를 통하여 기업의 업무 처리를 수행하는 전산 시스템(도 2의 200)과 연결될 수 있고, 또한 통신 인터페이스(110)를 통하여 하나 이상의 외부 인공 지능 시스템(도 2의 300)과 직접 또는 간접적으로 연결될 수 있다.
통신 인터페이스(110)는 예컨대 통신 칩과 같은 반도체 소자에 의해서 구현될 수 있다.
연산 처리부(130)는 통신 인터페이스(110)와 연결된다. 연산 처리부(130)는 본원에서 개시되는 기술에 따라서 후술하는 처리를 수행하도록 구성된다. 연산 처리부(130)가 수행하는 처리의 상세한 구성은 후술한다. 연산 처리부(130)는 예컨대 CPU(central processing unit)와 같은 반도체 소자(즉, 프로세서)에 의해서 구현될 수 있다. 보다 구체적으로, 연산 처리부(130)는 직접 연결되거나 통신망을 통하여 서로 연결되는 하나 이상의 프로세서(130-1 내지 130-3)를 포함할 수 있다. 하나 이상의 프로세서(130-1 내지 130-3) 각각은 연산 처리부(130)에 의해서 수행되는 후술하는 처리 중 적어도 일부를 각각 수행하도록 구성된다. 도 1에서 하나 이상의 프로세서(130-1 내지 130-3)의 전체 개수는 3개로 도시되지만, 제1 실시예는 이에 한정되지 않는다. 예컨대 필요에 따라서 연산 처리부(130)는 1개의 프로세서를 포함할 수도 있고, 2개 또는 4개 이상의 프로세서를 포함할 수도 있다.
데이터 저장소(150)는 인공 지능 모델 및 관련된 정보를 저장한다. 관련된 정보는 예컨대 인공 지능 모델과 관련된 요소 정보(element information). 가중치 정보와 같은 파라미터 데이터, 룰(rule) 정보 및 이력(history) 정보를 포함할 수 있다. 데이터 저장소(150)는 예컨대 반도체 메모리와 같은 반도체 소자에 의해서 구현될 수 있다. 인공 지능 모델은 예컨대 RBM(restricted Boltzmann machine)/DBN(deep belief network) 모델, 신경망(recurrent neural network) 모델 및 RL(relation network) 모델 중 적어도 하나를 포함할 수 있다.
도 2는 본원에서 설명되는 기술의 제1 실시예에 따른 전용 인공 지능 시스템을 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면이다.
도 2를 참조하면, 전용 인공 지능 시스템(100)은 기업의 전산 시스템(200)과 연결된다. 전용 인공 지능 시스템(100)과 전산 시스템(200)은 기업의 내부 네트워크를 통하여 연결되는 것이 바람직하다. 도 2를 참조하면, 전용 인공 지능 시스템(100)은 하나 이상의 외부 인공 지능 시스템(300)과 연결된다. 전용 인공 지능 시스템(100)과 하나 이상의 외부 인공 지능 시스템(300)은 예컨대 인터넷과 같은 네트워크를 통하여 연결될 수 있다. 전용 인공 지능 시스템(100)과 하나 이상의 외부 인공 지능 시스템(300)은 방화벽(400)과 같은 보안 구성을 통하여 연결되는 것이 바람직하다.
전산 시스템(200)은 예컨대 CRM, 이상 거래 탐지 시스템 및 공장 관리 시스템과 같이 기업 내부에서 업무를 수행하기 위해서 사용하는 구성을 포함한다. 전산 시스템(200)은 주로 룰 기반으로 업무를 처리한다. 이하, 이상 거래 탐지 시스템이 전산 시스템(200)으로서 사용되는 경우를 가정한다.
하나 이상의 외부 인공 지능 시스템(300)은 기업 외부에서 제공되는 인공 지능 시스템(인공 지능 플랫폼)이다. 예컨대 외부 인공 지능 시스템(300-1)은 구글 사에서 제공하는 인공 지능 시스템일 수 있으며, 외부 인공 지능 시스템(300-2)은 아마존 사에서 제공하는 인공 지능 시스템일 수 있고, 외부 인공 지능 시스템(300-3)은 애플 사에서 제공하는 인공 지능 시스템일 수 있다. 도 2에서 하나 이상의 외부 인공 지능 시스템(300)의 전체 개수는 3개로 도시되지만, 제1 실시예는 이에 한정되지 않는다. 예컨대 필요에 따라서 4개 이상의 외부 인공 지능 시스템이 이용될 수 있다.
도 3은 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면이다.
우선 연산 처리부(130)는 전산 시스템(200)으로부터 전송되는 입력 정보를 통신 인터페이스(110)를 통하여 수신하는 처리 S110을 수행한다.
전산 시스템(200)으로서의 이상 거래 탐지 시스템은 예컨대 금융 거래 요청 정보를 입력 정보로서 전용 인공 지능 시스템(100)에 전송할 수 있다.
다음으로, 연산 처리부(130)는 인공 지능 모델을 이용하여 입력 정보로부터 제1 출력 정보를 생성하는 처리 S120을 수행한다. 인공 지능 모델은 전술하듯이 예컨대 RBM/DBN 모델, 신경망 모델 및 RL 모델 중 적어도 하나를 포함할 수 있다.
또한 인공 지능 모델의 학습을 위해서, 회귀 분석(regression analysis), 군집 분석(clustering analysis), KNN(k-nearest neighbor), 나이브 베이즈(naive bayes), SVM(support vector machine), 주성분 분석(PCA)과 밀도 기반 군집 분석(DBSCAN), 토픽 모델링(topic modeling), 유전자 알고리즘(genetic algorithm), 연관 규칙 분석(association rule analysis), 로지스틱 회귀분석(logistic regression analysis) 및 시계열 분석(time series analysis)과 같은 알고리즘이 이용될 수 있다.
도 4는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제1 출력 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면이고, 도 5는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제1 출력 정보를 생성하는 과정을 구체적으로 나타내는 도면이다.
우선 연산 처리부(130)는 인공 지능 모델을 기초로 입력 정보로부터 제1 요소 정보(element information) 내지 제n 요소 정보(n은 2이상의 자연수)를 추출하는 처리 S121을 수행한다.
제1 요소 정보 내지 제n 요소 정보는 적용하고자 하는 업무에 따라서 결정될 수 있다. 예컨대 입력 정보가 금융 거래 요청 정보인 경우, 제1 요소 정보 내지 제n 요소 정보(도 5의 x1 내지 xn)는 금융 거래 요청 정보를 기초로, 보다 바람직하게는 금융 거래 요청 정보 및 미리 저장된 이력 정보를 기초로 생성될 수 있다.
예컨대 제1 요소 정보는 금융 거래 요청의 시간 정보 및 장소 정보를 연산한 값이 될 수 있다. 또한 예컨대 제2 요소 정보는 금융 거래 요청의 시간 정보 및 금액 정보를 연산한 값이 될 수 있다. 또한 예컨대 제3 요소 정보는 금융 거래 요청의 로그인 시간 정보 및 로그아웃 시간 정보를 연산한 값이 될 수 있다. 요소 정보의 개수, 즉 n은 인공 지능 모델을 이용하여 적절하게 결정될 수 있다.
다음으로, 연산 처리부(130)는 제1 요소 정보 내지 제n 요소 정보 각각에 대해서 제1 가중치 내지 제n 가중치(도 5의 w1 내지 wn)를 부여하는 처리 S122를 수행한다.
예컨대 제1 요소 정보에 제1 가중치가 부여되고, 마찬가지로 제n 요소 정보에 제n 가중치가 부여된다. 초기의 경우, 제1 가중치 내지 제n 가중치는 동일하게 부여될 수 있으나, 제1 가중치 내지 제n 가중치가 저장되어 있다면, 예컨대 데이터 저장소(150)에 제1 가중치 내지 제n 가중치가 저장되어 있다면, 데이터 저장소(150)에 제1 가중치 내지 제n 가중치가 사용될 수 있다.
다음으로, 연산 처리부(130)는 전이 함수(transfer function)를 이용하여 제1 요소 정보 내지 제n 요소 정보, 제1 가중치 내지 제n 가중치를 연산하여 함수값을 생성하는 처리 S123을 수행한다. 예컨대, 제1 요소 정보와 제1 가중치를 곱한 값 내지 제n 요소 정보와 제n 가중치를 곱한 값을 합산된 후, 평균값을 내는 것에 의해서, 함수값이 생성될 수 있다.
다음으로, 연산 처리부(130)는 활성 함수(activation function)를 이용하여 함수값의 엔트로피값을 추출하는 처리 S124를 수행한다. 엔트로피값은 함수값과 그 이전 단계에서 추출된 함수값(또는 미리 지정된 초기값)의 차이로 정의될 수 있다.
다음으로, 연산 처리부(130)는 엔트로피값이 미리 지정된 범위 이내로 될 때까지, 제1 가중치 내지 제n 가중치를 조정하여 처리 S123 및 처리 S124를 반복 수행하는 처리 S125를 수행한다. 예컨대 함수값이 최대값이 1인 경우, 미리 지정된 범위는 0 내지 0.01과 같은 범위로 지정될 수 있다.
다음으로, 연산 처리부(130)는 처리 S125 이후에 함수값을 제1 출력 정보로 지정하는 처리 S126을 수행한다.
이와 같은 과정을 통해서, 제1 요소 정보 내지 제n 요소 정보 및 제1 가중치 내지 제n 가중치가 딥 러닝을 통하여 결정될 수 있다.
도 4를 참조하면, 연산 처리부(130)는 처리 S125 이후에 제1 가중치 내지 제n 가중치를 저장하는 처리 S127을 더 수행할 수 있다. 예컨대 연산 처리부(130)는 데이터 저장소(150)에 제1 가중치 내지 제n 가중치를 저장할 수 있다. 연산 처리부(130)는 제1 요소 정보 내지 제n 요소 정보를 데이터 저장소(150)에 저장할 수도 있다.
다시 도 3을 참조하면, 다음으로, 연산 처리부(130)는 입력 정보를 기초로 외부 질의 정보를 생성하는 처리 S130을 수행한다.
도 6a 및 도 6b는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 외부 질의 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면이다.
도 6a를 참조하면, 연산 처리부(130)는 입력 정보에 포함된 민감 정보(sensitive information)를 필터링하여 외부 질의 정보를 생성하는 처리 S133을 수행할 수 있다. 즉, 기업의 영업 비밀 정보, 고객의 개인 정보 및 장치 식별 정보와 같은 민감 정보가 외부로 노출되는 것을 방지하기 위해서, 연산 처리부(130)는 처리 S133을 통하여 민감 정보를 예컨대 삭제하는 방식으로 필터링하여 외부 질의 정보를 생성한다.
또는 도 6b를 참조하면, 연산 처리부(130)는 입력 정보에 포함된 민감 정보를 무의미 정보(meaningless information)로 대체하여 외부 질의 정보를 생성하는 처리 S136을 포함할 수 있다. 예컨대 고객의 사용자 ID를 "U11" 과 같은 무의미 정보로 대체하여 외부 질의 정보를 생성할 수 있다.
다음으로, 연산 처리부(130)는 외부 질의 정보를 하나 이상의 외부 인공 지능 시스템(300)으로 통신 인터페이스(110)를 통하여 각각 전송하는 처리 S140을 수행한다.
다음으로, 연산 처리부(130)는 하나 이상의 외부 인공 지능 시스템(300)으로부터 각각 전달되는 하나 이상의 제2 출력 정보를 통신 인터페이스(110)를 통하여 수신하는 처리 S150을 수행한다.
다음으로, 연산 처리부(130)는 제1 출력 정보와 하나 이상의 제2 출력 정보를 인공 지능 모델을 이용하여 비교하여 제3 출력 정보를 생성하는 처리 S160을 수행한다.
예컨대 입력 정보가 금융 거래 요청 정보인 경우, 제3 출력 정보는 금융 거래 요청 정보의 이상 또는 정상 여부에 대한 값, 이상 형태 분류에 대한 값 및 관련 태그, 이상 징후에 대한 값 및 예상 대응 조치에 대한 값과 같은 정보를 포함할 수 있다. 즉 예컨대 함수값을 가지는 제1 출력 정보와 마찬가지로 함수값을 가지는 하나 이상의 제2 출력 정보를 기초로 전산 시스템(200)으로 전송될 제3 출력 정보를 생성한다.
도 7a 및 도 7b는 제1 실시예에 따른 전용 인공 지능 시스템의 연산 처리부가 제3 출력 정보를 생성하는 처리를 보다 구체적으로 나타내는 도면이다.
도 7a를 참조하면, 연산 처리부(130)는 제1 출력 정보와 하나 이상의 제2 출력 정보 중에서 가장 빈도수가 높은 것을 기초로 제3 출력 정보를 생성하는 처리 S163을 수행할 수 있다. 즉 제1 출력 정보의 값과 하나 이상의 제2 출력 정보의 값들 중에서 가장 빈도수가 높은 것을 기초로 제3 출력 정보를 생성할 수 있다. 예컨대 전용 인공 지능 시스템(100)의 성능이 아직 기업의 업무 처리를 인공 지능을 통하여 처리하기에 적합한 일정 수준에 미치지 못하는 경우, 또는 전용 인공 지능 시스템(100) 및 하나 이상의 외부 인공 지능 시스템(300) 각각의 지능 수준이 아직 일정 수준에 미치지 못하는 경우, 연산 처리부(130)는 처리 S163을 수행할 수 있다. 연산 처리부(130)는 제1 출력 정보와 하나 이상의 제2 출력 정보 중에서 가장 빈도수가 높은 것, 즉 전용 인공 지능 시스템(100) 및 하나 이상의 외부 인공 지능 시스템(300)을 통하여 출력된 정보 전체 중에서 동일한 또는 유사한 값이 나온 빈도수가 가장 높은 정보를 기초로 제3 출력 정보를 생성할 수 있다.
전용 인공 지능 시스템(100)의 인공 지능 모델 또는 하나 이상의 외부 인공 지능 시스템(300)의 인공 지능 모델의 지능 수준은 평가에 의해서 확인할 수 있다. 예컨대 이미 알고 있는 결과값과 전용 인공 지능 시스템(100) 또는 하나 이상의 외부 인공 지능 시스템(300)에 의해서 산출되는 결과값에 대한 일치도를 기초로, 인공 지능 모델의 지능 수준을 평가할 수 있다.
또는 ROC(Receiver Operating Characteristic) 커브를 이용하여, 인공 지능 모델의 지능 수준을 평가할 수도 있다. 일반적으로 ROC 커브의 AUC(Area Under the ROC Curve)이 좁을수록, 인공 지능 모델의 지능 수준이 높다고 판단한다.
또는 도 7b를 참조하면, 연산 처리부(130)는 제1 출력 정보와 하나 이상의 제2 출력 정보 중에서 인공 지능 모델에 의해서 결정되는 정확도가 가장 높은 것을 기초로 제3 출력 정보를 생성하는 처리 S166을 수행할 수 있다. 예컨대 전용 인공 지능 시스템(100)의 성능이 기업의 업무 처리를 인공 지능을 통하여 처리하기에 적합한 일정 수준 이상에 도달한 경우, 연산 처리부(130)는 처리 S166을 수행할 수 있다. 정확도는 인공 지능 모델에 의해서 결정되며, 인공 지능 모델의 학습이 진행됨에 따라서 갱신될 수 있다.
다시 도 3을 참조하면, 다음으로, 연산 처리부(130)는 제3 출력 정보를 전산 시스템(200)으로 통신 인터페이스(110)를 통하여 전송하는 처리 S170을 수행한다.
다시 도 3을 참조하면, 연산 처리부(130)는 제1 출력 정보, 하나 이상의 제2 출력 정보 및 제3 출력 정보 중 적어도 하나를 기초로 인공 지능 모델을 학습시키는 처리 S180을 더 수행할 수 있다. 즉 연산 처리부(130)는 제1 출력 정보, 하나 이상의 제2 출력 정보 및 제3 출력 정보와 같은 다양한 정보를 이용하여 인공 지능 모델을 학습시킬 수 있다. 처리 S180을 통하여, 전용 인공 지능 시스템(100)의 인공 지능 모델의 학습 수준은 빠른 속도로 향상될 수 있다. 즉 전용 인공 지능 시스템(100)의 인공 지능 모델의 학습 속도를 높일 수 있다.
도 3을 참조하면, 연산 처리부(130)는 전산 시스템(200)으로부터 제3 출력 정보에 대한 응답 정보를 통신 인터페이스(110)를 통하여 수신하는 처리 S190 및 제1 출력 정보, 하나 이상의 제2 출력 정보, 제3 출력 정보 및 응답 정보 중 적어도 하나를 기초로 인공 지능 모델을 학습시키는 처리 S200을 더 수행할 수 있다.
연산 처리부(130)는 응답 정보를 수신하면, 제3 출력 정보에 따른 결정이 정확한지를 확인할 수 있다. 예컨대 입력 정보가 금융 거래 요청 정보인 경우, 연산 처리부(130)가 제3 출력 정보로서 금융 거래 요청 정보가 정상이라고 판단한 내용을 전산 시스템(200)으로 전송하였으나, 실제 업무 담당자의 판단 또는 실제 금융 거래 결과는 이상일 수 있다.
연산 처리부(130)가 이러한 실제 응답 정보를 반영하여 인공 지능 모델을 학습시키는 처리 S200을 수행하는 것에 의해서, 전용 인공 지능 시스템(100)의 인공 지능 모델의 학습 수준은 빠른 속도로 향상될 수 있다. 또한, 응답 정보는 전용 인공 지능 시스템(100)에게만 제공되며 하나 이상의 외부 인공 지능 시스템(300)에게는 제공되지 않는다. 따라서 전용 인공 지능 시스템(100)의 인공 지능 모델의 학습 수준은 하나 이상의 외부 인공 지능 시스템(300)의 인공 지능 모델의 학습 수준보다 더 빠르게 향상될 수 있다. 즉 전용 인공 지능 시스템(100)의 인공 지능 모델의 학습 속도를 하나 이상의 외부 인공 지능 시스템(300)에 비해서 높일 수 있다.
<제2 실시예>
도 8은 본원에서 설명되는 기술의 제2 실시예에 따른 전용 인공 지능 시스템의 예시적인 구성을 나타내는 도면이고, 도 9는 본원에서 설명되는 기술의 제2 실시예에 따른 전용 인공 지능 시스템을 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면이다. 이하 제2 실시예와 제1 실시예의 차이점을 위주로 제2 실시예를 설명한다.
도 8 및 도 9를 참조하면, 제2 실시예에 따른 전용 인공 지능 시스템(100')은 인터페이스 장치(170)를 더 포함하는 점에서, 제1 실시예에 따른 전용 인공 지능 시스템(100)과 차이가 있다. 인터페이스 장치(170)는 통신부(110)에 연결된다. 인터페이스 장치(170)는 예컨대 통신 칩, 메모리 및 CPU를 포함하는 컴퓨팅 장치에 의해서 구현될 수 있다.
제2 실시예에 따른 전용 인공 지능 시스템(100')에서, 연산 처리부(130)는 통신 인터페이스(110) 및 인터페이스 장치(170)를 통하여 하나 이상의 외부 인공 지능 시스템(300)과 연결된다. 전용 인공 지능 시스템(100')과 하나 이상의 외부 인공 지능 시스템(300)은 제1 실시예와 마찬가지로 방화벽(400)과 같은 보안 구성을 통하여 연결되는 것이 바람직하다.
도 10은 본원에서 설명되는 기술의 제2 실시예에 따른 인터페이스 장치가 수행하는 처리를 예시적으로 나타내는 도면이다.
도 10을 참조하면, 인터페이스 장치(170)는 연산부(130)로부터 통신 인터페이스(110)를 통하여 전달되는 외부 질의 정보를 하나 이상의 외부 인공 지능 시스템(300)으로 각각 전송하고, 하나 이상의 외부 인공 지능 시스템(300)으로부터 하나 이상의 제2 출력 정보를 각각 수신하고 통신 인터페이스(110)를 통하여 연산부(130)로 전송하는 처리 S210을 수행한다.
인터페이스 장치(170)에 의해서, 전용 인공 지능 시스템(100')과 하나 이상의 외부 인공 지능 시스템(300)은 간접적으로 접속된다. 따라서, 전용 인공 지능 시스템(100')으로부터 민감 정보가 노출될 수 있는 확률을 보다 더 줄일 수 있다. 바람직하게는, 인터페이스 장치(170) 역시 방화벽(400)을 통하여 하나 이상의 외부 인공 지능 시스템(300)과 접속될 수 있다.
도 10을 참조하면, 인터페이스 장치(170)는 하나 이상의 제2 출력 정보를 기초로 하나 이상의 외부 인공 지능 시스템(300)의 성능에 대한 통계 정보를 생성하는 처리 S220을 수행할 수 있다. 통계 정보는, 하나 이상의 외부 인공 지능 시스템(300) 각각이 하나 이상의 제2 출력 정보 중 대응되는 제2 출력 정보를 제공하는 속도 및 대응되는 제2 출력 정보의 데이터 크기 중 적어도 하나를 포함할 수 있다. 전술한 바와 같이, 인터페이스 장치(170) 역시 컴퓨팅 장치에 의해서 구현될 수 있으므로, 하나 이상의 제2 출력 정보를 기초로 하나 이상의 외부 인공 지능 시스템(300)의 성능에 대한 통계 정보를 생성하는 처리 S220을 수행할 수 있다. 인터페이스 장치(170)가 생성하는 통계 정보를 기초로, 전용 인공 지능 시스템(100')은 하나 이상의 외부 인공 지능 시스템(300) 각각을 평가할 수 있다.
<다른 실시예>
비록 본원에서 설명되는 기술의 실시예가 구체적으로 설명되었지만 이는 단지 본원에서 설명되는 기술을 예시적으로 설명한 것에 불과한 것으로, 본원에서 설명되는 기술이 속하는 기술 분야에서 통상의 지식을 가지는 자라면 본원에서 설명되는 기술의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 변형이 가능할 것이다.
따라서 본 명세서에 설명된 실시예들은 본원에서 설명되는 기술을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본원에서 설명되는 기술의 사상과 범위가 한정되는 것은 아니다. 본원에서 설명되는 기술의 권리 범위는 아래의 청구범위에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본원에서 설명되는 기술의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본원에서 설명되는 기술에 따르면, 보안성을 강화하면서도 외부 인공 지능 시스템의 출력 정보를 이용하여 학습 속도를 높일 수 있는 전용 인공 지능 시스템을 제공할 수 있다.
[부호의 설명]
100, 100': 전용 인공 지능 시스템
110: 통신 인터페이스
130: 연산 처리부
150: 데이터 저장소
170: 인터페이스 장치
200: 전산 시스템
300: 외부 인공 지능 시스템
400: 방화벽

Claims (15)

  1. 기업의 업무 처리를 수행하는 전산 시스템과 연결되는 전용 인공 지능 시스템으로서,
    통신 인터페이스; 및
    상기 통신 인터페이스와 연결되는 연산 처리부
    를 포함하고,
    상기 연산 처리부는, (a) 상기 전산 시스템으로부터 전송되는 입력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (b) 인공 지능 모델을 이용하여 상기 입력 정보로부터 제1 출력 정보를 생성하는 처리; (c) 상기 입력 정보를 기초로 외부 질의 정보를 생성하는 처리; (d) 상기 외부 질의 정보를 하나 이상의 외부 인공 지능 시스템으로 상기 통신 인터페이스를 통하여 각각 전송하는 처리; (e) 상기 하나 이상의 외부 인공 지능 시스템으로부터 각각 전달되는 하나 이상의 제2 출력 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; (f) 상기 제1 출력 정보와 상기 하나 이상의 제2 출력 정보를 상기 인공 지능 모델을 이용하여 비교하여 제3 출력 정보를 생성하는 처리; 및 (g) 상기 제3 출력 정보를 상기 전산 시스템으로 상기 통신 인터페이스를 통하여 전송하는 처리를 수행하는 것인 전용 인공 지능 시스템.
  2. 제1항에 있어서,
    상기 연산 처리부는, (h) 상기 제1 출력 정보, 상기 하나 이상의 제2 출력 정보 및 상기 제3 출력 정보 중 적어도 하나를 기초로 상기 인공 지능 모델을 학습시키는 처리를 더 수행하는 것인 전용 인공 지능 시스템.
  3. 제1항에 있어서,
    상기 연산 처리부는,
    (i) 상기 전산 시스템으로부터 상기 제3 출력 정보에 대한 응답 정보를 상기 통신 인터페이스를 통하여 수신하는 처리; 및
    (j) 상기 제1 출력 정보, 상기 하나 이상의 제2 출력 정보, 상기 제3 출력 정보 및 상기 응답 정보 중 적어도 하나를 기초로 상기 인공 지능 모델을 학습시키는 처리
    를 더 수행하는 것인 전용 인공 지능 시스템.
  4. 제1항에 있어서,
    상기 처리 (b)는,
    (b-1) 상기 인공 지능 모델을 기초로 상기 입력 정보로부터 제1 요소 정보(element information) 내지 제n 요소 정보(n은 2이상의 자연수)를 추출하는 처리;
    (b-2) 상기 제1 요소 정보 내지 상기 제n 요소 정보 각각에 대해서 제1 가중치 내지 제n 가중치를 부여하는 처리;
    (b-3) 전이 함수(transfer function)를 이용하여 상기 제1 요소 정보 내지 상기 제n 요소 정보, 상기 제1 가중치 내지 상기 제n 가중치를 연산하여 함수값을 생성하는 처리;
    (b-4) 활성 함수(activation function)를 이용하여 상기 함수값의 엔트로피값을 추출하는 처리;
    (b-5) 상기 엔트로피값이 미리 지정된 범위 이내로 될 때까지 상기 제1 가중치 내지 상기 제n 가중치를 조정하여 상기 처리 (b-3) 및 상기 처리 (b-4)를 반복 수행하는 처리; 및
    (b-6) 상기 처리 (b-5) 이후에 상기 함수값을 상기 제1 출력 정보로 지정하하는 처리
    를 포함하는 것인 전용 인공 지능 시스템.
  5. 제4항에 있어서,
    상기 처리 (b)는, (b-7) 상기 처리 (b-5) 이후에 상기 제1 가중치 내지 상기 제n 가중치를 저장하는 처리
    를 더 포함하는 것인 전용 인공 지능 시스템.
  6. 제1항에 있어서,
    상기 처리 (c)는, (c-1) 상기 입력 정보에 포함된 민감 정보(sensitive information)를 필터링하여 상기 외부 질의 정보를 생성하는 처리를 포함하는 것인 전용 인공 지능 시스템.
  7. 제1항에 있어서,
    상기 처리 (c)는, (c-2) 상기 입력 정보에 포함된 민감 정보를 무의미 정보(meaningless information)로 대체하여 상기 외부 질의 정보를 생성하는 처리를 포함하는 것인 전용 인공 지능 시스템.
  8. 제1항에 있어서,
    상기 처리 (f)는, (f-1) 상기 제1 출력 정보와 상기 하나 이상의 제2 출력 정보 중에서 가장 빈도수가 높은 것을 기초로 상기 제3 출력 정보를 생성하는 처리를 포함하는 것인 전용 인공 지능 시스템.
  9. 제1항에 있어서,
    상기 처리 (f)는, (f-2) 상기 제1 출력 정보와 상기 하나 이상의 제2 출력 정보 중에서 상기 인공 지능 모델에 의해서 결정되는 정확도가 가장 높은 것을 기초로 상기 제3 출력 정보를 생성하는 처리를 포함하는 것인 전용 인공 지능 시스템.
  10. 제1항에 있어서,
    상기 연산 처리부는 직접 연결되거나 통신망을 통하여 연결되는 하나 이상의 프로세서를 포함하는 것인 전용 인공 지능 시스템.
  11. 제1항에 있어서,
    상기 인공 지능 모델을 저장하는 데이터 저장소
    를 더 포함하는 것인 전용 인공 지능 시스템.
  12. 제1항에 있어서,
    상기 통신 인터페이스와 연결되며, 상기 연산부로부터 상기 통신 인터페이스를 통하여 전달되는 상기 외부 질의 정보를 상기 하나 이상의 외부 인공 지능 시스템으로 각각 전송하고, 상기 하나 이상의 외부 인공 지능 시스템으로부터 상기 하나 이상의 제2 출력 정보를 각각 수신하고 상기 통신 인터페이스를 통하여 상기 연산부로 전송하는 인터페이스 장치
    를 더 포함하는 전용 인공 지능 시스템.
  13. 제12항에 있어서,
    상기 인터페이스 장치는, 상기 하나 이상의 제2 출력 정보를 기초로 상기 하나 이상의 외부 인공 지능 시스템의 성능에 대한 통계 정보를 생성하는 것인 전용 인공 지능 시스템.
  14. 제13항에 있어서,
    상기 통계 정보는, 상기 하나 이상의 외부 인공 지능 시스템 각각이 상기 하나 이상의 제2 출력 정보 중 대응되는 제2 출력 정보를 제공하는 속도 및 상기 대응되는 제2 출력 정보의 데이터 크기 중 적어도 하나를 포함하는 것인 전용 인공 지능 시스템.
  15. 제12항에 있어서,
    상기 인터페이스 장치는 방화벽을 통하여 상기 하나 이상의 외부 인공 지능 시스템과 접속되는 것인 전용 인공 지능 시스템.
PCT/KR2020/013457 2019-12-19 2020-10-05 전용 인공 지능 시스템 WO2021125517A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/497,752 US20220027793A1 (en) 2019-12-19 2021-10-08 Dedicated artificial intelligence system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190170334A KR102118588B1 (ko) 2019-12-19 2019-12-19 전용 인공 지능 시스템
KR10-2019-0170334 2019-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/497,752 Continuation US20220027793A1 (en) 2019-12-19 2021-10-08 Dedicated artificial intelligence system

Publications (1)

Publication Number Publication Date
WO2021125517A1 true WO2021125517A1 (ko) 2021-06-24

Family

ID=71088008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013457 WO2021125517A1 (ko) 2019-12-19 2020-10-05 전용 인공 지능 시스템

Country Status (3)

Country Link
US (1) US20220027793A1 (ko)
KR (1) KR102118588B1 (ko)
WO (1) WO2021125517A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118588B1 (ko) * 2019-12-19 2020-06-03 주식회사 유니온플레이스 전용 인공 지능 시스템
CN112444858B (zh) * 2020-12-09 2022-03-22 中国科学院地质与地球物理研究所 基于边云协同的地震实时监测ai计算方法、装置及介质
US20230214276A1 (en) * 2022-01-04 2023-07-06 International Business Machines Corporation Artificial Intelligence Model Management

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180015640A (ko) * 2015-05-04 2018-02-13 사이드 캄란 하산 컴퓨터 네트워크에서의 보안 관리를 위한 방법 및 장치
KR20180056756A (ko) * 2015-09-24 2018-05-29 서케이든스 코퍼레이션 임무 기반의 게임-실행형 사이버 교육 시스템 및 방법
US20180260734A1 (en) * 2017-03-07 2018-09-13 Cylance Inc. Redaction of artificial intelligence training documents
KR20190006901A (ko) * 2017-07-11 2019-01-21 더 보잉 컴파니 적응형 기계 학습 피처들을 가진 사이버 보안 시스템
KR20190118332A (ko) * 2018-04-10 2019-10-18 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102118588B1 (ko) * 2019-12-19 2020-06-03 주식회사 유니온플레이스 전용 인공 지능 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605379B2 (en) 2019-07-11 2023-03-14 Lg Electronics Inc. Artificial intelligence server
US20210287128A1 (en) 2019-08-08 2021-09-16 Lg Electronics Inc. Artificial intelligence server
KR20190106861A (ko) 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180015640A (ko) * 2015-05-04 2018-02-13 사이드 캄란 하산 컴퓨터 네트워크에서의 보안 관리를 위한 방법 및 장치
KR20180056756A (ko) * 2015-09-24 2018-05-29 서케이든스 코퍼레이션 임무 기반의 게임-실행형 사이버 교육 시스템 및 방법
US20180260734A1 (en) * 2017-03-07 2018-09-13 Cylance Inc. Redaction of artificial intelligence training documents
KR20190006901A (ko) * 2017-07-11 2019-01-21 더 보잉 컴파니 적응형 기계 학습 피처들을 가진 사이버 보안 시스템
KR20190118332A (ko) * 2018-04-10 2019-10-18 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102118588B1 (ko) * 2019-12-19 2020-06-03 주식회사 유니온플레이스 전용 인공 지능 시스템

Also Published As

Publication number Publication date
KR102118588B1 (ko) 2020-06-03
US20220027793A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
WO2021125517A1 (ko) 전용 인공 지능 시스템
US10257212B2 (en) Method and system for detecting malware
WO2021095987A1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
WO2012091400A1 (en) System and method for detecting malware in file based on genetic map of file
WO2017155292A1 (ko) 비정상행위 탐색방법 및 탐색프로그램
WO2020149586A1 (ko) 복수의 사용자의 동의 여부를 판단하여 하나의 서비스를 제공하는 서비스 제공 방법 및 장치
WO2021025203A1 (ko) 인공지능 기반의 메일 관리 방법 및 장치
WO2021112463A1 (ko) 기업을 위한 정보 제공 장치 및 방법
US11930020B2 (en) Detection and mitigation of security threats to a domain name system for a communication network
WO2020213763A1 (ko) 블록체인과는 다른 형식의 저장소에 저장되는 블록체인 데이터를 검증하는 방법 및 시스템
WO2018160039A1 (ko) 분할 기능을 이용한 자동 인증 처리 방법 및 시스템
WO2017131355A1 (ko) 시스템 환경 및 사용자 행동 분석 기반의 자기 방어 보안 장치와 이의 작동 방법
US20190173844A1 (en) Firewall device
WO2021071089A1 (en) Blockchain data search method
WO2023149660A1 (ko) 그룹 서명 기반 연합학습 방법 및 시스템, 이를 수행하기 위한 기록 매체
WO2020138608A1 (ko) 복수의 챗봇을 이용한 질의 응답 방법 및 장치
WO2021256603A1 (ko) 딥러닝 모델을 이용한 침입탐지모델 생성 방법
US11528259B2 (en) Systems and methods for providing a systemic error in artificial intelligence algorithms
WO2020138588A1 (ko) 신약 후보 물질 발굴을 위한 데이터 처리 장치 및 방법
WO2023128418A1 (ko) 인공지능 모델 통합 관리 및 배포 시스템과 그 방법
US11763000B1 (en) Malware detection using federated learning
WO2022139402A1 (ko) 진단 분류 장치 및 방법
US11973743B2 (en) Systems and methods for providing a systemic error in artificial intelligence algorithms
WO2023127979A1 (ko) Autosar 센서 인터페이스의 정적 설정 시스템 및 방법
WO2024096463A1 (ko) 엣지 컴퓨팅을 이용한 서비스를 제공하는 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20901116

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20901116

Country of ref document: EP

Kind code of ref document: A1