WO2019132170A1 - 학습용 데이터 관리방법, 장치 및 프로그램 - Google Patents

학습용 데이터 관리방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2019132170A1
WO2019132170A1 PCT/KR2018/010335 KR2018010335W WO2019132170A1 WO 2019132170 A1 WO2019132170 A1 WO 2019132170A1 KR 2018010335 W KR2018010335 W KR 2018010335W WO 2019132170 A1 WO2019132170 A1 WO 2019132170A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning data
learned model
learning
new
existing
Prior art date
Application number
PCT/KR2018/010335
Other languages
English (en)
French (fr)
Inventor
정희철
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Publication of WO2019132170A1 publication Critical patent/WO2019132170A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Definitions

  • the present invention relates to a learning data management method, apparatus, and program.
  • AI Artificial intelligence
  • AI is a computer system that implements human-level intelligence. Unlike existing Rule-based smart systems, AI is a system in which machines learn, judge and become smart. Artificial intelligence systems are increasingly recognized and improving their understanding of user preferences as they are used, and existing rule-based smart systems are gradually being replaced by deep-run-based artificial intelligence systems.
  • Artificial intelligence technology consists of element technologies that utilize deep learning and machine learning.
  • Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself.
  • Element technology is a technology that simulates functions such as recognition and judgment of human brain using machine learning algorithms such as deep learning. Understanding, reasoning / prediction, knowledge representation, and motion control.
  • Deep Neural Network is widely used for machine learning and is considered to be close to human level in object, face, and speech recognition.
  • DNN Deep Neural Network
  • a method of fine tuning by using a basic data set and then using a data set of a specific field is frequently used.
  • a problem to be solved by the present invention is to provide a learning data management method, an apparatus, and a program.
  • a learning data management method comprising the steps of: acquiring new learning data from a computer; performing a test on the acquired new learning data using the learned model; , Extracting first learning data in which the labeled information is acquired with an accuracy of at least a first reference value, extracting the extracted first learning data from the new learning data, and extracting the extracted learning data And re-learning the learned model using the deleted new learning data.
  • the predetermined first reference value may be adjusted such that the amount of the new learning data does not exceed a predetermined range.
  • the method may further comprise the steps of: acquiring existing learning data used for learning the learned model; performing a test on the existing learning data using the re-learned model; Extracting second learning data obtained with an accuracy equal to or higher than a predetermined second reference value, and deleting the extracted second learning data from the existing learning data.
  • the predetermined second reference value may be adjusted such that the amounts of the new learning data and the existing learning data do not exceed a predetermined range.
  • the testing may include determining when to perform the test, and performing the test if the amount of the new learning data exceeds a predetermined reference value.
  • the step of performing the test may further include the steps of: inputting the labeled third learning data included in the new learning data into the learned model; obtaining an output of the learned model; And comparing the information labeled with the third learning data.
  • the step of re-learning the learned model may include re-learning the learned model so that the decision boundary of the learned model is the same as the learned model again.
  • the method may further include acquiring existing learning data used for learning of the learned model, and the step of re-learning the learned model further comprises: extracting from the existing learning data using the re-learned model And re-learning the learned model so as to be located near the feature extracted from the existing learning data using the learned model.
  • a learning data management apparatus including a memory for storing one or more instructions and a processor for executing the one or more instructions stored in the memory, Executing an instruction to acquire new learning data; performing a test on the acquired new learning data using the learned model; and a step of performing a test on the acquired new learning data using the learned model, Extracting the first learning data to be acquired, deleting the extracted first learning data from the new learning data, and re-learning the learned model using the new learning data from which the extracted learning data has been deleted .
  • a computer program stored in a recording medium readable by a computer to perform a learning data management method according to an embodiment of the present invention in combination with a hardware computer.
  • FIG. 1 is a simplified schematic diagram of a system capable of performing robotic surgery in accordance with the disclosed embodiments.
  • FIG. 2 is a flowchart illustrating a method of managing learning data according to an embodiment.
  • FIG. 3 is a view showing a storage space including existing learning data and a previously learned model according to an embodiment.
  • 4 is a diagram showing an example of selecting new learning data.
  • 5 is a diagram showing an example in which the learned model is re-learned.
  • FIG. 6 is a flowchart illustrating a method of managing and utilizing existing training data according to an embodiment.
  • FIG. 7 is a diagram showing an example of a method of managing existing learning data.
  • FIG. 8 is a view showing a storage space in which new and existing learning data are stored.
  • FIG. 9 is a block diagram of an apparatus according to an embodiment.
  • the term “part” or “module” refers to a hardware component, such as a software, FPGA, or ASIC, and a “component” or “module” performs certain roles. However, “part” or “ module “ is not meant to be limited to software or hardware. A “module “ or “ module “ may be configured to reside on an addressable storage medium and configured to play back one or more processors. Thus, by way of example, “a” or " module " is intended to encompass all types of elements, such as software components, object oriented software components, class components and task components, Microcode, circuitry, data, databases, data structures, tables, arrays, and variables, as used herein. Or " modules " may be combined with a smaller number of components and "parts " or " modules " Can be further separated.
  • FIG. 1 is a simplified schematic diagram of a system capable of performing robotic surgery in accordance with the disclosed embodiments.
  • the robot surgery system includes a medical imaging apparatus 10, a server 100, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34.
  • the medical imaging equipment 10 may be omitted from the robotic surgery system according to the disclosed embodiment.
  • the surgical robot 34 includes a photographing device 36 and a surgical tool 38.
  • robotic surgery is performed by the user controlling the surgical robot 34 using the control unit 30.
  • robot surgery may be performed automatically by the control unit 30 without user control.
  • the server 100 is a computing device that includes at least one processor and a communication unit.
  • the control unit 30 includes a computing device including at least one processor and a communication unit. In one embodiment, the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.
  • the photographing apparatus 36 includes at least one image sensor. That is, the photographing device 36 includes at least one camera device and is used to photograph a target object, that is, a surgical site. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.
  • the image photographed at the photographing device 36 is displayed on the display 340.
  • the surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, anchoring, grabbing, etc., of the surgical site.
  • the surgical tool 38 is used in combination with the surgical arm of the surgical robot 34.
  • the control unit 30 receives information necessary for surgery from the server 100 or generates information necessary for surgery and provides the information to the user. For example, the control unit 30 displays on the display 32 information necessary for surgery, which is generated or received.
  • the user operates the control unit 30 while viewing the display 32 to perform the robot surgery by controlling the movement of the surgical robot 34.
  • the server 100 generates information necessary for robot surgery using the medical image data of the object photographed beforehand from the medical imaging equipment 10 and provides the generated information to the control unit 30.
  • the control unit 30 provides the information received from the server 100 to the user by displaying the information on the display 32 or controls the surgical robot 34 using the information received from the server 100.
  • the means that can be used in the medical imaging equipment 10 is not limited, and various other medical imaging acquiring means such as CT, X-Ray, PET, MRI and the like may be used.
  • the surgical image obtained in the photographing device 36 is transmitted to the control section 30.
  • control unit 30 may segment the surgical image obtained during the operation in real time.
  • control unit 30 transmits a surgical image to the server 100 during or after surgery.
  • the server 100 can divide and analyze the surgical image.
  • the server 100 learns and stores at least one model for dividing and analyzing a surgical image. In addition, the server 100 learns and stores at least one model for generating an optimized surgical process.
  • the server 100 uses learning data to learn at least one model, and the learning data includes, but is not limited to, surgical and surgical image labeling information.
  • FIG. 2 is a flowchart illustrating a method of managing learning data according to an embodiment.
  • the embodiment shown in FIG. 2 includes one or more steps performed in time series by the server 100 shown in FIG.
  • step S110 the server 100 acquires new learning data.
  • the new learning data includes labeled data that can be used for learning.
  • the subject for labeling the training data is not limited.
  • the labeling may be performed by a person or automatically by a computer.
  • the storage space 200 may mean a memory included in the server 100 or an external storage space or a cloud storage space that can communicate with the server 100 in a wired or wireless manner.
  • information on the existing learning data 210 and the learned model 220 may be stored in the same storage space or may be divided and stored in different storage spaces.
  • the information about the learned model 220 may include, but is not limited to, information about at least one parameter for constructing the neural network of the learned model 220.
  • the server 100 acquires new learning data 300.
  • the new learning data 300 may be stored in the storage space 200 or may be stored in a separate database.
  • the new learning data 300 may be stored in the same space as the existing learning data 210 or may be separately stored in another space.
  • step S120 the server 100 performs a test on the new learning data acquired in step S110, using the learned model 220.
  • the server 100 determines when to perform the test, and may perform a test if the amount of new learning data 300 obtained exceeds a predetermined reference value.
  • the server 100 may perform the test when the entropy of the learning data or the new learning data 300 stored in the storage space 200 exceeds a predetermined reference value, but the present invention is not limited thereto.
  • the server 100 enters one or more labeled learning data contained in the new learning data 300 into the learned model 220.
  • the server 100 acquires the output of the learned model 220 and compares the obtained output with the information labeled with the learning data input to the learned model 220. [ For example, if it is determined that the obtained output and the labeled information are similar to each other by a predetermined reference value or more, the server 100 can determine that the test for the corresponding learning data has been passed.
  • step S130 the server 100 extracts learning data for which the labeled information is acquired with an accuracy of at least a predetermined reference value, and deletes the extracted learning data from the new learning data.
  • the server 100 when the new learning data 300 is acquired for the learned model, the server 100 re-learns the learned model 220 based on the acquired data, so that the accuracy of the learned model 220 , Or broaden the applicable range.
  • the server 100 selects training data , It is possible to store only the selected learning data and to use it for learning of the model.
  • FIG. 4 an example of selecting new learning data is shown.
  • the server 100 may perform a test on the learned model 220 using the new learning data 300 as a test data set.
  • the learned model 220 receives the specific learning data and can obtain the information labeled with the learning data with an accuracy of a predetermined reference value or more, the server 100 has already learned the learning data And the corresponding learning data may not be used for learning.
  • the server 100 extracts the learning data 310 from which the information labeled from the new learning data 300 is acquired with an accuracy of at least a predetermined reference value, and extracts the extracted learning data 310 from the new learning data 300 .
  • the server 100 stores the remaining learning data 320 after deleting the extracted learning data 310 in the storage space 200 and utilizes the data for learning.
  • the predetermined reference value can be adjusted such that the amount of new learning data 320 does not exceed a predetermined range.
  • the predetermined reference value may be adjusted so that the amount of new learning data 320 does not exceed 50% of the acquired new learning data 300, but is not limited thereto.
  • step S140 the server 100 re-learns the learned model 220 using the new learning data 320 from which the extracted learning data 310 has been deleted.
  • the server 100 re-learns the learned model 220 using the new learning data 320 and obtains the re-learned model 400 as a result.
  • the server 100 re-learns the learned model 220 using the new learning data 320 so that the learned model 220 does not forget the learning results based on the existing learning data 210 can do.
  • the learned model 220 includes a Deep Neural Network (DNN), and re-learning of the learned model 220 using the new learning data 320 can be performed by fine tuning ). ≪ / RTI > However, there is a tendency to forget previously learned information in the process.
  • DNN Deep Neural Network
  • a less-forgetful learning method can be applied in the process of expanding the domain of the neural network, in which less learned information is less forgotten.
  • the server 100 can keep the previously learned information even in the case where the existing learning data 210 can not be accessed, thereby preventing the waste of the storage space for storing the existing learning data 210 And it is possible to prevent a waste of learning time such as re-learning existing learning data 210 in a learning process.
  • the server 100 may utilize the existing learning data 210, but may select existing learning data 210 according to a predetermined criterion, and utilize the selected learning data 210 only. A method of selecting and utilizing existing learning data 210 will be described later.
  • the lower layer of the neural network is recognized as a feature extractor, and the highest layer is recognized as having characteristics of a linear classifier. That is, the weight of the soft max classifier represents a decision boundary for classifying the feature.
  • the feature extracted from the data of the existing region using the new neural network should be located close to the feature extracted from the data of the existing region.
  • the server 100 performs re-learning of the learned model 220 based on the above two characteristics
  • the property that the first characteristic, that is, the decision boundary, should not be changed can be applied by setting the learning rate of the boundary to zero.
  • the second characteristic can not be applied simply because it is impossible to access the data of the existing region.
  • the second characteristic can be satisfied by using the learning data of the new area instead of the data of the existing area.
  • the server 100 first recycles the weight of the existing neural network, as in the conventional fine adjustment method. That is, the weight of the existing neural network is used as the initial weight of the new neural network.
  • the server 100 freezes the weight of the soft max classifier to freeze the boundary of the classifier.
  • the server 100 may then train the in-depth network in a direction that minimizes the total loss function.
  • a method of achieving the above-mentioned second characteristic by accessing a part of the learning data of the existing area can also be considered. For example, by making some of the learning data of the existing area selectively accessible, the learning efficiency can be increased.
  • FIG. 6 is a flowchart illustrating a method of managing and utilizing existing training data according to an embodiment.
  • step S150 the server 100 acquires existing learning data 210 used for learning of the learned model 220.
  • step S160 the server 100 performs the test on the existing training data 210 using the learned model 400 again.
  • the server 100 inputs one or more labeled training data contained in the existing training data 210 into the re-learned model 400.
  • the server 100 acquires the output of the learned model 400 again and compares the obtained output with the information labeled with the learning data input to the re-learned model 400 again. For example, if it is determined that the obtained output and the labeled information are similar to each other by a predetermined reference value or more, the server 100 can determine that the test for the corresponding learning data has been passed.
  • the server 100 may extract learning data for which the labeled information is acquired with an accuracy of a predetermined reference value or more, and delete the extracted learning data from the existing learning data 210 as a result of the test.
  • FIG. 7 an example of a method of managing existing training data 210 is shown.
  • the server 100 inputs one or more labeled learning data included in the existing learning data 210 into the re-learned model 400 and outputs the learning data 212, which is obtained at an accuracy of a predetermined reference value or more, And the extracted learning data 212 can be deleted from the existing learning data 210. [ That is, the learning data 212 extracted from the existing learning data 210 is deleted, and the remaining existing learning data 214 is stored in the storage space 200.
  • the existing learning data is well processed even though the learning has been performed using the new learning data, the existing learning data is deleted, so that the learning speed can be increased and the storage space can be saved.
  • the predetermined reference value may be adjusted such that the amount of existing training data does not exceed a predetermined range. Likewise, the predetermined reference value can be adjusted such that the amount of new learning data and existing learning data does not exceed a predetermined range.
  • FIG. 8 a storage space storing new and existing learning data is shown.
  • the server 100 stores the data 214 in which some of the new learning data has been deleted and the data 320 in which some of the existing learning data has been deleted, in the storage space 200.
  • the existing learning data 214 and the new learning data 320 can be stored together in the storage space 200 as existing learning data 210 together.
  • the predetermined reference value may be set such that the amount of the existing learning data 214 and the amount of the new learning data 320 does not exceed the amount of the existing learning data 210.
  • the server 100 performs re-learning when new learning data is added, but the amount of the entire learning data can be kept constant.
  • FIG. 9 is a block diagram of an apparatus according to an embodiment.
  • the processor 102 may include one or more cores (not shown) and a connection path (e.g., a bus, etc.) to transmit and receive signals to and / or from a graphics processing unit (not shown) .
  • a connection path e.g., a bus, etc.
  • the processor 102 in accordance with one embodiment performs one or more instructions stored in the memory 104 to perform the training data management method described with reference to Figures 1-8.
  • the processor 102 may perform one or more instructions stored in a memory to allow the computer to acquire new learning data, perform a test on the acquired new learning data using the learned model, Extracts first learning data in which the labeled information is acquired with an accuracy of a predetermined first reference value or more, deletes the extracted first learning data from the new learning data, and deletes the extracted first learning data from the new learning data
  • the learned model can be re-learned using data.
  • the processor 102 may include a random access memory (RAM) (not shown) and a read-only memory (ROM) for temporarily and / or permanently storing signals (or data) , Not shown).
  • the processor 102 may be implemented as a system-on-chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.
  • SoC system-on-chip
  • the memory 104 may store programs (one or more instructions) for processing and control of the processor 102. Programs stored in the memory 104 may be divided into a plurality of modules according to functions.
  • the learning data management method can be implemented as a program (or an application) to be executed in combination with a computer, which is hardware, and can be stored in a medium.
  • the above-described program may be stored in a computer-readable medium such as C, C ++, JAVA, machine language, or the like that can be read by the processor (CPU) of the computer through the device interface of the computer, And may include a code encoded in a computer language of the computer.
  • code may include a functional code related to a function or the like that defines necessary functions for executing the above methods, and includes a control code related to an execution procedure necessary for the processor of the computer to execute the functions in a predetermined procedure can do.
  • code may further include memory reference related code as to whether the additional information or media needed to cause the processor of the computer to execute the functions should be referred to at any location (address) of the internal or external memory of the computer have.
  • the code may be communicated to any other computer or server remotely using the communication module of the computer
  • a communication-related code for determining whether to communicate, what information or media should be transmitted or received during communication, and the like.
  • the medium to be stored is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and is capable of being read by a device.
  • examples of the medium to be stored include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, but are not limited thereto.
  • the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer.
  • the medium may be distributed to a network-connected computer system so that computer-readable codes may be stored in a distributed manner.
  • the steps of a method or algorithm described in connection with the embodiments of the present invention may be embodied directly in hardware, in software modules executed in hardware, or in a combination of both.
  • the software module may be a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, a CD- May reside in any form of computer readable recording medium known in the art to which the invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

컴퓨터가 신규 학습용 데이터를 획득하는 단계, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하는 단계, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하는 단계, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하는 단계 및 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시키는 단계를 포함하는, 학습용 데이터 관리방법이 개시된다.

Description

학습용 데이터 관리방법, 장치 및 프로그램
본 발명은 학습용 데이터 관리방법, 장치 및 프로그램에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
심층 신경망(DNN: Deep Neural Network)은 기계학습에 널리 사용되며, 객체, 얼굴 및 발화(음성)인식에 있어서 인간의 수준에 근접한 것으로 판단된다. 심층 신경망을 학습시키는 데 있어, 우선 기본 데이터셋을 이용하여 학습시킨 후 특정 분야의 데이터셋을 이용하여 미세 조정(fine tuning)하는 방식이 빈번하게 이용된다.
본 발명이 해결하고자 하는 과제는 학습용 데이터 관리방법, 장치 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 학습용 데이터 관리방법은, 컴퓨터가 신규 학습용 데이터를 획득하는 단계, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하는 단계, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하는 단계, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하는 단계 및 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시키는 단계를 포함한다.
또한, 상기 소정의 제1 기준값은, 상기 신규 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정되는 것을 특징으로 할 수 있다.
또한, 상기 학습된 모델의 학습에 기 이용된, 기존 학습용 데이터를 획득하는 단계, 상기 다시 학습된 모델을 이용하여, 상기 기존 학습용 데이터에 대한 테스트를 수행하는 단계 및 상기 테스트 결과, 라벨링된 정보가 소정의 제2 기준값 이상의 정확도로 획득되는 제2 학습용 데이터를 추출하는 단계 및 상기 추출된 제2 학습용 데이터를 상기 기존 학습용 데이터로부터 삭제하는 단계를 더 포함할 수 있다.
또한, 상기 소정의 제2 기준값은, 상기 신규 학습용 데이터 및 상기 기존 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정되는 것을 특징으로 할 수 있다.
또한, 상기 테스트를 수행하는 단계는, 상기 테스트를 수행하는 시점을 결정하되, 상기 신규 학습용 데이터의 양이 소정의 기준값을 초과하는 경우 상기 테스트를 수행하는, 단계를 포함할 수 있다.
또한, 상기 테스트를 수행하는 단계는, 상기 신규 학습용 데이터에 포함된, 라벨링된 제3 학습용 데이터를 상기 학습된 모델에 입력하는 단계, 상기 학습된 모델의 출력을 획득하는 단계 및 상기 획득된 출력과 상기 제3 학습용 데이터에 라벨링된 정보를 비교하는 단계를 포함할 수 있다.
또한, 상기 학습된 모델을 다시 학습시키는 단계는, 다시 학습된 모델과, 상기 학습된 모델의 결정경계(decision boundary)가 동일하도록 상기 학습된 모델을 다시 학습시키는 단계를 포함할 수 있다.
또한, 상기 학습된 모델의 학습에 기 이용된, 기존 학습용 데이터를 획득하는 단계를 더 포함하고, 상기 학습된 모델을 다시 학습시키는 단계는, 상기 다시 학습된 모델을 이용하여 상기 기존 학습용 데이터로부터 추출되는 특징이 상기 학습된 모델을 이용하여 상기 기존 학습용 데이터로부터 추출되는 특징과 가까이 위치하도록 상기 학습된 모델을 다시 학습시키는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 학습용 데이터 관리장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 신규 학습용 데이터를 획득하는 단계, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하는 단계, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하는 단계, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하는 단계 및 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시키는 단계를 수행한다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 학습용 데이터 관리방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
개시된 실시 예에 따르면, 학습에 소요되는 시간과, 학습용 데이터를 저장하기 위한 저장공간을 감축할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 2는 일 실시 예에 따라 학습용 데이터를 관리하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따라 기존 학습 데이터 및 기 학습된 모델을 포함하는 저장공간을 도시한 도면이다.
도 4는 신규 학습용 데이터를 선별하는 일 예를 도시한 도면이다.
도 5는 학습된 모델을 다시 학습시키는 일 예를 도시한 도면이다.
도 6은 일 실시 예에 따라 기존 학습용 데이터를 관리 및 활용하는 방법을 도시한 흐름도이다.
도 7은 기존 학습용 데이터를 관리하는 방법의 일 예를 도시한 도면이다.
도 8은 신규 및 기존 학습용 데이터가 저장된 저장공간을 도시한 도면이다.
도 9는 일 실시 예에 따른 장치의 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
개시된 실시 예에서, 촬영장치(36)에서 획득되는 수술영상은 제어부(30)로 전달된다.
일 실시 예에서, 제어부(30)는 수술 중에 획득되는 수술영상을 실시간으로 분할(segmentation)할 수 있다.
일 실시 예에서, 제어부(30)는 수술 중 또는 수술이 완료된 후 수술영상을 서버(100)에 전송한다.
서버(100)는 수술영상을 분할하여 분석할 수 있다.
서버(100)는 수술영상을 분할하여 분석하기 위한 적어도 하나의 모델을 학습 및 저장한다. 또한, 서버(100)는 최적화된 수술 프로세스를 생성하기 위한 적어도 하나의 모델을 학습 및 저장한다.
서버(100)는 적어도 하나의 모델을 학습하기 위하여 학습 데이터를 이용하며, 학습 데이터는 수술 영상 및 수술 영상에 대한 라벨링 정보를 포함하나, 이에 제한되지 않는다.
이하에서는, 서버(100)가 수집되는 학습 데이터를 관리하고, 모델을 학습시키는 방법에 대하여 설명한다. 단, 이하에서 개시되는 실시 예들은 도 1에 도시된 로봇수술 시스템과 연관되어서만 적용될 수 있는 것은 아니고, 학습 데이터를 수집, 저장 및 관리하며, 이를 이용하여 학습을 수행하고, 학습된 모델을 업데이트하는 모든 종류의 실시 예들에도 적용될 수 있다.
도 2는 일 실시 예에 따라 학습용 데이터를 관리하는 방법을 도시한 흐름도이다.
도 2에 도시된 실시 예는 도 1에 도시된 서버(100)에 의하여 시계열적으로 수행되는 하나 이상의 단계를 포함한다.
단계 S110에서, 서버(100)는 신규 학습용 데이터를 획득한다.
일 실시 예에서, 신규 학습용 데이터는 학습에 이용될 수 있는 라벨링된 데이터를 포함한다. 학습용 데이터를 라벨링하는 주체는 제한되지 않으며, 예를 들어 라벨링은 사람에 의하여 수행될 수도 있고, 컴퓨터에 의하여 자동으로 수행될 수도 있다.
도 3을 참조하면, 저장공간(200)에는 기존 학습 데이터(210) 및 기 학습된 모델(220)에 대한 정보가 저장된다. 실시 예에 따라서, 저장공간(200)은 서버(100)에 포함된 메모리를 의미할 수도 있고, 서버(100)와 유선 또는 무선으로 통신가능한 외부 저장공간이나 클라우드 저장공간을 의미할 수도 있다. 또한, 기존 학습 데이터(210) 및 학습된 모델(220)에 대한 정보는 같은 저장공간에 저장될 수도 있고, 서로 다른 저장공간에 분할되어 저장될 수도 있다.
일 실시 예에서, 학습된 모델(220)에 대한 정보는 학습된 모델(220)의 신경망을 구성하기 위한 적어도 하나의 파라미터에 대한 정보를 포함할 수 있으나, 이에 제한되지 않는다.
일 실시 예에서, 서버(100)는 신규 학습 데이터(300)를 획득한다. 신규 학습 데이터(300)는 저장공간(200)에 저장될 수도 있고, 별도의 데이터베이스에 저장될 수도 있다. 신규 학습 데이터(300)는 기존 학습 데이터(210)와 같은 공간에 저장될 수도 있고, 다른 공간에 별도로 저장될 수도 있다.
단계 S120에서, 서버(100)는 학습된 모델(220)을 이용하여, 단계 S110에서 획득된 신규 학습용 데이터에 대한 테스트를 수행한다.
일 실시 예에서, 서버(100)는 테스트를 수행하는 시점을 결정하되, 획득된 신규 학습용 데이터(300)의 양이 소정의 기준값을 초과하는 경우 테스트를 수행할 수 있다.
또한, 서버(100)는 저장공간(200)에 저장된 학습용 데이터들 또는 신규 학습용 데이터(300)의 엔트로피가 소정의 기준값을 초과하는 경우 테스트를 수행할 수 있으나, 이에 제한되지 않는다.
일 실시 예에서, 서버(100)는 신규 학습용 데이터(300)에 포함된, 하나 이상의 라벨링된 학습용 데이터를 학습된 모델(220)에 입력한다.
서버(100)는 학습된 모델(220)의 출력을 획득하고, 획득된 출력과, 학습된 모델(220)에 입력된 학습용 데이터에 라벨링된 정보를 비교한다. 예를 들어, 서버(100)는 획득된 출력과 라벨링된 정보가 소정의 기준값 이상 유사한 것으로 판단되면, 해당 학습용 데이터에 대한 테스트를 통과한 것으로 판단할 수 있다.
단계 S130에서, 서버(100)는 테스트 결과, 라벨링된 정보가 소정의 기준값 이상의 정확도로 획득되는 학습용 데이터를 추출하고, 추출된 학습용 데이터를 신규 학습용 데이터로부터 삭제한다.
일 실시 예에서, 서버(100)는 학습된 모델에 대하여 신규 학습용 데이터(300)가 획득되면, 획득된 데이터에 기초하여 학습된 모델(220)을 다시 학습시킴으로써, 학습된 모델(220)의 정확도를 높이거나, 적용가능한 범위를 넓힐 수 있다.
하지만, 모델을 학습시키기 위한 신규 학습용 데이터(300)가 많아질수록 학습에 오랜 시간이 필요하고, 누적되는 학습용 데이터를 모두 저장하기에는 많은 저장공간이 필요하므로, 서버(100)는 학습용 데이터를 선별하고, 선별된 학습용 데이터만을 남겨서 저장하고, 모델의 학습에 활용할 수 있다.
도 4를 참조하면, 신규 학습용 데이터를 선별하는 일 예가 도시되어 있다.
일 실시 예로서, 서버(100)는 신규 학습용 데이터(300)를 테스트용 데이터셋으로 하여 학습된 모델(220)에 대한 테스트를 수행할 수 있다. 학습된 모델(220)이 특정 학습용 데이터를 입력받아, 해당 학습용 데이터에 라벨링된 정보를 소정의 기준값 이상의 정확도로 획득할 수 있는 경우, 서버(100)는 해당 학습용 데이터에 대해서는 이미 학습이 잘 된 것으로 판단하고, 해당 학습용 데이터는 학습에 이용하지 않을 수 있다.
따라서, 서버(100)는 신규 학습용 데이터(300)로부터 라벨링된 정보가 소정의 기준값 이상의 정확도로 획득되는 학습용 데이터(310)를 추출하고, 추출된 학습용 데이터(310)를 신규 학습용 데이터(300)로부터 삭제한다. 서버(100)는 추출된 학습용 데이터(310)를 삭제한 후 남은 학습용 데이터(320)를 저장공간(200)에 저장하고, 학습에 활용한다.
일 실시 예에서, 소정의 기준값은, 신규 학습용 데이터(320)의 양이 기 설정된 범위를 넘지 않도록 조정될 수 있다. 예를 들어, 소정의 기준값은, 신규 학습용 데이터(320)의 양이 획득된 신규 학습용 데이터(300)의 50%를 넘지 않도록 조정될 수 있으나, 이에 제한되는 것은 아니다.
단계 S140에서, 서버(100)는 추출된 학습용 데이터(310)가 삭제된 신규 학습용 데이터(320)를 이용하여 학습된 모델(220)을 다시 학습시킨다.
도 5를 참조하면, 학습된 모델(220)을 다시 학습시키는 일 예가 도시되어 있다.
일 실시 예에서, 서버(100)는 학습된 모델(220)을 신규 학습 데이터(320)를 이용하여 다시 학습시키고, 그 결과로서 다시 학습된 모델(400)을 획득한다.
일 실시 예에서, 서버(100)는 신규 학습 데이터(320)를 이용하여 학습된 모델(220)을 다시 학습시키되, 학습된 모델(220)이 기존 학습 데이터(210)에 기초한 학습결과를 잊지 않도록 할 수 있다.
즉, 학습된 모델(220)은 심층 신경망(DNN: Deep Neural Network)을 포함하고, 신규 학습 데이터(320)를 이용하여 학습된 모델(220)을 다시 학습시키는 것은 심층 신경망을 미세 조정(fine tuning)하는 것으로 이해될 수 있다. 다만, 과정에서 기존에 학습된 정보를 잊어버리는 경향이 있다.
따라서, 심층 신경망의 영역(domain)을 확장시키는 과정에서 기존에 학습된 정보를 덜 잊어버리도록 하는 학습방식(less-forgetful learning method)이 적용될 수 있다.
이 경우, 서버(100)는 기존 학습용 데이터(210)들에 접근할 수 없는 상황에서도 기존에 학습된 정보를 유지할 수 있도록 하여, 기존 학습용 데이터(210)를 저장하기 위한 저장공간의 낭비를 막을 수 있고, 학습과정에서 기존 학습용 데이터(210)를 다시 학습하는 등의 학습시간 낭비를 막을 수 있다.
실시 예에 따라서, 서버(100)는 기존 학습용 데이터(210)를 활용하되, 기존 학습용 데이터(210)를 소정의 기준에 따라 선별하고, 선별된 학습용 데이터(210)만을 활용할 수 있다. 기존 학습용 데이터(210)를 선별 및 활용하는 방법에 대해서는 후술한다.
심층 신경망의 하위 계층은 특징 추출기로서 인식되고, 최상위 계층은 선형 분류기의 특징을 갖는 것으로 인식된다. 즉, 소프트맥스 분류기의 가중치는 특징을 분류하기 위한 결정경계(decision boundary)를 나타낸다.
최상위 계층의 분류기의 선형적 특성에 기인하여, 최상위 은닉층에서 추출된 특징은 일반적으로 선형으로 분리될 수 있다. 이로부터, 개시된 실시 예에 따라 심층 신경망의 기존 영역에서 학습한 정보를 잊는 경향성을 줄일 수 있는 학습방법의 두 가지 특성을 제시한다.
첫째, 결정경계는 변하지 않아야 한다.
둘째, 새로운 신경망을 이용하여 기존 영역의 데이터로부터 추출한 특징은 기존 신경망이 기존 영역의 데이터로부터 추출한 특징과 가까이 위치하여야 한다.
서버(100)는 상기한 두 가지 특성에 기초하여 학습된 모델(220)의 재학습을 수행한다
첫 번째 특성, 즉 결정경계는 변하지 않아야 한다는 특성은, 경계(boundary)의 학습률(learning rate)을 0으로 설정함으로써 적용할 수 있다.
하지만, 두 번째 특성의 경우 기존 영역의 데이터에 접근할 수 없다는 전제 하에서는 간단히 적용될 수 없다.
개시된 실시 예에서, 기존 영역의 데이터 대신 새로운 영역의 학습데이터를 이용하여 상기한 두 번째 특성을 만족시킬 수 있다.
우선, 서버(100)는 전통적인 미세조정 방법과 마찬가지로, 최초에 기존 신경망의 가중치를 재활용한다. 즉, 기존 신경망의 가중치를 새로운 신경망의 최초 가중치로 사용한다.
이후, 서버(100)는 분류기의 경계를 동결하기 위해 소프트맥스 분류기의 가중치를 동결한다. 이후, 서버(100)는 총 손실함수(loss function)를 최소화할 수 있는 방향으로 심층 신경망을 훈련시킬 수 있다.
실시 예에 따라서, 기존 영역의 학습 데이터 일부에 접근함으로써 상기한 두 번째 특성을 달성하는 방법도 고려될 수 있다. 예를 들어, 기존 영역의 학습 데이터 중 일부를 선택적으로 접근가능하도록 함으로써 학습효율을 높일 수 있다.
도 6은 일 실시 예에 따라 기존 학습용 데이터를 관리 및 활용하는 방법을 도시한 흐름도이다.
단계 S150에서, 서버(100)는 학습된 모델(220)의 학습에 기 이용된, 기존 학습용 데이터(210)를 획득한다.
단계 S160에서, 서버(100)는 다시 학습된 모델(400)을 이용하여, 기존 학습용 데이터(210)에 대한 테스트를 수행한다.
일 실시 예에서, 서버(100)는 기존 학습용 데이터(210)에 포함된, 하나 이상의 라벨링된 학습용 데이터를 다시 학습된 모델(400)에 입력한다.
서버(100)는 다시 학습된 모델(400)의 출력을 획득하고, 획득된 출력과, 다시 학습된 모델(400)에 입력된 학습용 데이터에 라벨링된 정보를 비교한다. 예를 들어, 서버(100)는 획득된 출력과 라벨링된 정보가 소정의 기준값 이상 유사한 것으로 판단되면, 해당 학습용 데이터에 대한 테스트를 통과한 것으로 판단할 수 있다.
단계 S170에서, 서버(100)는 테스트 결과, 라벨링된 정보가 소정의 기준값 이상의 정확도로 획득되는 학습용 데이터를 추출하고, 추출된 학습용 데이터를 기존 학습용 데이터(210)로부터 삭제할 수 있다.
도 7을 참조하면, 기존 학습용 데이터(210)를 관리하는 방법의 일 예가 도시되어 있다.
서버(100)는 기존 학습용 데이터(210)에 포함된, 하나 이상의 라벨링된 학습용 데이터를 다시 학습된 모델(400)에 입력하고, 라벨링된 정보가 소정의 기준값 이상의 정확도로 획득되는 학습용 데이터(212)를 추출하고, 추출된 학습용 데이터(212)를 기존 학습용 데이터(210)로부터 삭제할 수 있다. 즉, 기존 학습용 데이터(210)로부터 추출된 학습용 데이터(212)가 삭제되고 남은 기존 학습용 데이터(214)가 저장공간(200)에 저장된다.
즉, 신규 학습용 데이터를 이용하여 학습이 수행되었음에도 특정 기존 학습용 데이터를 잘 처리한다면, 해당 기존 학습용 데이터는 삭제함으로써, 학습 속도를 높이고 저장공간을 절약할 수 있다.
일 실시 예에서, 소정의 기준값은, 기존 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정될 수 있다. 마찬가지로, 소정의 기준값은, 신규 학습용 데이터와 기존 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정될 수 있다.
도 8을 참조하면, 신규 및 기존 학습용 데이터가 저장된 저장공간이 도시되어 있다.
일 실시 예에서, 서버(100)는 신규 학습용 데이터 중 일부가 삭제된 데이터(214) 및 기존 학습용 데이터 중 일부가 삭제된 데이터(320)를 저장공간(200)에 저장한다.
일 실시 예에서, 기존 학습용 데이터(214)와 신규 학습용 데이터(320)는 함께 기존 학습용 데이터(210)로서 저장공간(200)에 저장될 수 있다. 이 경우, 소정의 기준값은, 기존 학습용 데이터(214)와 신규 학습용 데이터(320)의 양이 기존 학습용 데이터(210)의 양을 초과하지 않도록 설정될 수 있다.
따라서, 서버(100)는 새로운 학습 데이터가 추가되면 재학습을 수행하지만, 전체 학습용 데이터의 양은 일정하게 유지될 수 있다.
도 9는 일 실시 예에 따른 장치의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 학습용 데이터 관리방법을 수행한다.
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 컴퓨터가 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 학습용 데이터 관리방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
[부호의 설명]
100 : 장치
102 : 프로세서
104 : 메모리

Claims (10)

  1. 컴퓨터가 신규 학습용 데이터를 획득하는 단계;
    학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하는 단계;
    상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하는 단계;
    상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하는 단계; 및
    상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시키는 단계; 를 포함하는, 학습용 데이터 관리방법.
  2. 제1 항에 있어서,
    상기 소정의 제1 기준값은,
    상기 신규 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정되는 것을 특징으로 하는, 학습용 데이터 관리방법.
  3. 제1 항에 있어서,
    상기 학습된 모델의 학습에 기 이용된, 기존 학습용 데이터를 획득하는 단계;
    상기 다시 학습된 모델을 이용하여, 상기 기존 학습용 데이터에 대한 테스트를 수행하는 단계; 및
    상기 테스트 결과, 라벨링된 정보가 소정의 제2 기준값 이상의 정확도로 획득되는 제2 학습용 데이터를 추출하는 단계; 및
    상기 추출된 제2 학습용 데이터를 상기 기존 학습용 데이터로부터 삭제하는 단계; 를 더 포함하는, 학습용 데이터 관리방법.
  4. 제3 항에 있어서,
    상기 소정의 제2 기준값은,
    상기 신규 학습용 데이터 및 상기 기존 학습용 데이터의 양이 기 설정된 범위를 넘지 않도록 조정되는 것을 특징으로 하는, 학습용 데이터 관리방법.
  5. 제1 항에 있어서,
    상기 테스트를 수행하는 단계는,
    상기 테스트를 수행하는 시점을 결정하되, 상기 신규 학습용 데이터의 양이 소정의 기준값을 초과하는 경우 상기 테스트를 수행하는, 단계; 를 포함하는, 학습용 데이터 관리방법.
  6. 제1 항에 있어서,
    상기 테스트를 수행하는 단계는,
    상기 신규 학습용 데이터에 포함된, 라벨링된 제3 학습용 데이터를 상기 학습된 모델에 입력하는 단계;
    상기 학습된 모델의 출력을 획득하는 단계; 및
    상기 획득된 출력과 상기 제3 학습용 데이터에 라벨링된 정보를 비교하는 단계; 를 포함하는, 학습용 데이터 관리방법.
  7. 제1 항에 있어서,
    상기 학습된 모델을 다시 학습시키는 단계는,
    다시 학습된 모델과, 상기 학습된 모델의 결정경계(decision boundary)가 동일하도록 상기 학습된 모델을 다시 학습시키는 단계; 를 포함하는, 학습용 데이터 관리방법.
  8. 제7 항에 있어서,
    상기 학습된 모델의 학습에 기 이용된, 기존 학습용 데이터를 획득하는 단계; 를 더 포함하고,
    상기 학습된 모델을 다시 학습시키는 단계는,
    상기 다시 학습된 모델을 이용하여 상기 기존 학습용 데이터로부터 추출되는 특징이 상기 학습된 모델을 이용하여 상기 기존 학습용 데이터로부터 추출되는 특징과 가까이 위치하도록 상기 학습된 모델을 다시 학습시키는 단계; 를 포함하는, 학습용 데이터 관리방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    신규 학습용 데이터를 획득하는 단계;
    학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하는 단계;
    상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하는 단계;
    상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하는 단계; 및
    상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시키는 단계; 를 수행하는, 학습용 데이터 관리장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2018/010335 2017-12-28 2018-09-05 학습용 데이터 관리방법, 장치 및 프로그램 WO2019132170A1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2017-0182898 2017-12-28
KR20170182898 2017-12-28
KR20170182899 2017-12-28
KR10-2017-0182899 2017-12-28
KR10-2017-0182900 2017-12-28
KR20170182900 2017-12-28
KR1020180013580 2018-02-02
KR10-2018-0013580 2018-02-02
KR10-2018-0026575 2018-03-06
KR1020180026575A KR101864412B1 (ko) 2017-12-28 2018-03-06 학습용 데이터 관리방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
WO2019132170A1 true WO2019132170A1 (ko) 2019-07-04

Family

ID=62628386

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2018/010335 WO2019132170A1 (ko) 2017-12-28 2018-09-05 학습용 데이터 관리방법, 장치 및 프로그램
PCT/KR2018/010333 WO2019132168A1 (ko) 2017-12-28 2018-09-05 수술영상데이터 학습시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010333 WO2019132168A1 (ko) 2017-12-28 2018-09-05 수술영상데이터 학습시스템

Country Status (2)

Country Link
KR (3) KR101864412B1 (ko)
WO (2) WO2019132170A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515081B1 (ko) * 2022-03-22 2023-03-29 한화시스템 주식회사 객체인식 소프트웨어 학습방법 및 학습장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769594B2 (en) 2018-10-11 2023-09-26 Jlk Inc. Deep learning model learning device and method for cancer region
KR102243644B1 (ko) * 2018-12-07 2021-04-23 서울대학교 산학협력단 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델
KR102237009B1 (ko) * 2018-12-11 2021-04-08 시너지에이아이 주식회사 다낭 신 또는 다낭 간의 진행 상태를 판단하는 방법 및 이를 수행하기 위한 의료용 전자 장치
KR102189761B1 (ko) * 2018-12-21 2020-12-11 주식회사 엘지씨엔에스 딥러닝 학습 방법 및 서버
KR102186632B1 (ko) * 2019-01-07 2020-12-02 재단법인대구경북과학기술원 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법
WO2020159276A1 (ko) * 2019-02-01 2020-08-06 주식회사 아이버티 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
CN113924594A (zh) * 2019-08-19 2022-01-11 Lg电子株式会社 用于产品生产线上的视觉检查的基于ai的新学习模型生成系统
KR20210026623A (ko) * 2019-08-30 2021-03-10 삼성전자주식회사 인공지능 모델을 학습시키는 시스템 및 방법
KR102542037B1 (ko) * 2019-09-26 2023-06-12 주식회사 루닛 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
KR102119056B1 (ko) * 2019-10-08 2020-06-05 (주)제이엘케이 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법
KR102334923B1 (ko) * 2019-11-06 2021-12-03 주식회사 에이젠글로벌 인공지능을 이용한 대출 확대 가설 검정 시스템 및 이를 이용한 방법
KR102328154B1 (ko) * 2019-11-11 2021-11-18 주식회사 테서 머신러닝에 기반한 의료데이터 수집 및 분석 서비스 제공 방법 및 시스템
WO2021107948A1 (en) * 2019-11-27 2021-06-03 Google Llc Personalized data model utilizing closed data
KR102272573B1 (ko) * 2019-11-28 2021-07-05 한국전자기술연구원 에너지 사용량 데이터의 비지도 학습 기반 부하 모니터링 방법
KR102356263B1 (ko) * 2020-02-12 2022-01-28 한전케이디엔주식회사 전력설비 관리 시스템 및 방법
KR102296274B1 (ko) * 2020-10-26 2021-09-01 주식회사 보고넷 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법
KR102273494B1 (ko) * 2020-11-05 2021-07-06 주식회사 카비랩 골절 수술용 의료기기 자동 디자인 생성 시스템
KR102287762B1 (ko) * 2020-11-05 2021-08-10 주식회사 카비랩 앙상블 학습 기반 골절 수술 시뮬레이터 시스템 및 그 구동 방법
KR102467047B1 (ko) * 2020-11-18 2022-11-15 (주)휴톰 어노테이션 평가 방법 및 장치
KR20220067732A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 재학습 가능한 모바일 딥러닝 하드웨어 장치
KR102336500B1 (ko) * 2021-03-02 2021-12-07 국방과학연구소 의사-레이블 데이터 생성 방법 및 장치, 의사-레이블 데이터를 이용한 심층 신경망 학습 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918361B1 (ko) * 2008-02-26 2009-09-22 엔에이치엔(주) 고속화 검색 모델링 시스템 및 방법
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
JP2017004509A (ja) * 2015-06-04 2017-01-05 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 機械学習のための高度解析インフラストラクチャ
JP6182242B1 (ja) * 2016-06-13 2017-08-16 三菱電機インフォメーションシステムズ株式会社 データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
KR20170106338A (ko) * 2015-01-22 2017-09-20 퀄컴 인코포레이티드 모델 압축 및 미세-튜닝

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3329202B2 (ja) * 1996-08-07 2002-09-30 ケイディーディーアイ株式会社 ニューラルネットワーク学習方式
WO2002059828A2 (en) * 2001-01-23 2002-08-01 Biowulf Technologies, Llc Computer-aided image analysis
JP4766560B2 (ja) * 2006-08-11 2011-09-07 Ｋｄｄｉ株式会社 動画像話題分割装置
JP2009075737A (ja) * 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
JP2009237923A (ja) * 2008-03-27 2009-10-15 Nec Corp 学習方法およびシステム
JP2010092266A (ja) * 2008-10-08 2010-04-22 Nec Corp 学習装置、学習方法及びプログラム
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
JP5881048B2 (ja) * 2012-09-18 2016-03-09 株式会社日立製作所 情報処理システム、及び、情報処理方法
WO2015143456A1 (en) * 2014-03-21 2015-09-24 Biolase, Inc. Dental laser interface system and method
KR102239714B1 (ko) * 2014-07-24 2021-04-13 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치
KR102601848B1 (ko) * 2015-11-25 2023-11-13 삼성전자주식회사 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918361B1 (ko) * 2008-02-26 2009-09-22 엔에이치엔(주) 고속화 검색 모델링 시스템 및 방법
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
KR20170106338A (ko) * 2015-01-22 2017-09-20 퀄컴 인코포레이티드 모델 압축 및 미세-튜닝
JP2017004509A (ja) * 2015-06-04 2017-01-05 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 機械学習のための高度解析インフラストラクチャ
JP6182242B1 (ja) * 2016-06-13 2017-08-16 三菱電機インフォメーションシステムズ株式会社 データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515081B1 (ko) * 2022-03-22 2023-03-29 한화시스템 주식회사 객체인식 소프트웨어 학습방법 및 학습장치

Also Published As

Publication number Publication date
WO2019132168A1 (ko) 2019-07-04
KR101864380B1 (ko) 2018-06-04
KR20190088376A (ko) 2019-07-26
KR101864412B1 (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2019132169A1 (ko) 수술영상 재생제어 방법, 장치 및 프로그램
KR102014377B1 (ko) 학습 기반 수술동작 인식 방법 및 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2021045367A1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
US20230102479A1 (en) Anonymization device, monitoring apparatus, method, computer program, and storage medium
WO2020122606A1 (ko) 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2020067632A1 (ko) 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2021206518A1 (ko) 수술 후 수술과정 분석 방법 및 시스템
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2022181919A1 (ko) 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023033270A1 (ko) 딥러닝 기반 분석 결과 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18893715

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18893715

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 260121)

122 Ep: pct application non-entry in european phase

Ref document number: 18893715

Country of ref document: EP

Kind code of ref document: A1