WO2022010106A1 - 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 - Google Patents

학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
WO2022010106A1
WO2022010106A1 PCT/KR2021/006963 KR2021006963W WO2022010106A1 WO 2022010106 A1 WO2022010106 A1 WO 2022010106A1 KR 2021006963 W KR2021006963 W KR 2021006963W WO 2022010106 A1 WO2022010106 A1 WO 2022010106A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
learning model
image
medical
Prior art date
Application number
PCT/KR2021/006963
Other languages
English (en)
French (fr)
Inventor
이태균
최부경
소재홍
Original Assignee
주식회사 메가젠임플란트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메가젠임플란트 filed Critical 주식회사 메가젠임플란트
Priority to US18/014,141 priority Critical patent/US20230307129A1/en
Priority to CN202180049205.7A priority patent/CN115943437A/zh
Publication of WO2022010106A1 publication Critical patent/WO2022010106A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies

Definitions

  • the present invention relates to an apparatus for generating learning data, a method for driving the apparatus, and a computer-readable recording medium, and more particularly, learning small-scale learning data when applying artificial intelligence or image analysis model in a supervised learning method, for example. It relates to a learning data generating apparatus, a driving method of the apparatus, and a computer-readable recording medium that correct errors while validating data by applying it to a model to generate robust learning data without errors.
  • Supervised learning is a machine learning method that builds a target model that performs a target task by learning a data set given label information (ie, correct answer information). Therefore, in order to perform supervised learning on a data set to which label information (eg, indicated by a tag icon) is not given, annotation, that is, annotation work must be performed in advance.
  • label information eg, indicated by a tag icon
  • Annotation operation refers to the operation of tagging label information for each data in order to create a training data set. Since annotation operations are generally performed by humans, significant human cost and time are consumed to generate a large training data set. In particular, in the case of building a machine learning model for diagnosing the type or location of a lesion in a pathological image, since annotation work must be performed by a skilled specialist, much more cost is consumed compared to other domains.
  • annotation work was performed without a systematic work process established.
  • an administrator visually checks the characteristics of each pathology image, determines whether to perform annotation, classifies the pathology image manually, and then assigns the pathology image to an appropriate annotator.
  • an administrator individually designates an annotation area on a pathological image, and then assigns a task to an operator. That is, in the prior art, all processes such as pathological image classification, task assignment, and annotation area designation were manually performed by an administrator, thereby consuming considerable time and human cost for the annotation operation.
  • the problem to be solved by the present invention is, for example, when applying artificial intelligence or an image analysis model in a supervised learning method, applying a small amount of learning data to the learning model to verify the validity of the data while correcting errors for robust learning without errors
  • An object of the present invention is to provide a learning data generating apparatus for generating data, a method of driving the apparatus, and a computer-readable recording medium.
  • a data receiving unit receiving feedback of a learning result output by applying medical data generated by pre-processing a specified amount of pathology image to a learning model, and pathology in which an error is identified based on the received feedback learning result
  • the learning data generating apparatus comprising a control unit for re-applying to the learning model to secure learning data for artificial intelligence (AI) or image analysis
  • the control unit may generate a data set for the position of the lesion marked on the pathological image for the pre-processing, and may re-apply the data set to the learning model after correction of the generated data set.
  • the control unit may perform automatic marking on the pathological image based on the pre-stored marking information, and may apply to the learning model by correcting the position by the automatic marking.
  • the controller may display the fed back learning result on the screen so that the data set is corrected.
  • the controller may apply the secured learning data to the changed learning model to secure new learning data.
  • the data receiving unit applies the medical data generated by preprocessing the pathological image of a specified amount to the learning model to receive a feedback of the learning result output, and the controller based on the feedback learning result After correcting the medical data of the pathological image in which the error is confirmed, re-applying the medical data to the learning model to secure learning data for artificial intelligence (AI) or image analysis.
  • AI artificial intelligence
  • the securing of the learning data may include generating a data set for the position of the lesion marked on the pathological image for the pre-processing, and re-applying the data set to the learning model after correction of the generated data set.
  • the driving method may further include performing automatic marking on the pathological image based on the marking information stored in advance by the controller, correcting the position by the automatic marking, and applying the automatic marking to the learning model.
  • the driving method may further include displaying, by the controller, the fed back learning result on a screen so that the data set is corrected.
  • the driving method may further include, by the controller, when the learning model is changed, applying the secured learning data to the changed learning model to secure new learning data.
  • the computer-readable recording medium is a computer-readable recording medium including a program for executing a driving method of the learning data generating apparatus, wherein the driving method of the learning data generating apparatus comprises: , receiving a feedback of a learning result output by applying medical data generated by preprocessing a specified amount of pathological image to a learning model, and correcting medical data of a pathological image for which an error is identified based on the received feedback learning result
  • a computer-readable recording medium may be provided, characterized in that it executes the step of securing learning data for artificial intelligence (AI) or image analysis by reapplying to the learning model.
  • AI artificial intelligence
  • the embodiment of the present invention applies a small amount of work data (eg, pathological image, etc.) to the learning model to view the learning results and generates the learning data while correcting the data, so that it is easy to identify the cause of the error and process the task. can be done
  • work data eg, pathological image, etc.
  • data processing that is optimized according to the selected learning model may be performed.
  • FIG. 1 is a diagram illustrating a learning data generation system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed structure of the apparatus for generating learning data of FIG. 1 .
  • FIG. 3 is a block diagram illustrating another detailed structure of the learning data generating apparatus of FIG. 1 .
  • FIG 4 is an exemplary view of a screen implemented by a tool according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of a pre-processing process performed on the screen of FIG. 4 .
  • FIG. 6 is a flowchart illustrating a driving process of the learning data generating apparatus of FIG. 1 .
  • FIG. 7 is a flowchart illustrating another driving process of the learning data generating apparatus of FIG. 1 .
  • FIG. 1 is a diagram illustrating a learning data generation system according to an embodiment of the present invention.
  • the learning data generating system 90 includes a part or all of the medical terminal device 100 , the communication network 110 , and the learning data generating device 120 .
  • “including some or all” means that some components such as the communication network 110 are omitted so that the medical terminal device 100 and the learning data generating device 120 perform direct (eg, P2P) communication, or It means that some or all of the components such as the learning data generating device 120 can be configured by being integrated into a network device (eg, a wireless switching device, etc.) constituting the communication network 110, which is sufficient for the invention. For ease of understanding, it is explained that everything is included.
  • a network device eg, a wireless switching device, etc.
  • the medical terminal device 100 may include, for example, various devices that provide medical data.
  • the medical terminal device 100 may include, for example, a doctor's computer, a hospital server, etc. provided in a hospital or a related institution to provide various types of medical data.
  • medical data provided by an institution that manages public medical data.
  • it may include various equipment such as MRI equipment for photographing and the like to provide various kinds of medical data.
  • the medical data may include, for example, a CT image acquired for cancer diagnosis.
  • the learning data generating device 120 is a server that downloads a program for generating learning data
  • the medical terminal device 100 sends the program according to the embodiment of the present invention from the corresponding server.
  • a tool may be downloaded and an operation for generating learning data according to an embodiment of the present invention may be performed.
  • the learning data generation process according to the embodiment of the present invention may be performed by a medical staff of a medical institution, but by requesting an external professional institution, for example, providing medical data to a program specialized company, etc.
  • a learning model for image analysis can be applied to generate learning data that is optimized for the learning model.
  • the latter case will be assumed and will be described continuously.
  • any number of operations according to the embodiment of the present invention can be performed by medical staff in the medical terminal device 100 , it will not be specifically limited to any one form.
  • the medical terminal device 100 may provide the data to the training data generating device 120 by performing a pre-processing operation on medical data such as a CT image to generate robust training data according to an embodiment of the present invention.
  • a medical professional or an image analysis expert performs marking on a location such as a lesion on a CT image as a lesion image, for example. It is desirable to be able to secure a data set through an operation.
  • the data set generated through the marking can detect an area (by image processing) through a point, a line, a plane, or the like.
  • the data set for the marking area can be generated in the form of coordinate values through pixel analysis.
  • the communication network 110 includes both wired and wireless communication networks.
  • a wired or wireless Internet network may be used or interlocked.
  • the wired network includes an Internet network such as a cable network or a public telephone network (PSTN)
  • the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), and Wibro networks. meaning to include
  • the communication network 110 according to the embodiment of the present invention is not limited thereto, and may be used as an access network of a next-generation mobile communication system, for example, a cloud computing network under a cloud computing environment, a 5G network, and the like.
  • the access point in the communication network 110 can connect to a switching center of a telephone company, etc., but in the case of a wireless communication network, it accesses the SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company to transmit data. data processing, or by connecting to various repeaters such as Base Station Transmission (BTS), NodeB, and e-NodeB.
  • BTS Base Station Transmission
  • NodeB NodeB
  • e-NodeB e-NodeB
  • the communication network 110 may include an access point.
  • the access point includes a small base station, such as a femto or pico base station, which is often installed in a building.
  • the femto or pico base station is classified according to the maximum number of accessable medical terminal devices 100, etc., in terms of the classification of small base stations.
  • the access point may include a short-distance communication module for performing short-distance communication such as Zigbee and Wi-Fi with the medical terminal device 100 .
  • the access point may use TCP/IP or Real-Time Streaming Protocol (RTSP) for wireless communication.
  • RTSP Real-Time Streaming Protocol
  • short-distance communication may be performed in various standards such as Bluetooth, Zigbee, infrared, radio frequency (RF) such as ultra high frequency (UHF) and very high frequency (VHF), and ultra-wideband communication (UWB) in addition to Wi-Fi.
  • RF radio frequency
  • UHF ultra high frequency
  • VHF very high frequency
  • UWB ultra-wideband communication
  • the access point may extract the location of the data packet, designate the best communication path for the extracted location, and forward the data packet to the next device, for example, the training data generating device 120 along the designated communication path.
  • the access point may share several lines in a general network environment, and includes, for example, a router, a repeater, and a repeater.
  • the learning data generating device 120 may be, for example, a medical staff computer that collects medical data from the medical equipment when the medical terminal device 100 is a medical device that provides a CT image. It may be another medical staff or a computer of a medical institution that receives medical data such as a CT image from 100 or medical data on which a preprocessing operation such as marking has been performed on the CT image, and specializes in the operation according to the embodiment of the present invention It may include a server, or a computer of a company that performs it. In other words, the learning data generating apparatus 120 according to an embodiment of the present invention may supply a corresponding program when a national medical institution requests a program as an operating server of a program developer. Alternatively, it may include a computer of a company that collects medical data from a specific medical institution through the server and processes it. In the embodiment of the present invention, it will not be particularly limited to any one form.
  • the learning data generating apparatus 120 may perform a pre-processing operation for marking a region such as a lesion on the corresponding medical data.
  • training data to be applied to a specific learning model may be generated by utilizing the corresponding medical data.
  • the training data generating apparatus 120 performs an operation for generating training data optimized for a specific (or designated) learning model.
  • the learning data generating apparatus 120 may execute annotation software (SW) capable of database construction and artificial intelligence and image analysis model development for marking area, segmentation, and detection between 2D and 3D images.
  • SW annotation software
  • functions for preprocessing such as reconstruction, image filter, and MPL (Multi Planar Reconstruction) operations for 2D/3D input images are provided. It also enables real-time marking, creation and modification of regions of interest.
  • Annotation work is possible after pre-marker detection using the existing annotation data load or automatic detection function. It is possible. Real-time data storage and sharing using networks and databases may also be possible.
  • the data types used in the embodiments of the present invention include all medical image (eg, CT, MRI, X-Ray, ultrasound, nuclear medicine, microscopy, etc.) formats (eg DICOM, etc.), and all image formats (eg, JPEG, TIFF). , PNG, BMP, SVG, HEIF, GIF, etc.) and all 3D data (eg STL, OBJ, PLY, etc.).
  • application fields include extraction of regions of interest in 2D and 3D (eg, segmentation of specific regions within an image (eg, lesions, people, animals, objects, license plates, signs, etc.), and detection of landmarks in 2D and 3D (eg, cephalos). Analysis, tooth position, eyes/nose/mouth/chin, etc.), and functions using regions of interest or feature points (e.g., post-operative prediction, image registration, image correction, analysis report writing, facial expression analysis, virtual simulation, synthesis, etc.) can do.
  • regions of interest or feature points e.g., post
  • the learning data generating apparatus 120 may perform an operation capable of effectively performing data annotation, and may include a program (or tool) for this and execute it.
  • the data to be learned are called sequentially and the area to be learned is judged by an expert (eg, a person) and indexed. In other words, a person such as a doctor is annotating.
  • a learning model to be used as an algorithm is transplanted into a tool according to an embodiment of the present invention, the result is checked, and if there is a part where the correct answer is not found, it is edited and added as learning data. In other words, some incorrect comments are corrected by humans.
  • annotation data Of course, it is a human task, but the learning data generating device 120 recognizes this.
  • the learning data generating device 120 performs supervised learning by a medical team such as a doctor by marking the lesion area or marking the lesion area only for 1000 pieces of medical data, for example, 1000 CT images from the CT images. You can annotate.
  • this process may be called a data processing operation, and more specifically, since data processing is performed before the application of the learning model, it may be called a preprocessing operation.
  • the tool according to the embodiment of the present invention that is, execute the program to apply 1000 CT images to the designated learning model, or apply 100 sheets to the corresponding learning model and receive the learning result as feedback through the monitor screen, etc., so that the confirmation operation is performed can Of course, this corresponds to the previous operation of finally generating the training data. Errors are checked in small data units, the data is validated through this, and the learning data collection, that is, the generation operation, is completed while learning the performance. Because small-scale data is used, errors can be corrected immediately.
  • the learning model is applied again to make it true.
  • the learning result comes out, the learning result is secured as learning data and stored in the DB 120a. Previous learning results containing errors can be deleted.
  • the conventional learning model that is, a method of reducing errors in the learning data through a weight, that is, a probability method
  • the supervised learning method in the embodiment of the present invention It can be seen that this is to reduce the waste of time and money in the work by eliminating errors in the learning data while immediately checking the results related to whether the learning data is insufficient or whether the supervised learner took the wrong point. For example, when a user corrects an error through a mouse cursor on the screen in order to correct the error, the learning data generating apparatus 120 recognizes this, and it can be seen that only good data is generated or secured through this process.
  • the learning data used by the learning model inevitably included at least 10% of false data, and if the learning model was to filter this through a probabilistic method, in the embodiment of the present invention It can be seen that the 10% of false data included in the training data used is made close to 0% through the above optimization program.
  • the training data generating apparatus 120 does not perform marking, ie, pre-processing, on all 10,000 CT images. For example, a marking operation is performed on 100 CT images, but when a new CT image is received after storing the data set for this, that is, after storing the marking information, the It is automatically marked on the new CT image. In this way, when correction is necessary in a state in which the basic settings are made, only some errors are caught, so that the work for the pre-processing operation can be performed easily. After applying to the learning model, the learning data generation operation may be performed in such a way that the learning result is fed back, checked, and the error is corrected again.
  • marking ie, pre-processing
  • the learning data generating device 120 can set the number of CT images for which a pre-processing operation is performed. Since the automatic marking operation can be made after performing the marking for a smaller number than that, the embodiment of the present invention will not be particularly limited to any one method. There may be some differences depending on the performance of the program.
  • the embodiment of the present invention can significantly reduce the time and cost required for an operation when generating learning data in a supervised learning method, and, along with this, can significantly reduce or eliminate errors in data used as the learning data.
  • the performance of the learning model is linked to a high cost, so the performance can be improved while reducing the cost of purchasing the learning model.
  • FIG. 2 is a block diagram illustrating a detailed structure of the apparatus for generating learning data of FIG. 1 .
  • the learning data generating apparatus 120 includes a part of the communication interface unit 200 , the control unit 210 , the learning data processing unit 220 and the storage unit 230 , or Including all, may further include a display unit.
  • the communication interface unit (or data receiving unit) 200 collects medical data by communicating with, for example, the medical terminal device 100 of FIG.
  • the received medical data may be transmitted to the controller 210 .
  • the information (eg, coordinate values) on the part where the marking is made may be called a data set.
  • coordinate values for the six corresponding points may be a data set.
  • marking on a CT image can be performed through a marker on the image, but a method of using a separate masking image to store only the coordinate values for the corresponding point in advance and then use the same is possible.
  • the communication interface unit 200 may perform various operations such as modulation/demodulation, muxing/demuxing, encoding/decoding, and scaling for converting resolution in the process of transmitting and receiving a photographed image such as a CT image, and related contents Since it is obvious to those skilled in the art, further description will be omitted.
  • the control unit 210 is responsible for overall control operations of the communication interface unit 200 , the learning data processing unit 220 , and the storage unit 230 of FIG. 2 .
  • the control unit 210 may temporarily store, for example, medical data received through the communication interface unit 200 in the storage unit 230 , then call it and provide it to the learning data processing unit 220 .
  • control unit 210 may perform various operations for generating learning data according to an embodiment of the present invention in conjunction with the learning data processing unit 220 .
  • control unit 210 may control the learning data processing unit 220 to execute a data processing optimization program or tool mounted therein to perform an operation according to an embodiment of the present invention. For example, after performing marking on a CT image or applying small-scale medical data on which marking has been performed to a learning model, the learning result may be provided and displayed on the screen.
  • control unit 210 updates the program of the learning data processing unit 220 with the changed learning model, and then checks the performance while verifying the validity of the medical data, and may secure the learning data. . Through this, even if a high-performance, expensive learning model is not applied, the learning accuracy can be increased as much as possible.
  • the learning data processing unit 220 may include a data receiving unit, and according to an embodiment of the present invention, when generating learning data by applying artificial intelligence or an image analysis model in a supervised learning method, errors in the generated learning data are detected. Take action to fundamentally reduce it.
  • the error generation of the training data can be divided into when the training data is insufficient, when the data designation for the part to be found is wrong, that is, when the annotation is wrong, and furthermore, the error of the learning model engine.
  • the result is immediately fed back to check the result, and when there is an error, the error is corrected and applied again to the learning model. Secure the data as training data. Through this, errors in the learning data of the supervised learning method are fundamentally blocked.
  • the learning data processing unit 220 performs marking, ie, a pre-processing operation, on a region of interest such as a lesion in a CT image
  • marking ie, a pre-processing operation
  • the pre-processing operation is also automated. For example, if a specialist, such as a doctor, manually performs marking on the lesions of 100 CT images in 10,000 CT images, then the 101th to 10,000th CT images are automatically marked, and the expert After checking the automatically marked location, that is, the data, correct only the wrong part through the mouse cursor, etc., and then apply the image to the learning model. of medical data as learning data. Through this operation, the cumbersome work and time can be considerably saved.
  • an operation for generating new learning data may be performed using the same program according to an embodiment of the present invention.
  • training data is generated by being optimized for a specific learning model, it cannot be considered that such training data is optimized for other learning models. In this case, after changing the learning model, the above operation is performed again Thus, new learning data can be obtained.
  • the storage unit 230 may store various types of information or data processed under the control of the control unit 210 and then output the information or data under the control of the control unit 210 .
  • the storage unit 230 may temporarily store medical data such as a CT image and then provide it to the learning data processing unit 220 under the control of the control unit 210 .
  • medical data such as a CT image
  • the concept of such terms will not be particularly limited.
  • control unit 210 may include a CPU and a memory, and may be formed as a single chip.
  • the CPU includes a control circuit, an arithmetic unit (ALU), a command interpreter and a registry, and the memory may include a RAM.
  • the control circuit performs a control operation
  • the operation unit performs an operation operation of binary bit information
  • the instruction interpretation unit converts a high-level language into a machine language and a machine language into a high-level language, including an interpreter or compiler.
  • the registry may be involved in software data storage. According to the above configuration, for example, at the beginning of the operation of the learning data generating apparatus 120 of FIG. 1 , the program stored in the learning data processing unit 220 is copied, loaded into a memory, that is, a RAM, and then executed by executing the data operation. The processing speed can be increased quickly.
  • FIG. 3 is a block diagram illustrating another detailed structure of the learning data generating apparatus of FIG. 1
  • FIG. 4 is an exemplary view of a screen implemented by a tool according to an embodiment of the present invention
  • FIG. 5 is FIG. It is an example diagram of the pre-processing process performed on the screen of
  • the learning data generating apparatus 120 ′ includes a data collection unit 300 , a data processing unit 310 , a learning model unit 320 , and a data processing optimization unit (or optimization tool) 330 , a learning result output unit 340 , a data input unit 350 , and a part or all of the determination result output unit 360 .
  • FIG. 3 may be configured by a hardware (H/W) module, a software (S/W) module, or a combination thereof, and the connection relationship of each component may be changed at any time. have.
  • H/W hardware
  • S/W software
  • the data collection unit 300 collects, for example, medical data of a CT image. In this process, it is also possible to collect data marked on the CT image.
  • the data processing unit 310 performs pre-processing operations such as marking on the collected medical data.
  • pre-processing operations such as marking on the collected medical data.
  • the pre-processing operation may be omitted or a new marking operation may be performed after the existing marking data is deleted.
  • the data processing unit 310 performs an operation to find a lesion in a CT image, the corresponding lesion may be marked.
  • the data processing unit 310 may perform an operation such as marking in connection with the data processing optimization unit 330 .
  • an operation such as marking can be performed through this. That is, it can be seen that an operation for generating a data set related to marking is performed.
  • the learning model unit 320 may include various types of learning models for artificial intelligence or image analysis. For example, it may include CNN and RNN models.
  • the learning model unit 302 may change a preset (or pre-stored) learning model.
  • the data processing optimization unit 330 may include an optimization program or tool for generating learning data that is optimized for a designated learning model according to an embodiment of the present invention, and may execute it. After applying the learning model to a small amount of medical data and receiving feedback on the learning result, if there is an error, it is corrected or corrected, and then applied to the learning model again to secure it as the learning data when there is no error.
  • the data processing optimization unit 330 may include, for example, a data receiving unit configured of a SW module, a HW module, or a combination thereof to receive a feedback of a learning result, and a manager (or a control unit (eg, CPU, etc.)).
  • a data receiving unit configured of a SW module, a HW module, or a combination thereof to receive a feedback of a learning result
  • a manager or a control unit (eg, CPU, etc.)
  • the UI screen displayed on the screen includes a tab unit 400, an open image unit 410, a data adjustment unit 420, an addition and deletion unit 430, a marker or list display unit 440, and a viewer unit ( Viewer) 450 may be included in part or all.
  • the tab unit 400 may be configured with different screens/functions depending on the tap. For example, different data annotations are possible, AI/analytic model development functions, and database functions can be included.
  • the open image unit 410 loads the 2D/3D image file in the folder.
  • the data adjuster 420 may adjust Slice (Data Sequences), Radius, Text Size, and the like.
  • a slice relates to the previous/next image visualization. Radius is a marker (point) or region of interest movement and size adjustment is made.
  • the text size may be adjusted to the font size.
  • the addition and deletion unit 430 adds and deletes a marker or a region of interest.
  • the marker or (region of interest) list display unit 440 registers the marker or region of interest.
  • a 2D/3D image is visualized and displayed on the viewer unit 450 .
  • Annotation can be performed using various input devices (eg, keyboard, mouse, tablet, etc. available) in the Marker, region of interest annotation data generation, and Viewer.
  • An order may be specified.
  • positions, sizes, and shapes eg, triangles, rectangles, etc.
  • the learning result output unit 340 may secure and store data optimized for a specific learning model through the learning model unit 320 . For example, before securing the learning data from the learning result output unit 340, all the learning results by the learning model unit 320 are first provided to the data processing optimization unit 330 to correct the error, and then output the learning result. Although it may be provided to the unit 340 , after the training data including the error is provided to the learning result output unit 340 through the learning model unit 320 , the training data including the error is transmitted to the learning model unit 320 . After being deleted upon request, it may be updated with the modified learning data.
  • the embodiment of the present invention will not be limited to any one form.
  • both a deletion operation and a correction operation may be included.
  • the data input unit 350 and the determination result output unit 360 mean that learning is performed based on the learning data that is optimized and generated according to the method according to the embodiment of the present invention.
  • the data output through the learning result output unit 340 may be provided to the learning data of a specific learning model, more precisely, to a device equipped with the same learning model engine as the learning model unit 320 in FIG. It may be understood that the device is used to learn new input data and outputs a judgment result.
  • FIG. 3 is intended to show a data processing process according to an embodiment of the present invention, and in the embodiment of the present invention, the configuration of the learning data generating apparatus 120' of FIG. 1 is not particularly limited to the process as in FIG. .
  • FIG. 6 is a flowchart illustrating a driving process of the learning data generating apparatus of FIG. 1 .
  • the training data generating apparatus 120 applies medical data generated by preprocessing a specified (specified) amount of pathological images to the learning model and outputs it.
  • the learning result is fed back (S600).
  • the pathological image includes a CT image taken by various medical devices, and the like.
  • the pre-processing means that a marking process is performed on a site such as a lesion or a tumor on the secured CT image.
  • the marked location information may be called a data set in the form of a coordinate value. For example, if the marking consists of a total of 6 points, the coordinate values for the points become a data set, and when the area is marked with a line, the coordinate values of the line or the characteristic information of the line (eg color or thickness, etc.) are data become a set
  • the learning data generating device 120 corrects the medical data of the pathological image in which an error is confirmed in the feedback learning result and then reapply it to the learning model to secure (or generate) it as learning data for artificial intelligence or image analysis. It can be (S610).
  • the learning results are checked in units of 100 CT images and image processing values are checked for a specific CT image.
  • image processing values are checked for a specific CT image.
  • an operation for generating new learning data optimized for the changed learning model may be performed in the same manner as above.
  • the learning data generating apparatus 120 of FIG. 6 may perform various operations, and since other details have been sufficiently described above, those contents will be substituted.
  • FIG. 7 is a flowchart illustrating another driving process of the learning data generating apparatus of FIG. 1 .
  • the learning data generating apparatus 120 collects 2D and 3D data and applies various methods (eg, marking, etc.) to the collected data. to generate annotation data (S700, S710).
  • the learning data generating apparatus 120 generates learning data for artificial intelligence or image analysis by applying the optimization tool according to an embodiment of the present invention (S720 to S750).
  • learning data for artificial intelligence or image analysis by applying the optimization tool according to an embodiment of the present invention (S720 to S750).
  • the optimization tool according to an embodiment of the present invention
  • a model for artificial intelligence or image analysis can be developed (S760), for example, learning data for use can be secured, and a region of interest or a marker of input data can be detected through the development model. It can be (S770). In other words, it is possible to perform learning on the region of interest or the marker detection region based on the learning data obtained in step S740 above, and output a determination result therefor.
  • the learning data generating apparatus 120 of FIG. 7 may perform various operations, and since other detailed information has been sufficiently described above, those contents will be replaced.
  • the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.
  • all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the combined functions in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily deduced by those skilled in the art of the present invention.
  • Such a computer program is stored in a computer-readable non-transitory computer readable media, read and executed by the computer, thereby implementing an embodiment of the present invention.
  • the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc. .
  • the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • the present invention can be used in the medical industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체가 개시된다. 본 발명의 실시예에 따른 학습 데이터 생성장치는, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부; 및 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부를 포함한다.

Description

학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
본 발명은, 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체에 관한 것으로서, 보다 상세하게는, 가령 지도 학습 방식으로 인공지능이나 영상분석 모델의 적용시 소규모의 학습 데이터를 학습 모델에 적용해 데이터의 유효성을 검증해가면서 오류를 수정해 오류가 없는 강건한 학습 데이터를 생성하려는 학습 데이터 생성장치 및 그 장치의 구동방법, 컴퓨터 판독가능 기록매체에 관한 것이다.
지도 학습(supervised learning)이란 레이블 정보(즉, 정답 정보)가 주어진 데이터 집합(set)을 학습하여 목적 태스크를 수행하는 타깃 모델을 구축하는 기계 학습 방법이다. 따라서, 레이블 정보(예: 태그 아이콘으로 표시됨)가 주어지지 않은 데이터 집합에 대해 지도 학습을 수행하기 위해서는, 어노테이션 즉 주석(annotation) 작업이 필수적으로 선행되어야 한다.
주석 작업은 학습 데이터 집합을 생성하기 위해 데이터별로 레이블 정보를 태깅하는 작업을 의미한다. 주석 작업은 일반적으로 사람에 의해 수행되기 때문에, 대량의 학습 데이터 집합을 생성하기 위해서는 상당한 인적 비용과 시간이 소모된다. 특히, 병리 이미지에서 병변의 종류 또는 위치 등을 진단하는 기계 학습 모델을 구축하는 경우라면, 숙련된 전문의에 의해 주석 작업이 수행되어야 하기 때문에, 다른 도메인에 비해 훨씬 더 많은 비용이 소모된다.
종래에는, 체계적인 작업 프로세스가 정립되지 않은 채로 주석 작업이 수행되었다. 가령, 종래의 방식은 관리자가 각 병리 이미지의 특성을 육안으로 확인하여 주석 수행 여부를 결정하고, 수동으로 병리 이미지를 분류한 다음 적절한 작업자(annotator)에게 병리 이미지를 할당하는 방식이었다.
뿐만 아니라, 종래에는 관리자가 일일이 병리 이미지상의 주석 영역을 지정한 다음, 작업자에게 작업을 할당하였다. 즉, 종래에는 병리 이미지 분류, 작업 할당, 주석 영역 지정 등의 제반 과정이 관리자에 의해 수동으로 이루어졌고, 이로 인해 주석 작업에 상당한 시간과 인적 비용이 소모되는 문제가 있었다.
나아가, 기계 학습 기법 자체는 충분히 고도화되었음에도 불구하고, 주석 작업의 시간적, 비용적 문제로 인해 다양한 분야에 기계 학습 기법을 적용하는 데 많은 어려움이 있었다.
따라서 본 발명이 해결하고자 하는 과제는, 가령 지도 학습 방식으로 인공지능이나 영상분석 모델의 적용시 소규모의 학습 데이터를 학습 모델에 적용해 데이터의 유효성을 검증해가면서 오류를 수정해 오류가 없는 강건한 학습 데이터를 생성하려는 학습 데이터 생성장치 및 그 장치의 구동방법, 컴퓨터 판독가능 기록매체를 제공하는 것이다.
본 발명의 일 측면에 따르면, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부, 및 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부를 포함하는 것을 특징으로 하는 학습 데이터 생성장치가 제공될 수 있다.
상기 제어부는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합(set)을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용할 수 있다.
상기 제어부는, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용할 수 있다.
상기 제어부는, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시할 수 있다.
상기 제어부는, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보할 수 있다.
본 발명의 다른 측면에 따르면, 데이터 수신부가, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계, 및 제어부가 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계를 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법이 제공될 수 있다.
상기 학습 데이터를 확보하는 단계는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용할 수 있다.
상기 구동방법은, 상기 제어부가 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 단계를 더 포함할 수 있다.
상기 구동방법은, 상기 제어부가 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 단계를 더 포함할 수 있다.
상기 구동방법은, 상기 제어부가 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 단계를 더 포함할 수 있다.
한편, 본 발명의 또 다른 측면에 따르면, 컴퓨터 판독가능 기록매체는, 학습 데이터 생성장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 학습 데이터 생성장치의 구동방법은, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계, 및 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독가능 기록매체가 제공될 수 있다.
본 발명의 실시예에 따르면, 인공지능이나 영상 분석 모델 개발시 학습 데이터의 오류를 없애 학습 모델의 성능을 높일 수 있을 것이다.
또한, 본 발명의 실시예는 소량의 작업 데이터(예: 병리 이미지 등)를 학습 모델에 적용해 학습 결과를 보고 데이터를 수정해 가면서 학습 데이터를 생성하므로, 오류의 원인 파악과 작업 처리가 수월하게 이루어질 수 있다.
나아가, 본 발명의 실시예는 선택되는 학습 모델에 따라 최적화되어 있는 데이터 처리가 이루어질 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 학습 데이터 생성시스템을 나타내는 도면이다.
도 2는 도 1의 학습 데이터 생성장치의 세부구조를 예시한 블록다이어그램이다.
도 3은 도 1의 학습 데이터 생성장치의 다른 세부구조를 예시한 블록다이어그램이다.
도 4는 본 발명의 실시예에 따른 툴(tool)에 의해 구현되는 화면의 예시도이다.
도 5는 도 4의 화면에서 이루어지는 전처리 과정의 예시도이다.
도 6은 도 1의 학습 데이터 생성장치의 구동과정을 나타내는 흐름도이다.
도 7은 도 1의 학습 데이터 생성장치의 다른 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 학습 데이터 생성시스템을 나타내는 도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 학습 데이터 생성시스템(90)은 의료 단말장치(100), 통신망(110) 및 학습 데이터 생성장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 의료 단말장치(100)와 학습 데이터 생성장치(120)가 다이렉트(예: P2P) 통신을 수행하거나, 학습 데이터 생성장치(120)와 같은 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크 장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
의료 단말장치(100)는 가령 의료 데이터를 제공하는 다양한 장치를 포함할 수 있다. 의료 단말장치(100)는 예를 들어, 병원이나 그 유관기관에 구비되어 다양한 유형의 의료 데이터를 제공하는 의사의 컴퓨터, 병원의 서버 등을 포함할 수 있다. 나아가, 공공 의료 데이터를 관리하는 기관에서 제공하는 의료 데이터를 포함할 수도 있다. 뿐만 아니라 각종 의료 데이터의 제공을 위해 촬영 등이 이루어지는 MRI 장비 등의 다양한 장비를 포함할 수 있다. 여기서, 의료 데이터는 암 진단 등을 위해 획득한 CT 이미지 등을 포함할 수 있다.
가령 도 1에서 학습 데이터 생성장치(120)가 학습 데이터 생성을 위한 프로그램 등을 내려주는 서버라면, 본 발명의 실시예에 따른 의료 단말장치(100)는 해당 서버로부터 본 발명의 실시예에 따른 프로그램 가령 툴을 다운로드받아 본 발명의 실시예에 따른 학습 데이터 생성 동작을 수행할 수도 있다.
실제로 본 발명의 실시예에 따른 학습 데이터 생성 과정은 의료기관의 의료진에 의해 이루어질 수도 있지만, 외부의 전문 기관에 의뢰해서, 가령 프로그램 전문회사 등으로 의료 데이터를 제공하여 그곳을 통해 특정 기능의 인공지능(예: CNN, RNN 등)이나 영상 분석을 위한 학습 모델을 적용하여 해당 학습 모델에 최적화되는 학습 데이터를 생성하도록 할 수 있다. 본 발명의 실시예에서는 후자의 경우를 가정하여 계속해서 설명하도록 한다. 물론, 전자의 경우에서와 같이 의료 단말장치(100)에서 의료진들에 의해 본 발명의 실시예에 따른 동작이 얼마든지 이루어질 수 있으므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
물론 의료 단말장치(100)는 본 발명의 실시예에 따른 강건한 학습 데이터 생성을 위하여 CT 이미지와 같은 의료 데이터상에 전처리 동작을 수행하여 데이터를 학습 데이터 생성장치(120)로 제공할 수도 있다. 본 발명의 실시예에서는 비지도학습이 아닌, 지도 학습의 형태로 학습 데이터를 생성하려는 것이므로, 의료 전문가나 영상 분석 전문가가 가령 병변 이미지로서 CT 이미지상에 병변 등의 위치에 마킹을 수행하는 등의 동작을 통해 데이터 집합을 확보할 수 있도록 하는 것이 바람직하다. 여기서, 마킹을 통해 생성되는 데이터 집합은 점, 선, 면 등을 통해 (이미지 처리에 의해) 영역을 검출할 수 있도록 하는 것이 바람직하다. 마킹 부위에 대한 데이터 집합은 화소분석을 통해 좌표값의 형태로 생성될 수 있다.
예를 들어, 기존에는 인공지능 학습 데이터를 확보하기 위하여 1만장의 CT 이미지에 대하여 전처리 동작을 작업자들이 수동으로 수행하여 의료 데이터를 제공하였다면, 본 발명의 실시예에서는 가령 1000장의 CT 이미지에 대해서만 마킹 등의 전처리 동작을 수행하고, 9000장의 CT 이미지에 대해서는 마킹 없이 즉 전처리 동작없이 제공됨으로써 기존의 학습 데이터 생성을 위해 소비되는 시간과 비용을 상당히 줄일 수 있다. 이는 본 발명의 실시예에 따른 자동 마킹 동작 또는 자동 전처리 동작이 이루어지기 때문이다. 자세한 내용은 이후에 좀더 다루기로 한다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 의료 단말장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 의료 단말장치(100)와 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 학습 데이터 생성장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.
학습 데이터 생성장치(120)는 가령 의료 단말장치(100)가 CT 이미지 등을 제공하는 의료장비인 경우 해당 의료장비들로부터 의료 데이터를 수집하는 의료진의 컴퓨터 등이 될 수 있으며, 의료진의 의료 단말장치(100)로부터 CT 이미지 등의 의료 데이터나 해당 CT 이미지에 마킹 등의 전처리 동작이 이루어진 의료 데이터를 수신하는 또 다른 의료진이나 의료기관의 컴퓨터 등이 될 수 있으며, 본 발명의 실시예에 따른 작업을 전문으로 수행하는 업체의 서버, 또는 컴퓨터를 포함할 수 있다. 다시 말해, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 프로그램 개발사의 운영 서버로서 전국 의료기관에서 프로그램을 요청할 때 해당 프로그램을 공급할 수도 있다. 또는 해당 서버를 통해 특정 의료기관에서 의료 데이터를 수집한 후 이를 가공하는 등의 동작을 수행하는 업체의 컴퓨터를 포함할 수 있다. 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 CT 이미지 등의 의료 데이터에 전처리 동작이 없는 경우, 해당 의료 데이터에 병변 등의 부위에 마킹을 위한 전처리 동작을 수행할 수 있다. 또한, 전처리된 의료 데이터가 수집되는 경우에는 해당 의료 데이터를 활용하여 특정 학습 모델에 적용하기 위한 학습 데이터를 생성할 수 있다. 예를 들어, 본 발명의 실시예에서는 학습 데이터를 생성하기 위한 동일한 데이터 툴을 사용하고 또 동일한 의료 데이터를 사용한다 하더라도 적용하는 학습 모델에 따라 학습 데이터의 학습 결과, 즉 생성된 학습 데이터는 상이할 수 있다. 따라서, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 특정(혹은 지정된) 학습 모델에 최적화된 학습 데이터를 생성하기 위한 동작을 수행한다.
본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 2D, 3D 영상간 마킹 영역, 분할, 검출을 위한 데이터베이스 구축 및 인공지능, 영상 분석 모델 개발이 가능한 주석 소프트웨어(SW)를 실행할 수 있다. 이를 통해 2D, 3D 영상에 대한 주석 작업이 가능하고, 2D/3D 입력 영상에 대한 재구성(Reconstruction), 이미지 필터(image Filter), MPL(Multi Planar Reconstruction) 동작 등 전처리를 위한 기능을 제공한다. 또한 실시간 마킹, 관심 영역 생성 및 수정도 가능하다. 기존 주석 데이터 로드 또는 자동 검출 기능을 사용하여 사전 마커(Marker) 검출 후 주석 작업이 가능하며, 저장된 데이터는 인공지능, 영상분석 학습 데이터로 즉시 구성될 수 있으며, 실시간 인공지능, 영상분석 모델 학습이 가능하다. 네트워크 및 데이터 베이스를 활용한 실시간 데이터 저장 및 공유도 가능할 수 있다.
본 발명의 실시예에 사용되는 데이터 유형은 모든 의료 영상(예: CT, MRI, X-Ray, 초음파, 핵의학, 현미경 등) 포맷(예: DICOM 등), 모든 이미지 포맷(예: JPEG, TIFF, PNG, BMP, SVG, HEIF, GIF 등), 모든 3차원 데이터(예: STL, OBJ, PLY 등)를 포함한다. 나아가 적용 분야는 2D, 3D 내의 관심 영역 추출(예: 영상 내 특정 영역 분할(예: 병변, 사람, 동물, 사물, 번호판, 표지판 등), 2D, 3D 내의 특징점(Landmark) 검출(예: 세팔로 분석, 치아 위치, 눈/코/입/턱 등), 관심 영역 또는 특징점을 사용하는 기능(예: 술후 예측, 영상 정합, 영상 교정, 분석 리포트 작성, 표정 분석, 가상 시뮬레이션, 합성 등)을 포함할 수 있다.
학습 데이터 생성장치(120)는 데이터 주석작업을 효과적으로 수행할 수 있는 동작을 수행하며, 이를 위한 프로그램(혹은 툴)을 포함하여 이를 실행시킬 수 있다. 학습할 데이터를 순차적으로 불러와서 학습할 영역을 전문가(예: 사람)에 의하여 판단하여 색인(index)한다. 즉 의사와 같은 사람이 주석을 다는 것이다. 가령, 알고리즘으로 사용할 학습 모델을 본 발명의 실시예에 따른 툴에 이식하여 결과를 확인하고 정답을 찾지 못한 부분이 있다면 이를 편집하여 학습데이터로 추가한다. 즉 잘못된 주석을 사람이 일부 수정한다. 이러한 작업을 반복함으로써 이식된 학습 모델에 최적화된 주석 즉 주석 데이터를 효과적으로 수집하여 학습할 수 있다. 물론 사람에 의한 작업이지만 학습 데이터 생성장치(120)는 이를 인식하게 된다.
좀더 구체적으로 설명하면, 학습 데이터 생성장치(120)는 1만장의 의료 데이터 가령 CT 이미지에서 1000장의 CT 이미지에 대하여만 의사 등의 의료진이 병변 영역에 점을 찍거나 영역을 표시하여 지도 학습 방식으로 주석을 달 수 있다. 본 발명의 실시예에서는 이러한 과정을 데이터 처리 동작이라 명명할 수 있으며, 좀더 구체적으로는 학습 모델 적용 이전에 데이터 처리가 이루어지므로 전처리 동작이라 명명할 수 있다. 본 발명의 실시예에 따른 툴 즉 프로그램을 실행하여 1000장의 CT 이미지를 지정된 학습 모델에 적용하거나, 100장씩 해당 학습 모델에 적용하여 학습 결과를 모니터 화면 등을 통해 학습 결과를 피드백받아 확인 동작이 이루어질 수 있다. 물론 이는 최종적으로 학습 데이터를 생성하기의 이전 동작에 해당한다. 소규모의 데이터 단위로 오류를 점검하고 이를 통해 데이터의 유효성을 검증하면서, 또 성능을 학인하면서 학습 데이터의 수집 즉 생성 동작을 완료하게 된다. 소규모 데이터를 활용하므로 바로바로 오류의 수정이 이루어질 수 있는 것이다.
이후에 설명하겠지만, 학습 모델을 적용한 피드백을 통해 학습 결과를 확인한 후 오류가 발생한 CT 이미지에 대하여는 데이터 집합 즉 오류 지점에 대한 데이터를 보정 혹은 수정해 준 후 다시 학습 모델을 적용하여 참(true)된 학습 결과가 나올 때 해당 학습 결과를 학습 데이터로서 확보하여 DB(120a)에 저장시킨다. 오류를 포함하는 이전의 학습 결과는 삭제시킬 수 있다. 기존에는 통상 학습 모델 즉 학습 엔진의 정확도를 높이기 위하여 가중치 즉 확률 방식을 통해 학습 데이터의 오류를 줄이는 방식이었다면, 즉 학습 모델을 개선하는 방식으로 기술 개발이 이루어졌다면 본 발명의 실시예에서는 지도 학습 방식에서 학습 데이터가 부족한지, 또는 지도 학습자가 점을 잘못 찍었는지 등과 관련한 결과를 바로바로 확인해 가면서 학습 데이터의 오류를 없애 작업에 드는 시간과 비용의 낭비를 줄이려는 것이라 볼 수 있다. 가령, 오류를 수정하기 위해 사용자가 화면에서 마우스 커서 등을 통해 오류를 수정하면 학습 데이터 생성장치(120)는 이를 인식하며, 이러한 과정을 통해 양호한 데이터만을 생성 즉 확보한다고 볼 수 있다. 가령, 기존에는 학습 모델이 이용하는 학습 데이터에는 적어도 10%의 거짓(false) 데이터를 필연적으로 포함할 수밖에 없고, 이를 학습 모델이 확률 방식을 통해 필터링하는 것이었다면, 본 발명의 실시예에서는 학습 모델이 이용하는 학습 데이터에 포함되는 10%의 거짓 데이터를 위의 최적화 프로그램을 통해 0%에 가깝도록 하는 것이라 볼 수 있다.
나아가, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 1만장의 CT 이미지에 대하여 모두 마킹 즉 전처리 동작을 수행하지는 않는다. 예를 들어, 100장의 CT 이미지에 대하여 마킹 동작이 이루어지지만, 이에 대한 데이터 집합을 기저장한 후 즉 마킹 정보를 저장한 후 새로운 CT 이미지가 수신될 때 기저장된 데이터 세트의 위치 정보에 따라 수신된 새로운 CT 이미지상에 자동으로 마킹되도록 한다. 이와 같이 기본 세팅이 이루어진 상태에서 수정이 필요한 경우 일부 오류만 잡아주므로 그만큼 전처리 동작을 위한 작업이 수월하게 이루어질 수 있게 된다. 이후 학습 모델에 적용한 후 학습 결과를 피드백받아 확인하여 다시 오류를 수정하는 방식으로 학습 데이터 생성 동작이 이루어질 수 있다.
물론 이러한 과정에서 학습 데이터 생성장치(120)는 전처리 동작이 이루어지는 가령 CT 이미지 등의 개수를 설정할 수 있으며, 다시 말해 초기에 100장에만 마킹을 수행한 후 이후에 수신되는 CT 이미지에 대하여 자동 마킹이 이루어지도록 할 수 있으며, 그보다 더 적은 수에 대하여 마킹을 수행한 후 자동 마킹 동작이 이루어지도록 할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다. 프로그램의 성능에 따라 다소 차이가 있을 수는 있다.
상기의 구성 결과 본 발명의 실시예는 지도 학습 방식으로 학습 데이터 생성시 작업에 소요되는 시간과 비용을 상당 부분 줄일 수 있으며, 이와 함께 학습 데이터로 사용되는 데이터의 오류를 상당히 줄이거나 없앨 수 있다. 다시 말해 이는 학습 모델의 성능을 높이지 않는다 하더라도, 이러한 학습 모델의 성능은 고가의 비용으로 연결되므로, 학습 모델의 구입에 따른 비용을 줄이면서 성능을 높일 수 있을 것이다.
도 2는 도 1의 학습 데이터 생성장치의 세부구조를 예시한 블록다이어그램이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 통신 인터페이스부(200), 제어부(210), 학습데이터처리부(220) 및 저장부(230)의 일부 또는 전부를 포함하며, 디스플레이부를 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(230)와 같은 일부 구성요소가 생략되어 구성되거나, 학습데이터처리부(220)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(혹은 데이터 수신부)(200)는 가령 도 1의 의료 단말장치(100) 등과 통신하여 의료 데이터를 수집하거나, 해당 의료 데이터상에 병변, 종양 등의 부위에 마킹을 수행하여 전처리 동작이 이루어지는 의료 데이터를 수신하여 제어부(210)에 전달할 수 있다. 여기서, 마킹이 이루어지는 부위에 대한 정보(예: 좌표값)는 데이터 집합이라 명명될 수 있다. 가령, 해당 부위에 총 6개의 점이 찍힌 경우, 해당 6개에 대한 좌표값들은 데이터 집합이 될 수 있다. 가령 CT 이미지상의 마킹은 이미지 위에 마커를 통해 마킹이 이루어질 수 있지만, 별도의 마스킹(masking) 이미지를 이용하여 해당 점에 대한 좌표값만을 기저장한 후 이를 이용하는 방식도 얼마든지 가능할 수 있으므로, 본 발명의 실시예에서는 어떠한 방식으로 데이터 집합을 형성하는지에 대하여 특별히 한정하지는 않을 것이다.
통신 인터페이스부(200)는 CT 이미지 등의 촬영이미지를 송수신하는 과정에서 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도를 변환하는 스케일링 등의 다양한 동작을 수행할 수 있으며, 이와 관련되는 내용은 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다.
제어부(210)는 도 2의 통신 인터페이스부(200), 학습데이터처리부(220) 및 저장부(230)의 전반적인 제어 동작을 담당한다. 제어부(210)는 통신 인터페이스부(200)를 통해 수신되는 가령 의료 데이터를 저장부(230)에 임시 저장한 후 불러내어 학습데이터처리부(220)로 제공할 수 있다.
또한, 제어부(210)는 학습데이터처리부(220)와 연동하여 본 발명의 실시예에 따른 학습 데이터 생성을 위한 다양한 동작을 수행할 수 있다. 제어부(210)는 사용자 요청이 있을 때 학습데이터처리부(220)를 제어하여 내부에 탑재되어 있는 데이터처리 최적화 프로그램, 또는 툴을 실행시켜 본 발명의 실시예에 따른 동작을 수행할 수 있다. 가령 CT 이미지에 마킹을 수행하거나 마킹이 수행된 소규모의 의료 데이터를 학습 모델에 적용한 후 그에 대한 학습 결과를 제공받아 화면에 표시할 수 있다. 그리고 오류가 있다고 판단되는 CT 이미지에 대하여 오류를 수정한 후 학습 모델에 다시 적용하여 학습 결과를 확인한 후 이상이 없을 때 최종적으로 학습 데이터로서 확보하며, 이를 학습데이터처리부(220)의 요청에 따라 도 1의 DB(120a)에 체계적으로 분류하여 저장시킬 수 있다.
또한, 제어부(210)는 학습 모델이 변경될 때, 해당 변경된 학습 모델로 학습데이터처리부(220)의 프로그램을 갱신한 후 의료 데이터의 유효성을 검증하면서 성능을 확인하고, 학습 데이터를 확보할 수도 있다. 이를 통해 고비용이 드는 고성능의 학습 모델을 적용하지 않는다 하더라도, 학습의 정확도를 얼마든지 높일 수 있을 것이다.
학습데이터처리부(220)는 데이터 수신부를 포함할 수 있으며, 본 발명의 실시예에 따라 지도 학습 방식으로 인공지능이나 영상 분석 모델을 적용하여 학습 데이터를 생성할 때, 생성되는 학습 데이터에서의 오류를 원천적으로 줄이기 위한 동작을 수행한다. 지도 학습 방식에서 학습 데이터의 오류 생성은 학습 데이터가 부족할 때, 또 찾고자 하는 부위에 대한 데이터 지정 즉 주석이 잘못 되었을 때, 나아가서는 학습 모델 엔진의 오류 등으로 구분해 볼 수 있다. 기존과 같이 가령 1만장의 CT 이미지에 모두 마킹을 수행한 후 이에 대한 학습 결과를 확인하여 그 문제의 원인을 찾기에는 상당한 시간과 비용이 소요된다. 원인이 어디에서 발생하는 것인지를 규명하는 데에도 많은 어려움이 있다. 이에 따라 본 발명의 실시예에서는 소규모의 의료 데이터를 학습 모델에 적용한 후 그 결과를 바로 피드백받아 결과를 확인하고 오류가 있을 때 해당 오류를 수정하여 학습 모델에 다시 적용한 후 오류가 수정될 때 해당 의료 데이터를 학습 데이터로 확보한다. 이를 통해 지도 학습 방식의 학습 데이터의 오류를 원천적으로 차단한다.
또한, 학습데이터처리부(220)는 CT 이미지 등에서 병변과 같은 관심 영역에 마킹, 즉 전처리 동작을 수행할 때, 해당 전처리 동작에 대하여도 자동화가 이루어진다. 예를 들어, 1만장의 CT 이미지에서 100장의 CT 이미지의 병변에 대하여 가령 수동으로 의사 등의 전문가가 마킹을 수행하였다면 이후 101번째에서 1만번째 CT 이미지까지는 자동으로 마킹이 이루어지며, 전문가는 해당 자동 마킹된 위치 즉 데이터를 확인한 후 잘못된 부분에 대하여만 마우스 커서 등을 통해 수정한 후 해당 이미지를 학습 모델에 적용하고, 오류가 있을 때 다시 수정하여 학습모델에 적용함으로써 오류가 수정될 때 해당 이미지의 의료 데이터를 학습 데이터로 확보한다. 이러한 동작을 통해 작업의 번거로움과 시간이 상당히 절약될 수 있다.
또한, 새로운 학습 모델로 변경이 있는 경우에는 본 발명의 실시예에 따른 동일한 프로그램을 이용하여 새로운 학습 데이터 생성을 위한 동작을 수행할 수도 있다. 다시 말해 본 발명의 실시예에서는 특정 학습 모델에 최적화되어 학습 데이터를 생성하였지만, 이러한 학습 데이터가 다른 학습 모델에도 최적화된다고 볼 수는 없기 때문에 이의 경우에는 학습 모델을 변경한 후 위의 동작을 다시 수행하여 새로운 학습 데이터를 확보할 수 있을 것이다.
저장부(230)는 제어부(210)의 제어하에 처리되는 다양한 유형의 정보나 데이터를 저장한 후 제어부(210)의 제어하에 출력할 수 있다. 대표적으로 저장부(230)는 CT 이미지와 같은 의료 데이터를 임시 저장한 후 제어부(210)의 제어하에 학습데이터처리부(220)로 제공할 수 있다. 여기서, 정보와 데이터는 실무적으로 혼용되어 사용되므로 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(210)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 1의 학습 데이터 생성장치(120)의 동작 초기에 학습데이터처리부(220)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.
도 3은 도 1의 학습 데이터 생성장치의 다른 세부구조를 예시한 블록다이어그램이고, 도 4는 본 발명의 실시예에 따른 툴(tool)에 의해 구현되는 화면의 예시도이며, 도 5는 도 4의 화면에서 이루어지는 전처리 과정의 예시도이다.
도 3에 도시된 바와 같이 본 발명의 다른 실시예에 따른 학습 데이터 생성장치(120')는 데이터 수집부(300), 데이터 처리부(310), 학습모델부(320), 데이터처리 최적화부(혹은 최적화툴)(330), 학습결과 출력부(340), 데이터 입력부(350) 및 판단결과 출력부(360)의 일부 또는 전부를 포함할 수 있다.
여기서, "일부 또는 전부를 포함"한다는 것은 데이터 입력부(350)와 같은 일부 구성요소가 생략되어 구성되거나, 데이터처리 최적화부(330)와 같은 일부 구성요소가 학습모델부(320)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 본 발명의 실시예에 따른 도 3의 구성요소들은 하드웨어(H/W) 모듈, 소프트웨어(S/W) 모듈 또는 그 조합에 의해 구성될 수 있으며, 각 구성요소들의 연결관계는 얼마든지 변경될 수 있다.
데이터 수집부(300)는 가령 CT 이미지의 의료 데이터를 수집한다. 이의 과정에서 CT 이미지에 마킹이 되어 있는 데이터를 수집할 수도 있다.
데이터 처리부(310)는 수집된 의료 데이터에 대한 마킹 등의 전처리 동작을 수행한다. 물론 마킹이 되어 수집되는 경우 전처리 동작이 생략되거나 기존 마킹 데이터는 삭제한 후 새로운 마킹 동작이 이루어질 수도 있다. 예를 들어, 데이터 처리부(310)는 CT 이미지에서 병변을 찾기 위한 동작을 수행한다면, 해당 병변에 대한 마킹이 이루어질 수 있다.
본 발명의 실시에에 따른 데이터 처리부(310)는 데이터처리 최적화부(330)와 연계하여 마킹 등의 동작이 이루어질 수 있다. 다시 말해, 도 4에서와 같이 데이터처리 최적화부(330)의 프로그램을 실행하여 화면상에 의료 데이터의 마킹을 위한 UI 화면이 표시되면 이를 통해 마킹 등의 동작을 수행할 수 있다. 즉 마킹 등과 관련한 데이터 집합을 생성하기 위한 동작이 이루어진다고 볼 수 있다.
학습 모델부(320)는 인공지능이나 영상분석 등을 위한 다양한 유형의 학습모델을 포함할 수 있다. 가령 CNN, RNN 모델을 포함할 수 있다. 학습 모델부(302)는 기설정된(혹은 기저장된) 학습 모델을 변경할 수 있다.
데이터처리 최적화부(330)는 본 발명의 실시예에 따른 지정 학습 모델에 최적화되는 학습 데이터를 생성하기 위한 최적화 프로그램, 혹은 툴을 포함하고 이를 실행시킬 수 있다. 소량의 의료 데이터에 대하여 학습 모델을 적용해 학습 결과를 피드백받아 확인한 후 오류가 있을 때 이를 수정 또는 보정한 후 다시 학습 모델에 적용하여 오류가 없을 때 학습 데이터로 확보한다.
본 발명의 실시예에 따른 데이터처리 최적화부(330)는 가령 SW 모듈, HW 모듈 또는 그 조합으로 구성되어 학습 결과를 피드백받는 데이터 수신부, 그리고 매니저(혹은 제어부(예: CPU 등))을 포함할 수 있다.
도 4 및 도 5에서는 본 발명의 실시에에 따른 데이터처리 최적화부(330)에 의해 생성되어 화면에 표시되는 UI 화면과, 마킹이 이루어지는 CT 이미지를 각각 보여주고 있다. 도 4에서 볼 때, 화면에 표시되는 UI 화면은 탭부(400), 오픈 이미지부(410), 데이터 조정부(420), 추가 및 삭제부(430), 마커 또는 목록 표시부(440) 및 뷰어부(Viewer)(450)의 일부 또는 전부를 포함할 수 있다.
여기서, 탭부(400)는 탭에 따라 서로 다른 화면/기능으로 구성될 수 있다. 예를 들어 서로 다른 데이터 주석작업이 가능하고, 인공지능/분석 모델 개발 기능, 데이터베이스 기능을 포함할 수 있다. 오픈 이미지부(410)는 폴더 내 2D/3D 이미지 파일을 로딩한다. 데이터 조정부(420)는 Slice(Data Sequences), Radius, Text Size 등의 조정이 이루어질 수 있다. 슬라이스는 이전/다음 이미지 시각화에 관계된다. Radius는 마커(point) 또는 관심 영역 이동 및 크기 조절이 이루어진다. 텍스트 사이즈는 폰트 사이즈 조절이 이루어질 수 있다. 추가 및 삭제부(430)는 마커 또는 관심 영역의 추가 및 삭제가 이루어진다. 마커 또는 (관심영역) 목록 표시부(440)는 마커 또는 관심영역의 등록이 이루어진다. 뷰어부(450)에는 2D/3D 영상이 시각화되어 보여진다.
도 5는 주석의 예를 보여준다. 마커(Marker), 관심영역 주석 데이터 생성, Viewer에서 다양한 입력 장치(예: 키보드, 마우스, 태블릿 등 사용 가능)를 사용하여 주석작업을 수행할 수 있다. 순서가 지정될 수도 있다. 도 4의 뷰어에서 관심 영역 주석은 다양한 위치, 크기, 형태(예: 삼각형, 사각형 등)를 지정하는 등의 작업이 가능하다.
학습결과 출력부(340)는 학습 모델부(320)를 통해 특정 학습 모델에 대하여 최적화된 데이터를 확보하여 저장할 수 있다. 예를 들어, 학습결과 출력부(340)에서 학습 데이터를 확보하기에 앞서 학습 모델부(320)에 의한 모든 학습 결과는 먼저 데이터처리 최적화부(330)로 제공되어 오류가 수정된 후 학습결과 출력부(340)로 제공될 수 있지만, 학습 모델부(320)를 통해 오류를 포함하는 학습 데이터가 학습결과 출력부(340)로 제공된 후, 오류를 포함하는 학습 데이터는 학습 모델부(320)의 요청에 따라 삭제된 후 수정된 학습 데이터로 갱신될 수도 있다.
이와 같이, 학습결과 출력부(340)로부터 출력되는 학습 데이터의 처리 과정은 다양하게 이루어질 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 가령, 본 발명의 실시예에서는 삭제 동작과 수정 동작을 모두 포함하여 이루어질 수 있다.
데이터 입력부(350) 및 판단결과 출력부(360)는 본 발명의 실시예에 따른 방법에 따라 최적화되어 생성되는 학습 데이터를 근거로 학습이 이루어진다는 것을 의미한다. 물론 학습결과 출력부(340)를 통해 출력된 데이터는 특정 학습 모델의 학습 데이터, 더 정확하게는 도 3의 학습 모델부(320)와 동일한 학습 모델 엔진을 탑재하는 장치로 제공될 수 있고, 따라서 해당 장치에서 새로운 입력 데이터를 학습하기 위해 사용되어 판단 결과를 출력하는 것으로 이해될 수 있을 것이다.
도 3에서는 본 발명의 실시예에 따른 데이터 처리 과정을 보여주려는 것으로서, 본 발명의 실시예에서는 도 1의 학습 데이터 생성장치(120')의 구성을 도 3에서와 같은 프로세스에 특별히 한정하지는 않을 것이다.
도 6은 도 1의 학습 데이터 생성장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 지정(된) 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는다(S600).
여기서, 병리 이미지는 각종 의료장비에 의해 촬영된 CT 이미지 등을 포함한다. 또한, 전처리는 해당 확보한 CT 이미지상에 병변이나 종양 등의 부위에 마킹 처리가 이루어지는 것을 의미한다. 마킹된 위치의 정보는 좌표값의 형태로 데이터 집합이라 명명될 수 있다. 가령, 마킹이 총 6개의 점으로 이루어지면 해당 점들에 대한 좌표값은 데이터 집합이 되는 것이며, 영역을 선으로 표기한 경우에는 선의 좌표값들이나 선의 특성 정보(예: 색깔이나 굵기 등)는 곧 데이터 집합이 된다.
또한, 학습 데이터 생성장치(120)는 피드백받은 학습 결과에서 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 학습 모델에 재적용하여 인공지능 또는 영상분석을 위한 학습 데이터로 확보(혹은 생성)할 수 있다(S610).
예를 들어, 본 발명의 실시예에서는 총 1만장의 의료 데이터에 대한 학습 데이터가 필요하다고 가정할 때, CT 이미지를 100장 단위로 학습 결과를 확인하고 특정 CT 이미지에 대하여 가령 이미지 처리값을 확인한 결과 오류가 감지될 때, 해당 이미지와 관련한 데이터 집합을 수정하여 오류를 바로잡고 이를 통해 지도학습 방식에서 오류없는 학습 데이터를 확보한다고 볼 수 있다.
물론, 이의 과정에서 학습 모델이 변경되는 경우에는 위에서와 같은 방식으로 하여 변경된 학습 모델에 최적화되는 새로운 학습 데이터를 생성하기 위한 동작이 이루어질 수 있을 것이다.
상기한 내용 이외에도 도 6의 학습 데이터 생성장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 7은 도 1의 학습 데이터 생성장치의 다른 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 학습 데이터 생성장치(120)는 2D, 3D 데이터를 수집하여 수집한 데이터상에 다양한 방법(예: 마킹 등)을 적용하여 주석용 데이터를 생성한다(S700, S710).
또한, 학습 데이터 생성장치(120)는 본 발명의 실시예에 따른 최적화 툴을 적용하여 인공지능이나 영상분석을 위한 학습 데이터를 생성한다(S720 ~ S750). 이의 과정에서 사전에 기저장한 주석 검출 데이터나 모델이 있는 경우, 새로운 입력 데이터에 대하여 기저장한 주석 검출 데이터를 자동으로 적용한 후 이를 수정하여 해당 입력 데이터에 대한 주석 데이터를 생성하여 데이터베이스화할 수 있다(S730, S750).
이와 같은 과정으로 인공지능이나 영상분석을 위한 모델이 개발될 수 있으며(S760), 가령 이에 활용하기 위한 학습 데이터가 확보될 수 있으며, 해당 개발 모델을 통해 입력 데이터의 관심 영역이나 마커의 검출이 이루어질 수 있다(S770). 다시 말해, 위의 S740 단계에서 확보되는 학습 데이터를 근거로 관심 영역이나 마커 검출 부위에 대한 학습을 수행하여 그에 대한 판단 결과를 출력할 수 있다.
상기한 내용 이외에도 도 7의 학습 데이터 생성장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
본 발명은 의료산업에 이용될 수 있다.

Claims (11)

  1. 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 데이터 수신부; 및
    상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 제어부;를 포함하는 것을 특징으로 하는 학습 데이터 생성장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합(set)을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하는 것을 특징으로 하는 학습 데이터 생성장치.
  3. 제2항에 있어서,
    상기 제어부는, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 학습 데이터 생성장치.
  4. 제2항에 있어서,
    상기 제어부는, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 것을 특징으로 하는 학습 데이터 생성장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 것을 특징으로 하는 학습 데이터 생성장치.
  6. 데이터 수신부가, 지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계; 및
    제어부가, 상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계;를 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  7. 제6항에 있어서,
    상기 학습 데이터를 확보하는 단계는,
    상기 전처리를 위하여 상기 병리 이미지상에 마킹되는 병변의 위치에 대한 데이터 집합을 생성하며, 상기 생성한 데이터 집합의 수정 후 상기 학습 모델에 재적용하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  8. 제7항에 있어서,
    상기 제어부가, 기저장한 마킹 정보를 근거로 상기 병리 이미지에 대하여 자동 마킹을 수행하며, 상기 자동 마킹에 의한 위치를 수정하여 상기 학습 모델에 적용하는 단계;를 더 포함하는 학습 데이터 생성장치의 구동방법.
  9. 제7항에 있어서,
    상기 제어부가, 상기 데이터 집합의 수정이 이루어지도록 상기 피드백되는 학습 결과를 화면에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  10. 제6항에 있어서,
    상기 제어부가, 상기 학습 모델이 변경되면 상기 확보한 학습 데이터를 상기 변경된 학습 모델에 적용하여 새로운 학습 데이터를 확보하는 단계;를 더 포함하는 것을 특징으로 하는 학습 데이터 생성장치의 구동방법.
  11. 학습 데이터 생성장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 학습 데이터 생성장치의 구동방법은,
    지정 분량의 병리 이미지를 전처리하여 생성한 의료 데이터를 학습 모델에 적용하여 출력되는 학습 결과를 피드백받는 단계; 및
    상기 피드백받은 학습 결과를 근거로 오류가 확인되는 병리 이미지의 의료 데이터를 수정한 후 상기 학습 모델에 재적용하여 인공지능(AI) 또는 영상분석을 위한 학습 데이터를 확보하는 단계;를 실행하는 것을 특징으로 하는 컴퓨터 판독가능 기록매체.
PCT/KR2021/006963 2020-07-08 2021-06-03 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 WO2022010106A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/014,141 US20230307129A1 (en) 2020-07-08 2021-06-03 Learning data generation device, method for driving same device, and computer-readable recording medium
CN202180049205.7A CN115943437A (zh) 2020-07-08 2021-06-03 训练数据产生装置、其驱动方法以及计算机可读记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200084069A KR102417531B1 (ko) 2020-07-08 2020-07-08 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR10-2020-0084069 2020-07-08

Publications (1)

Publication Number Publication Date
WO2022010106A1 true WO2022010106A1 (ko) 2022-01-13

Family

ID=79553295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006963 WO2022010106A1 (ko) 2020-07-08 2021-06-03 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Country Status (4)

Country Link
US (1) US20230307129A1 (ko)
KR (1) KR102417531B1 (ko)
CN (1) CN115943437A (ko)
WO (1) WO2022010106A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045813A (ko) * 2015-10-20 2017-04-28 삼성전자주식회사 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Aiメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074820B2 (ja) 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
KR102128056B1 (ko) 2019-11-29 2020-07-07 주식회사 루닛 기계 학습 방법 및 장치
KR102413583B1 (ko) 2020-01-28 2022-06-27 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102081037B1 (ko) 2020-01-28 2020-02-24 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045813A (ko) * 2015-10-20 2017-04-28 삼성전자주식회사 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Aiメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치

Also Published As

Publication number Publication date
CN115943437A (zh) 2023-04-07
KR20220006292A (ko) 2022-01-17
US20230307129A1 (en) 2023-09-28
KR102417531B1 (ko) 2022-07-06

Similar Documents

Publication Publication Date Title
CN107563123A (zh) 用于标注医学图像的方法和装置
CN103221972B (zh) 医用系统
Kim et al. Deep learning method for automated classification of anteroposterior and posteroanterior chest radiographs
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
CN112989087B (zh) 一种图像处理方法、设备以及计算机可读存储介质
WO2020111505A1 (ko) 영상 기계학습을 위한 객체 gt 정보 생성 방법 및 시스템
JP2020185374A (ja) 医療画像で病変の視覚化を補助する方法およびこれを利用した装置
WO2021246770A1 (ko) 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템
CN111063422A (zh) 一种医学图像标注方法、装置、设备及介质
CN109147883A (zh) 应用于临床试验数据的原始文件映射、管理方法及其系统
Ogawa et al. Effect of augmented datasets on deep convolutional neural networks applied to chest radiographs
WO2019124836A1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
CN114864035A (zh) 影像报告生成方法、装置、系统、设备及存储介质
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2022010106A1 (ko) 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
Fonseca et al. Automatic orientation identification of pediatric chest x-rays
CN110197722B (zh) Ai-cpu系统平台
US20220157425A1 (en) Feedback system and method
CN114663975A (zh) 模型训练方法、装置、电子设备及存储介质
WO2019168310A1 (ko) 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2020230972A1 (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치
WO2023282400A1 (ko) 메디컬 자료 관리 시스템, 관리 방법 및 이를 위한 프로그램
WO2024106799A1 (ko) 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스
CN111105872A (zh) 医学影像人工智能辅助诊断系统与pacs的交互方法与装置
WO2022211213A1 (ko) 문진정보 입력 시스템, 문진정보 입력장치 및 문진정보 입력 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837622

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837622

Country of ref document: EP

Kind code of ref document: A1