WO2023200320A1 - 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2023200320A1
WO2023200320A1 PCT/KR2023/005189 KR2023005189W WO2023200320A1 WO 2023200320 A1 WO2023200320 A1 WO 2023200320A1 KR 2023005189 W KR2023005189 W KR 2023005189W WO 2023200320 A1 WO2023200320 A1 WO 2023200320A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
information
guide
image
endoscopic
Prior art date
Application number
PCT/KR2023/005189
Other languages
English (en)
French (fr)
Inventor
이동헌
진은효
Original Assignee
충남대학교산학협력단
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단, 서울대학교병원 filed Critical 충남대학교산학협력단
Publication of WO2023200320A1 publication Critical patent/WO2023200320A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Definitions

  • the present invention relates to an endoscope movement path guide device, system, method, and computer-readable recording medium. More specifically, an endoscope movement path guide device, system, method, and computer that guide the endoscope movement path in real time during an actual endoscope. It relates to a readable recording medium.
  • a method of inserting an endoscope attached to a cable through the mouth or anus of the subject is used.
  • the medical staff directly controls the movement path of the endoscope through a cable while watching the endoscope image. It is easy to secure data inside the human body, but the movement while controlling the cable depends on the examiner's skill. Because subjective image interpretation is reflected, there is a problem in that the quality of the examination varies for each examiner.
  • polyps in the colon may be immediately discovered and treated by a skilled examiner, but in other cases, they may be discovered only after post-analysis of the endoscopic images.
  • the present invention was proposed to solve the problems described above, and its purpose is to provide an endoscope movement path guide device, system, method, and computer-readable recording medium that guides the endoscope movement path in real time during an actual endoscope. there is.
  • An endoscopic movement path guide device for achieving the above object includes a memory unit that stores information about a previously learned agent model; A communication unit that transmits and receives information to and from external devices; and a processor that controls the memory and the transceiver, wherein the processor acquires an endoscopic image from the external device and learns to output guide information to move from the current location in the organ to the next location in response to the input of the endoscopic image for learning. and a guide unit that inputs the endoscope image into the agent model and provides the guide information output from the agent model.
  • the processor determines and outputs information on the name of the organ and the distance the endoscopic device has moved from the starting point of the organ based on the characteristics of the organ in the endoscopic image based on the agent model.
  • the agent model includes a model learned to output information including whether the endoscopic device moves forward or backward and the degree of movement in three-dimensional coordinates using the current position of the organ as the reference point as the guide information.
  • the processor filters noise images from the endoscopic images received from the endoscope device through the communication unit, detects noise images for which entry path determination is impossible using a pre-learned machine learning model, and detects noise images that cannot be determined by entering the detected noise. Filter the video.
  • the processor trains the agent model, simulates the endoscope movement path, checks state information and reward information to be used for reinforcement learning, and controls to simulate the endoscope movement path, Reinforcement learning data including the state of the endoscope image, compensation, and the guide information are extracted from the results of the simulation, and the agent model is trained using the extracted reinforcement learning data, and the agent model is received from the endoscope simulator.
  • the reinforcement learning is performed based on the provided state information and the compensation information to determine guide information to optimize the movement of the endoscope device.
  • the processor provides compensation determined by the guide information, an endoscopic image after the endoscope device is moved according to the guide information, and forward or backward adjustment for each axis after movement of the endoscope device according to the guide information. Optimize the agent model.
  • the endoscope movement path is either a path along which the endoscope device moves in a real environment or a path along which the endoscope device moves on a pre-stored simulator program.
  • the agent model determines the guide information that sets the endoscope device in which direction and at what distance to move based on the current state of the endoscope image and movable coordinate information.
  • An endoscope movement path guide system includes an endoscope device capable of communicating with an external device;
  • the agent model is trained to acquire an endoscopic image from the endoscopic device, filter noise images from the acquired endoscopic images, and output guide information to move from the current location in the organ to the next location in response to the input of the endoscopic image for training.
  • an endoscope movement path guide device that inputs the endoscope image and provides the guide information output from the agent model, and an output device that outputs the endoscope image and the guide information together.
  • the output device includes at least one of a display device that displays the guide information in text on at least a portion of the endoscope image and a speaker device that outputs the guide information in voice.
  • An endoscope movement path guide method includes the steps of filtering noise images among endoscope images; and inputting the endoscopic image into the agent model, which has been learned to output guide information to move from the current location in the organ to the next location in response to the input of the learning endoscopic image, and checking the guide information output from the agent model. Includes.
  • the forward-backward direction and movement distance of each axis along which the guide device should move are output as the guide information in three-dimensional coordinates using the current position of the organ as a reference point.
  • a noise image for which entry path cannot be determined is detected based on learned machine learning, and the detected noise image is filtered.
  • the agent model is learned by a reinforcement learning module, and includes the guide information, the endoscopic image after the endoscopic device is moved according to the guide information, and each axis after the endoscopic device is moved according to the guide information. Includes compensation determined by forward or backward adjustments.
  • the agent model determines the guide information that sets in which direction and distance the endoscopic device should move based on the current state of the endoscopic image and movable coordinate information.
  • An endoscope movement path guide method includes receiving an endoscope image in real time from an endoscope device; Filtering a noise image among the endoscopic images; Inputting the endoscopic image to the agent model learned to output guide information to move from a current location within an organ to a next location in response to the input of an endoscopic image for learning, and checking the guide information output from the agent model; and outputting the guide information.
  • the output step may include displaying the guide information as text on at least a portion of the endoscope image; and at least one of outputting the guide information as voice.
  • Another aspect of the present invention is a computer-readable recording medium storing a computer program, wherein the computer program, when executed by a processor, includes the following steps: filtering a noisy image from an endoscopic image; and inputting the endoscopic image into the agent model, which has been learned to output guide information to move from the current location in the organ to the next location in response to the input of the learning endoscopic image, and checking the guide information output from the agent model.
  • the computer program when executed by a processor, includes the following steps: filtering a noisy image from an endoscopic image; and inputting the endoscopic image into the agent model, which has been learned to output guide information to move from the current location in the organ to the next location in response to the input of the learning endoscopic image, and checking the guide information output from the agent model.
  • Another aspect of the present invention is a computer program stored in a computer-readable recording medium, wherein the computer program, when executed by a processor, includes the steps of: filtering a noisy image from an endoscopic image; and inputting the endoscopic image into the agent model, which has been learned to output guide information to move from the current location in the organ to the next location in response to the input of the learning endoscopic image, and checking the guide information output from the agent model.
  • the endoscope movement path guide device According to the endoscope movement path guide device, system, method, computer-readable recording medium, and computer program according to an embodiment of the present invention, it is possible to guide the endoscope movement path in real time during an actual endoscope.
  • Figure 1 is a block diagram showing the configuration of an endoscope movement path guide system according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing a more specific configuration of an endoscope movement path guide device according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating a filtered two-dimensional endoscopic image and a two-dimensional noise image used in an endoscope movement path guide device according to an embodiment of the present invention.
  • Figure 4 shows an example of a simulation of a colonoscopy.
  • Figure 5 is an exemplary diagram of an endoscope device connected to an endoscope movement path guide device according to an embodiment of the present invention.
  • Figure 6 is a conceptual diagram showing the relationship between an endoscope simulator and an agent model driven by a reinforcement learning module according to an embodiment of the present invention.
  • Figure 7 is a flowchart for explaining an endoscope movement path guide method according to an embodiment of the present invention.
  • Figure 1 is a block diagram showing the configuration of an endoscope movement path guide system according to an embodiment of the present invention.
  • the endoscope movement path guide system 1 includes an endoscope device 100, an endoscope movement path guide device 200, and an output device 300.
  • Each of the endoscope device 100, the endoscope movement path guide device 200, and the output device 300 may be provided with a communication module or input/output interface for connection to a communication network for mutual communication.
  • the endoscopic device 100 may be in the form of a strap that moves within the patient's organs by manual manipulation by a medical staff member, or it may be in the form of a robot such as a capsule endoscopy device, but is not limited thereto.
  • the endoscope movement path guide device 200 provides information on the endoscope image based on analysis by the agent model. Guide information can be provided in real time.
  • the endoscope movement path guide device 200 receives an endoscope image from the endoscope device 100, filters noise images from the endoscope image using a machine learning model, and corresponds to the endoscope image using an agent model. It can provide guide information to move from the current location within the organ to the next location.
  • the guide information may represent a decision regarding whether to move the endoscopic device 100 forward or backward, and when providing guide information in an endoscopic image, the degree of movement of the endoscopic device 100 may be presented in the size of an arrow. You can.
  • the output device 300 outputs the endoscope image and guide information together.
  • the output device 300 may be provided as a display device and may further include a speaker device.
  • the display device may display guide information received from the endoscope movement path guide device 200 along with the endoscope image transmitted from the endoscope device 100 and displayed in real time.
  • the display device may output guide information by overlapping it with the endoscope image.
  • the medical staff or the endoscopic robot that reads the endoscopic image through the output device 300 can determine the entry path, movement direction, and movement distance of the endoscopic device 100 based on the guide information provided with the endoscopic image in real time. .
  • the medical staff may receive endoscopic images provided in real time for continuous movements in which the endoscopic device 100 moves from the current position within the organ to the next position. You can check the and guide information and monitor the endoscope execution of the robot endoscope device.
  • the output device 300 may output guide information as voice through a speaker device. At this time, the output device 300 can simultaneously output guide information in text and voice through a display device and a speaker device.
  • Figure 2 is a block diagram showing a more specific configuration of an endoscope movement path guide device according to an embodiment of the present invention.
  • the endoscope movement path guide device 200 includes a processor 210, a communication unit 220, and a memory unit 230.
  • the processor 210 may load the machine learning model and information necessary to execute the machine learning model from the memory unit 230. Additionally, the processor 210 may load the agent model and information necessary for executing the agent model from the memory unit 230 in order to execute the agent model.
  • the communication unit 220 can transmit and receive information with an external device.
  • the memory unit 230 may store information about machine learning models and previously learned agent models. Additionally, the memory 230 may store information necessary for execution of the endoscope movement path guide program 230' and the endoscope movement path guide program 230'.
  • the endoscope movement path guide program 230' may refer to software including instructions programmed to process an endoscope movement path guide method.
  • the endoscope movement path guide program 230' may include commands that perform the operations of the filtering unit 232, the guide unit 234, and the learning unit 236.
  • the processor 210 can process the functions of the filtering unit 232, the guide unit 234, and the learning unit 236 by performing the endoscope movement path guide program 230'.
  • the filtering unit 232 may receive an endoscopic image from the endoscope device 100 through the communication unit 220 and filter noise images in the endoscopic image.
  • the filtering unit 232 may detect a noisy image for which an entry path cannot be determined based on a learned machine learning model and filter the detected noisy image.
  • Figure 3 is a diagram illustrating a filtered two-dimensional endoscopic image and a two-dimensional noise image used in an endoscope movement path guide device according to an embodiment of the present invention.
  • the first image 310 illustrates a two-dimensional endoscopic image whose noise image has been filtered by the filtering unit 232
  • the second image 320 illustrates a two-dimensional noise image corresponding to the noise image.
  • a machine learning model can be learned by inputting an endoscopic image captured through an endoscopic device and a noise image 320 included in the endoscopic image.
  • a machine learning model can be selectively used in the filtering unit.
  • the guide unit 234 may use the agent model stored in the memory unit 230 to provide guide information to move from the current location in the organ corresponding to the endoscopic image to the next location.
  • the guide information may include forward-backward direction and movement distance information for each axis to be moved next in the 3D coordinates using the current position of the organ as a reference point.
  • Figure 5 is an exemplary diagram of an endoscope device connected to an endoscope movement path guide device according to an embodiment of the present invention.
  • the endoscopic device 500 may include a manipulation unit 510 and an insertion unit 520.
  • the manipulation unit 510 is a component that controls the movement of the insertion unit 520, and the insertion unit 520 may be a component that is inserted into a space within an organ present in the body.
  • the manipulation unit 510 allows the insertion unit 520 to operate in a first direction 501 (e.g., up and down), a second direction 502 (e.g., left and right direction), and a third direction 503 (e.g., in the space within the organ).
  • the guide unit 234 can determine the name of the organ and information on the trajectory distance traveled by the endoscopic device 100 from the starting point of the organ, based on the characteristics of the organ in the endoscopic image, and determine the name of the determined organ and the endoscopic device 100.
  • the trajectory distance information passed by can be output through an output device.
  • the characteristics of the organ may include, but are not limited to, at least one of the color, shape, texture, and path of the organ.
  • the guide unit 234 provides forward and backward direction and movement distance information for each axis on three-dimensional coordinates, which means the direction and distance to which the endoscopic device should move in the future, based on at least one of the color, shape, and movement path of the organ in the endoscope image.
  • Guide information including can be determined, and the determined guide information can be output through an output device.
  • the guide unit 234 may display at least one of the name of the organ, trajectory distance information, and guide information on at least a portion of the endoscope image.
  • the guide unit 234 may display at least one of the name of an organ, trajectory distance information, and guide information on at least a portion of the endoscope image.
  • the guide unit 234 may support outputting at least one of the name of an organ, trajectory distance information, and guide information as a voice through a speaker. At this time, so that the voice outputting guide information for the endoscope image streamed in real time does not overlap with the previous and next guide information, the guide information corresponding to that point is provided every time the endoscope operator inputs a request for voice output. You can print it out.
  • the endoscope operator may automatically output audio guide information corresponding to that time at predetermined time intervals.
  • the endoscopist can more quickly and quickly reduce the omission rate compared to outputting the guide information only as text on the endoscope image.
  • Guide information can be recognized.
  • the learning unit 236 may include an endoscope simulator and a reinforcement learning module.
  • Figure 6 is a conceptual diagram showing the relationship between an endoscope simulator and an agent model driven by a reinforcement learning module according to an embodiment of the present invention.
  • the endoscope simulator is a configuration corresponding to the environment 20 of FIG. 6, and can simulate the endoscope movement path and provide state information and reward information to be used in reinforcement learning to the agent model.
  • the agent model 10 may perform reinforcement learning based on the state information and compensation information provided from the endoscope simulator 20 to determine guide information to optimize the movement of the endoscope device 100.
  • the reinforcement learning module simulates the endoscope movement path with an endoscope simulator (20), extracts reinforcement learning data including endoscope image status, compensation, and guide information from the simulation results, and creates an agent model (10) using the extracted reinforcement learning data. can be learned.
  • the reinforcement learning module can control the movement of the virtual endoscope device based on the action-in guide information and provide path information according to the movement of the endoscope device to the endoscope simulator in response to a request from the endoscope simulator.
  • the agent model (Agent, 10) communicates with the environment (Environment, 20) and, given the current state (State) St, determines a specific action (Action) At. Then, the determined specific action (At) is executed in the environment 20 to change the state to St+1. Depending on the state change, the environment 20 presents a predefined reward value Rt to the agent model 10. Then, the agent 10 learns the agent model 10 that suggests the best action for a specific state to maximize the sum of future rewards.
  • the environment 20 is implemented as a simulator that operates in a virtual environment.
  • Figure 4 shows an example of a simulation of a colonoscopy.
  • the simulator simulates the endoscope movement path and provides state information and compensation information to be used in reinforcement learning.
  • reinforcement learning such as state, action, and reward
  • the state may be an endoscope image, and may be information including the state and location of organs visible in the endoscope image.
  • the action refers to guide information including the next movement coordinates and movement distance from the current position of the endoscope device. In other words, it represents movement information to move from the current position of the endoscope device to the next.
  • compensation corresponds to information determined depending on whether the endoscope device moves forward or backward according to the guide information.
  • a simulator that simulates the movement of the endoscope device 100 serves as a component of the reinforcement learning environment 20.
  • FIG. 7 is a flowchart for explaining an endoscope movement path guide method according to an embodiment of the present invention.
  • the endoscope movement path guide method according to an embodiment of the present invention may be carried out in substantially the same configuration as the endoscope movement path guide device 200 of FIG. 1. Accordingly, the same components as those of the endoscope movement path guide device 200 of FIG. 1 are given the same reference numerals, and repeated descriptions are omitted.
  • the endoscope movement path guide method according to this embodiment can be executed by software (application) for performing endoscope movement path guidance using artificial intelligence.
  • the endoscope movement path guide device 200 receives the endoscope image from the endoscope device in real time (S110).
  • the endoscope movement path guide device 200 filters noise images among the endoscope images (S120). To this end, the endoscope movement path guide device 200 may detect a noise image for which an entry path cannot be determined based on a learned machine learning model and filter the detected noise image.
  • the endoscope movement path guide device 200 uses a previously learned agent model to obtain guide information to move from the current location in the organ corresponding to the endoscope image to the next location (S130).
  • the endoscope movement path guide device 200 outputs guide information together with the endoscope image (S140).
  • the guide information may include information about the forward-backward direction and movement distance of each axis along which the guide device 100 should move in three-dimensional coordinates using the current position of the organ as a reference point.
  • a step of determining the name of the organ and the trajectory distance information passed by the endoscopic device from the starting point of the organ based on at least one of the color, shape, and movement path of the organ in the endoscopic image, and the name and trajectory of the organ A step of outputting distance information to an output device may be further included.
  • the agent model can be learned by a reinforcement learning module.
  • the agent model includes guide information, an endoscopic image after the endoscopic device is moved according to the guide information, and compensation determined by forward or backward adjustment for each axis after movement of the endoscopic device according to the guide information. It can be learned with reinforcement learning data.
  • the learned agent model can determine guide information that sets which direction and distance the endoscopic device should move through the current endoscope image state and current movable coordinate information.
  • the endoscope simulator is a configuration corresponding to the environment 20 of FIG. 6, and can simulate the endoscope movement path and provide state information and reward information to be used in reinforcement learning.
  • the agent model 10 may perform reinforcement learning based on the state information and compensation information provided from the endoscope simulator 20 to determine guide information to optimize the movement of the endoscope device 100.
  • optimizing the movement of the endoscopic device 100 means moving the endoscopic device 100 to the most suitable position for endoscopic examination or endoscopic treatment in the space provided within the organ.
  • the reinforcement learning module simulates the endoscope movement path with an endoscope simulator (20), extracts reinforcement learning data including endoscope image status, compensation, and guide information from the simulation results, and creates an agent model (10) using the extracted reinforcement learning data. can be learned.
  • the reinforcement learning module can control the movement of the virtual endoscope device based on the action-in guide information and provide path information according to the movement of the endoscope device to the endoscope simulator in response to a request from the endoscope simulator.
  • the agent model (Agent, 10) communicates with the environment (Environment, 20) and, given the current state (State) St, determines a specific action (Action) At. Then, the determined specific action (At) is executed in the environment 20 to change the state to St+1. Depending on the state change, the environment 20 presents a predefined reward value Rt to the agent 10. Then, the agent model 10 learns the best action for a specific state to maximize the sum of future rewards.
  • the environment 20 is implemented as a simulator that operates in a virtual environment.
  • Figure 4 shows an example of a simulation of a colonoscopy.
  • the simulator simulates the endoscope movement path and provides state information and compensation information to be used in reinforcement learning.
  • reinforcement learning such as state, action, and reward
  • the state is an endoscopic image, and may be information including the state and location of organs visible in the endoscopic image.
  • the action refers to guide information including the next movement coordinates, movement distance, and direction of movement from the current position of the endoscope device. In other words, it represents movement information to move from the current position of the endoscope device to the next.
  • compensation corresponds to information determined depending on whether the endoscope device moves forward or backward according to the guide information.
  • a simulator that simulates the movement of the endoscope device 100 serves as a component of the reinforcement learning environment 20.
  • the above-described endoscope movement path guide system may be implemented by a computing device including at least some of a processor, memory, user input device, and presentation device.
  • Memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data that are coded to perform specific tasks when executed by a processor.
  • the processor may read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in memory.
  • a user input device may be a means for allowing a user to input a command that causes the processor to execute a specific task or to input data required to execute a specific task.
  • User input devices may include a physical or virtual keyboard, keypad, key buttons, mouse, joystick, trackball, touch-sensitive input means, or microphone.
  • Presentation devices may include displays, printers, speakers, or vibrating devices.
  • Computing devices may include a variety of devices such as smartphones, tablets, laptops, desktops, servers, and clients.
  • a computing device may be a single stand-alone device or may include multiple computing devices operating in a distributed environment comprised of multiple computing devices cooperating with each other through a communication network.
  • the above-described endoscope movement path guide method includes a processor, and is coded to perform an endoscope movement path guide method using an agent model when executed by the processor, computer readable software, applications, program modules, routines, It may be executed by a computing device having a memory storing instructions and/or data structures.
  • the above-described embodiments can be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the image diagnosis method using the agent model includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), and PLDs. It can be implemented by Programmable Logic Devices (FPGAs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, or microprocessors.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Physical Low-Voltage Deformation Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, or microprocessors.
  • the endoscope movement path guide method may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented with semiconductor devices.
  • the semiconductor device may be currently used semiconductor devices, such as SRAM, DRAM, or NAND, or may be next-generation semiconductor devices such as RRAM, STT MRAM, or PRAM, or a combination thereof.
  • the results (weights) of learning the agent model using software are transferred to synapse-mimicking elements arranged in an array or learning is performed in an artificial intelligence semiconductor device. You may proceed.
  • the endoscope movement path guide method may be implemented in the form of a device, procedure, or function that performs the functions or operations described above.
  • Software code can be stored in a memory unit and run by a processor.
  • the memory unit is located inside or outside the processor and can exchange data with the processor through various known means.
  • system generally refer to computer-related entities hardware, hardware and software. It may refer to a combination of, software, or running software.
  • the foregoing components may be a process, processor, controller, control processor, object, thread of execution, program, and/or computer run by a processor.
  • an application running on a controller or processor and the controller or processor can be a component.
  • One or more components may reside within a process and/or thread of execution, and the components may be located on a single device (e.g., system, computing device, etc.) or distributed across two or more devices.
  • another embodiment provides a computer program stored in a computer recording medium that performs the above-described endoscope movement path guide method. Another embodiment also provides a computer-readable recording medium on which a program for realizing the above-described capsule endoscope image reading method is recorded.
  • the program recorded on the recording medium can be read, installed, and executed on the computer to execute the above-described steps.
  • the above-mentioned program is a C, C++ program that the computer's processor (CPU) can read through the computer's device interface (Interface).
  • the computer's processor CPU
  • the computer's device interface Interface
  • code coded in computer languages such as Python, JAVA, and machine language.
  • These codes may include functional codes related to functions that define the above-described functions, and may also include control codes related to execution procedures necessary for the computer's processor to execute the above-described functions according to predetermined procedures.
  • these codes may further include memory reference-related codes that determine which location (address address) in the computer's internal or external memory the additional information or media required for the computer's processor to execute the above-mentioned functions should be referenced. .
  • the code is It may further include communication-related code for how to communicate with other computers, servers, etc., and what information or media should be transmitted and received during communication.
  • Examples of recording media that can be read by a computer recording the programs described above include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical media storage devices.
  • computer-readable recording media can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.
  • the functional program for implementing the present invention and the code and code segments related thereto are designed by programmers in the technical field to which the present invention belongs, taking into account the system environment of the computer that reads the recording medium and executes the program. It can also be easily inferred or changed by .
  • the endoscope movement path guide method described with reference to FIG. 7 may also be implemented in the form of a recording medium containing instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include all computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
  • the above-described endoscope movement path guide method can be executed by an application installed by default on the terminal (this may include programs included in the platform or operating system, etc., installed by default on the terminal), and the user can use an application store server, application or It may also be executed by an application (i.e. program) installed directly on the master terminal through an application providing server such as a web server related to the service.
  • the above-described endoscope movement path guide method may be implemented as an application (i.e., program) installed by default in the terminal or directly installed by the user, and may be recorded on a computer-readable recording medium such as the terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 더욱 상세하게는 실제 내시경 중에 실시간으로 내시경 이동 경로를 가이드해주는 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

Description

내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체
본 발명은 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 더욱 상세하게는 실제 내시경 중에 실시간으로 내시경 이동 경로를 가이드해주는 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본 연구는 2021년도 교육부(정부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구사업의 환자 맞춤형 대장 내시경 3차원 이미지 맵 생성 알고리즘 개발 및 임상적 유용성 평가(과제고유번호: 1345334668, 과제번호: 2021R1I1A3047535)와 관련된다.
인체 내부의 정보, 특히 의학적 정보를 도출하기 위해 피검사자의 입이나 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다.
최근에는 내시경 검사를 통해 위암이나 대장암을 조기 발견하여 치료의 혁신을 가져오게 되었다. 또한 내시경 검사 단계에서 환자들에게 수술이 아닌 시술로 병변을 치료할 수도 있게 되었다. 내시경 치료의 비율은 꾸준히 증가하여 이제 개복 수술 비율을 앞지르게 되었다.
이러한 내시경은, 의료진이 내시경 영상을 보면서 케이블을 통해 내시경의 이동 경로를 직접 제어하는 방식으로, 인체 내부의 데이터를 확보하기는 용이하지만, 케이블을 제어하는 동안의 움직임은 검사자의 숙련도에 의존되며, 주관적인 영상 해석이 반영되기 때문에 검사자마다 그 검사의 품질이 상이하게 되는 문제점이 있다.
예를 들어, 소화관의 하나인 대장 내시경의 경우 항문으로부터 맹장까지는 도달하여야 정상적인 검사가 완료되나, 대변 등 이물질이 다수 존재하는 경우 맹장의 위치를 영상만으로는 쉽게 찾기 어려우며, 검사가 중간에 종료되는 경우도 발생된다.
또한, 대장 내 용종 등은 숙련된 검사자가 즉시 발견하여 처리할 수 있는 경우도 있으나, 그렇지 않은 경우 내시경 영상을 사후 분석해야 발견되는 경우도 있다.
이렇듯 내시경 검사는 검사자의 주관적인 숙련도에 의해 좌우되는 품질요소들이 다수 존재하며, 이는 내시경 검사의 신뢰도와 정확도를 낮추는 요인이 된다.
따라서, 내시경의 정확도와 신뢰성을 높이기 위한 기술적 사상이 필요한 실정이다.
따라서, 본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 실제 내시경 중에 실시간으로 내시경 이동 경로를 가이드해주는 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체를 제공하는데 목적이 있다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내시경 이동 경로 가이드 장치는 기 학습된 에이전트 모델에 대한 정보를 저장하는 메모리부; 외부 장치와 정보를 송수신하는 통신부; 상기 메모리 및 상기 송수신기를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 외부 장치로부터 내시경 영상을 획득하고, 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 제공하는 가이드부를 포함한다.
또한, 상기 프로세서는, 상기 에이전트 모델 기반으로 상기 내시경 영상 속 장기의 특징에 기초하여 상기 장기의 명칭, 및 상기 장기의 시작지점으로부터 상기 내시경 장치가 이동된 거리 정보를 결정하여 출력한다.
또한, 상기 에이전트 모델은, 상기 가이드 정보로서 상기 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 상기 내시경 장치의 전진 또는 후진 여부 및 움직임 정도를 포함하는 정보를 출력하도록 학습된 모델을 포함한다.
또한, 상기 프로세서는, 상기 통신부를 통해 내시경 장치로부터 수신된 상기 내시경 영상 중에서 잡음 영상을 필터링하되, 기 학습된 머신러닝 모델을 사용하여 진입 경로 판단이 불가한 잡음 영상을 검출하고, 상기 검출된 잡음 영상을 필터링한다.
또한, 상기 프로세서는, 상기 에이전트 모델을 학습시키되, 내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태(state) 정보와 보상(reward) 정보를 확인하고, 상기 내시경 이동 경로를 시뮬레이션 하도록 제어하고, 상기 시뮬레이션의 결과로부터 내시경 영상의 상태, 보상, 및 상기 가이드 정보를 포함하는 강화학습 데이터를 추출하며, 추출된 상기 강화학습 데이터를 사용하여 상기 에이전트 모델을 학습시키고, 상기 에이전트 모델은 상기 내시경 시뮬레이터로부터 제공받은 상기 상태 정보와 상기 보상 정보를 기반으로 상기 강화학습을 수행하여 상기 내시경 장치의 움직임이 최적화되도록 가이드 정보를 가이드 정보를 결정한다.
또한, 상기 프로세서는, 상기 가이드 정보, 상기 가이드 정보에 따라 상기 내시경 장치가 이동된 후의 내시경 영상 및 상기 가이드 정보에 따른 상기 내시경 장치의 이동 이후의 각 축에 대한 전진 또는 후진 조정으로 결정되는 보상으로 상기 에이전트 모델을 최적화시킨다.
또한, 상기 내시경 이동 경로는 실제 환경에서 상기 내시경 장치가 움직인 경로 및 미리 저장된 시뮬레이터 프로그램 상에서 내시경 장치가 움직인 경로 중 어느 하나이다.
또한, 상기 에이전트 모델은, 현재의 상기 내시경 영상의 상태와 이동 가능한 좌표 정보를 통해 상기 내시경 장치에게 어느 방향으로 어느 거리만큼 이동할지 설정하는 상기 가이드 정보를 결정한다.
본 발명의 다른 실시예에 따른 내시경 이동 경로 가이드 시스템은 외부 장치와 통신 가능한 내시경 장치; 상기 내시경 장치로부터 내시경 영상을 획득하고, 상기 획득된 내시경 영상 중에서 잡음 영상을 필터링하며, 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 제공하는 내시경 이동 경로 가이드 장치, 및 상기 내시경 영상과 상기 가이드 정보를 함께 출력하는 출력 장치를 포함한다.
또한, 상기 출력 장치는, 상기 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 디스플레이 장치 및 상기 가이드 정보를 음성으로 출력하는 스피커 장치 중 적어도 하나를 포함한다.
본 발명의 다른 실시예에 따른 내시경 이동 경로 가이드 방법은 내시경 영상 중 잡음 영상을 필터링하는 단계; 및 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계 를 포함한다.
또한, 상기 내시경 영상 속 장기의 특징에 기초하여 상기 장기의 명칭 및 상기 장기의 시작지점으로부터 상기 내시경 장치가 지나온 궤적 거리 정보를 결정하는 단계; 및 상기 장기의 명칭 및 상기 궤적 거리 정보를 출력하는 단계를 더 포함한다.
또한, 상기 가이드 정보를 제공하는 단계는, 상기 가이드 정보로서 상기 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 상기 가이드 장치가 이동해야 할 각 축의 전후 방향 및 이동 거리를 출력한다.
또한, 상기 필터링하는 단계는, 학습된 머신러닝 기반으로 진입 경로 판단이 불가한 잡음 영상을 검출하여, 검출된 상기 잡음 영상을 필터링한다.
또한, 상기 에이전트 모델은 강화학습 모듈에 의해 학습되되, 상기 가이드 정보, 상기 가이드 정보에 따라 상기 내시경 장치가 이동된 후의 내시경 영상, 및 상기 가이드 정보에 따른 상기 내시경 장치의 이동 이후의 각 축에 대한 전진 또는 후진 조정으로 결정되는 보상을 포함한다.
또한, 상기 에이전트 모델은, 현재의 상기 내시경 영상의 상태와 이동 가능한 좌표 정보를 통해 상기 내시경 장치가 어느 방향으로 어느 거리만큼 이동해야 하는지 설정하는 상기 가이드 정보를 결정한다.
본 발명의 다른 실시예에 따른 내시경 이동 경로 가이드 방법은 내시경 장치로부터 내시경 영상을 실시간 수신하는 단계; 상기 내시경 영상 중 잡음 영상을 필터링하는 단계; 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계; 및 상기 가이드 정보를 출력하는 단계를 포함한다.
또한, 상기 출력하는 단계는, 상기 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 단계; 및 상기 가이드 정보를 음성으로 출력하는 단계 중 적어도 하나를 포함한다.
본 발명의 다른 일측면은, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 내시경 영상 중 잡음 영상을 필터링하는 단계; 및 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
본 발명의 또 다른 측면은, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 내시경 영상 중 잡음 영상을 필터링하는 단계; 및 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
본 발명의 실시예에 따른 내시경 이동 경로 가이드 장치, 시스템, 방법, 컴퓨터 판독 가능한 기록 매체, 및 컴퓨터 프로그램에 의하면, 실제 내시경 중에 실시간으로 내시경 이동 경로를 가이드 할 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 시스템의 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치의 보다 구체적인 구성을 도시하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치에서 사용되는 필터링된 2차원 내시경 이미지 및 2차원 잡음 이미지를 예시하는 도면이다.
도 4는 대장 내시경의 시뮬레이션 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치에 연결되는 내시경 장치의 일 예시도이다.
도 6은 본 발명의 일 실시예에 따른 강화학습 모듈에 의해 구동되는 내시경 시뮬레이터와 에이전트 모델 사이의 관계를 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 방법을 설명하기 위한 흐름도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 시스템의 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 시스템(1)은 내시경 장치(100), 내시경 이동 경로 가이드 장치(200) 및 출력 장치(300)를 포함한다.
내시경 장치(100), 내시경 이동 경로 가이드 장치(200) 및 출력 장치(300) 각각은 상호 통신을 위한 통신 네트워크에 접속하기 위한 통신 모듈이나 입출력 인터페이스를 구비할 수 있다.
내시경 장치(100)는 의료진의 수동적인 조작에 의해 환자의 장기 내에서 이동하는 스트랩을 구비한 형태일 수도 있고, 캡슐 내시경 장치와 같은 로봇 형태일 수도 있으며, 이에 한정하지 않는다.
내시경 이동 경로 가이드 장치(200)는 의료진이 내시경 장치(100)를 이용하여 환자의 장기에 내시경을 실행할 때, 또는 로봇 내시경 장치가 내시경을 실행할 때, 에이전트 모델에 의한 분석을 기반으로 내시경 영상에 대해 실시간으로 가이드 정보를 제공할 수 있다.
일 실시예로, 내시경 이동 경로 가이드 장치(200)는 내시경 장치(100)로부터 내시경 영상을 수신하고, 머신러닝 모델을 이용하여 내시경 영상으로부터 잡음 영상을 필터링하며, 에이전트 모델을 이용하여 내시경 영상에 해당하는 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 제공할 수 있다.
일 실시예로, 가이드 정보는 내시경 장치(100)의 전진 또는 후진 여부에 관한 결정을 나타낼 수 있고, 내시경 영상에서 가이드 정보를 제공할 때에 내시경 장치(100)의 움직임 정도를 화살표의 크기로 제시할 수 있다.
내시경 이동 경로 가이드 장치(200)의 구체적인 구성과 기능에 대해서 도 2를 참조하여 후술하기로 한다.
출력 장치(300)는 내시경 영상과 가이드 정보를 함께 출력한다. 일 실시예로, 출력 장치(300)는 디스플레이 장치로 구비될 수 있고, 스피커 장치를 더 포함하여 구비될 수 있다.
디스플레이 장치는 내시경 장치(100)로부터 전송되어 실시간으로 표시되는 내시경 영상에 내시경 이동 경로 가이드 장치(200)로부터 수신된 가이드 정보를 함께 표시할 수 있다. 일 예로, 디스플레이 장치는 가이드 정보를 내시경 영상에 오버랩하여 출력할 수 있다.
이에, 출력 장치(300)를 통해 내시경 영상을 판독하는 의료진 또는 내시경 로봇은 실시간으로 내시경 영상과 함께 제공되는 가이드 정보에 기초하여 내시경 장치(100)의 진입 경로, 이동 방향 및 이동 거리를 결정할 수 있다.
또는, 내시경 장치(100)가 캡슐형 내시경 장치이거나 자동 로봇 장치로 구현된 경우, 의료진은 내시경 장치(100)가 장기 내의 현재 위치에서 다음 위치로 이동하는 연속 동작들에 대해 실시간으로 제공되는 내시경 영상과 가이드 정보를 확인하며, 로봇 내시경 장치의 내시경 실행을 모니터링할 수 있다.
다른 실시예로, 출력 장치(300)는 스피커 장치를 통해 가이드 정보를 음성으로 출력할 수 있다. 이때, 출력 장치(300)는 디스플레이 장치 및 스피커 장치를 통해 가이드 정보를 텍스트 및 음성으로 동시에 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치의 보다 구체적인 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치(200)는 프로세서(210), 통신부(220) 및 메모리부(230)를 포함한다.
프로세서(210)는 머신러닝 모델 및 머신러닝 모델을 실행하기 위해 필요한 정보들을 메모리부(230)로부터 로드할 수 있다. 또한, 프로세서(210)는 에이전트 모델을 실행하기 위하여 에이전트 모델 및 에이전트 모델을 실행하기 위해 필요한 정보들을 메모리부(230)로부터 로드할 수 있다.
통신부(220)는 외부 장치와 정보를 송수신할 수 있다.
메모리부(230)는 머신러닝 모델 및 기 학습된 에이전트 모델에 대한 정보를 저장할 수 있다. 또한, 메모리(230)는 내시경 이동 경로 가이드 프로그램(230') 및 내시경 이동 경로 가이드 프로그램(230')의 실행에 필요한 정보를 저장할 수 있다.
본 개시의 일 실시예에서, 내시경 이동 경로 가이드 프로그램(230')은 내시경 이동 경로 가이드 방법을 처리하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다. 특히, 내시경 이동 경로 가이드 프로그램(230')은 필터링부(232), 가이드부(234) 및 학습부(236)의 동작을 수행하는 명령어를 포함할 수 있다. 이에 기초하여, 프로세서(210)는, 내시경 이동 경로 가이드 프로그램(230')을 수행함으로써, 필터링부(232), 가이드부(234) 및 학습부(236)의 기능을 처리할 수 있다.
이하, 프로세서(210)가 내시경 이동 경로 가이드 프로그램(230')을 수행하여, 내시경 이동 경로 가이드 장치를 제어하는 동작에 대해 설명한다.
우선, 필터링부(232)는 통신부(220)를 통해 내시경 장치(100)로부터 내시경 영상을 수신하고, 내시경 영상 중의 잡음 영상을 필터링할 수 있다.
일 실시예로, 필터링부(232)는 학습된 머신러닝 모델을 기반으로 진입 경로 판단이 불가한 잡음 영상을 검출하여, 검출된 잡음 영상을 필터링할 수 있다.
도 3은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치에서 사용되는 필터링된 2차원 내시경 이미지 및 2차원 잡음 이미지를 예시하는 도면이다.
도 3에서 제1영상(310)은 필터링부(232)에 의해 잡음 영상이 필터링된 2차원 내시경 이미지를 예시하고, 제2영상(320)은 잡음 영상에 해당하는 2차원 잡음 이미지를 예시한다.
일 예로, 머신러닝 모델은 내시경 장치를 통해 촬영한 내시경 이미지와 함께, 상기 내시경 이미지에 포함된 잡음 이미지(320)를 입력함으로써 학습될 수 있다.
또는, 본 발명의 일 실시예에서는 강화학습을 이용한 시뮬레이션 환경 자체에서 잡음 여부를 학습하여 필터링할 수 있기 때문에 필터링부에서 머신러닝 모델을 선택적으로 이용할 수도 있다.
가이드부(234)는 메모리부(230)에 저장된 에이전트 모델을 이용하여 상기 내시경 영상에 해당하는 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 제공할 수 있다.
여기서, 가이드 정보는 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 다음으로 이동해야 하는 각 축의 전후 방향 및 이동 거리 정보를 포함할 수 있다. 이와 관련하여 도 5는 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 장치에 연결되는 내시경 장치의 일 예시도이다.
도 5를 참조하면, 내시경 장치(500)는 조작부(510)와 삽입부(520)를 포함할 수 있다. 조작부(510)는 삽입부(520)의 이동을 제어하는 구성부이고, 삽입부(520)는 신체에 존재하는 장기 내의 공간으로 삽입되는 구성부일 수 있다. 조작부(510)는 삽입부(520)가 장기 내의 공간에서 제1방향(501)(예, 상하 방향), 제2방향(502)(예, 좌우 방향), 및 제3방향(503)(예, 전후 방향)으로 이동될 수 있도록 제어하는 제어 버튼(511, 512, 513)을 구비할 수 있다.
가이드부(234)는 내시경 영상 속 장기의 특징에 기초하여, 장기의 명칭 및 장기의 시작지점으로부터 내시경 장치(100)가 지나온 궤적 거리 정보를 결정할 수 있고, 결정된 장기의 명칭 및 내시경 장치(100)가 지나온 궤적 거리 정보를 출력 장치를 통해 출력할 수 있다.
여기서, 장기의 특징은 일 예로, 장기의 색상, 형태, 질감 및 경로 중 적어도 하나를 포함할 수 있고, 이에 한정하지 않는다.
아울러, 가이드부(234)는 내시경 영상 속 장기의 색상, 형태, 이동 경로 중 적어도 하나에 기초하여 앞으로 내시경 장치가 이동해야 할 방향과 거리를 의미하는 3차원 좌표 상의 각 축의 전후 방향 및 이동 거리 정보를 포함하는 가이드 정보를 결정할 수 있고, 결정된 가이드 정보를 출력 장치를 통해 출력할 수 있다.
이때, 가이드부(234)는 장기의 명칭, 궤적 거리 정보 및 가이드 정보 중 적어도 하나를 내시경 영상의 적어도 일부에 표시되도록 할 수 있다.
일 예로, 가이드부(234)는 장기의 명칭, 궤적 거리 정보 및 가이드 정보 중 적어도 하나를 내시경 영상의 적어도 일부에 오버랩 표시할 수 있다.
다른 예로, 가이드부(234)는 장기의 명칭, 궤적 거리 정보 및 가이드 정보 중 적어도 하나를 스피커를 통해 음성으로 출력되도록 지원할 수 있다. 이때, 실시간으로 스트리밍되는 내시경 영상에 대해 가이드 정보를 출력하는 음성이 이전 가이드 정보와 다음 가이드 정보에 대해 겹치지 않도록, 내시경 시행자가 음성 출력에 관한 요청을 입력할 때마다 그 시점에 해당하는 가이드 정보를 출력해줄 수 있다.
또는, 내시경 시행자가 미리 설정한 소정 시간 간격으로 그 시점에 해당하는 가이드 정보를 자동으로 음성 출력하도록 할 수도 있다.
여기서, 가이드부(234)가 가이드 정보를 내시경 영상에 텍스트로 출력함과 동시에 음성으로 출력할 경우, 가이드 정보를 내시경 영상에 텍스트로만 출력하는 것에 비해 내시경 시행자가 좀 더 빠르고 신속하게 누락율을 줄이며 가이드 정보를 인지할 수 있다.
학습부(236)는 내시경 시뮬레이터 및 강화학습 모듈을 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 강화학습 모듈에 의해 구동되는 내시경 시뮬레이터와 에이전트 모델 사이의 관계를 나타내는 개념도이다.
내시경 시뮬레이터는 도 6의 환경(20)에 해당하는 구성으로서, 내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태(state) 정보와 보상(reward) 정보를 에이전트 모델에 제공할 수 있다.
에이전트 모델(10)은 내시경 시뮬레이터(20)로부터 제공받은 상태 정보와 보상 정보를 기반으로 강화학습을 수행하여 내시경 장치(100)의 움직임이 최적화되도록 가이드 정보를 결정할 수 있다.
강화학습 모듈은 내시경 시뮬레이터(20)로 내시경 이동 경로를 시뮬레이션하고, 시뮬레이션의 결과로부터 내시경 이미지 상태, 보상, 가이드 정보를 포함하는 강화학습 데이터를 추출하여, 추출된 강화학습 데이터로 에이전트 모델(10)을 학습시킬 수 있다. 즉, 강화학습 모듈은 액션인 가이드 정보에 기반하여 가상의 내시경 장치가 이동할 수 있도록 제어하고, 내시경 시뮬레이터의 요청에 대응하여 내시경 장치의 이동에 따른 경로 정보를 내시경 시뮬레이터에 제공할 수 있다.
더욱 구체적으로, 도 6에서 보는 바와 같이, 에이전트 모델(Agent, 10)은 환경(Environment, 20)과 통신하면서 현재 상태(State) St가 주어지면, 특정 행동(Action) At을 결정한다. 그리고 결정된 특정 행동(At)이 환경(20)에서 실행되어 상태를 St+1로 변화시킨다. 상태 변화에 따라 환경(20)은 미리 정의한 보상(Reward) 수치 Rt를 에이전트 모델(10)에 제시한다. 그러면 에이전트(10)는 미래의 보상의 합이 최대화되도록 특정 상태(State)에 대한 최선의 행동(Action)을 제시하는 에이전트 모델(10)을 학습시킨다.
본 발명에서는, 환경(20)을 가상 환경에서 작동하는 시뮬레이터(Simulator)로 구현해준다. 도 4는 대장 내시경의 시뮬레이션 일 예를 도시한다. 시뮬레이터는 내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태 정보와 보상 정보를 제공한다.
또한, 강화 학습의 기본 구성요소인 상태(State), 행동(Action), 보상(Reward)은 다음과 같이 적용한다.
상태는 내시경 이미지로서, 내시경 이미지에서 보이는 장기 상태, 장기 위치 등을 포함하는 정보일 수 있다.
또한, 행동은 현재 내시경 장치의 위치에서 다음에 이동할 좌표 및 이동 거리를 포함하는 가이드 정보를 의미한다. 즉, 내시경 장치의 현재 위치에서 다음으로 이동해야 할 이동 정보를 나타낸다.
또한, 보상은 가이드 정보에 따라 내시경 장치가 전진 또는 후진하느냐에 따라 결정되는 정보에 해당한다.
내시경 장치(100)의 이동을 모사하는 시뮬레이터가 강화학습의 환경(20) 구성요소의 역할을 수행한다.
도 7은 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 방법을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 내시경 이동 경로 가이드 방법은, 도 1의 내시경 이동 경로 가이드 장치(200)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 내시경 이동 경로 가이드 장치(200)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또한, 본 실시예에 따른 내시경 이동 경로 가이드 방법은 인공지능을 활용한 내시경 이동 경로 가이드를 수행하기 위한 소프트웨어(어플리케이션)에 의해 실행될 수 있다.
도 7을 참조하면, 내시경 이동 경로 가이드 장치(200)는 내시경 장치로부터 내시경 영상을 실시간 수신한다(S110).
다음으로, 내시경 이동 경로 가이드 장치(200)는 내시경 영상 중 잡음 영상을 필터링한다(S120). 이를 위해, 내시경 이동 경로 가이드 장치(200)는 학습된 머신러닝 모델 기반으로 진입 경로 판단이 불가한 잡음 영상을 검출하여, 검출된 상기 잡음 영상을 필터링할 수 있다.
다음으로, 내시경 이동 경로 가이드 장치(200)는 기 학습된 에이전트 모델을 이용하여 내시경 영상에 해당하는 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 획득한다(S130).
다음으로, 내시경 이동 경로 가이드 장치(200)는 가이드 정보를 내시경 영상과 함께 출력한다(S140). 여기서, 가이드 정보는 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 가이드 장치(100)가 이동해야 할 각 축의 전후 방향 및 이동 거리에 관한 정보를 포함할 수 있다.
다른 실시예로, 내시경 영상 속 장기의 색상, 형태, 이동 경로 중 적어도 하나에 기초하여 장기의 명칭, 및 장기의 시작지점으로부터 내시경 장치가 지나온 궤적 거리 정보를 결정하는 단계와, 장기의 명칭 및 궤적 거리 정보를 출력장치에 출력하는 단계를 더 포함할 수 있다.
여기서, 에이전트 모델은 강화학습 모듈에 의해 학습될 수 있다.
일 실시예로, 에이전트 모델은 가이드 정보, 가이드 정보에 따라 내시경 장치가 이동된 후의 내시경 이미지, 및 가이드 정보에 따른 내시경 장치의 이동 이후의 각 축에 대한 전진 또는 후진 조정으로 결정되는 보상을 포함하는 강화학습 데이터로 학습될 수 있다.
이에, 학습된 에이전트 모델은 현재의 내시경 이미지 상태와 현재 이동 가능한 좌표 정보를 통해 내시경 장치가 어느 방향으로 어느 거리만큼 이동해야 하는지 설정하는 가이드 정보를 결정할 수 있다.
내시경 시뮬레이터는 도 6의 환경(20)에 해당하는 구성으로서, 내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태(state) 정보와 보상(reward) 정보를 제공할 수 있다.
에이전트 모델(10)은 내시경 시뮬레이터(20)로부터 제공받은 상태 정보와 보상 정보를 기반으로 강화학습을 수행하여 내시경 장치(100)의 움직임이 최적화되도록 가이드 정보를 결정할 수 있다. 여기서, 내시경 장치(100)의 움직임의 최적화는 장기 내에 마련된 공간에서 내시경 장치(100)가 내시경 검사 또는 내시경 치료를 위해 가장 적합한 위치로 이동하는 것을 의미한다.
강화학습 모듈은 내시경 시뮬레이터(20)로 내시경 이동 경로를 시뮬레이션하고, 시뮬레이션의 결과로부터 내시경 영상 상태, 보상, 가이드 정보를 포함하는 강화학습 데이터를 추출하여, 추출된 강화학습 데이터로 에이전트 모델(10)을 학습시킬 수 있다. 즉, 강화학습 모듈은 액션인 가이드 정보에 기반하여 가상의 내시경 장치가 이동할 수 있도록 제어하고, 내시경 시뮬레이터의 요청에 대응하여 내시경 장치의 이동에 따른 경로 정보를 내시경 시뮬레이터에 제공할 수 있다.
더욱 구체적으로, 도 6에서 보는 바와 같이, 에이전트 모델(Agent, 10)은 환경(Environment, 20)과 통신하면서 현재 상태(State) St가 주어지면, 특정 행동(Action) At를 결정한다. 그리고 결정된 특정 행동(At)이 환경(20)에서 실행되어 상태를 St+1로 변화시킨다. 상태 변화에 따라 환경(20)은 미리 정의한 보상(Reward) 수치 Rt를 에이전트(10)에 제시한다. 그러면 에이전트 모델(10)은 미래의 보상의 합이 최대화되도록 특정 상태(State)에 대한 최선의 행동(Action)을 제시하는 에이전트 모델(10)을 학습시킨다.
본 발명에서는, 환경(20)을 가상 환경에서 작동하는 시뮬레이터(Simulator)로 구현해준다. 도 4는 대장 내시경의 시뮬레이션 일 예를 도시한다. 시뮬레이터는 내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태 정보와 보상 정보를 제공한다.
또한, 강화 학습의 기본 구성요소인 상태(State), 행동(Action), 보상(Reward)은 다음과 같이 적용한다.
여기서, 상태는 내시경 이미지로서, 내시경 이미지에서 보이는 장기 상태, 장기 위치 등을 포함하는 정보일 수 있다.
또한, 행동은 현재 내시경 장치의 위치에서 다음에 이동할 좌표, 이동 거리 및 이동방향을 포함하는 가이드 정보를 의미한다. 즉, 내시경 장치의 현재 위치에서 다음으로 이동해야 할 이동 정보를 나타낸다.
또한, 보상은 가이드 정보에 따라 내시경 장치가 전진 또는 후진하느냐에 따라 결정되는 정보에 해당한다.
내시경 장치(100)의 이동을 모사하는 시뮬레이터가 강화학습의 환경(20) 구성요소의 역할을 수행한다.
전술한 내시경 이동경로 가이드 시스템은, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 수 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다.
사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 내시경 이동경로 가이드 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 에이전트 모델을 활용한 내시경 이동경로 가이드 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 에이전트 모델을 활용한 영상 진단 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어, 실시예들에 따른 내시경 이동경로 가이드 방법은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 내시경 이동경로 가이드 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 에이전트 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 내시경 이동경로 가이드 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 내시경 이동경로 가이드 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 캡슐 내시경 영상 판독 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다. 이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, Python, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는 지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 7을 통해 설명된 내시경 이동경로 가이드 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 내시경 이동경로 가이드 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 내시경 이동경로 가이드 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

Claims (19)

  1. 기 학습된 에이전트 모델에 대한 정보를 저장하는 메모리부;
    외부 장치와 정보를 송수신하는 통신부;
    상기 메모리 및 상기 송수신기를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 외부 장치로부터 내시경 영상을 획득하고, 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 제공하는 내시경 이동 경로 가이드 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 에이전트 모델 기반으로 상기 내시경 영상 속 장기의 특징에 기초하여 상기 장기의 명칭, 및 상기 장기의 시작지점으로부터 상기 내시경 장치가 이동된 거리 정보를 결정하여 출력하는 내시경 이동 경로 가이드 장치.
  3. 제 1 항에 있어서,
    상기 에이전트 모델은,
    상기 가이드 정보로서 상기 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 상기 내시경 장치의 전진 또는 후진 여부 및 움직임 정도를 포함하는 정보를 출력하도록 학습된 것을 특징으로 하는 내시경 이동 경로 가이드 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 통신부를 통해 내시경 장치로부터 수신된 상기 내시경 영상 중에서 잡음 영상을 필터링하되,
    기 학습된 머신러닝 모델을 사용하여 진입 경로 판단이 불가한 잡음 영상을 검출하고, 상기 검출된 잡음 영상을 필터링하는 것을 특징으로 하는 내시경 이동 경로 가이드 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 에이전트 모델을 학습시키되,
    내시경 이동 경로를 시뮬레이션하고, 강화학습에 이용될 상태(state) 정보와 보상(reward) 정보를 확인하고,
    상기 내시경 이동 경로에 대한 시뮬레이션을 제어하고, 상기 시뮬레이션의 결과로부터 내시경 영상의 상태, 보상, 및 상기 가이드 정보를 포함하는 강화학습 데이터를 추출하고, 추출된 상기 강화학습 데이터를 사용하여 상기 에이전트 모델을 학습시키고,
    상기 에이전트 모델은 상기 내시경 시뮬레이터로부터 제공받은 상기 상태 정보와 상기 보상 정보를 기반으로 상기 강화학습을 수행하여 상기 내시경 장치의 움직임이 최적화되도록 가이드 정보를 결정하는 내시경 이동 경로 가이드 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 가이드 정보, 상기 가이드 정보에 따라 상기 내시경 장치가 이동된 후의 내시경 영상 및 상기 가이드 정보에 따른 상기 내시경 장치의 이동 이후의 각 축에 대한 전진 또는 후진 조정으로 결정되는 보상으로 상기 에이전트 모델을 학습시키는 것을 특징으로 하는 내시경 이동 경로 가이드 장치.
  7. 제 5 항에 있어서,
    상기 내시경 이동 경로는 실제 환경에서 상기 내시경 장치가 움직인 경로 및 미리 저장된 시뮬레이터 프로그램 상에서 내시경 장치가 움직인 경로 중 어느 하나인 것을 특징으로 하는 내시경 이동 경로 가이드 장치.
  8. 제 1 항에 있어서,
    상기 에이전트 모델은,
    현재의 상기 내시경 영상의 상태와 이동 가능한 좌표 정보를 통해 상기 내시경 장치에게 어느 방향으로 어느 거리만큼 이동할지 설정하는 상기 가이드 정보를 결정하는 것을 특징으로 하는 내시경 이동 경로 가이드 장치.
  9. 외부 장치와 통신 가능한 내시경 장치;
    상기 내시경 장치로부터 내시경 영상을 획득하고, 상기 획득된 내시경 영상 중에서 잡음 영상을 필터링하며, 학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 제공하는 내시경 이동 경로 가이드 장치; 및
    상기 내시경 영상과 상기 가이드 정보를 함께 출력하는 출력 장치를 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 시스템.
  10. 제 9 항에 있어서,
    상기 출력 장치는,
    상기 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 디스플레이 장치 및 상기 가이드 정보를 음성으로 출력하는 스피커 장치 중 적어도 하나를 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 시스템.
  11. 내시경 영상 중 잡음 영상을 필터링하는 단계; 및
    학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계;를 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  12. 제11 항에 있어서,
    상기 내시경 영상 속 장기의 특징에 기초하여 상기 장기의 명칭 및 상기 장기의 시작지점으로부터 상기 내시경 장치가 지나온 궤적 거리 정보를 결정하는 단계; 및
    상기 장기의 명칭 및 상기 궤적 거리 정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  13. 제11 항에 있어서,
    상기 가이드 정보를 제공하는 단계는,
    상기 가이드 정보로서 상기 장기의 현재 위치를 기준점으로 하는 3차원 좌표에서 상기 가이드 장치가 이동해야 할 각 축의 전후 방향 및 이동 거리를 출력하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  14. 제11 항에 있어서,
    상기 필터링하는 단계는,
    학습된 머신러닝 기반으로 진입 경로 판단이 불가한 잡음 영상을 검출하여, 검출된 상기 잡음 영상을 필터링하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  15. 제11 항에 있어서,
    상기 에이전트 모델은 강화학습 모듈에 의해 학습되되,
    상기 가이드 정보, 상기 가이드 정보에 따라 상기 내시경 장치가 이동된 후의 내시경 영상, 및 상기 가이드 정보에 따른 상기 내시경 장치의 이동 이후의 각 축에 대한 전진 또는 후진 조정으로 결정되는 보상을 포함하는 강화학습 데이터로 학습된 것을 특징으로 하는, 내시경 이동 경로 가이드 방법.
  16. 제15 항에 있어서,
    상기 에이전트 모델은,
    현재의 상기 내시경 영상의 상태와 이동 가능한 좌표 정보를 통해 상기 내시경 장치가 어느 방향으로 어느 거리만큼 이동해야 하는지 설정하는 상기 가이드 정보를 결정하는 것을 특징으로 하는, 내시경 이동 경로 가이드 방법.
  17. 내시경 장치로부터 내시경 영상을 실시간 수신하는 단계;
    상기 내시경 영상 중 잡음 영상을 필터링하는 단계;
    학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계; 및
    상기 가이드 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  18. 제 17 항에 있어서,
    상기 출력하는 단계는,
    상기 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 단계; 및
    상기 가이드 정보를 음성으로 출력하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 내시경 이동 경로 가이드 방법.
  19. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    내시경 영상 중 잡음 영상을 필터링하는 단계; 및
    학습용 내시경 영상의 입력에 대응하여 장기 내 현재 위치에서 다음 위치로 이동할 가이드 정보를 출력하도록 학습된 상기 에이전트 모델에, 상기 내시경 영상을 입력하고, 상기 에이전트 모델로부터 출력되는 상기 가이드 정보를 확인하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
PCT/KR2023/005189 2022-04-15 2023-04-17 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체 WO2023200320A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220046979A KR20230147959A (ko) 2022-04-15 2022-04-15 내시경 이동 경로 가이드 장치, 시스템, 방법, 컴퓨터 판독 가능한 기록 매체, 및 컴퓨터 프로그램
KR10-2022-0046979 2022-04-15

Publications (1)

Publication Number Publication Date
WO2023200320A1 true WO2023200320A1 (ko) 2023-10-19

Family

ID=88330053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005189 WO2023200320A1 (ko) 2022-04-15 2023-04-17 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR20230147959A (ko)
WO (1) WO2023200320A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20090259960A1 (en) * 2008-04-09 2009-10-15 Wolfgang Steinle Image-based controlling method for medical apparatuses
US20180211385A1 (en) * 2015-09-28 2018-07-26 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method
JP2021048927A (ja) * 2019-09-20 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
JP2022500148A (ja) * 2018-09-12 2022-01-04 オルソグリッド システムズ，エスアーエス 人工知能の術中外科的ガイダンスシステムと使用方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109830A (ko) 2020-02-28 2021-09-07 주식회사 웨이센 시각적 통합 학습 및 검출 모델 기반의 소화관 내시경 영상 정보 분석 서비스 제공 방법
KR102237609B1 (ko) 2020-11-27 2021-04-12 대한민국(방위사업청장) 군사작전 시뮬레이션 모델을 위한 항공임무명령서 자동생성장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20090259960A1 (en) * 2008-04-09 2009-10-15 Wolfgang Steinle Image-based controlling method for medical apparatuses
US20180211385A1 (en) * 2015-09-28 2018-07-26 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method
JP2022500148A (ja) * 2018-09-12 2022-01-04 オルソグリッド システムズ，エスアーエス 人工知能の術中外科的ガイダンスシステムと使用方法
JP2021048927A (ja) * 2019-09-20 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム

Also Published As

Publication number Publication date
KR20230147959A (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
AU2017202475B2 (en) Endoscope simulator
WO2020122432A1 (ko) 전자 장치 및 그의 3d 이미지 표시 방법
EP2544865A1 (en) Telepresence robot, telepresence system comprising the same and method for controlling the same
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2022231329A1 (ko) 생체 이미지 조직 표시 방법 및 장치
WO2022265197A1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
WO2023200320A1 (ko) 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체
WO2021261727A1 (ko) 캡슐 내시경 영상 판독 시스템 및 방법
WO2009008750A1 (en) Endoscope simulator
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2023075508A1 (ko) 전자 장치 및 그 제어 방법
WO2022108387A1 (ko) 임상 기록 데이터 생성 방법 및 장치
WO2022114357A1 (ko) 영상 병변 진단 시스템
CN115813343A (zh) 儿童行为异常评估方法和系统
WO2021162181A1 (ko) 의료 도구 제어 장치의 동작을 결정하기 위한 기계 학습 모델을 트레이닝하는 방법 및 장치
Katz et al. The development of a multimedia teaching program for fiberoptic intubation
WO2024143639A1 (ko) C-암 제어 장치 및 그 방법
WO2022220383A1 (ko) 엑스레이 이미지 내에서의 대상 병변의 크기 변화를 측정하는 방법 및 시스템
WO2022035282A1 (ko) 움직임코드 기반 감성행동 분석 시스템
WO2024072067A1 (ko) 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법
WO2022124737A1 (ko) 수술 부위 모니터링 방법 및 이를 이용한 디바이스
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2022119364A1 (ko) 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램
WO2020230984A1 (ko) 초음파 영상 장치 및 그 표시 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788668

Country of ref document: EP

Kind code of ref document: A1