WO2019074331A2 - 인공지능 기반의 자동 삽관 장치 및 그 구동 방법 - Google Patents

인공지능 기반의 자동 삽관 장치 및 그 구동 방법 Download PDF

Info

Publication number
WO2019074331A2
WO2019074331A2 PCT/KR2018/012066 KR2018012066W WO2019074331A2 WO 2019074331 A2 WO2019074331 A2 WO 2019074331A2 KR 2018012066 W KR2018012066 W KR 2018012066W WO 2019074331 A2 WO2019074331 A2 WO 2019074331A2
Authority
WO
WIPO (PCT)
Prior art keywords
intubation
image
intubation tube
airway
artificial intelligence
Prior art date
Application number
PCT/KR2018/012066
Other languages
English (en)
French (fr)
Other versions
WO2019074331A3 (ko
Inventor
임태호
송영탁
이윤재
강형구
오재훈
조용일
최종봉
김종수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180086804A external-priority patent/KR101983342B1/ko
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to US16/755,726 priority Critical patent/US20210196915A1/en
Publication of WO2019074331A2 publication Critical patent/WO2019074331A2/ko
Publication of WO2019074331A3 publication Critical patent/WO2019074331A3/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/04—Tracheal tubes

Definitions

  • the present invention relates to an automatic intubation device and a driving method thereof, and more particularly, to an artificial intelligence-based automatic intubation device and a driving method thereof, in which a tube is automatically intubated along a searched airway through an artificial intelligence algorithm.
  • the technique of tracheal intubation is the main technique to save the life of a patient who is unable or unable to cope with spontaneous breathing due to dyspnea and unconsciousness. This technique is difficult to learn until highly skilled to be trained with highly skilled specialists, and requires a lot of time and effort to master.
  • the video laryngeal generally consists of a channel type having a guide channel for guiding the progression into the organ, a stylet type in which an operator adjusts the direction to be performed in the organ using a guide stylet, and a video camera There is no need to have a laryngoscope can be divided into a video stethoscope type.
  • Embodiments of the present invention provide a method and system for performing a machine learning on a plurality of airway images and applying the prepared AI algorithm to an intracorporeal airway image to search for the airway position and to automatically
  • the present invention relates to an artificial intelligence-based automatic intubation device and a driving method thereof.
  • An automatic intubation device based on artificial intelligence includes a body including a video laryngoscope having an imaging channel having a predetermined length on one side and a driving unit for moving the intubation tube, And a control unit for controlling the driving of the body so that the intubation tube is automatically intro- cuted into the organs.
  • an end portion of the imaging channel may be provided with an imaging unit for imaging an inside of an organ, and a light emitting unit for outputting a signal in the form of light in the interior of the organ.
  • the body according to an embodiment of the present invention may include a mounting portion in which the video laryngoscope is partially opened so as to be detachable.
  • the driving unit may include an opening / closing member having a space for inserting the intubation tube and having the inserted intubation tube fixed to the body or opening and closing the intubation tube to separate the intubation tube from the body, And a roller for moving the intubation tube in the up and down direction.
  • the blade according to an embodiment of the present invention may have a bending portion bent downward at a predetermined size.
  • the blade according to an embodiment of the present invention may further include a plate-shaped cover member formed along one side of the outer side of the bent portion and having a width larger than the width of the blade.
  • the artificial intelligence-based automatic intubation device may further include a guide portion formed along an outer surface of the bent portion and guiding the intubation tube through a space provided along the outer surface of the bent portion can do.
  • the blade and the guide unit may be composed of a plurality of independently variable segments connected to at least one adjustment member.
  • the body may be provided with a first button for adjusting the moving speed of the intubation tube and a second button for adjusting the insertion direction of the intubation tube.
  • the intubation tube according to an embodiment of the present invention can be semiautomatically introduced into the organ through manipulation of the first button and the second button.
  • control unit may search the airway position for the image inside the organs based on the prepared AI algorithm, and automatically control the direction of the intubation tube according to the airway position .
  • control unit includes an image collecting unit for collecting image information about an image of an inside of an organ taken through the imaging channel, an artificial intelligence algorithm An image generating unit for displaying the searched airway position in the image of the captured internal organs, and an image generating unit for applying the progression of the intubation tube based on the searched airway position And an intubation controller configured to control driving of the body and the blades so that the direction is controlled.
  • a method for driving an automatic intubation apparatus based on artificial intelligence comprising the steps of: capturing an image of an inside of an organ using an imaging channel provided in a video laryngoscope; A step of performing mechanical learning on a plurality of airway images by a control unit of the intubation apparatus and applying a prepared AI algorithm to the collected image information to search for airway position, Wherein the intubation tube is positioned in the body of the intubating device such that the direction of the intubation tube is automatically adjusted based on the searched airway position by the controller, And controlling the driving of the driving device.
  • a method for driving an automatic intubation apparatus based on artificial intelligence comprising: operating a button provided on a body of the intubation apparatus, And semi-automatically adjusting the advancing direction of the tube.
  • an artificial intelligence algorithm prepared by performing machine learning on a plurality of airway images is applied to an intracorporeal airway image to search for the airway position, and the direction of the tube is automatically It can be regulated and intubated.
  • FIG. 1 is a perspective view schematically illustrating an artificial intelligence-based automatic intubation device according to an embodiment of the present invention.
  • FIG. 2 is a front view of Fig.
  • FIG. 3 is a plan view of Fig.
  • FIGS. 4A and 4B are perspective views illustrating an operation of a driving unit in a main body according to an embodiment of the present invention.
  • 5A is a perspective view illustrating a blade in an embodiment of the present invention.
  • FIG. 5B is a perspective view illustrating an embodiment in which a blade and an intubation tube are combined, according to an embodiment of the present invention.
  • FIG. 6A is a plan view for explaining a combined view of the blade and the video laryngeal in one embodiment of the present invention.
  • FIG. 6B is a side view showing a state in which a blade, a video laryngoscope, and an intubation tube are combined in an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a structure of a control unit according to an embodiment of the present invention. Referring to FIG.
  • FIG. 8 is a view showing an artificial neural network of a multi-layer structure used for machine learning in an embodiment of the present invention.
  • FIG. 9A is an original image showing an inside of an engine in an embodiment of the present invention.
  • FIG. 9B is a prayer image showing only the airway position in the original image in one embodiment of the present invention.
  • 9C is an image further showing the searched prayer position by applying a prepared artificial intelligence algorithm by performing machine learning on a plurality of prayer images in an image of the inside of the organ.
  • FIG. 1 is a perspective view schematically illustrating an artificial intelligence-based automatic intubation device according to an embodiment of the present invention
  • FIG. 2 is a front view of FIG. 1
  • FIG. 3 is a plan view of FIG. 1
  • FIG. 5A is a perspective view illustrating a blade in an embodiment of the present invention
  • FIG. 5B is a perspective view illustrating the operation of the driving unit in the body according to an embodiment of the present invention.
  • the blade and the intubation tube are shown in cross-section to illustrate the combined view
  • FIG. 6B is a side view showing a state in which a blade, a video laryngoscope, and an intubation tube are combined in an embodiment of the present invention.
  • FIG. 6B is a side view showing a state in which a blade, a video laryngoscope, and an intubation tube are combined in an embodiment of the present invention.
  • the artificial intelligence-based automatic intubation apparatus 1 is an apparatus for automatically intubating a tube by advancing the direction of a tube into a patient's airway, 200, and a control unit 300.
  • the intubating apparatus 1 of the present invention has a structure in which a blade 200 is coupled to an imaging channel of a video laryngeal 10 provided in a body 100, The intubation proceeds.
  • a video laryngoscope 10 which is a tool for photographing the patient's airway, and an intubating tube 20 inserted into the airway can be combined.
  • the video laryngoscope 10 may be configured to include a display device for displaying an image captured inside the organs, and an imaging channel 12 extending from one side of the display device and inserted into an organ.
  • the video laryngoscope 10 can be rotated in all directions in a state where it is inserted into the blade 200 to be described later, so that convenience of use can be improved.
  • the display device may be implemented as a display device of various types such as a CRT type, an LCD type, and a PDP type.
  • the video laryngoscope 10 may be operated in conjunction with an external device (not shown) such as a PC, a notebook, a video projector, a TV, or a smart phone connected by wired or wireless communication. Accordingly, the image captured inside the organ displayed on the display device of the video laryngoscope 10 is transmitted to an external device and displayed through an external device, or data necessary for the intubation procedure is received from an external device, Can be displayed.
  • an external device such as a PC, a notebook, a video projector, a TV, or a smart phone connected by wired or wireless communication.
  • An imaging unit (not shown) and a light emitting unit (not shown) may be provided at the end of the imaging channel 12.
  • the image sensing channel 12 can capture an inside of the engine through the image sensing unit, output a signal in the form of light through the light emitting unit, and enable imaging.
  • the image pickup section and the light emitting section can be arranged side by side, and a plurality of light emitting sections can be arranged along the outer side of the image pickup section.
  • the intubation tube 20 can be inserted along the airway with the patient's airway secured as the imaging channel 12 is inserted into the organs.
  • the intubation tube 20 can be automatically intubated to the airway position through the control of the controller 300 according to the artificial intelligence algorithm to be described later.
  • the intubation tube 20 is made of a flexible material and can be bent to be inserted corresponding to the curved shape inside the organs.
  • the present invention is not limited to this, and the intubation tube 20 may be made of various materials such as PVC, silicone, or an elastic synthetic resin material.
  • the body 100 includes a grip portion (not shown) that can be gripped by a user, a mounting portion 120 where the video laryngoscope 10 is attached and detached, And a driving unit 110.
  • the grip portion may have a column shape having a predetermined length, and may include various buttons, switches, and a display device for performing an intubation procedure.
  • the various buttons include a power button 132 for turning the body 100 on and off, a first button 134 for adjusting the moving speed of the intubation tube 20, a second button 134 for adjusting the insertion direction of the intubation tube 20, 2 button 136.
  • the present invention is not limited to this, and may be further provided as long as it is a button necessary for intubation.
  • the first button 134 may be implemented as a single button to control the speed of movement of the intubation tube 20 according to the number of pressures. That is, when the first button 134 is depressed once, the moving speed of the intubation tube 20 is slowed down, and the moving speed of the intubation tube 20 can be increased at the time of two successive pressurization, and the number of times is not limited.
  • a display unit for visually displaying the moving speed of the intubation tube 20 as a mode may be further provided.
  • the 'L' display unit may emit light as a mode for the slow movement speed of the intubation tube 20
  • the 'H' display unit may emit light as a mode for a case where the movement speed of the intubation tube 20 is fast have.
  • the second button 136 may include a forward button? And a backward button? In consideration of the traveling direction of the intubation tube 20. For example, when the advance button (?) Of the second button (136) is pressed, the intubation tube (20) can be advanced toward the airway and inserted. When the backward button (20) can be withdrawn back out of the airway.
  • the first button 134 and the second button 136 may be buttons for allowing a user to manually manipulate the intubation tube 20 to intubate the intubation tube 20 when it is difficult to perform the automatic intubation function. For example, when the automatic intubation function is interrupted during the intubation procedure or when an abnormality occurs in the display device of the video laryngoscope 10, the user can manually operate the button.
  • automatic intubation of the intubation tube 20 can be started by pressing the power button 132 or a separate drive button (not shown).
  • the grip portion may further include an open / close switch 138 for controlling opening and closing of the driving portion 110 to be described later, and a battery portion 131 into which a battery for driving the body 100 is inserted.
  • the mounting portion 120 is protruded from one end of the grip portion and can be partially opened so that the video laryngeal 10 can be detached.
  • the video laryngoscope 10 can be fastened to the mounting part 120 by means of the fixing part 122.
  • the fixing part 122 In this case,
  • the video laryngeal 10 in the present embodiment may have a structure that is integrally coupled with the body 100 without being detached and attached by the mounting portion 120.
  • the driving unit 110 may include an opening and closing member 112 and a roller 114 as a tool for moving the intubation tube 20 to the inside and outside of the airway while being coupled to the body 100.
  • the driving unit 110 may have a predetermined size for insertion of the intubation tube 20 and the size of the space may be larger than the circumference of the intubation tube 20.
  • the opening and closing member 112 can be opened and closed so that the intubation tube 20 inserted into the space is fixed to the body 100 or separated from the body 100.
  • the intubation tube 20 when the opening and closing member 112 is opened, the intubation tube 20 may be inserted into the space to be coupled to the body 100 or may be removed from the space to be separated from the body 100 have.
  • the intubation tube 20 when the opening and closing member 112 is closed, the intubation tube 20 can be fixed to the body 100.
  • the opening and closing member 112 may be operated by a driving motor (not shown) built in or external to the driving unit 110, and the driving motor may include an opening / closing switch 138 And can be driven according to an operation.
  • a driving motor not shown
  • the driving motor may include an opening / closing switch 138 And can be driven according to an operation.
  • the roller 114 can be rotated in a state where one end and the other end are fixed so that the intubation tube 20 is moved in the vertical direction.
  • the roller 114 can be operated by a drive motor (not shown) like the opening and closing member 112.
  • the body 100 may further include a fixing part 130 for fixing the intubation tube 20 so as to move without shaking.
  • the blades 200 may be coupled along the longitudinal direction of the channel in the form of surrounding the outer perimeter of the imaging channel 12.
  • the blade 200 may be formed of a transparent or translucent plastic material so that the imaging channel 12 coupled to the inside can be visually observed.
  • the present invention is not limited thereto, and the blade 200 may be embodied in various materials that can be seen inside.
  • the blade 200 may have a bent portion 210 having a predetermined size and being bent at a lower portion thereof.
  • irritation is given to the lining of the larynx to minimize the inconvenience of the patient.
  • the blade 200 may further include a plate-like cover member 212 formed along one outer surface of the bent portion 210 and having a width greater than the width of the blade 200.
  • the cover member 212 may be bent along the longitudinal direction of the bent portion 210 and may have the same degree of bending as the bent portion 210.
  • the present invention may further include a guide 220 formed along the outer surface of the bent portion 210.
  • the guide portion 220 may be formed in a direction opposite to a direction in which the cover member 212 is provided along the longitudinal direction of the bent portion 210.
  • the guiding portion 220 can guide the intubation tube 20 through a space provided along the distance from the cover member 212. That is, a space of a predetermined size may be provided between the guide part 220 and the cover member 212, and the intubation tube 20 may be inserted into the space.
  • the guide unit 220 may be integrally formed along the outer surface of the bent part 210, but it is preferable that the guide part 220 is formed in a detachable form in the present invention.
  • the blade 200 and the guide unit 220 may be formed of a plurality of discrete segments 230 connected to at least one control member and independently variable.
  • the plurality of segmental portions 230 have a structure similar to that of the body, and may include a plurality of segmental members so that the advancing direction of the intubation tube 20 inserted into the organs can be freely adjusted.
  • the plurality of segment members 230 may be connected to at least one adjustment member (not shown) for varying the respective segment members.
  • the adjustment member can be made variable in each of the segment members by individually adjusting the angle, curvature, volume, etc. of the segment member.
  • the adjustment member may be driven in connection with a motor or a pneumatic device, though not shown, and may be capable of varying a plurality of segmentation portions 230 based on an artificial intelligence algorithm to be described later.
  • the imaging channel 12 can be fitted inside the blade 200.
  • the blade 200 can be inserted into the organs while being coupled with the imaging channel 12.
  • the intubation tube 20 can be intubated through the guide portion 220 have.
  • the imaging channel 12 penetrates the blade 200 and can be seen as passing through the bent portion 210 of the blade 200.
  • control unit 300 may control the driving of the body 100 so that the intubation tube 20 is automatically intro- cuted into the organ.
  • the control unit 300 may be a component or a circuit having its own computing function or may be embedded in the body 100 or may be a part or circuit included in an external device (not shown) connected to the body 100 through wired or wireless communication.
  • the control unit 300 performs mechanical learning on a plurality of airway images, applies the prepared AI algorithm to the images in the internal organs to search for the airway position, and determines the traveling direction of the intubation tube 20 according to the airway position It can be controlled automatically.
  • the control unit 300 may control not only the progress direction of the intubation tube 20 but also semi-automatic or manual control, which will be described in detail with reference to FIG.
  • FIG. 7 is a block diagram illustrating a structure of a control unit according to an embodiment of the present invention. Referring to FIG.
  • the controller 300 may include an image collecting unit 310, an airway position searching unit 320, an image generating unit 330, and an intubation adjusting unit 340.
  • the image collection unit 310 may collect image information about an image inside the organs captured through the imaging channel 12.
  • the image collecting unit 310 can image the inside of the organ many times through the imaging unit and the light emitting unit provided in the imaging channel 12 of the video laryngoscope 10, Can collect image information composed of a plurality of images.
  • the image information may include a still image or a moving image as a video image file.
  • the moving image of the inside of the engine can be photographed using the imaging channel 12, and a still image can be extracted from a file of the photographed moving image and used as a video image file.
  • the image collecting unit 310 may perform mechanical learning on a plurality of prayer images with respect to the captured original image, and may further indicate a searched prayer position by applying a prepared artificial intelligence algorithm.
  • the machine learning for artificial intelligence algorithm creation is performed in an external device (not shown) connected by wire / wireless communication, and the generated artificial intelligence algorithm can be mounted on a chip that can be inserted into the automatic intubation apparatus of the present invention . That is, in the present invention, machine learning is performed in an external device connected to the automatic intubation device, so that an artificial intelligence algorithm can be prepared in advance, and a prepared algorithm can be applied to the airway image.
  • the airway position searching unit 320 can search the airway position by applying an artificial intelligence algorithm to the collected image information.
  • Machine learning is an iterative learning using neural network. It randomly changes a large number of internal variables constituting an artificial neural network, repeats it by taking into account the relationship between input values and output values of randomly changed internal variables and artificial neural networks .
  • a multi-layered neural network type was designed and machine learning was performed with a plurality of collected prayer images and respective prayer positions on a separate computer.
  • a multi-layered neural network form using various types of hidden layers between the input layer and the output layer of the artificial neural network.
  • the image generating unit 330 may additionally display the searched prayer position on the image of the inside of the captured organ.
  • the image generating unit 330 may apply an artificial intelligence algorithm to the captured original image to generate an image in which the searched prayer position is additionally displayed.
  • an image in which the searched airway position is additionally displayed by applying the artificial intelligence algorithm may be displayed on the display device of the video laryngeal 10, and may be displayed in real time as the airway intubation operation proceeds.
  • the intubation control unit 340 may control the driving of the body 100 and the blade 200 so that the direction of the intubation tube 20 is automatically adjusted based on the airway position additionally displayed on the image.
  • the intubation tube 20 can be automatically intubated toward the airway position, reflecting the airway position displayed on the image through machine learning.
  • the intubation tube 20 of the present invention can be intubated according to all three embodiments.
  • the blades 200 are automatically moved through the above-described process based on an artificial intelligence algorithm, And the control unit 300 can automatically control the movement in which the intubation tube 20 is inserted into or discharged from the engine.
  • the blades 200 are automatically moved through the above-described process based on the AI algorithm, so that the advance direction of the intubation tube 20
  • the movement of the intubation tube 20 inserted into the engine or discharged from the engine can be controlled manually by using various buttons provided on the body 100 of the intubation apparatus.
  • the blades 200 are automatically moved through the above-described process based on the artificial intelligence algorithm, thereby moving the intubation tube 20
  • the movement of the intubation tube 20 into or out of the organs can be controlled manually by manual operation of the user.
  • the user manually manipulates the manual operation of the intubation tube 20 so that the intubation tube 20 is inserted into or discharged from the organ, And can be manually controlled.
  • the automatic intubation apparatus 1 of the present invention can capture an image of an inside of an organs using an imaging channel 12 provided in a video laryngoscope 10 detachable to the intubating device 1.
  • the image inside the organ corresponds to the image used in the artificial intelligence algorithm to search the airway location as a video image representing the interior of the airway.
  • the automatic intubation apparatus 1 can image the inside of the organ many times by using the image pickup unit and the light emitting unit provided in the image pickup channel 12, and can collect image information about a plurality of captured images.
  • the automatic intubation device 1 can generate a prayer image that further indicates the airway position retrieved by the AI algorithm for the captured original image.
  • FIG. 9A shows an example of an original image representing the inside of the engine
  • FIG. 9B shows an example of a prayer image (white) showing only the airway position in the original image.
  • the automatic intubation apparatus 1 can search for the airway position by applying a prepared AI algorithm to the airway image collected by the control unit 300.
  • the numerical data converted from the original image is used as the input value of the machine learning, and the numerical data converted from the airway image can be used as the target value of the machine learning.
  • machine learning is an iterative learning using a neural network, and randomly selecting a part of a plurality of internal variables constituting an artificial neural network, and randomly changing corresponding variable values.
  • the input value which is the numerical data converted from the original image
  • the output value of the artificial neural network having the randomly changed internal variable value can be calculated.
  • the calculated output value is squared and summed with the difference from the target value which is numerical data converted from the airway image.
  • the changed internal variable value is stored in the artificial neural network, and if the value is larger than the value before the random change, Repeat this.
  • the position of the maximum output value of the artificial neural network corresponding to the stored internal variable value may be set to the airway position indicated in the image.
  • the number of iterations of the machine learning is set in advance, and the machine learning is repeated until the set number of times is reached.
  • the automatic intubation apparatus 1 may apply the above-described artificial intelligence algorithm on the image of the inside of the captured organ by the control unit 300 to generate an image in which the searched prayer position is additionally displayed.
  • FIG. 1 An example of an image in which an artificial intelligence algorithm is applied to an image of the inside of the engine and the searched prayer position (green square) is additionally displayed is shown in FIG.
  • images prepared by applying the prepared artificial intelligence algorithm to the airway images and displayed with additional airway positions may be displayed on the display of the video laryngoscope 10, and may be displayed in real time as the airway intubation operation proceeds have.
  • the automatic intubating device 1 applies artificial intelligence algorithms by the controller 300 to drive the body 100 and the blades 200 so that the traveling direction of the intubation tube 20 is adjusted based on the searched airway position Can be controlled.
  • the intubation tube 20 is moved along the guide part 220 provided in the blade 200, and the angles and curvatures of the plurality of segment parts 230 constituting the guide part 220 and the blade 200
  • the volume of the intubation tube 20 can be adjusted so that the direction of the intubation tube 20 can be adjusted so that the intubation tube 20 moves toward the airway position.
  • the artificial intelligence algorithm is applied to the airway image to reflect the searched airway position, so that the intubation tube 20 can be automatically intubated toward the airway position.
  • the driving of the intubation apparatus is ended after the machine learning is performed a predetermined number of times.

Landscapes

  • Health & Medical Sciences (AREA)
  • Pulmonology (AREA)
  • Emergency Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Anesthesiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치는 일측에 소정의 길이를 가지는 촬상채널이 구비된 비디오 후두경이 구비되며, 삽관튜브를 이동시키기 위한 구동부를 포함하는 몸체, 상기 촬상채널의 둘레에 상기 촬상채널의 길이 방향을 따라 결합되어 기관 내로 삽입되는 블레이드 및 상기 삽관튜브가 기관 내로 자동 삽관되도록 상기 몸체의 구동을 제어하는 제어부를 포함한다.

Description

인공지능 기반의 자동 삽관 장치 및 그 구동 방법
본 발명은 자동 삽관 장치 및 그 구동 방법에 관한 것으로, 더욱 상세하게는 인공지능 알고리즘을 통해 검색된 기도를 따라 튜브가 자동 삽관되도록 하는 인공지능 기반의 자동 삽관 장치 및 그 구동 방법에 관한 것이다.
기관삽관 기술은 호흡곤란, 의식저하 등으로 인해 자발호흡이 불가능하거나 어려워진 상태에 놓인 환자의 생명을 구하는 주요 기술이다. 이 기술은 숙련되기 전까지는 고도로 숙련된 전문가가 있는 상태에서 훈련되도록 권고할 정도로 배우기 어렵고, 숙련까지 많은 시간과 노력이 필요하다.
초기 직접 후두경을 통한 기관삽관은 어려운 것으로 알려져 있으며, 이러한 문제를 극복하기 위해 개발되기 시작한 후두경의 종류가 비디오 후두경이다.
비디오 후두경은 대체로 기관 내로의 진행을 가이드하는 가이드 채널을 가진 채널타입과 가이드 스타일렛을 이용하여 기관 내 진행될 방향을 시술자가 조절하는 스타일렛타입, 그리고 흔히 사용되지는 않으나 스타일렛에 비디오 카메라가 붙어 있어 후두경이 필요 없는 비디오 스타일렛 타입으로 구분될 수 있다.
그러나, 기관삽관이라는 기술은 응급상황에서 여전히 모든 의료인들에게 쉽지 않은 기술 중 하나이다.
종래에는 비디오 화면으로 후두의 모습을 육안으로 관찰하여 기관 내 삽관을 하는 방식으로 이루어졌으나, 이 단계에서 실수가 발생하는 경우가 많다. 또한, 개인의 후두 관련 해부학적 구조는 각각 다르기 때문에 후두경으로 보기 어려운 후두 구조를 가지는 경우에는 높은 숙련도를 가지고 있다 하더라도 실수 없이 그 다음 방법 등의 프로토콜로 명확하고 정확하게 변경하는 것은 쉽지 않다.
관련 선행기술로는 대한민국 등록특허공보 제10-1561527호(발명의 명칭: 카메라 내장형 후두경, 공고일자: 2015년 10월 20일)가 있다.
본 발명의 실시예들은 다수의 기도 이미지에 대해서 기계학습을 수행하여 준비된(prepared) 인공지능 알고리즘을 기관 내 기도 이미지에 적용하여 기도위치를 검색하고, 검색된 기도위치에 따라 튜브의 진행방향을 자동으로 조절하여 삽관하기 위한 인공지능 기반의 자동 삽관 장치 및 그 구동 방법에 관한 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치는 일측에 소정의 길이를 가지는 촬상채널이 구비된 비디오 후두경이 구비되며, 삽관튜브를 이동시키기 위한 구동부를 포함하는 몸체, 상기 촬상채널의 둘레에 상기 촬상채널의 길이 방향을 따라 결합되어 기관 내로 삽입되는 블레이드, 및 상기 삽관튜브가 기관 내로 자동 삽관되도록 상기 몸체의 구동을 제어하는 제어부를 포함한다.
또한, 본 발명의 일 실시예에 따른 상기 촬상채널의 종단부에는 기관 내부를 촬상하기 위한 촬상부 및 기관 내부에 빛 형태의 신호를 출력하기 위한 발광부가 구비될 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 몸체는 상기 비디오 후두경이 착탈 가능하도록 일부가 개방된 형태의 거치부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 구동부는 상기 삽관튜브가 삽입되기 위한 공간을 가지며, 상기 몸체에 상기 삽입된 삽관튜브가 고정되거나 상기 몸체로부터 상기 삽관튜브가 분리되도록 개폐 동작하는 개폐부재, 및 상기 삽관튜브가 상하방향으로 이동되기 위한 롤러를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 블레이드는 하부에 소정의 크기를 가지며 절곡되는 절곡부를 구비할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 블레이드는 상기 절곡부의 외측 일면을 따라 형성되며, 상기 블레이드의 폭보다 넓은 폭을 가지는 판 형상의 커버부재를 더 구비할 수 있다.
또한, 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치는 상기 절곡부의 외측 타면을 따라 형성되며, 상기 커버부재로부터 이격됨에 따라 마련되는 공간을 통해 상기 삽관튜브를 가이드하는 가이드부를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 블레이드 및 상기 가이드부는 적어도 하나 이상의 조절부재와 연결되어 각각 독립적으로 가변 가능한 다수의 분절부로 이루어질 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 몸체에는 상기 삽관튜브의 이동 속도를 조절하기 위한 제1 버튼, 및 상기 삽관튜브의 삽입 방향을 조절하기 위한 제2 버튼이 구비될 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 삽관튜브는 상기 제1 버튼 및 상기 제2 버튼의 조작을 통해 기관 내로 반자동 삽관될 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는 준비된 인공지능 알고리즘에 기초하여 기관 내부의 이미지에 대한 기도위치를 검색하고, 상기 기도위치에 따라 상기 삽관튜브의 진행방향을 자동으로 제어할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는 상기 촬상채널을 통해 촬상된 기관 내부의 이미지에 관한 이미지정보를 수집하는 이미지 수집부, 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된 인공지능 알고리즘을 상기 수집된 이미지정보에 적용하여 기도위치를 검색하는 기도위치 검색부, 상기 촬상된 기관 내부의 이미지 내에 상기 검색된 기도위치를 표시하는 이미지 생성부 및 상기 검색된 기도위치에 기초하여 상기 삽관튜브의 진행방향이 조절되도록 상기 몸체 및 상기 블레이드의 구동을 제어하는 삽관 조절부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치의 구동 방법은 비디오 후두경에 구비된 촬상채널을 이용하여 기관 내부의 이미지를 촬상하고, 상기 촬상된 기관 내부의 이미지에 관한 이미지정보를 수집하는 단계, 삽관 장치의 제어부에 의해 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된 인공지능 알고리즘을 상기 수집된 이미지정보에 적용하여 기도위치를 검색하는 단계, 상기 제어부에 의해 상기 촬상된 기관 내부의 이미지 상에 상기 검색된 기도위치를 표시하는 단계, 및 상기 제어부에 의해 상기 검색된 기도위치에 기초하여, 삽관튜브의 진행방향이 자동으로 조절되도록 상기 삽관 장치의 몸체 및 상기 촬상채널과 결합되는 블레이드의 구동을 제어하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치의 구동 방법은 상기 촬상된 기관 내부의 이미지 상에 표시된 기도위치에 따라, 상기 삽관장치의 몸체에 구비된 버튼을 조작하여 상기 삽관튜브의 진행방향을 반자동으로 조절하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 실시예들에 따르면, 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된 인공지능 알고리즘을 기관 내 기도 이미지에 적용하여 기도위치를 검색하고, 검색된 기도위치에 따라 튜브의 진행방향을 자동으로 조절하여 삽관할 수 있다.
본 발명의 실시예들에 따르면, 미성숙한 의료인을 숙련시키기 위한 별도의 과정을 거치지 않고 환자의 안전을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치를 개략적으로 설명하기 위한 사시도이다.
도 2는 도 1의 정면도이다.
도 3은 도 1의 평면도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 있어서, 본체 내 구동부의 동작을 설명하기 위해 도시한 사시도이다.
도 5a는 본 발명의 일 실시예에 있어서, 블레이드를 설명하기 위해 도시한 사시도이다.
도 5b는 본 발명의 일 실시예에 있어서, 블레이드 및 삽관튜브가 결합된 모습을 설명하기 위해 도시한 사시도이다.
도 6a는 본 발명의 일 실시예에 있어서, 블레이드 및 비디오 후두경이 결합된 모습을 설명하기 위해 도시한 평면도이다.
도 6b는 본 발명의 일 실시예에 있어서, 블레이드, 비디오 후두경 및 삽관튜브가 결합된 모습을 도시한 측면도이다.
도 7은 본 발명의 일 실시예에 있어서, 제어부의 구조를 설명하기 위해 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 있어서, 기계학습에 사용되는 다층 구조의 인공신경망 형태를 나타낸 도면이다.
도 9a는 본 발명의 일 실시예에 있어서, 기관 내부를 나타내는 원본 이미지이다.
도 9b는 본 발명의 일 실시예에 있어서, 원본 이미지에 기도 위치만을 나타낸 기도 이미지이다.
도 9c는 기관 내부의 이미지에 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된 인공지능 알고리즘을 적용하여 검색된 기도위치가 추가로 표시된 이미지이다.
*도면 중 주요 부호에 대한 설명
1 : 삽관 장치
10 : 비디오 후두경
12: 촬상채널
20 : 삽관튜브
100 : 몸체
110 : 구동부
112 : 개폐부재
114 : 롤러
120 : 거치부
122 : 체결부
130 : 고정부
131 : 배터리부
132 : 전원버튼
134 : 제1 버튼
136 : 제2 버튼
138 : 개폐 스위치
200 : 블레이드
210 : 절곡부
212 : 커버부재
220 : 가이드부
230 : 분절부
300 : 제어부
310 : 이미지 수집부
320 : 기도위치 검색부
330 : 이미지 생성부
340 : 삽관 조절부
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치를 개략적으로 설명하기 위한 사시도이고, 도 2는 도 1의 정면도이고, 도 3은 도 1의 평면도이고, 도 4a 및 도 4b는 본 발명의 일 실시예에 있어서, 본체 내 구동부의 동작을 설명하기 위해 도시한 사시도이고, 도 5a는 본 발명의 일 실시예에 있어서, 블레이드를 설명하기 위해 도시한 사시도이고, 도 5b는 본 발명의 일 실시예에 있어서, 블레이드 및 삽관튜브가 결합된 모습을 설명하기 위해 도시한 단면도이고, 도 6a는 본 발명의 일 실시예에 있어서, 블레이드 및 비디오 후두경이 결합된 모습을 설명하기 위해 도시한 평면도이고, 도 6b는 본 발명의 일 실시예에 있어서, 블레이드, 비디오 후두경 및 삽관튜브가 결합된 모습을 도시한 측면도이다.
도 1을 참조하면, 본 발명이 일 실시예에 따른 인공지능 기반의 자동 삽관 장치(1)는 환자의 기도 내로 튜브의 진행방향을 자동으로 조절하여 삽관하기 위한 장치로서 몸체(100), 블레이드(200) 및 제어부(300)를 포함하여 구성될 수 있다.
도면에 도시된 바와 같이, 본 발명의 삽관 장치(1)는 몸체(100)에 구비되는 비디오 후두경(10)의 촬상채널에 블레이드(200)가 결합되는 구조를 가지며, 블레이드(200)를 통한 자동 삽관이 진행된다.
몸체(100)에는 환자의 기도 내를 촬영하기 위한 도구인 비디오 후두경(10)과 기도 내로 삽입되는 삽관튜브(20)가 결합될 수 있다.
비디오 후두경(10)은 기관 내부의 촬영 영상을 표시하는 표시장치 및 표시장치의 일측으로부터 연장 형성되어 기관 내로 삽입되는 촬상채널(12)을 포함하여 구성될 수 있다.
여기서, 비디오 후두경(10)은 후술하고자 하는 블레이드(200)의 내부에 삽입된 상태에서 전방향으로 회전될 수 있어 사용의 편리성이 향상될 수 있다.
표시장치는 디스플레이 장치로서 CRT형, LCD형, PDP형 등 다양한 종류의 화면조회 장치로 구현될 수 있다.
이때, 비디오 후두경(10)은 유무선 통신으로 연결된 PC, 노트북, 영상 프로젝터, TV, 스마트폰과 같은 외부 기기(미도시)와 연동하여 구동될 수 있다. 이에 따라, 비디오 후두경(10)의 표시장치에 표시되는 기관 내부의 촬영 영상을 외부 기기로 전달하여 외부 기기를 통해 표시하거나, 외부 기기로부터 삽관 시술에 필요한 자료를 전달받아 비디오 후두경(10)을 통해 표시할 수 있다.
촬상채널(12)의 종단부에는 촬상부(미도시) 및 발광부(미도시)가 구비될 수 있다. 즉, 촬상채널(12)은 촬상부를 통해 기관 내부를 촬상하고, 발광부를 통해 기관 내부에 빛 형태의 신호를 출력하여 촬상이 가능하도록 할 수 있다.
예컨대, 촬상부 및 발광부는 서로 나란히 배치될 수 있고, 촬상부의 외측을 따라 복수의 발광부가 배치될 수 있으며, 상호간의 배치 형태에 제한은 없다.
삽관튜브(20)는 촬상채널(12)이 기관 내로 삽입됨에 따라 환자의 기도가 확보된 상태에서 기도를 따라 삽입될 수 있다.
이때, 삽관튜브(20)는 후술하고자 하는 인공지능 알고리즘에 따른 제어부(300)의 제어를 통해 기도위치로 자동 삽관될 수 있다.
삽관튜브(20)는 플렉서블(flexible)한 재질로 만들어져 기관 내부의 굴곡진 형상에 대응하여 삽입되도록 휘어질 수 있다. 그러나, 이에 한정되지 않고, 삽관튜브(20)는 PVC, 실리콘 또는 탄성이 있는 합성수지재질 등 다양한 재질로 구현될 수 있다.
이하에서는, 도 2, 도 3, 도 4a 및 도 4b를 참조하여 본 실시예에 따른 몸체(100)의 구조에 관하여 구체적으로 설명하고자 한다.
도 2 및 도 3을 참조하면, 몸체(100)는 사용자가 파지할 수 있는 파지부(미도시), 비디오 후두경(10)이 착탈되는 거치부(120) 및 삽관튜브(20)를 이동시키기 위한 구동부(110)를 포함하여 구성될 수 있다.
파지부는 소정의 길이를 가지는 기둥 형태로서, 삽관 시술을 수행하기 위한 각종 버튼, 스위치 및 표시장치가 구비될 수 있다.
각종 버튼은 몸체(100)를 온오프시키기 위한 전원버튼(132), 삽관튜브(20)의 이동 속도를 조절하기 위한 제1 버튼(134) 및 삽관튜브(20)의 삽입 방향을 조절하기 위한 제2 버튼(136)을 포함할 수 있으며, 이에 한정되지 않고 삽관 시술에 필요한 버튼이라면 추가로 더 구비될 수 있다.
제1 버튼(134)은 단일버튼으로 구현되어 가압 횟수에 따라 삽관튜브(20)의 이동 속도를 조절할 수 있다. 즉, 제1 버튼(134)을 1회 가압 시 삽관튜브(20)의 이동 속도는 느려지고, 2회 연속 가압 시 삽관튜브(20)의 이동 속도는 빨라질 수 있으며, 횟수에 제한을 두지는 않는다.
이때, 삽관튜브(20)의 이동 속도를 모드로서 구분하여 시각적으로 표시하기 위한 표시부가 더 구비될 수 있다. 예컨대, 삽관튜브(20)의 이동 속도가 느린 경우에 대한 모드로서 'L' 표시부가 발광할 수 있고, 삽관튜브(20)의 이동 속도가 빠른 경우에 대한 모드로서 'H' 표시부가 발광할 수 있다.
제2 버튼(136)은 삽관튜브(20)의 진행방향을 고려하여 전진버튼(△)과 후진버튼(▽)을 포함할 수 있다. 예컨대, 제2 버튼(136)의 전진버튼(△)을 가압 시 삽관튜브(20)가 기도를 향해 전진하여 삽입될 수 있고, 제2 버튼(136)의 후진버튼(▽)을 가압 시 삽관튜브(20)가 기도 밖으로 후진하여 배출될 수 있다.
여기서, 제1 버튼(134) 및 제2 버튼(136)은 삽관튜브(20)의 자동 삽관 기능을 수행하기 어려운 경우에 사용자가 삽관튜브(20)를 수동 조작하여 삽관시키기 위한 버튼일 수 있다. 예컨대, 삽관 시술 중 자동 삽관 기능이 중단되는 경우 또는 비디오 후두경(10)의 표시장치에 이상이 생기는 경우 등에 사용자가 버튼을 수동 조작할 수 있다.
참고로, 본 실시예에서는 전원버튼(132) 또는 별도의 구동버튼(미도시)을 가압함으로써 삽관튜브(20)의 자동 삽관 시술을 시작할 수 있다.
한편, 파지부에는 후술하고자 하는 구동부(110)의 개폐를 제어하기 위한 개폐 스위치(138) 및 몸체(100)를 구동시키기 위한 배터리가 삽입되는 배터리부(131)를 더 구비할 수 있다.
거치부(120)는 파지부의 일단에 돌출되어 형성되며, 비디오 후두경(10)이 착탈 가능하도록 일부가 개방될 수 있다.
이때, 거치부(120)의 내측에 클립 형태의 체결부(122)가 구비되며, 고정부(122)에 의해 비디오 후두경(10)을 거치부(120)에 체결시킬 수 있다.
참고로, 본 실시예에서의 비디오 후두경(10)은 거치부(120)에 의해 착탈되지 않고 몸체(100)와 일체로 결합된 구조를 가질 수도 있다.
구동부(110)는 삽관튜브(20)가 몸체(100)에 결합된 상태에서 기도 내외로 이동 시키기 위한 도구로서, 개폐부재(112) 및 롤러(114)를 포함하여 구성될 수 있다.
구동부(110)는 삽관튜브(20)가 삽입되기 위한 소정 크기의 공간을 구비할 수 있으며, 공간의 크기는 삽관튜브(20)의 둘레보다 크게 구현되는 것이 바람직하다.
개폐부재(112)는 상기 공간으로 삽입된 삽관튜브(20)가 몸체(100)에 고정되거나 몸체(100)로부터 분리되도록 개폐 동작할 수 있다.
즉, 도 4a에 도시된 바와 같이, 개폐부재(112)가 열린 경우, 삽관튜브(20)를 몸체(100)와 결합되도록 상기 공간으로 삽입시키거나 몸체(100)와 분리되도록 상기 공간에서 빼낼 수 있다. 반면에, 도 4b에 도시된 바와 같이, 개폐부재(112)가 닫힌 경우, 삽관튜브(20)를 몸체(100)에 고정시킬 수 있다.
여기서, 개폐부재(112)는 구동부(110)의 내부에 내장되거나 외부에 구현되는 구동모터(미도시)에 의해 동작될 수 있으며, 구동모터는 몸체(100)에 구비된 개폐 스위치(138)의 조작에 따라 구동될 수 있다.
롤러(114)는 삽관튜브(20)가 상하방향으로 이동되도록 일단 및 타단이 고정된 상태에서 회전할 수 있다. 여기서, 롤러(114)는 개폐부재(112)와 마찬가지로 구동모터(미도시)에 의해 동작될 수 있다.
한편, 몸체(100)에는 삽관튜브(20)가 흔들림 없이 이동되도록 고정시키기 위한 고정부(130)를 더 포함하여 구성될 수 있다.
다시 도 1을 참조하면, 블레이드(200)는 촬상채널(12)의 외측 둘레를 감싸는 형태로 채널의 길이 방향을 따라 결합될 수 있다.
본 실시예에서 블레이드(200)는 내부에 결합된 촬상채널(12)을 육안으로 관찰할 수 있도록 투명 또는 반투명한 플라스틱 재질로 구현될 수 있다. 그러나, 이에 한정되지 않고, 블레이드(200)는 내부가 비칠 수 있는 다양한 재질로 구현될 수 있다.
도 5a 및 도 5b를 참조하면, 블레이드(200)는 하부에 소정의 크기를 가지며 절곡되는 절곡부(210)를 구비할 수 있다. 이로써, 기관 내로 블레이드(200)를 삽입 시 후두 내벽에 자극을 주어 환자가 느끼는 불편함을 최소화할 수 있다.
블레이드(200)는 절곡부(210)의 외측 일면을 따라 형성되며, 블레이드(200)의 폭보다 넓은 폭을 가지는 판 형상의 커버부재(212)를 더 구비할 수 있다.
커버부재(212)는 절곡부(210)의 길이 방향을 따라 절곡된 모양으로 형성될 수 있으며, 절곡부(210)의 절곡된 정도와 동일한 절곡도를 가지는 것이 바람직하다.
본원발명에서는절곡부(210)의 외측 타면을 따라 형성되는 가이드부(220)를 더 포함할 수 있다.
가이드부(220)는 절곡부(210)의 길이 방향을 따라 커버부재(212)가 구비된 방향과 마주하는 방향에 형성될 수 있다.
가이드부(220)는 커버부재(212)로부터 이격됨에 따라 마련되는 공간을 통해 삽관튜브(20)를 가이드할 수 있다. 즉,가이드부(220) 및 커버부재(212) 사이에는 소정 크기의 공간이 마련될 수 있으며 상기 공간으로 삽관튜브(20)가 삽입될 수 있다.
참고로, 가이드부(220)는 절곡부(210)의 외측 타면을 따라 일체로 형성될 수 있으나, 본 발명에서는 분리 가능한 형태로도 형성되는 것이 바람직하다.
한편, 블레이드(200) 및 가이드부(220)는 적어도 하나 이상의 조절부재와 연결되어 각각 독립적으로 가변 가능한 다수의 분절부(230)로 이루어질 수 있다.
다수의 분절부(230)는 신체의 관절구조와 유사한 구조를 가지며, 다수의 분절부재로 구성되어 기관 내 삽입되는 삽관튜브(20)의 진행방향이 자유롭게 조절되도록 할 수 있다.
이때, 다수의 분절부(230)는 각 분절부재를 가변 시키기 위한 적어도 하나 이상의 조절부재(미도시)와 연결될 수 있다. 조절부재는 분절부재의 각도, 곡률, 부피 등을 개별적으로 조절함으로써 각각의 분절부재가 가변 가능하도록 할 수 있다.
참고로, 조절부재는 도시되지는 않았지만 모터 또는 공압장치와 연결되어 구동될 수 있으며, 후술하고자 하는 인공지능 알고리즘에 기반하여 다수의 분절부(230)를 가변시킬 수 있다.
도 6a 및 도 6b를 참조하면, 블레이드(200)의 내측에 촬상채널(12)이 끼워질 수 있다. 이에 따라, 블레이드(200)는 촬상채널(12)과 결합된 상태에서 기관 내로 삽입될 수 있다.
즉, 비디오 후두경(10)의 촬상채널(12)이 블레이드(200) 내에 장착된 상태에서 블레이드(200)를 기관 내로 삽입한 후에, 삽관튜브(20)가 가이드부(220)를 통해 삽관될 수 있다. 참고로, 도면에는 도시되지 않았지만, 촬상채널(12)은 블레이드(200)를 관통하는 것으로, 블레이드(200)의 절곡부(210) 끝단을 통과하는 것으로 볼 수 있다.
다시 도 1을 참조하면, 도면에 도시되지는 않았지만, 제어부(300)는 삽관튜브(20)가 기관 내로 자동 삽관되도록 몸체(100)의 구동을 제어할 수 있다.
제어부(300)는 자체적인 연산 기능을 가지는 부품 또는 회로로서 몸체(100)에 내장되거나, 몸체(100)와 유무선 통신으로 연결된 외부 기기(미도시)에 포함되는 부품 또는 회로일 수 있다.
제어부(300)는 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된(prepared) 인공지능 알고리즘을 기관 내부의 이미지에 적용하여 기도위치를 검색하고, 기도위치에 따라 삽관튜브(20)의 진행방향을 자동으로 제어할 수 있다.
제어부(300)는 삽관튜브(20)의 진행방향을 자동으로 제어할 뿐만 아니라, 반자동 또는 수동으로 제어할 수도 있으며, 이에 대해서는 도 7을 참조하여 자세히 설명하기로 한다.
도 7은 본 발명의 일 실시예에 있어서, 제어부의 구조를 설명하기 위해 도시한 블록도이다.
도 7을 참조하면, 제어부(300)는 이미지 수집부(310), 기도위치 검색부(320), 이미지 생성부(330) 및 삽관 조절부(340)를 포함하여 구성될 수 있다.
이미지 수집부(310)는 촬상채널(12)을 통해 촬상된 기관 내부의 이미지에 관한 이미지정보를 수집할 수 있다.
즉, 이미지 수집부(310)는 비디오 후두경(10)의 촬상채널(12)에 구비된 촬상부 및 발광부를 통해 기관 내부를 여러 번 촬상할 수 있으며, 이미지 수집부(310)는 촬상된 기관 내부의 복수 이미지로 구성된 이미지정보를 수집할 수 있다. 여기서, 이미지정보는 영상 이미지 파일로서 정지영상 또는 동영상을 포함할 수 있다. 예컨대, 촬상채널(12)을 이용하여 기관 내부에 대한 동영상을 촬영하고, 촬영된 동영상의 파일로부터 정지영상을 추출하여 영상 이미지 파일로 사용할 수 있다.
이미지 수집부(310)는 촬상된 원본 이미지에 대하여 다수의 기도 이미지에 대해 기계학습을 수행하여 준비된(prepared) 인공지능 알고리즘을 적용하여 검색된 기도위치를 추가로 나타낼 수 있다.
여기서, 인공지능 알고리즘 생성을 위한 기계학습은 유무선 통신으로 연결된 외부 기기(미도시)에서 수행되는 것이 바람직하며, 생성된 인공지능 알고리즘을 본 발명의 자동 삽관 장치에 삽입 가능한 칩에 마운트 하여 활용할 수 있다. 즉, 본 발명에서는 자동 삽관 장치와 연결된 외부 기기에서 기계학습이 수행되어 인공지능 알고리즘이 미리 준비(prepared)될 수 있으며, 준비(prepared)된 알고리즘을 기도 이미지에 적용할 수 있다.
기도위치 검색부(320)는 수집된 이미지정보에 인공지능 알고리즘을 적용하여 기도위치를 검색할 수 있다.
기계학습은 인공신경망(Neural Network)을 이용한 반복학습으로서, 인공신경망을 구성하는 다수의 내부 변수를 랜덤 변경하고, 랜덤 변경된 내부 변수값과 인공신경망의 입력값 및 출력값과의 관계를 고려하여 반복 수행될 수 있다.
본 실시예에서는, 도 8에 도시된 바와 같이, 다층 구조의 신경망 형태를 설계하여 별도의 컴퓨터에서 다수의 수집된 기도 이미지와 각각의 기도 위치를 가지고 기계학습을 수행하였다. 예컨대, 인공신경망의 입력층 및 출력층 사이에 여러가지 형태의 은닉층을 사용하여 다층 구조의 신경망 형태를 설계할 수 있다.
이미지 생성부(330)는 촬상된 기관 내부의 이미지 상에 검색된 기도위치를 추가로 표시할 수 있다.
즉, 이미지 생성부(330)는 촬상된 원본 이미지 상에 인공지능 알고리즘을 적용하여 검색된 기도위치가 추가로 표시된 이미지를 생성할 수 있다. 이때, 인공지능 알고리즘을 적용하여 검색된 기도위치가 추가로 표시된 이미지는 비디오 후두경(10)의 표시장치에 표시될 수 있고, 기도 삽관 작업이 진행되면서 실시간으로 표시될 수도 있다.
삽관 조절부(340)는 이미지에 추가로 표시된 기도위치에 기초하여 삽관튜브(20)의 진행방향이 자동으로 조절되도록 몸체(100) 및 블레이드(200)의 구동을 제어할 수 있다.
이에 따라, 기계학습을 통해 이미지 상에 표시되는 기도위치를 반영하여, 삽관튜브(20)가 해당 기도위치를 향해 자동으로 삽관될 수 있다.
한편, 본 발명의 삽관튜브(20)는 총 3가지 실시예에 따라 삽관될 수 있다.
일 실시예로, 자동모드로서, 인공지능 알고리즘 기반의 전술한 과정을 통해 블레이드(200), 특히 다수의 분절부(230)가 자동으로 움직이도록 함으로써 기도위치에 따라 삽관튜브(20)의 진행방향을 자동으로 제어할 수 있고, 삽관튜브(20)가 기관 내로 삽입되거나 기관으로부터 배출되는 이동 자체를 제어부(300)에 의해 자동으로 제어할 수 있다.
다른 실시예로, 반자동 모드로서, 인공지능 알고리즘 기반의 전술한 과정을 통해 블레이드(200), 특히 다수의 분절부(230)가 자동으로 움직이도록 함으로써 기도위치에 따라 삽관튜브(20)의 진행방향을 자동으로 제어하되, 삽관튜브(20)가 기관 내로 삽입되거나 기관으로부터 배출되는 이동은 삽관 장치의 몸체(100)에 구비된 각종 버튼을 이용하여 수동으로 제어할 수 있다.
또 다른 실시예로, 반자동 모드로서, 인공지능 알고리즘 기반의 전술한 과정을 통해 블레이드(200), 특히 다수의 분절부(230)가 자동으로 움직이도록 함으로써 기도위치에 따라 삽관튜브(20)의 진행방향을 자동으로 제어하되, 삽관튜브(20)가 기관 내로 삽입되거나 기관으로부터 배출되는 이동은 사용자가 직접 도수 조작하여 수동으로 제어할 수 있다.
또 다른 실시예로, 수동 모드로서, 사용자가 직접 도수 조작하여 삽관튜브(20)의 진행방향을 수동으로 제어하되, 삽관튜브(20)가 기관 내로 삽입되거나 기관으로부터 배출되는 이동 또한 사용자가 직접 도수 조작하여 수동으로 제어할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 인공지능 기반의 자동 삽관 장치의 구동 방법을 설명하고자 한다.
먼저, 본 발명의 자동 삽관 장치(1)는 삽관 장치(1)에 탈착 가능한 비디오 후두경(10)에 구비된 촬상채널(12)을 이용하여 기관 내부의 이미지를 촬상할 수 있다. 기관 내부의 이미지는 기도 내부를 나타내는 영상 이미지로서 기도위치를 검색하기 위한 인공지능 알고리즘에 사용되는 이미지에 해당한다.
이때, 자동 삽관 장치(1)는 촬상채널(12)에 구비된 촬상부 및 발광부를 이용하여 기관 내부를 여러 번 촬상할 수 있으며, 촬상된 복수의 이미지에 관한 이미지정보를 수집할 수 있다.
아울러, 자동 삽관 장치(1)는 촬상된 원본 이미지에 대하여 인공지능 알고리즘으로 검색된 기도위치를 추가로 나타낸 기도 이미지를 생성할 수 있다.
참고로, 기관 내부를 나타내는 원본 이미지의 일례로 도 9a와 같고, 원본 이미지에 기도 위치만을 나타낸 기도 이미지(흰색)의 일례로 도 9b와 같다.
이로써, 다수의 기도 이미지에 대해서 기계학습을 수행하여 주어진 기도 이미지에 대해서 기도위치를 검색하는 인공지능 알고리즘을 준비할 수 있다.
다음으로, 자동 삽관 장치(1)는 제어부(300)에 의해 수집된 기도 이미지에 대해서 준비된(prepared) 인공지능 알고리즘을 적용하여 기도위치를 검색할 수 있다.
구체적으로, 수집된 이미지정보에 대한 원본 이미지와 기도 이미지의 화소(pixel)값이 ((빨간색 X 0.299) + (초록색 X 0.587) + (파란색 X 0.114)) / 255라는 흑백 변환 공식을 이용하여 0과 1 사이의 크기 값인 수치데이터로 각각 변환할 수 있다.
이때, 원본 이미지로부터 변환된 수치데이터는 기계학습의 입력값으로서 사용되며, 기도 이미지로부터 변환된 수치데이터는 기계학습의 목표값으로서 사용될 수 있다.
본 실시예에서의 기계학습은 인공신경망(neural network)을 이용한 반복학습으로서, 인공신경망을 구성하는 다수의 내부 변수 중 일부를 랜덤 선택하여 해당하는 변수값을 랜덤 변경하게 된다.
이후에, 원본 이미지로부터 변환된 수치데이터인 입력값을 기계학습의 입력값으로 입력하여 랜덤 변경된 내부 변수값을 가지는 인공신경망의 출력값을 계산할 수 있다.
이후에, 계산된 출력값을 기도 이미지로부터 변환된 수치데이터인 목표값과의 차이를 제곱 및 합산하는 연산을 수행한다.
이후에, 상기 제곱 및 합산된 값이 인공신경망의 내부 변수값을 랜덤 변경하기 전보다 작으면 변경된 내부 변수값을 인공신경망에 저장하고, 랜덤 변경하기 전보다 크면 변경된 내부 변수값을 저장하지 않고 기계학습을 반복 수행한다. 여기서, 저장되는 내부 변수값에 대응하는 인공신경망의 최대 출력 값의 위치가 이미지 내에 표시되는 기도위치로 설정될 수 있다.
참고로, 사전에 기계학습의 반복 횟수를 설정해두되, 설정된 횟수에 도달할 때까지 기계학습을 반복 수행한다.
다음으로, 자동 삽관 장치(1)는 제어부(300)에 의해 상기 촬상된 기관 내부의 이미지 상에 전술한 인공지능 알고리즘을 적용하여 검색된 기도위치가 추가로 표시된 이미지를 생성할 수 있다.
이때, 기관 내부의 이미지에 인공지능 알고리즘을 적용하여 검색된 기도위치(녹색 네모)가 추가로 표시된 이미지의 일례는 도 9c와 같다.
참고로, 기도 이미지에 대해서 준비된(prepared) 인공지능 알고리즘을 적용하여 기도위치가 추가로 표시된 이미지는 비디오 후두경(10)의 표시장치에 표시될 수 있고, 기도 삽관 작업이 진행되면서 실시간으로 표시될 수도 있다.
다음으로, 자동 삽관 장치(1)는 제어부(300)에 의해 인공지능 알고리즘을 적용하여 검색된 기도위치에 기초하여 삽관튜브(20)의 진행방향이 조절되도록 몸체(100) 및 블레이드(200)의 구동을 제어할 수 있다.
구체적으로, 블레이드(200)에 구비된 가이드부(220)를 따라 삽관튜브(20)를 이동시키되, 가이드부(220) 및 블레이드(200)를 구성하는 다수의 분절부(230)의 각도, 곡률, 부피 등을 조절함으로써 삽관튜브(20)가 기도위치를 향해 이동하도록 삽관튜브(20)의 진행방향을 조절할 수 있다.
이에 따라, 기도 이미지에 대해서 인공지능 알고리즘을 적용하여 검색된 기도위치를 반영하여, 삽관튜브(20)가 해당 기도위치를 향해 자동으로 삽관될 수 있다.
이후에, 사전에 설정된 횟수만큼 기계학습을 수행하고 나면 삽관 장치의 구동은 종료된다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 일측에 소정의 길이를 가지는 촬상채널이 구비된 비디오 후두경이 구비되며, 삽관튜브를 이동시키기 위한 구동부를 포함하는 몸체;
    상기 촬상채널의 둘레에 상기 촬상채널의 길이 방향을 따라 결합되어 기관 내로 삽입되는 블레이드; 및
    상기 삽관튜브가 기관 내로 자동 삽관되도록 상기 몸체 및 상기 블레이드의 구동을 제어하는 제어부
    를 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  2. 제1항에 있어서,
    상기 촬상채널의 종단부에는
    기관 내부를 촬상하기 위한 촬상부 및 기관 내부에 빛 형태의 신호를 출력하기 위한 발광부가 구비되는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  3. 제1항에 있어서,
    상기 몸체는 상기 비디오 후두경이 착탈 가능하도록 일부가 개방된 형태의 거치부를 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  4. 제1항에 있어서,
    상기 구동부는 상기 삽관튜브가 삽입되기 위한 공간을 가지며,
    상기 몸체에 상기 삽입된 삽관튜브가 고정되거나 상기 몸체로부터 상기 삽관튜브가 분리되도록 개폐 동작하는 개폐부재; 및
    상기 삽관튜브가 상하방향으로 이동되기 위한 롤러
    를 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  5. 제1항에 있어서,
    상기 블레이드는
    하부에 소정의 크기를 가지며 절곡되는 절곡부를 구비하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  6. 제5항에 있어서,
    상기 블레이드는
    상기 절곡부의 외측 일면을 따라 형성되며, 상기 블레이드의 폭보다 넓은 폭을 가지는 판 형상의 커버부재를 더 구비하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  7. 제6항에 있어서,
    상기 절곡부의 외측 타면을 따라 형성되며, 상기 커버부재로부터 이격됨에 따라 마련되는 공간을 통해 상기 삽관튜브를 가이드하는 가이드부
    를 더 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  8. 제7항에 있어서,
    상기 블레이드 및 상기 가이드부는
    적어도 하나 이상의 조절부재와 연결되어 각각 독립적으로 가변 가능한 다수의 분절부로 이루어진 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  9. 제1항에 있어서,
    상기 몸체에는
    상기 삽관튜브의 이동 속도를 조절하기 위한 제1 버튼; 및
    상기 삽관튜브의 삽입 방향을 조절하기 위한 제2 버튼이 구비되는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  10. 제9항에 있어서,
    상기 삽관튜브는
    상기 제1 버튼 및 상기 제2 버튼의 조작을 통해 기관 내로 반자동 삽관되는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  11. 제1항에 있어서,
    상기 제어부는
    준비된 인공지능 알고리즘에 기초하여 기관 내부의 이미지에 대한 기도위치를 검색하고, 상기 기도위치에 따라 상기 삽관튜브의 진행방향을 자동으로 제어하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  12. 제11항에 있어서,
    상기 제어부는
    상기 촬상채널을 통해 촬상된 기관 내부의 이미지에 관한 이미지정보를 수집하는 이미지 수집부;
    다수의 기도 이미지에 대해 기계학습을 수행하여 준비된 인공지능 알고리즘을 상기 수집된 이미지정보에 적용하여 기도위치를 검색하는 기도위치 검색부;
    상기 촬상된 기관 내부의 이미지 내에 상기 검색된 기도위치를 표시하는 이미지 생성부; 및
    상기 검색된 기도위치에 기초하여 상기 삽관튜브의 진행방향이 자동으로 조절되도록 상기 몸체 및 상기 블레이드의 구동을 제어하는 삽관 조절부
    를 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치.
  13. 비디오 후두경에 구비된 촬상채널을 이용하여 기관 내부의 이미지를 촬상하고, 상기 촬상된 기관 내부의 이미지에 관한 이미지정보를 수집하는 단계;
    삽관 장치의 제어부에 의해 다수의 기도 이미지에 대해서 기계학습을 수행하여 준비된 인공지능 알고리즘을 상기 수집된 이미지정보에 적용하여 기도위치를 검색하는 단계;
    상기 제어부에 의해 상기 촬상된 기관 내부의 이미지 상에 상기 검색된 기도위치를 표시하는 단계; 및
    상기 제어부에 의해 상기 검색된 기도위치에 기초하여, 삽관튜브의 진행방향이 자동으로 조절되도록 상기 삽관 장치의 몸체 및 상기 촬상채널과 결합되는 블레이드의 구동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치의 구동 방법.
  14. 제13항에 있어서,
    상기 촬상된 기관 내부의 이미지 상에 표시된 기도위치에 따라, 상기 삽관장치의 몸체에 구비된 버튼을 조작하여 상기 삽관튜브의 진행방향을 반자동으로 조절하는 단계
    를 더 포함하는 것을 특징으로 하는 인공지능 기반의 자동 삽관 장치의 구동 방법.
PCT/KR2018/012066 2017-10-13 2018-10-12 인공지능 기반의 자동 삽관 장치 및 그 구동 방법 WO2019074331A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/755,726 US20210196915A1 (en) 2017-10-13 2018-10-12 Artificial intelligence-based automatic intubation device and method of operating the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170133518 2017-10-13
KR10-2017-0133518 2017-10-13
KR1020180086804A KR101983342B1 (ko) 2017-10-13 2018-07-25 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
KR10-2018-0086804 2018-07-25

Publications (2)

Publication Number Publication Date
WO2019074331A2 true WO2019074331A2 (ko) 2019-04-18
WO2019074331A3 WO2019074331A3 (ko) 2019-06-27

Family

ID=66100947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012066 WO2019074331A2 (ko) 2017-10-13 2018-10-12 인공지능 기반의 자동 삽관 장치 및 그 구동 방법

Country Status (1)

Country Link
WO (1) WO2019074331A2 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200354158Y1 (ko) * 2004-03-16 2004-06-23 이진명 기관튜브 고정구
WO2008157170A2 (en) * 2007-06-12 2008-12-24 Avn Medical Technologies, Llc Airway management
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
KR101508839B1 (ko) * 2013-04-30 2015-04-10 한양대학교 산학협력단 제어부를 구비한 후두경
KR101748822B1 (ko) * 2015-07-01 2017-07-03 에이스메디칼 주식회사 핸들링이 용이한 비디오 후두경

Also Published As

Publication number Publication date
WO2019074331A3 (ko) 2019-06-27

Similar Documents

Publication Publication Date Title
WO2014088268A1 (en) X-ray imaging apparatus and method for controlling the same
KR101983342B1 (ko) 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
WO2010093152A2 (ko) 수술 로봇 시스템 및 그 제어 방법
WO2021215702A1 (ko) 상기도 검체 채취를 위한 다자유도 원격 검진 장치
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2014208969A1 (en) Method and apparatus for providing information related to location of target object on medical apparatus
WO2011065653A2 (ko) 사용자 적응형 디스플레이 장치 및 디스플레이 방법
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2020098013A1 (zh) 电视节目推荐方法、终端、系统及存储介质
WO2021112446A1 (en) Pollution source determination robot cleaner and operating method thereof
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2020141727A1 (ko) 헬스 케어 로봇 및 그 제어 방법.
WO2018044084A1 (ko) 셀프 촬영용 스틱 및 이의 제어 방법
WO2016179879A1 (zh) 基于网络医院的远程辅助诊疗系统及远程辅助诊疗方法
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2022080517A1 (ko) 학습 데이터를 생성하는 인공 지능 장치 및 방법
WO2015147375A1 (ko) 디스플레이 장치
WO2020213884A1 (ko) 텍스트를 제공하는 전자 장치 및 그 제어 방법.
WO2019074331A2 (ko) 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
WO2012057475A2 (ko) 캡슐내시경용 이미지센서의 영상데이터 제어시스템
WO2023106769A1 (ko) 마찰력조절부를 가지는 내시경
WO2020235784A1 (ko) 신경 검출 방법 및 장치
EP2918072A1 (en) Method and apparatus for capturing and displaying an image
WO2023106770A1 (ko) 장력조절부를 가지는 내시경

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866964

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18866964

Country of ref document: EP

Kind code of ref document: A2