WO2013121621A1 - 医用システム - Google Patents

医用システム Download PDF

Info

Publication number
WO2013121621A1
WO2013121621A1 PCT/JP2012/076273 JP2012076273W WO2013121621A1 WO 2013121621 A1 WO2013121621 A1 WO 2013121621A1 JP 2012076273 W JP2012076273 W JP 2012076273W WO 2013121621 A1 WO2013121621 A1 WO 2013121621A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
balloon
bending
distal end
medical system
Prior art date
Application number
PCT/JP2012/076273
Other languages
English (en)
French (fr)
Inventor
義孝 梅本
康弘 岡本
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201280043805.3A priority Critical patent/CN103781396B/zh
Priority to JP2013532007A priority patent/JP5439632B1/ja
Priority to EP12868411.5A priority patent/EP2740398A4/en
Priority to US13/946,582 priority patent/US8888685B2/en
Publication of WO2013121621A1 publication Critical patent/WO2013121621A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/32Devices for opening or enlarging the visual field, e.g. of a tube of the body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0218Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/00296Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope

Definitions

  • the present invention relates to a medical system, and more particularly to a medical system used for observation in a body cavity or the like.
  • the expanded state of the expansion member such as a balloon is determined according to the temperature of the surface of the distal end portion of the endoscope insertion portion. For example, a situation may occur in which the expansion member does not expand sufficiently even though the field of view is narrowed due to the tissue or the like existing around the tip.
  • a field of view for observing or treating a desired site is ensured when performing endoscopic observation in the body cavity of a subject. There is a problem that it may not be possible.
  • the present invention has been made in view of the above-described circumstances, and when performing endoscopic observation in a body cavity of a subject, it is possible to reliably secure a visual field for observing or treating a desired site. It aims to provide a possible medical system.
  • the medical system includes an endoscope including an insertion unit that can be inserted into a body cavity of a subject, and an imaging unit provided at a distal end of the insertion unit, and the insertion unit includes When inserted into the body cavity of the subject, obtains luminance information related to the luminance of the image taken by the imaging unit and an exclusion unit configured to exclude tissue existing around the tip. Further, a calculation unit that determines whether or not the acquired luminance information satisfies a predetermined condition, and a drive unit that performs or stops an operation for driving the exclusion unit based on a determination result of the calculation unit And having.
  • the figure which shows the structure of the principal part of the endoscope system which concerns on the Example of this invention The flowchart which shows an example of the process performed in a balloon control apparatus.
  • FIG. 1 is a diagram illustrating a configuration of a main part of an endoscope system according to an embodiment of the present invention.
  • an endoscope system 1 includes an endoscope 2 that can capture an image of a subject in a body cavity of a subject and acquire an endoscope image, and an illumination for the subject.
  • a light source device 3 having a function as a supply source of illumination light
  • a processor 4 that performs image processing on an endoscopic image acquired by the endoscope 2, and an endoscope that has been subjected to image processing by the processor 4
  • a display device 5 capable of displaying an image and the like, and a balloon control device 6 that performs an operation related to control of a balloon 24d (described later) provided in the endoscope 2 are configured.
  • the endoscope 2 extends from the operation unit 22, an insertion unit 21 having an elongated shape that can be inserted into the body cavity of the subject, an operation unit 22 provided on the rear end side of the insertion unit 21, and the operation unit 22. And a universal cord 23 provided in the. Further, inside the insertion unit 21, the operation unit 22, and the universal cord 23, a light guide (light guide member) (not shown) capable of transmitting illumination light supplied from the light source device 3, air supply by the balloon control device 6, and A gas flow conduit (gas flow channel) (not shown) used for exhaust is inserted.
  • a light guide light guide member
  • a gas flow conduit gas flow channel
  • the insertion portion 21 is configured by connecting a distal end portion 24, a bending portion 25, and a flexible tube portion 26 in order from the distal end side to the rear end side. That is, the bending portion 25 is provided in at least a part of the insertion portion 21.
  • Two illumination windows 24a, an objective window 24b, and a tip opening 24c are disposed on the tip surface of the tip 24.
  • a balloon 24d is attached in the vicinity of the objective window 24b in the outer peripheral portion of the distal end portion 24.
  • the distal end portion 24 includes an optical element, an imaging element, and the like, and is configured to capture a subject image incident from the objective window 24b and acquire an image (endoscopic image).
  • An imaging unit (not shown) is provided. That is, the imaging part of the tip part 24 is disposed on the back side of the objective window 24b.
  • the balloon 24d having a function as an excluding portion is provided in the vicinity of the imaging portion in the outer peripheral portion of the distal end portion 24.
  • the distal end opening 24c communicates with a treatment instrument insertion conduit (treatment instrument channel) (not shown) disposed inside the insertion section 21, and is an elongated treatment instrument inserted from a forceps port 22a (described later). Is formed to have a shape that allows the tip to protrude forward of the tip portion 24.
  • the balloon 24d is formed of a flexible material such as rubber, and is configured to expand in response to supply of gas to the internal space and to contract in response to discharge of gas supplied to the internal space. Yes. Further, the internal space of the balloon 24 d communicates with one end of the gas flow conduit inserted through the insertion portion 21.
  • the bending portion 25 includes a plurality of bending pieces to which end portions of a plurality of wires are respectively attached, and is bent in a direction corresponding to an operation state of a bending operation portion 22c (described later) of the operation portion 22, thereby It is comprised so that the direction of the part 24 can be changed.
  • the operation unit 22 includes a forceps port 22a disposed on the side portion on the distal end side, a gripping unit 22b gripped by an operator or the like, and a bending operation unit 22c provided on the rear end side of the gripping unit 22b. And a scope switch unit 22d having a plurality of switches capable of giving instructions to operate or stop various functions realized by each unit of the endoscope system 1.
  • the forceps port 22a communicates with a treatment instrument insertion conduit (not shown) disposed inside the insertion portion 21, and is formed to have a shape into which an elongated treatment instrument can be inserted.
  • the bending operation unit 22c is configured to perform a bending operation for bending the bending unit 25 in a desired direction by a desired amount, and an instruction signal corresponding to the bending operation is transmitted to the universal cord 23. It is configured to be able to output to the processor 4 via a signal line built in the PC.
  • the scope switch unit 22d has, for example, an automatic control mode switch capable of giving an instruction to turn on automatic control of the balloon 24d by the balloon control device 6, and on / off of gas supply to the internal space of the balloon 24d
  • an automatic control mode switch capable of giving an instruction to turn on automatic control of the balloon 24d by the balloon control device 6, and on / off of gas supply to the internal space of the balloon 24d
  • switches such as an air supply switch capable of issuing an instruction relating to the above and an exhaust switch capable of issuing an instruction relating to on / off of the gas exhaust in the internal space of the balloon 24d.
  • the universal code 23 includes a light guide that can transmit illumination light supplied from the light source device 3, a plurality of signals that are used to exchange various signals between the endoscope 2, the processor 4, and the balloon control device 6.
  • a signal line and a gas flow conduit used for air supply and exhaust by the balloon control device 6 are incorporated.
  • a plurality of connectors that can be connected to the respective parts of the light source device 3, the processor 4, and the balloon control device 6 are provided at the end of the universal cord 23.
  • the light incident end of the light guide is disposed inside the connector connected to the light source device 3.
  • the connector connected to the balloon control device 6 is provided inside the other end of the gas flow conduit and the scope switch 22d. And an end portion of a signal line capable of detecting an instruction signal output accordingly.
  • the illumination light supplied from the light source device 3 is transmitted from the two illumination windows 24a through the light guide inserted into the insertion portion 21, the operation portion 22, and the universal cord 23. Emitted.
  • the balloon control device 6 changes the inflated state of the balloon 24d through the gas flow conduit inserted through the insertion portion 21, the operation portion 22, and the universal cord 23. be able to.
  • the processor 4 includes a bending control unit 4a, a bending driving unit 4b, and an image processing unit 4c.
  • the bending control unit 4a includes a CPU or the like, calculates a bending amount of the bending unit 25 based on an instruction signal output in response to an operation of the bending operation unit 22c, and controls the control according to the calculated bending amount. This is configured to be performed on the drive unit 4b.
  • the bending drive unit 4b includes a motor for pulling each wire attached to each bending piece of the bending unit 25, and can bend the bending unit 25 with a bending amount according to the control of the bending control unit 4a. It is configured to be able to.
  • the image processing unit 4c performs various image processing (for example, noise removal) on the image (endoscopic image) acquired by the imaging unit of the distal end portion 24, and the endoscope that has performed the image processing.
  • An image is output to the display device 5 and the balloon control device 6.
  • the balloon control device 6 includes a balloon driving unit 6a, a calculation unit 6b, and a storage unit 6c in which threshold information used for calculation by the calculation unit 6b is stored in advance.
  • the balloon driving unit 6a includes a pump that can be connected to the other end of the above-described gas flow conduit, a cylinder that is a supply source of gas supplied to the gas flow conduit, and the balloon 24d.
  • the operation related to the gas supply to the internal space (air supply operation) and the operation related to the exhaust of the gas supplied to the internal space of the balloon 24d (exhaust operation) can be performed.
  • the balloon driving unit 6a detects that the automatic control of the balloon 24d by the balloon control device 6 is not turned on based on the instruction signal output from the scope switch unit 22d via the universal code 23, the balloon driving unit 6a An air supply operation corresponding to an instruction signal output from the air supply switch of the switch unit 22d is performed.
  • the balloon driving unit 6a detects that the automatic control of the balloon 24d by the balloon control device 6 is not turned on based on the instruction signal output from the scope switch unit 22d via the universal code 23, the balloon driving unit 6a Exhaust operation is performed according to the instruction signal output from the exhaust switch of the switch unit 22d.
  • the balloon drive unit 6a detects that the automatic control of the balloon 24d by the balloon control device 6 is turned on based on the instruction signal output from the scope switch unit 22d via the universal cord 23, Instead of the instruction signals output from the air supply switch and the exhaust switch of the scope switch unit 22d, an air supply operation is performed according to the instruction of the calculation unit 6b.
  • the balloon drive unit 6a invalidates both instructions according to the operation of the air supply switch and the exhaust switch of the scope switch unit 22d during the air supply operation according to the instruction of the calculation unit 6b. To do.
  • calculation unit 6b detects that the automatic control of the balloon 24d is not turned on based on the instruction signal output from the scope switch unit 22d via the universal code 23, the calculation unit 6b performs the operation of the balloon drive unit 6a. Such a calculation and instruction are not performed.
  • the balloon driving unit 6a is configured to give instructions related to the air supply operation.
  • threshold information for prescribing a predetermined condition used for determination by the calculation unit 6b is stored in advance.
  • a lower limit value TH1 and an upper limit value TH2 of the brightness value corresponding to the brightness information acquired by the calculation unit 6b are stored in advance as threshold information.
  • the lower limit value TH1 of the luminance value described above is output from the image processing unit 4c of the processor 4 due to, for example, that at least a part of the objective window 24b of the distal end portion 24 is in direct contact with tissue in the body cavity such as an organ. Is set as a luminance value in the case where the brightness of the endoscopic image is extremely low.
  • the upper limit value TH2 of the luminance value described above is caused by, for example, the fact that the illumination light emitted from the illumination window 24a of the distal end portion 24 is reflected in a body cavity tissue such as an organ and causes halation, and thus the image of the processor 4 It is set as a luminance value when the brightness of the endoscopic image output from the processing unit 4c is extremely high.
  • the surgeon or the like turns on the power of each part of the endoscope system 1 in a state where the connectors at the end of the universal cord 23 are connected to the light source device 3, the processor 4 and the balloon control device 6. Then, as each part of the endoscope system 1 is powered on, the endoscope image is acquired by the endoscope 2, illumination light is supplied by the light source device 3, image processing by the processor 4, and the display device 5. The display of the endoscopic image is started.
  • surgeon or the like inserts the insertion portion 21 into the deep part of the body cavity of the subject by performing an insertion operation while viewing the endoscopic image displayed on the display device 5.
  • FIG. 2 is a flowchart illustrating an example of processing performed in the balloon control device.
  • FIG. 3 is a diagram illustrating an example of an endoscopic image displayed on the display device before the series of processes in FIG. 2 is performed.
  • FIG. 4 is a diagram illustrating an example of an endoscopic image displayed on the display device after the series of processes in FIG. 2 is performed.
  • the surgeon or the like is between the region corresponding to the insertion destination of the insertion portion 21 or the region of interest as the region where the treatment target is inserted by the treatment tool inserted from the forceps port 22a and the distal end surface of the distal end portion 24.
  • an endoscopic image as shown in FIG. 3 is displayed on the display device 5 due to the intervention of tissue in the body cavity such as an organ, the balloon is operated by operating the automatic control mode switch of the scope switch unit 22d. An instruction is given to turn on automatic control of the balloon 24d by the control device 6.
  • the calculation unit 6b determines whether or not an instruction for turning on the automatic control of the balloon 24d has been given based on the instruction signal output from the scope switch unit 22d via the universal code 23 (FIG. 2). Step S1).
  • the calculation unit 6b When the calculation unit 6b obtains the determination result that the instruction for turning on the automatic control of the balloon 24d is not performed in step S1 of FIG. 2, the calculation unit 6b performs the calculation related to the operation of the balloon drive unit 6a and Do not give instructions. That is, when the determination result that the instruction for turning on the automatic control of the balloon 24d is not given is obtained by the process of step S1 in FIG. 2, the air supply switch and the exhaust of the scope switch unit 22d.
  • the balloon 24d can be inflated or deflated so as to obtain a desired inflated state corresponding to the operation of the switch.
  • step S1 of FIG. 2 When the calculation unit 6b obtains a determination result that an instruction for turning on the automatic control of the balloon 24d is given in step S1 of FIG. 2, the arithmetic unit 6b starts the automatic control of the balloon 24d and also executes the processor 4 A process for acquiring luminance information of the endoscopic image of the current frame output from the image processing unit 4c is performed (step S2 in FIG. 2).
  • the calculation unit 6b obtains the determination result that the instruction to turn on the automatic control of the balloon 24d is performed in step S1 of FIG. 2, for example, any of R, G, or B
  • the average value AVG of the luminance values of each pixel existing in the endoscope image of the current frame output from the image processing unit 4c of the processor 4 is calculated.
  • the calculation unit 6b determines whether or not the luminance information acquired in step S2 in FIG. 2 satisfies a predetermined condition defined by the threshold information read from the storage unit 6c (step S3 in FIG. 2).
  • the calculation unit 6b reads, for example, the lower limit value TH1 of the luminance value and the upper limit value TH2 of the luminance value according to the average value AVG of the luminance values calculated in step S2 of FIG. Then, it is determined whether or not the average value AVG of the luminance values calculated by the process of step S2 in FIG. 2 satisfies the magnitude relationship of TH1 ⁇ AVG ⁇ TH2.
  • the calculation unit 6b When the calculation unit 6b obtains a determination result that the luminance information acquired in step S2 in FIG. 2 does not satisfy the predetermined condition in step S3 in FIG. 2, the calculation unit 6b supplies a predetermined amount of gas. After instructing the balloon driving unit 6a to perform an air supply operation to be supplied to the balloon 24d (step S4 in FIG. 2), the process returns to step S2 in FIG.
  • step S3 in FIG. 2 the calculation unit 6b gives an instruction to stop the air supply operation when the determination result that the luminance information acquired in step S2 in FIG. 2 satisfies the predetermined condition is obtained.
  • the automatic control of the balloon 24d is finished (step S5 and step S6 in FIG. 2).
  • the endoscopic image satisfying the predetermined condition in step S3 in FIG. 2 as exemplified by the magnitude relationship of TH1 ⁇ AVG ⁇ TH2 is processed by the processor. Until the image is output from the fourth image processing unit 4c, the air supply operation by the balloon driving unit 6a is continued. Further, according to the series of processing relating to the automatic control of the balloon 24d described above, the endoscopic image satisfying the predetermined condition in step S3 in FIG. 2 as exemplified by the magnitude relationship of TH1 ⁇ AVG ⁇ TH2. Almost immediately after the image is output from the image processing unit 4c of the processor 4, the air supply operation by the balloon driving unit 6a is stopped.
  • the intervention of tissue in the body cavity such as an organ between the region of interest and the distal end surface of the distal end portion 24 is eliminated.
  • the balloon 24d is inflated to a certain extent, and the tissue in the body cavity existing around the distal end portion 24 is evacuated.
  • a visual field for observing or treating a desired site can be reliably ensured.
  • the series of processing shown in FIG. 2 is not limited to the case where a balloon is attached to the distal end portion of the endoscope as shown in FIG. 1, but for example, as shown in FIG.
  • the present invention can be applied in substantially the same manner when a balloon is attached to the distal end portion of a treatment instrument used in a state of being inserted inside.
  • FIG. 5 is a diagram illustrating a configuration of a main part of an endoscope system according to a modification of the embodiment of the present invention.
  • the endoscope system 1A is an endoscope 2A capable of capturing an image of a subject in a body cavity of a subject and acquiring an endoscope image, and an illumination for the subject.
  • a light source device 3 having a function as a supply source of illumination light
  • a processor 4 that performs image processing on an endoscopic image acquired by the endoscope 2A, and an endoscope that has undergone image processing by the processor 4
  • the display device 5 is configured to include an image display device 5, a balloon control device 6 that performs an operation related to control of a balloon 73 (described later), and a manipulator device 7.
  • the endoscope 2A has substantially the same configuration as that obtained by removing the balloon 24d and a gas flow channel (gas flow channel) (not shown) used for air supply and exhaust by the balloon control device 6 from the endoscope 2. have.
  • the manipulator device 7 includes a manipulator body 71, a grasping forceps 72 provided at the distal end of the manipulator body 71, a balloon 73 provided near the grasping forceps 72 at the distal end of the manipulator body 71, and a grip
  • An input device group 74 capable of operating the forceps unit 72 and a manipulator control device 75 that operates the grasping forceps unit 72 in accordance with an input operation in the input device group 74 are configured.
  • a part of a tubular member 76 used for air supply and exhaust by the balloon control device 6 is inserted into the manipulator body 71.
  • the manipulator main body 71 can be inserted into a treatment instrument insertion conduit (treatment instrument channel) (not shown) from the forceps port 22a and is inserted into the treatment instrument insertion conduit from the distal end opening 24c.
  • the gripping forceps portion 72 is configured to have an elongated shape that can project.
  • the grasping forceps portion 72 includes two grasping forceps configured to be able to sandwich and hold an object with a grasping force according to the drive control of the manipulator control device 75. Further, the two grasping forceps of the grasping forceps 72 are provided with a plurality of actuators (not shown) that operate so as to face in directions according to the drive control of the manipulator control device 75.
  • the grasping forceps portion 72 having a function as a treatment portion is configured to be able to treat the target site in the body cavity of the subject while protruding from the distal end surface of the distal end portion 24. .
  • the balloon 73 having a function as an excluding portion is made of a material such as rubber, and expands in response to supply of gas to the internal space and contracts in response to discharge of gas supplied to the internal space. Is configured to do.
  • the internal space of the balloon 73 communicates with one end of the tubular member 76 inserted into the manipulator body 71.
  • the other end of the tubular member 76 is connected to the balloon driving unit 6a of the balloon control device 6.
  • the input device 74 includes, for example, a joystick and the like, and can input an amount corresponding to an input operation by an operator or the like. It is configured so that it can be detected and output to the manipulator control device 75.
  • the manipulator control device 75 includes a calculation unit 75a and a drive control unit 75b.
  • the computing unit 75a is configured to calculate one or more control parameters for respectively determining the orientation and gripping force of the two gripping forceps of the gripping forceps unit 72 based on the magnitude of the input amount in the input device 74. .
  • the drive control unit 75b is configured to drive the two grasping forceps of the grasping forceps unit 72 based on each control parameter calculated by the calculation unit 75a.
  • the endoscope system 1A is not limited to the one configured by providing each switch of the automatic control mode switch, the air supply switch, and the exhaust switch in the scope switch unit 22d.
  • each switch may be provided in the input device 74.
  • the surgeon or the like connected each connector at the end of the universal cord 23 to the light source device 3, the processor 4, and the balloon control device 6, and further connected the other end of the tubular member 76 to the balloon control device 6.
  • the power of each part of the endoscope system 1A is turned on.
  • the endoscope image is acquired by the endoscope 2A, the illumination light is supplied by the light source device 3, the image processing by the processor 4, and the display device 5 The display of the endoscopic image is started.
  • surgeon or the like performs an insertion operation while viewing an endoscopic image displayed on the display device 5, thereby inserting the insertion unit until a desired part including a region where a treatment target exists by the grasping forceps unit 72 is reached. 21 will be inserted.
  • the surgeon or the like is caused by the intervention of tissue in the body cavity such as an organ between the region of interest as the region where the treatment target exists by the grasping forceps 72 and the distal end surface of the distal end 24.
  • tissue in the body cavity such as an organ between the region of interest as the region where the treatment target exists by the grasping forceps 72 and the distal end surface of the distal end 24.
  • the automatic control mode switch of the scope switch unit 22d is operated with the distal end portion of the manipulator body 71 protruding from the distal end opening portion 24c.
  • An instruction for turning on the automatic control of the balloon 73 by the control device 6 is given.
  • the calculation unit 6b determines whether or not an instruction for turning on the automatic control of the balloon 73 has been issued based on the instruction signal output from the scope switch unit 22d via the universal code 23 (FIG. 2). Step S1).
  • the calculation unit 6b When the calculation unit 6b obtains the determination result that the instruction to turn on the automatic control of the balloon 73 is not performed in step S1 of FIG. 2, the calculation unit 6b performs the calculation related to the operation of the balloon drive unit 6a and Do not give instructions. That is, when the determination result that the instruction for turning on the automatic control of the balloon 73 has not been given is obtained by the process of step S1 of FIG. 2, the air supply switch and the exhaust of the scope switch unit 22d.
  • the balloon 73 can be inflated or deflated so as to obtain a desired inflated state corresponding to the operation of the switch.
  • step S1 of FIG. 2 When the calculation unit 6b obtains a determination result that an instruction to turn on the automatic control of the balloon 73 is given in step S1 of FIG. 2, the calculation unit 6b starts the automatic control of the balloon 73 and also the processor 4 A process for acquiring luminance information of the endoscopic image of the current frame output from the image processing unit 4c is performed (step S2 in FIG. 2).
  • the calculation unit 6b obtains a determination result that an instruction to turn on the automatic control of the balloon 73 is performed in step S1 of FIG. 2, for example, any of R, G, and B
  • the average value AVG of the luminance values of each pixel existing in the endoscope image of the current frame output from the image processing unit 4c of the processor 4 is calculated.
  • the arithmetic unit 6b compares the luminance information acquired in step S2 of FIG. 2 with the threshold information read from the storage unit 6c, so that the luminance information satisfies a predetermined condition according to the threshold information. It is determined whether or not (step S3 in FIG. 2).
  • the calculation unit 6b reads, for example, the lower limit value TH1 of the luminance value and the upper limit value TH2 of the luminance value according to the average value AVG of the luminance values calculated in step S2 of FIG. Then, it is determined whether or not the average value AVG of the brightness values calculated by the process of step S2 in FIG. 2 satisfies the relationship of TH1 ⁇ AVG ⁇ TH2.
  • step S4 in FIG. 2 the calculation unit 6b obtains a determination result that the luminance information acquired in step S2 in FIG. 2 does not satisfy the predetermined condition in step S3 in FIG. 2, the calculation unit 6b supplies a predetermined amount of gas. After instructing the balloon drive unit 6a to perform an air supply operation to be supplied to the balloon 73 (step S4 in FIG. 2), the process returns to step S2 in FIG.
  • step S3 in FIG. 2 the calculation unit 6b gives an instruction to stop the air supply operation when the determination result that the luminance information acquired in step S2 in FIG. 2 satisfies the predetermined condition is obtained.
  • the automatic control of the balloon 73 is finished by performing the operation on the balloon driving unit 6a (step S5 and step S6 in FIG. 2).
  • the endoscopic image satisfying the predetermined condition in step S3 in FIG. 2 as illustrated as the magnitude relationship of TH1 ⁇ AVG ⁇ TH2 is processed by the processor. Until the image is output from the fourth image processing unit 4c, the air supply operation by the balloon driving unit 6a is continued. Further, according to the series of processes relating to the automatic control of the balloon 73 described above, an endoscopic image that satisfies the predetermined condition in step S3 of FIG. 2 as exemplified by the magnitude relationship of TH1 ⁇ AVG ⁇ TH2. Almost immediately after the image is output from the image processing unit 4c of the processor 4, the air supply operation by the balloon driving unit 6a is stopped.
  • a series of processes relating to the automatic control of the balloon 73 is performed, so that the tissue in the body cavity such as an organ is interposed between the region of interest and the distal end surface of the distal end portion 24.
  • the balloon 73 is inflated to such a degree that the tissue is eliminated, and the tissue in the body cavity existing around the distal end portion 24 is evacuated, so that the state of the peripheral portion of the distal end portion 24 is not treated by the grasping forceps 72. It is possible to shift from a possible state (see FIG. 3) to a state (see FIG. 4) in which the region of interest can be treated by the grasping forceps 72.
  • a visual field for observing or treating a desired site can be reliably ensured.
  • the average value of the luminance values of each pixel existing in the endoscopic image of the current frame is not limited to the one calculated as the AVG value. You may calculate the average value of the luminance value of each pixel which exists in the attention area of the endoscopic image of the current frame as an AVG value.
  • the series of processing shown in FIG. 2 is not limited to the case where a balloon is provided at the distal end portion of the endoscope, but can be applied, for example, when a retractor is provided at the distal end portion of the endoscope.
  • FIG. 6 is a diagram schematically illustrating an example of a configuration when a retractor is provided at the distal end portion of the endoscope.
  • FIG. 7 is a view for explaining a state in which the retractor of FIG. 6 is unfolded.
  • FIG. 8 is a view for explaining a state where the retractor of FIG. 6 is unfolded and lifted.
  • the retractor 100 includes a plurality of plate-like members in which a rear end portion is fixed by a shaft member 101 in a bending deformation portion 103 provided at a distal end portion of a base member 102 on which the retractor 100 is disposed. 100a.
  • the retractor 100 when the base member 102 is not pushed in, the retractor 100 is housed in a predetermined position of the distal end portion 24 in a state where the plurality of plate-like members 100 a overlap each other. It has such a configuration.
  • the base member 102 when the base member 102 is pushed into the retractor 100 until the bending deformation portion 103 contacts the stopper 104 on the distal end side, the plurality of plate-like members 100 a push the shaft member 101. It has a configuration that spreads out in the center (in a fan shape).
  • FIG. 9 is a diagram schematically illustrating an example different from FIG. 6 of the configuration in which the retractor is provided at the distal end portion of the endoscope.
  • FIG. 10 is a view for explaining a state where the retractor of FIG. 9 is unfolded.
  • the retractor 110 is configured to include a plurality of plate-like members 110 a whose rear ends are fixed by shaft members 111 at predetermined positions of the base member 112. Further, as shown in FIG. 9, the midway part of the plate-like member 110 a and the tip part of the base member 112 are connected via a connection member 113.
  • the retractor 110 when the base member 112 is not pulled to the rear end side, the retractor 110 has a predetermined end portion 24 in a state where the plurality of plate-like members 110 a are substantially folded. It is configured to be stored in a position.
  • the retractor 110 has a plurality of plate-like members 110 a that are spread around the shaft member 111 (in a fan shape) as the base member 112 is pulled toward the rear end side. It is configured to be lifted.

Abstract

 医用システムは、被検者の体腔内に挿入可能な挿入部と、挿入部の先端部に設けられた撮像部と、を具備する内視鏡と、挿入部が被検者の体腔内に挿入された際に、先端部の周辺に存在する組織を圧排できるように構成された圧排部と、撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、取得した輝度情報が所定の条件を満たすか否かを判定する演算部と、演算部の判定結果に基づき、圧排部を駆動させるための動作を実施または停止する駆動部と、を有する。

Description

医用システム
 本発明は、医用システムに関し、特に、体腔内の観察等に用いられる医用システムに関するものである。
 被検者の体腔内の内視鏡観察を行っている最中において、例えば、内視鏡挿入部の先端部の周辺に存在する組織等を(本来の位置から)一時的に退かすことより、所望の部位を観察または処置するための視野を確保するような手法が従来用いられている。
 そして、前述の手法に利用可能と考えられる構成として、例えば日本国特開2010-187903号公報に開示されているような、内視鏡挿入部の先端部にバルーン等の拡張部材を設けた構成が提案されている。
 ここで、日本国特開2010-187903号公報に開示された構成によれば、バルーン等の拡張部材の拡張状態が内視鏡挿入部の先端部の表面の温度に応じて決定されるため、例えば、当該先端部の周辺に存在する組織等により視野が狭くなっているにも係わらず、当該拡張部材が十分に拡張しない、というような状況が生じ得る。その結果、日本国特開2010-187903号公報に開示された構成によれば、被検者の体腔内の内視鏡観察を行う際に、所望の部位を観察または処置するための視野を確保できない場合がある、という課題が生じている。
 本発明は、前述した事情に鑑みてなされたものであり、被検者の体腔内の内視鏡観察を行う際に、所望の部位を観察または処置するための視野を確実に確保することが可能な医用システムを提供することを目的としている。
 本発明の一態様の医用システムは、被検者の体腔内に挿入可能な挿入部と、前記挿入部の先端部に設けられた撮像部と、を具備する内視鏡と、前記挿入部が前記被検者の体腔内に挿入された際に、前記先端部の周辺に存在する組織を圧排できるように構成された圧排部と、前記撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、当該取得した輝度情報が所定の条件を満たすか否かを判定する演算部と、前記演算部の判定結果に基づき、前記圧排部を駆動させるための動作を実施または停止する駆動部と、を有する。
本発明の実施例に係る内視鏡システムの要部の構成を示す図。 バルーン制御装置において行われる処理の一例を示すフローチャート。 図2の一連の処理が行われる前に表示装置に表示される内視鏡画像の一例を示す図。 図2の一連の処理が行われた後に表示装置に表示される内視鏡画像の一例を示す図。 本発明の実施例の変形例に係る内視鏡システムの要部の構成を示す図。 内視鏡の先端部にリトラクタを設けた場合の構成の一例を模式的に示す図。 図6のリトラクタが広げられた状態を説明するための図。 図6のリトラクタが広げられ、かつ、持ち上げられた状態を説明するための図。 内視鏡の先端部にリトラクタを設けた場合の構成の、図6とは異なる例を模式的に示す図。 図9のリトラクタが広げられた状態を説明するための図。
 以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
 図1から図4は、本発明の実施例に係るものである。図1は、本発明の実施例に係る内視鏡システムの要部の構成を示す図である。
 内視鏡システム1は、図1に示すように、被検者の体腔内の被写体を撮像して内視鏡画像を取得することが可能な内視鏡2と、当該被写体を照明するための照明光の供給源としての機能を備えた光源装置3と、内視鏡2により取得された内視鏡画像に対する画像処理等を行うプロセッサ4と、プロセッサ4により画像処理が施された内視鏡画像等を表示可能な表示装置5と、内視鏡2に設けられたバルーン24d(後述)の制御に係る動作を行うバルーン制御装置6と、を有して構成されている。
 内視鏡2は、被検者の体腔内に挿入可能な細長形状を具備する挿入部21と、挿入部21の後端側に設けられた操作部22と、操作部22から延出するように設けられたユニバーサルコード23と、を有して構成されている。また、挿入部21、操作部22及びユニバーサルコード23の内部には、光源装置3から供給される照明光を伝送可能な図示しないライトガイド(導光部材)と、バルーン制御装置6による送気及び排気に用いられる図示しない気体流通用管路(気体流通チャンネル)が挿通されている。
 挿入部21は、先端側から後端側にかけて順番に、先端部24と、湾曲部25と、可撓管部26と、を連設して構成されている。すなわち、湾曲部25は、挿入部21の少なくとも一部に設けられている。
 先端部24の先端面には、2つの照明窓24aと、対物窓24bと、先端開口部24cと、が配設されている。また、先端部24の外周部分における対物窓24bの近傍には、バルーン24dが取り付けられている。
 また、先端部24の内部には、光学素子及び撮像素子等を具備し、対物窓24bから入射される被写体像を撮像して画像(内視鏡画像)を取得することができるように構成された図示しない撮像部が設けられている。すなわち、先端部24の撮像部は、対物窓24bの背面側に配設されている。
 また、圧排部としての機能を備えたバルーン24dは、先端部24の外周部分における撮像部の近傍に設けられている。
 2つの照明窓24aの背面側には、挿入部21の内部に挿通されたライトガイドの光出射側の端部が配設されている。
 先端開口部24cは、挿入部21の内部に配設された図示しない処置具挿通用管路(処置具チャンネル)に連通しており、鉗子口22a(後述)から挿入された細長形状の処置具を先端部24の前方へ突出させることができるような形状を具備して形成されている。
 バルーン24dは、ゴム等の柔軟な素材により形成されており、内部空間への気体の供給に応じて膨張するとともに、当該内部空間に供給された気体の排出に応じて収縮するように構成されている。また、バルーン24dの内部空間は、挿入部21の内部に挿通された気体流通用管路の一方の端部と連通している。
 湾曲部25は、複数のワイヤの端部がそれぞれ取り付けられた複数の湾曲駒等を具備し、操作部22の湾曲操作部22c(後述)の操作状態に応じた方向に湾曲することにより、先端部24の向きを変化させることができるように構成されている。
 一方、操作部22は、先端側の側部に配設されている鉗子口22aと、術者等により把持される把持部22bと、把持部22bの後端側に設けられた湾曲操作部22cと、内視鏡システム1の各部により実現される種々の機能を動作または停止させる指示を行うことが可能な複数のスイッチを具備するスコープスイッチ部22dと、を有して構成されている。
 鉗子口22aは、挿入部21の内部に配設された図示しない処置具挿通用管路に連通しており、細長形状の処置具を挿入可能な形状を具備して形成されている。
 湾曲操作部22cは、湾曲部25を所望の方向に所望の量だけ湾曲させるための湾曲操作を行うことができるように構成されているとともに、当該湾曲操作に応じた指示信号を、ユニバーサルコード23に内蔵された信号線を介してプロセッサ4へ出力することができるように構成されている。
 スコープスイッチ部22dには、例えば、バルーン制御装置6によるバルーン24dの自動制御をオンにするための指示を行うことが可能な自動制御モードスイッチ、バルーン24dの内部空間への気体の送気のオンオフに係る指示を行うことが可能な送気スイッチ、及び、バルーン24dの内部空間の気体の排気のオンオフに係る指示を行うことが可能な排気スイッチ等の複数のスイッチが設けられている。
 ユニバーサルコード23には、光源装置3から供給される照明光を伝送可能なライトガイドと、内視鏡2と、プロセッサ4及びバルーン制御装置6との間における種々の信号のやり取りに用いられる複数の信号線と、バルーン制御装置6による送気及び排気に用いられる気体流通用管路と、が内蔵されている。
 また、ユニバーサルコード23の端部には、光源装置3、プロセッサ4及びバルーン制御装置6の各部にそれぞれ接続することが可能な図示しない複数のコネクタが設けられている。
 そして、ユニバーサルコード23の端部に設けられた各コネクタのうち、光源装置3に接続されるコネクタの内部には、ライトガイドの光入射側の端部が配設されている。
 また、ユニバーサルコード23の端部に設けられた各コネクタのうち、バルーン制御装置6に接続されるコネクタの内部には、気体流通用管路の他方の端部と、スコープスイッチ部22dの操作に応じて出力される指示信号を検出可能な信号線の端部と、が配設されている。
 すなわち、以上に述べた構成によれば、光源装置3から供給された照明光は、挿入部21、操作部22及びユニバーサルコード23の内部に挿通されたライトガイドを介し、2つの照明窓24aから出射される。
 また、以上に述べた構成によれば、バルーン制御装置6は、挿入部21、操作部22及びユニバーサルコード23の内部に挿通された気体流通用管路を介してバルーン24dの膨張状態を変化させることができる。
 一方、プロセッサ4は、湾曲制御部4aと、湾曲駆動部4bと、画像処理部4cと、を有して構成されている。
 湾曲制御部4aは、CPU等を具備し、湾曲操作部22cの操作に応じて出力される指示信号に基づいて湾曲部25の湾曲量を算出し、当該算出した湾曲量に応じた制御を湾曲駆動部4bに対して行うように構成されている。
 湾曲駆動部4bは、湾曲部25の各湾曲駒に取り付けられた各ワイヤを牽引するためのモータ等を具備し、湾曲制御部4aの制御に応じた湾曲量で湾曲部25を湾曲させることができるように構成されている。
 画像処理部4cは、先端部24の撮像部により取得された画像(内視鏡画像)に対して(例えばノイズ除去等の)種々の画像処理を施すとともに、当該画像処理を施した内視鏡画像を表示装置5及びバルーン制御装置6へ出力するように構成されている。
 バルーン制御装置6は、バルーン駆動部6aと、演算部6bと、演算部6bの演算に用いられる閾値情報が予め格納されている記憶部6cと、を有して構成されている。
 バルーン駆動部6aは、前述の気体流通用管路の他方の端部に接続可能なポンプ、及び、当該気体流通用管路に供給される気体の供給源であるボンベ等を具備し、バルーン24dの内部空間への気体の供給に係る動作(送気動作)、及び、バルーン24dの内部空間に供給された気体の排気に係る動作(排気動作)をそれぞれ実施可能に構成されている。
 バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされていないことを検出した場合には、スコープスイッチ部22dの送気スイッチから出力される指示信号に応じた送気動作を行う。
 バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされていないことを検出した場合には、スコープスイッチ部22dの排気スイッチから出力される指示信号に応じた排気動作を行う。
 一方、バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされたことを検出した場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチから出力される指示信号の代わりに、演算部6bの指示に応じた送気動作を行う。
 すなわち、バルーン駆動部6aは、演算部6bの指示に応じた送気動作を行っている最中には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた指示をいずれも無効化する。
 演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御がオンにされていないことを検出した場合には、バルーン駆動部6aの動作に係る演算及び指示を行わないように構成されている。
 また、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御がオンにされたことを検出した場合には、プロセッサ4の画像処理部4cから出力される内視鏡画像の輝度情報を取得し、さらに、当該取得した輝度情報が記憶部6cから読み込んだ閾値情報により規定される所定の条件を満たすか否かを判定した結果に応じてバルーン駆動部6aの送気動作に係る指示を行うように構成されている。
 記憶部6cには、演算部6bの判定に用いられる所定の条件を規定するための閾値情報が予め格納されている。
 具体的には、記憶部6cには、例えば、演算部6bにより取得される輝度情報に応じた輝度値の下限値TH1及び上限値TH2が閾値情報として予め格納されている。
 なお、前述の輝度値の下限値TH1は、例えば、先端部24の対物窓24bの少なくとも一部が臓器等の体腔内組織に直接接触することに起因し、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に低くなってしまうような場合の輝度値として設定されている。
 また、前述の輝度値の上限値TH2は、例えば、先端部24の照明窓24aから出射される照明光が臓器等の体腔内組織において反射してハレーションを起こすことに起因し、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に高くなってしまうような場合の輝度値として設定されている。
 続いて、本実施例に係る内視鏡システム1の作用について説明する。
 まず、術者等は、ユニバーサルコード23の端部の各コネクタを光源装置3、プロセッサ4及びバルーン制御装置6に接続した状態で内視鏡システム1の各部の電源を投入する。そして、内視鏡システム1の各部の電源が投入されるに伴い、内視鏡2による内視鏡画像の取得、光源装置3による照明光の供給、プロセッサ4による画像処理、及び、表示装置5による内視鏡画像の表示がそれぞれ開始される。
 また、術者等は、表示装置5に表示される内視鏡画像を見ながら挿入操作を行うことにより、挿入部21を被検者の体腔内の深部に挿入してゆく。
 ここで、本実施例のバルーン制御装置6において行われる処理等について、図2から図4を参照しつつ説明する。図2は、バルーン制御装置において行われる処理の一例を示すフローチャートである。図3は、図2の一連の処理が行われる前に表示装置に表示される内視鏡画像の一例を示す図である。図4は、図2の一連の処理が行われた後に表示装置に表示される内視鏡画像の一例を示す図である。
 術者等は、挿入部21の挿入先に相当する領域、または、鉗子口22aから挿入した処置具による処置対象の存在する領域としての注目領域と、先端部24の先端面と、の間における臓器等の体腔内組織の介在に起因し、図3に示すような内視鏡画像が表示装置5に表示されている場合において、スコープスイッチ部22dの自動制御モードスイッチを操作することにより、バルーン制御装置6によるバルーン24dの自動制御をオンにするための指示を行う。
 一方、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御をオンにするための指示が行われたか否かを判定する(図2のステップS1)。
 演算部6bは、図2のステップS1において、バルーン24dの自動制御をオンにするための指示が行われていないとの判定結果を得た場合には、バルーン駆動部6aの動作に係る演算及び指示を行わない。すなわち、図2のステップS1の処理により、バルーン24dの自動制御をオンにするための指示が行われていないとの判定結果が得られた場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた所望の膨張状態となるように、バルーン24dを膨張または収縮させることができる。
 演算部6bは、図2のステップS1において、バルーン24dの自動制御をオンにするための指示が行われたとの判定結果を得た場合には、バルーン24dの自動制御を開始するとともに、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像の輝度情報を取得するための処理を行う(図2のステップS2)。
 具体的には、演算部6bは、図2のステップS1においてバルーン24dの自動制御をオンにするための指示が行われたとの判定結果を得た場合に、例えば、R、GまたはBのいずれか1つの色成分について、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像に存在する各画素の輝度値の平均値AVGを算出する。
 演算部6bは、図2のステップS2により取得された輝度情報が、記憶部6cから読み込んだ閾値情報により規定される所定の条件を満たすか否かを判定する(図2のステップS3)。
 具体的には、演算部6bは、例えば、図2のステップS2により算出した輝度値の平均値AVGに応じた輝度値の下限値TH1及び輝度値の上限値TH2を記憶部6cから読み込み、さらに、図2のステップS2の処理により算出した輝度値の平均値AVGがTH1<AVG<TH2の大小関係を満たすか否かを判定する。
 そして、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしていないとの判定結果を得た場合には、所定の量の気体をバルーン24dに供給するような送気動作を実施させる指示をバルーン駆動部6aに対して行った(図2のステップS4)後、図2のステップS2に戻って処理を行う。
 また、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしたとの判定結果を得た場合には、送気動作を停止させる指示をバルーン駆動部6aに対して行うことにより、バルーン24dの自動制御を終了する(図2のステップS5及びステップS6)。
 以上に述べたバルーン24dの自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力されるまでの間、バルーン駆動部6aによる送気動作が継続される。また、以上に述べたバルーン24dの自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力された略直後において、バルーン駆動部6aによる送気動作が停止される。
 すなわち、本実施例によれば、バルーン24dの自動制御に係る一連の処理等が行われることにより、注目領域と先端部24の先端面との間における臓器等の体腔内組織の介在が解消される程度までバルーン24dが膨張され、先端部24の周辺に存在する体腔内組織が圧排されるため、先端部24の周辺の状態を、当該注目領域の視認が不可能な状態(図3参照)から、当該注目領域の視認が可能な状態(図4参照)へ遷移させることができる。その結果、本実施例によれば、(注目領域を含む)所望の部位を観察または処置するための視野を確実に確保することができる。
 なお、図2に示した一連の処理は、先端部24の外周部分に1つのバルーンのみが設けられている場合に限らず、先端部24の外周部分に複数のバルーンが設けられている場合においても略同様に適用できる。
 また、図2に示した一連の処理によれば、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に低くなってしまうような場合と、当該内視鏡画像の明るさが極端に高くなってしまうような場合と、をそれぞれ判別可能な値が閾値情報として記憶部6cに予め格納されている限りにおいて、輝度値の平均値AVG以外の他の値を輝度情報として取得するような処理が行われてもよい。
 一方、図2に示した一連の処理は、図1に示したような、内視鏡の先端部にバルーンが取り付けられている場合に限らず、例えば図5に示すような、内視鏡の内部に挿通した状態で用いられる処置具の先端部にバルーンが取り付けられている場合においても略同様に適用できる。
 ここで、本実施例の変形例に係る内視鏡システム1Aの構成について、図5を参照しながら説明する。図5は、本発明の実施例の変形例に係る内視鏡システムの要部の構成を示す図である。
 なお、以降においては、簡単のため、内視鏡システム1と同様の構成等を有する部分に関する詳細な説明を省略するとともに、内視鏡システム1と異なる構成等を有する部分に関して主に説明を行う。
 内視鏡システム1Aは、図5に示すように、被検者の体腔内の被写体を撮像して内視鏡画像を取得することが可能な内視鏡2Aと、当該被写体を照明するための照明光の供給源としての機能を備えた光源装置3と、内視鏡2Aにより取得された内視鏡画像に対する画像処理等を行うプロセッサ4と、プロセッサ4により画像処理が施された内視鏡画像等を表示可能な表示装置5と、バルーン73(後述)の制御に係る動作を行うバルーン制御装置6と、マニピュレータ装置7と、を有して構成されている。
 内視鏡2Aは、バルーン24dと、バルーン制御装置6による送気及び排気に用いられる図示しない気体流通用管路(気体流通チャンネル)と、を内視鏡2から取り除いたものと略同様の構成を有している。
 一方、マニピュレータ装置7は、マニピュレータ本体71と、マニピュレータ本体71の先端部に設けられた把持鉗子部72と、マニピュレータ本体71の先端部における把持鉗子部72の近傍に設けられたバルーン73と、把持鉗子部72の操作を行うことが可能な入力装置群74と、入力装置群74における入力操作に応じて把持鉗子部72を動作させるマニピュレータ制御装置75と、を有して構成されている。また、マニピュレータ本体71の内部には、バルーン制御装置6による送気及び排気に用いられる管状部材76の一部が挿通されている。
 マニピュレータ本体71は、鉗子口22aから図示しない処置具挿通用管路(処置具チャンネル)に挿入することが可能であるとともに、当該処置具挿通用管路に挿入された状態で先端開口部24cから把持鉗子部72を突出させることが可能な細長形状を具備して構成されている。
 把持鉗子部72は、マニピュレータ制御装置75の駆動制御に応じた把持力で対象物を挟んで掴むことができるように構成された2つの把持鉗子を具備して構成されている。また、把持鉗子部72の2つの把持鉗子には、マニピュレータ制御装置75の駆動制御に応じた方向を向くように動作する図示しない複数のアクチュエータがそれぞれ設けられている。
 すなわち、処置部としての機能を備えた把持鉗子部72は、先端部24の先端面から突出された状態で被検者の体腔内における対象部位の処置を行うことができるように構成されている。
 圧排部としての機能を備えたバルーン73は、ゴム等の素材により形成されており、内部空間への気体の供給に応じて膨張するとともに、当該内部空間に供給された気体の排出に応じて収縮するように構成されている。また、バルーン73の内部空間は、マニピュレータ本体71の内部に挿通された管状部材76の一方の端部と連通している。なお、管状部材76の他方の端部は、バルーン制御装置6のバルーン駆動部6aに接続されている 入力装置74は、例えばジョイスティック等を具備し、術者等の入力操作に応じた入力量を検出してマニピュレータ制御装置75へ出力することができるように構成されている。
 マニピュレータ制御装置75は、演算部75aと、駆動制御部75bと、を有して構成されている。
 演算部75aは、入力装置74における入力量の大きさに基づき、把持鉗子部72の2つの把持鉗子の向き及び把持力をそれぞれ定めるための1以上の制御パラメータを算出するように構成されている。
 駆動制御部75bは、演算部75aにより算出された各制御パラメータに基づいて把持鉗子部72の2つの把持鉗子を駆動させるように構成されている。
 なお、本実施例の変形例に係る内視鏡システム1Aは、自動制御モードスイッチ、送気スイッチ、及び、排気スイッチの各スイッチをスコープスイッチ部22dに設けて構成されているものに限らず、例えば、当該各スイッチを入力装置74に設けて構成されていてもよい。
 続いて、本実施例の変形例に係る内視鏡システム1Aの作用について説明する。
 まず、術者等は、ユニバーサルコード23の端部の各コネクタを光源装置3、プロセッサ4及びバルーン制御装置6に接続し、さらに、管状部材76の他方の端部をバルーン制御装置6に接続した状態で内視鏡システム1Aの各部の電源を投入する。そして、内視鏡システム1Aの各部の電源が投入されるに伴い、内視鏡2Aによる内視鏡画像の取得、光源装置3による照明光の供給、プロセッサ4による画像処理、及び、表示装置5による内視鏡画像の表示がそれぞれ開始される。
 また、術者等は、表示装置5に表示される内視鏡画像を見ながら挿入操作を行うことにより、把持鉗子部72による処置対象の存在する領域を含む所望の部位に到達するまで挿入部21を挿入してゆく。
 術者等は、把持鉗子部72による処置対象の存在する領域としての注目領域と、先端部24の先端面と、の間における臓器等の体腔内組織の介在に起因し、図3に示すような内視鏡画像が表示装置5に表示されている場合において、マニピュレータ本体71の先端部を先端開口部24cから突出させた状態でスコープスイッチ部22dの自動制御モードスイッチを操作することにより、バルーン制御装置6によるバルーン73の自動制御をオンにするための指示を行う。
 一方、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン73の自動制御をオンにするための指示が行われたか否かを判定する(図2のステップS1)。
 演算部6bは、図2のステップS1において、バルーン73の自動制御をオンにするための指示が行われていないとの判定結果を得た場合には、バルーン駆動部6aの動作に係る演算及び指示を行わない。すなわち、図2のステップS1の処理により、バルーン73の自動制御をオンにするための指示が行われていないとの判定結果が得られた場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた所望の膨張状態となるように、バルーン73を膨張または収縮させることができる。
 演算部6bは、図2のステップS1において、バルーン73の自動制御をオンにするための指示が行われたとの判定結果を得た場合には、バルーン73の自動制御を開始するとともに、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像の輝度情報を取得するための処理を行う(図2のステップS2)。
 具体的には、演算部6bは、図2のステップS1においてバルーン73の自動制御をオンにするための指示が行われたとの判定結果を得た場合に、例えば、R、GまたはBのいずれか1つの色成分について、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像に存在する各画素の輝度値の平均値AVGを算出する。
 演算部6bは、図2のステップS2により取得された輝度情報と、記憶部6cから読み込んだ閾値情報と、を比較することにより、当該輝度情報が当該閾値情報に応じた所定の条件を満たしたか否かを判定する(図2のステップS3)。
 具体的には、演算部6bは、例えば、図2のステップS2により算出した輝度値の平均値AVGに応じた輝度値の下限値TH1及び輝度値の上限値TH2を記憶部6cから読み込み、さらに、図2のステップS2の処理により算出した輝度値の平均値AVGがTH1<AVG<TH2の大小関係を満たしたか否かを判定する。
 そして、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしていないとの判定結果を得た場合には、所定の量の気体をバルーン73に供給するような送気動作を実施させる指示をバルーン駆動部6aに対して行った(図2のステップS4)後、図2のステップS2に戻って処理を行う。
 また、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしたとの判定結果を得た場合には、送気動作を停止させる指示をバルーン駆動部6aに対して行うことにより、バルーン73の自動制御を終了する(図2のステップS5及びステップS6)。
 以上に述べたバルーン73の自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力されるまでの間、バルーン駆動部6aによる送気動作が継続される。また、以上に述べたバルーン73の自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力された略直後において、バルーン駆動部6aによる送気動作が停止される。
 すなわち、本実施例の変形例によれば、バルーン73の自動制御に係る一連の処理等が行われることにより、注目領域と先端部24の先端面との間における臓器等の体腔内組織の介在が解消される程度までバルーン73が膨張され、先端部24の周辺に存在する体腔内組織が圧排されるため、先端部24の周辺の状態を、把持鉗子部72による当該注目領域の処置が不可能な状態(図3参照)から、把持鉗子部72による当該注目領域の処置が可能な状態(図4参照)へ遷移させることができる。その結果、本実施例の変形例によれば、(注目領域を含む)所望の部位を観察または処置するための視野を確実に確保することができる。
 なお、以上に述べたような本実施例及び変形例によれば、現フレームの内視鏡画像に存在する各画素の輝度値の平均値をAVGの値として算出するものに限らず、例えば、現フレームの内視鏡画像の注目領域内に存在する各画素の輝度値の平均値をAVGの値として算出するものであってもよい。
 一方、図2に示した一連の処理は、内視鏡の先端部にバルーンを設けた場合のみに限らず、例えば、内視鏡の先端部にリトラクタを設けた場合においても応用できる。
 ここで、バルーン24dの代わりに、図6から図8に示すようなリトラクタ100を先端部24に設けた場合について説明する。図6は、内視鏡の先端部にリトラクタを設けた場合の構成の一例を模式的に示す図である。図7は、図6のリトラクタが広げられた状態を説明するための図である。図8は、図6のリトラクタが広げられ、かつ、持ち上げられた状態を説明するための図である。
 リトラクタ100は、図6に示すように、リトラクタ100が配置される基部材102の先端部に設けられた屈曲変形部103において、後端部が軸部材101により固定された、複数の板状部材100aを具備して構成されている。
 一方、リトラクタ100は、図6に示すように、基部材102が全く押し込まれていない場合には、複数の板状部材100aが相互に重なった状態で先端部24の所定の位置に収納されるような構成を有している。
 また、リトラクタ100は、図7に示すように、屈曲変形部103が先端側のストッパ104に当接する程度まで基部材102が押し込まれた場合には、複数の板状部材100aが軸部材101を中心に(扇状に)広がるような構成を有している。
 また、リトラクタ100は、図8に示すように、屈曲変形部103がストッパ104に当接した状態でさらに基部材102が押し込まれた場合には、屈曲変形部103が屈曲変形することにより、軸部材101を中心に(扇状に)広がった複数の板状部材100aが持ち上げられるような構成を有している。
 すなわち、バルーン24dの代わりにリトラクタ100を先端部24に設けた場合においては、図2のステップS4の送気動作が基部材102の押し込み動作になるようにバルーン制御装置6等の構成を変更することにより、図2の一連の処理を適用することができる。
 続いて、バルーン24dの代わりに、図9及び図10に示すようなリトラクタ110を先端部24に設けた場合について説明する。図9は、内視鏡の先端部にリトラクタを設けた場合の構成の、図6とは異なる例を模式的に示す図である。図10は、図9のリトラクタが広げられた状態を説明するための図である。
 リトラクタ110は、図9に示すように、基部材112の所定の位置において、後端部が軸部材111により固定された、複数の板状部材110aを具備して構成されている。また、図9に示すように、板状部材110aの中途部と、基部材112の先端部と、が接続部材113を介して接続されている。
 一方、リトラクタ110は、図9に示すように、基部材112が後端側へ全く引っ張られていない場合には、複数の板状部材110aが略たたまれた状態で先端部24の所定の位置に収納されるような構成を有している。
 また、リトラクタ110は、図10に示すように、基部材112が後端側へ引っ張られるにつれて、複数の板状部材110aが軸部材111を中心に(扇状に)広がり、さらに、接続部材113により持ち上げられるような構成を有している。
 すなわち、バルーン24dの代わりにリトラクタ110を先端部24に設けた場合においては、図2のステップS4の送気動作が基部材112の引っ張り動作になるようにバルーン制御装置6等の構成を変更することにより、図2の一連の処理を適用することができる。
 なお、本発明は、上述した実施例及び変形例等に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2012年2月15日に日本国に出願された特願2012-30725号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (7)

  1.  被検者の体腔内に挿入可能な挿入部と、前記挿入部の先端部に設けられた撮像部と、を具備する内視鏡と、
     前記挿入部が前記被検者の体腔内に挿入された際に、前記先端部の周辺に存在する組織を圧排できるように構成された圧排部と、
     前記撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、当該取得した輝度情報が所定の条件を満たすか否かを判定する演算部と、
     前記演算部の判定結果に基づき、前記圧排部を駆動させるための動作を実施または停止する駆動部と、
     を有することを特徴とする医用システム。
  2.  前記所定の条件を規定するための閾値情報が格納されている記憶部をさらに有することを特徴とする請求項1に記載の医用システム。
  3.  前記演算部は、前記撮像部により撮像された画像の各画素の輝度値の平均値を前記輝度情報として取得し、さらに、当該取得した輝度値の平均値が前記閾値情報により規定される所定の範囲内に含まれるか否かを判定し、
     前記駆動部は、前記演算部の判定結果に基づき、前記輝度値の平均値が前記所定の範囲内に含まれないとの判定結果が得られた場合において、前記圧排部を駆動させるための動作を実施し、前記輝度値の平均値が前記所定の範囲内に含まれるとの判定結果が得られた場合において、前記圧排部を駆動させるための動作を停止する
     ことを特徴とする請求項2に記載の医用システム。
  4.  前記圧排部は、前記先端部の外周部分における前記撮像部の近傍に設けられていることを特徴とする請求項1に記載の医用システム。
  5.  前記圧排部の自動制御をオンにする指示を行うことが可能なスイッチをさらに有し、
     前記駆動部は、前記指示が前記スイッチから出力されたことを検出した際に、前記演算部の判定結果に基づいて前記圧排部を駆動させるように動作する
     ことを特徴とする請求項1に記載の医用システム。
  6.  前記挿入部の少なくとも一部に設けられた湾曲部を湾曲させるための湾曲操作を行うことができるように構成された湾曲操作部と、
     前記湾曲操作部においてなされた湾曲操作に応じた湾曲量を算出し、当該算出した湾曲量に応じた制御を行う湾曲制御部と、
     前記湾曲制御部の制御に応じて前記湾曲部を湾曲させる湾曲駆動部と、
     をさらに有することを特徴とする請求項1に記載の医用システム。
  7.  前記挿入部に設けられた管路に挿入可能な処置具をさらに有し、
     前記処置具は、前記先端部の先端面から突出された状態で前記被検者の体腔内における対象部位の処置を行うことが可能な処置部と、前記処置部の近傍に設けられた前記圧排部と、を有する
     ことを特徴とする請求項1に記載の医用システム。
PCT/JP2012/076273 2012-02-15 2012-10-11 医用システム WO2013121621A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280043805.3A CN103781396B (zh) 2012-02-15 2012-10-11 医用系统
JP2013532007A JP5439632B1 (ja) 2012-02-15 2012-10-11 医用システム
EP12868411.5A EP2740398A4 (en) 2012-02-15 2012-10-11 MEDICAL SYSTEM
US13/946,582 US8888685B2 (en) 2012-02-15 2013-07-19 Medical system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012030725 2012-02-15
JP2012-030725 2012-02-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/946,582 Continuation US8888685B2 (en) 2012-02-15 2013-07-19 Medical system

Publications (1)

Publication Number Publication Date
WO2013121621A1 true WO2013121621A1 (ja) 2013-08-22

Family

ID=48983764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076273 WO2013121621A1 (ja) 2012-02-15 2012-10-11 医用システム

Country Status (5)

Country Link
US (1) US8888685B2 (ja)
EP (1) EP2740398A4 (ja)
JP (1) JP5439632B1 (ja)
CN (1) CN103781396B (ja)
WO (1) WO2013121621A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017530768A (ja) * 2014-09-11 2017-10-19 アクラレント インコーポレイテッドAcclarent, Inc. ロープロファイルの耳管拡開システム
GB202003311D0 (en) * 2020-03-06 2020-04-22 Univ Malta Retractor device for transoral insertion site, and method of viewing a surgical site

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103123A (ja) * 2003-10-01 2005-04-21 Olympus Corp 体内観察装置
JP2005124708A (ja) * 2003-10-22 2005-05-19 Olympus Corp 体内観察装置
JP2010068859A (ja) * 2008-09-16 2010-04-02 Fujifilm Corp 内視鏡装置及びその調光制御方法
JP2010183949A (ja) * 2009-02-10 2010-08-26 Fujifilm Corp 内視鏡
JP2010187903A (ja) 2009-02-18 2010-09-02 Fujifilm Corp 内視鏡装置およびその制御方法
JP2011072598A (ja) * 2009-09-30 2011-04-14 Terumo Corp 光干渉断層像形成装置及びその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5716321A (en) * 1995-10-10 1998-02-10 Conceptus, Inc. Method for maintaining separation between a falloposcope and a tubal wall
US6669629B2 (en) * 2001-04-24 2003-12-30 Olympus Optical Co., Ltd. Endoscope system comprising an electrically bendable endoscope
CA2469773A1 (en) * 2001-12-11 2003-07-03 C2Cure Inc. Apparatus, method and system for intravascular photographic imaging
US20050124875A1 (en) 2003-10-01 2005-06-09 Olympus Corporation Vivo observation device
US20080234546A1 (en) * 2003-10-01 2008-09-25 Olympus Corporation In vivo observation device
JP3806934B2 (ja) * 2004-03-01 2006-08-09 フジノン株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103123A (ja) * 2003-10-01 2005-04-21 Olympus Corp 体内観察装置
JP2005124708A (ja) * 2003-10-22 2005-05-19 Olympus Corp 体内観察装置
JP2010068859A (ja) * 2008-09-16 2010-04-02 Fujifilm Corp 内視鏡装置及びその調光制御方法
JP2010183949A (ja) * 2009-02-10 2010-08-26 Fujifilm Corp 内視鏡
JP2010187903A (ja) 2009-02-18 2010-09-02 Fujifilm Corp 内視鏡装置およびその制御方法
JP2011072598A (ja) * 2009-09-30 2011-04-14 Terumo Corp 光干渉断層像形成装置及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2740398A4

Also Published As

Publication number Publication date
US20140039254A1 (en) 2014-02-06
JPWO2013121621A1 (ja) 2015-05-11
JP5439632B1 (ja) 2014-03-12
CN103781396A (zh) 2014-05-07
CN103781396B (zh) 2016-03-16
US8888685B2 (en) 2014-11-18
EP2740398A1 (en) 2014-06-11
EP2740398A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5085662B2 (ja) 内視鏡システム
EP2130479B1 (en) Device for controlling position of treatment instrument for endoscope
EP2215960B1 (en) Endoscope curve control apparatus
US20150313446A1 (en) Robotic-assisted surgical system and control method thereof
WO2011055613A1 (ja) 内視鏡システム
JP2008194302A (ja) 処置具の位置制御を行う内視鏡システム及びその位置制御方法
EP2583616A1 (en) Endoscope
WO2013121610A1 (ja) 内視鏡装置及び医用システム
WO2015005072A1 (ja) 手術支援ロボット
JP7292376B2 (ja) 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法
WO2018216142A1 (ja) 可撓管挿入装置及び挿入制御装置
JP2009090087A (ja) 内視鏡
JP5439632B1 (ja) 医用システム
WO2019003272A1 (ja) 可撓管挿入装置、挿入制御装置及び挿入制御プログラム
WO2015146836A1 (ja) 内視鏡システム
JP5841366B2 (ja) 医療装置
JP7007478B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
US10251536B2 (en) Medical instrument, medical system, and mode transition method for medical instruments
US10226308B2 (en) Method of controlling a medical master/slave system
JPH05211993A (ja) 内視鏡装置
JP5792415B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2002325724A (ja) 内視鏡システム
JP3485190B2 (ja) 内視鏡装置
JP2011235114A (ja) 画像信号処理装置
JP2006320370A (ja) 内視鏡

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280043805.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2013532007

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12868411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE