WO2023170889A1 - 画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 - Google Patents
画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 Download PDFInfo
- Publication number
- WO2023170889A1 WO2023170889A1 PCT/JP2022/010712 JP2022010712W WO2023170889A1 WO 2023170889 A1 WO2023170889 A1 WO 2023170889A1 JP 2022010712 W JP2022010712 W JP 2022010712W WO 2023170889 A1 WO2023170889 A1 WO 2023170889A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image data
- turbidity
- image processing
- generation unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 238000010336 energy treatment Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 140
- 239000002131 composite material Substances 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 description 66
- 210000000988 bone and bone Anatomy 0.000 description 33
- 238000004891 communication Methods 0.000 description 33
- 239000000523 sample Substances 0.000 description 31
- 239000007788 liquid Substances 0.000 description 28
- 238000005286 illumination Methods 0.000 description 27
- 230000010412 perfusion Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 23
- 238000002604 ultrasonography Methods 0.000 description 21
- 238000010248 power generation Methods 0.000 description 20
- 239000000843 powder Substances 0.000 description 18
- 238000005520 cutting process Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 239000012530 fluid Substances 0.000 description 12
- 230000002262 irrigation Effects 0.000 description 12
- 238000003973 irrigation Methods 0.000 description 12
- 230000001186 cumulative effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 230000005484 gravity Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000002504 physiological saline solution Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000001185 bone marrow Anatomy 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- -1 debris Substances 0.000 description 2
- 238000004090 dissolution Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000010419 fine particle Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001258 synovial membrane Anatomy 0.000 description 2
- 238000009210 therapy by ultrasound Methods 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000001264 anterior cruciate ligament Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 229940113601 irrigation solution Drugs 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/32—Surgical cutting instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
Definitions
- the present disclosure relates to an image processing device, an energy treatment device, a treatment system, and an image processing method.
- Patent Document 1 when the field of view of the endoscope for observing the treatment area deteriorates due to clouding, bone powder is sent out from the field of view of the endoscope by the irrigation fluid, and the field of view of the endoscope is improved. The operator has to stop the treatment on the treatment area and wait until the procedure is completed, which lengthens the treatment time and places a burden on both the operator and the patient.
- the present disclosure has been made in view of the above, and provides an image processing device, an energy treatment device, a treatment system, and an energy treatment device that can continue treatment to a treatment area even when the field of view of an endoscope has deteriorated.
- the purpose is to provide an image processing method.
- an image processing device includes an image acquisition unit that acquires image data that partially includes at least a region where a living body is treated with an energy treatment instrument; a detection unit that detects a region including at least a portion of the energy treatment instrument from an image corresponding to the data; and a detection unit that converts the region into another region based on the image data and the detection result detected by the detection unit.
- the image forming apparatus includes an emphasized image generation section that generates emphasized image data that is emphasized by comparison, and a display image generation section that generates a display image based on the emphasized image data.
- the energy treatment device is an energy treatment device that can be inserted into a subject, can treat a treatment target region, and is imaged by an endoscope inserted into the subject. and is provided at the distal end and emphasizes edge components and brightness in a region included in a part of the energy treatment instrument compared to other regions in an image corresponding to image data captured by the endoscope. It has an indicator part that can be detected by doing so.
- the treatment system includes an energy treatment instrument that can be inserted into a subject and can treat a treatment target site, and an energy treatment instrument that can be inserted into the subject and at least treat a living body with the energy treatment instrument.
- the image processing device includes an endoscope that can image a region to be treated and generate image data, and an image processing device that performs image processing on the image data and outputs it to a display device.
- an image acquisition unit that acquires data; a detection unit that detects a region including at least a part of the energy treatment instrument from an image corresponding to the image data; the image data; and a detection result detected by the detection unit; , and a display image generating section that generates a display image based on the emphasized image data.
- an image processing method is an image processing method executed by an image processing device included in a processor having hardware, wherein the processor includes at least a part of an area for treating a living body with an energy treatment instrument.
- the processor includes at least a part of an area for treating a living body with an energy treatment instrument.
- Obtain image data detect a region including at least a part of the energy treatment instrument from an image corresponding to the image data, and divide the region into other regions based on the image data and the detection result of the region.
- Generating emphasized image data that is emphasized relative to the region and generating a display image based on the emphasized image data.
- FIG. 1 is a diagram showing a schematic configuration of a treatment system according to Embodiment 1 of the present disclosure.
- FIG. 2 is a diagram showing how a bone hole is formed using the ultrasound probe according to Embodiment 1 of the present disclosure.
- FIG. 3A is a schematic diagram showing a schematic configuration of an ultrasound probe according to Embodiment 1 of the present disclosure.
- FIG. 3B is a schematic diagram in the direction of arrow A in FIG. 3A.
- FIG. 4 is a block diagram showing an overview of the functional configuration of the entire treatment system according to Embodiment 1 of the present disclosure.
- FIG. 5 is a block diagram showing a detailed functional configuration of the endoscope apparatus according to Embodiment 1 of the present disclosure.
- FIG. 1 is a diagram showing a schematic configuration of a treatment system according to Embodiment 1 of the present disclosure.
- FIG. 2 is a diagram showing how a bone hole is formed using the ultrasound probe according to Embodiment 1 of the present disclosure.
- FIG. 6A is a diagram showing a state in which the endoscope according to Embodiment 1 of the present disclosure has a good field of view.
- FIG. 6B is a diagram showing a state in which the endoscope according to Embodiment 1 of the present disclosure has a poor field of view.
- FIG. 7 is a block diagram showing a detailed functional configuration of the processing device according to Embodiment 1 of the present disclosure.
- FIG. 8 is a block diagram showing a detailed functional configuration of the perfusion device according to Embodiment 1 of the present disclosure.
- FIG. 9 is a block diagram showing a detailed functional configuration of the lighting device according to Embodiment 1 of the present disclosure.
- FIG. 10 is a block diagram showing a detailed functional configuration of the image processing unit in Embodiment 1 of the present disclosure.
- FIG. 11 is a block diagram showing a detailed functional configuration of the corrected image generation section in Embodiment 1 of the present disclosure.
- FIG. 12 is a flowchart illustrating an overview of a treatment performed by an operator using the treatment system according to Embodiment 1 of the present disclosure.
- FIG. 13 is a diagram illustrating an overview of processing executed by the endoscope control device in a cutting treatment according to Embodiment 1 of the present disclosure.
- FIG. 14 is a flowchart showing a detailed outline of the turbidity response control process of FIG. 13.
- FIG. 15 is a diagram illustrating an example of a display image in a state where the field of view of the endoscope is good in Embodiment 1 of the present disclosure.
- FIG. 16 is a diagram showing the relationship between the position on the straight line A-A' in FIG. 15 and the brightness.
- FIG. 17 is a diagram illustrating an example of a display image in a state where the field of view of the endoscope is poor in Embodiment 1 of the present disclosure.
- FIG. 18 is a diagram showing the relationship between the position on the straight line A-A' in FIG. 16 and the brightness.
- FIG. 19 is a diagram showing the relationship between the position on the straight line AA′ and the brightness after the corrected image generation unit performs gradation correction on the display image of FIG.
- FIG. 20 is a diagram illustrating the relationship between the position and brightness of the emphasized image generated by the emphasized image generation unit in Embodiment 1 of the present disclosure.
- FIG. 21 is a diagram schematically illustrating a method for generating a composite image generated by a composite image generation unit according to Embodiment 1 of the present disclosure.
- FIG. 22 is a diagram illustrating an example of a display image displayed by the display device in Embodiment 1 of the present disclosure.
- FIG. 23 is a block diagram showing the functional configuration of an image processing unit according to Embodiment 2 of the present disclosure.
- FIG. 20 is a diagram illustrating the relationship between the position and brightness of the emphasized image generated by the emphasized image generation unit in Embodiment 1 of the present disclosure.
- FIG. 21 is a diagram schematically illustrating a method for generating a composite image generated by a composite image generation unit according to Embodiment 1 of the present disclosure.
- FIG. 22 is a diagram illustrating an example of a display image displayed by the
- FIG. 24 is a flowchart showing a detailed outline of the turbidity response control process executed by the endoscope control device according to Embodiment 2 of the present disclosure.
- FIG. 25 is a diagram schematically illustrating a method for generating a composite image generated by a composite image generation unit according to Embodiment 2 of the present disclosure.
- FIG. 26 is a block diagram showing the functional configuration of an image processing unit according to Embodiment 3 of the present disclosure.
- FIG. 27 is a schematic diagram showing a schematic configuration of a part of a treatment instrument according to Embodiment 3 of the present disclosure.
- FIG. 28 is a diagram illustrating an example of a display image in which a part of the treatment instrument is reflected in the field of view of the endoscope according to Embodiment 3 of the present disclosure.
- FIG. 29 is a diagram showing the relationship between the position on the straight line A-A' in FIG. 28 and the brightness.
- FIG. 30 is a diagram showing the relationship between the brightness and the position on the same straight line as the straight line A-A' in FIG. 28 in the HDR image generated by the HDR image generation unit according to Embodiment 3 of the present disclosure.
- FIG. 31 is a diagram showing the relationship between the position on the same straight line as the straight line AA′ in FIG.
- FIG. 32 is a diagram showing the relationship between the brightness and the position on the same straight line as the straight line A-A' in FIG. 28 in a composite image generated by the composite image generation unit according to Embodiment 3 of the present disclosure.
- FIG. 33 is a block diagram showing the functional configuration of an image processing device according to Embodiment 4 of the present disclosure.
- FIG. 34 is a block diagram showing the functional configuration of a treatment instrument according to Embodiment 4 of the present disclosure.
- FIG. 1 is a diagram showing a schematic configuration of a treatment system 1 according to the first embodiment.
- a treatment system 1 shown in FIG. 1 treats a living tissue such as a bone by applying ultrasonic vibration to the living tissue.
- the treatment is, for example, removal or cutting of living tissue such as bone.
- a treatment system for performing anterior cruciate ligament reconstruction is illustrated as the treatment system 1.
- the treatment system 1 shown in FIG. 1 includes an endoscope device 2, a treatment device 3, a guiding device 4, a perfusion device 5, and a lighting device 6.
- the endoscope device 2 includes an endoscope 201, an endoscope control device 202, and a display device 203.
- the distal end portion of the insertion portion 211 of the endoscope 201 is inserted into the joint cavity C1 of the subject's knee joint J1 through the first portal P1 that communicates the inside of the joint cavity C1 with the outside of the skin.
- the endoscope 201 illuminates the inside of the joint cavity C1, captures illumination light (subject image) reflected within the joint cavity C1, and captures the subject image to generate image data.
- the endoscope control device 202 performs various image processing on image data captured by the endoscope 201, and causes the display device 203 to display a display image corresponding to the image data after this image processing.
- the endoscope control device 202 is connected to the endoscope 201 and the display device 203 by wire or wirelessly.
- the display device 203 receives data, image data (display images), audio data, etc. transmitted from each device configuring the treatment system 1 via the endoscope control device 202, and displays data according to the received data. Display, announce, and output displayed images.
- the display device 203 is configured using a display panel made of liquid crystal or organic EL (Electro-Luminescence).
- the treatment device 3 includes a treatment tool 301, a treatment tool control device 302, and a foot switch 303.
- the treatment tool 301 includes a treatment tool main body 311, an ultrasonic probe 312 (see FIG. 2 described later), and a sheath 313.
- the treatment instrument main body 311 is formed into a cylindrical shape. Also, inside the treatment instrument main body 311, an ultrasonic transducer 312a (which is composed of a bolt-clamped Langevin-type transducer) and which generates ultrasonic vibrations in accordance with the supplied driving power. (see FIG. 2, which will be described later).
- an ultrasonic transducer 312a which is composed of a bolt-clamped Langevin-type transducer
- the treatment instrument control device 302 supplies driving power to the ultrasonic transducer 312a in response to the operator's operation of the foot switch 303.
- the supply of driving power is not limited to the operation on the foot switch 303, and may be performed, for example, in response to an operation on an operation section (not shown) provided on the treatment instrument 301.
- the foot switch 303 is an input interface that the surgeon operates with his/her foot when driving the ultrasound probe 312.
- FIG. 2 is a diagram showing how the bone hole 101 is formed using the ultrasonic probe 312.
- FIG. 3A is a schematic diagram showing a schematic configuration of the ultrasound probe 312.
- FIG. 3B is a schematic diagram in the direction of arrow A in FIG. 3A. Note that in the first embodiment, the ultrasonic probe 312 functions as an energy treatment tool.
- the ultrasonic probe 312 is made of, for example, a titanium alloy and has a substantially cylindrical shape. Further, a base end portion of the ultrasonic probe 312 is connected to an ultrasonic transducer 312a within the treatment instrument main body 311. Furthermore, the ultrasonic probe 312 transmits ultrasonic vibrations generated by the ultrasonic transducer 312a from the base end to the distal end. Specifically, the ultrasonic vibration in the first embodiment is longitudinal vibration along the longitudinal direction of the ultrasonic probe 312 (vertical direction in FIG. 2). Furthermore, an ultrasonic transducer 312a is provided at the tip of the ultrasonic probe 312, as shown in FIG.
- the sheath 313 is formed into a cylindrical shape that is more elongated than the treatment instrument main body 311, and covers a part of the outer periphery of the ultrasound probe 312 from the treatment instrument main body 311 to an arbitrary length.
- the ultrasonic transducer 312a of the ultrasonic probe 312 in the treatment tool 301 configured as described above is a guide inserted into the joint cavity C1 through the second portal P2 that communicates the inside of the joint cavity C1 with the outside of the skin. It is inserted into the joint cavity C1 while being guided by the inserting device 4.
- the treatment instrument 301 when the treatment instrument 301 generates ultrasonic vibrations with the ultrasonic transducer 312a of the ultrasonic probe 312 in contact with the bone treatment target site 100, the ultrasonic transducer The portion of bone mechanically collided with 312a is crushed into fine particles (see Figure 2).
- the ultrasound transducer 312a of the ultrasound probe 312 of the treatment tool 301 crushes the bone while inside the treatment target site 100.
- a bone hole 101 is formed in the treatment target site 100.
- a circuit board 317 on which a posture detection section 314, a CPU (Central Processing Unit) 315, and a memory 316 are mounted is provided at the base end of the treatment instrument main body 311 (see FIGS. 3A and 3B). reference).
- the posture detection unit 314 includes a sensor that detects rotation and movement of the treatment instrument 301.
- the posture detection unit 314 detects three mutually orthogonal axes, including an axis parallel to the longitudinal axis of the ultrasound probe 312, and rotation around each axis.
- the treatment instrument control device 302 described above determines that the treatment instrument 301 is stationary if the detection result of the posture detection section 314 does not change for a certain period of time.
- the CPU 315 controls the operation of the posture detection section 314 and transmits and receives information to and from the treatment instrument control device 302.
- the CPU 315 reads the program stored in the memory 316 into the work area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate to execute a predetermined program. Realize functional modules that meet the purpose.
- the guiding device 4 is inserted into the joint cavity C1 through the second portal P2, and guides the insertion of the tip portion of the ultrasound probe 312 of the treatment tool 301 into the joint cavity C1.
- the guiding device 4 includes a guide body 401, a handle portion 402, and a drain portion 403 with a cock.
- the guide body 401 has a cylindrical shape and has a through hole 401a through which the ultrasonic probe 312 is inserted (see FIG. 1).
- the guide body 401 restricts the movement of the ultrasound probe 312 inserted into the through hole 401a in a certain direction, and guides the movement of the ultrasound probe 312.
- the cross-sectional shapes of the outer circumferential surface and the inner circumferential surface of the guide main body 401 perpendicular to the central axis are approximately circular. Further, the guide main body 401 becomes thinner toward the tip. That is, the distal end surface 401b of the guide main body 401 is a slope diagonally intersecting the central axis.
- the drain portion 403 with a cock is provided on the outer peripheral surface of the guide body 401 and has a cylindrical shape that communicates with the inside of the guide body 401.
- One end of the drain tube 505 of the perfusion device 5 is connected to the drain portion 403 with a cock, and serves as a flow path that communicates the guide main body 401 and the drain tube 505 of the perfusion device 5 .
- This flow path is configured to be openable and closable by operating a cock (not shown) provided in the drain portion 403 with a cock.
- the perfusion device 5 delivers an irrigation fluid such as sterilized physiological saline into the joint cavity C1, and also discharges the irrigation fluid out of the joint cavity C1.
- the perfusion device 5 includes a liquid source 501, a liquid feeding tube 502, a liquid feeding pump 503, a drainage bottle 504, a drainage tube 505, and a drainage pump 506 (see FIG. 1).
- the liquid source 501 contains irrigation fluid therein.
- a liquid supply tube 502 is connected to the liquid source 501 .
- the perfusate is sterilized physiological saline or the like.
- the liquid source 501 is configured using, for example, a bottle or the like.
- One end of the liquid feeding tube 502 is connected to the liquid source 501, and the other end is connected to the endoscope 201.
- the liquid sending pump 503 sends the irrigation fluid from the liquid source 501 toward the endoscope 201 through the liquid sending tube 502.
- the irrigation fluid delivered to the endoscope 201 is delivered into the joint cavity C1 from a fluid delivery hole formed at the distal end portion of the insertion section 211.
- the drainage bottle 504 stores the irrigation fluid drained outside the joint cavity C1.
- a drain tube 505 is connected to the drain bottle 504 .
- the drain tube 505 has one end connected to the guiding device 4 and the other end connected to the drain bottle 504.
- the drainage pump 506 follows the flow path from the guiding device 4 inserted into the joint cavity C1 to the drainage tube 505, and discharges the irrigation fluid in the joint cavity C1 to the drainage bottle 504.
- the first embodiment will be described using the drain pump 506, the present invention is not limited to this, and a suction device provided in the facility may be used.
- the illumination device 6 has two light sources that each emit two illumination lights having different wavelength bands.
- the two illumination lights are, for example, white light, which is visible light, and infrared light or special light, which is invisible light.
- Information based on wavelengths different from visible light can be obtained from invisible light illumination.
- an infrared image captured under infrared light illumination can have a higher contrast than a normal image captured under white light illumination. Therefore, edge components are extracted from images captured under infrared light illumination, and edge components extracted from normal images captured under white light illumination, or corrected images obtained by correcting normal images. By superimposing the images, it is possible to generate an image with even more emphasized edges.
- Illumination light from the illumination device 6 is propagated to the endoscope 201 via the light guide, and is irradiated from the tip of the endoscope 201.
- FIG. 4 is a block diagram showing an overview of the functional configuration of the entire treatment system 1.
- the treatment system 1 shown in FIG. 4 further includes a network control device 7 that controls communication of the entire system, and a network server 8 that stores various data.
- the network control device 7 is communicably connected to the endoscope device 2, treatment device 3, perfusion device 5, lighting device 6, and network server 8.
- FIG. 4 illustrates a case where the devices are connected wirelessly, they may be connected by wire.
- the detailed functional configurations of the endoscope device 2, treatment device 3, perfusion device 5, and illumination device 6 will be described below.
- the network server 8 is communicably connected to the endoscope device 2, treatment device 3, perfusion device 5, lighting device 6, and network control device 7.
- the network server 8 stores various data of each device making up the treatment system 1.
- the network server 8 is configured using, for example, a processor having hardware such as a CPU, and memory such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
- FIG. 5 is a block diagram showing the detailed functional configuration of the endoscope device 2.
- the endoscope device 2 includes an endoscope control device 202, a display device 203, an imaging section 204 provided within the endoscope 201, an operation input section 205, Equipped with
- the endoscope control device 202 includes an image processing section 221, an image processing section 222, a turbidity detection section 223, an input section 226, a CPU 227, a memory 228, a wireless communication section 229, and a distance sensor drive circuit 230. , a distance data memory 231, and a communication interface 232.
- the imaging processing unit 221 includes an imaging device drive control circuit 221a that controls the driving of an imaging device 2241 included in the imaging unit 204 provided in the endoscope 201, and a patient circuit 202b that is electrically insulated from the primary circuit 202a. and an image sensor signal control circuit 221b that is provided and performs signal control of the image sensor 2241.
- the image sensor drive control circuit 221a is provided in the primary circuit 202a. Further, the image sensor signal control circuit 221b is provided in the patient circuit 202b which is electrically insulated from the primary circuit 202a.
- the image processing unit 222 performs predetermined image processing on the input image data (RAW data) and outputs it to the display device 203 via the bus.
- the image processing unit 222 is configured using a processor having hardware such as a DSP (Digital Signal Processor) or an FPGA (Field-Programmable Gate Array), for example.
- the image processing unit 222 reads the program stored in the memory 228 into the work area of the memory and executes it, and controls each component through the execution of the program by the processor, so that the hardware and software cooperate. , realizing a functional module that meets a predetermined purpose. Note that the detailed functional configuration of the image processing section 222 will be described later.
- the turbidity detection unit 223 detects turbidity in the field of view of the endoscope 201 within the joint cavity C1 based on information regarding the turbidity in the field of view of the endoscope 201.
- the information regarding turbidity includes, for example, a value obtained from image data generated by the endoscope 201, a physical property value (turbidity) of the perfusate, an impedance obtained from the treatment device 3, and the like.
- FIG. 6A is a diagram showing a state in which the endoscope 201 has a good field of view.
- FIG. 6B is a diagram showing a state where the field of view of the endoscope 201 is poor.
- FIGS. 6A and 6B is a diagram schematically showing a display image corresponding to image data that is the field of view of the endoscope 201 when the operator forms a bone hole in the femoral lateral condyle 900. It is.
- FIG. 6B schematically shows a state in which the field of view of the endoscope 201 is clouded due to bones crushed into fine particles by the driving of the ultrasound probe 312. Note that in FIG. 6B, minute bones are represented by dots.
- the input unit 226 accepts the input of the signal input by the operation input unit 205 and the input of signals from each device constituting the treatment system 1.
- the CPU 227 centrally controls the operation of the endoscope control device 202.
- the CPU 227 reads the program stored in the memory 228 into the working area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate, and the internal vision Controls the operation of each part of the mirror control device 202.
- the memory 228 stores various information necessary for the operation of the endoscope control device 202, various programs executed by the endoscope control device 202, image data captured by the imaging unit 204, and the like.
- the memory 228 is configured using, for example, RAM (Random Access Memory), ROM (Read Only Memory), frame memory, or the like.
- the wireless communication unit 229 is an interface for wireless communication with other devices.
- the wireless communication unit 229 is configured using a communication module capable of, for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark).
- the distance sensor drive circuit 230 drives a distance sensor (not shown) that measures the distance to a predetermined object in the image captured by the imaging unit 204.
- a distance sensor may be provided in the image sensor 2241.
- the image sensor 2241 may be provided with a phase difference pixel that can measure the distance from the image sensor 2241 to a predetermined object instead of an effective pixel.
- a ToF (Time of FLIGHT) sensor or the like may be provided near the tip of the endoscope 201.
- the distance data memory 231 stores distance data detected by the distance sensor.
- the distance data memory 231 is configured using, for example, a RAM and a ROM.
- the communication interface 232 is an interface for communicating with the imaging unit 204.
- the components other than the image sensor signal control circuit 221b are provided in the primary circuit 202a, and are interconnected by bus wiring.
- the imaging unit 204 is provided in the endoscope 201.
- the imaging unit 204 includes an imaging element 2241, a CPU 242, and a memory 243.
- the image sensor 2241 generates image data by capturing a subject image formed by one or more optical systems (not shown) under the control of the CPU 242, and transmits the generated image data to the endoscope control device 202. Output to.
- the image sensor 2241 is configured using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the CPU 242 centrally controls the operation of the imaging unit 204.
- the CPU 242 reads out the program stored in the memory 243 into the working area of the memory and executes it, and controls each component through the execution of the program by the processor, so that the hardware and software work together to control the imaging unit. 204.
- the memory 243 stores various information necessary for the operation of the imaging unit 204, various programs executed by the endoscope 201, image data generated by the imaging unit 204, and the like.
- the memory 243 is configured using RAM, ROM, frame memory, and the like.
- the operation input unit 205 is configured using an input interface such as a mouse, a keyboard, a touch panel, a microphone, etc., and accepts operation input of the endoscope apparatus 2 by the operator.
- FIG. 7 is a block diagram showing the detailed functional configuration of the treatment device 3.
- the treatment device 3 includes a treatment tool 301, a treatment tool control device 302, and an input/output section 304.
- the treatment tool 301 includes an ultrasonic transducer 312a, a posture detection section 314, a CPU 315, and a memory 316.
- the posture detection unit 314 detects the posture of the treatment instrument 301 and outputs the detection result to the CPU 315.
- Posture detection section 314 is configured using at least one of an acceleration sensor and an angular velocity sensor.
- the CPU 315 centrally controls the operation of the treatment instrument 301 including the ultrasonic transducer 312a.
- the CPU 315 reads the program stored in the memory 316 into the working area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate and execute a predetermined program. Realize functional modules that meet the purpose.
- the memory 316 stores various information necessary for the operation of the treatment instrument 301, various programs executed by the treatment instrument 301, identification information for identifying the type, manufacturing date, performance, etc. of the treatment instrument 301.
- the treatment instrument control device 302 includes a primary circuit 321 , a patient circuit 322 , a transformer 323 , a first power source 324 , a second power source 325 , a CPU 326 , a memory 327 , a wireless communication section 328 , and a communication interface 329 and an impedance detection section 330.
- the primary circuit 321 generates power to be supplied to the treatment instrument 301.
- Patient circuit 322 is electrically insulated from primary circuit 321.
- the transformer 323 electromagnetically connects the primary circuit 321 and the patient circuit 322.
- the first power source 324 is a high voltage power source that supplies driving power for the treatment instrument 301.
- the second power source 325 is a low voltage power source that supplies driving power for a control circuit within the treatment instrument control device 302.
- the CPU 326 centrally controls the operation of the treatment instrument control device 302.
- the CPU 326 reads the program stored in the memory 327 into the working area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate and the treatment instrument The operation of each part of the control device 302 is controlled.
- the memory 327 stores various information necessary for the operation of the treatment instrument control device 302, various programs executed by the treatment instrument control device 302, and the like.
- the memory 327 is configured using RAM, ROM, and the like.
- the wireless communication unit 328 is an interface for wireless communication with other devices.
- the wireless communication unit 328 is configured using a communication module capable of, for example, Wi-Fi (registered trademark) and Bluetooth (registered trademark).
- the communication interface 329 is an interface for communicating with the treatment instrument 301.
- the impedance detection unit 330 detects the impedance when the treatment instrument 301 is driven, and outputs the detection result to the CPU 326.
- the impedance detection unit 330 is electrically connected, for example, between the first power source 324 and the primary circuit 321, and detects the impedance of the treatment tool 301 based on the frequency of the first power source 324. , outputs this detection result to the CPU 326.
- the input/output unit 304 is configured using input interfaces such as a mouse, keyboard, touch panel, microphone, etc., and output interfaces such as a monitor, speakers, etc., and receives operation input from the surgeon for the endoscope device 2 and notifies the surgeon. Output various information.
- FIG. 8 is a block diagram showing the detailed functional configuration of the perfusion device 5.
- the perfusion device 5 includes a liquid feeding pump 503, a drainage pump 506, a liquid feeding control section 507, a drainage control section 508, an input section 509, a CPU 510, and a memory. 511, a wireless communication section 512, a communication interface 513, an in-pump CPU 514, an in-pump memory 515, and a turbidity detection section 516.
- the liquid feeding control unit 507 includes a first drive control unit 571, a first drive power generation unit 572, a first transformer 573, and a liquid feeding pump drive circuit 574.
- the first drive control section 571 controls the driving of the first drive power generation section 572 and the liquid pump drive circuit 574.
- the first drive power generation unit 572 generates drive power for the liquid pump 503 and supplies this drive power to the first transformer 573.
- the first transformer 573 electromagnetically connects the first drive power generation section 572 and the liquid pump drive circuit 574.
- a first drive control unit 571 a first drive power generation unit 572, and a first transformer 573 are provided in the primary circuit 5a. Further, the liquid pump drive circuit 574 is provided in the patient circuit 5b which is electrically insulated from the primary circuit 5a.
- the drain control section 508 includes a second drive control section 581, a second drive power generation section 582, a second transformer 583, and a drain pump drive circuit 584.
- the second drive control section 581 controls the driving of the second drive power generation section 582 and the drain pump drive circuit 584.
- the second drive power generation unit 582 generates drive power for the drain pump 506 and supplies the generated drive power to the second transformer 583.
- the second transformer 583 electromagnetically connects the second drive power generation section 582 and the drain pump drive circuit 584.
- a second drive control section 581, a second drive power generation section 582, and a second transformer 583 are provided in the primary circuit 5a.
- the drain pump drive circuit 584 is provided in the patient circuit 5b which is electrically insulated from the primary circuit 5a.
- the input unit 509 receives input signals from each device that constitutes the treatment system 1, and outputs the received signals to the CPU 510 and the in-pump CPU 514.
- the CPU 510 and the pump CPU 514 cooperate to collectively control the operation of the perfusion device 5.
- the CPU 510 reads out the program stored in the memory 511 into the work area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate to operate the perfusion device. 5. Controls the operation of each part of 5.
- the memory 511 stores various information necessary for the operation of the perfusion device 5 and various programs executed by the perfusion device 5.
- the memory 511 is configured using RAM, ROM, and the like.
- the wireless communication unit 512 is an interface for wireless communication with other devices.
- the wireless communication unit 512 is configured using a communication module capable of, for example, Wi-Fi or Bluetooth.
- the communication interface 513 is an interface for communicating with the liquid pump 503 and the endoscope 201.
- the internal pump memory 515 stores various information necessary for the operation of the liquid feeding pump 503 and the liquid drainage pump 506 and various programs executed by the liquid feeding pump 503 and the liquid drainage pump 506.
- the turbidity detection unit 516 detects the turbidity of the perfusate based on one or more of the physical property value, absorbance, impedance, and resistance value of the perfusate flowing in the drainage tube 505, and sends this detection result to the CPU 510. Output.
- an input section 509, a CPU 510, a memory 511, a wireless communication section 512, a communication interface 513, and a turbidity detection section 516 are provided in the primary circuit 5a.
- an in-pump CPU 514 and an in-pump memory 515 are provided in the pump 5c. Note that the in-pump CPU 514 and the in-pump memory 515 may be provided around the liquid feeding pump 503 or around the drainage pump 506.
- FIG. 9 is a block diagram showing the detailed functional configuration of the lighting device 6.
- the lighting device 6 includes a first lighting control section 601, a second lighting control section 602, a first lighting device 603, a second lighting device 604, an input section 605, It includes a CPU 606, a memory 607, a wireless communication unit 608, a communication interface 609, a lighting circuit CPU 610, and a lighting circuit memory 630.
- the first lighting control section 601 includes a first drive control section 611 , a first drive power generation section 612 , a first controller 613 , and a first drive circuit 614 .
- the first drive control section 611 controls the driving of the first drive power generation section 612, the first controller 613, and the first drive circuit 614.
- the first drive power generation section 612 generates drive power for the first lighting device 603 under the control of the first drive control section 611 and outputs this drive power to the first controller 613.
- the first controller 613 controls the light output of the first lighting device 603 by controlling the first drive circuit 614 according to the drive power input from the first drive power generation section 612.
- the first drive circuit 614 drives the first illumination device 603 under the control of the first controller 613 to output illumination light.
- a first drive control section 611 a first drive power generation section 612, and a first controller 613 are provided in the primary circuit 6a. Further, the first drive circuit 614 is provided in the patient circuit 6b which is electrically insulated from the primary circuit 6a.
- the second lighting control section 602 includes a second drive control section 621 , a second drive power generation section 622 , a second controller 623 , and a second drive circuit 624 .
- the second drive control section 621 controls the driving of the second drive power generation section 622, the second controller 623, and the second drive circuit 624.
- the second drive power generation section 622 generates drive power for the second lighting device 604 under the control of the second drive control section 621 and outputs this drive power to the second controller 623.
- the second controller 623 controls the light output of the second lighting device 604 by controlling the second drive circuit 624 according to the drive power input from the second drive power generation section 622.
- the second drive circuit 624 drives the second illumination device 604 under the control of the second controller 623 to output illumination light.
- a second drive control section 621, a second drive power generation section 622, and a second controller 623 are provided in the primary circuit 6a. Further, the second drive circuit 624 is provided in the patient circuit 6b which is electrically insulated from the primary circuit 6a.
- the first illumination device 603 directs light in the visible light wavelength band (hereinafter simply referred to as "visible light") toward the subject as first illumination light for illuminating the subject via the endoscope 201. irradiate.
- the first lighting device 603 is configured using, for example, a white LED (Light Emitting Diode) lamp or a halogen lamp.
- the second illumination device 604 directs light in a wavelength band other than visible light (hereinafter simply referred to as "invisible light”) to the subject as second illumination light for illuminating the subject via the endoscope 201. irradiate.
- the second lighting device 604 is configured using, for example, an infrared LED lamp.
- the input unit 605 receives input signals from each device that constitutes the treatment system 1, and outputs the received signals to the CPU 606 and the lighting circuit CPU 610.
- the CPU 606 and the lighting circuit CPU 610 work together to centrally control the operation of the lighting device 6.
- the CPU 606 reads the program stored in the memory 607 into the working area of the memory and executes it, and controls each component etc. through the execution of the program by the processor, so that the hardware and software cooperate and the lighting device Controls the operation of each part of 6.
- the memory 607 stores various information necessary for the operation of the lighting device 6 and various programs executed by the lighting device 6.
- the memory 607 is configured using RAM, ROM, and the like.
- the wireless communication unit 608 is an interface for wireless communication with other devices.
- the wireless communication unit 608 is configured using a communication module capable of, for example, Wi-Fi or Bluetooth.
- the communication interface 609 is an interface for communicating with the lighting circuit 6c.
- the lighting circuit memory 630 stores various information and programs necessary for the operation of the first lighting device 603 and the second lighting device 604.
- the lighting circuit memory 630 is configured using RAM, ROM, and the like.
- an input section 605, a CPU 606, a memory 607, a wireless communication section 608, and a communication interface 609 are provided in the primary circuit 6a. Further, the first lighting device 603, the second lighting device 604, the lighting circuit CPU 610, and the lighting circuit memory 61A are provided in the lighting circuit 6c.
- FIG. 10 is a block diagram showing the detailed functional configuration of the image processing section 222.
- the image processing unit 222 shown in FIG. It includes an image generation section 2227, a composite image generation section 2228, a display image generation section 2229, a memory 2230, and an image processing control section 2231.
- the image data input unit 2221 receives input of image data generated by the endoscope 201 and input of signals from each device configuring the treatment system 1, and outputs the received data and signals to the bus.
- the image generation unit 2222 performs predetermined image processing on the image data (RAW data) input via the image data input unit 2221 in accordance with a synchronization signal synchronized with the imaging drive of the imaging unit 204 to generate a color image.
- Image data (hereinafter simply referred to as "normal image data") is generated, and this normal image data is output to the turbidity detection section 2223, the feature amount detection section 2225, the corrected image generation section 2226, and the display image generation section 2229.
- the image generation unit 2222 generates normal image data based on the pixel values of R pixels, G pixels, and B pixels included in the image data.
- the predetermined image processing includes, for example, demosaicing processing, color correction processing, black level correction processing, noise reduction processing, and ⁇ correction processing.
- the image generation unit 2222 functions as an image acquisition unit that acquires image data including a region to be treated on a living body with an energy treatment instrument, for example, the ultrasound probe 312. Note that the image generation unit 2222 may generate normal image data based on the drive signal for the treatment instrument 301.
- the turbidity detection unit 2223 Based on the normal image data generated by the image generating unit 2222, the turbidity detection unit 2223 detects a change in gradation from at least a partial area of a normal image (hereinafter simply referred to as “normal image”) corresponding to the normal image data. The detection result is output to the turbidity determining section 2224. Specifically, the turbidity detection unit 2223 detects turbidity in the field of view in the endoscope 201 as at least a part of the normal image based on the normal image generated by the image generation unit 2222, and uses this detection result as a turbidity. It is output to the determination unit 2224. Note that the turbidity detection unit 2223 detects turbidity using the same method as that of the turbidity estimation unit 2226a of the corrected image generation unit 2226, which will be described later, so the detailed detection method will be omitted.
- the turbidity of the field of view in the endoscope 201 is the degree of turbidity of bone powder and debris dissolved in the perfusate, which is a factor that deteriorates the gradation.
- Factors that degrade image quality include phenomena caused by dissolution of perfusate of biological tissues such as bone powder, debris, blood, and bone marrow, as well as phenomena caused by smoke and sparks during treatment with the treatment instrument 301.
- a description will be given of a state in which the turbidity becomes cloudy when bone powder is dissolved in the perfusate.
- the perfusate in which living tissue has been dissolved has a white and cloudy state as a whole, and therefore has the characteristics of high brightness, low chroma (low color reproduction), and low contrast. Therefore, the turbidity detection unit 2223 calculates the contrast, brightness, and saturation for each pixel forming the first image as the turbidity of the field of view of the endoscope 201 (turbidity). component).
- the turbidity determination unit 2224 determines whether the turbidity detected by the turbidity detection unit 2223 is equal to or greater than a predetermined value, and outputs the determination result to the image processing control unit 2231.
- the predetermined value is a value at a level at which the treatment area in the field of view of the endoscope 201 disappears due to turbidity, for example.
- the value of the level at which the treatment area disappears is a value of high brightness and low saturation (high brightness white).
- the feature detection unit 2225 detects a region including at least a part of the energy treatment instrument 301 from the normal image generated by the image generation unit 2222, and outputs the detection result to the enhanced image generation unit 2227.
- the feature amount detection unit 2225 detects the feature amount for each pixel in the normal image generated by the image generation unit 2222, and based on this feature amount, the feature amount includes at least a part of the treatment instrument 301 that is an energy treatment instrument. Detect areas.
- the feature amounts include, for example, edge components and brightness components. Note that the feature detection unit 2225 may detect the treatment instrument 301 appearing in the normal image using a well-known pattern matching technique.
- the corrected image generation unit 2226 performs gradation correction on the normal image input from the image generation unit 2222 based on the detection result input from the turbidity detection unit 2223 in accordance with a synchronization signal synchronized with the imaging drive of the imaging unit 204. Generates processed corrected image data, and outputs a corrected image corresponding to this corrected image data (hereinafter simply referred to as "corrected image") to emphasized image generation section 2227, composite image generation section 2228, and display image generation section 2229. do.
- the corrected image generation unit 2226 generates a corrected image from which turbidity (turbidity component) included in the normal image is removed, and uses this corrected image as an enhanced image generation unit 2227, a composite image generation unit 2228, or a display image. It is output to the generation unit 2229. Note that details of the corrected image generation unit 2226 will be described later.
- the emphasized image generation unit 2227 generates a normal image input from the image generation unit 2222 or a normal image input from the corrected image generation unit 2226, based on a synchronization signal synchronized with the imaging drive of the imaging unit 204 and the detection result of the feature quantity detection unit 2225.
- Edge enhancement processing is performed on the corrected image to generate enhanced image data, and this enhanced image data (hereinafter simply referred to as “enhanced image”) is output to the composite image generation unit 2228 or the display image generation unit 2229.
- the emphasized image generation unit 2227 extracts edge components from a region of the normal image or the corrected image that includes at least a portion of the treatment instrument 301, which is the energy treatment instrument detected by the feature amount detection unit 2225.
- Edge extraction processing is executed, and an enhanced image is generated by performing edge enhancement processing on the extracted edge components to emphasize the edges compared to other areas.
- the composite image generation unit 2228 Under the control of the image processing control unit 2231, the composite image generation unit 2228 generates a normal image input from the image generation unit 2222 or a normal image input from the corrected image generation unit 2226 in accordance with a synchronization signal synchronized with the imaging drive of the imaging unit 204.
- the corrected image inputted from the emphasized image generation unit 2227 is combined with the emphasized image inputted from the emphasized image generation unit 2227 to generate composite image data, and a composite image corresponding to this composite image data (hereinafter simply referred to as a "composed image") is generated. ) is output to the display image generation unit 2229.
- the predetermined ratio is, for example, 5:5.
- the composite image generation unit 2228 may change the ratio of combining the normal image or the corrected image and the emphasized image based on the detection result of the turbidity detection unit 2223, and can change the ratio as appropriate.
- the synthesis ratio may be changed depending on the components and types of turbidity.
- a composite image may be generated by adding or superimposing edge components extracted from the enhanced image on the normal image or the corrected image.
- the display image generation section 2229 generates a normal image input from the image generation section 2222 and an image input from the corrected image generation section 2226 in accordance with a synchronization signal synchronized with the imaging drive of the imaging section 204 under the control of the image processing control section 2231.
- the display image data to be displayed on the display device 203 is based on one or more of the corrected image inputted from the emphasized image generation unit 2227, the emphasized image inputted from the emphasized image generation unit 2227, and the composite image inputted from the composite image generation unit 2228.
- a display image is generated and output to the display device 203.
- the display image generation unit 2229 converts the input image into a predetermined format, for example, converts the RGB format into a YCbCr format, and outputs the converted image to the display device 203. Note that the display image generation unit 2229 may generate the display image based on the drive signal for the treatment instrument 301.
- the memory 2230 stores various information necessary for the operation of the image processing unit 222, various programs executed by the image processing unit 222, various image data, and the like.
- the memory 2230 is configured using RAM, ROM, frame memory, and the like.
- the image processing control section 2231 controls each section making up the image processing section 222.
- the image processing control unit 2231 reads out the program stored in the memory 2230 into the work area of the memory and executes it, and controls each component through the execution of the program by the processor, so that the hardware and software cooperate. It also controls the operation of each part constituting the image processing unit 222.
- FIG. 11 is a block diagram showing the detailed functional configuration of the corrected image generation section 2226.
- the corrected image generation unit 2226 shown in FIG. 11 includes a turbidity estimation unit 2226a, a histogram generation unit 2226b, a representative brightness calculation unit 2226c, a correction coefficient calculation unit 2226d, and a contrast correction unit 2226e.
- the turbidity estimation unit 2226a estimates the turbidity component for each pixel in the normal image.
- the turbidity component for each pixel is the degree of turbidity of bone powder and debris dissolved in the perfusate, which is a factor that deteriorates image quality such as contrast and saturation in a normal image.
- Factors that degrade image quality include phenomena caused by dissolution of perfusate of biological tissues such as bone powder, debris, blood, and bone marrow, as well as phenomena caused by smoke and sparks during treatment with the treatment instrument 301.
- a description will be given of turbidity in a cloudy state when bone powder is dissolved in a perfusate.
- the perfusate in which living tissue is dissolved has the characteristics of high brightness, low saturation (low color reproduction), and low contrast.
- the turbidity estimating unit 2226a estimates the turbidity component of the field of view of the endoscope 201 by calculating the contrast, brightness, and saturation of the first image. Specifically, the turbidity estimation unit 2226a estimates the turbidity component H(x, y) based on the R value, G value, and B value of the pixel at the coordinates (x, y) in the first image.
- the turbidity estimating unit 2226a performs the calculation of equation (1) described above for each pixel of the first image.
- the turbidity estimation unit 2226a sets a scan area F (small area) of a predetermined size for the first image.
- the size of this scan area F is, for example, a predetermined size of m ⁇ n pixels (m and n are natural numbers).
- the pixel at the center of the scan area F will be expressed as a reference pixel.
- each pixel around the reference pixel in the scan area F will be described as a neighboring pixel.
- the scan area F is formed to have a size of, for example, 5 ⁇ 5 pixels. Of course, the scan area F can be applied even if it is one pixel.
- the turbidity estimation unit 2226a calculates (Ir, Ig, Ib) of each pixel in the scan area F while shifting the position of the scan area F with respect to the first image, and calculates the minimum value of them as the turbidity component H( x, y). Since the pixel values of the high luminance and low chroma region in the first image have the same and large R value, G value, and B value, the value of min(Ir, Ig, Ib) becomes large. That is, in a region with high luminance and low saturation, the turbidity component H(x, y) has a large value.
- the turbidity component H(x, y) becomes larger as the concentration of bone powder dissolved in the perfusate becomes higher (the darker the white color of the bone powder becomes), and becomes smaller as the concentration of bone powder dissolved in the perfusate becomes thinner. becomes.
- the turbidity component H(x, y) becomes a larger value as the color (white) of the perfusate becomes darker due to bone powder dissolved in the perfusate, and a smaller value as the color of the perfusate becomes lighter.
- the turbidity estimation unit 2226a estimates the turbidity component H(x,y) using the above-mentioned formula (1), but is not limited to this, and any index indicating high brightness and low saturation may be used. It can be used as a turbidity component.
- the turbidity estimation unit 2226a may estimate the turbidity component using one or more of local contrast value, edge strength, color density, and object distance. Further, the turbidity detection section 2223 described above detects turbidity (turbidity component) using the same method as the turbidity estimation section 2226a.
- the histogram generation unit 2226b generates a histogram in a local area including a reference pixel of the first image and neighboring pixels around this reference pixel, based on the turbidity component H(x,y) input from the turbidity estimation unit 2226a.
- Determine the distribution of The degree of change in the turbidity component (x, y) serves as an index for determining the region to which each pixel belongs in the local region. Specifically, the degree of change in the turbidity component (x, y) is determined based on the difference in the turbidity component H(x, y) between the reference pixel in the local area and the neighboring pixel.
- the histogram generation unit 2226b calculates neighboring pixels for each reference pixel based on the first image input from the image generation unit 2222 and the turbidity component H(x,y) input from the turbidity estimation unit 2226a. Generate a brightness histogram for a local region containing .
- a general histogram is generated by regarding pixel values in a local area of interest as brightness values, and counting the frequency of pixel values one by one.
- the histogram generation unit 2226b weights the count value for the pixel value of the neighboring pixel according to the turbidity component H(x,y) between the reference pixel and the neighboring pixel in the local area. do.
- the count value for the pixel value of the neighboring pixel is, for example, a value in the range of 0.0 to 1.0.
- the count value is set so that the larger the difference in the turbidity component H (x, y) between the reference pixel and the neighboring pixels, the smaller the value becomes.
- the value is set so that the smaller the difference, the larger the value.
- the local area is formed with a size of, for example, 7 ⁇ 7 pixels.
- the luminance of neighboring pixels that have a large difference in value from the luminance of the pixel of interest will also be counted in the same way. It is desirable that the local histogram be generated in accordance with the image area to which the pixel of interest belongs.
- the turbidity component H(x,y) between the reference pixel and each neighboring pixel in the local area in the first image data of the turbidity component H(x,y) A count value for the pixel value of each pixel in the local area in the first image data is set according to the difference. Specifically, the count value becomes smaller as the difference in the turbidity component H(x,y) between the reference pixel and the neighboring pixels becomes larger, and the value becomes smaller as the difference in the turbidity component H(x,y) between the reference pixel and the neighboring pixels increases.
- Calculation is performed using, for example, a Gaussian function so that the smaller the difference, the larger the value (see, for example, Japanese Patent No. 6720012 or Japanese Patent No. 6559229; however, the haze component is replaced with a turbidity component).
- the method of calculating the count value by the histogram generation unit 2226b is not limited to the Gaussian function, and may be determined so that the larger the difference between the values of the reference pixel and the neighboring pixels, the smaller the value becomes.
- the histogram generation unit 2226b may calculate the count value using a lookup table or a table approximated by a polygonal line instead of the Gaussian function.
- the histogram generation unit 2226b compares the difference between the values of the reference pixel and the neighboring pixels with a threshold value, and if the difference is equal to or greater than the threshold value, decreases the count value of the neighboring pixel (for example, to 0.0). good.
- the histogram generation unit 2226b does not necessarily have to use the frequency of pixel values as a count value.
- the histogram generation unit 2226b may use each of the R value, G value, and B value as a count value.
- the histogram generation unit 2226b may be of a type that counts the G value as a brightness value.
- the representative brightness calculating unit 2226c calculates representative brightness based on the statistical information of the brightness histogram input from the histogram generating unit 2226b.
- the representative brightness is the brightness of the low brightness part, the brightness of the high brightness part, and the brightness of the intermediate brightness part of the effective brightness range of the brightness histogram.
- the brightness of the low brightness portion is the minimum brightness of the effective brightness range.
- the brightness of the high brightness portion is the maximum brightness in the effective brightness range.
- the brightness of the intermediate brightness portion is the center of gravity brightness.
- the minimum brightness is the brightness at which the cumulative frequency is 5% of the maximum value in the cumulative histogram created from the brightness histogram.
- the maximum brightness is the brightness at which the cumulative frequency is 95% of the maximum value in the cumulative histogram created from the brightness histogram.
- the center of gravity luminance is the luminance at which the cumulative frequency is 50% of the maximum value in the cumulative histogram created from the luminance histogram.
- the cumulative frequency percentages of 5%, 50%, and 95% corresponding to the minimum brightness, maximum brightness, and center of gravity brightness can be changed as appropriate.
- the brightness of the intermediate brightness portion is the center of gravity brightness in the cumulative histogram, the present invention is not limited to this, and the center of gravity brightness does not necessarily have to be calculated from the cumulative frequency.
- the brightness in the intermediate brightness portion can be applied even if it is the brightness with the highest frequency in the brightness histogram.
- the correction coefficient calculation unit 2226d corrects the contrast in the local area based on the turbidity component H(x,y) input from the turbidity estimation unit 2226a and the statistical information input from the representative brightness calculation unit 2226c. Calculate the correction coefficient for Specifically, when contrast correction is performed by histogram expansion, the correction coefficient calculation unit 2226d calculates a coefficient for histogram expansion using the center of gravity brightness and maximum brightness of the statistical information.
- histogram expansion is a process of enhancing contrast by expanding the effective luminance range of the histogram (see, for example, Japanese Patent No. 6720012 or Japanese Patent No. 6559229).
- the correction coefficient calculation unit 2226d uses histogram expansion as a means for realizing contrast correction, the present invention is not limited to this, and for example, histogram flattening may be applied as a means for realizing contrast correction.
- the correction coefficient calculation unit 2226d may apply a method using a cumulative histogram or a table approximating a polygonal line as a method for realizing histogram flattening. This cumulative histogram is obtained by sequentially accumulating the frequency values of the brightness histogram.
- the contrast correction unit 2226e calculates, for the first image input from the image generation unit 2222, the turbidity component H(x,y) input from the turbidity estimation unit 2226a and the correction coefficient input from the correction coefficient calculation unit 2226d.
- the contrast of the reference pixel of the first image data is corrected based on (for example, see Japanese Patent No. 6720012 or Japanese Patent No. 6559229).
- the corrected image generation unit 2226 configured in this way estimates the turbidity component H(x, y) based on the first image, calculates a brightness histogram and representative brightness using this estimation result, and A correction coefficient for correcting the contrast within is calculated, and contrast correction is performed based on the turbidity component H(x, y) and the correction coefficient. Thereby, the corrected image generation unit 2226 can generate a first corrected image in which turbidity is removed from the first image.
- FIG. 12 is a flowchart illustrating an overview of the treatment performed by the surgeon using the treatment system 1. Note that the number of surgeons who perform the treatment may be one doctor, or two or more including a doctor and an assistant.
- the operator first forms a first portal P1 and a second portal P2 that communicate the inside of the joint cavity C1 of the knee joint J1 and the outside of the skin, respectively (step S1).
- the operator inserts the endoscope 201 into the joint cavity C1 from the first portal P1, inserts the guiding device 4 into the joint cavity C1 from the second portal P2, and inserts the guiding device 4 into the joint cavity C1 from the second portal P2.
- the treatment instrument 301 is guided into the joint cavity C1 (step S2).
- a case has been described where two portals are formed and the endoscope 201 and the treatment instrument 301 are inserted into the joint cavity C1 from the first portal P1 and the second portal P2.
- a second portal P2 may be formed and the guiding device 4 and the treatment tool 301 may be inserted into the joint cavity C1.
- step S3 the operator brings the ultrasound probe 312 into contact with the bone to be treated while visually checking the endoscopic image of the joint cavity C1 displayed on the display device 203.
- step S4 the operator performs a cutting treatment using the treatment instrument 301 while viewing the endoscopic image displayed on the display device 203 (step S4). Note that details of the processing of the treatment system 1 in the cutting treatment will be described later.
- the display device 203 performs a display/notification process of displaying the inside of the joint cavity C1 and information regarding the state after the cutting procedure (step S5).
- the power of the endoscope control device 202 is turned off after the display/notification process. The surgeon finishes the treatment using the treatment system 1.
- FIG. 13 provides an overview of the processing that the endoscope control device 202 executes in the cutting treatment.
- each process will be explained below as being executed under the control of the CPU of each control device, for example, any one of the control devices such as the network control device 7 may execute the process all at once. You may.
- the CPU 227 communicates with each device, sets control parameters for each of the treatment device 3 and perfusion device 5, and inputs control parameters for each of the treatment device 3 and perfusion device 5 (step S11).
- the CPU 227 determines whether or not the devices of each part constituting the treatment system 1 have entered the output ON state (step S12). If the CPU 227 determines that the output of each unit constituting the treatment system 1 is in the ON state (step S12: Yes), the endoscope control device 202 moves to step S13, which will be described later. On the other hand, if the CPU 227 determines that the output is not turned on for each unit that makes up the treatment system 1 (step S12: No), the CPU 227 determines that the output of each unit that makes up the treatment system 1 is not in the ON state (step S12: No). This judgment continues until the ON state is reached.
- step S13 the CPU 227 determines whether the observation mode of the endoscope control device 202 in the treatment system 1 is set to the turbidity detection mode. If the CPU 227 determines that the observation mode of the endoscope control device 202 in the treatment system 1 is set to the turbidity detection mode (step S13: Yes), the endoscope control device 202 moves to step S14, which will be described later. do. On the other hand, if the CPU 227 determines that the observation mode of the endoscope control device 202 in the treatment system 1 is not set to the turbidity detection mode (step S13: No), the endoscope control device 202 The process moves to step S16.
- step S14 the turbidity detection unit 223 selects one of the normal image generated by the endoscope 201, the detection result of the impedance detection unit 330 of the treatment instrument control device 302, and the detection result of the turbidity detection unit 516 of the perfusion device 5. Based on this, turbidity in the field of view of the endoscope 201 is detected. Specifically, when using a normal image generated by the endoscope 201, the turbidity detection unit 223 detects turbidity in the field of view of the endoscope 201 using either the brightness or the contrast of the normal image.
- the turbidity detection unit 223 detects turbidity in the field of view of the endoscope 201 based on the rate of change in impedance. Further, when using the detection result of the turbidity detection unit 516 of the perfusion device 5, the turbidity detection unit 223 determines the field of view of the endoscope 201 based on the turbidity of the perfusate detected by the turbidity detection unit 516 of the perfusion device 5. Detect turbidity.
- the CPU 227 determines whether the turbidity in the field of view of the endoscope 201 is equal to or greater than a predetermined value based on the detection result detected by the turbidity detection unit 223 (step S15).
- the CPU 227 determines whether the average value of the summed values of the brightness of each pixel of the normal image detected by the turbidity detection unit 223 is greater than or equal to a predetermined value. Determine.
- the predetermined value of brightness is a value of high saturation that is as close to white as possible.
- the CPU 227 determines that turbidity has occurred in the field of view of the endoscope 201 when the average value of the summed values of the brightness of each pixel of the normal image detected by the turbidity detection unit 223 is greater than or equal to a predetermined value. .
- the CPU 227 determines that turbidity does not occur in the field of view of the endoscope 201.
- the CPU 227 determines whether the impedance is equal to or greater than a predetermined value.
- the CPU 227 determines that turbidity has occurred in the field of view of the endoscope 201 when the impedance detected by the turbidity detection section 223 and the impedance detection section 330 is equal to or higher than a predetermined value.
- the turbidity detection section 223 determines that the field of view of the endoscope 201 is not turbid.
- the CPU 227 determines whether the turbidity of the perfusate is equal to or higher than a predetermined value. If the turbidity of the perfusate detected by the turbidity detection unit 223 is equal to or higher than a predetermined value, the CPU 227 determines that turbidity has occurred in the field of view of the endoscope 201 .
- the turbidity of the perfusate detected by the turbidity detection unit 223 is not equal to or higher than the predetermined value, it is determined that no turbidity has occurred in the field of view of the endoscope 201 .
- step S15 if the CPU 227 determines that the field of view of the endoscope 201 is clouded (step S15: Yes), the endoscope control device 202 moves to step S19, which will be described later. On the other hand, if the CPU 227 determines that the field of view of the endoscope 201 is not clouded (step S15: No), the endoscope control device 202 moves to step S16, which will be described later.
- step S16 the CPU 227 performs normal control on the endoscope control device 202. Specifically, the CPU 227 outputs the normal image (color image) generated by the image processing unit 222 to the display device 203 for display. Thereby, the surgeon can perform the treatment using the treatment instrument 301 while viewing the normal image displayed on the display device 203.
- the normal image color image
- the CPU 227 determines whether the operator is continuing the treatment on the subject (step S17). Specifically, the CPU 227 determines whether or not the treatment instrument control device 302 is supplying power to the treatment instrument 301, and if the treatment instrument control device 302 is supplying power to the treatment instrument 301, the CPU 227 If it is determined that the operator is continuing the treatment on the subject and the treatment instrument control device 302 is not supplying power to the treatment instrument 301, it is determined that the operator is not continuing the treatment on the subject. If the CPU 227 determines that the operator is continuing the treatment on the subject (step S17: Yes), the endoscope control device 202 moves to step S18, which will be described later. On the other hand, if the CPU 227 determines that the operator is not continuing the treatment on the subject (step S17: No), the endoscope control device 202 ends this process.
- step S18 the CPU 227 determines whether or not the devices of each part constituting the treatment system 1 are in an output OFF state. If the CPU 227 determines that the output of each device constituting the treatment system 1 is turned off (step S18: Yes), the endoscope control device 202 ends this process. On the other hand, if the CPU 227 determines that the output of each unit constituting the treatment system 1 is not in the OFF state (step S18: No), the endoscope control device 202 returns to step S13 described above. .
- step S19 the endoscope control device 202 executes turbidity response control processing for turbidity in the field of view of the endoscope 201. Note that details of the turbidity response control process will be described later. After step S19, the endoscope control device 202 moves to step S17.
- FIG. 14 is a flowchart showing a detailed outline of the turbidity response control process of FIG. 13.
- the image generation unit 2222 generates a normal image (step S101). Specifically, the image generation unit 2222 generates a normal image (color image using visible light) based on image data input from the image data input unit 2221.
- the turbidity detection unit 2223 estimates the turbidity of the field of view of the endoscope 201 based on the normal image generated by the image generation unit 2222, and the feature detection unit 2225 estimates the turbidity of the field of view of the endoscope 201 based on the normal image, and the feature amount detection unit 2225 detects the turbidity of the field of view of the endoscope 201 based on the normal image.
- a region including at least a portion of the tool 301 is detected (step S102).
- the turbidity detection unit 2223 estimates the turbidity component in the field of view of the endoscope 201 using the same estimation method as the turbidity estimation unit 2226a described above.
- the feature detection unit 2225 detects a region including at least a portion of the treatment instrument 301 by performing edge extraction processing to extract edge components from the normal image.
- the feature detection unit 2225 may perform a brightness extraction process to extract a brightness component from the normal image, and detect a region having a brightness value equal to or higher than a predetermined brightness value as a region including at least a portion of the treatment instrument 301.
- the edge extraction process may be performed by combining one or more of the well-known Sobel filter, Laplacian filter, and Canny filter, for example.
- the turbidity determining unit 2224 determines whether the turbidity in the visual field of the endoscope 201 detected by the turbidity detecting unit 2223 is equal to or greater than a predetermined value (step S103). If the turbidity determination unit 2224 determines that the turbidity component in the field of view of the endoscope 201 detected by the turbidity detection unit 2223 is equal to or greater than a predetermined value (step S103: Yes), the endoscope control device 202 performs the steps described below. The process moves to S104.
- step S103 determines that the turbidity component in the visual field of the endoscope 201 detected by the turbidity detection unit 2223 is not equal to or greater than the predetermined value (step S103: No)
- the endoscope control device 202 the process proceeds to step S109, which will be described later.
- step S104 the corrected image generation unit 2226 performs gradation correction to remove or reduce turbidity on the normal image input from the image generation unit 2222, based on the detection result input from the turbidity detection unit 2223. Generate a corrected image.
- step S104 the endoscope control device 202 moves to step S105, which will be described later.
- FIG. 15 is a diagram showing an example of a display image when the endoscope 201 has a good field of view.
- FIG. 16 is a diagram showing the relationship between the position on the straight line AA' in FIG. 15 and the brightness.
- FIG. 17 is a diagram showing an example of a display image in a state where the field of view of the endoscope 201 is poor.
- FIG. 18 is a diagram showing the relationship between the position on the straight line AA' in FIG. 16 and the brightness.
- FIG. 19 is a diagram showing the relationship between the position on the straight line AA′ and the brightness after the corrected image generation unit 2226 performs gradation correction on the display image of FIG. 17.
- FIGS. 16 is a diagram showing the relationship between the position on the straight line AA' in FIG. 15 and the brightness.
- FIG. 17 is a diagram showing an example of a display image in a state where the field of view of the endoscope 201 is poor.
- FIG. 18 is a diagram showing the relationship between the
- the horizontal axis indicates the position on the display image
- the vertical axis indicates the brightness.
- a curve L1 in FIG. 16 shows the relationship between the brightness and the position on the display image
- a curve L2 in FIG. 18 shows the relationship between the brightness and the position on the display image
- a curve L3 in FIG. 19 shows the relationship between the brightness and the position on the display image. Indicates the relationship with the position above.
- the corrected image generation unit 2226 corrects the normal image input from the image generation unit 2222 by performing gradation correction to remove or reduce the turbidity based on the detection result input from the turbidity detection unit 2223. Generate an image.
- the corrected image generation unit 2226 makes corrections such that at least the area where the ultrasound probe 312 and the treatment target site 100 are photographed has a high brightness, and the other areas have low brightness. Generate an image.
- step S105 the emphasized image generation section 2227 performs edge enhancement processing on the corrected image generated by the corrected image generation section 2226 based on the detection result detected by the feature quantity detection section 2225 to generate an enhanced image.
- step S106 the endoscope control device 202 moves to step S106, which will be described later.
- FIG. 20 is a diagram showing the relationship between the position and brightness of the emphasized image generated by the emphasized image generation unit 2227.
- FIG. 20 the relationship between the position on the same straight line AA' as in FIG. 15 and the brightness will be explained.
- the horizontal axis indicates the position in the emphasized image
- the vertical axis indicates the brightness.
- a curve L4 in FIG. 20 shows the relationship between brightness and position on the emphasized image.
- the emphasized image generation unit 2227 performs edge enhancement processing on the area detected by the feature amount detection unit 2225 included in the corrected image generated by the corrected image generation unit 2226.
- An enhanced image is generated in which edge components are emphasized compared to other areas.
- the emphasized image generation unit 2227 generates an emphasized image by performing edge enhancement processing so that at least the outline (enhanced area) of the area in which the ultrasound probe 312 and the treatment target site 100 are captured is emphasized.
- the enhanced image generation unit 2227 may generate an enhanced image in which the outline of the area in which the treatment target region 100 is captured is emphasized using a color specified by the surgeon, such as red or green. .
- step S106 the composite image generation unit 2228 generates the normal image generated by the image generation unit 2222, and at least one of the corrected image generated by the corrected image generation unit 2226 and the emphasized image generated by the enhanced image generation unit 2227. Generate a composite image.
- step S107 the endoscope control device 202 moves to step S107, which will be described later.
- FIG. 21 is a diagram schematically showing a method of generating a composite image generated by the composite image generation unit 2228.
- the composite image generation unit 2228 generates a composite image Q14 by combining the normal image Q11, the corrected image Q12, and the emphasized image Q13 at a predetermined ratio.
- step S107 the display image generation unit 2229 generates a display image based on the composite image generated by the composite image generation unit 2228, and outputs it to the display device 203.
- FIG. 22 is a diagram showing an example of a display image displayed by the display device 203. As shown in FIG. 22, since the outline of the treatment instrument 301 shown in a part of the display image Q21 is emphasized, the operator can cut the treatment target site 100 with the ultrasound probe 312 without interruption. can.
- the endoscope control device 202 returns to the main routine of the cutting treatment in FIG. 13, and proceeds to step S17.
- step S108 the display image generation unit 2229 generates a display image based on the normal image generated by the image generation unit 2222 and outputs it to the display device 203.
- the endoscope control device 202 returns to the main routine of the cutting treatment in FIG. 13, and proceeds to step S17.
- the display image generation unit 2229 since the display image generation unit 2229 generates a display image based on the emphasized image input from the emphasized image generation unit 2227 and outputs it to the display device 203, the field of view in the endoscope 201 is Even if the situation worsens, the position of the treatment instrument 301 can be known, so the treatment to the treatment target site 100 can be continued.
- the composite image generation unit 2228 generates a composite image by combining the corrected image generated by the corrected image generation unit 2226 and the emphasized image generated by the emphasized image generation unit 2227.
- the display image generation unit 2229 generates a display image based on the composite image and outputs it to the display device 203.
- the display image generation unit 2229 when the turbidity determination unit 2224 determines that the turbidity is equal to or higher than a predetermined value, the display image generation unit 2229 generates a display image based on the emphasized image input from the emphasized image generation unit 2227. On the other hand, if the turbidity determination unit 2224 determines that the turbidity is not equal to or higher than a predetermined value, the display image generation unit 2229 outputs a display image based on the normal image generated by the image generation unit 2222. do.
- the operator performs the treatment while viewing the displayed image, which is a normal image, while when the field of view of the endoscope 201 is poor, the treatment instrument 301 is highlighted. Treatment can be performed while viewing the displayed image.
- the composite image generation unit 2228 generates a composite image by combining the normal image generated by the image generation unit 2222 and the emphasized image generated by the emphasized image generation unit 2227, and displays the displayed image.
- the generation unit 2229 may generate a display image based on the composite image and output it to the display device 203.
- the composite image generation unit 2228 generates a composite image by combining the normal image or the corrected image and the emphasized image, but in the second embodiment, the composite image is generated by combining the normal image or the corrected image and the emphasized image.
- a composite image is generated by combining the position of the treatment instrument shown in the corrected image and the position of the treatment instrument reflected in the corrected image, and output to the display device.
- the configuration of the image processing unit and the turbidity response control processing according to the second embodiment are different. Therefore, in the following, after explaining the configuration of the image processing unit according to the second embodiment, the turbidity response control process executed by the endoscope control device 202 according to the second embodiment will be explained.
- FIG. 23 is a block diagram showing the functional configuration of the image processing section according to the second embodiment.
- the image processing unit 222A shown in FIG. 23 further includes a position detection unit 2232 in addition to the configuration of the image processing unit 222 according to the first embodiment described above.
- the image processing section 222A includes a composite image generation section 2228A instead of the composite image generation section 2228 according to the first embodiment described above.
- the position detection unit 2232 detects a part of the treatment instrument 301 that appears in the normal image generated by the image generation unit 2222. Specifically, the position detection unit 2232 detects pixels for the normal image generated by the image generation unit 2222 or the corrected image generated by the corrected image generation unit 2226, and the emphasized image generated by the enhanced image generation unit 2227. The feature amount for each is detected, and matching locations are detected based on this feature amount. Here, the feature amounts include, for example, edge components and brightness components. Note that the position detection unit 2232 may detect the treatment instrument 301 appearing in the normal image using a well-known pattern matching technique, and may output the detection result to the composite image generation unit 2228A.
- the composite image generation unit 2228A generates the normal image stored in the memory 2230 before turbidity is detected and the corrected image generated by the corrected image generation unit 2226 based on the detection result detected by the position detection unit 2232. Generate a composite image.
- FIG. 24 is a flowchart showing a detailed outline of the turbidity response control process executed by the CPU 227 of the endoscope control device 202 according to the second embodiment instructing each component via the BUS.
- Steps S201 to S204 correspond to steps S101 to S104 in FIG. 14 described above, respectively.
- the position detection unit 2232 detects the position of a matching point where the normal image generated by the image generation unit 2222 or the corrected image generated by the corrected image generation unit 2226 and the emphasized image generated by the enhanced image generation unit 2227 match. (Step S205).
- the composite image generation unit 2228A combines the normal image stored in the memory 2230 before turbidity is detected and the corrected image generated by the corrected image generation unit 2226.
- a compositing process is executed to generate a composite image by compositing and (step S206).
- the normal image stored in the memory 2230 before turbidity is detected is used as the emphasized image in the second embodiment.
- FIG. 25 is a diagram schematically showing a method of generating a composite image generated by the composite image generation unit 2228A.
- the composite image generation unit 2228A generates temporally continuous normal images (normal images Q31 to normal images Q33) that are the field of view of the endoscope 201 when the treatment instrument 301 is driven (PW on).
- normal images Q31 to normal images Q33 normal images
- the turbidity stored in the memory 2230 is detected based on the detection result detected by the position detection unit 2232.
- the normal image before image processing (for example, normal image Q33) and the corrected image generated by the corrected image generation unit 2226 are combined to sequentially generate combined images (combined images Q41 to Q43).
- the composite image generation unit 2228A based on the drive signal of the treatment instrument 301, the composite image generation unit 2228A generates data in the memory at any one of the time when the treatment instrument 301 starts treating the treatment target site 100, immediately after the start of the treatment, and before the start of the treatment.
- a normal image before turbidity is detected (for example, normal image Q33) stored in 2230 and a corrected image generated by the corrected image generation unit 2226 are combined to sequentially generate a combined image (combined images Q41 to Q43). ).
- the outline of the treatment instrument 301 can be emphasized while viewing the smooth display image displayed by the display device 203. , cutting of the treatment target site 100 by the treatment tool 301 can be performed without interruption.
- step S206 the display image generation unit 2229 generates a display image based on the composite image generated by the composite image generation unit 2228, and outputs it to the display device 203 (step S207).
- step S206 the endoscope control device 202 returns to the main routine of the cutting treatment in FIG. 13, and proceeds to step S17.
- step S208 the image processing control unit 2231 records the image data, which is the normal image generated by the image generation unit 2222, in the memory 2230.
- the display image generation unit 2229 generates a display image based on the normal image generated by the image generation unit 2222 and outputs it to the display device 203 (step S209).
- the endoscope control device 202 returns to the main routine of the cutting treatment in FIG. 13, and proceeds to step S17.
- the same effects as in the first embodiment described above are achieved, and even when the field of view in the endoscope 201 is deteriorated, the treatment target site 100 can be treated with the treatment instrument 301. can continue.
- Embodiment 3 Next, Embodiment 3 will be described.
- a mark is provided near the tip of the treatment instrument, the mark provided near the tip of the treatment instrument is detected, and an enhanced image is generated based on the detection result.
- the configurations of the image processing section and the treatment instrument are different.
- the configurations of an image processing unit and a treatment instrument according to Embodiment 3 will be described below. Note that the same components as those of the treatment system 1 according to the first embodiment described above are given the same reference numerals, and detailed description thereof will be omitted.
- FIG. 26 is a block diagram showing the functional configuration of the image processing section according to the third embodiment.
- the image processing unit 222B shown in FIG. 26 includes an HDR (High Dynamic Range) image generation unit 2233 in addition to the configuration of the image processing unit 222 according to the first embodiment described above. Furthermore, a composite image generating section 2228B is provided in place of the composite image generating section 2228 according to the first embodiment described above.
- HDR High Dynamic Range
- the HDR image generation unit 2233 generates an HDR image using two images with a difference in brightness and darkness, and outputs this HDR image to the display image generation unit 2229. Specifically, an HDR image is generated using two normal images that have a difference in brightness and darkness.
- the enhanced image generation unit 2227 detects an image area corresponding to a mark near the tip of the treatment instrument from the HDR image, and generates an enhanced image in which edge enhancement processing is performed according to the degree of edge visibility in the image data. .
- the composite image generation unit 2228B synthesizes the HDR image generated by the HDR image generation unit 2233 and at least one of the corrected image generated by the corrected image generation unit 2226 and the emphasized image generated by the enhanced image generation unit 2227. Generate a composite image.
- FIG. 27 is a schematic diagram showing a schematic configuration of a part of the treatment instrument according to the third embodiment.
- the treatment tool 301B shown in FIG. It has a reflective section 320.
- the retroreflector 320 reflects illumination light emitted from the endoscope 201.
- the retroreflection section 320 is configured using a retroreflection member or the like.
- the image processing unit 222B configured in this manner executes the same turbidity response control process as in the first and second embodiments described above.
- the normal image corresponding to the field of view of the endoscope 201 is blown out due to the reflected light from the retroreflection unit 320 on the treatment tool 301B, so that the dynamic range of the image sensor 2241 is exceeded. Therefore, the HDR image generation unit 2233 generates an HDR image using two images that have a difference in brightness and darkness, so that even if the treatment instrument 301 is provided with the retroreflection unit 320, the image will not be overexposed. prevent.
- FIG. 28 is a diagram showing an example of a display image in which a part of the treatment instrument 301B is reflected in the field of view of the endoscope 201.
- FIG. 29 is a diagram showing the relationship between the position on the straight line AA' in FIG. 28 and the brightness.
- FIG. 30 is a diagram showing the relationship between the position and brightness on the same straight line as the straight line AA′ in FIG. 28 in the HDR image generated by the HDR image generation unit 2233.
- FIG. 31 is a diagram showing the relationship between the brightness and the position on the same straight line as the straight line AA' in FIG. 28 in the displayed image when the field of view of the endoscope 201 is poor.
- FIG. 29 is a diagram showing the relationship between the position on the straight line AA' in FIG. 28 and the brightness.
- FIG. 30 is a diagram showing the relationship between the position and brightness on the same straight line as the straight line AA′ in FIG. 28 in the HDR image generated by the HDR image generation unit 2233.
- FIGS. 29 to 32 is a diagram showing the relationship between the brightness and the position on the same straight line as the straight line AA′ in FIG. 28 in the composite image generated by the composite image generation unit 2228A.
- the horizontal axis indicates the position on the image
- the vertical axis indicates the brightness.
- curves L5 to L8 in FIGS. 29 to 32 show the relationship between brightness and position on each image.
- a normal image in which the field of view of the endoscope 201 is poor is one in which the dynamic range of the image sensor 2241 is exceeded due to clouding of the perfusate.
- the HDR image generation unit 2233 adds the retroreflection unit 320 to the treatment instrument 301B by generating an HDR image using two corrected images and a normal image that have a difference in brightness. To prevent overexposure of an image even when the image is provided.
- the same effect as the first embodiment described above is achieved, and even when the field of view in the endoscope 201 is deteriorated, the treatment target site 100 can be treated with the treatment instrument 301B. can continue.
- Embodiment 4 Next, Embodiment 4 will be described.
- the movement of the processing tool is detected and the detection result is displayed.
- the configurations of the image processing section and the treatment instrument are different.
- the configurations of an image processing unit and a treatment instrument according to Embodiment 4 will be described below. Note that the same components as those of the treatment system 1 according to the first embodiment described above are given the same reference numerals, and detailed description thereof will be omitted.
- FIG. 33 is a block diagram showing the functional configuration of an image processing apparatus according to Embodiment 4.
- the image processing unit 222C shown in FIG. 33 further includes a motion detection unit 2234 in addition to the configuration of the image processing unit 222 according to the first embodiment described above.
- the image processing section 222C includes a composite image generation section 2228C instead of the composite image generation section 2228.
- the motion detection unit 2234 detects the amount of movement of the treatment instrument based on a scale section provided on the treatment instrument that appears in a normal image or a corrected image, which will be described later, and outputs this detection result to the composite image generation unit 2228C. Specifically, the motion detection unit 2234 detects the amount of movement of the treatment instrument by detecting the scale of the scale shown in temporally continuous normal images or corrected images using well-known pattern matching or the like. To detect.
- the amount of movement is, for example, the amount of movement of the tip of the ultrasound transducer 312a when the treatment instrument performs the treatment on the treatment target site 100.
- the composite image generation unit 2228C generates a composite image by combining information regarding the amount of movement of the treatment instrument with the corrected image or the emphasized image based on the detection result of the motion detection unit 2234.
- FIG. 34 is a schematic diagram showing a schematic configuration of a part of the treatment instrument according to the fourth embodiment.
- the treatment tool 301C shown in FIG. 34 has index portions 340 formed at predetermined intervals from the ultrasonic transducer 312a to the proximal end along the longitudinal direction.
- the image processing unit 222C configured in this manner executes the same turbidity response control process as in the first and second embodiments described above.
- the composite image generation unit 2228C combines information regarding the amount of movement of the treatment instrument 301C with the corrected image or the emphasized image based on the detection result of the motion detection unit 2234.
- the display image generation unit 2229 generates a display image using the composite image generated by the composite image generation unit 2228C, and outputs this display image to the display device 203. As a result, even if the field of view of the endoscope 201 becomes poor due to treatment with the treatment instrument 301C, the amount of movement of the treatment instrument 301C is displayed, so the operator can amount), the treatment using the treatment instrument 301C can be performed without interruption.
- Embodiment 4 described above the same effects as in Embodiment 1 described above are achieved, and even if the field of view in endoscope 201 is deteriorated, treatment to treatment target site 100 with treatment instrument 301C is possible. can continue.
- the display image generation unit 2229 switches the image output to the display device 203 according to the mode set in the endoscope control device 202, but the present invention is not limited to this. Instead, the image output by the display image generation unit 2229 to the display device 203 may be switched based on the drive signal and synchronization signal (VT) for the treatment tool 301 inputted from the treatment tool control device 302, for example. Specifically, when one of the drive signal and synchronization signal (VT) for driving the treatment instrument 301 is input from the treatment instrument control device 302, the display image generation unit 2229 generates a corrected image, an emphasized image, and a composite image. One or more of the following are output to the display device 203.
- VT drive signal and synchronization signal
- the operator can change the content of the display image displayed on the display device 203 without changing the mode of the endoscope control device 202 each time, so the operator can use the ultrasound probe without having to perform complicated operations. 312, the treatment target site 100 can be cut.
- the display image generation unit 2229 switches the type of image output to the display device 203 according to the synchronization signal, the type of image displayed by the display device 203 changes smoothly, thereby preventing the surgeon from feeling uncomfortable. This can reduce the burden on the operator.
- Embodiments 1 to 4 of the present disclosure the treatment for turbidity caused by bone powder or the like in a solution such as an irrigation solution has been described, but the treatment is not limited to a solution and can be applied even in the air. can.
- Embodiments 1 to 3 can also be applied to deterioration of visibility in the visual field of an endoscope due to cutting debris, fat mist, etc. generated during aerial treatment at joint sites.
- Embodiments 1 to 4 of the present disclosure the treatment at the knee joint has been described, but the treatment can be applied not only to the knee joint but also to other parts (such as the spine).
- Embodiments 1 to 4 of the present disclosure can be applied to turbidity other than bone powder, such as debris such as soft tissue, synovial membrane, and fat, and other noises (cavitation such as air bubbles). It can also be applied.
- the application is applied to turbidity or visual field deterioration caused by cut pieces of soft tissue such as cartilage, synovium, fat, etc. can do.
- the first to fourth embodiments of the present disclosure can be applied even when the field of view of the endoscope 201 is blocked by a relatively large piece of tissue.
- the endoscope control device 202 determines whether the field of view of the endoscope 201 is blocked by a blocking object based on the normal image, and if it is determined that the field of view of the endoscope 201 is blocked by a blocking object, a well-known technique is used. It is also possible to perform image processing to remove obstructing objects. At this time, the endoscope control device 202 may perform image processing within a range that does not affect the processing, using the size of the treatment region by the treatment instrument 301, the time during which the treatment target region 100 is shielded, and the like.
- various inventions can be formed by appropriately combining the plurality of components disclosed in the treatment systems according to Embodiments 1 to 4 of the present disclosure.
- some components may be deleted from all the components described in the treatment systems according to the first to third embodiments of the present disclosure described above.
- the components described in the treatment systems according to the first to third embodiments of the present disclosure described above may be combined as appropriate.
- the above-mentioned "unit” can be read as “means”, “circuit”, etc.
- the control section can be read as a control means or a control circuit.
- the program executed by the treatment system according to Embodiments 1 to 4 of the present disclosure may be stored in a CD-ROM, a flexible disk (FD), a CD-R, a DVD ( It is provided stored in a computer-readable storage medium such as a Digital Versatile Disk, a USB medium, or a flash memory.
- the programs to be executed by the treatment systems according to Embodiments 1 to 4 of the present disclosure may be configured to be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. good.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Endoscopes (AREA)
Abstract
内視鏡の視野が悪化した場合であっても、処置部に対する処置を続行することができる画像処理装置、エネルギー処置具、処置システムおよび画像処理方法を提供する。画像処理装置は、少なくともエネルギー処置具によって生体を処置する領域を一部に含む画像データを取得する画像取得部と、画像データに対応する画像からエネルギー処置具の少なくとも一部を含む領域を検出する検出部と、画像データと、検出部が検出した検出結果と、に基づいて、領域を他の領域に比して強調した強調画像データを生成する強調画像生成部と、強調画像データに基づく表示画像を生成する表示画像生成部と、を備える。
Description
本開示は、画像処理装置、エネルギー処置具、処置システムおよび画像処理方法に関する。
関節鏡視下手術では、灌流装置によって関節内を生理食塩水等の灌流液で膨らませて視野を確保し、処置部の処置を行う技術が知られている(例えば特許文献1を参照)。この技術では、超音波処置具のハンマリング動作で骨を破砕することで、骨の削りカスである骨粉や髄液が発生するため、灌流液によって骨粉や髄液を内視鏡の視野から送出することによって、処置部に対する視野を確保している。
ところで、関節鏡視下手術では、超音波処置具のハンマリング動作によって連続して骨の破砕を進めた場合、大量の骨粉が発生し、この骨粉が灌流液に分散され、灌流液が濁ることで、処置部を観察する関節鏡の視野が阻害され、処置部が見えにくくなる。
しかしながら、上述した特許文献1では、処置部を観察する内視鏡の視野が白濁することによって悪化した場合、灌流液によって骨粉が内視鏡の視野から送出されて、内視鏡の視野が改善するまで処置部に対する処置を停止し、待機しなければならず、施術時間が延びることで、術者および患者の各々の負担となっていた。
本開示は、上記に鑑みてなされたものであって、内視鏡の視野が悪化した場合であっても、処置部に対する処置を続行することができる画像処理装置、エネルギー処置具、処置システムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、少なくともエネルギー処置具によって生体を処置する領域を一部に含む画像データを取得する画像取得部と、前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出する検出部と、前記画像データと、前記検出部が検出した検出結果と、に基づいて、前記領域を他の領域に比して強調した強調画像データを生成する強調画像生成部と、前記強調画像データに基づく表示画像を生成する表示画像生成部と、を備える。
また、本開示に係るエネルギー処置具は、被検体内に挿入可能であり、処置対象部位に対して処置可能であり、前記被検体内に挿入される内視鏡によって撮像されるエネルギー処置具であって、先端部に設けられ、前記内視鏡によって撮像された画像データに対応する画像内において、当該エネルギー処置具の一部に含む領域を他の領域と比してエッジ成分および輝度を強調することによって検出可能な指標部を備える。
また、本開示に係る処置システムは、被検体内に挿入可能であり、処置対象部位に対して処置可能なエネルギー処置具と、前記被検体内に挿入可能であり、少なくともエネルギー処置具によって生体を処置する領域を撮像して画像データを生成可能な内視鏡と、前記画像データに対して画像処理を行って表示装置へ出力する画像処理装置と、を備え、前記画像処理装置は、前記画像データを取得する画像取得部と、前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出する検出部と、前記画像データと、前記検出部が検出した検出結果と、に基づいて、前記領域を他の領域に比して強調した強調画像データを生成する強調画像生成部と、前記強調画像データに基づく表示画像を生成する表示画像生成部と、を備える。
また、本開示に係る画像処理方法は、ハードウェアを有するプロセッサが備える画像処理装置が実行する画像処理方法であって、前記プロセッサが、少なくともエネルギー処置具によって生体を処置する領域を一部に含む画像データを取得し、前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出し、前記画像データと、前記領域の検出結果と、に基づいて、前記領域を他の領域に比して強調した強調画像データを生成し、前記強調画像データに基づく表示画像を生成する、ことを実行する。
本開示によれば、内視鏡の視野が悪化した場合であっても、処置部に対する処置を続行することができるという効果を奏する。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
〔処理システムの概略構成〕
図1は、実施の形態1に係る処置システム1の概略構成を示す図である。
図1に示す処置システム1は、骨等の生体組織に対して超音波振動を付与することによって、生体組織を処置する。ここで、処置とは、例えば、骨等の生体組織の除去または切削である。なお、図1では、処置システム1として、前十字靱帯再建術を行う処置システムを例示している。
〔処理システムの概略構成〕
図1は、実施の形態1に係る処置システム1の概略構成を示す図である。
図1に示す処置システム1は、骨等の生体組織に対して超音波振動を付与することによって、生体組織を処置する。ここで、処置とは、例えば、骨等の生体組織の除去または切削である。なお、図1では、処置システム1として、前十字靱帯再建術を行う処置システムを例示している。
図1に示す処置システム1は、内視鏡装置2と、処置装置3と、ガイディングデバイス4と、灌流装置5と、照明装置6と、を備える。
〔内視鏡装置の構成〕
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、内視鏡201と、内視鏡制御装置202と、表示装置203と、を備える。
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、内視鏡201と、内視鏡制御装置202と、表示装置203と、を備える。
内視鏡201は、被検体の膝関節J1の関節腔C1内と、皮膚外と、を連通する第1のポータルP1を通して、挿入部211の先端部分が関節腔C1内に挿通される。内視鏡201は、関節腔C1内を照射し、関節腔C1内で反射された照明光(被写体像)を取り込み、当該被写体像を撮像して画像データを生成する。
内視鏡制御装置202は、内視鏡201によって撮像された画像データに対して、種々の画像処理を実行し、この画像処理後の画像データに対応する表示画像を表示装置203に表示させる。内視鏡制御装置202は、内視鏡201と、表示装置203と、に有線または無線で接続されている。
表示装置203は、内視鏡制御装置202を経由して、処置システム1を構成する各装置から送信されたデータ、画像データ(表示画像)、および音声データ等を受信し、受信したデータに応じた表示画像の表示、告知および出力する。表示装置203は、液晶または有機EL(Electro-Luminescence)からなる表示パネルを用いて構成される。
〔処理装置の構成〕
次に、処置装置3の構成について説明する。
処置装置3は、処置具301と、処置具制御装置302と、フットスイッチ303と、を備える。
次に、処置装置3の構成について説明する。
処置装置3は、処置具301と、処置具制御装置302と、フットスイッチ303と、を備える。
処置具301は、処置具本体311と、超音波プローブ312(後述する図2を参照)と、シース313と、を有する。
処置具本体311は、円筒状に形成されている。また、処置具本体311の内部には、ボルト締めランジュバン型振動子(Bolt-clamped Langevin-type transducer)によって構成され、供給された駆動電力に応じて超音波振動を発生する超音波振動子312a(後述する図2を参照)が収納されている。
処置具制御装置302は、術者によるフットスイッチ303への操作に応じて、超音波振動子312aに対して駆動電力を供給する。なお、駆動電力の供給については、フットスイッチ303への操作に限らず、例えば、処置具301に設けられた操作部(図示略)への操作に応じて行われてもよい。
フットスイッチ303は、超音波プローブ312を駆動する際に術者が足で操作するための入力インターフェースである。
次に、超音波プローブ312について説明する。
図2は、超音波プローブ312によって骨孔101を形成する様子を示した図である。
図3Aは、超音波プローブ312の概略構成を示す模式図である。
図3Bは、図3Aの矢視A方向の模式図である。
なお、実施の形態1では、超音波プローブ312がエネルギー処置具として機能する。
図2は、超音波プローブ312によって骨孔101を形成する様子を示した図である。
図3Aは、超音波プローブ312の概略構成を示す模式図である。
図3Bは、図3Aの矢視A方向の模式図である。
なお、実施の形態1では、超音波プローブ312がエネルギー処置具として機能する。
図2、図3Aおよび図3Bに示すように、超音波プローブ312は、例えばチタン合金等によって構成され、略円柱形状を有する。また、超音波プローブ312の基端部は、処置具本体311内において、超音波振動子312aに対して接続されている。さらに、超音波プローブ312は、超音波振動子312aが発生した超音波振動を基端から先端まで伝達する。具体的には、本実施の形態1における超音波振動は、超音波プローブ312の長手方向(図2の上下方向)に沿う縦振動である。また、超音波プローブ312の先端部には、図2に示すように、超音波振動子312aが設けられている。
シース313は、処置具本体311よりも細長い円筒状に形成され、処置具本体311から任意の長さまで超音波プローブ312の外周の一部を覆っている。
このように構成された処置具301における超音波プローブ312の超音波振動子312aは、関節腔C1内と、皮膚外と、を連通する第2のポータルP2を通して関節腔C1内に挿通されたガイディングデバイス4によって案内されつつ、関節腔C1内に挿入される。
続いて、処置具301は、骨の処置対象部位100に対して超音波プローブ312の超音波振動子312aを接触させた状態で超音波振動を発生させると、ハンマリング作用によって、超音波振動子312aと機械的に衝突した骨の部分が微細な粒状に粉砕される(図2を参照)。
その後、処置具301は、術者によって超音波プローブ312の超音波振動子312aが処置対象部位100に対して押し込まれると、超音波振動子312aが骨を粉砕しながら当該処置対象部位100の内部に進入していく。これによって、処置対象部位100には、骨孔101が形成される。
また、処置具本体311の基端には、姿勢検出部314と、CPU(Central Processing Unit)315と、メモリ316と、が搭載された回路基板317が設けられている(図3Aおよび図3Bを参照)。
姿勢検出部314は、処置具301の回転や移動を検出するセンサを含む。姿勢検出部314は、超音波プローブ312の長手軸と平行な軸を含む、互い直交する三つの軸と、各軸のまわりの回転と、を検出する。上述した処置具制御装置302は、姿勢検出部314の検出結果が一定時間変化しなければ、処置具301が静止していると判定する。
CPU315は、姿勢検出部314の動作を制御したり、処置具制御装置302との間の情報を送受信したりする。CPU315は、メモリ316に記憶部されたプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、所定の目的に合致した機能モジュールを実現する。
〔ガイディングデバイスの構成〕
次に、ガイディングデバイス4の構成について説明する。
ガイディングデバイス4は、第2のポータルP2を通して関節腔C1内に挿通され、処置具301における超音波プローブ312の先端部分の関節腔C1内への挿入を案内する。
次に、ガイディングデバイス4の構成について説明する。
ガイディングデバイス4は、第2のポータルP2を通して関節腔C1内に挿通され、処置具301における超音波プローブ312の先端部分の関節腔C1内への挿入を案内する。
ガイディングデバイス4は、ガイド本体401と、ハンドル部402と、コック付き排液部403と、を備える。
ガイド本体401は、筒形状をなし、内部に超音波プローブ312が挿通される貫通孔401aを有する(図1を参照)。ガイド本体401は、貫通孔401aに挿通された超音波プローブ312の進行を一定方向に規制し、超音波プローブ312の移動を案内する。本実施の形態1では、ガイド本体401の外周面および内周面における中心軸に直交する断面形状は、それぞれ略円形である。また、ガイド本体401は、先端に向かうに従って細くなっている。即ち、ガイド本体401の先端面401bは、中心軸に対して斜めに交差する斜面となっている。
コック付き排液部403は、ガイド本体401の外周面に設けられ、ガイド本体401内に連通する筒形状をなす。コック付き排液部403には、灌流装置5の排液チューブ505の一端が接続され、ガイド本体401と、灌流装置5の排液チューブ505と、を連通する流路となる。この流路は、コック付き排液部403に設けられたコック(図示略)の操作によって開閉可能に構成されている。
〔灌流装置の構成〕
次に、灌流装置5の構成について説明する。
灌流装置5は、滅菌した生理食塩水等の灌流液を関節腔C1内に送出するとともに、潅流液を関節腔C1外に排出する。
次に、灌流装置5の構成について説明する。
灌流装置5は、滅菌した生理食塩水等の灌流液を関節腔C1内に送出するとともに、潅流液を関節腔C1外に排出する。
灌流装置5は、液体源501と、送液チューブ502と、送液ポンプ503と、排液ボトル504と、排液チューブ505と、排液ポンプ506と、を備える(図1を参照)。
液体源501は、内部で灌流液を収容する。液体源501は、送液チューブ502が接続される。灌流液は、滅菌した生理食塩水等である。液体源501は、例えばボトル等を用いて構成される。
送液チューブ502は、一端が液体源501に対して接続され、他端が内視鏡201に対して接続されている。
送液ポンプ503は、送液チューブ502を通して、液体源501から内視鏡201に向けて灌流液を送出する。内視鏡201に送出された灌流液は、挿入部211の先端部分に形成された送液孔から関節腔C1内に送出される。
排液ボトル504は、関節腔C1外に排出された灌流液を収容する。排液ボトル504は、排液チューブ505が接続される。
排液チューブ505は、一端がガイディングデバイス4に対して接続され、他端が排液ボトル504に対して接続されている。
排液ポンプ506は、関節腔C1内に挿通されたガイディングデバイス4~排液チューブ505の流路を辿って、関節腔C1内の灌流液を排液ボトル504に排出する。なお、実施の形態1では、排液ポンプ506を用いて説明するが、これに限らず、施設に備えられた吸引装置を用いても構わない。
〔照明装置の構成〕
次に、照明装置6の構成について説明する。
照明装置6は、互いに波長帯域が異なる2つの照明光をそれぞれ発する2つの光源を有する。2つの照明光は、例えば可視光である白色光と、不可視光である赤外光または特殊光である。不可視光照明からは、可視光とは異なる波長に基づく情報を取得することができる。例えば、濁りの生じた撮像環境において、赤外光照明のもとで撮像した赤外画像は、白色光照明のもとで撮像した通常画像よりもコントラストの高い画像を取得することができる。そこで、赤外光照明のもとで撮像した画像からエッジ成分を抽出し、白色光照明のもとで撮像した通常画像、または通常画像に補正を施した補正画像に対して抽出されたエッジ成分を重畳することで、更にエッジを強調した画像を生成することができる。照明装置6からの照明光は、ライトガイドを経由して内視鏡201に伝播され、内視鏡201の先端から照射される。
次に、照明装置6の構成について説明する。
照明装置6は、互いに波長帯域が異なる2つの照明光をそれぞれ発する2つの光源を有する。2つの照明光は、例えば可視光である白色光と、不可視光である赤外光または特殊光である。不可視光照明からは、可視光とは異なる波長に基づく情報を取得することができる。例えば、濁りの生じた撮像環境において、赤外光照明のもとで撮像した赤外画像は、白色光照明のもとで撮像した通常画像よりもコントラストの高い画像を取得することができる。そこで、赤外光照明のもとで撮像した画像からエッジ成分を抽出し、白色光照明のもとで撮像した通常画像、または通常画像に補正を施した補正画像に対して抽出されたエッジ成分を重畳することで、更にエッジを強調した画像を生成することができる。照明装置6からの照明光は、ライトガイドを経由して内視鏡201に伝播され、内視鏡201の先端から照射される。
〔処置システム全体の機能構成〕
次に、処置システム全体の機能構成について説明する。
図4は、処置システム1全体の機能構成の概要を示すブロック図である。
図4に示す処置システム1は、上述した構成(図1を参照)に加えて、システム全体の通信を制御するネットワーク制御装置7と、各種データを記憶するネットワークサーバ8と、をさらに備える。
次に、処置システム全体の機能構成について説明する。
図4は、処置システム1全体の機能構成の概要を示すブロック図である。
図4に示す処置システム1は、上述した構成(図1を参照)に加えて、システム全体の通信を制御するネットワーク制御装置7と、各種データを記憶するネットワークサーバ8と、をさらに備える。
ネットワーク制御装置7は、内視鏡装置2、処置装置3、灌流装置5、照明装置6およびネットワークサーバ8と通信可能に接続される。図4では、装置間が無線接続されている場合を例示しているが、有線接続されていてもよい。以下、内視鏡装置2、処置装置3、灌流装置5および照明装置6の詳細な機能構成を説明する。
ネットワークサーバ8は、内視鏡装置2、処置装置3、灌流装置5、照明装置6およびネットワーク制御装置7と通信可能に接続される。ネットワークサーバ8は、処置システム1を構成する各装置の各種データを記憶する。ネットワークサーバ8は、例えばCPU等のハードウェアを有するプロセッサと、HDD(Hard Disk Drive)およびSSD(Solid State Drive)等のメモリと、を用いて構成される。
〔内視鏡装置の機能構成〕
次に、上述した内視鏡装置2の機能構成について説明する。
図5は、内視鏡装置2の詳細な機能構成を示すブロック図である。
図4および図5に示すように、内視鏡装置2は、内視鏡制御装置202と、表示装置203と、内視鏡201内に設けられた撮像部204と、操作入力部205と、を備える。
次に、上述した内視鏡装置2の機能構成について説明する。
図5は、内視鏡装置2の詳細な機能構成を示すブロック図である。
図4および図5に示すように、内視鏡装置2は、内視鏡制御装置202と、表示装置203と、内視鏡201内に設けられた撮像部204と、操作入力部205と、を備える。
内視鏡制御装置202は、撮像処理部221と、画像処理部222と、濁り検出部223と、入力部226と、CPU227と、メモリ228と、無線通信部229と、距離センサ駆動回路230と、距離データ用メモリ231と、通信インターフェース232と、を備える。
撮像処理部221は、内視鏡201に設けられた撮像部204が有する撮像素子2241の駆動制御を行う撮像素子駆動制御回路221aと、1次回路202aと電気的に絶縁された患者回路202bに設けられて撮像素子2241の信号制御を行う撮像素子信号制御回路221bと、を有する。撮像素子駆動制御回路221aは、1次回路202aに設けられる。また、撮像素子信号制御回路221bは、1次回路202aと電気的に絶縁された患者回路202bに設けられる。
画像処理部222は、バス(Bus)を経由し、入力された画像データ(RAWデータ)に対して所定の画像処理を行って表示装置203へ出力する。画像処理部222は、例えばDSP(Digital Signal Processor)またはFPGA(Field-Programmable Gate Array)のハードウェアを有するプロセッサを用いて構成される。画像処理部222は、メモリ228に記憶部されたプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、所定の目的に合致した機能モジュールを実現する。なお、画像処理部222の詳細な機能構成については、後述する。
濁り検出部223は、内視鏡201の視野の濁りに関する情報に基づいて、関節腔C1内における内視鏡201の視野の濁りを検出する。ここで、濁りに関する情報とは、例えば内視鏡201が生成する画像データから得られる値、灌流液の物性値(濁度)、処置装置3から取得したインピーダンス等である。
図6Aは、内視鏡201の視野が良好な状態を示す図である。
図6Bは、内視鏡201の視野が不良な状態を示す図である。
なお、図6Aおよび図6Bのそれぞれは、術者が大腿骨外顆900に対して骨孔を形成する際の内視鏡201の視野である画像データに対応する表示画像を模式的に示す図である。このうち、図6Bは、超音波プローブ312の駆動により微細な粒状に粉砕された骨が原因で内視鏡201の視野が濁った状態を模式的に示している。なお、図6Bでは、微細な骨をドットによって表現している。
図6Bは、内視鏡201の視野が不良な状態を示す図である。
なお、図6Aおよび図6Bのそれぞれは、術者が大腿骨外顆900に対して骨孔を形成する際の内視鏡201の視野である画像データに対応する表示画像を模式的に示す図である。このうち、図6Bは、超音波プローブ312の駆動により微細な粒状に粉砕された骨が原因で内視鏡201の視野が濁った状態を模式的に示している。なお、図6Bでは、微細な骨をドットによって表現している。
入力部226は、操作入力部205によって入力された信号の入力および処置システム1を構成する各装置からの信号の入力を受け付ける。
CPU227は、内視鏡制御装置202の動作を統括して制御する。CPU227は、メモリ228に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、内視鏡制御装置202の各部の動作を制御する。
メモリ228は、内視鏡制御装置202の動作に必要な各種情報、内視鏡制御装置202が実行する各種プログラム、撮像部204が撮像した画像データ等を記憶する。メモリ228は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、フレームメモリ等を用いて構成される。
無線通信部229は、他の装置との間の無線通信を行うためのインターフェースである。無線通信部229は、例えばWi-Fi(登録商標)またはBluetooth(登録商標)等が可能な通信モジュールを用いて構成される。
距離センサ駆動回路230は、撮像部204が撮像した画像内の所定対象物までの距離を計測する図示しない距離センサを駆動する。なお、実施の形態1では、距離センサを撮像素子2241に設けてもよい。この場合、撮像素子2241は、有効画素に代えて、撮像素子2241から所定対象物までの距離を計測可能な位相差画素を設ければよい。もちろん、内視鏡201の先端付近に、ToF(Time of FLIGHT)センサ等を設けてもよい。
距離データ用メモリ231は、距離センサが検出した距離データを記憶する。距離データ用メモリ231は、例えばRAMおよびROM等を用いて構成される。
通信インターフェース232は、撮像部204との通信を行うためのインターフェースである。
上述した構成のうち、撮像素子信号制御回路221b以外は、1次回路202aに設けられており、バス配線によって相互に接続されている。
撮像部204は、内視鏡201に設けられる。撮像部204は、撮像素子2241と、CPU242と、メモリ243と、を有する。
撮像素子2241は、CPU242の制御のもと、図示しない1または複数の光学系によって結像された被写体像を撮像することによって画像データを生成し、この生成した画像データを内視鏡制御装置202へ出力する。撮像素子2241は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサを用いて構成される。
CPU242は、撮像部204の動作を統括して制御する。CPU242は、メモリ243に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、撮像部204の動作を制御する。
メモリ243は、撮像部204の動作に必要な各種情報、内視鏡201が実行する各種のプログラム、撮像部204が生成した画像データ等を記憶する。メモリ243は、RAM、ROMおよびフレームメモリ等を用いて構成される。
操作入力部205は、マウス、キーボード、タッチパネル、マイクロフォンなどの入力インターフェースを用いて構成され、術者による内視鏡装置2の操作入力を受け付ける。
〔処置装置の機能構成〕
次に、処置装置3の機能構成について説明する。
図7は、処置装置3の詳細な機能構成を示すブロック図である。
図4および図7に示すように、処置装置3は、処置具301と、処置具制御装置302と、入出力部304と、を備える。
次に、処置装置3の機能構成について説明する。
図7は、処置装置3の詳細な機能構成を示すブロック図である。
図4および図7に示すように、処置装置3は、処置具301と、処置具制御装置302と、入出力部304と、を備える。
処置具301は、超音波振動子312aと、姿勢検出部314と、CPU315と、メモリ316と、を有する。
姿勢検出部314は、処置具301の姿勢を検出し、この検出結果をCPU315へ出力する。姿勢検出部314は、加速度センサおよび角速度センサの少なくとも一方を用いて構成される。
CPU315は、超音波振動子312aを含む処置具301の動作を統括して制御する。CPU315は、メモリ316に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、所定の目的に合致した機能モジュールを実現する。
メモリ316は、処置具301の動作に必要な各種情報と、処置具301が実行する各種のプログラム、処置具301の種類、製造年月日および性能等を識別するための識別情報を記憶する。
処置具制御装置302は、1次回路321と、患者回路322と、トランス323と、第1電源324と、第2電源325と、CPU326と、メモリ327と、無線通信部328と、通信インターフェース329と、インピーダンス検出部330と、を備える。
1次回路321は、処置具301への供給電力を生成する。
患者回路322は、1次回路321と電気的に絶縁されている。
トランス323は、1次回路321と、患者回路322と、を電磁的に接続する。
第1電源324は、処置具301の駆動電力を供給する高電圧電源である。
第2電源325は、処置具制御装置302内の制御回路の駆動電力を供給する低電圧電源である。
患者回路322は、1次回路321と電気的に絶縁されている。
トランス323は、1次回路321と、患者回路322と、を電磁的に接続する。
第1電源324は、処置具301の駆動電力を供給する高電圧電源である。
第2電源325は、処置具制御装置302内の制御回路の駆動電力を供給する低電圧電源である。
CPU326は、処置具制御装置302の動作を統括して制御する。CPU326は、メモリ327に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、処置具制御装置302の各部の動作を制御する。
メモリ327は、処置具制御装置302の動作に必要な各種情報、処置具制御装置302が実行する各種のプログラム等を記憶する。メモリ327は、RAMおよびROM等を用いて構成される。
無線通信部328は、他の装置との間の無線通信を行うためのインターフェースである。無線通信部328は、例えばWi-Fi(登録商標)およびBluetooth(登録商標)等が可能な通信モジュールを用いて構成される。
通信インターフェース329は、処置具301との通信を行うためのインターフェースである。
インピーダンス検出部330は、処置具301の駆動時におけるインピーダンスを検出し、この検出結果をCPU326へ出力する。具体的には、インピーダンス検出部330は、例えば第1電源324と1次回路321との間に電気的に接続され、第1電源324が有する周波数に基づいて、処置具301のインピーダンスを検出し、この検出結果をCPU326へ出力する。
入出力部304は、マウス、キーボード、タッチパネル、マイクロフォンなどの入力インターフェース、およびモニタ、スピーカ等の出力インターフェースを用いて構成され、術者による内視鏡装置2の操作入力、および術者に告知する各種情報を出力する。
〔灌流装置の機能構成〕
次に、灌流装置5の機能構成について説明する。
図8は、灌流装置5の詳細な機能構成を示すブロック図である。
図4および図8に示すように、灌流装置5は、送液ポンプ503と、排液ポンプ506と、送液制御部507と、排液制御部508と、入力部509と、CPU510と、メモリ511と、無線通信部512と、通信インターフェース513と、ポンプ内CPU514と、ポンプ内メモリ515と、濁り検出部516と、を備える。
次に、灌流装置5の機能構成について説明する。
図8は、灌流装置5の詳細な機能構成を示すブロック図である。
図4および図8に示すように、灌流装置5は、送液ポンプ503と、排液ポンプ506と、送液制御部507と、排液制御部508と、入力部509と、CPU510と、メモリ511と、無線通信部512と、通信インターフェース513と、ポンプ内CPU514と、ポンプ内メモリ515と、濁り検出部516と、を備える。
送液制御部507は、第1駆動制御部571と、第1駆動電力生成部572と、第1トランス573と、送液ポンプ駆動回路574と、を有する。
第1駆動制御部571は、第1駆動電力生成部572および送液ポンプ駆動回路574の駆動を制御する。
第1駆動電力生成部572は、送液ポンプ503の駆動電力を生成し、この駆動電力を第1トランス573へ供給する。
第1トランス573は、第1駆動電力生成部572と、送液ポンプ駆動回路574と、を電磁的に接続する。
このように構成された送液制御部507は、第1駆動制御部571、第1駆動電力生成部572および第1トランス573が1次回路5aに設けられる。また、送液ポンプ駆動回路574は、1次回路5aと電気的に絶縁された患者回路5bに設けられる。
排液制御部508は、第2駆動制御部581と、第2駆動電力生成部582と、第2トランス583と、排液ポンプ駆動回路584と、を有する。
第2駆動制御部581は、第2駆動電力生成部582および排液ポンプ駆動回路584の駆動を制御する。
第2駆動電力生成部582は、排液ポンプ506の駆動電力を生成し、生成した駆動電力を第2トランス583へ供給する。
第2トランス583は、第2駆動電力生成部582と、排液ポンプ駆動回路584と、を電磁的に接続する。
このように構成された排液制御部508は、第2駆動制御部581、第2駆動電力生成部582および第2トランス583が1次回路5aに設けられる。また、排液ポンプ駆動回路584は、1次回路5aと電気的に絶縁された患者回路5bに設けられる。
入力部509は、処置システム1を構成する各装置からの信号の入力を受け付け、受け付けた信号をCPU510およびポンプ内CPU514へ出力する。
CPU510およびポンプ内CPU514は、連携して灌流装置5の動作を統括して制御する。CPU510は、メモリ511に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、灌流装置5の各部の動作を制御する。
メモリ511は、灌流装置5の動作に必要な各種情報、灌流装置5が実行する各種のプログラムを記憶する。メモリ511は、RAMおよびROM等を用いて構成される。
無線通信部512は、他の装置との間の無線通信を行うためのインターフェースである。無線通信部512は、例えばWi-FiまたはBluetooth等が可能な通信モジュールを用いて構成される。
通信インターフェース513は、送液ポンプ503および内視鏡201との通信を行うためのインターフェースである。
ポンプ内メモリ515は、送液ポンプ503および排液ポンプ506の動作に必要な各種情報および送液ポンプ503および排液ポンプ506が実行する各種のプログラムを記憶する。
濁り検出部516は、排液チューブ505内に流れる灌流液の物性値、吸光度およびインピーダンス、抵抗値のいずれか1つ以上に基づいて、灌流液の濁度を検出し、この検出結果をCPU510へ出力する。
このように構成された灌流装置5は、入力部509と、CPU510と、メモリ511と、無線通信部512と、通信インターフェース513と、濁り検出部516が1次回路5aに設けられる。さらに、ポンプ内CPU514およびポンプ内メモリ515は、ポンプ5c内に設けられる。なお、ポンプ内CPU514およびポンプ内メモリ515は、送液ポンプ503の周辺に設けてもよいし、排液ポンプ506の周辺に設けてもよい。
〔照明装置の機能構成〕
次に、照明装置6の機能構成について説明する。
図9は、照明装置6の詳細な機能構成を示すブロック図である。
図4および図9に示すように、照明装置6は、第1照明制御部601と、第2照明制御部602と、第1照明装置603と、第2照明装置604と、入力部605と、CPU606と、メモリ607と、無線通信部608と、通信インターフェース609と、照明回路内CPU610と、照明回路内メモリ630と、を備える。
次に、照明装置6の機能構成について説明する。
図9は、照明装置6の詳細な機能構成を示すブロック図である。
図4および図9に示すように、照明装置6は、第1照明制御部601と、第2照明制御部602と、第1照明装置603と、第2照明装置604と、入力部605と、CPU606と、メモリ607と、無線通信部608と、通信インターフェース609と、照明回路内CPU610と、照明回路内メモリ630と、を備える。
第1照明制御部601は、第1駆動制御部611と、第1駆動電力生成部612と、第1コントローラ613と、第1駆動回路614と、を有する。
第1駆動制御部611は、第1駆動電力生成部612、第1コントローラ613および第1駆動回路614の駆動を制御する。
第1駆動電力生成部612は、第1駆動制御部611の制御のもと、第1照明装置603の駆動電力を生成し、この駆動電力を第1コントローラ613へ出力する。
第1コントローラ613は、第1駆動電力生成部612から入力される駆動電力に従って、第1駆動回路614を制御することによって、第1照明装置603の光出力を制御する。
第1駆動回路614は、第1コントローラ613の制御もと、第1照明装置603を駆動し、照明光を出力させる。
このように構成された第1照明制御部601は、第1駆動制御部611、第1駆動電力生成部612および第1コントローラ613が1次回路6aに設けられる。また、第1駆動回路614は、1次回路6aと電気的に絶縁された患者回路6bに設けられる。
第2照明制御部602は、第2駆動制御部621と、第2駆動電力生成部622と、第2コントローラ623と、第2駆動回路624と、を有する。
第2駆動制御部621は、第2駆動電力生成部622、第2コントローラ623および第2駆動回路624の駆動を制御する。
第2駆動電力生成部622は、第2駆動制御部621の制御のもと、第2照明装置604の駆動電力を生成し、この駆動電力を第2コントローラ623へ出力する。
第2コントローラ623は、第2駆動電力生成部622から入力される駆動電力に従って、第2駆動回路624を制御することによって、第2照明装置604の光出力を制御する。
第2駆動回路624は、第2コントローラ623の制御のもと、第2照明装置604を駆動し、照明光を出力させる。
このように構成された第2照明制御部602は、第2駆動制御部621、第2駆動電力生成部622、および第2コントローラ623が1次回路6aに設けられる。また、第2駆動回路624は、1次回路6aと電気的に絶縁された患者回路6bに設けられる。
第1照明装置603は、内視鏡201を経由して、被写体を照射するための第1照明光として、可視光の波長帯域の光(以下、単に「可視光」という)を被写体に向けて照射する。ここで、可視光とは、白色光(波長帯域λ=380nm~780nm)である。第1照明装置603は、例えば白色LED(Light Emitting Diode)ランプまたはハロゲンランプ等を用いて構成される。
第2照明装置604は、内視鏡201を経由して、被写体を照射するための第2照明光として、可視光外の波長帯域の光(以下、単に「不可視光」という)を被写体に向けて照射する。ここで、不可視光とは、赤外光(波長帯域λ=780nm~2500nm)である。第2照明装置604は、例えば赤外LEDランプ等を用いて構成される。
入力部605は、処置システム1を構成する各装置からの信号の入力を受け付け、受け付けた信号をCPU606および照明回路内CPU610へ出力する。
CPU606および照明回路内CPU610は、連携して照明装置6の動作を統括して制御する。CPU606は、メモリ607に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、照明装置6の各部の動作を制御する。
メモリ607は、照明装置6の動作に必要な各種情報および照明装置6が実行する各種のプログラムを記憶する。メモリ607は、RAMおよびROM等を用いて構成される。
無線通信部608は、他の装置との間の無線通信を行うためのインターフェースである。無線通信部608は、例えばWi-FiまたはBluetooth等が可能な通信モジュールを用いて構成される。
通信インターフェース609は、照明回路6cとの通信を行うためのインターフェースである。
照明回路内メモリ630は、第1照明装置603および第2照明装置604の動作に必要な各種情報およびプログラムを記憶する。照明回路内メモリ630は、RAMおよびROM等を用いて構成される。
このように構成された照明装置6は、入力部605、CPU606、メモリ607、無線通信部608および通信インターフェース609が1次回路6aに設けられる。また、第1照明装置603、第2照明装置604、照明回路内CPU610および照明回路内メモリ61Aは、照明回路6cに設けられる。
〔画像処理部の詳細な機能構成〕
次に、上述した画像処理部222の詳細な機能構成について説明する。
図10は、画像処理部222の詳細な機能構成を示すブロック図である。
図10に示す画像処理部222は、画像データ入力部2221と、画像生成部2222と、濁り検出部2223と、濁り判定部2224と、特徴量検出部2225と、補正画像生成部2226と、強調画像生成部2227と、合成画像生成部2228と、表示画像生成部2229と、メモリ2230と、画像処理制御部2231と、を有する。
次に、上述した画像処理部222の詳細な機能構成について説明する。
図10は、画像処理部222の詳細な機能構成を示すブロック図である。
図10に示す画像処理部222は、画像データ入力部2221と、画像生成部2222と、濁り検出部2223と、濁り判定部2224と、特徴量検出部2225と、補正画像生成部2226と、強調画像生成部2227と、合成画像生成部2228と、表示画像生成部2229と、メモリ2230と、画像処理制御部2231と、を有する。
画像データ入力部2221は、内視鏡201が生成した画像データの入力および処置システム1を構成する各装置からの信号の入力を受け付け、受け付けたデータおよび信号をバスへ出力する。
画像生成部2222は、撮像部204の撮像駆動に同期した同期信号に従って、画像データ入力部2221を経由して入力された画像データ(RAWデータ)に対して、所定の画像処理を行ってカラーの画像データ(以下、単に「通常画像データ」という)を生成し、この通常画像データを濁り検出部2223、特徴量検出部2225、補正画像生成部2226および表示画像生成部2229へ出力する。具体的には、画像生成部2222は、画像データに含まれるR画素、G画素およびB画素の画素値に基づいて、通常画像データを生成する。ここで、所定の画像処理としては、例えばデモザイキング処理、色補正処理、黒レベル補正処理、ノイズリダクション処理およびγ補正処理等である。なお、実施の形態1では、画像生成部2222がエネルギー処置具、例えば超音波プローブ312によって生体を処置する領域を含む画像データを取得する画像取得部として機能する。なお、画像生成部2222は、処置具301の駆動信号に基づいて、通常画像データを生成してもよい。
濁り検出部2223は、画像生成部2222が生成した通常画像データに基づいて、通常画像データに対応する通常画像(以下、単に「通常画像」という)の少なくとも一部の領域から階調の変化を検出し、この検出結果を濁り判定部2224へ出力する。具体的には、濁り検出部2223は、画像生成部2222が生成した通常画像に基づいて、通常画像の少なくとも一部の領域として内視鏡201における視野の濁りを検出し、この検出結果を濁り判定部2224へ出力する。なお、濁り検出部2223による濁りの検出方法、後述する補正画像生成部2226の濁り推定部2226aの濁り成分の同様の方法によって検出するため、詳細な検出方法は省略する。
ここで、内視鏡201における視野の濁りとは、階調を劣化させる要因の灌流液内に溶け込んだ骨粉やデブリの濁り度合いである。画質を劣化させる要因として、骨粉、デブリ、血液および骨髄といった生体組織の灌流液の溶解による現象に加え、処置具301の処置時における煙や火花の現象も挙げられる。以下においては、濁りを骨粉が灌流液に溶解して際に白濁した状態について説明する。生体組織が溶解した灌流液は、全体的に白く濁った状態となるため、高輝度かつ低彩度(低色再現)で、低コントラストであるという特徴を有する。このため、濁り検出部2223は、内視鏡201における視野の濁りとして、第1画像を構成する画素毎に、コントラスト、輝度および彩度を算出することによって内視鏡201の視野の濁り(濁り成分)を検出する。
濁り判定部2224は、濁り検出部2223が検出した濁りが所定値以上であるか否かを判定し、この判定結果を画像処理制御部2231へ出力する。ここで、所定値とは、例えば濁りによって内視鏡201の視野における施術箇所を消失するレベルの値である。
例えば施術箇所を消失するレベルの値としては、高輝度かつ低彩度(高輝度白色)の値である。
例えば施術箇所を消失するレベルの値としては、高輝度かつ低彩度(高輝度白色)の値である。
特徴量検出部2225は、画像生成部2222が生成する通常画像からエネルギー処置具である処置具301の少なくとも一部を含む領域を検出し、この検出結果を強調画像生成部2227へ出力する。特徴量検出部2225は、画像生成部2222が生成する通常画像に対して、画素毎の特徴量を検出し、この特徴量に基づいて、エネルギー処置具である処置具301の少なくとも一部を含む領域を検出する。ここで、特徴量としては、例えばエッジ成分および輝度成分等である。なお、特徴量検出部2225は、周知のパターンマッチング処理の技術を用いて通常画像に写る処置具301を検出してもよい。
補正画像生成部2226は、撮像部204の撮像駆動に同期した同期信号に従って、濁り検出部2223から入力される検出結果に基づいて、画像生成部2222から入力される通常画像に対して階調補正処理を施した補正画像データを生成し、この補正画像データに対応する補正画像(以下、単に「補正画像」という)を強調画像生成部2227、合成画像生成部2228および表示画像生成部2229へ出力する。具体的には、補正画像生成部2226は、通常画像に含まれる濁り(濁り成分)を除去した補正画像を生成し、この補正画像を、強調画像生成部2227、合成画像生成部2228または表示画像生成部2229へ出力する。なお、補正画像生成部2226の詳細は、後述する。
強調画像生成部2227は、撮像部204の撮像駆動に同期した同期信号および特徴量検出部2225の検出結果に基づいて、画像生成部2222から入力される通常画像または補正画像生成部2226から入力される補正画像に対してエッジ強調処理を施して強調画像データを生成し、この強調画像データ(以下、単に「強調画像」という)を合成画像生成部2228または表示画像生成部2229へ出力する。具体的には、強調画像生成部2227は、特徴量検出部2225が検出したエネルギー処置具である処置具301の少なくとも一部を含む通常画像または補正画像の領域に対して、エッジ成分を抽出するエッジ抽出処理を実行し、この抽出したエッジ成分に対してエッジを他の領域と比して強調するエッジ強調処理を施した強調画像を生成する。
合成画像生成部2228は、画像処理制御部2231の制御のもと、撮像部204の撮像駆動に同期した同期信号に従って、画像生成部2222から入力される通常画像または補正画像生成部2226から入力される補正画像と、強調画像生成部2227から入力される強調画像と、を所定の比率で合成して合成画像データを生成し、この合成画像データに対応する合成画像(以下、単に「合成画像」という)を表示画像生成部2229へ出力する。ここで、所定の比率とは、例えば5:5である。なお、合成画像生成部2228は、濁り検出部2223の検出結果に基づいて、通常画像または補正画像と、強調画像と、を合成する比率を変更してもよいし、適宜変更することができ、濁りの成分や種類に応じて合成比率を変更してもよい。また、強調画像から抽出したエッジ成分を通常画像または補正画像に加算または重畳させて合成画像を生成してもよい。
表示画像生成部2229は、画像処理制御部2231の制御のもと、撮像部204の撮像駆動に同期した同期信号に従って、画像生成部2222から入力される通常画像、補正画像生成部2226から入力される補正画像、強調画像生成部2227から入力される強調画像および合成画像生成部2228から入力される合成画像のいずれか1つ以上に基づいて、表示装置203に表示するための表示画像データに対応する表示画像を生成して表示装置203へ出力する。具体的には、表示画像生成部2229は、入力される画像に対して、例えばフォーマット方式を所定のフォーマット方式に変換、例えばRGB方式をYCbCr方式に変換して表示装置203へ出力する。なお、表示画像生成部2229は、処置具301の駆動信号に基づいて、表示画像を生成してもよい。
メモリ2230は、画像処理部222の動作に必要な各種情報、画像処理部222が実行する各種プログラムおよび各種の画像データ等を記憶する。メモリ2230は、RAM、ROMおよびフレームメモリ等を用いて構成される。
画像処理制御部2231は、画像処理部222を構成する各部を制御する。画像処理制御部2231は、メモリ2230に記憶されているプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御することによって、ハードウェアとソフトウェアとが協働し、画像処理部222を構成する各部の動作を制御する。
〔補正画像生成部の詳細な機能構成〕
次に、補正画像生成部2226の詳細な機構構成について説明する。
図11は、補正画像生成部2226の詳細な機能構成を示すブロック図である。
次に、補正画像生成部2226の詳細な機構構成について説明する。
図11は、補正画像生成部2226の詳細な機能構成を示すブロック図である。
図11に示す補正画像生成部2226は、濁り推定部2226aと、ヒストグラム生成部2226bと、代表輝度算出部2226cと、補正係数算出部2226dと、コントラスト補正部2226eと、を有する。
濁り推定部2226aは、通常画像における画素毎の濁りの成分を推定する。ここで、画素毎における濁りの成分とは、通常画像におけるコントラストおよび彩度といった画質を劣化させる要因の灌流液内に溶け込んだ骨粉やデブリの濁り度合いである。画質を劣化させる要因として、骨粉、デブリ、血液および骨髄といった生体組織の灌流液の溶解による現象に加え、処置具301の処置時における煙や火花の現象も挙げられる。以下においては、濁度を骨粉が灌流液に溶解して際に白濁した状態の濁度について説明する。生体組織が溶解した灌流液は、高輝度かつ低彩度(低色再現)で、低コントラストであるという特徴を有する。
このため、濁り推定部2226aは、第1画像のコントラスト、または輝度および彩度を算出することによって内視鏡201の視野の濁り成分を推定する。具体的には、濁り推定部2226aは、第1画像における座標(x,y)における画素のR値、G値およびB値に基づいて、濁り成分H(x,y)を推定する。
ここで、座標(x,y)におけるR値、G値およびB値それぞれをIr、IgおよびIbとした場合、座標(x,y)にある画素の濁り成分H(x,y)は、以下の式(1)により推定される。
H(x,y)=min(Ir、Ig,Ib) ・・・(1)
H(x,y)=min(Ir、Ig,Ib) ・・・(1)
濁り推定部2226aは、上述した式(1)の演算を第1画像の画素毎に行う。濁り推定部2226aは、第1画像に対して、所定のサイズのスキャン領域F(小領域)を設定する。このスキャン領域Fのサイズは、例えば所定のサイズ、m×n(m,nは、自然数)の画素である。以下においては、スキャン領域Fの中心の画素を基準画素として表記して説明する。さらに、以下においては、スキャン領域Fにおける基準画素の周辺の各画素を近傍画素として表記して説明する。さらにまた、以下においては、スキャン領域Fは、例えば5×5画素のサイズに形成したものについて説明する。もちろん、スキャン領域Fは、1画素であっても適用することができる。
濁り推定部2226aは、第1画像に対してスキャン領域Fの位置をずらしながらスキャン領域Fにおける各画素の(Ir,Ig,Ib)を算出し、そのうちの最小値を基準画素の濁り成分H(x,y)として推定する。第1画像における高輝度かつ低彩度な領域の画素値は、R値、G値およびB値が同等かつ大きいので、min(Ir,Ig,Ib)の値が大きくなる。即ち、高輝度かつ低彩度な領域は、濁り成分H(x,y)が大きな値となる。
これに対して、低輝度または高彩度の領域の画素値は、R値、G値およびB値のいずれかが小さくなるので、min(Ir,Ig,Ib)の値が小さくなる。即ち、低輝度または高彩度の領域は、濁り成分H(x,y)が小さな値となる。
このように、濁り成分H(x,y)は、灌流液に溶解した骨粉の濃度が濃いほど(骨粉の白色が濃くなるほど)大きな値となり、灌流液に溶解した骨粉の濃度が薄いほど小さな値となる。言い換えると、濁り成分H(x,y)は、灌流液に溶解した骨粉によって灌流液の色(白色)が濃くなるほど、大きな値となり、灌流液の色が薄いほど小さな値となる。
なお、濁り推定部2226aは、上述した式(1)によって濁り成分H(x,y)を推定しているが、これに限定されることなく、高輝度かつ低彩度を示す指標であれば濁り成分として使用することができる。濁り推定部2226aは、局所コントラスト値、エッジ強度、色濃度および被検体距離のいずれか一つ以上を用いて濁り成分を推定してもよい。また、上述した濁り検出部2223は、濁り推定部2226aと同様の方法によって濁り(濁り成分)を検出する。
ヒストグラム生成部2226bは、濁り推定部2226aから入力される濁り成分H(x,y)に基づいて、第1画像の基準画素と、この基準画素の周辺の近傍画素と、を含む局所領域におけるヒストグラムの分布を判定する。この濁り成分(x,y)の変化の度合いは、局所領域において各画素が属する領域を判定する指標となる。具体的には、この濁り成分(x,y)の変化の度合いは、局所領域内の基準画素と近傍画素との濁り成分H(x,y)の差分に基づいて、判定される。
即ち、ヒストグラム生成部2226bは、画像生成部2222から入力される第1画像と、濁り推定部2226aから入力される濁り成分H(x,y)と、に基づいて、基準画素毎に、近傍画素を含む局所領域に対する輝度ヒストグラムを生成する。一般的なヒストグラムの生成は、対象の局所領域内の画素値を輝度値とみなし、画素値の頻度を1ずつカウントすることで行われる。
これに対して、実施の形態1に係るヒストグラム生成部2226bは、局所領域内の基準画素と近傍画素との濁り成分H(x,y)に応じて、近傍画素の画素値に対するカウント値に重み付けする。近傍画素の画素値に対するカウント値は、例えば0.0~1.0の範囲の値となるものである。また、カウント値は、基準画素と近傍画素との濁り成分H(x,y)の差分が大きいほど値が小さくなるように設定し、基準画素と近傍画素との濁り成分H(x,y)の差分が小さいほど値が大きくなるように設定される。さらに、局所領域は、例えば7×7画素のサイズで形成される。
一般的なヒストグラム生成では、輝度だけでヒストグラムを生成した場合、注目画素の輝度と値差の大きな近傍画素の輝度も同じようにカウントされてしまう。局所ヒストグラムは、注目画素が属する画像領域に即して生成されることが望ましい。
これに対して、実施の形態1における輝度ヒストグラムの生成では、濁り成分H(x,y)の第1画像データにおける局所領域内の基準画素と各近傍画素との濁り成分H(x,y)の差に応じて、第1画像データ中の局所領域における各画素の画素値に対するカウント値が設定する。具体的には、カウント値は、基準画素と近傍画素との濁り成分H(x,y)の差分が大きいほど値が小さくなり、基準画素と近傍画素との濁り成分H(x,y)の差分が小さいほど値が大きくなるよう、例えばガウシアン関数を用いて算出する(例えば、特許第6720012号公報または特許第6559229号公報を参照。ただし、霞成分を濁り成分に置き換える)。
なお、ヒストグラム生成部2226bによるカウント値の算出方法は、ガウシアン関数に限定されることなく、基準画素と近傍画素との値の差分が大きいほど、小さくなるように決定できればよい。例えば、ヒストグラム生成部2226bは、ガウシアン関数に代えて、ルックアップテーブルまたは折れ線で近似したテーブルを用いてカウント値を算出してもよい。
また、ヒストグラム生成部2226bは、基準画素と近傍画素との値の差分を閾値と比較し、閾値以上である場合、近傍画素のカウント値を減らす(例えば、0.0にする)ようにしてもよい。
さらに、ヒストグラム生成部2226bは、必ずしも画素値の頻度をカウント値とするものでなくてもよい。例えば、ヒストグラム生成部2226bは、R値、G値、B値それぞれをカウント値とするものであってもよい。また、ヒストグラム生成部2226bは、G値を輝度値としてカウント値するものであってもよい。
代表輝度算出部2226cは、ヒストグラム生成部2226bから入力される輝度ヒストグラムの統計情報に基づいて、代表輝度を算出する。代表輝度は、輝度ヒストグラムの有効輝度範囲の低輝度部の輝度、高輝度部の輝度、中間輝度部の輝度である。低輝度部の輝度は、有効輝度範囲の最小輝度である。高輝度部の輝度は、有効輝度範囲の最大輝度である。中間輝度部の輝度は、重心輝度である。最小輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の5%の輝度である。最大輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の95%の輝度である。重心輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の50%の輝度である。
なお、最小輝度、最大輝度、重心輝度に対応する累積頻度のパーセンテージである5%、50%、95%は、適宜変更することができる。さらに、中間輝度部の輝度は、累積ヒストグラムにおける重心輝度としているが、これに限定されることなく、重心輝度が必ずしも累積頻度から算出されなくてもよい。例えば、中間輝度部の輝度は、輝度ヒストグラムの最大頻度の輝度であっても適用することができる。
補正係数算出部2226dは、濁り推定部2226aから入力される濁り成分H(x,y)と、代表輝度算出部2226cから入力される統計情報と、に基づいて、局所領域内のコントラストを補正するための補正係数を算出する。具体的には、補正係数算出部2226dは、コントラスト補正がヒストグラム伸張によって行われる場合、統計情報のうちの重心輝度と、最大輝度と、を利用してヒストグラム伸張のための係数を算出する。
ここで、ヒストグラム伸張は、ヒストグラムの有効輝度範囲を拡げることでコントラストを強調する処理である(例えば、特許第6720012号公報または特許第6559229号公報を参照)。なお、補正係数算出部2226dは、コントラスト補正の実現手段としてヒストグラム伸張を用いているが、これに限定されることなく、コントラスト補正の実現手段として例えばヒストグラム平坦化を適用してもよい。例えば、補正係数算出部2226dは、ヒストグラム平坦化を実現する方法として、累積ヒストグラムを用いる方法、または折れ線を近似したテーブルを適用してもよい。この累積ヒストグラムは、輝度ヒストグラムの頻値を順次累積したものである。
コントラスト補正部2226eは、画像生成部2222から入力される第1画像に対して、濁り推定部2226aから入力される濁り成分H(x,y)と、補正係数算出部2226dから入力される補正係数と、に基づいて、第1画像データの基準画素のコントラスト補正を行う(例えば、特許第6720012号公報または特許第6559229号公報を参照)。
このように構成された補正画像生成部2226は、第1画像に基づいて、濁り成分H(x,y)を推定し、この推定結果を用いて輝度ヒストグラムと代表輝度とを算出し、局所領域内のコントラストを補正するための補正係数を算出し、濁り成分H(x,y)と、補正係数と、に基づいて、コントラスト補正を行う。これにより、補正画像生成部2226は、第1画像から濁りを除去した第1補正画像を生成することができる。
〔処置の概要〕
次に、処置システム1を用いて術者が行う処置の概要について説明する。
図12は、処置システム1を用いて術者が行う処置の概要を説明するフローチャートである。
なお、処置を行う術者は、医師一人でもよいし、医師や助手を含む二人以上でもよい。
次に、処置システム1を用いて術者が行う処置の概要について説明する。
図12は、処置システム1を用いて術者が行う処置の概要を説明するフローチャートである。
なお、処置を行う術者は、医師一人でもよいし、医師や助手を含む二人以上でもよい。
図12に示すように、まず、術者は、膝関節J1の関節腔C1内と皮膚外とをそれぞれ連通する第1のポータルP1および第2のポータルP2を形成する(ステップS1)。
続いて、術者は、内視鏡201を第1のポータルP1から関節腔C1内に挿入し、ガイディングデバイス4を第2のポータルP2から関節腔C1内に挿入し、ガイディングデバイス4の案内によって処置具301を関節腔C1内に挿入する(ステップS2)。なお、ここでは、2つのポータルを形成してから内視鏡201および処置具301を第1のポータルP1,第2のポータルP2から関節腔C1内に挿入する場合を説明したが、第1のポータルP1を形成して内視鏡201を関節腔C1内に挿入した後、第2のポータルP2を形成してガイディングデバイス4および処置具301を関節腔C1内に挿入してもよい。
その後、術者は、表示装置203が表示する関節腔C1内の内視鏡画像を目視によって確認しながら、超音波プローブ312を処置対象の骨に接触させる(ステップS3)。
続いて、術者は、表示装置203に表示される内視鏡画像を見ながら、処置具301を用いて切削処置を行う(ステップS4)。なお、切削処置における処置システム1の処理の詳細については後述する。
その後、表示装置203は、関節腔C1内の表示および切削処置後の状態に関する情報の表示・告知処理を行う(ステップS5)。内視鏡制御装置202は、例えば、表示・告知処理後、電源がオフにされる。術者は、処置システム1を用いた処置を終了する。
〔切削処置の詳細〕
次に、上述した図12のステップS4における切削処置の詳細について説明する。
図13は、内視鏡制御装置202が切削処置において実行する処理の概要について説明する。
なお、以下においては、各制御装置のCPUの制御のもとで、各処理が実行されるものとして説明するが、例えばネットワーク制御装置7等の制御装置のうちいずれかが一括して処理を実行してもよい。
次に、上述した図12のステップS4における切削処置の詳細について説明する。
図13は、内視鏡制御装置202が切削処置において実行する処理の概要について説明する。
なお、以下においては、各制御装置のCPUの制御のもとで、各処理が実行されるものとして説明するが、例えばネットワーク制御装置7等の制御装置のうちいずれかが一括して処理を実行してもよい。
図13に示すように、CPU227は、各装置と通信を行い、処置装置3および灌流装置5の各々に対する制御パラメータの設定および処置装置3および灌流装置5の各々の制御パラメータの入力を行う(ステップS11)。
続いて、CPU227は、処置システム1を構成する各部の装置が出力ON状態となったか否かを判断する(ステップS12)。CPU227によって処置システム1を構成する各部の装置が出力ON状態となったと判定された場合(ステップS12:Yes)、内視鏡制御装置202は、後述するステップS13へ移行する。これに対して、CPU227によって処置システム1を構成する各部の装置が出力ON状態となっていないと判定された場合(ステップS12:No)、CPU227は、処置システム1を構成する各部の装置が出力ON状態となるまで、この判断を続ける。
ステップS13において、CPU227は、処置システム1における内視鏡制御装置202の観察モードが濁り検出モードに設定されているか否かを判定する。CPU227によって処置システム1における内視鏡制御装置202の観察モードが濁り検出モードに設定されていると判定された場合(ステップS13:Yes)、内視鏡制御装置202は、後述するステップS14へ移行する。これに対して、CPU227によって処置システム1における内視鏡制御装置202の観察モードが濁り検出モードに設定されていないと判定された場合(ステップS13:No)、内視鏡制御装置202は、後述するステップS16へ移行する。
ステップS14において、濁り検出部223は、内視鏡201が生成した通常画像、処置具制御装置302のインピーダンス検出部330の検出結果、灌流装置5の濁り検出部516の検出結果のいずれか一つに基づいて、内視鏡201の視野の濁りを検出する。具体的には、濁り検出部223は、内視鏡201が生成した通常画像を用いる場合、通常画像の明度およびコントラストのいずれかを用いて内視鏡201の視野の濁りを検出する。また、濁り検出部223は、処置具制御装置302のインピーダンス検出部330が検出するインピーダンスの場合、インピーダンスの変化率に基づいて、内視鏡201の視野の濁りを検出する。さらに、濁り検出部223は、灌流装置5の濁り検出部516の検出結果を用いる場合、灌流装置5の濁り検出部516が検出する灌流液の濁度に基づいて、内視鏡201の視野の濁りを検出する。
続いて、CPU227は、濁り検出部223が検出した検出結果に基づいて、内視鏡201の視野に濁りが所定値以上であるか否かを判定する(ステップS15)。
具体的には、CPU227は、濁り検出部223が通常画像を用いた場合、濁り検出部223が検出した通常画像の各画素の明度を合算した値の平均値が所定値以上であるか否かを判定する。ここで、明度としての所定値とは、限りなく白色に近い高彩度の値である。この場合、CPU227は、濁り検出部223が検出した通常画像の各画素の明度を合算した値の平均値が所定値以上である場合、内視鏡201の視野に濁りが生じていると判定する。これに対して、CPU227は、濁り検出部223が検出した通常画像の各画素の明度の平均値が所定値以上である場合、内視鏡201の視野に濁りが生じていないと判定する。
また、CPU227は、濁り検出部223がインピーダンス検出部330によって検出されるインピーダンスを用いる場合、インピーダンスが所定値以上であるか否かを判定する。CPU227は、濁り検出部223がインピーダンス検出部330によって検出されるインピーダンスが所定値以上である場合、内視鏡201の視野に濁りが生じていると判定する。これに対して、濁り検出部223がインピーダンス検出部330によって検出されるインピーダンスが所定値以上でない場合、内視鏡201の視野に濁りが生じていないと判定する。
また、CPU227は、濁り検出部223が灌流装置5の濁り検出部516によって検出される灌流液の濁度を用いる場合、灌流液の濁度が所定値以上であるか否かを判定する。CPU227は、濁り検出部223が検出した灌流液の濁度が所定値以上である場合、内視鏡201の視野に濁りが生じていると判定する。これに対して、濁り検出部223が検出した灌流液の濁度が所定値以上でない場合、内視鏡201の視野に濁りが生じていないと判定する。
ステップS15において、CPU227が内視鏡201の視野に濁りが生じていると判定された場合(ステップS15:Yes)、内視鏡制御装置202は、後述するステップS19へ移行する。これに対して、CPU227が内視鏡201の視野に濁りが生じていないと判定された場合(ステップS15:No)、内視鏡制御装置202は、後述するステップS16へ移行する。
ステップS16において、CPU227は、内視鏡制御装置202に対して通常制御を行う。具体的には、CPU227は、画像処理部222が生成した通常画像(カラー画像)を表示装置203に出力して表示させる。これにより、術者は、表示装置203で表示される通常画像を見ながら、処置具301を用いて施術を行うことができる。
続いて、CPU227は、術者が被検体への施術を継続中であるか否かを判定する(ステップS17)。具体的には、CPU227は、処置具制御装置302が処置具301に電力を供給しているか否かを判定し、処置具制御装置302が処置具301に電力を供給している場合、術者が被検体への施術を継続中であると判定し、処置具制御装置302が処置具301に電力を供給していない場合、術者が被検体への施術を継続中でないと判定する。CPU227によって術者が被検体への施術を継続中であると判定された場合(ステップS17:Yes)、内視鏡制御装置202は、後述するステップS18へ移行する。これに対して、CPU227によって術者が被検体への施術を継続中でないと判定された場合(ステップS17:No)、内視鏡制御装置202は、本処理を終了する。
ステップS18において、CPU227は、処置システム1を構成する各部の装置が出力OFF状態となったか否かを判断する。CPU227によって処置システム1を構成する各部の装置が出力OFF状態となったと判断された場合(ステップS18:Yes)、内視鏡制御装置202は、本処理を終了する。これに対して、CPU227によって処置システム1を構成する各部の装置が出力OFF状態となっていないと判断された場合(ステップS18:No)、内視鏡制御装置202は、上述したステップS13へ戻る。
ステップS19において、内視鏡制御装置202は、内視鏡201の視野における濁りに対する濁り対応制御処理を実行する。なお、濁り対応制御処理の詳細については、後述する。ステップS19の後、内視鏡制御装置202は、ステップS17へ移行する。
〔濁り対応制御処理の詳細〕
次に、図13のステップS19において説明した濁り対応制御処理の詳細について説明する。
図14は、図13の濁り対応制御処理の詳細な概要を示すフローチャートである。
次に、図13のステップS19において説明した濁り対応制御処理の詳細について説明する。
図14は、図13の濁り対応制御処理の詳細な概要を示すフローチャートである。
図14に示すように、画像生成部2222は、通常画像を生成する(ステップS101)。具体的には、画像生成部2222は、画像データ入力部2221から入力される画像データに基づいて、通常画像(可視光によるカラー画像)を生成する。
続いて、濁り検出部2223は、画像生成部2222が生成した通常画像に基づいて、内視鏡201の視野の濁りを推定し、特徴量検出部2225は、通常画像からエネルギー処置具である処置具301の少なくとも一部を含む領域を検出する(ステップS102)。具体的には、濁り検出部2223は、上述した濁り推定部2226aと同様の推定方法によって内視鏡201の視野の濁り成分を推定する。さらに、特徴量検出部2225は、通常画像に対してエッジ成分を抽出するエッジ抽出処理を行うことによって処置具301の少なくとも一部を含む領域を検出する。もちろん、特徴量検出部2225は、通常画像に対して輝度成分を抽出する輝度抽出処理を行い、所定の輝度値以上の領域を処置具301の少なくとも一部を含む領域として検出してもよい。また、エッジ抽出処理は、例えば周知のソーベルフィルタ、ラプラシアンフィルタおよびキャニーフィルタのいずれか一つ以上を組み合わせて行ってもよい。
その後、濁り判定部2224は、濁り検出部2223が検出した内視鏡201の視野の濁りが所定値以上であるか否かを判定する(ステップS103)。濁り判定部2224によって濁り検出部2223が検出した内視鏡201の視野の濁り成分が所定値以上であると判定された場合(ステップS103:Yes)、内視鏡制御装置202は、後述するステップS104へ移行する。これに対して、濁り判定部2224によって濁り検出部2223が検出した内視鏡201の視野の濁り成分が所定値以上でないと判定された場合(ステップS103:No)、内視鏡制御装置202は、後述するステップS109へ以降する。
ステップS104において、補正画像生成部2226は、濁り検出部2223から入力される検出結果に基づいて、画像生成部2222から入力される通常画像に対して濁りを除去または低減する階調補正を施して補正画像を生成する。ステップS104の後、内視鏡制御装置202は、後述するステップS105へ移行する。
図15は、内視鏡201の視野が良好な状態における表示画像の一例を示す図である。 図16は、図15の直線A-A’上における位置と輝度との関係を示す図である。
図17は、内視鏡201の視野が不良な状態における表示画像の一例を示す図である。
図18は、図16の直線A-A’上における位置と輝度との関係を示す図である。
図19は、補正画像生成部2226が図17の表示画像に対して階調補正を施した後の直線A-A’上における位置と輝度との関係を示す図である。
図16、図18および図19において、横軸が表示画像上における位置を示し、縦軸が輝度を示す。また、図16の曲線L1が輝度と表示画像上における位置との関係を示し、図18の曲線L2が輝度と表示画像上における位置との関係を示し、図19の曲線L3が輝度と表示画像上における位置との関係を示す。
図17は、内視鏡201の視野が不良な状態における表示画像の一例を示す図である。
図18は、図16の直線A-A’上における位置と輝度との関係を示す図である。
図19は、補正画像生成部2226が図17の表示画像に対して階調補正を施した後の直線A-A’上における位置と輝度との関係を示す図である。
図16、図18および図19において、横軸が表示画像上における位置を示し、縦軸が輝度を示す。また、図16の曲線L1が輝度と表示画像上における位置との関係を示し、図18の曲線L2が輝度と表示画像上における位置との関係を示し、図19の曲線L3が輝度と表示画像上における位置との関係を示す。
図15~図19に示すように、内視鏡201の視野が良好な状態から不良な状態に変化した場合、骨粉等によって内視鏡201の視野が白濁することによって(図15の表示画像Q1→図17の表示画像Q2を参照)、超音波プローブ312等が写る領域以外であっても、輝度が高くなる(図16の曲線L1→図18の曲線L2)。このため、補正画像生成部2226は、濁り検出部2223から入力される検出結果に基づいて、画像生成部2222から入力される通常画像に対して濁りを除去または低減する階調補正を施して補正画像を生成する。この場合、図19の曲線L3に示すように、補正画像生成部2226は、少なくとも超音波プローブ312および処置対象部位100が写る領域の輝度が高くなり、それ以外の領域の輝度が低くなるよう補正画像を生成する。
図14に戻り、ステップS105以降の説明を続ける。
ステップS105において、強調画像生成部2227は、特徴量検出部2225が検出した検出結果に基づいて、補正画像生成部2226が生成した補正画像に対して、エッジ強調処理を行って強調画像を生成する。ステップS105の後、内視鏡制御装置202は、後述するステップS106へ移行する。
ステップS105において、強調画像生成部2227は、特徴量検出部2225が検出した検出結果に基づいて、補正画像生成部2226が生成した補正画像に対して、エッジ強調処理を行って強調画像を生成する。ステップS105の後、内視鏡制御装置202は、後述するステップS106へ移行する。
図20は、強調画像生成部2227が生成した強調画像の位置と輝度との関係を示す図である。
なお、図20では、図15と同じ直線A-A’上における位置と輝度との関係について説明する。また、図20において、横軸が強調画像における位置を示し、縦軸が輝度を示す。さらに、図20の曲線L4が輝度と強調画像上における位置との関係を示す。
なお、図20では、図15と同じ直線A-A’上における位置と輝度との関係について説明する。また、図20において、横軸が強調画像における位置を示し、縦軸が輝度を示す。さらに、図20の曲線L4が輝度と強調画像上における位置との関係を示す。
図20の曲線L4に示すように、強調画像生成部2227は、補正画像生成部2226が生成した補正画像に含まれる特徴量検出部2225によって検出された領域に対して、エッジ強調処理を行って他の領域と比してエッジ成分を強調した強調画像を生成する。具体的には、強調画像生成部2227は、少なくとも超音波プローブ312および処置対象部位100が写る領域の輪郭(強調領域)が強調されるようエッジ強調処理を行って強調画像を生成する。なお、強調画像生成部2227は、エッジ強調処理以外に、処置対象部位100が写る領域の輪郭を、例えば術者が指定した色、例えば赤や緑等によって強調した強調画像を生成してもよい。
図14に戻り、ステップS106以降の説明を続ける。
ステップS106において、合成画像生成部2228は、画像生成部2222が生成した通常画像と、少なくとも補正画像生成部2226が生成した補正画像と強調画像生成部2227が生成した強調画像との一方と、を合成した合成画像を生成する。ステップS106の後、内視鏡制御装置202は、後述するステップS107へ移行する。
ステップS106において、合成画像生成部2228は、画像生成部2222が生成した通常画像と、少なくとも補正画像生成部2226が生成した補正画像と強調画像生成部2227が生成した強調画像との一方と、を合成した合成画像を生成する。ステップS106の後、内視鏡制御装置202は、後述するステップS107へ移行する。
図21は、合成画像生成部2228が生成する合成画像の生成方法を模式的に示す図である。
図21に示すように、合成画像生成部2228は、通常画像Q11、補正画像Q12および強調画像Q13を所定の比率で合成することによって合成画像Q14を生成する。
図21に示すように、合成画像生成部2228は、通常画像Q11、補正画像Q12および強調画像Q13を所定の比率で合成することによって合成画像Q14を生成する。
ステップS107において、表示画像生成部2229は、合成画像生成部2228が生成した合成画像に基づく表示画像を生成して表示装置203へ出力する。図22は、表示装置203が表示する表示画像の一例を示す図である。図22に示すように、術者は、表示画像Q21の一部に写る処置具301の輪郭が強調されているため、超音波プローブ312による処置対象部位100に対する切削を中断することなく行うことができる。ステップS107の後、内視鏡制御装置202は、図13の切削処置のメインルーチンへ戻り、ステップS17へ移行する。
ステップS108において、表示画像生成部2229は、画像生成部2222が生成した通常画像に基づく表示画像を生成して表示装置203へ出力する。ステップS108の後、内視鏡制御装置202は、図13の切削処置のメインルーチンへ戻り、ステップS17へ移行する。
以上説明した実施の形態1によれば、表示画像生成部2229が強調画像生成部2227から入力される強調画像に基づく表示画像を生成して表示装置203に出力するため、内視鏡201における視野が悪化した場合であっても、処置具301の位置を把握することができるため、処置対象部位100への処置を続行することができる。
また、実施の形態1によれば、合成画像生成部2228が補正画像生成部2226によって生成された補正画像と、強調画像生成部2227によって生成さえた強調画像と、を合成した合成画像を生成し、表示画像生成部2229が合成画像に基づく表示画像を生成して表示装置203へ出力する。この結果、術者は、内視鏡201における視野が悪化した場合であっても、処置具301の位置を把握することができるため、処置対象部位100への処置を続行することができる。
また、実施の形態1によれば、濁り判定部2224によって濁りが所定値以上であると判定された場合、表示画像生成部2229が強調画像生成部2227から入力される強調画像に基づく表示画像を生成して表示装置203に出力する一方、濁り判定部2224によって濁りが所定値以上でないと判定された場合、表示画像生成部2229が画像生成部2222によって生成された通常画像に基づく表示画像を出力する。これにより、術者は、内視鏡201の視野に良好な場合、通常画像である表示画像が見ながら処置を行う一方、内視鏡201の視野が不良な場合、処置具301が強調された表示画像を見ながら処置を行うことができる。
なお、実施の形態1では、合成画像生成部2228が画像生成部2222によって生成された通常画像と、強調画像生成部2227によって生成さえた強調画像と、を合成した合成画像を生成し、表示画像生成部2229が合成画像に基づく表示画像を生成して表示装置203へ出力してもよい。
(実施の形態2)
次に、実施の形態2について説明する。上述した実施の形態1では、合成画像生成部2228が通常画像または補正画像と、強調画像と、を合成した合成画像を生成していたが、実施の形態2では、濁りが生じる前の通常画像の処置具の位置と、補正画像に写る処置具の位置とを合わせて合成した合成画像を生成して表示装置へ出力する。具体的には、実施の形態2に係る画像処理部の構成および濁り対応制御処理が異なる。このため、以下においては、実施の形態2に係る画像処理部の構成を説明後、実施の形態2に係る内視鏡制御装置202が実行する濁り対応制御処理について説明する。
次に、実施の形態2について説明する。上述した実施の形態1では、合成画像生成部2228が通常画像または補正画像と、強調画像と、を合成した合成画像を生成していたが、実施の形態2では、濁りが生じる前の通常画像の処置具の位置と、補正画像に写る処置具の位置とを合わせて合成した合成画像を生成して表示装置へ出力する。具体的には、実施の形態2に係る画像処理部の構成および濁り対応制御処理が異なる。このため、以下においては、実施の形態2に係る画像処理部の構成を説明後、実施の形態2に係る内視鏡制御装置202が実行する濁り対応制御処理について説明する。
〔画像処理部の機能構成〕
図23は、実施の形態2に係る画像処理部の機能構成を示すブロック図である。
図23に示す画像処理部222Aは、上述した実施の形態1に係る画像処理部222の構成に加えて、位置検出部2232をさらに備える。
さらに、画像処理部222Aは、上述した実施の形態1に係る合成画像生成部2228に代えて、合成画像生成部2228Aを備える。
図23は、実施の形態2に係る画像処理部の機能構成を示すブロック図である。
図23に示す画像処理部222Aは、上述した実施の形態1に係る画像処理部222の構成に加えて、位置検出部2232をさらに備える。
さらに、画像処理部222Aは、上述した実施の形態1に係る合成画像生成部2228に代えて、合成画像生成部2228Aを備える。
位置検出部2232は、画像生成部2222が生成する通常画像に写る処置具301の一部を検出する。具体的には、位置検出部2232は、画像生成部2222が生成する通常画像または補正画像生成部2226が生成する補正画像と、強調画像生成部2227が生成する強調画像と、に対して、画素毎の特徴量を検出し、この特徴量に基づいて、一致箇所を検出する。ここで、特徴量としては、例えばエッジ成分および輝度成分等である。なお、位置検出部2232は、周知のパターンマッチング処理の技術を用いて通常画像に写る処置具301を検出し、この検出結果を合成画像生成部2228Aへ出力してもよい。
合成画像生成部2228Aは、位置検出部2232が検出した検出結果に基づいて、メモリ2230に記憶された濁りが検出される前の通常画像と、補正画像生成部2226が生成した補正画像と、を合成した合成画像を生成する。
〔濁り対応制御処理の詳細〕
次に、実施の形態2に係る内視鏡制御装置202が実行する濁り対応制御処理の詳細について説明する。
図24は、実施の形態2に係る内視鏡制御装置202のCPU227が、BUSを介して各構成に指示をすることで実行される、濁り対応制御処理の詳細な概要を示すフローチャートである。
次に、実施の形態2に係る内視鏡制御装置202が実行する濁り対応制御処理の詳細について説明する。
図24は、実施の形態2に係る内視鏡制御装置202のCPU227が、BUSを介して各構成に指示をすることで実行される、濁り対応制御処理の詳細な概要を示すフローチャートである。
ステップS201~ステップS204は、上述した図14のステップS101~ステップS104それぞれに対応する。
位置検出部2232は、画像生成部2222が生成する通常画像または補正画像生成部2226が生成する補正画像と、強調画像生成部2227が生成する強調画像と、が一致する一致箇所の位置を検出する(ステップS205)。
続いて、合成画像生成部2228Aは、位置検出部2232が検出した検出結果に基づいて、メモリ2230に記憶された濁りが検出される前の通常画像と、補正画像生成部2226が生成した補正画像と、を合成した合成画像を生成する合成処理を実行する(ステップS206)。ここで、メモリ2230に記憶された濁りが検出される前の通常画像は、本実施の形態2における、強調画像として用いられる。
図25は、合成画像生成部2228Aが生成する合成画像の生成方法を模式的に示す図である。
図25に示すように、合成画像生成部2228Aは、処置具301が駆動し(PW on)、内視鏡201における視野である時間的に連続する通常画像(通常画像Q31~通常画像Q33)に、徐々に濁りが発生し視野が不良の通常画像となった場合(通常画像Q34~通常画像Q38)、位置検出部2232が検出した検出結果に基づいて、メモリ2230に記憶された濁りが検出される前の通常画像(例えば通常画像Q33)と、補正画像生成部2226が生成した補正画像と、を合成して合成画像を順次生成する(合成画像Q41~Q43)。具体的には、合成画像生成部2228Aは、処置具301の駆動信号に基づいて、処置具301による処置対象部位100への処置開始時、処置開始直後および処置開始前のいずれか1つにおけるメモリ2230に記憶された濁りが検出される前の通常画像(例えば通常画像Q33)と、補正画像生成部2226が生成した補正画像と、を合成して合成画像を順次生成する(合成画像Q41~Q43)。これにより、術者は、内視鏡201の視野が不良な状態となった場合であっても、表示装置203によって表示される滑らかな表示画像を見ながら処置具301の輪郭が強調されるため、処置具301による処置対象部位100に対する切削を中断することなく行うことができる。
図25に示すように、合成画像生成部2228Aは、処置具301が駆動し(PW on)、内視鏡201における視野である時間的に連続する通常画像(通常画像Q31~通常画像Q33)に、徐々に濁りが発生し視野が不良の通常画像となった場合(通常画像Q34~通常画像Q38)、位置検出部2232が検出した検出結果に基づいて、メモリ2230に記憶された濁りが検出される前の通常画像(例えば通常画像Q33)と、補正画像生成部2226が生成した補正画像と、を合成して合成画像を順次生成する(合成画像Q41~Q43)。具体的には、合成画像生成部2228Aは、処置具301の駆動信号に基づいて、処置具301による処置対象部位100への処置開始時、処置開始直後および処置開始前のいずれか1つにおけるメモリ2230に記憶された濁りが検出される前の通常画像(例えば通常画像Q33)と、補正画像生成部2226が生成した補正画像と、を合成して合成画像を順次生成する(合成画像Q41~Q43)。これにより、術者は、内視鏡201の視野が不良な状態となった場合であっても、表示装置203によって表示される滑らかな表示画像を見ながら処置具301の輪郭が強調されるため、処置具301による処置対象部位100に対する切削を中断することなく行うことができる。
ステップS206の後、表示画像生成部2229は、合成画像生成部2228が生成した合成画像に基づく表示画像を生成して表示装置203へ出力する(ステップS207)。ステップS206の後、内視鏡制御装置202は、図13の切削処置のメインルーチンへ戻り、ステップS17へ移行する。
ステップS208において、画像処理制御部2231は、画像生成部2222が生成した通常画像である画像データをメモリ2230に記録する。
続いて、表示画像生成部2229は、画像生成部2222が生成した通常画像に基づく表示画像を生成して表示装置203へ出力する(ステップS209)。ステップS209の後、内視鏡制御装置202は、図13の切削処置のメインルーチンへ戻り、ステップS17へ移行する。
以上説明した実施の形態2によれば、上述した実施の形態1と同様の効果を奏し、内視鏡201における視野が悪化した場合であっても、処置具301による処置対象部位100への処置を続行することができる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3では、処置具の先端付近にマークを設け、この処置具の先端付近に設けたマークを検出し、この検出結果に基づいて強調画像を生成する。具体的には、実施の形態3では、画像処理部および処置具の構成が異なる。以下においては、実施の形態3に係る画像処理部および処置具の構成について説明する。なお、上述した実施の形態1に係る処置システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態3について説明する。実施の形態3では、処置具の先端付近にマークを設け、この処置具の先端付近に設けたマークを検出し、この検出結果に基づいて強調画像を生成する。具体的には、実施の形態3では、画像処理部および処置具の構成が異なる。以下においては、実施の形態3に係る画像処理部および処置具の構成について説明する。なお、上述した実施の形態1に係る処置システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔画像処理部の機能構成〕
図26は、実施の形態3に係る画像処理部の機能構成を示すブロック図である。
図26に示す画像処理部222Bは、上述した実施の形態1に係る画像処理部222の構成に加えて、HDR(High Dynamic Range)画像生成部2233を備える。さらに、上述した実施の形態1に係る合成画像生成部2228に代えて、合成画像生成部2228Bを備える。
図26は、実施の形態3に係る画像処理部の機能構成を示すブロック図である。
図26に示す画像処理部222Bは、上述した実施の形態1に係る画像処理部222の構成に加えて、HDR(High Dynamic Range)画像生成部2233を備える。さらに、上述した実施の形態1に係る合成画像生成部2228に代えて、合成画像生成部2228Bを備える。
HDR画像生成部2233は、明暗差がある2つの画像を用いてHDR画像を生成し、このHDR画像を表示画像生成部2229へ出力する。具体的には、明暗差がある2つの通常画像を用いてHDR画像を生成する。
強調画像生成部2227は、HDR画像から、処置具の先端付近のマークに相当する画像領域を検出し、画像データにおけるエッジ視認性の程度に応じて、エッジ強調処理を行った強調画像を生成する。 合成画像生成部2228Bは、HDR画像生成部2233が生成したHDR画像と、少なくとも補正画像生成部2226が生成した補正画像および強調画像生成部2227が生成した強調画像のいずれか一方と、を合成した合成画像を生成する。
〔処理具の構成〕
図27は、実施の形態3に係る処置具の一部の概略構成を示す模式図である。
図27に示す処置具301Bは、上述した実施の形態1に係る処置具301の構成に加えて、長手方向に沿って超音波振動子312aから基端側に設けられた指標部として機能する再帰反射部320を有する。再帰反射部320は、内視鏡201から照射される照明光を反射する。再帰反射部320は、再帰反射部材等を用いて構成される。
図27は、実施の形態3に係る処置具の一部の概略構成を示す模式図である。
図27に示す処置具301Bは、上述した実施の形態1に係る処置具301の構成に加えて、長手方向に沿って超音波振動子312aから基端側に設けられた指標部として機能する再帰反射部320を有する。再帰反射部320は、内視鏡201から照射される照明光を反射する。再帰反射部320は、再帰反射部材等を用いて構成される。
このように構成された画像処理部222Bは、上述した実施の形態1,2と同様の濁り対応制御処理を実行する。この場合、内視鏡201の視野に対応する通常画像は、処置具301Bに再帰反射部320からの反射光によって、白飛びすることで、撮像素子2241のダイナミックレンジが超えたものとなる。そこで、HDR画像生成部2233は、明暗差がある2つの画像を用いてHDR画像を生成することによって、処置具301に再帰反射部320を設けた場合であっても、画像が白飛びすることを防止する。
図28は、内視鏡201の視野に処置具301Bの一部が写る表示画像の一例を示す図である。
図29は、図28の直線A-A’上における位置と輝度との関係を示す図である。
図30は、HDR画像生成部2233が生成するHDR画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図31は、内視鏡201の視野が不良な状態の表示画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図32は、合成画像生成部2228Aが生成する合成画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図29~図32において、横軸が画像上における位置を示し、縦軸が輝度を示す。
また、図29~図32の曲線L5~曲線L8が輝度と各画像上における位置との関係を示す。
図29は、図28の直線A-A’上における位置と輝度との関係を示す図である。
図30は、HDR画像生成部2233が生成するHDR画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図31は、内視鏡201の視野が不良な状態の表示画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図32は、合成画像生成部2228Aが生成する合成画像における図28の直線A-A’と同じ直線上における位置と輝度との関係を示す図である。
図29~図32において、横軸が画像上における位置を示し、縦軸が輝度を示す。
また、図29~図32の曲線L5~曲線L8が輝度と各画像上における位置との関係を示す。
図29の曲線L5および図30の曲線L6に示すように、内視鏡201の視野に対応する通常画像は、処置具301Bに再帰反射部320からの反射光によって、白飛びすることで、撮像素子2241のダイナミックレンジが超えたものとなる。さらに、図31の曲線L7に示すように、内視鏡201の視野が不良の状態の通常画像は、灌流液の白濁によって撮像素子2241のダイナミックレンジが超えたものとなる。
そこで、図32の曲線L8に示すように、HDR画像生成部2233は、明暗差がある2つの補正画像および通常画像を用いてHDR画像を生成することによって、処置具301Bに再帰反射部320を設けた場合であっても、画像が白飛びすることを防止する。
以上説明した実施の形態3によれば、上述した実施の形態1と同様の効果を奏し、内視鏡201における視野が悪化した場合であっても、処置具301Bによる処置対象部位100への処置を続行することができる。
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4では、処理具の動きを検出し、この検出結果を表示する。具体的には、実施の形態4では、画像処理部および処置具の構成が異なる。以下においては、実施の形態4に係る画像処理部および処置具の構成について説明する。なお、上述した実施の形態1に係る処置システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態4について説明する。実施の形態4では、処理具の動きを検出し、この検出結果を表示する。具体的には、実施の形態4では、画像処理部および処置具の構成が異なる。以下においては、実施の形態4に係る画像処理部および処置具の構成について説明する。なお、上述した実施の形態1に係る処置システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔画像処理部の機能構成〕
図33は、実施の形態4に係る画像処理装置の機能構成を示すブロック図である。
図33に示す画像処理部222Cは、上述した実施の形態1に係る画像処理部222の構成に加えて、動き検出部2234をさらに備える。さらに、画像処理部222Cは、合成画像生成部2228に代えて、合成画像生成部2228Cを備える。
図33は、実施の形態4に係る画像処理装置の機能構成を示すブロック図である。
図33に示す画像処理部222Cは、上述した実施の形態1に係る画像処理部222の構成に加えて、動き検出部2234をさらに備える。さらに、画像処理部222Cは、合成画像生成部2228に代えて、合成画像生成部2228Cを備える。
動き検出部2234は、後述する通常画像または補正画像に写る処置具に設けられた目盛り部に基づく処置具の動き量を検出し、この検出結果を合成画像生成部2228Cへ出力する。具体的には、動き検出部2234は、時間的に連続する通常画像または補正画像に写る目盛り部に対して、周知のパターンマッチング等によって目盛り部の目盛りを検出することによって処置具の動き量を検出する。ここで、動き量とは、例えば処置具が処置対象部位100に対して処置を行って超音波振動子312aの先端部が移動する移動量である。
合成画像生成部2228Cは、動き検出部2234の検出結果に基づいて、補正画像または強調画像に処置具の動き量に関する情報を合成した合成画像を生成する。
〔処理具の構成〕
図34は、実施の形態4に係る処置具の一部の概略構成を示す模式図である。
図34に示す処置具301Cは、上述した処置具301の構成に加えて、長手方向に沿って超音波振動子312aから基端側に所定の間隔で形成された指標部340を有する。
図34は、実施の形態4に係る処置具の一部の概略構成を示す模式図である。
図34に示す処置具301Cは、上述した処置具301の構成に加えて、長手方向に沿って超音波振動子312aから基端側に所定の間隔で形成された指標部340を有する。
このように構成された画像処理部222Cは、上述した実施の形態1,2と同様の濁り対応制御処理を実行する。この場合、合成画像生成部2228Cは、動き検出部2234の検出結果に基づいて、補正画像または強調画像に処置具301Cの動き量に関する情報を合成する。表示画像生成部2229は、合成画像生成部2228Cが生成した合成画像を用いて表示画像を生成し、この表示画像を表示装置203へ出力する。これにより、術者は、処置具301Cの処置によって内視鏡201の視野が不良となった場合であっても、処置具301Cの動き量が表示されるため、処置具301Cの動き量(移動量)を把握することができるので、処置具301Cによる処置を中断することなく行うことができる。
以上説明した実施の形態4によれば、上述した実施の形態1と同様の効果を奏し、内視鏡201における視野が悪化した場合であっても、処置具301Cによる処置対象部位100への処置を続行することができる。
(実施の形態1~4に係る変形例)
上述した実施の形態1~4は、内視鏡制御装置202に設定されたモードに応じて、表示画像生成部2229が表示装置203に出力する画像を切り替えていたが、これに限定されることなく、例えば処置具制御装置302から入力される処置具301の駆動信号および同期信号(VT)に基づいて、表示画像生成部2229が表示装置203に出力する画像を切り替えてもよい。具体的には、表示画像生成部2229は、処置具制御装置302から処置具301を駆動する駆動信号および同期信号(VT)のいずれか一方が入力された場合、補正画像、強調画像および合成画像のいずれか一つ以上を表示装置203へ出力する。
上述した実施の形態1~4は、内視鏡制御装置202に設定されたモードに応じて、表示画像生成部2229が表示装置203に出力する画像を切り替えていたが、これに限定されることなく、例えば処置具制御装置302から入力される処置具301の駆動信号および同期信号(VT)に基づいて、表示画像生成部2229が表示装置203に出力する画像を切り替えてもよい。具体的には、表示画像生成部2229は、処置具制御装置302から処置具301を駆動する駆動信号および同期信号(VT)のいずれか一方が入力された場合、補正画像、強調画像および合成画像のいずれか一つ以上を表示装置203へ出力する。
これにより、術者は、その都度、内視鏡制御装置202のモードを変更することなく、表示装置203で表示される表示画像の内容が切り替わるので、煩雑な作業を行うことなく、超音波プローブ312による処置対象部位100に対する切削を行うことができる。
さらに、表示画像生成部2229は、同期信号に従って表示装置203に出力する画像の種類を切り替えるので、表示装置203が表示する画像の種別が滑らかに切り替わるので、術者に違和感を生じさせることを防止することができ、術者の負担を軽減することができる。
(その他の実施の形態)
また、本開示の実施の形態1~4では、灌流液等の液中における骨粉等による濁りに対する処置について説明したが、液中に限定されることなく、気中であっても適用することができる。実施の形態1~3では、関節部位における気中の処置で生じた切削デブリ、脂肪ミスト等による内視鏡の視野領域における視認性の悪化に対しても適用することができる。
また、本開示の実施の形態1~4では、灌流液等の液中における骨粉等による濁りに対する処置について説明したが、液中に限定されることなく、気中であっても適用することができる。実施の形態1~3では、関節部位における気中の処置で生じた切削デブリ、脂肪ミスト等による内視鏡の視野領域における視認性の悪化に対しても適用することができる。
また、本開示の実施の形態1~4では、膝関節における処置について説明したが、膝関節だけでなく、他の部位(Spine等)であっても適用することができる。
また、本開示の実施の形態1~4では、骨粉以外の濁りに対しても適用することができ、例えば、軟組織、滑膜および脂肪等のデブリ、他のノイズ(気泡等のキャビテーション)であっても適用することができる。例えば、実施の形態1~3では、処置具301による処置によって生じる視野劣化要因として、組織片として軟骨のような軟組織、滑膜および脂肪等の切削片によって生じる濁りまたは視野劣化に対しても適用することができる。
また、本開示の実施の形態1~4では、処置具301を用いた液中の処置において、処置具301の超音波振動に伴うキャビテーション等の要因によって生じた微細な泡による視野の劣化に対しても適用することができる。
また、本開示の実施の形態1~4では、比較的大きな組織片によって内視鏡201の視野が遮られる場合であっても適用することができる。この場合、内視鏡制御装置202は、通常画像に基づいて、内視鏡201の視野が遮蔽物によって遮蔽されたか否かを判断し、遮蔽物によって遮蔽されたと判断した場合、周知の技術を用いて遮蔽物を除去する画像処理を行ってもよい。このとき、内視鏡制御装置202は、処置具301による処置領域の大きさおよび処置対象部位100が遮蔽された時間等を用いて、処理に影響しない範囲で画像処理を行ってもよい。
また、本開示の実施の形態1~4に係る処置システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1~3に係る処置システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1~3に係る処置システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態1~4に係る処置システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態1~4に係る処置システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記憶部媒体に記憶部されて提供される。
また、本開示の実施の形態1~4に係る処置システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。
即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。
即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1 処置システム
2 内視鏡装置
3 処置装置
4 ガイディングデバイス
5 灌流装置
6,7 照明装置
7 ネットワーク制御装置
8 ネットワークサーバ
201,201A,201B 内視鏡
202 内視鏡制御装置
203 表示装置
204,2244 撮像部
205 操作入力部
211 挿入部
221 撮像処理部
222 画像処理部
223 濁り検出部
224a 撮像素子
227,315,326,606 CPU
228,316,327,607,2230 メモリ
301,301B,301C 処置具
302 処置具制御装置
303 フットスイッチ
311 処置具本体
312 超音波プローブ
312a 超音波振動子
320 再帰反射部
340 指標部
401 ガイド本体
601 第1照明制御部
602 第2照明制御部
603 第1照明装置
604 第2照明装置
2221 画像データ入力部
2222 画像生成部
2223 濁り検出部
2224 濁り判定部
2225 特徴量検出部
2226 補正画像生成部
2226a 濁り推定部
2226b ヒストグラム生成部
2226c 代表輝度算出部
2226d 補正係数算出部
2226e コントラスト補正部
2227 強調画像生成部
2228,2228A,2228B,2228C 合成画像生成部
2229 表示画像生成部
2231 画像処理制御部
2232 位置検出部
2233 HDR画像生成部
2234 動き検出部
2 内視鏡装置
3 処置装置
4 ガイディングデバイス
5 灌流装置
6,7 照明装置
7 ネットワーク制御装置
8 ネットワークサーバ
201,201A,201B 内視鏡
202 内視鏡制御装置
203 表示装置
204,2244 撮像部
205 操作入力部
211 挿入部
221 撮像処理部
222 画像処理部
223 濁り検出部
224a 撮像素子
227,315,326,606 CPU
228,316,327,607,2230 メモリ
301,301B,301C 処置具
302 処置具制御装置
303 フットスイッチ
311 処置具本体
312 超音波プローブ
312a 超音波振動子
320 再帰反射部
340 指標部
401 ガイド本体
601 第1照明制御部
602 第2照明制御部
603 第1照明装置
604 第2照明装置
2221 画像データ入力部
2222 画像生成部
2223 濁り検出部
2224 濁り判定部
2225 特徴量検出部
2226 補正画像生成部
2226a 濁り推定部
2226b ヒストグラム生成部
2226c 代表輝度算出部
2226d 補正係数算出部
2226e コントラスト補正部
2227 強調画像生成部
2228,2228A,2228B,2228C 合成画像生成部
2229 表示画像生成部
2231 画像処理制御部
2232 位置検出部
2233 HDR画像生成部
2234 動き検出部
Claims (14)
- 少なくともエネルギー処置具によって生体を処置する領域を一部に含む画像データを取得する画像取得部と、
前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出する特徴量検出部と、
前記画像データと、前記特徴量検出部が検出した検出結果と、
に基づいて、
前記領域を他の領域に比して強調した強調画像データを生成する強調画像生成部と、
前記強調画像データに基づく表示画像を生成する表示画像生成部と、
を備える、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記画像データに対応する画像を階調補正することによって補正画像データを生成する補正画像生成部と、
前記補正画像データと、前記強調画像データと、を合成した合成画像データを生成する合成画像生成部と、
をさらに備え、
前記表示画像生成部は、
前記合成画像データに基づく表示画像を生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記検出部は、
前記エネルギー処置具に設けられたマーキング部を検出する、
画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記マーキング部は、
再帰反射部材である、
画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記マーキング部は、
所定の間隔毎に設けられた目盛りである、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記画像取得部が順次取得する前記画像データ毎に濁りを検出する濁り検出部と、
前記濁り検出部の検出毎に前記濁りが所定値以上であるか否かを判定する濁り判定部と、
をさらに備え、
前記表示画像生成部は、
前記濁り判定部によって前記濁りが所定値以上であると判定された場合、前記強調画像データに基づく表示画像を生成する一方、
前記濁り判定部によって前記濁りが所定値以上でないと判定された場合、前記画像データに基づく表示画像を生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記検出部は、
前記画像に含まれるエッジ成分、輝度および動き量のいずれか一つを検出することによって前記領域を検出する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記画像データと、前記強調画像データと、を合成した合成画像データを生成する合成画像生成部をさらに備え、
前記画像取得部は、
前記エネルギー処置具の駆動信号に基づいて、前記エネルギー処置具による処置対象部位への処置開始時および処置開始直後の少なくとも一方の前記画像データを取得し、
前記表示画像生成部は、
前記合成画像データに基づく表示画像を生成する、
画像処理装置。 - 請求項8に記載の画像処理装置であって、
前記画像取得部が順次取得する前記画像データ毎に濁りを検出する濁り検出部と、
前記濁り検出部の検出毎に前記濁りが所定値以上であるか否かを判定する濁り判定部と、
をさらに備え、
前記合成画像生成部は、
前記画像取得部は、
前記濁り判定部によって前記濁りが所定値以上と判定された直前に前記画像取得部が取得した前記画像データと、前記強調画像データと、を合成することによって前記合成画像データを生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記強調画像生成部は、
前記領域に対してエッジ強調処理および階調補正処理の少なくとも一つを行って前記強調画像データを生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記表示画像生成部は、
前記画像データに基づく表示画像および前記強調画像データに基づく表示画像の少なくとも一方を表示装置へ出力する、
画像処理装置。 - 被検体内に挿入可能であり、処置対象部位に対して処置可能であり、前記被検体内に挿入される内視鏡によって撮像されるエネルギー処置具であって、
先端部に設けられ、前記内視鏡によって撮像された画像データに対応する画像内において、当該エネルギー処置具の一部に含む領域を他の領域と比してエッジ成分および輝度を強調することによって検出可能な指標部を備える、
画像処理装置。 - 被検体内に挿入可能であり、処置対象部位に対して処置可能なエネルギー処置具と、
前記被検体内に挿入可能であり、少なくともエネルギー処置具によって生体を処置する領域を撮像して画像データを生成可能な内視鏡と、
前記画像データに対して画像処理を行って表示装置へ出力する画像処理装置と、
を備え、
前記画像処理装置は、
前記画像データを取得する画像取得部と、
前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出する特徴量検出部と、
前記画像データと、前記特徴量検出部が検出した検出結果と、に基づいて、前記領域を他の領域に比して強調した強調画像データを生成する強調画像生成部と、
前記強調画像データに基づく表示画像を生成する表示画像生成部と、
を備える、
処置システム。 - ハードウェアを有するプロセッサが備える画像処理装置が実行する画像処理方法であって、
前記プロセッサが、
少なくともエネルギー処置具によって生体を処置する領域を一部に含む画像データを取得し、
前記画像データに対応する画像から前記エネルギー処置具の少なくとも一部を含む領域を検出し、
前記画像データと、前記領域の検出結果と、に基づいて、前記領域を他の領域に比して強調した強調画像データを生成し、
前記強調画像データに基づく表示画像を生成する、
ことを実行する、
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/010712 WO2023170889A1 (ja) | 2022-03-10 | 2022-03-10 | 画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/010712 WO2023170889A1 (ja) | 2022-03-10 | 2022-03-10 | 画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023170889A1 true WO2023170889A1 (ja) | 2023-09-14 |
Family
ID=87936437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/010712 WO2023170889A1 (ja) | 2022-03-10 | 2022-03-10 | 画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023170889A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08164148A (ja) * | 1994-12-13 | 1996-06-25 | Olympus Optical Co Ltd | 内視鏡下手術装置 |
JPH10276974A (ja) * | 1997-04-03 | 1998-10-20 | Olympus Optical Co Ltd | 内視鏡装置 |
WO2011118287A1 (ja) * | 2010-03-24 | 2011-09-29 | オリンパス株式会社 | 内視鏡装置 |
JP2013202313A (ja) * | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
WO2018169003A1 (ja) * | 2017-03-15 | 2018-09-20 | ソニー株式会社 | 撮像装置、映像信号処理装置および映像信号処理方法 |
US20180271615A1 (en) * | 2017-03-21 | 2018-09-27 | Amit Mahadik | Methods and systems to automate surgical interventions |
-
2022
- 2022-03-10 WO PCT/JP2022/010712 patent/WO2023170889A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08164148A (ja) * | 1994-12-13 | 1996-06-25 | Olympus Optical Co Ltd | 内視鏡下手術装置 |
JPH10276974A (ja) * | 1997-04-03 | 1998-10-20 | Olympus Optical Co Ltd | 内視鏡装置 |
WO2011118287A1 (ja) * | 2010-03-24 | 2011-09-29 | オリンパス株式会社 | 内視鏡装置 |
JP2013202313A (ja) * | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
WO2018169003A1 (ja) * | 2017-03-15 | 2018-09-20 | ソニー株式会社 | 撮像装置、映像信号処理装置および映像信号処理方法 |
US20180271615A1 (en) * | 2017-03-21 | 2018-09-27 | Amit Mahadik | Methods and systems to automate surgical interventions |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785941B2 (ja) | 内視鏡システム及びその作動方法 | |
US8996086B2 (en) | Digital mapping system and method | |
US11123150B2 (en) | Information processing apparatus, assistance system, and information processing method | |
EP2687145B1 (en) | Image processing equipment and endoscopic system | |
JP5438571B2 (ja) | 電子内視鏡システム | |
CN110709001B (zh) | 医疗系统、医疗设备和控制方法 | |
US10426318B2 (en) | Image processing apparatus, endoscope system, and image processing method | |
US20170258296A1 (en) | Image processor, image processing method, and endoscope system | |
EP2754380A1 (en) | Fluorescence observation device | |
US20100168584A1 (en) | Biological observation apparatus, biological observation method, and endoscopic apparatus | |
JP7373335B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム | |
JP2007075366A (ja) | 赤外観察システム | |
JP2007244746A (ja) | 観察システム | |
US20180206738A1 (en) | Endoscope system and method of operating endoscope system | |
EP3875021A1 (en) | Medical image processing apparatus, medical image processing method and program, and diagnosis assisting apparatus | |
WO2022054400A1 (ja) | 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム | |
WO2020067100A1 (ja) | 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム | |
JP7507797B2 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体 | |
US20190357759A1 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP2015173737A (ja) | 生体観察システム | |
US20230414242A1 (en) | Treatment system, control device, and method of operating the treatment system | |
JP4981335B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
WO2021095697A1 (ja) | 情報処理装置、生成方法及び生成プログラム | |
JP6210923B2 (ja) | 生体観察システム | |
US20230414241A1 (en) | Treatment system and method of operating the treatment system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22930870 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2024505781 Country of ref document: JP Kind code of ref document: A |