WO2020208770A1 - 内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム - Google Patents
内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム Download PDFInfo
- Publication number
- WO2020208770A1 WO2020208770A1 PCT/JP2019/015752 JP2019015752W WO2020208770A1 WO 2020208770 A1 WO2020208770 A1 WO 2020208770A1 JP 2019015752 W JP2019015752 W JP 2019015752W WO 2020208770 A1 WO2020208770 A1 WO 2020208770A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- state
- wavelength
- living body
- narrow
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
- A61B1/2736—Gastroscopes
Definitions
- the present invention relates to an endoscope device, a control device, an operation method and a program of the endoscope device, and the like.
- Patent Document 1 In an endoscope device, a method is known that makes it easy to find or diagnose a specific part by irradiating a special light composed of narrow band light or the like.
- a conventional technique using such special light is disclosed in, for example, Patent Document 1.
- the endoscopic system of Patent Document 1 analyzes the image data of the observed image, determines the type of the observed site based on the density of blood vessels in each layer of the mucous membrane, and determines the type of the observed site according to the determined type of the observed site. Select the optimum illumination light.
- the depth reached is determined according to the wavelength of the illumination light.
- the degree of scattering of illumination light may differ before and after the change. That is, even in the same type of site, the amount of light reaching a predetermined depth in the tissue changes before and after the histological change occurs. Therefore, there is a problem that the appearance of the image changes before and after the histological change occurs.
- sterilization of the gastric mucosa causes histological changes in the surface layer of the gastric mucosa.
- the light that reaches the original predetermined depth is hard to reach due to the increase in scattering, so that the blood vessels in the mucous membrane at the predetermined depth are blurred and difficult to see.
- One aspect of the present invention is a light source unit that generates narrow-band light having a peak wavelength between the wavelength band including the maximum and the wavelength band including the minimum in terms of the absorption characteristics of hemoglobin, and the illumination light is irradiated.
- the state of the living body is identified by using the imaging unit that captures the return light from the living body and outputs the imaging signal and the image captured by the imaging signal, and the state identification information indicating the state of the living body is output.
- the present invention relates to an endoscopic apparatus including a processing unit that controls the wavelength characteristic of the illumination light based on the state identification information.
- the processing unit includes an image pickup signal receiving unit that receives an image pickup signal from an image pickup unit that has imaged the return light from the living body irradiated with the illumination light, and the processing unit uses the image pickup image generated by the image pickup signal. It relates to a control device that identifies the state of a living body, outputs state identification information indicating the state of the living body, and controls the wavelength characteristic of the illumination light based on the state identification information.
- narrow-band light having a peak wavelength between the wavelength band including the maximum value and the wavelength band including the minimum value is generated as illumination light in terms of the absorption characteristics of hemoglobin, and the illumination light is irradiated.
- the return light from the living body is imaged and an imaging signal is output, the state of the living body is identified using the captured image generated by the imaging signal, and the state identification information indicating the state of the living body is output. It relates to a method of operating an endoscope device that controls the wavelength characteristic of the illumination light based on the state identification information.
- a narrow band light having a peak wavelength between the wavelength band including the maximum value and the wavelength band including the minimum value is generated in the light source unit as illumination light in terms of the absorption characteristics of hemoglobin, and the illumination light is generated.
- An imaging signal is output by causing the imaging unit to image the return light from the living body irradiated with the light source, and the state of the living body is identified by using the image captured by the imaging signal to indicate the state of the living body. It relates to a program that outputs identification information and causes a computer to perform a step of controlling the wavelength characteristic of the illumination light based on the state identification information.
- Configuration example of the endoscope device Detailed configuration example of the light source unit. An example of the wavelength characteristics of narrow-band light generated by the light source. An example of the wavelength characteristics of narrow-band light generated by the light source. An example of the wavelength characteristics of narrow-band light generated by the light source. Detailed configuration example of the processing unit. A flowchart illustrating a processing procedure performed by the processing unit. A flowchart illustrating a processing procedure performed by the processing unit. A flowchart illustrating a processing procedure performed by the processing unit.
- FIG. 1 is a configuration example of an endoscope device.
- the endoscope device includes an imaging unit 200, a control device 300, a display unit 400, an external I / F unit 500, and a light source unit 100.
- As the endoscope device for example, a flexible mirror used for a digestive tract or the like and a rigid mirror used for a laparoscope or the like can be assumed, but the endoscope device is not limited thereto.
- the light source unit 100 is a device that generates illumination light.
- the light source unit 100 is also called a light source device.
- the light source unit 100 generates white light and special light as illumination light.
- the light source unit 100 generates white light in the WLI (White Light Imaging) mode, and generates special light in the special light mode.
- the special light mode is, for example, an NBI (Narrow Band Imaging) mode in which blue narrow band light and green narrow band light are used as illumination light.
- the emission timing of the illumination light may be either a simultaneous type in which a plurality of light sources are simultaneously emitted, or a surface sequential type in which a plurality of light sources are sequentially emitted.
- the imaging unit 200 is a portion that is inserted into the body and images a subject.
- the imaging unit 200 is also called a scope.
- the image pickup unit 200 includes a light guide 210, an illumination lens 220, an objective lens 230, and an image pickup element 240.
- the image sensor 240 is also called an image sensor.
- the imaging unit 200 has a connector (not shown), and the connector is attached to and detached from the control device 300.
- the light guide 210 guides the illumination light from the light source unit 100 to the tip of the image pickup unit 200.
- the illumination lens 220 irradiates the subject with the illumination light guided by the light guide 210.
- the subject is a living body.
- the subject in an endoscopic device for the upper gastrointestinal tract, the subject is a mucous membrane such as the stomach or esophagus.
- the reflected light from the subject is incident on the objective lens 230.
- the subject image is imaged by the objective lens 230, and the image sensor 240 images the subject image.
- the image sensor 240 captures the return light from the subject irradiated with the illumination light and outputs an imaging signal.
- the image sensor 240 may be either a color image sensor provided with a color filter for each pixel or a monochrome image sensor.
- the color image sensor is, for example, a Bayer type image sensor having a Bayer array color filter, or a complementary color image sensor having a complementary color filter.
- the imaging unit 200 includes an A / D conversion circuit.
- the A / D conversion circuit A / D converts the analog image pickup signal from the image pickup element 240 into a digital image pickup signal.
- the A / D conversion circuit is built in, for example, the image sensor 240.
- the control device 300 performs signal processing including image processing. Further, the control device 300 controls each part of the endoscope device.
- the control device 300 is also called a processing device or a processor unit.
- the control device 300 includes a processing unit 310 and an imaging signal receiving unit 330.
- the processing unit 310 is also called a processing circuit or a processor.
- the image pickup signal receiving unit 330 receives the image pickup signal from the image pickup element 240.
- the image pickup signal receiving unit 330 is, for example, a connector for connecting the image pickup unit 200 and the control device 300, an interface circuit for receiving the image pickup signal, a preprocessing circuit for generating image data from the image pickup signal, and the like.
- the image pickup signal receiving unit 330 and the processing unit 310 may be realized by separate hardware, or may be realized by integrated hardware.
- the processing unit 310 generates a display image by performing image processing based on the image pickup signal received by the image pickup signal reception unit 330, and outputs the display image to the display unit 400. Further, the processing unit 310 controls each unit of the endoscope device. Specifically, the processing unit 310 controls the wavelength characteristics of the illumination light, the light emission timing of the light source, and the image pickup timing of the image pickup element 240. For example, the user operates the external I / F unit 500 to switch between the WLI mode and the special light mode. For example, when the special light mode is set, the processing unit 310 instructs the light source unit 100 to emit special light, generates a special light image from the imaging signal, and outputs the special light image to the display unit 400. When the WLI mode is set, the processing unit 310 instructs the light source unit 100 to emit white light, generates a white light image from the imaging signal, and outputs the white light image to the display unit 400.
- the display unit 400 is a device that displays the display image from the processing unit 310.
- the display unit 400 is, for example, a liquid crystal display device or the like.
- the external I / F unit 500 is a device that receives operations on the endoscope device from the user.
- the external I / F unit 500 is a button, a dial, a pointing device, a touch panel, a foot switch, or the like.
- FIG. 2 is a detailed configuration example of the light source unit 100.
- the light source unit 100 includes a drive unit 110, light sources LDV1, LDV2, LDG, LDW, and a combine unit 120.
- a control signal instructing the light emission timing and the amount of light of each light source is input to the drive unit 110 from the light source control unit 312.
- the light source control unit 312 is included in the processing unit 310.
- the drive unit 110 drives the light sources LDV1, LDV2, LDG, and LDW based on the control signal from the light source control unit 312.
- the drive unit 110 causes the light source to emit light by supplying a drive current to the light source.
- Each of the light sources LDV1, LDV2, LDG, and LDW generates light having a predetermined wavelength characteristic.
- the light sources LDV1, LDV2, and LDG generate first narrow-band light, second narrow-band light, and third narrow-band light, respectively.
- the half width of narrow band light is, for example, several nm to several tens of nm.
- the light source LDW generates white light.
- White light has a continuous spectrum in the visible light band.
- the white light may be composed of a plurality of bands of light.
- Each light source is, for example, an LED or a laser.
- the LDW which is a white light source may be a xenon lamp or the like.
- the light sources LDV1, LDV2, and LDG may be realized by a white light source and an optical filter that passes each narrow band light.
- the combiner 120 combines the light emitted by the light sources LDV1, LDV2, LDG, and LDW, and causes the combined light to enter the light guide 210.
- the combiner 120 is composed of, for example, a dichroic mirror and a lens.
- the combiner 120 may be an optical fiber that emits light incident from a plurality of incident ends to one emitting end.
- FIG. 3 and 4 are examples of wavelength characteristics of narrow-band light generated by the light source unit 100.
- FIG. 3 is an example of wavelength characteristics when the light sources LDV1 and LDG are emitting light
- FIG. 4 is an example of wavelength characteristics when the light sources LDV2 and LDG are emitting light.
- the light source unit 100 generates narrow-band light having a peak wavelength between the wavelength band including the maximum and the wavelength band including the minimum on the extinction coefficient HBC of hemoglobin.
- the maximum in the absorption coefficient HBC is around 415 nm, and the minimum is around 500 nm.
- the wavelength band including the maximum is a predetermined wavelength range including the maximum, and the wavelength band including the minimum is a predetermined wavelength range including the minimum.
- the wavelength band including the maximum to the wavelength band including the minimum is, for example, 400 nm to 520 nm.
- the light sources LDV1 and LDV2 generate the first narrow-band light NV1 and the second narrow-band light NV2, respectively.
- the first narrow band light NV1 has a peak wavelength in the blue region.
- the second narrow-band light NV2 has a peak wavelength on the longer wavelength side than the first narrow-band light in the blue region.
- NV1 has a peak wavelength of 415 nm and NV2 has a peak wavelength of 430 nm.
- the peak wavelength of NV1 is 415 nm, which is the peak wavelength of blue narrow-band light used in ordinary NBI.
- the peak wavelength of NV2, 430 nm is obtained by shifting the peak wavelength of NV1 of 415 nm to the longer wavelength side.
- the peak wavelength of NV1 may be in the range of 400 nm to 420 nm, and the peak wavelength of NV2 may be in the range of 420 nm to 450 nm.
- the light source LDG generates the third narrow band light NG.
- the third narrow band light NG has a peak wavelength in the green region.
- the third narrow band light NG has a peak wavelength of 540 nm.
- the NG peak wavelength of 540 nm is the peak wavelength of green narrow-band light used in ordinary NBI.
- the peak wavelength of NG may be in the range of 530 to 550 nm.
- the light amount ratio of NV1 and NG and the light amount ratio of NV2 and NG may be arbitrary.
- FIG. 5 is an example of wavelength characteristics when the light sources LDV1, LDV2, and LDG are emitting light.
- ⁇ be a weighting coefficient of the amount of light of the second narrow-band light NV2 with respect to the amount of light of the first narrow-band light NV1.
- the light intensity ratio of NV1 and NV2 is expressed as (1- ⁇ ): ⁇ , where ⁇ is a real number of 0 ⁇ ⁇ ⁇ 1.
- the first narrow band light NV1 and the second narrow band light NV2 having a peak wavelength on the longer wavelength side than the first narrow band light NV1 are used. Since NV2 has a longer wavelength than NV1, the degree of scattering in the tissue is smaller than NV1 and reaches deeper from the tissue surface than NV1.
- the two narrow-band lights having different degrees of scattering in this way it is possible to perform appropriate illumination even when the scattering state is different before and after the histological change.
- this point will be described together with the operation description of the processing unit 310.
- FIG. 6 is a detailed configuration example of the processing unit 310.
- the processing unit 310 includes a state identification unit 311, a light source control unit 312, and an image output unit 313.
- the state identification unit 311 identifies the state of the living body using the captured image generated by the image pickup signal, and outputs the state identification information as a result.
- the state identification unit 311 may generate an captured image for the identification process, or may use the captured image generated by the image output unit 313.
- the light source control unit 312 controls the wavelength characteristics of the illumination light based on the state identification information. Specifically, the light source control unit 312 switches between the first narrow-band light NV1 and the second narrow-band light NV2 as shown in FIGS. 3 and 4. Alternatively, the light source control unit 312 changes the weighting of the first narrow band light NV1 and the second narrow band light NV2 as shown in FIG.
- the state identification unit 311 can identify whether it is the state before the change or the state after the change. Then, the light source control unit 312 can control the wavelength characteristic of the illumination light based on the identification result. This makes it possible to perform appropriate lighting according to the state of the living body. Specifically, when the subject of interest is difficult to see due to a change in the scattering state, the degree of scattering can be changed by changing the wavelength of the narrow band light. As a result, the visibility of the subject of interest can be restored.
- narrow-band light has a peak wavelength between the wavelength band including the maximum and the wavelength band including the minimum in terms of the absorption characteristics of hemoglobin. That is, the peak wavelength of narrow-band light is controlled in the wavelength region where the absorption of hemoglobin is relatively large.
- the subject of interest is a subject containing hemoglobin, and is typically a blood vessel.
- Narrow-band light can capture a blood vessel image at a depth corresponding to its peak wavelength, but the visibility of the blood vessel image deteriorates when the light scattering state changes. At this time, by changing the peak wavelength, it is possible to make the light reach the blood vessel, and the visibility of the blood vessel image can be improved.
- the state of the living body is a state in the same type of part, and at least the scattering intensity of light changes before and after the state change. More specifically, the state of the living body is a state accompanied by histological changes before and after the change of state.
- the histological change for example, a change in the thickness of the tissue, a change in the intercellular connection of the tissue, or the like can be assumed.
- the state identification information is information indicating the state of the identified living body.
- the state identification unit 311 identifies which of the plurality of states is, and outputs a flag, an index, identification data, or the like indicating the identified state as state identification information.
- the first narrow-band light NV1 has a peak wavelength in the blue region
- the second narrow-band light NV2 has a peak wavelength on the longer wavelength side than the first narrow-band light NV1. That is, the light source control unit 312 controls the wavelength characteristics of the illumination light by shifting the peak wavelength in the blue region to the longer wavelength side.
- the first narrow band light NV1 has a peak wavelength in the blue region, it is possible to image a blood vessel image on the tissue surface layer such as the mucosal surface layer.
- the contrast of the blood vessel image decreases due to the scattering, or the scattered light makes the lesion look similar to another type of lesion.
- the illumination light reaches the depth of the blood vessel that should originally reach, so that the contrast of the blood vessel image can be improved, or the type of lesion or the like can be easily identified.
- the peak wavelength of the first narrow band light NV1 is in the range of 400 nm to 420 nm.
- the state identification unit 311 identifies whether or not the gastric mucosa is in a state after sterilization by using at least an image captured by the first narrow band light NV1 and the third narrow band light NG.
- the first narrow band light NV1 can photograph surface blood vessels such as mucous membranes with high contrast.
- special light observation called NBI becomes possible.
- NBI is used for diagnosis of gastric cancer, but the visibility of gastric cancer is different before and after eradication of Helicobacter pylori. Specifically, the histological change in the gastric mucosa caused by the eradication increases the degree of scattering of the first narrow band light NV1 in the gastric mucosa, making it difficult for the first narrow band light NV1 to reach the surface blood vessels.
- inflammation of the gastric mucosa appears as a white zone, but gastric cancer after eradication may appear as a pseudo white zone.
- a white zone is an area that looks whiter than the surrounding area. If a white zone is visible, doctors suspect inflammation of the gastric mucosa, making it difficult to distinguish between gastric cancer and inflammation after eradication.
- the light source control unit 312 when the state identification unit 311 identifies that the gastric mucosa is in the state after sterilization, the light source control unit 312 has a second narrow band light NV2 having a wavelength longer than that of the first narrow band light NV1. Can occur. As a result, the second narrow-band light NV2 reaches the surface blood vessels, so that the visibility of gastric cancer after sterilization can be improved.
- the light source unit 100 may generate a first illumination light including narrow band light and a second illumination light which is white light. Even if the state identification unit 311 identifies the state of the living body using the captured image captured by the second illumination light, and the light source control unit 312 controls the wavelength characteristics of the first illumination light based on the state identification information. Good.
- the biological state can be accurately identified. Then, by controlling the wavelength of the special light according to the identification result, it is possible to realize the wavelength selection suitable for the biological state with higher accuracy.
- the state identification unit 311 may identify the inflamed mucosa. That is, the state identification unit 311 may identify whether or not inflammation is present in the mucous membrane shown in the image.
- the inflamed mucosa scatters more light than the normal mucosa, so it looks like a white zone in NBI observation. Therefore, the visibility of blood vessels or lesions existing under the inflamed mucosa is reduced. Since the inflamed mucosa appears as a region with strong redness in the white light image, it can be identified from the color of the image and the like. Then, when the inflamed mucosa is detected, the light source control unit 312 emits the second narrow band light NV2, so that the second narrow band light NV2 can reach under the inflamed mucosa. This makes it possible to improve the visibility of blood vessels or lesions existing under the inflamed mucosa in NBI observation.
- the light source control unit 312 sets the weight coefficient ⁇ as the first weight coefficient.
- ⁇ is a weighting coefficient of the amount of light of the second narrow-band light NV2 with respect to the amount of light of the first narrow-band light NV1.
- the light source control unit 312 sets the weight coefficient ⁇ to a second weight coefficient larger than the first weight coefficient.
- the second state is a state in which the scattering of illumination light in the mucous membrane of a living body is stronger than that in the first state.
- the weight of the second narrow band light NV2 on the long wavelength side can be increased.
- the degree of scattering of narrow-band light in the mucous membrane is reduced, so that visibility of surface blood vessels and the like can be ensured in the second state as in the first state.
- the state identification unit 311 may estimate the degree of proximity between the imaging unit 200 and the living body.
- the light source control unit 312 may control the wavelength characteristic of the illumination light based on the state identification information and the degree of proximity.
- the degree of proximity is the distance between the tip of the scope and the surface of the subject. For example, the degree of proximity is estimated from the focus position of the objective lens 230, the zoom magnification of the objective lens 230, and the like.
- the doctor performs screening while moving the scope in the living body, and when a region suspected to be a lesion or the like is found in the screening, the scope is brought close to the region and closely observed.
- the wavelength characteristic of the illumination light using the degree of proximity, it is possible to control the wavelength in conjunction with the observation state.
- normal NBI illumination may be performed regardless of the state of the living body, and the weighting coefficient ⁇ of the second narrow band light NV2 may be increased when a predetermined state such as mucous membrane after sterilization is detected in close examination. ..
- an identification method using an image recognition algorithm or an identification method using machine learning such as AI can be adopted.
- the image recognition algorithm detects the state of the living body based on, for example, the feature amount of the image or the shape of the subject.
- the feature amount is, for example, the color or brightness of an image.
- the shape of the subject is, for example, a blood vessel structure or a mucosal surface structure.
- the structure of the mucosal surface is a lesion shape such as atrophy or polyp of the gastric mucosa.
- a learning model is trained using a learning image of a living body and a correct answer label attached to the learning image as teacher data.
- the correct label is created by a doctor or the like.
- the correct label is a label indicating whether or not the gastric mucosa is sterilized, or a label indicating whether or not inflammation is present in the mucosa.
- the learning model includes inference algorithms and parameters.
- the inference algorithm various machine learning algorithms such as a neural network or a support vector machine can be adopted.
- the parameters are those used in the inference algorithm, such as the internode weighting factor in the neural network.
- the learning model after learning is called a trained model.
- the state identification unit 311 identifies the state of the living body from the captured image using the trained model.
- the trained model may be implemented as a program or as hardware. When the trained model is described by a program, the function of the state identification unit 311 is realized by executing the program by the processor.
- the image output unit 313 generates a display image from the imaging signal and outputs the display image to the display unit 400.
- the R channel, G channel, and B channel of the imaging signal are input to the R channel, G channel, and B channel of the displayed image, respectively.
- the B channel of the image pickup signal is input to the B channel and the G channel of the display image
- the G channel of the image pickup signal is input to the R channel of the display image.
- the image output unit 313 further performs interpolation processing and the like.
- the WLI mode and the NBI mode may be set, for example, from the user via the external I / F unit 500, or may be set according to the degree of proximity between the scope and the subject as described with reference to FIG.
- the image output unit 313 generates a display image based on these mode settings.
- the control device 300 including the processing unit 310 may be configured as follows. That is, the control device 300 includes a memory that stores information and a processor that operates based on the information stored in the memory.
- the information is, for example, a program and various data.
- the processor includes hardware. The processor identifies the state of the living body using the captured image generated by the image pickup signal, outputs the state identification information indicating the state of the living body, and controls the wavelength characteristic of the illumination light based on the state identification information.
- a processor includes hardware, which hardware can include at least one of a circuit that processes a digital signal and a circuit that processes an analog signal.
- a processor can be composed of one or more circuit devices mounted on a circuit board or one or more circuit elements.
- One or more circuit devices are, for example, ICs and the like.
- One or more circuit elements are, for example, resistors, capacitors and the like.
- the processor may be, for example, a CPU (Central Processing Unit).
- the processor is not limited to the CPU, and various processors such as GPU (Graphics Processing Unit) or DSP (Digital Signal Processor) can be used.
- the processor may be an integrated circuit device such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
- the processor may include an amplifier circuit, a filter circuit, and the like for processing an analog signal.
- the memory may be a semiconductor memory such as SRAM or DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. You may.
- the memory stores instructions that can be read by a computer, and when the instructions are executed by the processor, the function of the processing unit 310 is realized as processing.
- the instruction here may be an instruction of an instruction set constituting a program, or an instruction instructing an operation to a hardware circuit of a processor.
- the program that realizes the processing performed by the processing unit 310 can be stored in, for example, an information storage medium that is a medium that can be read by a computer.
- the information storage medium can be realized by, for example, an optical disk, a memory card, an HDD, a semiconductor memory (ROM), or the like.
- the semiconductor memory is, for example, a ROM.
- the processing unit 310 performs various processes of the present embodiment based on the program and data stored in the information storage medium. That is, the information storage medium stores a program for operating the computer as the processing unit 310.
- a computer is a device including an input device, a processing unit, a storage unit, and an output unit.
- the procedure of the processing performed by the processing unit 310 will be described with reference to the flowcharts of FIGS. 7 to 9.
- a case of switching between the first narrow band light NV1 and the second narrow band light NV2 according to the state of the living body will be described as an example, but the first narrow band light NV1 and the second narrow band light NV1 and the second narrow band light will be described according to the state of the living body.
- the light amount ratio of NV2 may be switched.
- FIG. 7 is a flowchart showing a processing procedure when identifying a biological state in NBI observation.
- step S1 the light source control unit 312 causes the light source unit 100 to emit the first narrow band light NV1 and the third narrow band light NG.
- step S2 the image sensor 240 takes an image, and the image pickup signal receiving unit 330 receives the image pickup signal.
- step S3 the state identification unit 311 determines the color tone of the mucous membrane from the captured image. Specifically, the state identification unit 311 determines whether or not white in the white zone is present in the NBI image. In step S4, the state identification unit 311 identifies whether or not the mucous membrane is sterilized from the result of the color tone determination. Since gastric cancer appears as a pseudo white zone in the post-sterilization mucosa, the post-sterilization mucosa can be identified by detecting the white zone. Note that state identification using machine learning may be performed in steps S3 and S4.
- step S4 If it is determined in step S4 that the mucosa is not sterilized, steps S1 to S4 are executed again. If it is determined in step S4 that the mucous membrane is sterilized, the light source control unit 312 switches the wavelength characteristic setting between the second narrow band light NV2 and the third narrow band light NG in step S5. In step S6, the light source control unit 312 causes the light source unit 100 to emit the second narrow band light NV2 and the third narrow band light NG. In step S7, the image sensor 240 takes an image, the image pickup signal receiving unit 330 receives the image pickup signal, and the process returns to step S6.
- FIG. 8 is a flowchart showing a processing procedure when identifying a biological state in WLI observation.
- step S21 the light source control unit 312 causes the light source unit 100 to emit white light.
- step S22 the image sensor 240 takes an image, and the image pickup signal receiving unit 330 receives the image pickup signal.
- step S23 the state identification unit 311 determines the color tone of the mucous membrane from the captured image. Specifically, the state identification unit 311 determines whether or not the red color of the inflamed mucosa is present in the white light image. In step S24, the state identification unit 311 identifies whether or not the mucous membrane is inflamed from the result of the color tone determination. Note that state identification using machine learning may be performed in steps S23 and S24.
- step S25 the light source control unit 312 sets the wavelength characteristics in the NBI mode to the second narrow band light NV2 and the third narrow band light NG. If it is determined in step S24 that the mucosa is not inflamed, the light source control unit 312 sets the wavelength characteristics in the NBI mode to the first narrow band light NV1 and the third narrow band light NG in step S26.
- step S27 the light source control unit 312 determines whether or not the WLI mode has been switched to the NBI mode. Specifically, it is determined whether or not the operation of switching to the NBI mode has been performed via the external I / F unit 500.
- step S27 If the WLI mode is determined in step S27, the process returns to step S21.
- step S28 the light source control unit 312 causes the light source unit 100 to emit narrow band light according to the wavelength characteristics set in step S25 or S26.
- step S29 the image sensor 240 takes an image, the image pickup signal receiving unit 330 receives the image pickup signal, and returns to step S28.
- FIG. 9 is a flowchart showing a processing procedure when switching wavelength characteristics using state identification information and proximity degree.
- step S41 the light source control unit 312 causes the light source unit 100 to emit the first narrow band light NV1 and the third narrow band light NG.
- step S42 the image sensor 240 takes an image, and the image pickup signal receiving unit 330 receives the image pickup signal.
- step S43 the state identification unit 311 determines the color tone of the mucous membrane from the captured image.
- step S44 the state identification unit 311 identifies whether or not the mucous membrane is sterilized from the result of the color tone determination.
- step S44 If it is determined in step S44 that the mucosa is not sterilized, steps S41 to S44 are executed again. If it is determined in step S44 that the mucous membrane is after sterilization, in step S45, the light source control unit 312 determines whether or not the tip of the scope and the subject are close to each other. For example, the focus position or zoom magnification of the objective lens 230 is operated via the external I / F unit 500. The light source control unit 312 determines the degree of proximity based on the focus position or zoom magnification set by this operation.
- step S45 If it is determined in step S45 that the tip of the scope and the subject are not close to each other, steps S41 to S44 are executed again.
- step S46 the light source control unit 312 sets the wavelength characteristics in the NBI mode to the second narrow band light NV2 and the third narrow band light NG. Switch to.
- step S47 the light source control unit 312 causes the light source unit 100 to emit the second narrow band light NV2 and the third narrow band light NG.
- step S48 the image sensor 240 takes an image, the image pickup signal receiving unit 330 receives the image pickup signal, and returns to step S47.
- the present invention is not limited to the respective embodiments and the modified examples as they are, and at the embodiment, the gist of the invention is not deviated.
- the components can be transformed and embodied with.
- various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiments and modifications. For example, some components may be deleted from all the components described in each embodiment or modification. Further, the components described in different embodiments and modifications may be combined as appropriate. In this way, various modifications and applications are possible within a range that does not deviate from the gist of the invention.
- a term described at least once in the specification or drawing together with a different term having a broader meaning or a synonym may be replaced with the different term at any part of the specification or drawing.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Gastroenterology & Hepatology (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
内視鏡装置は、光源部(100)と撮像部(200)と処理部(310)とを含む。光源部(100)は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として発生する。撮像部(200)は、照明光が照射された生体からの戻り光を撮像して撮像信号を出力する。処理部(310)は、撮像信号により生成された撮像画像を用いて生体の状態を識別し、生体の状態を示す状態識別情報を出力し、状態識別情報に基づいて照明光の波長特性を制御する。
Description
本発明は、内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム等に関する。
内視鏡装置において、狭帯域光等によって構成された特殊光を照射することで、特定部位を発見又は診断しやすくする手法が知られている。このような特殊光を用いた従来技術は例えば特許文献1に開示されている。特許文献1の内視鏡システムは、観察画像の画像データを解析し、粘膜の各層にある血管の密度に基づいて被観察部位の種類を判別し、その判別した被観察部位の種類に応じて最適な照明光を選択する。
粘膜等の組織において、照明光の波長に応じて到達する深さが決まっている。しかしながら、生体に組織学的な変化が生じると、その変化の前後において照明光が散乱される程度が異なる場合がある。即ち、同一種類の部位であっても、組織学的な変化が生じる前と後では、組織内の所定深さに到達する光量が変化してしまう。このため、組織学的な変化が生じる前と後で画像の見え方が変化するという課題がある。
例えば、胃粘膜の除菌により胃粘膜表層部に組織学的変化が発生する。この場合、本来の所定深さに到達する光が、散乱の増加により到達しにくくなるため、所定深さの粘膜内の血管がぼけて見えにくくなる。
本発明の一態様は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として発生する光源部と、前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力する撮像部と、前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御する処理部と、を含む内視鏡装置に関係する。
また本発明の他の態様は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を、照明光として光源部に発生させる処理部と、前記照明光が照射された生体からの戻り光を撮像した撮像部から撮像信号を受信する撮像信号受信部と、を含み、前記処理部は、前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御する制御装置に関係する。
また本発明の更に他の態様は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として発生し、前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力し、前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御する内視鏡装置の作動方法に関係する。
また本発明の更に他の態様は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として光源部に発生させ、前記照明光が照射された生体からの戻り光を撮像部に撮像させることで撮像信号を出力させ、前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御するステップを、コンピュータに実行させるプログラムに関係する。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.内視鏡装置
図1は、内視鏡装置の構成例である。内視鏡装置は、撮像部200と制御装置300と表示部400と外部I/F部500と光源部100とを含む。内視鏡装置としては、例えば消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できるが、これらに限定されない。
図1は、内視鏡装置の構成例である。内視鏡装置は、撮像部200と制御装置300と表示部400と外部I/F部500と光源部100とを含む。内視鏡装置としては、例えば消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できるが、これらに限定されない。
光源部100は、照明光を発生する装置である。光源部100を光源装置とも呼ぶ。光源部100は、照明光として白色光及び特殊光を発生する。具体的には、光源部100はWLI(White Light Imaging)モードにおいて白色光を発生し、特殊光モードにおいて特殊光を発生する。特殊光モードは、例えば青色狭帯域光及び緑色狭帯域光を照明光とするNBI(Narrow Band Imaging)モードである。照明光の発光タイミングは、複数の光源を同時に発光させる同時式、又は複数の光源を順次に発光させる面順次式のいずれであってもよい。
撮像部200は、体内へ挿入されると共に被写体を撮像する部分である。撮像部200をスコープとも呼ぶ。撮像部200は、ライトガイド210と照明レンズ220と対物レンズ230と撮像素子240とを含む。撮像素子240はイメージセンサとも呼ぶ。撮像部200は不図示のコネクタを有し、そのコネクタにより制御装置300に対して着脱される。
ライトガイド210は、光源部100からの照明光を、撮像部200の先端まで導光する。照明レンズ220は、ライトガイド210により導光された照明光を被写体へ照射する。本実施形態において被写体は生体である。例えば上部消化管用の内視鏡装置において、被写体は、胃又は食道等の粘膜である。被写体からの反射光は、対物レンズ230へ入射する。対物レンズ230によって被写体像が結像され、撮像素子240が、その被写体像を撮像する。
撮像素子240は、照明光が照射された被写体からの戻り光を撮像して撮像信号を出力する。撮像素子240は、各画素にカラーフィルタが設けられたカラーイメージセンサ、又はモノクロイメージセンサのいずれであってもよい。カラーイメージセンサは、例えばベイヤ配列のカラーフィルタを有するベイヤ型イメージセンサ、或いは補色フィルタを有する補色イメージセンサである。
撮像部200はA/D変換回路を含む。A/D変換回路は、撮像素子240からのアナログ撮像信号をデジタル撮像信号にA/D変換する。A/D変換回路は、例えば撮像素子240に内蔵される。
制御装置300は、画像処理を含む信号処理を行う。また制御装置300は、内視鏡装置の各部を制御する。制御装置300を処理装置又はプロセッサ部とも呼ぶ。制御装置300は、処理部310と撮像信号受信部330とを含む。処理部310は処理回路又はプロセッサとも呼ぶ。
撮像信号受信部330は、撮像素子240からの撮像信号を受信する。撮像信号受信部330は、例えば撮像部200と制御装置300を接続するコネクタ、又は撮像信号を受信するインターフェース回路、又は撮像信号から画像データを生成する前処理回路等である。なお撮像信号受信部330と処理部310は別個のハードウェアにより実現されてもよいし、一体のハードウェアにより実現されてもよい。
処理部310は、撮像信号受信部330が受信した撮像信号に基づいて画像処理を行うことで、表示画像を生成し、その表示画像を表示部400へ出力する。また処理部310は、内視鏡装置の各部を制御する。具体的には、処理部310は、照明光の波長特性と光源の発光タイミングと撮像素子240の撮像タイミングを制御する。例えばユーザが外部I/F部500を操作してWLIモードと特殊光モードを切り替える。例えば特殊光モードが設定された場合、処理部310は、特殊光の発光を光源部100に指示し、撮像信号から特殊光画像を生成し、その特殊光画像を表示部400に出力する。WLIモードが設定された場合、処理部310は、白色光の発光を光源部100に指示し、撮像信号から白色光画像を生成し、その白色光画像を表示部400に出力する。
表示部400は、処理部310からの表示画像を表示する装置である。表示部400は、例えば液晶表示装置等である。外部I/F部500は、ユーザから内視鏡装置に対する操作を受け付ける装置である。例えば、外部I/F部500は、ボタン、ダイヤル、ポインティングデバイス、タッチパネル、又はフットスイッチ等である。
2.光源部
以下、特殊光観察がNBIである場合を例に説明するが、本実施形態の手法はNBI以外の特殊光観察にも適用できる。即ち、所定部位に組織学的変化が生じたことで、その所定部位における照明光の散乱状態が変化する場合に、本実施形態と同様の手法を適用できる。
以下、特殊光観察がNBIである場合を例に説明するが、本実施形態の手法はNBI以外の特殊光観察にも適用できる。即ち、所定部位に組織学的変化が生じたことで、その所定部位における照明光の散乱状態が変化する場合に、本実施形態と同様の手法を適用できる。
図2は、光源部100の詳細構成例である。光源部100は、駆動部110と光源LDV1、LDV2、LDG、LDWと合波部120とを含む。
駆動部110には、各光源の発光タイミング及び光量を指示する制御信号が光源制御部312から入力される。図5で後述するように光源制御部312は処理部310に含まれる。駆動部110は、光源制御部312からの制御信号に基づいて光源LDV1、LDV2、LDG、LDWを駆動する。例えば、駆動部110は駆動電流を光源に供給することで光源を発光させる。
光源LDV1、LDV2、LDG、LDWの各々は、所定の波長特性を有する光を発生する。光源LDV1、LDV2、LDGは、それぞれ第1狭帯域光、第2狭帯域光、第3狭帯域光を発生する。狭帯域光の半値幅は例えば数nm~数10nmである。光源LDWは白色光を発生する。白色光は可視光帯域において連続スペクトルを有する。或いは、白色光は、複数帯域の光によって構成されてもよい。各光源は例えばLED又はレーザー等である。或いは、白色光源であるLDWはキセノンランプ等であってもよい。また光源LDV1、LDV2、LDGは、白色光源と、各狭帯域光を通過させる光学フィルタとによって実現されてもよい。
合波部120は、光源LDV1、LDV2、LDG、LDWが射出する光を合波し、その合波された光をライトガイド210へ入射させる。合波部120は、例えばダイクロイックミラーとレンズにより構成される。或いは合波部120は、複数の入射端から入射された光を1つの出射端に出射する光ファイバであってもよい。
図3、図4は、光源部100が発生する狭帯域光の波長特性例である。図3は、光源LDV1とLDGが発光している場合の波長特性例であり、図4は、光源LDV2とLDGが発光している場合の波長特性例である。
光源部100は、ヘモグロビンの吸光係数HBC上で極大を含む波長帯域から極小を含む波長帯域間においてピーク波長を有する狭帯域光を発生する。吸光係数HBCにおける極大は波長415nm付近であり、極小は波長500nm付近である。極大を含む波長帯域は、極大を含む所定波長範囲であり、極小を含む波長帯域は、極小を含む所定波長範囲である。極大を含む波長帯域から極小を含む波長帯域は、例えば400nm~520nmである。
具体的には、光源LDV1、LDV2が、それぞれ第1狭帯域光NV1、第2狭帯域光NV2を発生する。可視光帯域を青色域、緑色域、赤色域に分割したとき、第1狭帯域光NV1は、青色域にピーク波長を有する。第2狭帯域光NV2は、青色域において第1狭帯域光よりも長波長側にピーク波長を有する。図3、図4の例では、NV1はピーク波長415nmを有し、NV2はピーク波長430nmを有する。NV1のピーク波長415nmは、通常のNBIで用いられる青色狭帯域光のピーク波長である。NV2のピーク波長430nmは、NV1のピーク波長415nmを長波長側にシフトさせたものである。なお、NV1のピーク波長は、400nm~420nmの範囲内であればよく、NV2のピーク波長は、420nm~450nmの範囲内であればよい。
光源LDGは、第3狭帯域光NGを発生する。第3狭帯域光NGは、緑色域にピーク波長を有する。図4の例では、第3狭帯域光NGはピーク波長540nmを有する。NGのピーク波長540nmは、通常のNBIで用いられる緑色狭帯域光のピーク波長である。なお、NGのピーク波長は、530~550nmの範囲内であればよい。また、NV1とNGの光量比、及びNV2とNGの光量比は、任意であってよい。
図5は、光源LDV1とLDV2とLDGが発光している場合の波長特性例である。第1狭帯域光NV1の光量に対する第2狭帯域光NV2の光量の重み係数をαとする。NV1とNV2の光量比は(1-α):αと表され、αは0≦α≦1の実数である。光源制御部312が重み係数αを制御することで、NV1とNV2の光量比を制御する。なお、図3はα=0の場合に対応し、図4はα=1の場合に対応する。即ち、NV1又はNV2が消灯している場合も、重み付けによる発光制御に含まれる。
以上の本実施形態によれば、第1狭帯域光NV1と、それよりも長波長側にピーク波長を有する第2狭帯域光NV2とを用いる。NV2はNV1より長波長なので、組織内において散乱の度合いがNV1より小さく、NV1よりも組織表面から深くまで届く。このように散乱度合いが異なる2つの狭帯域光を用いることで、組織学的変化の前後において散乱状態が異なる場合であっても、適切な照明を行うことが可能になる。以下、この点について、処理部310の動作説明と共に説明する。
3.処理部
図6は、処理部310の詳細構成例である。処理部310は、状態識別部311と光源制御部312と画像出力部313とを含む。
図6は、処理部310の詳細構成例である。処理部310は、状態識別部311と光源制御部312と画像出力部313とを含む。
状態識別部311は、撮像信号により生成された撮像画像を用いて生体の状態を識別し、その結果である状態識別情報を出力する。状態識別部311は、識別処理用に撮像画像を生成してもよいし、或いは、画像出力部313が生成した撮像画像を用いてもよい。光源制御部312は、状態識別情報に基づいて照明光の波長特性を制御する。具体的には、光源制御部312は、図3、図4のように第1狭帯域光NV1と第2狭帯域光NV2を切り替える。或いは、光源制御部312は、図5のように第1狭帯域光NV1と第2狭帯域光NV2の重み付けを変更する。
このようにすれば、組織学的変化の前後において散乱状態が異なる場合であっても、その変化前の状態であるか変化後の状態であるかを、状態識別部311が識別できる。そして、その識別結果に基づいて光源制御部312が照明光の波長特性を制御できる。これにより、生体の状態に合わせた適切な照明を行うことが可能になる。具体的には、散乱状態の変化によって注目被写体が視認しにくい状態となっている場合に、狭帯域光の波長を変更することで散乱の度合いを変化させることができる。これにより、注目被写体の視認性を回復できる。
図3等で説明したように、狭帯域光は、ヘモグロビンの吸光特性上で極大を含む波長帯域から極小を含む波長帯域間においてピーク波長を有している。即ち、ヘモグロビンの吸光が比較的大きな波長領域において狭帯域光のピーク波長が制御される。注目被写体は、ヘモグロビンを含有する被写体であり、代表的には血管である。狭帯域光は、そのピーク波長に対応した深さの血管像を撮影できるが、光散乱の状態が変わると血管像の視認性が低下する。このとき、ピーク波長を変更することで血管に光を届かせることが可能となり、血管像の視認性を向上できる。
ここで、生体の状態とは、同一種類の部位における状態であり、状態変化の前後において少なくとも光の散乱強度が変化するような状態である。より具体的には、生体の状態は、状態変化の前後において組織学的な変化を伴う状態である。組織学的な変化としては、例えば組織の厚み変化、或いは組織の細胞間結合の変化等を想定できる。
状態識別情報とは、識別された生体の状態を示す情報である。例えば、状態識別部311は、複数の状態のうちいずれの状態であるかを識別し、その識別した状態を示すフラグ、インデックス又は識別データ等を状態識別情報として出力する。
また本実施形態では、第1狭帯域光NV1は青色域にピーク波長を有し、第2狭帯域光NV2は第1狭帯域光NV1よりも長波長側にピーク波長を有する。即ち、光源制御部312は、青色域のピーク波長を長波長側にシフトすることで、照明光の波長特性を制御する。
第1狭帯域光NV1は青色域にピーク波長を有するため、粘膜表層等の組織表層における血管像を撮像できる。しかし、組織学的変化により散乱が強くなった場合には、散乱により血管像のコントラストが低下したり、或いは散乱光により別種類の病変等に類似して見えたりする。
本実施形態によれば、相対的に散乱が強い状態において、第1狭帯域光NV1よりも散乱度合いが低い第2狭帯域光NV2にシフトできる。これにより、照明光が本来届くべき血管の深さまで届くため、血管像のコントラストを向上したり、或いは病変等の種類を判別しやすくなる。
また本実施形態では、第1狭帯域光NV1のピーク波長は、400nm~420nmの範囲内である。状態識別部311は、少なくとも第1狭帯域光NV1と第3狭帯域光NGにより撮像された撮像画像を用いて、胃粘膜が除菌後の状態であるか否かを識別する。
波長400nm~420nmは、ヘモグロビンの吸光係数HBCにおいて極大付近であるため、第1狭帯域光NV1は粘膜等の表層血管を高コントラストに撮影可能である。この第1狭帯域光NV1と第3狭帯域光NGを用いることで、NBIと呼ばれる特殊光観察が可能となる。
NBIは胃がんの診断に用いられるが、ピロリ菌の除菌前後において胃がんの視認性が異なる。具体的には、除菌によって胃粘膜に組織学的変化が生じることで、胃粘膜における第1狭帯域光NV1の散乱度合いが大きくなり、第1狭帯域光NV1が表層血管に届き難くなる。また、NBIにおいて、胃粘膜の炎症はホワイトゾーンに見えるが、除菌後の胃がんが疑似的なホワイトゾーンとして見える場合がある。ホワイトゾーンは、周囲より白く見える領域のことである。ホワイトゾーンが見えた場合、医師は胃粘膜の炎症を疑うので、除菌後の胃がんと炎症の区別が難しくなってしまう。
本実施形態によれば、状態識別部311が、胃粘膜が除菌後の状態であると識別したとき、光源制御部312が、第1狭帯域光NV1より長波長の第2狭帯域光NV2を発生できる。これにより、表層血管に第2狭帯域光NV2に届くようになるため、除菌後における胃がんの視認性を向上できる。
また本実施形態では、図8で後述するように、光源部100は、狭帯域光を含む第1照明光と、白色光である第2照明光とを発生してもよい。状態識別部311は、第2照明光により撮像された撮像画像を用いて生体の状態を識別し、光源制御部312は、状態識別情報に基づいて第1照明光の波長特性を制御してもよい。
このようにすれば、白色光画像を用いた方が生体状態を識別しやすい場合において、正確に生体状態を識別できるようになる。そして、その識別結果に応じて特殊光の波長を制御することで、生体状態に適した波長選択を、より高精度に実現できる。
また本実施形態では、図8で後述するように、状態識別部311は炎症粘膜を識別してもよい。即ち、状態識別部311は、画像に写る粘膜に炎症が存在するか否かを識別してもよい。
炎症粘膜は正常粘膜に比べて光の散乱が強いため、NBI観察においてホワイトゾーンに見える。このため、炎症粘膜下に存在する血管又は病変等の視認性が低下する。白色光画像において炎症粘膜は赤味が強い領域として写るため、画像の色等から識別可能である。そして、炎症粘膜が検出されたとき、光源制御部312が第2狭帯域光NV2を発光させることで、炎症粘膜下に第2狭帯域光NV2を届かせることができる。これにより、NBI観察において、炎症粘膜下に存在する血管又は病変等の視認性を向上できる。
また本実施形態では、状態識別部311が、生体の状態が第1状態であると検出したとき、光源制御部312が、重み係数αを第1重み係数に設定する。図5で説明したように、αは、第1狭帯域光NV1の光量に対する第2狭帯域光NV2の光量の重み係数である。状態識別部311が、生体の状態が第1状態と異なる第2状態であると検出したとき、光源制御部312が、重み係数αを、第1重み係数より大きい第2重み係数に設定する。第2状態は、生体の粘膜における照明光の散乱が第1状態よりも強い状態である。
このようにすれば、粘膜における照明光の散乱が相対的に強い第2状態が検出されたとき、長波長側の第2狭帯域光NV2の重みを増加できる。これにより、粘膜における狭帯域光の散乱度合いが低下するので、第2状態においても第1状態と同様に表層血管等の視認性を確保できる。
また本実施形態では、図9で後述するように、状態識別部311は、撮像部200と生体の近接度合いを推定してもよい。光源制御部312は、状態識別情報と近接度合いに基づいて照明光の波長特性を制御してもよい。近接度合いは、スコープ先端と被写体表面の距離である。例えば、近接度合いは、対物レンズ230のフォーカス位置、又は対物レンズ230のズーム倍率等から推定される。
医師は、生体内でスコープを動かしながらスクリーニングを行い、スクリーニングにおいて病変等と疑われる領域が見つかったとき、その領域にスコープを近接させて精査観察する。本実施形態によれば、近接度合いを用いて照明光の波長特性を制御することで、観察状態と連動した波長制御が可能となる。例えば、スクリーニングにおいて、生体の状態に関わらず通常のNBI照明を行い、精査観察において除菌後粘膜等の所定状態が検出されたとき第2狭帯域光NV2の重み係数αを増加させてもよい。
なお、状態識別部311が生体状態を識別する手法として、画像認識アルゴリズムを用いた識別手法、或いはAI(Artificial Intelligence)等の機械学習を用いた識別手法を採用できる。
画像認識アルゴリズムでは、例えば画像の特徴量又は被写体の形状に基づいて生体の状態を検出する。特徴量は、例えば画像の色又は輝度等である。被写体の形状は、例えば血管構造又は粘膜表面の構造等である。粘膜表面の構造は、例えば胃粘膜の萎縮又はポリープ等の病変形状である。
機械学習では、生体を撮影した学習用画像と、その学習用画像に付された正解ラベルとを教師データとして、学習モデルを学習させる。正解ラベルは医師等が作成したものである。例えば、正解ラベルは、除菌後の胃粘膜であるか否かを示すラベル、或いは粘膜に炎症が存在するか否かを示すラベル等である。学習モデルは、推論アルゴリズムとパラメータとを含む。推論アルゴリズムとしては、ニューラルネットワーク又はサポートベクタマシン等の種々の機械学習アルゴリズムを採用できる。パラメータは、推論アルゴリズムで用いられるものであり、例えばニューラルネットワークにおけるノード間重み係数等である。学習後の学習モデルを学習済みモデルと呼ぶ。
状態識別部311は、学習済みモデルを用いて撮像画像から生体の状態を識別する。学習済みモデルはプログラムとして実装されてもよいし、ハードウェアとして実装されてもよい。学習済みモデルがプログラムで記述される場合、プロセッサがプログラムを実行することで状態識別部311の機能が実現される。
画像出力部313は、撮像信号から表示画像を生成し、その表示画像を表示部400に出力する。WLIモードでは、撮像信号のRチャンネル、Gチャンネル、Bチャンネルを、それぞれ表示画像のRチャンネル、Gチャンネル、Bチャンネルに入力する。NBIモードでは、撮像信号のBチャンネルを表示画像のBチャンネルとGチャンネルに入力し、撮像信号のGチャンネルを表示画像のRチャンネルに入力する。撮像素子240がカラーイメージセンサである場合には、画像出力部313は補間処理等を更に行う。WLIモードとNBIモードは、例えばユーザから外部I/F部500を介して設定されてもよいし、或いは図9で説明するようにスコープと被写体の近接度合いに応じて設定されてもよい。画像出力部313は、これらのモード設定に基づいて表示画像を生成する。
なお、処理部310を含む制御装置300は以下のように構成されてもよい。即ち、制御装置300は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、撮像信号により生成された撮像画像を用いて生体の状態を識別し、生体の状態を示す状態識別情報を出力し、状態識別情報に基づいて照明光の波長特性を制御する。
プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子で構成することができる。1又は複数の回路装置は例えばIC等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の集積回路装置でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。
メモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部310の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
また、処理部310が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、HDD、或いは半導体メモリ(ROM)などにより実現できる。半導体メモリは例えばROMである。処理部310は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、処理部310としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。
以下、図7~図9のフローチャートを用いて、処理部310が行う処理の手順を説明する。なお以下では生体の状態に応じて第1狭帯域光NV1と第2狭帯域光NV2を切り替える場合を例に説明するが、生体の状態に応じて第1狭帯域光NV1と第2狭帯域光NV2の光量比を切り替えてもよい。
図7は、NBI観察において生体状態を識別する場合の処理手順を示すフローチャートである。
ステップS1において、光源制御部312は、第1狭帯域光NV1と第3狭帯域光NGを光源部100に発光させる。ステップS2において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信する。
ステップS3において、状態識別部311が撮像画像から粘膜の色調を判断する。具体的には、状態識別部311は、NBI画像にホワイトゾーンの白色が存在するか否かを判断する。ステップS4において、状態識別部311は、色調判断の結果から除菌後粘膜であるか否かを識別する。除菌後粘膜において胃がんは疑似的なホワイトゾーンとして見えるため、ホワイトゾーンを検出することで除菌後粘膜を識別できる。なおステップS3、S4において機械学習を用いた状態識別を行ってもよい。
ステップS4において、除菌後粘膜でないと判断された場合、ステップS1~S4が再び実行される。ステップS4において、除菌後粘膜であると判断された場合、ステップS5において、光源制御部312は、波長特性の設定を第2狭帯域光NV2と第3狭帯域光NGに切り替える。ステップS6において、光源制御部312は、第2狭帯域光NV2と第3狭帯域光NGを光源部100に発光させる。ステップS7において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信し、ステップS6に戻る。
図8は、WLI観察において生体状態を識別する場合の処理手順を示すフローチャートである。
ステップS21において、光源制御部312は、白色光を光源部100に発光させる。ステップS22において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信する。
ステップS23において、状態識別部311が撮像画像から粘膜の色調を判断する。具体的には、状態識別部311は、白色光画像に炎症粘膜の赤色が存在するか否かを判断する。ステップS24において、状態識別部311は、色調判断の結果から炎症粘膜であるか否かを識別する。なおステップS23、S24において機械学習を用いた状態識別を行ってもよい。
ステップS24において、炎症粘膜であると判断された場合、ステップS25において、光源制御部312は、NBIモードにおける波長特性の設定を第2狭帯域光NV2と第3狭帯域光NGに設定する。ステップS24において、炎症粘膜ではない判断された場合、ステップS26において、光源制御部312は、NBIモードにおける波長特性の設定を第1狭帯域光NV1と第3狭帯域光NGに設定する。
ステップS27において、光源制御部312はWLIモードからNBIモードに切り替えられたか否かを判断する。具体的には、外部I/F部500を介してNBIモードに切り替える操作が行われたか否かを判断する。
ステップS27において、WLIモードと判断された場合、ステップS21に戻る。ステップS27において、NBIモードに切り替えられたと判断された場合、ステップS28において、光源制御部312は、ステップS25又はS26で設定された波長特性に従って光源部100に狭帯域光を発光させる。ステップS29において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信し、ステップS28に戻る。
図9は、状態識別情報と近接度合いを用いて波長特性を切り替える場合の処理手順を示すフローチャートである。
ステップS41において、光源制御部312は、第1狭帯域光NV1と第3狭帯域光NGを光源部100に発光させる。ステップS42において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信する。
ステップS43において、状態識別部311が撮像画像から粘膜の色調を判断する。ステップS44において、状態識別部311は、色調判断の結果から除菌後粘膜であるか否かを識別する。
ステップS44において、除菌後粘膜でないと判断された場合、ステップS41~S44が再び実行される。ステップS44において、除菌後粘膜であると判断された場合、ステップS45において、光源制御部312は、スコープ先端と被写体が近接しているか否かを判断する。例えば、対物レンズ230のフォーカス位置又はズーム倍率が外部I/F部500を介して操作される。この操作によって設定されたフォーカス位置又はズーム倍率に基づいて、光源制御部312が近接度合いを判断する。
ステップS45において、スコープ先端と被写体が近接していないと判断された場合、ステップS41~S44が再び実行される。ステップS45において、スコープ先端と被写体が近接していると判断された場合、ステップS46において、光源制御部312は、NBIモードにおける波長特性の設定を第2狭帯域光NV2と第3狭帯域光NGに切り替える。ステップS47において、光源制御部312は、第2狭帯域光NV2と第3狭帯域光NGを光源部100に発光させる。ステップS48において、撮像素子240が撮像を行い、撮像信号受信部330が撮像信号を受信し、ステップS47に戻る。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 光源部、110 駆動部、120 合波部、200 撮像部、210 ライトガイド、220 照明レンズ、230 対物レンズ、240 撮像素子、300 制御装置、310 処理部、311 状態識別部、312 光源制御部、313 画像出力部、330 撮像信号受信部、400 表示部、500 外部I/F部、HBC 吸光係数、LDG,LDV1,LDV2,LDW 光源、NG 第3狭帯域光、NV1 第1狭帯域光、NV2 第2狭帯域光
Claims (15)
- ヘモグロビンの吸光特性上で極大を含む波長帯域から極小を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として発生する光源部と、
前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力する撮像部と、
前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御する処理部と、
を含むことを特徴とする内視鏡装置。 - 請求項1において、
前記光源部は、
青色域にピーク波長を有する第1狭帯域光と、前記第1狭帯域光よりも長波長側にピーク波長を有する第2狭帯域光と、を少なくとも含む前記照明光を発生することを特徴とする内視鏡装置。 - 請求項2において、
前記光源部は、
緑色域にピーク波長を有する第3狭帯域光を更に含む前記照明光を発生し、
前記第2狭帯域光のピーク波長は、前記第1狭帯域光のピーク波長と前記第3狭帯域光のピーク波長の間にあることを特徴とする内視鏡装置。 - 請求項2又は3において、
前記第1狭帯域光のピーク波長は、400nm~420nmの範囲内であることを特徴とする内視鏡装置。 - 請求項1乃至4のいずれかにおいて、
前記処理部は、
前記生体の状態として、胃粘膜が除菌後の状態であるか否かを識別することを特徴とする内視鏡装置。 - 請求項3において、
前記処理部は、
少なくとも前記第1狭帯域光と前記第3狭帯域光により撮像された前記撮像画像を用いて、前記生体の状態として、胃粘膜が除菌後の状態であるか否かを識別することを特徴とする内視鏡装置。 - 請求項1において、
前記光源部は、
前記狭帯域光を含む第1照明光と、白色光である第2照明光とを発生し、
前記処理部は、
前記第2照明光により撮像された前記撮像画像を用いて前記生体の状態を識別し、前記状態識別情報に基づいて前記第1照明光の波長特性を制御することを特徴とする内視鏡装置。 - 請求項1乃至4のいずれかにおいて、
前記処理部は、
前記生体の状態として炎症粘膜を識別することを特徴とする内視鏡装置。 - 請求項1において、
前記照明光は、第1狭帯域光と、前記第1狭帯域光よりも長波長側にピーク波長を有する第2狭帯域光と、を含み、
前記処理部は、
前記生体の状態が第1状態であると検出したとき、前記第1狭帯域光の光量に対する前記第2狭帯域光の光量の重み係数を第1重み係数に設定し、
前記生体の状態が前記第1状態と異なる第2状態であると検出したとき、前記重み係数を、前記第1重み係数より大きい第2重み係数に設定することを特徴とする内視鏡装置。 - 請求項9において、
前記第2状態は、前記生体の粘膜における前記照明光の散乱が前記第1状態よりも強い状態であることを特徴とする内視鏡装置。 - 請求項10において、
前記第2状態は、除菌後の胃粘膜又は炎症粘膜であることを特徴とする内視鏡装置。 - 請求項1乃至11のいずれかにおいて、
前記処理部は、
前記撮像部と前記生体の近接度合いを推定し、前記状態識別情報と前記近接度合いに基づいて前記照明光の前記波長特性を制御することを特徴とする内視鏡装置。 - ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を、照明光として光源部に発生させる処理部と、
前記照明光が照射された生体からの戻り光を撮像した撮像部から撮像信号を受信する撮像信号受信部と、
を含み、
前記処理部は、
前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、前記状態識別情報に基づいて前記照明光の波長特性を制御することを含むことを特徴とする制御装置。 - ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として発生し、
前記照明光が照射された生体からの戻り光を撮像して撮像信号を出力し、
前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、
前記状態識別情報に基づいて前記照明光の波長特性を制御することを特徴とする内視鏡装置の作動方法。 - ヘモグロビンの吸光特性上で極大を含む波長帯域から極小値を含む波長帯域間においてピーク波長を有する狭帯域光を照明光として光源部に発生させ、
前記照明光が照射された生体からの戻り光を撮像部に撮像させることで撮像信号を出力させ、
前記撮像信号により生成された撮像画像を用いて前記生体の状態を識別し、前記生体の状態を示す状態識別情報を出力し、
前記状態識別情報に基づいて前記照明光の波長特性を制御するステップを、コンピュータに実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980095266.XA CN113677250A (zh) | 2019-04-11 | 2019-04-11 | 内窥镜装置、控制装置、内窥镜装置的工作方法以及程序 |
JP2021513110A JP7123247B2 (ja) | 2019-04-11 | 2019-04-11 | 内視鏡制御装置、内視鏡制御装置による照明光の波長特性の変更方法及びプログラム |
PCT/JP2019/015752 WO2020208770A1 (ja) | 2019-04-11 | 2019-04-11 | 内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム |
US17/494,096 US20220022739A1 (en) | 2019-04-11 | 2021-10-05 | Endoscope control device, method of changing wavelength characteristics of illumination light, and information storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/015752 WO2020208770A1 (ja) | 2019-04-11 | 2019-04-11 | 内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/494,096 Continuation US20220022739A1 (en) | 2019-04-11 | 2021-10-05 | Endoscope control device, method of changing wavelength characteristics of illumination light, and information storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020208770A1 true WO2020208770A1 (ja) | 2020-10-15 |
Family
ID=72751223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/015752 WO2020208770A1 (ja) | 2019-04-11 | 2019-04-11 | 内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220022739A1 (ja) |
JP (1) | JP7123247B2 (ja) |
CN (1) | CN113677250A (ja) |
WO (1) | WO2020208770A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045265A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムにおける撮像制御方法 |
JP2012071007A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
JP2012152332A (ja) * | 2011-01-25 | 2012-08-16 | Fujifilm Corp | 内視鏡システム及びその操作補助方法 |
JP2014166590A (ja) * | 2014-06-16 | 2014-09-11 | Fujifilm Corp | 内視鏡システム及び内視鏡システムの作動方法 |
WO2017130325A1 (ja) * | 2016-01-27 | 2017-08-03 | オリンパス株式会社 | 内視鏡観察方法及び内視鏡装置 |
WO2017170232A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士フイルム株式会社 | 内視鏡画像信号処理装置および方法並びにプログラム |
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5972312B2 (ja) * | 2014-03-24 | 2016-08-17 | 富士フイルム株式会社 | 医用画像処理装置及びその作動方法 |
-
2019
- 2019-04-11 CN CN201980095266.XA patent/CN113677250A/zh active Pending
- 2019-04-11 WO PCT/JP2019/015752 patent/WO2020208770A1/ja active Application Filing
- 2019-04-11 JP JP2021513110A patent/JP7123247B2/ja active Active
-
2021
- 2021-10-05 US US17/494,096 patent/US20220022739A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045265A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムにおける撮像制御方法 |
JP2012071007A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
JP2012152332A (ja) * | 2011-01-25 | 2012-08-16 | Fujifilm Corp | 内視鏡システム及びその操作補助方法 |
JP2014166590A (ja) * | 2014-06-16 | 2014-09-11 | Fujifilm Corp | 内視鏡システム及び内視鏡システムの作動方法 |
WO2017130325A1 (ja) * | 2016-01-27 | 2017-08-03 | オリンパス株式会社 | 内視鏡観察方法及び内視鏡装置 |
WO2017170232A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士フイルム株式会社 | 内視鏡画像信号処理装置および方法並びにプログラム |
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
Also Published As
Publication number | Publication date |
---|---|
US20220022739A1 (en) | 2022-01-27 |
JP7123247B2 (ja) | 2022-08-22 |
JPWO2020208770A1 (ja) | 2020-10-15 |
CN113677250A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5426620B2 (ja) | 内視鏡システムおよび内視鏡システムの作動方法 | |
CN109068945B (zh) | 图像处理装置、图像处理装置的工作方法及记录介质 | |
JP5808031B2 (ja) | 内視鏡システム | |
US11045079B2 (en) | Endoscope device, image processing apparatus, image processing method, and program | |
JP2011194028A (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、および血管情報取得方法 | |
WO2016079831A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置 | |
EP1743568B1 (en) | Image processing device | |
WO2021229684A1 (ja) | 画像処理システム、内視鏡システム、画像処理方法及び学習方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP6203088B2 (ja) | 生体観察システム | |
JP5715602B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP2007075366A (ja) | 赤外観察システム | |
JP2014076375A (ja) | 内視鏡システムおよび内視鏡システムの作動方法 | |
WO2021181564A1 (ja) | 処理システム、画像処理方法及び学習方法 | |
US20220351350A1 (en) | Endoscope processor, method for operating endoscope processor, and storage medium | |
JP7090705B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
WO2020208770A1 (ja) | 内視鏡装置、制御装置、内視鏡装置の作動方法及びプログラム | |
WO2022071413A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
CN115381379A (zh) | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法 | |
WO2021205624A1 (ja) | 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム | |
JP7090706B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
JP7411515B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2022059233A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
WO2023007896A1 (ja) | 内視鏡システム、プロセッサ装置及びその作動方法 | |
WO2021111539A1 (ja) | 内視鏡装置及び観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19923979 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021513110 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19923979 Country of ref document: EP Kind code of ref document: A1 |