WO2018235153A1 - 内視鏡システム、表示方法およびプログラム - Google Patents
内視鏡システム、表示方法およびプログラム Download PDFInfo
- Publication number
- WO2018235153A1 WO2018235153A1 PCT/JP2017/022645 JP2017022645W WO2018235153A1 WO 2018235153 A1 WO2018235153 A1 WO 2018235153A1 JP 2017022645 W JP2017022645 W JP 2017022645W WO 2018235153 A1 WO2018235153 A1 WO 2018235153A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- endoscope
- biological information
- image
- light image
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present invention relates to an endoscope system, a display method, and a program for performing image processing on image data generated by an endoscope that captures an in-vivo image of a subject and displaying the image data.
- Patent Document 1 when the user finds a suspicious lesion while observing a normal image, the user switches the normal image to the narrow band image by selecting the narrow band image selection button each time. As a result, there is a problem that the work load on the user at the time of medical examination is large.
- the present invention has been made in view of the above, and it is an object of the present invention to provide an endoscope system, a display method and a program capable of reducing the burden of the user's work at the time of medical examination.
- an endoscope system is an endoscope capable of simultaneously capturing a white light image and a special light image, the white light image and the special light
- a display unit capable of displaying at least one of images, a biological information detection unit for continuously detecting biological information of the operator of the endoscope, and temporal change of the biological information detected by the biological information detection unit
- a determination unit that determines whether the predetermined condition is equal to or more, and a display control unit that causes the display unit to display the special light image when the determination unit determines that the predetermined condition or more is satisfied. It is characterized by having.
- the display method according to the present invention further includes an endoscope capable of simultaneously capturing a white light image and a special light image, and a display unit capable of displaying at least one of the white light image and the special light image.
- a display method executed by the endoscope system wherein a biological information detection step of continuously detecting biological information of the operator of the endoscope, and temporality of the biological information detected in the biological information detection step A determination step of determining whether or not the change is equal to or greater than a predetermined condition; and a display control step of causing the display unit to display the special light image when it is determined that the predetermined condition is greater than the predetermined condition. , And is characterized.
- a program according to the present invention includes an endoscope capable of simultaneously capturing a white light image and a special light image, and a display unit capable of displaying at least one of the white light image and the special light image.
- a biological information detection step of continuously detecting biological information of the operator of the endoscope, and a temporal change of the biological information detected in the biological information detection step is a predetermined condition or more
- a display control step of causing the display unit to display the special light image when it is determined that the predetermined condition or more is satisfied in the determination step.
- FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is a view schematically showing a configuration of a color filter according to Embodiment 1 of the present invention.
- FIG. 4 is a view showing the relationship between the transmittance and the wavelength of each of the filters constituting the color filter according to Embodiment 1 of the present invention.
- FIG. 5 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 1 of the present invention on a display device.
- FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is
- FIG. 6 is a view schematically showing an example of a narrow band image displayed by the display device according to Embodiment 1 of the present invention.
- FIG. 7 is a view schematically showing an example of a wide band image displayed by the display device according to Embodiment 1 of the present invention.
- FIG. 8 is a view showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
- FIG. 9 is a view showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
- FIG. 11 is a block diagram showing a functional configuration of main parts of an endoscope system according to a second embodiment of the present invention.
- FIG. 12 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 2 of the present invention on a display device.
- FIG. 13 is a view schematically showing an example of an operator's pulse detected by the biological information detection unit according to the second embodiment of the present invention.
- FIG. 14 is a block diagram showing a functional configuration of main parts of an endoscope system according to a third embodiment of the present invention.
- FIG. 15 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 3 of the present invention on a display device.
- FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
- the endoscope system 1 illustrated in FIG. 1 includes an endoscope 2 (endoscope) that captures an in-vivo image of a subject by inserting the tip into a body cavity of the subject, and a tip of the endoscope 2
- a light source device 3 for generating illumination light emitted from the display
- a display device 4 for displaying an image corresponding to image data captured by the endoscope 2, and an operator of the endoscope 2 to generate image data
- the imaging device 5 and the control device 6 that performs predetermined image processing on the in-vivo image captured by the endoscope 2 and causes the display device 4 to display the image, and generally controls the overall operation of the endoscope system 1 Prepare.
- the endoscope 2 has an elongated insertion portion 21 having flexibility, an operation portion 22 connected to the proximal end side of the insertion portion 21 and receiving input of various operation signals, and an insertion portion from the operation portion 22
- a universal cord 23 extends in a direction different from the extending direction of the cable 21 and incorporates various cables connected to the control device 6 and the light source device 3.
- the insertion portion 21 is connected to a proximal end side of the bending portion 25 and a distal end portion 24 having a built-in imaging device (imaging portion) described later, a bendable bending portion 25 formed of a plurality of bending pieces, and flexibility And a flexible flexible tube portion 26 having a property.
- the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical and horizontal directions, a treatment instrument insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife and an inspection probe into a body cavity, the light source device 3,
- a treatment instrument insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife and an inspection probe into a body cavity
- the light source device 3 In addition to the control device 6, it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, gas supply means and the like.
- the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the tip portion 24.
- the universal cord 23 incorporates at least a light guide to be described later and a collecting cable.
- the universal cord 23 has a connector portion 27 (see FIG. 1) which is detachable from the light source device 3.
- the connector portion 27 has a coiled coil cable 27a extended, and has an electrical connector portion 28 detachably attachable to the control device 6 at the extended end of the coil cable 27a.
- the connector unit 27 is internally configured using an FPGA (Field Programmable Gate Array).
- the light source device 3 is configured using, for example, a halogen lamp or a white LED (Light Emitting Diode). Under the control of the control device 6, the light source device 3 emits illumination light from the tip end side of the insertion portion of the endoscope 2 toward the subject.
- a halogen lamp or a white LED (Light Emitting Diode).
- the display device 4 displays an image corresponding to an image signal subjected to image processing by the control device 6 and various types of information regarding the endoscope system 1.
- the display device 4 is configured using a liquid crystal, a display panel such as an organic EL (Electro Luminescence), or the like.
- the imaging device 5 sequentially controls image data obtained by continuously imaging the operator of the endoscope 2 and outputs the image data to the control device 6.
- the imaging device 5 includes an optical system that forms an object image, and an imaging element that receives the object image formed by the optical system and generates image data.
- the control device 6 performs predetermined image processing on the RAW image data input from the endoscope 2 and outputs the raw image data to the display device 4.
- the control device 6 is configured using a CPU or the like.
- FIG. 2 is a block diagram showing the functional configuration of the main part of the endoscope system 1. The details of the configuration of each part of the endoscope system 1 and the paths of electric signals in the endoscope system 1 will be described with reference to FIG.
- the endoscope 2 includes an optical system 201, an imaging unit 202, an A / D conversion unit 203, and a light guide path 204.
- the optical system 201 receives the reflected light of the illumination light emitted by the light source device 3 on the imaging surface of the imaging unit 202 to form an object image.
- the optical system 201 is configured using one or more lenses, a prism, and the like.
- the imaging unit 202 generates image data (RAW image data) of the subject by receiving the subject image formed on the light receiving surface by the optical system 201 and performing photoelectric conversion under the control of the control device 6.
- the generated image data is output to the A / D converter 203.
- the imaging unit 202 captures an image of the subject at a reference frame rate, for example, a frame rate of 60 fps, and generates image data of the subject.
- the imaging unit 202 photoelectrically converts light received by a plurality of pixels arranged in a two-dimensional grid, and generates an electrical signal.
- An imaging element 202 a such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS)
- CCD charge coupled device
- CMOS complementary metal oxide semiconductor
- a plurality of first band-pass filters (hereinafter referred to as “wide band filters”) for transmitting light of the primary color wavelength band, and a narrow band having a maximum value outside the range of the wavelength band of light passing through the first band-pass filter
- FIG. 3 is a view schematically showing the configuration of the color filter 202b.
- the color filter 202 b includes two wide band filters R transmitting red components, eight wide band filters G transmitting green components, two wide band filters B transmitting blue components, and a narrow band.
- the four narrow band-pass filters X1 transmitting the light of (1) are configured using a filter unit in which a predetermined arrangement pattern is formed.
- the color filters 202b are disposed at positions corresponding to any of the plurality of pixels of the imaging element 202a in which the individual filters forming the above-described array pattern are arrayed in a two-dimensional grid.
- the peak wavelength of the wavelength band of the narrow band light in the first embodiment is between 395 nm and 435 nm.
- the image data generated by the imaging unit 202 using the color filter 202 b configured in this way is color-coded by performing predetermined image processing (for example, interpolation such as demosaicing processing) by the control device 6 described later. Transformed into wideband and narrowband images.
- predetermined image processing for example, interpolation such as demosaicing processing
- FIG. 4 is a diagram showing the relationship between the transmittance and the wavelength of each of the filters constituting the color filter 202b.
- the curve L B represents the relationship between the transmittance and the wavelength of the broadband filter B
- the curve L G represents the relationship between the transmittance and the wavelength of the broad band filter G
- the curve L R is the transmittance of the broadband filter R
- the curve L X1 shows the relationship between the transmittance and the wavelength of the narrowband filter X1.
- the peak wavelength of the narrow band filter X1 is described as being between 395 nm and 435 nm.
- the width of the wavelength transmission band of the narrow band filter X1 is narrower than each of the wide band filter R, the wide band filter B, and the wide band filter G.
- the A / D conversion unit 203 performs A / D conversion on the analog image data input from the imaging unit 202, and outputs the digital image data subjected to the A / D conversion to the control device 6.
- the light guide path 204 is configured using an illumination lens and a light guide, and propagates the illumination light emitted by the light source device 3 toward a predetermined area.
- the control device 6 includes an image processing unit 61, a recording unit 62, and a control unit 63.
- the image processing unit 61 performs predetermined image processing on digital image data input from the endoscope 2 and outputs the image data to the display device 4, and based on the digital image data input from the imaging device 5.
- the display mode of the image to be displayed on the display device 4 based on the temporal change of the biological information of the operator of the endoscope 2 is changed.
- the image processing unit 61 includes a separation unit 611, a demosaicing unit 612, an image generation unit 613, a biological information detection unit 614, a determination unit 615, and a display control unit 616.
- the separation unit 611 separates the RAW data into mosaic-like channels, and outputs the signal value of the RAW data separated to each of the channels to the demosaicing unit 612. Do.
- the demosaicing unit 612 performs demosaicing processing using the signal value of each channel separated by the separation unit 611 to generate each of the R image, the G image, the B image, and the X1 image, and this R image, G Each of the image, the B image, and the X1 image is output to the image generation unit 613.
- the image generation unit 613 generates a color broadband image (color white light image) using the R image, G image, and B image generated by the demosaicing unit 612, and generates the G image generated by the demosaicing unit 612 and the G image and
- the X1 image is used to generate a pseudo-color narrow band image (special light image).
- the biological information detection unit 614 detects biological information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 detects the line of sight of the operator included in the image corresponding to the image data input from the imaging device 5. For example, the living body information detection unit 614 detects the line of sight of the operator using template information recorded by the template information recording unit 622 of the recording unit 62 described later and the line of sight detection technology of the well-known technology. As detected.
- the determination unit 615 determines whether the temporal change of the biological information detected by the biological information detection unit 614 is equal to or more than a predetermined condition. Specifically, based on the temporal change of the biological information detected by the biological information detection unit 614, the determination unit 615 takes a predetermined time or more with respect to a predetermined area of the broadband image displayed by the display device 4 by the operator. It is determined whether they are the same.
- the display control unit 616 controls the display mode of the display device 4.
- the display control unit 616 is also generated by the image generation unit 613 when the determination unit 615 determines that the operator gazes at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more.
- a narrow band image is displayed on the display device 4.
- the recording unit 62 records image data generated by the endoscope 2, a program executed by the endoscope system 1, and information being processed.
- the recording unit 62 is configured using a non-volatile memory, a volatile memory, or the like.
- the recording unit 62 includes a program recording unit 621 for recording various programs to be executed by the endoscope system 1, a pupil used when the living body information detection unit 614 detects living body information of the operator of the endoscope 2, and an eyesight And template information recording unit 622 for recording template information for identifying the pupil, iris, cornea, and the like.
- the control unit 63 centrally controls the units that configure the endoscope system 1.
- the control unit 63 is configured using a CPU or the like.
- the control unit 63 controls the emission timing of the illumination light of the light source device 3, the imaging timing of the imaging unit 202 of the endoscope 2, and the like.
- FIG. 5 is a flowchart showing an outline of display processing performed by the control device 6 on the display device 4.
- the separation unit 611 separates the RAW data into mosaic-like channels (step S101). Specifically, the separating unit 611 separates the signal values of the RAW data for each channel corresponding to each of the wide band filter R, the wide band filter G, the wide band filter B, and the narrow band filter X1.
- the demosaicing unit 612 generates the R image, the G image, the B image, and the X1 image by performing the demosaicing process using the signal value of each channel separated by the separation unit 611 (step S102).
- the demosaicing process it may be performed by known linear interpolation, or the demosaicing process is performed on each of the signal values of the wide band filter R and the wide band filter B with reference to the signal value of the wide band filter G. May be
- the image generation unit 613 generates a color wide-band image using the R image, the G image, and the B image generated by the demosaicing unit 612 (step S103), and the G image and the X1 image generated by the demosaicing unit 612 To generate a pseudo-color narrowband image (step S104).
- the biological information detection unit 614 detects the biological information of the operator of the endoscope 2 based on the image data input from the imaging device 5 (step S105). Specifically, the living body information detection unit 614 detects the line of sight of the operator using the template information recorded by the template information recording unit 622 of the recording unit 62 and the line of sight detection technology of the well-known technology. Detect as information.
- the determination unit 615 causes the operator to display a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (e.g. It is determined whether or not the user is gazing at least for seconds (step S106).
- the control device 6 performs step S107 described later.
- step S106 when it is determined by the determination unit 615 that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (step S106: No), the control device 6 Then, the process proceeds to step S108 described later.
- step S107 the display control unit 616 causes the display device 4 to display the narrowband image generated by the image generation unit 613. Specifically, as shown in FIG. 6, the display control unit 616 causes the display device 4 to display the narrowband image P1 generated by the image generation unit 613.
- step S108 the display control unit 616 causes the display device 4 to display the broadband image generated by the image generation unit 613. Specifically, as shown in FIG. 7, the display control unit 616 causes the display device 4 to display the wide band image P2 generated by the image generation unit 613.
- step S109 when the observation of the subject is ended (step S109: Yes), the control device 6 ends the present process. On the other hand, when the observation of the subject is not finished (step S109: No), the control device 6 returns to the above-described step S101.
- display control is performed when it is determined by determination unit 615 that the line of sight of the operator is equal to or more than a predetermined time with respect to a predetermined area of the wide band image displayed by display device 4. Since the unit 616 causes the display device 4 to display a narrow band image, it is possible to reduce the burden of the user's work at the time of medical examination.
- the display control unit 616 switches the image displayed by the display device 4 according to the determination result of the determination unit 615.
- the present invention is not limited to this.
- the wide band image P2 and the narrow band image P1 may be displayed in parallel in the display area 40 of the display device 4. Thereby, the operator can examine the subject while comparing the wide band image P2 and the narrow band image P1.
- the display control unit 616 reduces the narrowband image P1 when it is determined by the determination unit 615 that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more.
- the reduced narrow-band image P1 may be superimposed on the wide-band image P2 and displayed on the display area 40 of the display device 4 (see FIG. 9). If it is determined that the user is watching closely with the predetermined region of the wide band image to be displayed for a predetermined time or more, the wide band image P2 is reduced and the reduced wide band image P2 is superimposed on the narrow band image P1. It may be displayed in the display area 40 (see FIG. 10).
- the biological information detection unit 614 detects the line of sight of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5.
- the present invention is not limited to this, and instead of the imaging device 5, the operator of the endoscope 2 can wear it, and a glasses-type mounting device capable of imaging at least a region including the eyes of the operator of the endoscope 2 It may be
- the biological information detection unit 614 detects the line of sight of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5. For example, without being limited to this, the number of blinks of the operator of the endoscope 2 may be detected as biological information. In this case, the determination unit 615 may determine whether the number of blinks within a predetermined time (for example, 5 seconds) detected by the biological information detection unit 614 is equal to or greater than a predetermined number.
- a predetermined time for example, 5 seconds
- the endoscope system according to the second embodiment differs from the endoscope system 1 according to the first embodiment described above in terms of the configuration and processing to be executed.
- processing performed by the endoscope system according to the second embodiment will be described.
- the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
- FIG. 11 is a block diagram showing a functional configuration of main parts of the endoscope system according to the second embodiment.
- An endoscope system 1a shown in FIG. 11 includes a control device 6a in place of the control device 6 of the endoscope system 1 according to the first embodiment described above.
- the control device 6a includes an image processing unit 61a instead of the image processing unit 61 according to the first embodiment described above.
- the image processing unit 61a includes a biological information detection unit 614a and a determination unit 615a instead of the biological information detection unit 614 and the determination unit 615 according to the first embodiment described above.
- the living body information detection unit 614 a detects the living body information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
- the determination unit 615a determines whether or not the temporal change in the biological information detected by the biological information detection unit 614a is equal to or more than a predetermined condition. Specifically, the determination unit 615a determines whether the width of the pulse detected by the biological information detection unit 614a is equal to or greater than a predetermined value.
- FIG. 12 is a flowchart showing an outline of display processing performed by the control device 6 a on the display device 4.
- steps other than step S205 and step S206 correspond to the respective steps described in FIG. 5 of the first embodiment described above, detailed description will be omitted.
- step S205 the biological information detection unit 614a detects biological information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
- FIG. 13 is a view schematically showing an example of the pulse of the operator detected by the biological information detection unit 614a.
- the horizontal axis indicates time
- the vertical axis indicates frequency
- curve L1 indicates pulse.
- the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
- the determination unit 615a determines whether the width of the pulse detected by the biological information detection unit 614a is equal to or greater than a predetermined value (step S206). Specifically, as shown in FIG. 13, the determination unit 615a determines whether the pulse width D1 is equal to or greater than a predetermined value.
- the width D1 of the pulse changes in accordance with the stress state of the operator of the endoscope 2. For example, in the case where the operator carefully observes a wide band image displayed by the display device 4 to detect a lesion, stress is applied when the lesion is detected, and the operator's sympathetic nerve is superior to the parasympathetic nerve. , The width of the pulse D1 becomes large.
- the determination unit 615a determines whether the pulse width D1 of the operator of the endoscope 2 is equal to or greater than a predetermined value. If the determination unit 615a determines that the width of the pulse detected by the biological information detection unit 614a is equal to or greater than the predetermined value (step S206: Yes), the control device 6a proceeds to step S207. On the other hand, when the determination unit 615a determines that the width of the pulse detected by the biological information detection unit 614a is not the predetermined value or more (step S206: No), the control device 6a proceeds to step S208.
- the display control unit 616 narrows the display device 4 to a narrow band. Since the image is displayed, the burden of the user's work at the time of medical examination can be reduced.
- the biological information detection unit 614a detects the pulse of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5.
- the operation of the endoscope 2 is not limited to this, for example, based on information input from a pulse oximeter that can be worn by the operator of the endoscope 2 instead of the imaging device 5.
- the person's pulse may be detected.
- the pulse oximeter is capable of irradiating each of the red light and the infrared light toward the operator, and capable of receiving the reflected light reflected from the operator or the transmitted light transmitted through the operator. And a sensor.
- the biological information detection unit 614a may detect the pulse of the operator of the endoscope 2 as biological information based on the information input from the sensor of the pulse oximeter.
- the operator of the endoscope 2 is equipped with a clock, a wristband or the like equipped with a pulse oximeter, and the operator of the endoscope 2 can use the clock or the wristband based on the information transmitted by wireless transmission.
- the pulse may be detected as biological information.
- the watch or the wristband may detect the temperature of the operator of the endoscope 2 in addition to the pulse.
- the endoscope system according to the third embodiment differs from the endoscope system 1 according to the first embodiment described above in terms of the configuration and processing to be executed.
- processing performed by the endoscope system according to the third embodiment will be described.
- the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
- FIG. 14 is a block diagram showing the functional configuration of the main part of the endoscope system according to the third embodiment.
- An endoscope system 1b illustrated in FIG. 14 includes an endoscope 2b and a control device 6b in place of the endoscope 2 and the control device 6 according to the first embodiment described above.
- An endoscope 2b shown in FIG. 14 includes a motion detection unit 205 in addition to the configuration of the endoscope 2 according to the first embodiment described above.
- the motion detection unit 205 is provided at the distal end portion 24 of the endoscope 2b, detects the motion of the endoscope 2b, and outputs the detection result to the control device 6b.
- the motion detection unit 205 is configured using, for example, a gyro sensor or an acceleration sensor.
- the motion detection unit 205 may be provided in the operation unit 22 in addition to the distal end portion 24. Of course, a plurality of motion detection units 205 may be provided on the distal end portion 24.
- the control device 6b illustrated in FIG. 14 includes an image processing unit 61b in place of the image processing unit 61 according to the first embodiment described above.
- the image processing unit 61 b has a determination unit 615 b in place of the determination unit 615 according to the first embodiment described above.
- the determination unit 615 b determines whether the operator gazes at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more based on the temporal change of the biological information detected by the biological information detection unit 614. Determine if Furthermore, the determination unit 615b causes the operator to gaze at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more based on the temporal change of the biological information detected by the biological information detection unit 614. If it is determined that there is, it is determined whether the movement of the endoscope 2b detected by the movement detection unit 205 is less than a predetermined value.
- FIG. 15 is a flowchart showing an outline of display processing performed by the control device 6 b on the display device 4.
- steps S301 to S305 correspond to steps S101 to S105 described in FIG. 5 of the first embodiment described above.
- step S306 the determination unit 615b determines whether or not the predetermined area of the wide band image displayed by the display device 4 by the operator is longer than the predetermined time based on the temporal change of the biological information detected by the biological information detection unit 614 For example, it is determined whether or not the user is gazing at least 5 seconds.
- the control device 6b performs step S307 described later.
- step S306 when it is determined by the determination unit 615b that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (step S306: No), the control device 6b Then, the process proceeds to step S309 described later.
- step S307 the determination unit 615b determines whether the movement of the endoscope 2b detected by the movement detection unit 205 is less than a predetermined value.
- the control device 6b proceeds to step S308 described later.
- the control device 6b proceeds to step S309 described later.
- Steps S308 to S310 correspond to steps S107 to S109 described in FIG. 5 of the first embodiment described above.
- the predetermined area of the broadband image displayed by the display device 4 by the operator is based on the biological information of the operator and the operation state of the endoscope 2 b of the operator. A more accurate determination can be performed by determining whether or not the user is gazing at the target, and therefore the burden on the user's work at the time of medical examination can be reduced.
- the wide-band color filter is configured of the primary color filter, but for example, complementary color filters (Cy, Mg, Ye) transmitting light having complementary wavelength components may be used. Furthermore, even if a color filter (R, G, B, Or, Cy) configured by a primary color filter and a filter (Or, Cy) that transmits light having orange and cyan wavelength components is used. Good. Furthermore, a color filter (R, G, B, W) configured by a primary color filter and a filter (W) that transmits light having a white wavelength component may be used.
- the color filters are provided with narrow band filters that transmit one type of wavelength band, but a plurality of narrow band filters may be provided in the color filters.
- the narrow band filter X1 of the first embodiment described above and a narrow band filter having a peak wavelength of light to be transmitted between 790 nm and 820 nm may be provided.
- control device has been described as a processor used as an endoscope system.
- a capsule endoscope which can be inserted into a body cavity of a subject can be applied.
- the method of each process by the control device in the above-described embodiment can be stored as a program that can be executed by a control unit such as a CPU.
- a control unit such as a CPU
- memory cards ROM cards, RAM cards, etc.
- magnetic disks floppy disks (registered trademark), hard disks, etc.
- optical disks CD-ROM, DVD, etc.
- storage in external storage devices such as semiconductor memory etc.
- a control unit such as a CPU can read the program stored in the storage medium of the external storage device, and can execute the above-described processing by controlling the operation by the read program.
- the present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
- various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiment. For example, some components may be deleted from all the components described in the above-described embodiment. Furthermore, the components described in each embodiment and modification may be combined as appropriate.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
診察時におけるユーザの作業の負担を低減することができる内視鏡システム、表示方法およびプログラムを提供する。内視鏡システム1は、白色光画像と特殊光画像とを同時に撮像可能な内視鏡2と、白色光画像および特殊光画像の少なくとも一方を表示可能な表示装置4と、内視鏡2の操作者の生体情報を連続的に検出する生体情報検出部614と、生体情報検出部614が検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部615と、判定部615が所定の条件以上であると判定した場合、表示装置4に特殊光画像を表示させる表示制御部616と、を備える。
Description
本発明は、被検体の体内画像を撮像する内視鏡が生成した画像データに対して画像処理を行って表示する内視鏡システム、表示方法およびプログラムに関する。
近年、可視光領域において広帯域の波長透過特性を有する複数の広帯域フィルタと狭帯域の波長透過特性を有する狭帯域フィルタとを2次元的に配列したフィルタ部を撮像素子に設けることによって、粘膜表層の毛細血管および粘膜微細模様を観察可能な狭帯域画像とカラーの通常画像とを同時に取得するカプセル型内視鏡が知られている(特許文献1参照)。この技術では、通常画像の表示を指示するための通常画像選択ボタンと、狭帯域画像の表示を指示するための狭帯域画像選択ボタンとを設け、ユーザが観察に応じて2つのボタンのいずれかを選択することによって、通常画像および狭帯域画像のいずれか一方を表示する。
しかしながら、上述した特許文献1では、ユーザが通常画像を観察しながら疑わしい病変部を見つけた場合、その都度、ユーザが狭帯域画像選択ボタンを選択することによって、通常画像から狭帯域画像に切り替えているため、診察時におけるユーザの作業の負荷が大きいという問題点があった。
本発明は、上記に鑑みてなされたものであって、診察時におけるユーザの作業の負担を低減することができる内視鏡システム、表示方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出部と、前記生体情報検出部が検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部と、前記判定部が前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御部と、を備えることを特徴とする。
また、本発明に係る表示方法は、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムが実行する表示方法であって、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムに、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、を実行させることを特徴とする。
本発明によれば、診察時におけるユーザの作業の負担を低減することができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)について説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの全体構成を模式的に示す図である。
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの全体構成を模式的に示す図である。
図1に示す内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2(内視鏡スコープ)と、内視鏡2の先端から出射する照明光を発生する光源装置3と、内視鏡2が撮像した画像データに対応する画像を表示する表示装置4と、内視鏡2の操作者を撮像して画像データを生成する撮像装置5と、内視鏡2が撮像した体内画像に所定の画像処理を施して表示装置4に表示させるとともに、内視鏡システム1全体の動作を統括的に制御する制御装置6と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、制御装置6および光源装置3と接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、後述する撮像装置(撮像部)を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部222と、光源装置3、制御装置6に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、後述するライトガイドと、集合ケーブルと、を少なくとも内蔵している。ユニバーサルコード23は、光源装置3に着脱自在なコネクタ部27(図1を参照)を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置6と着脱自在な電気コネクタ部28を有する。コネクタ部27は、内部にFPGA(Field Programmable Gate Array)を用いて構成される。
光源装置3は、例えばハロゲンランプや白色LED(Light Emitting Diode)等を用いて構成される。光源装置3は、制御装置6の制御のもと、内視鏡2の挿入部の先端側から被写体に向けて照明光を照射する。
表示装置4は、制御装置6の制御のもと、制御装置6が画像処理を施した画像信号に対応する画像および内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶や有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
撮像装置5は、内視鏡2の操作者を連続的に撮像した画像データを順次制御して制御装置6へ出力する。撮像装置5は、被写体像を結像する光学系と、光学系が結像した被写体像を受光して画像データを生成する撮像素子と、を有する。
制御装置6は、内視鏡2から入力されたRAW画像データに対して所定の画像処理を施して表示装置4へ出力する。制御装置6は、CPU等を用いて構成される。
次に、内視鏡システム1の要部の機能について説明する。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。図2を参照して内視鏡システム1の各部構成の詳細および内視鏡システム1内の電気信号の経路について説明する。
〔内視鏡の構成〕
まず、内視鏡2の要部について説明する。
図2に示すように、内視鏡2は、光学系201と、撮像部202と、A/D変換部203と、導光路204と、を備える。
まず、内視鏡2の要部について説明する。
図2に示すように、内視鏡2は、光学系201と、撮像部202と、A/D変換部203と、導光路204と、を備える。
光学系201は、光源装置3が照射した照明光の反射光を撮像部202の撮像面に受光して被写体像を結像する。光学系201は、1または複数のレンズおよびプリズム等を用いて構成される。
撮像部202は、制御装置6の制御のもと、光学系201が受光面に結像した被写体像を受光して光電変換を行うことによって、被写体の画像データ(RAW画像データ)を生成し、この生成した画像データをA/D変換部203へ出力する。具体的には、撮像部202は、制御装置6の制御のもと、基準のフレームレート、例えば60fpsのフレームレートによって被検体を撮像して被検体の画像データを生成する。撮像部202は、2次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子202aと、原色の波長帯域の光を透過する複数の第1帯域フィルタ(以下、「広帯域フィルタ」という)と、この第1帯域フィルタを透過する光の波長帯域の範囲外に最大値を有する狭帯域の光を透過させる第2帯域フィルタ(以下、「狭帯域フィルタ」という)と、を含むフィルタユニットを複数の画素に対応させて配置したカラーフィルタ202bと、を用いて構成される。
図3は、カラーフィルタ202bの構成を模式的に示す図である。図3に示すように、カラーフィルタ202bは、赤色の成分を透過する2つの広帯域フィルタR、緑色の成分を透過する8つの広帯域フィルタG、青色の成分を透過する2つの広帯域フィルタBおよび狭帯域の光を透過させる4つの狭帯域フィルタX1を1組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ202bは、上述した配列パターンを形成する個々のフィルタが2次元格子状に配列された撮像素子202aの複数の画素のいずれかに対応する位置に配置される。ここで、本実施の形態1における狭帯域の光の波長帯域のピーク波長は、395nmから435nmの間にある。このように構成されたカラーフィルタ202bを用いて撮像部202で生成された画像データは、後述する制御装置6によって所定の画像処理(例えばデモザイキング処理等の補間)が行われることによって、カラーの広帯域画像および狭帯域画像に変換される。
図4は、カラーフィルタ202bを構成する各フィルタの透過率と波長との関係を示す図である。図4において、曲線LBが広帯域フィルタBの透過率と波長との関係を示し、曲線LGが広帯域フィルタGの透過率と波長との関係を示し、曲線LRが広帯域フィルタRの透過率と波長との関係を示し、曲線LX1が狭帯域フィルタX1の透過率と波長との関係を示す。また、図4においては、狭帯域フィルタX1のピーク波長を395nmから435nmの間にあるとして説明する。
図4に示すように、狭帯域フィルタX1の波長透過帯域の幅は、広帯域フィルタR、広帯域フィルタBおよび広帯域フィルタGの各々よりも狭い。
図2に戻り、内視鏡2の構成の説明を続ける。
A/D変換部203は、撮像部202から入力されたアナログの画像データに対して、A/D変換を行い、このA/D変換を行ったデジタルの画像データを制御装置6へ出力する。
A/D変換部203は、撮像部202から入力されたアナログの画像データに対して、A/D変換を行い、このA/D変換を行ったデジタルの画像データを制御装置6へ出力する。
導光路204は、照明レンズやライトガイドを用いて構成され、所定の領域に向けて光源装置3が照射した照明光を伝播する。
〔制御装置の構成〕
次に、制御装置6の要部について説明する。
制御装置6は、画像処理部61と、記録部62と、制御部63と、を備える。
次に、制御装置6の要部について説明する。
制御装置6は、画像処理部61と、記録部62と、制御部63と、を備える。
画像処理部61は、内視鏡2から入力されたデジタルの画像データに対して、所定の画像処理を施して表示装置4へ出力するとともに、撮像装置5から入力されたデジタルの画像データに基づいて内視鏡2の操作者の生体情報の時間的な変化に基づく表示装置4へ表示する画像の表示態様を変更する。画像処理部61は、分離部611と、デモザイキング部612と、画像生成部613と、生体情報検出部614と、判定部615と、表示制御部616と、を有する。
分離部611は、内視鏡2からデジタルのRAWデータが入力された場合、RAWデータをモザイク状の各チャンネルに分離し、この各チャンネルに分離したRAWデータの信号値をデモザイキング部612へ出力する。
デモザイキング部612は、分離部611が分離した各チャンネルの信号値を用いてデモザイキング処理を行うことによって、R画像、G画像、B画像およびX1画像の各々を生成し、このR画像、G画像、B画像およびX1画像の各々を画像生成部613へ出力する。
画像生成部613は、デモザイキング部612が生成したR画像、G画像およびB画像を用いてカラーの広帯域画像(カラーの白色光画像)を生成するとともに、デモザイキング部612が生成したG画像およびX1画像を用いて、疑似カラーの狭帯域画像(特殊光画像)を生成する。
生体情報検出部614は、撮像装置5から順次入力される画像データに基づいて、内視鏡2の操作者の生体情報を検出する。具体的には、生体情報検出部614は、撮像装置5から入力される画像データに対応する画像に含まれる操作者の視線を検出する。例えば、生体情報検出部614は、後述する記録部62のテンプレート情報記録部622が記録するテンプレート情報と周知技術の視線検出技術を用いて操作者の視線を検出し、この検出した視線を生体情報として検出する。
判定部615は、生体情報検出部614が検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する。具体的には、判定部615は、生体情報検出部614が検出した生体情報の時間的な変化に基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上同じであるか否かを判定する。
表示制御部616は、表示装置4の表示態様を制御する。また、表示制御部616は、判定部615によって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合、画像生成部613が生成した狭帯域画像を表示装置4に表示させる。
記録部62は、内視鏡2が生成した画像データ、内視鏡システム1が実行するプログラムや処理中の情報を記録する。記録部62は、不揮発性メモリや揮発性メモリ等を用いて構成される。記録部62は、内視鏡システム1が実行する各種プログラムを記録するプログラム記録部621と、生体情報検出部614が内視鏡2の操作者の生体情報を検出する際に用いられる瞳、目じり、瞳孔、虹彩、角膜および目頭等を識別するためテンプレート情報を記録するテンプレート情報記録部622と、を有する。
制御部63は、内視鏡システム1を構成する各部を統括的に制御する。制御部63は、CPU等を用いて構成される。制御部63は、光源装置3の照明光の出射タイミングや内視鏡2の撮像部202の撮像タイミング等を制御する。
〔制御装置の処理〕
次に、制御装置6が表示装置4に対して行う表示処理について説明する。図5は、制御装置6が表示装置4に対して行う表示処理の概要を示すフローチャートである。
次に、制御装置6が表示装置4に対して行う表示処理について説明する。図5は、制御装置6が表示装置4に対して行う表示処理の概要を示すフローチャートである。
図5に示すように、まず、分離部611は、内視鏡2からデジタルのRAWデータが入力された場合、RAWデータをモザイク状の各チャンネルに分離する(ステップS101)。具体的には、分離部611は、広帯域フィルタR、広帯域フィルタG、広帯域フィルタBおよび狭帯域フィルタX1の各々に対応するチャンネル毎にRAWデータの信号値を分離する。
続いて、デモザイキング部612は、分離部611が分離した各チャンネルの信号値を用いてデモザイキング処理を行うことによって、R画像、G画像、B画像およびX1画像の各々を生成する(ステップS102)。ここで、デモザイキング処理の方法としては、周知の線形補間によって行ってもよいし、広帯域フィルタGの信号値を参考に広帯域フィルタRおよび広帯域フィルタBそれぞれの信号値に対してデモザイキング処理を行ってもよい。
その後、画像生成部613は、デモザイキング部612が生成したR画像、G画像およびB画像を用いてカラーの広帯域画像を生成し(ステップS103)、デモザイキング部612が生成したG画像およびX1画像を用いて、疑似カラーの狭帯域画像を生成する(ステップS104)。
続いて、生体情報検出部614は、撮像装置5から入力される画像データに基づいて、内視鏡2の操作者の生体情報を検出する(ステップS105)。具体的には、生体情報検出部614は、記録部62のテンプレート情報記録部622が記録するテンプレート情報と周知技術の視線検出技術を用いて操作者の視線を検出し、この検出した視線を生体情報として検出する。
その後、判定部615は、生体情報検出部614が検出した生体情報の時間的な変化に基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上(例えば5秒以上)注視しているか否かを判定する(ステップS106)。判定部615によって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合(ステップS106:Yes)、制御装置6は、後述するステップS107へ移行する。これに対して、判定部615によって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合(ステップS106:No)、制御装置6は、後述するステップS108へ移行する。
ステップS107において、表示制御部616は、画像生成部613が生成した狭帯域画像を表示装置4に表示させる。具体的には、図6に示すように、表示制御部616は、画像生成部613が生成した狭帯域画像P1を表示装置4に表示させる。
ステップS108において、表示制御部616は、画像生成部613が生成した広帯域画像を表示装置4に表示させる。具体的には、図7に示すように、表示制御部616は、画像生成部613が生成した広帯域画像P2を表示装置4に表示させる。
ステップS109において、被検体の観察を終了する場合(ステップS109:Yes)、制御装置6は、本処理を終了する。これに対して、被検体の観察を終了しない場合(ステップS109:No)、制御装置6は、上述したステップS101へ戻る。
以上説明した本実施の形態1によれば、判定部615によって操作者の視線が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上同じであると判定された場合、表示制御部616が表示装置4に狭帯域画像を表示させるので、診察時におけるユーザの作業の負担を低減することができる。
また、本発明の実施の形態1では、表示制御部616が判定部615の判定結果に応じて表示装置4が表示する画像を切り替えていたが、これに限定されることなく、例えば、図8に示すように、表示装置4の表示領域40に広帯域画像P2および狭帯域画像P1を並列させて表示させてもよい。これにより、操作者は、広帯域画像P2および狭帯域画像P1を見比べながら被検体の診察を行うことができる。もちろん、表示制御部616は、判定部615によって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合、狭帯域画像P1を縮小し、この縮小した狭帯域画像P1を広帯域画像P2上に重畳して表示装置4の表示領域40に表示させてもよいし(図9を参照)、判定部615によって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合、広帯域画像P2を縮小し、この縮小した広帯域画像P2を狭帯域画像P1上に重畳して表示装置4の表示領域40に表示させてもよい(図10を参照)。
また、本実施の形態1では、生体情報検出部614が撮像装置5によって生成された画像データに対応する画像に基づいて、内視鏡2の操作者の視線を生体情報として検出していたが、これに限定されることなく、撮像装置5に換えて、内視鏡2の操作者が装着可能であり、少なくとも内視鏡2の操作者の目を含む領域を撮像可能な眼鏡型装着装置であってもよい。
また、本実施の形態1では、生体情報検出部614が撮像装置5によって生成された画像データに対応する画像に基づいて、内視鏡2の操作者の視線を生体情報として検出していたが、これに限定されることなく、例えば内視鏡2の操作者の瞬きの回数を生体情報として検出してもよい。この場合、判定部615は、生体情報検出部614が検出した所定時間内(例えば5秒)における瞬きの回数が所定回数以上であるか否かを判定するようにしてもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態2に係る内視鏡システムの構成を説明後、本実施の形態2に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態2について説明する。本実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態2に係る内視鏡システムの構成を説明後、本実施の形態2に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図11は、本実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。図11に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1の制御装置6に換えて、制御装置6aを備える。また、制御装置6aは、上述した実施の形態1に係る画像処理部61に換えて、画像処理部61aを備える。画像処理部61aは、上述した実施の形態1に係る生体情報検出部614および判定部615に換えて、生体情報検出部614aおよび判定部615aを有する。
図11は、本実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。図11に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1の制御装置6に換えて、制御装置6aを備える。また、制御装置6aは、上述した実施の形態1に係る画像処理部61に換えて、画像処理部61aを備える。画像処理部61aは、上述した実施の形態1に係る生体情報検出部614および判定部615に換えて、生体情報検出部614aおよび判定部615aを有する。
生体情報検出部614aは、撮像装置5から順次入力される画像データに基づいて、内視鏡2の操作者の生体情報を検出する。具体的には、生体情報検出部614aは、撮像装置5から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
判定部615aは、生体情報検出部614aが検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する。具体的には、判定部615aは、生体情報検出部614aが検出した脈拍の幅が所定値以上であるか否かを判定する。
〔制御装置の処理〕
次に、制御装置6aが表示装置4に対して行う表示処理について説明する。図12は、制御装置6aが表示装置4に対して行う表示処理の概要を示すフローチャートである。図12において、ステップS205およびステップS206以外は、上述した実施の形態1の図5で説明した各ステップに対応するため、詳細な説明を省略する。
次に、制御装置6aが表示装置4に対して行う表示処理について説明する。図12は、制御装置6aが表示装置4に対して行う表示処理の概要を示すフローチャートである。図12において、ステップS205およびステップS206以外は、上述した実施の形態1の図5で説明した各ステップに対応するため、詳細な説明を省略する。
ステップS205において、生体情報検出部614aは、撮像装置5から順次入力される画像データに基づいて、内視鏡2の操作者の生体情報を検出する。具体的には、生体情報検出部614aは、撮像装置5から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
図13は、生体情報検出部614aが検出する操作者の脈拍の一例を模式的に示す図である。図13において、横軸が時間を示し、縦軸が周波数を示し、曲線L1が脈拍を示す。図13に示すように、生体情報検出部614aは、撮像装置5から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
判定部615aは、生体情報検出部614aが検出した脈拍の幅が所定値以上であるか否かを判定する(ステップS206)。具体的には、図13に示すように、判定部615aは、脈拍の幅D1が所定値以上であるか否かを判定する。脈拍の幅D1は、内視鏡2の操作者のストレス状態に応じて変化する。例えば、操作者は、表示装置4が表示する広帯域画像を注意深く観察し病変を検出する場合において、病変を検出したとき、ストレスが掛かり、操作者の交感神経が副交感神経よりも優位になることで、脈拍D1の幅が大きくなる。このため、判定部615aによって内視鏡2の操作者の脈拍の幅D1が所定値以上であるか否かを判定する。判定部615aによって生体情報検出部614aが検出した脈拍の幅が所定値以上であると判定された場合(ステップS206:Yes)、制御装置6aは、ステップS207へ移行する。これに対して、判定部615aによって生体情報検出部614aが検出した脈拍の幅が所定値以上でないと判定された場合(ステップS206:No)、制御装置6aは、ステップS208へ移行する。
以上説明した本実施の形態2によれば、判定部615aによって生体情報検出部614aが検出した脈拍の幅が所定値以上であると判定された場合、表示制御部616が表示装置4に狭帯域画像を表示させるので、診察時におけるユーザの作業の負担を低減することができる。
なお、本実施の形態2では、生体情報検出部614aが撮像装置5によって生成された画像データに対応する画像に基づいて、内視鏡2の操作者の脈拍を生体情報として検出していたが、これに限定されることなく、撮像装置5に換えて、例えば内視鏡2の操作者が装着可能なパルスオキシメータ(Pulse Oximeter)から入力される情報に基づいて、内視鏡2の操作者の脈拍を検出してもよい。具体的には、パルスオキシメータは、赤色光および赤外光の各々を操作者に向けて照射可能な照射部と、操作者から反射した反射光または操作者を透過した透過光を受光可能なセンサと、を備える。そして、生体情報検出部614aは、パルスオキシメータのセンサから入力される情報に基づいて、内視鏡2の操作者の脈拍を生体情報として検出してもよい。また、パルスオキシメータを備えた時計やリストバンド等を内視鏡2の操作者に装着させ、この時計やリストバンドから無線送信によって送信される情報に基づいて、内視鏡2の操作者の脈拍を生体情報として検出してもよい。もちろん、時計やリストバンドは、脈拍以外にも、内視鏡2の操作者の体温も検出してもよい。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態3に係る内視鏡システムの構成を説明後、本実施の形態3に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態3について説明する。本実施の形態3に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態3に係る内視鏡システムの構成を説明後、本実施の形態3に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図14は、本実施の形態3に係る内視鏡システムの要部の機能構成を示すブロック図である。図14に示す内視鏡システム1bは、上述した実施の形態1に係る内視鏡2および制御装置6に換えて、内視鏡2bおよび制御装置6bを備える。
図14は、本実施の形態3に係る内視鏡システムの要部の機能構成を示すブロック図である。図14に示す内視鏡システム1bは、上述した実施の形態1に係る内視鏡2および制御装置6に換えて、内視鏡2bおよび制御装置6bを備える。
〔内視鏡の構成〕
まず、内視鏡2bの構成について説明する。
図14に示す内視鏡2bは、上述した実施の形態1に係る内視鏡2の構成に加えて、動き検出部205を備える。
まず、内視鏡2bの構成について説明する。
図14に示す内視鏡2bは、上述した実施の形態1に係る内視鏡2の構成に加えて、動き検出部205を備える。
動き検出部205は、内視鏡2bの先端部24に設けられ、内視鏡2bの動きを検出し、この検出結果を制御装置6bへ出力する。動き検出部205は、例えばジャイロセンサや加速度センサを用いて構成される。なお、動き検出部205は、先端部24以外に、操作部22に設けてもよい。もちろん、動き検出部205を先端部24に複数設けてもよい。
〔制御装置の構成〕
次に、制御装置6bの構成について説明する。
図14に示す制御装置6bは、上述した実施の形態1に係る画像処理部61に換えて、画像処理部61bを備える。画像処理部61bは、上述した実施の形態1に係る判定部615に換えて、判定部615bを有する。
次に、制御装置6bの構成について説明する。
図14に示す制御装置6bは、上述した実施の形態1に係る画像処理部61に換えて、画像処理部61bを備える。画像処理部61bは、上述した実施の形態1に係る判定部615に換えて、判定部615bを有する。
判定部615bは、生体情報検出部614が検出した生体情報の時間的な変化に基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視しているか否かを判定する。さらに、判定部615bは、生体情報検出部614が検出した生体情報の時間的な変化に基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定した場合において、動き検出部205が検出した内視鏡2bの動きが所定値未満であるか否かを判定する。
〔制御装置の処理〕
次に、制御装置6bが表示装置4に対して行う表示処理について説明する。図15は、制御装置6bが表示装置4に対して行う表示処理の概要を示すフローチャートである。図15において、ステップS301~ステップS305は、上述した実施の形態1の図5で説明したステップS101~ステップS105それぞれに対応する。
次に、制御装置6bが表示装置4に対して行う表示処理について説明する。図15は、制御装置6bが表示装置4に対して行う表示処理の概要を示すフローチャートである。図15において、ステップS301~ステップS305は、上述した実施の形態1の図5で説明したステップS101~ステップS105それぞれに対応する。
ステップS306において、判定部615bは、生体情報検出部614が検出した生体情報の時間的な変化に基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上(例えば5秒以上)注視しているか否かを判定する。判定部615bによって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合(ステップS306:Yes)、制御装置6bは、後述するステップS307へ移行する。これに対して、判定部615bによって操作者が表示装置4によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合(ステップS306:No)、制御装置6bは、後述するステップS309へ移行する。
ステップS307において、判定部615bは、動き検出部205が検出した内視鏡2bの動きが所定値未満であるか否かを判定する。判定部615bによって動き検出部205が検出した内視鏡2bの動きが所定値未満であると判定された場合(ステップS307:Yes)、制御装置6bは、後述するステップS308へ移行する。これに対して、判定部615bによって動き検出部205が検出した内視鏡2bの動きが所定値未満でないと判定された場合(ステップS307:No)、制御装置6bは、後述するステップS309へ移行する。
ステップS308~ステップS310は、上述した実施の形態1の図5で説明したステップS107~ステップS109それぞれに対応する。
以上説明した本実施の形態3によれば、操作者の生体情報と、操作者の内視鏡2bの操作状態とに基づいて、操作者が表示装置4によって表示される広帯域画像の所定領域に対して注視しているか否かを判定することによって、より正確な判定を行うことができるので、診察時におけるユーザの作業の負担を低減することができる。
(その他の実施の形態)
本発明では、広帯域のカラーフィルタが原色フィルタで構成されていたが、例えば補色の波長成分を有する光を透過する補色フィルタ(Cy,Mg,Ye)を用いてもよい。さらに、カラーフィルタを、原色フィルタと、オレンジおよびシアンの波長成分を有する光を透過するフィルタ(Or,Cy)とによって構成されたカラーフィルタ(R,G,B,Or,Cy)を用いてもよい。さらにまた、原色フィルタと、白色の波長成分を有する光を透過させるフィルタ(W)とによって構成されたカラーフィルタ(R,G,B,W)を用いてもよい。
本発明では、広帯域のカラーフィルタが原色フィルタで構成されていたが、例えば補色の波長成分を有する光を透過する補色フィルタ(Cy,Mg,Ye)を用いてもよい。さらに、カラーフィルタを、原色フィルタと、オレンジおよびシアンの波長成分を有する光を透過するフィルタ(Or,Cy)とによって構成されたカラーフィルタ(R,G,B,Or,Cy)を用いてもよい。さらにまた、原色フィルタと、白色の波長成分を有する光を透過させるフィルタ(W)とによって構成されたカラーフィルタ(R,G,B,W)を用いてもよい。
また、本発明では、カラーフィルタに、1つの種類の波長帯域を透過させる狭帯域フィルタが設けられていたが、カラーフィルタ内に、複数の狭帯域フィルタを設けてもよい。例えば、上述した実施の形態1の狭帯域フィルタX1と、透過する光のピーク波長が790nmから820nmの間にある狭帯域フィルタとを設けてもよい。
また、本発明では、制御装置を内視鏡システムとして用いられるプロセッサとして説明していたが、例えば被検体の体腔内に挿入可能なカプセル型内視鏡であっても適用することができる。
また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施の形態における制御装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもCPU等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピーディスク(登録商標)、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
また、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
1,1a,1b 内視鏡システム
2,2b 内視鏡
3 光源装置
4 表示装置
5 撮像装置
6,6a,6b 制御装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
27a コイルケーブル
28 電気コネクタ部
40 表示領域
61,61a,61b 画像処理部
62 記録部
63 制御部
201 光学系
202 撮像部
202a 撮像素子
202b カラーフィルタ
203 A/D変換部
204 導光路
205 動き検出部
611 分離部
612 デモザイキング部
613 画像生成部
614,614a 生体情報検出部
615,615a,615b 判定部
616 表示制御部
621 プログラム記録部
622 テンプレート情報記録部
2,2b 内視鏡
3 光源装置
4 表示装置
5 撮像装置
6,6a,6b 制御装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
27a コイルケーブル
28 電気コネクタ部
40 表示領域
61,61a,61b 画像処理部
62 記録部
63 制御部
201 光学系
202 撮像部
202a 撮像素子
202b カラーフィルタ
203 A/D変換部
204 導光路
205 動き検出部
611 分離部
612 デモザイキング部
613 画像生成部
614,614a 生体情報検出部
615,615a,615b 判定部
616 表示制御部
621 プログラム記録部
622 テンプレート情報記録部
Claims (8)
- 白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、
前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、
前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出部と、
前記生体情報検出部が検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部と、
前記判定部が前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御部と、
を備えることを特徴とする内視鏡システム。 - 前記操作者を連続的に撮像して画像データを順次生成する撮像装置をさらに備え、
前記生体情報検出部は、前記撮像装置が順次生成した前記画像データに基づいて、前記生体情報を検出することを特徴とする請求項1に記載の内視鏡システム。 - 前記生体情報検出部は、前記画像データに対応する画像に含まれる前記操作者の視線を前記生体情報として検出し、
前記判定部は、前記表示部が前記白色光画像を表示している場合において、前記生体情報検出部が検出した前記操作者の視線が前記白色光画像の同じ領域を所定時間以上同じであるか否かを判定することを特徴とする請求項2に記載の内視鏡システム。 - 前記生体情報検出部は、前記画像データに対応する画像に含まれる前記操作者の脈拍を前記生体情報として検出し、
前記判定部は、前記操作者の脈拍の幅が所定値以上であるか否かを判定することを特徴とする請求項2に記載の内視鏡システム。 - 前記内視鏡の挿入部の先端部に設けられ、前記内視鏡の動きを検出する動き検出部をさらに備え、
前記判定部は、前記動き検出部が検出した前記内視鏡の動きが所定値以上であるか否かをさらに判定し、
前記表示制御部は、前記判定部が前記所定の条件以上であると判定した場合において、前記判定部が前記動き検出部によって検出された前記内視鏡の動きが所定値以上であると判定したとき、前記表示部に前記特殊光画像を表示させることを特徴とする請求項1~4のいずれか1つに記載の内視鏡システム。 - 前記内視鏡は、
原色の波長帯域の光を透過する複数の広帯域フィルタと少なくとも1つの狭帯域の光を透過させる狭帯域フィルタとを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のフィルタが、2次元格子状に配置された複数の画素のいずれかに対応する位置に配置された撮像素子を有し、
前記狭帯域フィルタが透過する光のピーク波長は、395nmから435nmの間または790nmから820nmの間にあることを特徴とする請求項1~5のいずれか1つに記載の内視鏡システム。 - 白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムが実行する表示方法であって、
前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、
前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、
前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、
を含むことを特徴とする表示方法。 - 白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムに、
前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、
前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、
前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/022645 WO2018235153A1 (ja) | 2017-06-20 | 2017-06-20 | 内視鏡システム、表示方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/022645 WO2018235153A1 (ja) | 2017-06-20 | 2017-06-20 | 内視鏡システム、表示方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018235153A1 true WO2018235153A1 (ja) | 2018-12-27 |
Family
ID=64736892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/022645 WO2018235153A1 (ja) | 2017-06-20 | 2017-06-20 | 内視鏡システム、表示方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018235153A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08206083A (ja) * | 1995-02-02 | 1996-08-13 | Hitachi Medical Corp | 画像診断装置 |
JPH10201700A (ja) * | 1997-01-20 | 1998-08-04 | Olympus Optical Co Ltd | 蛍光観察内視鏡装置 |
JP2010063589A (ja) * | 2008-09-10 | 2010-03-25 | Fujifilm Corp | 内視鏡システム、およびその駆動制御方法 |
WO2016175084A1 (ja) * | 2015-04-30 | 2016-11-03 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
-
2017
- 2017-06-20 WO PCT/JP2017/022645 patent/WO2018235153A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08206083A (ja) * | 1995-02-02 | 1996-08-13 | Hitachi Medical Corp | 画像診断装置 |
JPH10201700A (ja) * | 1997-01-20 | 1998-08-04 | Olympus Optical Co Ltd | 蛍光観察内視鏡装置 |
JP2010063589A (ja) * | 2008-09-10 | 2010-03-25 | Fujifilm Corp | 内視鏡システム、およびその駆動制御方法 |
WO2016175084A1 (ja) * | 2015-04-30 | 2016-11-03 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240011909A1 (en) | Imaging system | |
JP6435275B2 (ja) | 内視鏡装置 | |
JP5606120B2 (ja) | 内視鏡装置 | |
US11045079B2 (en) | Endoscope device, image processing apparatus, image processing method, and program | |
JP6196900B2 (ja) | 内視鏡装置 | |
JP6588043B2 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム | |
JP6329715B1 (ja) | 内視鏡システムおよび内視鏡 | |
JP6001219B1 (ja) | 内視鏡システム | |
JP6401800B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 | |
WO2017115442A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7328432B2 (ja) | 医療用制御装置、医療用観察システム、制御装置及び観察システム | |
WO2015093114A1 (ja) | 内視鏡装置 | |
JP2013146484A (ja) | 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2017131559A (ja) | 医療用撮像装置、医療用画像取得システム及び内視鏡装置 | |
JP6839773B2 (ja) | 内視鏡システム、内視鏡システムの作動方法及びプロセッサ | |
JPWO2016084257A1 (ja) | 内視鏡装置 | |
JP6987513B2 (ja) | 内視鏡装置 | |
US10863149B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
WO2018235153A1 (ja) | 内視鏡システム、表示方法およびプログラム | |
US20220022728A1 (en) | Medical system, information processing device, and information processing method | |
JP2015047440A (ja) | プロセッサ | |
JP7417712B2 (ja) | 医療用画像処理装置、医療用撮像装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム | |
WO2017017735A1 (ja) | 画像処理装置、表示制御方法およびプログラム | |
JP5897663B2 (ja) | 内視鏡装置 | |
JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17915035 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17915035 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |