WO2018235153A1 - 内視鏡システム、表示方法およびプログラム - Google Patents

内視鏡システム、表示方法およびプログラム Download PDF

Info

Publication number
WO2018235153A1
WO2018235153A1 PCT/JP2017/022645 JP2017022645W WO2018235153A1 WO 2018235153 A1 WO2018235153 A1 WO 2018235153A1 JP 2017022645 W JP2017022645 W JP 2017022645W WO 2018235153 A1 WO2018235153 A1 WO 2018235153A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
biological information
image
light image
unit
Prior art date
Application number
PCT/JP2017/022645
Other languages
English (en)
French (fr)
Inventor
井岡　健
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/022645 priority Critical patent/WO2018235153A1/ja
Publication of WO2018235153A1 publication Critical patent/WO2018235153A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system, a display method, and a program for performing image processing on image data generated by an endoscope that captures an in-vivo image of a subject and displaying the image data.
  • Patent Document 1 when the user finds a suspicious lesion while observing a normal image, the user switches the normal image to the narrow band image by selecting the narrow band image selection button each time. As a result, there is a problem that the work load on the user at the time of medical examination is large.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an endoscope system, a display method and a program capable of reducing the burden of the user's work at the time of medical examination.
  • an endoscope system is an endoscope capable of simultaneously capturing a white light image and a special light image, the white light image and the special light
  • a display unit capable of displaying at least one of images, a biological information detection unit for continuously detecting biological information of the operator of the endoscope, and temporal change of the biological information detected by the biological information detection unit
  • a determination unit that determines whether the predetermined condition is equal to or more, and a display control unit that causes the display unit to display the special light image when the determination unit determines that the predetermined condition or more is satisfied. It is characterized by having.
  • the display method according to the present invention further includes an endoscope capable of simultaneously capturing a white light image and a special light image, and a display unit capable of displaying at least one of the white light image and the special light image.
  • a display method executed by the endoscope system wherein a biological information detection step of continuously detecting biological information of the operator of the endoscope, and temporality of the biological information detected in the biological information detection step A determination step of determining whether or not the change is equal to or greater than a predetermined condition; and a display control step of causing the display unit to display the special light image when it is determined that the predetermined condition is greater than the predetermined condition. , And is characterized.
  • a program according to the present invention includes an endoscope capable of simultaneously capturing a white light image and a special light image, and a display unit capable of displaying at least one of the white light image and the special light image.
  • a biological information detection step of continuously detecting biological information of the operator of the endoscope, and a temporal change of the biological information detected in the biological information detection step is a predetermined condition or more
  • a display control step of causing the display unit to display the special light image when it is determined that the predetermined condition or more is satisfied in the determination step.
  • FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is a view schematically showing a configuration of a color filter according to Embodiment 1 of the present invention.
  • FIG. 4 is a view showing the relationship between the transmittance and the wavelength of each of the filters constituting the color filter according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 1 of the present invention on a display device.
  • FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is
  • FIG. 6 is a view schematically showing an example of a narrow band image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 7 is a view schematically showing an example of a wide band image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 8 is a view showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 9 is a view showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram showing an example of another image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 11 is a block diagram showing a functional configuration of main parts of an endoscope system according to a second embodiment of the present invention.
  • FIG. 12 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 2 of the present invention on a display device.
  • FIG. 13 is a view schematically showing an example of an operator's pulse detected by the biological information detection unit according to the second embodiment of the present invention.
  • FIG. 14 is a block diagram showing a functional configuration of main parts of an endoscope system according to a third embodiment of the present invention.
  • FIG. 15 is a flowchart showing an outline of display processing performed by the control device according to Embodiment 3 of the present invention on a display device.
  • FIG. 1 is a view schematically showing an entire configuration of an endoscope system according to a first embodiment of the present invention.
  • the endoscope system 1 illustrated in FIG. 1 includes an endoscope 2 (endoscope) that captures an in-vivo image of a subject by inserting the tip into a body cavity of the subject, and a tip of the endoscope 2
  • a light source device 3 for generating illumination light emitted from the display
  • a display device 4 for displaying an image corresponding to image data captured by the endoscope 2, and an operator of the endoscope 2 to generate image data
  • the imaging device 5 and the control device 6 that performs predetermined image processing on the in-vivo image captured by the endoscope 2 and causes the display device 4 to display the image, and generally controls the overall operation of the endoscope system 1 Prepare.
  • the endoscope 2 has an elongated insertion portion 21 having flexibility, an operation portion 22 connected to the proximal end side of the insertion portion 21 and receiving input of various operation signals, and an insertion portion from the operation portion 22
  • a universal cord 23 extends in a direction different from the extending direction of the cable 21 and incorporates various cables connected to the control device 6 and the light source device 3.
  • the insertion portion 21 is connected to a proximal end side of the bending portion 25 and a distal end portion 24 having a built-in imaging device (imaging portion) described later, a bendable bending portion 25 formed of a plurality of bending pieces, and flexibility And a flexible flexible tube portion 26 having a property.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical and horizontal directions, a treatment instrument insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife and an inspection probe into a body cavity, the light source device 3,
  • a treatment instrument insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife and an inspection probe into a body cavity
  • the light source device 3 In addition to the control device 6, it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, gas supply means and the like.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the tip portion 24.
  • the universal cord 23 incorporates at least a light guide to be described later and a collecting cable.
  • the universal cord 23 has a connector portion 27 (see FIG. 1) which is detachable from the light source device 3.
  • the connector portion 27 has a coiled coil cable 27a extended, and has an electrical connector portion 28 detachably attachable to the control device 6 at the extended end of the coil cable 27a.
  • the connector unit 27 is internally configured using an FPGA (Field Programmable Gate Array).
  • the light source device 3 is configured using, for example, a halogen lamp or a white LED (Light Emitting Diode). Under the control of the control device 6, the light source device 3 emits illumination light from the tip end side of the insertion portion of the endoscope 2 toward the subject.
  • a halogen lamp or a white LED (Light Emitting Diode).
  • the display device 4 displays an image corresponding to an image signal subjected to image processing by the control device 6 and various types of information regarding the endoscope system 1.
  • the display device 4 is configured using a liquid crystal, a display panel such as an organic EL (Electro Luminescence), or the like.
  • the imaging device 5 sequentially controls image data obtained by continuously imaging the operator of the endoscope 2 and outputs the image data to the control device 6.
  • the imaging device 5 includes an optical system that forms an object image, and an imaging element that receives the object image formed by the optical system and generates image data.
  • the control device 6 performs predetermined image processing on the RAW image data input from the endoscope 2 and outputs the raw image data to the display device 4.
  • the control device 6 is configured using a CPU or the like.
  • FIG. 2 is a block diagram showing the functional configuration of the main part of the endoscope system 1. The details of the configuration of each part of the endoscope system 1 and the paths of electric signals in the endoscope system 1 will be described with reference to FIG.
  • the endoscope 2 includes an optical system 201, an imaging unit 202, an A / D conversion unit 203, and a light guide path 204.
  • the optical system 201 receives the reflected light of the illumination light emitted by the light source device 3 on the imaging surface of the imaging unit 202 to form an object image.
  • the optical system 201 is configured using one or more lenses, a prism, and the like.
  • the imaging unit 202 generates image data (RAW image data) of the subject by receiving the subject image formed on the light receiving surface by the optical system 201 and performing photoelectric conversion under the control of the control device 6.
  • the generated image data is output to the A / D converter 203.
  • the imaging unit 202 captures an image of the subject at a reference frame rate, for example, a frame rate of 60 fps, and generates image data of the subject.
  • the imaging unit 202 photoelectrically converts light received by a plurality of pixels arranged in a two-dimensional grid, and generates an electrical signal.
  • An imaging element 202 a such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS)
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • a plurality of first band-pass filters (hereinafter referred to as “wide band filters”) for transmitting light of the primary color wavelength band, and a narrow band having a maximum value outside the range of the wavelength band of light passing through the first band-pass filter
  • FIG. 3 is a view schematically showing the configuration of the color filter 202b.
  • the color filter 202 b includes two wide band filters R transmitting red components, eight wide band filters G transmitting green components, two wide band filters B transmitting blue components, and a narrow band.
  • the four narrow band-pass filters X1 transmitting the light of (1) are configured using a filter unit in which a predetermined arrangement pattern is formed.
  • the color filters 202b are disposed at positions corresponding to any of the plurality of pixels of the imaging element 202a in which the individual filters forming the above-described array pattern are arrayed in a two-dimensional grid.
  • the peak wavelength of the wavelength band of the narrow band light in the first embodiment is between 395 nm and 435 nm.
  • the image data generated by the imaging unit 202 using the color filter 202 b configured in this way is color-coded by performing predetermined image processing (for example, interpolation such as demosaicing processing) by the control device 6 described later. Transformed into wideband and narrowband images.
  • predetermined image processing for example, interpolation such as demosaicing processing
  • FIG. 4 is a diagram showing the relationship between the transmittance and the wavelength of each of the filters constituting the color filter 202b.
  • the curve L B represents the relationship between the transmittance and the wavelength of the broadband filter B
  • the curve L G represents the relationship between the transmittance and the wavelength of the broad band filter G
  • the curve L R is the transmittance of the broadband filter R
  • the curve L X1 shows the relationship between the transmittance and the wavelength of the narrowband filter X1.
  • the peak wavelength of the narrow band filter X1 is described as being between 395 nm and 435 nm.
  • the width of the wavelength transmission band of the narrow band filter X1 is narrower than each of the wide band filter R, the wide band filter B, and the wide band filter G.
  • the A / D conversion unit 203 performs A / D conversion on the analog image data input from the imaging unit 202, and outputs the digital image data subjected to the A / D conversion to the control device 6.
  • the light guide path 204 is configured using an illumination lens and a light guide, and propagates the illumination light emitted by the light source device 3 toward a predetermined area.
  • the control device 6 includes an image processing unit 61, a recording unit 62, and a control unit 63.
  • the image processing unit 61 performs predetermined image processing on digital image data input from the endoscope 2 and outputs the image data to the display device 4, and based on the digital image data input from the imaging device 5.
  • the display mode of the image to be displayed on the display device 4 based on the temporal change of the biological information of the operator of the endoscope 2 is changed.
  • the image processing unit 61 includes a separation unit 611, a demosaicing unit 612, an image generation unit 613, a biological information detection unit 614, a determination unit 615, and a display control unit 616.
  • the separation unit 611 separates the RAW data into mosaic-like channels, and outputs the signal value of the RAW data separated to each of the channels to the demosaicing unit 612. Do.
  • the demosaicing unit 612 performs demosaicing processing using the signal value of each channel separated by the separation unit 611 to generate each of the R image, the G image, the B image, and the X1 image, and this R image, G Each of the image, the B image, and the X1 image is output to the image generation unit 613.
  • the image generation unit 613 generates a color broadband image (color white light image) using the R image, G image, and B image generated by the demosaicing unit 612, and generates the G image generated by the demosaicing unit 612 and the G image and
  • the X1 image is used to generate a pseudo-color narrow band image (special light image).
  • the biological information detection unit 614 detects biological information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 detects the line of sight of the operator included in the image corresponding to the image data input from the imaging device 5. For example, the living body information detection unit 614 detects the line of sight of the operator using template information recorded by the template information recording unit 622 of the recording unit 62 described later and the line of sight detection technology of the well-known technology. As detected.
  • the determination unit 615 determines whether the temporal change of the biological information detected by the biological information detection unit 614 is equal to or more than a predetermined condition. Specifically, based on the temporal change of the biological information detected by the biological information detection unit 614, the determination unit 615 takes a predetermined time or more with respect to a predetermined area of the broadband image displayed by the display device 4 by the operator. It is determined whether they are the same.
  • the display control unit 616 controls the display mode of the display device 4.
  • the display control unit 616 is also generated by the image generation unit 613 when the determination unit 615 determines that the operator gazes at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more.
  • a narrow band image is displayed on the display device 4.
  • the recording unit 62 records image data generated by the endoscope 2, a program executed by the endoscope system 1, and information being processed.
  • the recording unit 62 is configured using a non-volatile memory, a volatile memory, or the like.
  • the recording unit 62 includes a program recording unit 621 for recording various programs to be executed by the endoscope system 1, a pupil used when the living body information detection unit 614 detects living body information of the operator of the endoscope 2, and an eyesight And template information recording unit 622 for recording template information for identifying the pupil, iris, cornea, and the like.
  • the control unit 63 centrally controls the units that configure the endoscope system 1.
  • the control unit 63 is configured using a CPU or the like.
  • the control unit 63 controls the emission timing of the illumination light of the light source device 3, the imaging timing of the imaging unit 202 of the endoscope 2, and the like.
  • FIG. 5 is a flowchart showing an outline of display processing performed by the control device 6 on the display device 4.
  • the separation unit 611 separates the RAW data into mosaic-like channels (step S101). Specifically, the separating unit 611 separates the signal values of the RAW data for each channel corresponding to each of the wide band filter R, the wide band filter G, the wide band filter B, and the narrow band filter X1.
  • the demosaicing unit 612 generates the R image, the G image, the B image, and the X1 image by performing the demosaicing process using the signal value of each channel separated by the separation unit 611 (step S102).
  • the demosaicing process it may be performed by known linear interpolation, or the demosaicing process is performed on each of the signal values of the wide band filter R and the wide band filter B with reference to the signal value of the wide band filter G. May be
  • the image generation unit 613 generates a color wide-band image using the R image, the G image, and the B image generated by the demosaicing unit 612 (step S103), and the G image and the X1 image generated by the demosaicing unit 612 To generate a pseudo-color narrowband image (step S104).
  • the biological information detection unit 614 detects the biological information of the operator of the endoscope 2 based on the image data input from the imaging device 5 (step S105). Specifically, the living body information detection unit 614 detects the line of sight of the operator using the template information recorded by the template information recording unit 622 of the recording unit 62 and the line of sight detection technology of the well-known technology. Detect as information.
  • the determination unit 615 causes the operator to display a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (e.g. It is determined whether or not the user is gazing at least for seconds (step S106).
  • the control device 6 performs step S107 described later.
  • step S106 when it is determined by the determination unit 615 that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (step S106: No), the control device 6 Then, the process proceeds to step S108 described later.
  • step S107 the display control unit 616 causes the display device 4 to display the narrowband image generated by the image generation unit 613. Specifically, as shown in FIG. 6, the display control unit 616 causes the display device 4 to display the narrowband image P1 generated by the image generation unit 613.
  • step S108 the display control unit 616 causes the display device 4 to display the broadband image generated by the image generation unit 613. Specifically, as shown in FIG. 7, the display control unit 616 causes the display device 4 to display the wide band image P2 generated by the image generation unit 613.
  • step S109 when the observation of the subject is ended (step S109: Yes), the control device 6 ends the present process. On the other hand, when the observation of the subject is not finished (step S109: No), the control device 6 returns to the above-described step S101.
  • display control is performed when it is determined by determination unit 615 that the line of sight of the operator is equal to or more than a predetermined time with respect to a predetermined area of the wide band image displayed by display device 4. Since the unit 616 causes the display device 4 to display a narrow band image, it is possible to reduce the burden of the user's work at the time of medical examination.
  • the display control unit 616 switches the image displayed by the display device 4 according to the determination result of the determination unit 615.
  • the present invention is not limited to this.
  • the wide band image P2 and the narrow band image P1 may be displayed in parallel in the display area 40 of the display device 4. Thereby, the operator can examine the subject while comparing the wide band image P2 and the narrow band image P1.
  • the display control unit 616 reduces the narrowband image P1 when it is determined by the determination unit 615 that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more.
  • the reduced narrow-band image P1 may be superimposed on the wide-band image P2 and displayed on the display area 40 of the display device 4 (see FIG. 9). If it is determined that the user is watching closely with the predetermined region of the wide band image to be displayed for a predetermined time or more, the wide band image P2 is reduced and the reduced wide band image P2 is superimposed on the narrow band image P1. It may be displayed in the display area 40 (see FIG. 10).
  • the biological information detection unit 614 detects the line of sight of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5.
  • the present invention is not limited to this, and instead of the imaging device 5, the operator of the endoscope 2 can wear it, and a glasses-type mounting device capable of imaging at least a region including the eyes of the operator of the endoscope 2 It may be
  • the biological information detection unit 614 detects the line of sight of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5. For example, without being limited to this, the number of blinks of the operator of the endoscope 2 may be detected as biological information. In this case, the determination unit 615 may determine whether the number of blinks within a predetermined time (for example, 5 seconds) detected by the biological information detection unit 614 is equal to or greater than a predetermined number.
  • a predetermined time for example, 5 seconds
  • the endoscope system according to the second embodiment differs from the endoscope system 1 according to the first embodiment described above in terms of the configuration and processing to be executed.
  • processing performed by the endoscope system according to the second embodiment will be described.
  • the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 11 is a block diagram showing a functional configuration of main parts of the endoscope system according to the second embodiment.
  • An endoscope system 1a shown in FIG. 11 includes a control device 6a in place of the control device 6 of the endoscope system 1 according to the first embodiment described above.
  • the control device 6a includes an image processing unit 61a instead of the image processing unit 61 according to the first embodiment described above.
  • the image processing unit 61a includes a biological information detection unit 614a and a determination unit 615a instead of the biological information detection unit 614 and the determination unit 615 according to the first embodiment described above.
  • the living body information detection unit 614 a detects the living body information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
  • the determination unit 615a determines whether or not the temporal change in the biological information detected by the biological information detection unit 614a is equal to or more than a predetermined condition. Specifically, the determination unit 615a determines whether the width of the pulse detected by the biological information detection unit 614a is equal to or greater than a predetermined value.
  • FIG. 12 is a flowchart showing an outline of display processing performed by the control device 6 a on the display device 4.
  • steps other than step S205 and step S206 correspond to the respective steps described in FIG. 5 of the first embodiment described above, detailed description will be omitted.
  • step S205 the biological information detection unit 614a detects biological information of the operator of the endoscope 2 based on the image data sequentially input from the imaging device 5. Specifically, the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
  • FIG. 13 is a view schematically showing an example of the pulse of the operator detected by the biological information detection unit 614a.
  • the horizontal axis indicates time
  • the vertical axis indicates frequency
  • curve L1 indicates pulse.
  • the biological information detection unit 614 a detects the pulse of the operator included in the image corresponding to the image data input from the imaging device 5.
  • the determination unit 615a determines whether the width of the pulse detected by the biological information detection unit 614a is equal to or greater than a predetermined value (step S206). Specifically, as shown in FIG. 13, the determination unit 615a determines whether the pulse width D1 is equal to or greater than a predetermined value.
  • the width D1 of the pulse changes in accordance with the stress state of the operator of the endoscope 2. For example, in the case where the operator carefully observes a wide band image displayed by the display device 4 to detect a lesion, stress is applied when the lesion is detected, and the operator's sympathetic nerve is superior to the parasympathetic nerve. , The width of the pulse D1 becomes large.
  • the determination unit 615a determines whether the pulse width D1 of the operator of the endoscope 2 is equal to or greater than a predetermined value. If the determination unit 615a determines that the width of the pulse detected by the biological information detection unit 614a is equal to or greater than the predetermined value (step S206: Yes), the control device 6a proceeds to step S207. On the other hand, when the determination unit 615a determines that the width of the pulse detected by the biological information detection unit 614a is not the predetermined value or more (step S206: No), the control device 6a proceeds to step S208.
  • the display control unit 616 narrows the display device 4 to a narrow band. Since the image is displayed, the burden of the user's work at the time of medical examination can be reduced.
  • the biological information detection unit 614a detects the pulse of the operator of the endoscope 2 as biological information based on the image corresponding to the image data generated by the imaging device 5.
  • the operation of the endoscope 2 is not limited to this, for example, based on information input from a pulse oximeter that can be worn by the operator of the endoscope 2 instead of the imaging device 5.
  • the person's pulse may be detected.
  • the pulse oximeter is capable of irradiating each of the red light and the infrared light toward the operator, and capable of receiving the reflected light reflected from the operator or the transmitted light transmitted through the operator. And a sensor.
  • the biological information detection unit 614a may detect the pulse of the operator of the endoscope 2 as biological information based on the information input from the sensor of the pulse oximeter.
  • the operator of the endoscope 2 is equipped with a clock, a wristband or the like equipped with a pulse oximeter, and the operator of the endoscope 2 can use the clock or the wristband based on the information transmitted by wireless transmission.
  • the pulse may be detected as biological information.
  • the watch or the wristband may detect the temperature of the operator of the endoscope 2 in addition to the pulse.
  • the endoscope system according to the third embodiment differs from the endoscope system 1 according to the first embodiment described above in terms of the configuration and processing to be executed.
  • processing performed by the endoscope system according to the third embodiment will be described.
  • the same components as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 14 is a block diagram showing the functional configuration of the main part of the endoscope system according to the third embodiment.
  • An endoscope system 1b illustrated in FIG. 14 includes an endoscope 2b and a control device 6b in place of the endoscope 2 and the control device 6 according to the first embodiment described above.
  • An endoscope 2b shown in FIG. 14 includes a motion detection unit 205 in addition to the configuration of the endoscope 2 according to the first embodiment described above.
  • the motion detection unit 205 is provided at the distal end portion 24 of the endoscope 2b, detects the motion of the endoscope 2b, and outputs the detection result to the control device 6b.
  • the motion detection unit 205 is configured using, for example, a gyro sensor or an acceleration sensor.
  • the motion detection unit 205 may be provided in the operation unit 22 in addition to the distal end portion 24. Of course, a plurality of motion detection units 205 may be provided on the distal end portion 24.
  • the control device 6b illustrated in FIG. 14 includes an image processing unit 61b in place of the image processing unit 61 according to the first embodiment described above.
  • the image processing unit 61 b has a determination unit 615 b in place of the determination unit 615 according to the first embodiment described above.
  • the determination unit 615 b determines whether the operator gazes at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more based on the temporal change of the biological information detected by the biological information detection unit 614. Determine if Furthermore, the determination unit 615b causes the operator to gaze at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more based on the temporal change of the biological information detected by the biological information detection unit 614. If it is determined that there is, it is determined whether the movement of the endoscope 2b detected by the movement detection unit 205 is less than a predetermined value.
  • FIG. 15 is a flowchart showing an outline of display processing performed by the control device 6 b on the display device 4.
  • steps S301 to S305 correspond to steps S101 to S105 described in FIG. 5 of the first embodiment described above.
  • step S306 the determination unit 615b determines whether or not the predetermined area of the wide band image displayed by the display device 4 by the operator is longer than the predetermined time based on the temporal change of the biological information detected by the biological information detection unit 614 For example, it is determined whether or not the user is gazing at least 5 seconds.
  • the control device 6b performs step S307 described later.
  • step S306 when it is determined by the determination unit 615b that the operator is not gazing at a predetermined area of the wide band image displayed by the display device 4 for a predetermined time or more (step S306: No), the control device 6b Then, the process proceeds to step S309 described later.
  • step S307 the determination unit 615b determines whether the movement of the endoscope 2b detected by the movement detection unit 205 is less than a predetermined value.
  • the control device 6b proceeds to step S308 described later.
  • the control device 6b proceeds to step S309 described later.
  • Steps S308 to S310 correspond to steps S107 to S109 described in FIG. 5 of the first embodiment described above.
  • the predetermined area of the broadband image displayed by the display device 4 by the operator is based on the biological information of the operator and the operation state of the endoscope 2 b of the operator. A more accurate determination can be performed by determining whether or not the user is gazing at the target, and therefore the burden on the user's work at the time of medical examination can be reduced.
  • the wide-band color filter is configured of the primary color filter, but for example, complementary color filters (Cy, Mg, Ye) transmitting light having complementary wavelength components may be used. Furthermore, even if a color filter (R, G, B, Or, Cy) configured by a primary color filter and a filter (Or, Cy) that transmits light having orange and cyan wavelength components is used. Good. Furthermore, a color filter (R, G, B, W) configured by a primary color filter and a filter (W) that transmits light having a white wavelength component may be used.
  • the color filters are provided with narrow band filters that transmit one type of wavelength band, but a plurality of narrow band filters may be provided in the color filters.
  • the narrow band filter X1 of the first embodiment described above and a narrow band filter having a peak wavelength of light to be transmitted between 790 nm and 820 nm may be provided.
  • control device has been described as a processor used as an endoscope system.
  • a capsule endoscope which can be inserted into a body cavity of a subject can be applied.
  • the method of each process by the control device in the above-described embodiment can be stored as a program that can be executed by a control unit such as a CPU.
  • a control unit such as a CPU
  • memory cards ROM cards, RAM cards, etc.
  • magnetic disks floppy disks (registered trademark), hard disks, etc.
  • optical disks CD-ROM, DVD, etc.
  • storage in external storage devices such as semiconductor memory etc.
  • a control unit such as a CPU can read the program stored in the storage medium of the external storage device, and can execute the above-described processing by controlling the operation by the read program.
  • the present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiment. For example, some components may be deleted from all the components described in the above-described embodiment. Furthermore, the components described in each embodiment and modification may be combined as appropriate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

診察時におけるユーザの作業の負担を低減することができる内視鏡システム、表示方法およびプログラムを提供する。内視鏡システム１は、白色光画像と特殊光画像とを同時に撮像可能な内視鏡２と、白色光画像および特殊光画像の少なくとも一方を表示可能な表示装置４と、内視鏡２の操作者の生体情報を連続的に検出する生体情報検出部６１４と、生体情報検出部６１４が検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部６１５と、判定部６１５が所定の条件以上であると判定した場合、表示装置４に特殊光画像を表示させる表示制御部６１６と、を備える。

Description

内視鏡システム、表示方法およびプログラム
　本発明は、被検体の体内画像を撮像する内視鏡が生成した画像データに対して画像処理を行って表示する内視鏡システム、表示方法およびプログラムに関する。
　近年、可視光領域において広帯域の波長透過特性を有する複数の広帯域フィルタと狭帯域の波長透過特性を有する狭帯域フィルタとを２次元的に配列したフィルタ部を撮像素子に設けることによって、粘膜表層の毛細血管および粘膜微細模様を観察可能な狭帯域画像とカラーの通常画像とを同時に取得するカプセル型内視鏡が知られている（特許文献１参照）。この技術では、通常画像の表示を指示するための通常画像選択ボタンと、狭帯域画像の表示を指示するための狭帯域画像選択ボタンとを設け、ユーザが観察に応じて２つのボタンのいずれかを選択することによって、通常画像および狭帯域画像のいずれか一方を表示する。
特開２００８－８６７５９号公報
　しかしながら、上述した特許文献１では、ユーザが通常画像を観察しながら疑わしい病変部を見つけた場合、その都度、ユーザが狭帯域画像選択ボタンを選択することによって、通常画像から狭帯域画像に切り替えているため、診察時におけるユーザの作業の負荷が大きいという問題点があった。
　本発明は、上記に鑑みてなされたものであって、診察時におけるユーザの作業の負担を低減することができる内視鏡システム、表示方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出部と、前記生体情報検出部が検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部と、前記判定部が前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御部と、を備えることを特徴とする。
　また、本発明に係る表示方法は、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムが実行する表示方法であって、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムに、前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、を実行させることを特徴とする。
　本発明によれば、診察時におけるユーザの作業の負担を低減することができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図４は、本発明の実施の形態１に係るカラーフィルタを構成する各フィルタの透過率と波長との関係を示す図である。 図５は、本発明の実施の形態１に係る制御装置が表示装置に対して行う表示処理の概要を示すフローチャートである。 図６は、本発明の実施の形態１に係る表示装置が表示する狭帯域画像の一例を模式的に示す図である。 図７は、本発明の実施の形態１に係る表示装置が表示する広帯域画像の一例を模式的に示す図である。 図８は、本発明の実施の形態１に係る表示装置が表示する別の画像の一例を示す図である。 図９は、本発明の実施の形態１に係る表示装置が表示する別の画像の一例を示す図である。 図１０は、本発明の実施の形態１に係る表示装置が表示する別の画像の一例を示す図である。 図１１は、本発明の実施の形態２に係る内視鏡システムの要部の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る制御装置が表示装置に対して行う表示処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態２に係る生体情報検出部が検出する操作者の脈拍の一例を模式的に示す図である。 図１４は、本発明の実施の形態３に係る内視鏡システムの要部の機能構成を示すブロック図である。 図１５は、本発明の実施の形態３に係る制御装置が表示装置に対して行う表示処理の概要を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）について説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。
　図１に示す内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２（内視鏡スコープ）と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した画像データに対応する画像を表示する表示装置４と、内視鏡２の操作者を撮像して画像データを生成する撮像装置５と、内視鏡２が撮像した体内画像に所定の画像処理を施して表示装置４に表示させるとともに、内視鏡システム１全体の動作を統括的に制御する制御装置６と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、制御装置６および光源装置３と接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、後述する撮像装置（撮像部）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部２２２と、光源装置３、制御装置６に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、後述するライトガイドと、集合ケーブルと、を少なくとも内蔵している。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７（図１を参照）を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に制御装置６と着脱自在な電気コネクタ部２８を有する。コネクタ部２７は、内部にＦＰＧＡ（Field　Programmable　Gate　Array）を用いて構成される。
　光源装置３は、例えばハロゲンランプや白色ＬＥＤ（Light　Emitting　Diode）等を用いて構成される。光源装置３は、制御装置６の制御のもと、内視鏡２の挿入部の先端側から被写体に向けて照明光を照射する。
　表示装置４は、制御装置６の制御のもと、制御装置６が画像処理を施した画像信号に対応する画像および内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶や有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて構成される。
　撮像装置５は、内視鏡２の操作者を連続的に撮像した画像データを順次制御して制御装置６へ出力する。撮像装置５は、被写体像を結像する光学系と、光学系が結像した被写体像を受光して画像データを生成する撮像素子と、を有する。
　制御装置６は、内視鏡２から入力されたＲＡＷ画像データに対して所定の画像処理を施して表示装置４へ出力する。制御装置６は、ＣＰＵ等を用いて構成される。
　次に、内視鏡システム１の要部の機能について説明する。図２は、内視鏡システム１の要部の機能構成を示すブロック図である。図２を参照して内視鏡システム１の各部構成の詳細および内視鏡システム１内の電気信号の経路について説明する。
　〔内視鏡の構成〕
　まず、内視鏡２の要部について説明する。
　図２に示すように、内視鏡２は、光学系２０１と、撮像部２０２と、Ａ／Ｄ変換部２０３と、導光路２０４と、を備える。
　光学系２０１は、光源装置３が照射した照明光の反射光を撮像部２０２の撮像面に受光して被写体像を結像する。光学系２０１は、１または複数のレンズおよびプリズム等を用いて構成される。
　撮像部２０２は、制御装置６の制御のもと、光学系２０１が受光面に結像した被写体像を受光して光電変換を行うことによって、被写体の画像データ（ＲＡＷ画像データ）を生成し、この生成した画像データをＡ／Ｄ変換部２０３へ出力する。具体的には、撮像部２０２は、制御装置６の制御のもと、基準のフレームレート、例えば６０ｆｐｓのフレームレートによって被検体を撮像して被検体の画像データを生成する。撮像部２０２は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像素子２０２ａと、原色の波長帯域の光を透過する複数の第１帯域フィルタ（以下、「広帯域フィルタ」という）と、この第１帯域フィルタを透過する光の波長帯域の範囲外に最大値を有する狭帯域の光を透過させる第２帯域フィルタ（以下、「狭帯域フィルタ」という）と、を含むフィルタユニットを複数の画素に対応させて配置したカラーフィルタ２０２ｂと、を用いて構成される。
　図３は、カラーフィルタ２０２ｂの構成を模式的に示す図である。図３に示すように、カラーフィルタ２０２ｂは、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる４つの狭帯域フィルタＸ１を１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２０２ｂは、上述した配列パターンを形成する個々のフィルタが２次元格子状に配列された撮像素子２０２aの複数の画素のいずれかに対応する位置に配置される。ここで、本実施の形態１における狭帯域の光の波長帯域のピーク波長は、３９５ｎｍから４３５ｎｍの間にある。このように構成されたカラーフィルタ２０２ｂを用いて撮像部２０２で生成された画像データは、後述する制御装置６によって所定の画像処理（例えばデモザイキング処理等の補間）が行われることによって、カラーの広帯域画像および狭帯域画像に変換される。
　図４は、カラーフィルタ２０２ｂを構成する各フィルタの透過率と波長との関係を示す図である。図４において、曲線ＬＢが広帯域フィルタＢの透過率と波長との関係を示し、曲線ＬＧが広帯域フィルタＧの透過率と波長との関係を示し、曲線ＬＲが広帯域フィルタＲの透過率と波長との関係を示し、曲線ＬＸ1が狭帯域フィルタＸ１の透過率と波長との関係を示す。また、図４においては、狭帯域フィルタＸ１のピーク波長を３９５ｎｍから４３５ｎｍの間にあるとして説明する。
　図４に示すように、狭帯域フィルタＸ１の波長透過帯域の幅は、広帯域フィルタＲ、広帯域フィルタＢおよび広帯域フィルタＧの各々よりも狭い。
　図２に戻り、内視鏡２の構成の説明を続ける。
　Ａ／Ｄ変換部２０３は、撮像部２０２から入力されたアナログの画像データに対して、Ａ／Ｄ変換を行い、このＡ／Ｄ変換を行ったデジタルの画像データを制御装置６へ出力する。
　導光路２０４は、照明レンズやライトガイドを用いて構成され、所定の領域に向けて光源装置３が照射した照明光を伝播する。
　〔制御装置の構成〕
　次に、制御装置６の要部について説明する。
　制御装置６は、画像処理部６１と、記録部６２と、制御部６３と、を備える。
　画像処理部６１は、内視鏡２から入力されたデジタルの画像データに対して、所定の画像処理を施して表示装置４へ出力するとともに、撮像装置５から入力されたデジタルの画像データに基づいて内視鏡２の操作者の生体情報の時間的な変化に基づく表示装置４へ表示する画像の表示態様を変更する。画像処理部６１は、分離部６１１と、デモザイキング部６１２と、画像生成部６１３と、生体情報検出部６１４と、判定部６１５と、表示制御部６１６と、を有する。
　分離部６１１は、内視鏡２からデジタルのＲＡＷデータが入力された場合、ＲＡＷデータをモザイク状の各チャンネルに分離し、この各チャンネルに分離したＲＡＷデータの信号値をデモザイキング部６１２へ出力する。
　デモザイキング部６１２は、分離部６１１が分離した各チャンネルの信号値を用いてデモザイキング処理を行うことによって、Ｒ画像、Ｇ画像、Ｂ画像およびＸ１画像の各々を生成し、このＲ画像、Ｇ画像、Ｂ画像およびＸ１画像の各々を画像生成部６１３へ出力する。
　画像生成部６１３は、デモザイキング部６１２が生成したＲ画像、Ｇ画像およびＢ画像を用いてカラーの広帯域画像（カラーの白色光画像）を生成するとともに、デモザイキング部６１２が生成したＧ画像およびＸ１画像を用いて、疑似カラーの狭帯域画像（特殊光画像）を生成する。
　生体情報検出部６１４は、撮像装置５から順次入力される画像データに基づいて、内視鏡２の操作者の生体情報を検出する。具体的には、生体情報検出部６１４は、撮像装置５から入力される画像データに対応する画像に含まれる操作者の視線を検出する。例えば、生体情報検出部６１４は、後述する記録部６２のテンプレート情報記録部６２２が記録するテンプレート情報と周知技術の視線検出技術を用いて操作者の視線を検出し、この検出した視線を生体情報として検出する。
　判定部６１５は、生体情報検出部６１４が検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する。具体的には、判定部６１５は、生体情報検出部６１４が検出した生体情報の時間的な変化に基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上同じであるか否かを判定する。
　表示制御部６１６は、表示装置４の表示態様を制御する。また、表示制御部６１６は、判定部６１５によって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合、画像生成部６１３が生成した狭帯域画像を表示装置４に表示させる。
　記録部６２は、内視鏡２が生成した画像データ、内視鏡システム１が実行するプログラムや処理中の情報を記録する。記録部６２は、不揮発性メモリや揮発性メモリ等を用いて構成される。記録部６２は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部６２１と、生体情報検出部６１４が内視鏡２の操作者の生体情報を検出する際に用いられる瞳、目じり、瞳孔、虹彩、角膜および目頭等を識別するためテンプレート情報を記録するテンプレート情報記録部６２２と、を有する。
　制御部６３は、内視鏡システム１を構成する各部を統括的に制御する。制御部６３は、ＣＰＵ等を用いて構成される。制御部６３は、光源装置３の照明光の出射タイミングや内視鏡２の撮像部２０２の撮像タイミング等を制御する。
　〔制御装置の処理〕
　次に、制御装置６が表示装置４に対して行う表示処理について説明する。図５は、制御装置６が表示装置４に対して行う表示処理の概要を示すフローチャートである。
　図５に示すように、まず、分離部６１１は、内視鏡２からデジタルのＲＡＷデータが入力された場合、ＲＡＷデータをモザイク状の各チャンネルに分離する（ステップＳ１０１）。具体的には、分離部６１１は、広帯域フィルタＲ、広帯域フィルタＧ、広帯域フィルタＢおよび狭帯域フィルタＸ１の各々に対応するチャンネル毎にＲＡＷデータの信号値を分離する。
　続いて、デモザイキング部６１２は、分離部６１１が分離した各チャンネルの信号値を用いてデモザイキング処理を行うことによって、Ｒ画像、Ｇ画像、Ｂ画像およびＸ１画像の各々を生成する（ステップＳ１０２）。ここで、デモザイキング処理の方法としては、周知の線形補間によって行ってもよいし、広帯域フィルタＧの信号値を参考に広帯域フィルタＲおよび広帯域フィルタＢそれぞれの信号値に対してデモザイキング処理を行ってもよい。
　その後、画像生成部６１３は、デモザイキング部６１２が生成したＲ画像、Ｇ画像およびＢ画像を用いてカラーの広帯域画像を生成し（ステップＳ１０３）、デモザイキング部６１２が生成したＧ画像およびＸ１画像を用いて、疑似カラーの狭帯域画像を生成する（ステップＳ１０４）。
　続いて、生体情報検出部６１４は、撮像装置５から入力される画像データに基づいて、内視鏡２の操作者の生体情報を検出する（ステップＳ１０５）。具体的には、生体情報検出部６１４は、記録部６２のテンプレート情報記録部６２２が記録するテンプレート情報と周知技術の視線検出技術を用いて操作者の視線を検出し、この検出した視線を生体情報として検出する。
　その後、判定部６１５は、生体情報検出部６１４が検出した生体情報の時間的な変化に基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上（例えば５秒以上）注視しているか否かを判定する（ステップＳ１０６）。判定部６１５によって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合（ステップＳ１０６：Ｙｅｓ）、制御装置６は、後述するステップＳ１０７へ移行する。これに対して、判定部６１５によって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合（ステップＳ１０６：Ｎｏ）、制御装置６は、後述するステップＳ１０８へ移行する。
　ステップＳ１０７において、表示制御部６１６は、画像生成部６１３が生成した狭帯域画像を表示装置４に表示させる。具体的には、図６に示すように、表示制御部６１６は、画像生成部６１３が生成した狭帯域画像Ｐ１を表示装置４に表示させる。
　ステップＳ１０８において、表示制御部６１６は、画像生成部６１３が生成した広帯域画像を表示装置４に表示させる。具体的には、図７に示すように、表示制御部６１６は、画像生成部６１３が生成した広帯域画像Ｐ２を表示装置４に表示させる。
　ステップＳ１０９において、被検体の観察を終了する場合（ステップＳ１０９：Ｙｅｓ）、制御装置６は、本処理を終了する。これに対して、被検体の観察を終了しない場合（ステップＳ１０９：Ｎｏ）、制御装置６は、上述したステップＳ１０１へ戻る。
　以上説明した本実施の形態１によれば、判定部６１５によって操作者の視線が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上同じであると判定された場合、表示制御部６１６が表示装置４に狭帯域画像を表示させるので、診察時におけるユーザの作業の負担を低減することができる。
　また、本発明の実施の形態１では、表示制御部６１６が判定部６１５の判定結果に応じて表示装置４が表示する画像を切り替えていたが、これに限定されることなく、例えば、図８に示すように、表示装置４の表示領域４０に広帯域画像Ｐ２および狭帯域画像Ｐ１を並列させて表示させてもよい。これにより、操作者は、広帯域画像Ｐ２および狭帯域画像Ｐ１を見比べながら被検体の診察を行うことができる。もちろん、表示制御部６１６は、判定部６１５によって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合、狭帯域画像Ｐ１を縮小し、この縮小した狭帯域画像Ｐ１を広帯域画像Ｐ２上に重畳して表示装置４の表示領域４０に表示させてもよいし（図９を参照）、判定部６１５によって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合、広帯域画像Ｐ２を縮小し、この縮小した広帯域画像Ｐ２を狭帯域画像Ｐ１上に重畳して表示装置４の表示領域４０に表示させてもよい（図１０を参照）。
　また、本実施の形態１では、生体情報検出部６１４が撮像装置５によって生成された画像データに対応する画像に基づいて、内視鏡２の操作者の視線を生体情報として検出していたが、これに限定されることなく、撮像装置５に換えて、内視鏡２の操作者が装着可能であり、少なくとも内視鏡２の操作者の目を含む領域を撮像可能な眼鏡型装着装置であってもよい。
　また、本実施の形態１では、生体情報検出部６１４が撮像装置５によって生成された画像データに対応する画像に基づいて、内視鏡２の操作者の視線を生体情報として検出していたが、これに限定されることなく、例えば内視鏡２の操作者の瞬きの回数を生体情報として検出してもよい。この場合、判定部６１５は、生体情報検出部６１４が検出した所定時間内（例えば５秒）における瞬きの回数が所定回数以上であるか否かを判定するようにしてもよい。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態２に係る内視鏡システムの構成を説明後、本実施の形態２に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１１は、本実施の形態２に係る内視鏡システムの要部の機能構成を示すブロック図である。図１１に示す内視鏡システム１ａは、上述した実施の形態１に係る内視鏡システム１の制御装置６に換えて、制御装置６ａを備える。また、制御装置６ａは、上述した実施の形態１に係る画像処理部６１に換えて、画像処理部６１ａを備える。画像処理部６１ａは、上述した実施の形態１に係る生体情報検出部６１４および判定部６１５に換えて、生体情報検出部６１４ａおよび判定部６１５ａを有する。
　生体情報検出部６１４ａは、撮像装置５から順次入力される画像データに基づいて、内視鏡２の操作者の生体情報を検出する。具体的には、生体情報検出部６１４ａは、撮像装置５から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
　判定部６１５ａは、生体情報検出部６１４ａが検出した生体情報の時間的な変化が所定の条件以上であるか否かを判定する。具体的には、判定部６１５ａは、生体情報検出部６１４ａが検出した脈拍の幅が所定値以上であるか否かを判定する。
　〔制御装置の処理〕
　次に、制御装置６ａが表示装置４に対して行う表示処理について説明する。図１２は、制御装置６ａが表示装置４に対して行う表示処理の概要を示すフローチャートである。図１２において、ステップＳ２０５およびステップＳ２０６以外は、上述した実施の形態１の図５で説明した各ステップに対応するため、詳細な説明を省略する。
　ステップＳ２０５において、生体情報検出部６１４ａは、撮像装置５から順次入力される画像データに基づいて、内視鏡２の操作者の生体情報を検出する。具体的には、生体情報検出部６１４ａは、撮像装置５から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
　図１３は、生体情報検出部６１４ａが検出する操作者の脈拍の一例を模式的に示す図である。図１３において、横軸が時間を示し、縦軸が周波数を示し、曲線Ｌ１が脈拍を示す。図１３に示すように、生体情報検出部６１４ａは、撮像装置５から入力される画像データに対応する画像に含まれる操作者の脈拍を検出する。
　判定部６１５ａは、生体情報検出部６１４ａが検出した脈拍の幅が所定値以上であるか否かを判定する（ステップＳ２０６）。具体的には、図１３に示すように、判定部６１５ａは、脈拍の幅Ｄ１が所定値以上であるか否かを判定する。脈拍の幅Ｄ１は、内視鏡２の操作者のストレス状態に応じて変化する。例えば、操作者は、表示装置４が表示する広帯域画像を注意深く観察し病変を検出する場合において、病変を検出したとき、ストレスが掛かり、操作者の交感神経が副交感神経よりも優位になることで、脈拍Ｄ１の幅が大きくなる。このため、判定部６１５ａによって内視鏡２の操作者の脈拍の幅Ｄ１が所定値以上であるか否かを判定する。判定部６１５ａによって生体情報検出部６１４ａが検出した脈拍の幅が所定値以上であると判定された場合（ステップＳ２０６：Ｙｅｓ）、制御装置６ａは、ステップＳ２０７へ移行する。これに対して、判定部６１５ａによって生体情報検出部６１４ａが検出した脈拍の幅が所定値以上でないと判定された場合（ステップＳ２０６：Ｎｏ）、制御装置６ａは、ステップＳ２０８へ移行する。
　以上説明した本実施の形態２によれば、判定部６１５ａによって生体情報検出部６１４ａが検出した脈拍の幅が所定値以上であると判定された場合、表示制御部６１６が表示装置４に狭帯域画像を表示させるので、診察時におけるユーザの作業の負担を低減することができる。
　なお、本実施の形態２では、生体情報検出部６１４ａが撮像装置５によって生成された画像データに対応する画像に基づいて、内視鏡２の操作者の脈拍を生体情報として検出していたが、これに限定されることなく、撮像装置５に換えて、例えば内視鏡２の操作者が装着可能なパルスオキシメータ（Pulse　Oximeter）から入力される情報に基づいて、内視鏡２の操作者の脈拍を検出してもよい。具体的には、パルスオキシメータは、赤色光および赤外光の各々を操作者に向けて照射可能な照射部と、操作者から反射した反射光または操作者を透過した透過光を受光可能なセンサと、を備える。そして、生体情報検出部６１４ａは、パルスオキシメータのセンサから入力される情報に基づいて、内視鏡２の操作者の脈拍を生体情報として検出してもよい。また、パルスオキシメータを備えた時計やリストバンド等を内視鏡２の操作者に装着させ、この時計やリストバンドから無線送信によって送信される情報に基づいて、内視鏡２の操作者の脈拍を生体情報として検出してもよい。もちろん、時計やリストバンドは、脈拍以外にも、内視鏡２の操作者の体温も検出してもよい。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態３に係る内視鏡システムの構成を説明後、本実施の形態３に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１４は、本実施の形態３に係る内視鏡システムの要部の機能構成を示すブロック図である。図１４に示す内視鏡システム１ｂは、上述した実施の形態１に係る内視鏡２および制御装置６に換えて、内視鏡２ｂおよび制御装置６ｂを備える。
　〔内視鏡の構成〕
　まず、内視鏡２ｂの構成について説明する。
　図１４に示す内視鏡２ｂは、上述した実施の形態１に係る内視鏡２の構成に加えて、動き検出部２０５を備える。
　動き検出部２０５は、内視鏡２ｂの先端部２４に設けられ、内視鏡２ｂの動きを検出し、この検出結果を制御装置６ｂへ出力する。動き検出部２０５は、例えばジャイロセンサや加速度センサを用いて構成される。なお、動き検出部２０５は、先端部２４以外に、操作部２２に設けてもよい。もちろん、動き検出部２０５を先端部２４に複数設けてもよい。
　〔制御装置の構成〕
　次に、制御装置６ｂの構成について説明する。
　図１４に示す制御装置６ｂは、上述した実施の形態１に係る画像処理部６１に換えて、画像処理部６１ｂを備える。画像処理部６１ｂは、上述した実施の形態１に係る判定部６１５に換えて、判定部６１５ｂを有する。
　判定部６１５ｂは、生体情報検出部６１４が検出した生体情報の時間的な変化に基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視しているか否かを判定する。さらに、判定部６１５ｂは、生体情報検出部６１４が検出した生体情報の時間的な変化に基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定した場合において、動き検出部２０５が検出した内視鏡２ｂの動きが所定値未満であるか否かを判定する。
　〔制御装置の処理〕
　次に、制御装置６ｂが表示装置４に対して行う表示処理について説明する。図１５は、制御装置６ｂが表示装置４に対して行う表示処理の概要を示すフローチャートである。図１５において、ステップＳ３０１～ステップＳ３０５は、上述した実施の形態１の図５で説明したステップＳ１０１～ステップＳ１０５それぞれに対応する。
　ステップＳ３０６において、判定部６１５ｂは、生体情報検出部６１４が検出した生体情報の時間的な変化に基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上（例えば５秒以上）注視しているか否かを判定する。判定部６１５ｂによって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していると判定された場合（ステップＳ３０６：Ｙｅｓ）、制御装置６ｂは、後述するステップＳ３０７へ移行する。これに対して、判定部６１５ｂによって操作者が表示装置４によって表示される広帯域画像の所定領域に対して所定時間以上注視していないと判定された場合（ステップＳ３０６：Ｎｏ）、制御装置６ｂは、後述するステップＳ３０９へ移行する。
　ステップＳ３０７において、判定部６１５ｂは、動き検出部２０５が検出した内視鏡２ｂの動きが所定値未満であるか否かを判定する。判定部６１５ｂによって動き検出部２０５が検出した内視鏡２ｂの動きが所定値未満であると判定された場合（ステップＳ３０７：Ｙｅｓ）、制御装置６ｂは、後述するステップＳ３０８へ移行する。これに対して、判定部６１５ｂによって動き検出部２０５が検出した内視鏡２ｂの動きが所定値未満でないと判定された場合（ステップＳ３０７：Ｎｏ）、制御装置６ｂは、後述するステップＳ３０９へ移行する。
　ステップＳ３０８～ステップＳ３１０は、上述した実施の形態１の図５で説明したステップＳ１０７～ステップＳ１０９それぞれに対応する。
　以上説明した本実施の形態３によれば、操作者の生体情報と、操作者の内視鏡２ｂの操作状態とに基づいて、操作者が表示装置４によって表示される広帯域画像の所定領域に対して注視しているか否かを判定することによって、より正確な判定を行うことができるので、診察時におけるユーザの作業の負担を低減することができる。
（その他の実施の形態）
　本発明では、広帯域のカラーフィルタが原色フィルタで構成されていたが、例えば補色の波長成分を有する光を透過する補色フィルタ（Ｃｙ,Ｍｇ,Ｙｅ）を用いてもよい。さらに、カラーフィルタを、原色フィルタと、オレンジおよびシアンの波長成分を有する光を透過するフィルタ（Ｏｒ,Ｃｙ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｏｒ,Ｃｙ）を用いてもよい。さらにまた、原色フィルタと、白色の波長成分を有する光を透過させるフィルタ（Ｗ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｗ）を用いてもよい。
　また、本発明では、カラーフィルタに、１つの種類の波長帯域を透過させる狭帯域フィルタが設けられていたが、カラーフィルタ内に、複数の狭帯域フィルタを設けてもよい。例えば、上述した実施の形態１の狭帯域フィルタＸ１と、透過する光のピーク波長が７９０ｎｍから８２０ｎｍの間にある狭帯域フィルタとを設けてもよい。
　また、本発明では、制御装置を内視鏡システムとして用いられるプロセッサとして説明していたが、例えば被検体の体腔内に挿入可能なカプセル型内視鏡であっても適用することができる。
　また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
　また、上述した実施の形態における制御装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
　また、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
　また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
　１，１ａ，１ｂ　内視鏡システム
　２，２ｂ　内視鏡
　３　光源装置
　４　表示装置
　５　撮像装置
　６，６ａ，６ｂ　制御装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　２７　コネクタ部
　２７ａ　コイルケーブル
　２８　電気コネクタ部
　４０　表示領域
　６１，６１ａ，６１ｂ　画像処理部
　６２　記録部
　６３　制御部
　２０１　光学系
　２０２　撮像部
　２０２ａ　撮像素子
　２０２ｂ　カラーフィルタ
　２０３　Ａ／Ｄ変換部
　２０４　導光路
　２０５　動き検出部
　６１１　分離部
　６１２　デモザイキング部
　６１３　画像生成部
　６１４，６１４ａ　生体情報検出部
　６１５，６１５ａ，６１５ｂ　判定部
　６１６　表示制御部
　６２１　プログラム記録部
　６２２　テンプレート情報記録部

Claims (8)

  1. 　白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、
    　前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、
    　前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出部と、
    　前記生体情報検出部が検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定部と、
    　前記判定部が前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御部と、
    　を備えることを特徴とする内視鏡システム。
  2. 　前記操作者を連続的に撮像して画像データを順次生成する撮像装置をさらに備え、
    　前記生体情報検出部は、前記撮像装置が順次生成した前記画像データに基づいて、前記生体情報を検出することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記生体情報検出部は、前記画像データに対応する画像に含まれる前記操作者の視線を前記生体情報として検出し、
    　前記判定部は、前記表示部が前記白色光画像を表示している場合において、前記生体情報検出部が検出した前記操作者の視線が前記白色光画像の同じ領域を所定時間以上同じであるか否かを判定することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記生体情報検出部は、前記画像データに対応する画像に含まれる前記操作者の脈拍を前記生体情報として検出し、
    　前記判定部は、前記操作者の脈拍の幅が所定値以上であるか否かを判定することを特徴とする請求項２に記載の内視鏡システム。
  5. 　前記内視鏡の挿入部の先端部に設けられ、前記内視鏡の動きを検出する動き検出部をさらに備え、
    　前記判定部は、前記動き検出部が検出した前記内視鏡の動きが所定値以上であるか否かをさらに判定し、
    　前記表示制御部は、前記判定部が前記所定の条件以上であると判定した場合において、前記判定部が前記動き検出部によって検出された前記内視鏡の動きが所定値以上であると判定したとき、前記表示部に前記特殊光画像を表示させることを特徴とする請求項１～４のいずれか１つに記載の内視鏡システム。
  6. 　前記内視鏡は、
    　原色の波長帯域の光を透過する複数の広帯域フィルタと少なくとも１つの狭帯域の光を透過させる狭帯域フィルタとを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のフィルタが、２次元格子状に配置された複数の画素のいずれかに対応する位置に配置された撮像素子を有し、
    　前記狭帯域フィルタが透過する光のピーク波長は、３９５ｎｍから４３５ｎｍの間または７９０ｎｍから８２０ｎｍの間にあることを特徴とする請求項１～５のいずれか１つに記載の内視鏡システム。
  7. 　白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムが実行する表示方法であって、
    　前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、
    　前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、
    　前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、
    　を含むことを特徴とする表示方法。
  8. 　白色光画像と特殊光画像とを同時に撮像可能な内視鏡と、前記白色光画像および前記特殊光画像の少なくとも一方を表示可能な表示部と、を備えた内視鏡システムに、
    　前記内視鏡の操作者の生体情報を連続的に検出する生体情報検出ステップと、
    　前記生体情報検出ステップにおいて検出した前記生体情報の時間的な変化が所定の条件以上であるか否かを判定する判定ステップと、
    　前記判定ステップにおいて前記所定の条件以上であると判定した場合、前記表示部に前記特殊光画像を表示させる表示制御ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2017/022645 2017-06-20 2017-06-20 内視鏡システム、表示方法およびプログラム WO2018235153A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/022645 WO2018235153A1 (ja) 2017-06-20 2017-06-20 内視鏡システム、表示方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/022645 WO2018235153A1 (ja) 2017-06-20 2017-06-20 内視鏡システム、表示方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018235153A1 true WO2018235153A1 (ja) 2018-12-27

Family

ID=64736892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022645 WO2018235153A1 (ja) 2017-06-20 2017-06-20 内視鏡システム、表示方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2018235153A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08206083A (ja) * 1995-02-02 1996-08-13 Hitachi Medical Corp 画像診断装置
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2010063589A (ja) * 2008-09-10 2010-03-25 Fujifilm Corp 内視鏡システム、およびその駆動制御方法
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08206083A (ja) * 1995-02-02 1996-08-13 Hitachi Medical Corp 画像診断装置
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2010063589A (ja) * 2008-09-10 2010-03-25 Fujifilm Corp 内視鏡システム、およびその駆動制御方法
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
US20240011909A1 (en) Imaging system
JP6435275B2 (ja) 内視鏡装置
JP5606120B2 (ja) 内視鏡装置
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP6196900B2 (ja) 内視鏡装置
JP6588043B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
JP6001219B1 (ja) 内視鏡システム
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
WO2015093114A1 (ja) 内視鏡装置
JP2013146484A (ja) 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム
JP2017131559A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
JPWO2016084257A1 (ja) 内視鏡装置
JP6987513B2 (ja) 内視鏡装置
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2018235153A1 (ja) 内視鏡システム、表示方法およびプログラム
US20220022728A1 (en) Medical system, information processing device, and information processing method
JP2015047440A (ja) プロセッサ
JP7417712B2 (ja) 医療用画像処理装置、医療用撮像装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム
WO2017017735A1 (ja) 画像処理装置、表示制御方法およびプログラム
JP5897663B2 (ja) 内視鏡装置
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915035

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17915035

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP