WO2022209217A1 - 医療撮像システム、医療撮像装置、および制御方法 - Google Patents

医療撮像システム、医療撮像装置、および制御方法 Download PDF

Info

Publication number
WO2022209217A1
WO2022209217A1 PCT/JP2022/002507 JP2022002507W WO2022209217A1 WO 2022209217 A1 WO2022209217 A1 WO 2022209217A1 JP 2022002507 W JP2022002507 W JP 2022002507W WO 2022209217 A1 WO2022209217 A1 WO 2022209217A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
mid
edof
far
Prior art date
Application number
PCT/JP2022/002507
Other languages
English (en)
French (fr)
Inventor
康昭 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023510533A priority Critical patent/JPWO2022209217A1/ja
Publication of WO2022209217A1 publication Critical patent/WO2022209217A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery

Definitions

  • the present disclosure relates to a medical imaging system, a medical imaging device, and a control method, and more particularly, to a medical imaging system, a medical imaging device, and a control method that are capable of appropriately outputting images according to surgery.
  • the near point side or far point side which is out of the depth of field, is out of focus. It becomes an image. Therefore, each time the attention area changes to the near point side or the far point side, it is necessary to adjust the focus so that the attention area is in focus. be. Therefore, there is a need for a medical imaging system capable of capturing images with a deep depth of field.
  • Patent Document 1 discloses a medical observation device capable of acquiring an EDOF (Extended Depth of Field) image with an extended depth of field.
  • EDOF Extended Depth of Field
  • the present disclosure has been made in view of such circumstances, and enables an image to be output appropriately according to surgery.
  • a medical imaging system and a medical imaging apparatus include a surgical mode setting unit that sets a surgical mode, and two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens. and a selection processing unit that selects to switch the display image based on the surgical mode from among the images and the EDOF image whose depth of field is expanded by synthesizing those images.
  • a control method includes setting a surgical mode by a medical imaging system, two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens, and and selecting, based on the surgical mode, switching the display image from among the EDOF images whose depth of field has been expanded by synthesizing those images.
  • the surgical mode is set, two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens, and by synthesizing those images Based on the operation mode, a selection is made to switch the display image from among the EDOF images with expanded depth of field.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a medical imaging system to which the present technology is applied;
  • FIG. It is a figure explaining the structure of an endoscope and an apparatus unit. It is a figure which shows the structural example of an imaging module.
  • FIG. 4 is a diagram for explaining a Mid image, a Near image, a Far image, an EDOF image, and a color-coded image;
  • FIG. 4 is a diagram showing the relationship between focus positions in a cataract surgery mode and a vitreous surgery mode;
  • FIG. 4 is a diagram showing a configuration example of an image selection function of a CCU; 10 is a flowchart for explaining image selection processing; 9 is a flowchart for explaining display image output processing; 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied; FIG.
  • FIG. 1 is a diagram showing a configuration example of an embodiment in which a medical imaging system to which the present technology is applied is applied to endoscopic surgery.
  • a medical imaging system 11 shown in FIG. 1 A medical imaging system 11 shown in FIG.
  • the endoscope 12 and the energy treatment instrument 13 are inserted into the patient's body, and the forceps 16 are inserted into the patient's body.
  • an image of an affected area such as a tumor captured by the endoscope 12 is displayed in real time on the display device 14, and the doctor uses the energy treatment instrument 13 and the forceps 16 while viewing the image. treatment can be performed on the affected area.
  • the endoscope 12 has a cylindrical barrel portion 22 in which an optical system such as an objective lens is incorporated, and an imaging module (see FIG. 3) having a plurality of imaging elements and the like. mounted on the camera head 21.
  • the lens barrel part 22 is a scope formed in a cylindrical shape using a hard or soft material, and guides light to the distal end by a light guide extending inside, and the light enters the body cavity of the patient. can be irradiated.
  • the camera head 21 is configured such that an optical element such as a birefringent mask (BM) can be inserted between the lens barrel portion 22 and the optical system of the lens barrel portion 22.
  • BM birefringent mask
  • the energy treatment device 13 is, for example, a medical device used in endoscopic surgery that excises an affected area or seals a blood vessel using heat generated by high-frequency current.
  • the display device 14 can display an image captured by the endoscope 12 as it is, or an image that has undergone image processing in the device unit 15 .
  • the device unit 15 is configured by incorporating various devices necessary for performing endoscopic surgery using the medical imaging system 11 .
  • the device unit 15 can be configured with a light source device 31, a CCU (Camera Control Unit) 32, a recording device 33, and an output device 34, as shown in FIG.
  • the light source device 31 supplies light to the endoscope 12 via an optical fiber or the like with which the affected part is irradiated when the endoscope 12 performs imaging.
  • the CCU 32 controls imaging by the endoscope 12 and performs image processing on the image captured by the endoscope 12 .
  • the CCU 32 also has, for example, a focus control function for appropriately controlling the focus when an image is captured by the endoscope 12 according to the surgical mode, and an image captured by the endoscope 12 according to the surgical mode. It also has an image selection function for outputting images appropriately.
  • the recording device 33 records the image output from the CCU 32 on a recording medium.
  • the output device 34 prints and outputs images output from the CCU 32 or outputs them via a communication network.
  • FIG. 3 is a diagram showing a configuration example of an imaging module incorporated in the camera head 21 of the endoscope 12. As shown in FIG. 3
  • the imaging module 41 includes a branching optical system 51 and three imaging elements 52-1 to 52-3. Further, an imaging lens 42 is arranged on the optical axis of light incident on the imaging module 41 .
  • the imaging lens 42 is composed of one or a plurality of lenses, and is directed toward the imaging elements 52-1 to 52-3 so that imaging is performed by light entering the barrel section 22 of the endoscope 12. is condensed and made incident on the branching optical system 51 .
  • the branching optical system 51 branches the light incident through the imaging lens 42 toward each of the imaging elements 52-1 to 52-3.
  • the branching optical system 51 is composed of a first prism 61 , a second prism 62 , a third prism 63 , a first dichroic mirror 64 and a second dichroic mirror 65 .
  • a first prism 61, a second prism 62, and a third prism 63 are provided between the first prism 61 and the second prism 62 and between the second prism 62 and the third prism 63. , constitute a prism block that is joined so as not to create an air gap.
  • the branching optical system 51 by adopting a prism block with a so-called gapless structure, in the branching optical system 51, it is possible to avoid the occurrence of sandwiching process dust and the leakage of the sealing material. be able to. Therefore, in the branching optical system 51, for example, even with a lens system having a relatively large F-number, such as the endoscope 12, it is possible to eliminate reflection of foreign matter and suppress degradation of image quality.
  • the imaging devices 52-1 to 52-3 are, for example, CMOS image sensors having Bayer array RGB filters.
  • the imaging device 52-1 is arranged at a position where the distance (optical path length) from the principal point of the imaging lens 42 is a reference intermediate distance.
  • the imaging device 52-2 is arranged at a position away from the branching optical system 51 by the shift amount ⁇ Z so that the distance from the principal point of the imaging lens 42 is longer than the reference.
  • the imaging device 52-3 is arranged at a position closer to the branching optical system 51 by the shift amount ⁇ Z so that the distance from the principal point of the imaging lens 42 is shorter than the reference distance.
  • an image captured by the imaging device 52-1 is referred to as a Mid image
  • an image captured by the imaging device 52-2 is referred to as a Near image
  • an image captured by the imaging device 52-3 is referred to as a Far image. called.
  • the imaging module 41 is configured to be able to output Near images, Mid images, and Far images to the CCU 32 .
  • the medical imaging system 11 can switch between the Near image, the Mid image, and the Far image and output it to the display device 14, and can also switch between the EDOF image and the color-coded image that have undergone image processing in the CCU 32, and can output the image to the display device 14. can be output to
  • FIG. 4 shows images of the Near image, Mid image, Far image, EDOF image, and color-coded image that are switched and displayed in the medical imaging system 11 .
  • the Near image is captured so that the near point is in focus, and the image becomes more blurred toward the far point.
  • the mid image is captured so that the intermediate point is in focus, and the near point side and the far point side are blurred.
  • a far image is captured so that the far point side is in focus, and the image becomes more blurred toward the near point side.
  • the EDOF image obtains the contrast for each pixel in the Near, Mid, and Far images, selects the pixels with the highest contrast, and synthesizes them. This is an image that has undergone image processing that expands the depth of field.
  • the color-coded image is a color-coded image obtained by obtaining the contrast for each pixel of the Near, Mid, and Far images, and using the color corresponding to the image with the highest contrast, and is used to select the area.
  • the pixels with the highest contrast in the Near image are red (solid line in Fig. 4)
  • the pixels with the highest contrast in the Mid image are green (dashed line in Fig. 4)
  • the contrast of the Far image is The highest pixels are colored blue (dashed line in FIG. 4).
  • the medical imaging system 11 when the user inputs a surgery mode using, for example, a user interface displayed on the display device 14 , the inputted surgery mode is set in the CCU 32 . Then, the CCU 32 can appropriately select and output the Near image, Mid image, Far image, EDOF image, and color-coded image according to the set surgical mode.
  • the user sees a Near image, a Mid image, a Far image, an EDOF image, and a color-coded image arranged side by side as shown in FIG. to select which image to display.
  • the display image may be determined by default depending on the surgical mode.
  • a cataract surgery mode for example, a cataract surgery mode, a vitreous surgery mode, and a laparoscopic mode are adopted as selectable surgery modes in the medical imaging system 11
  • a corneal surgery mode for example, a vitreous surgery mode, or a fundus surgery mode may be employed.
  • FIG. 5A shows an example of the focus positions of the Near image, Mid image, and Far image in the cataract surgery mode.
  • the near image is taken so that the surface of the cornea is the focus position
  • the mid image is taken so that the surface of the lens is the focus position
  • the far image is taken so that the back surface of the lens is the focus position.
  • FIG. 5B shows an example of the focus positions of the Mid image, Near image, and Far image in the vitrectomy mode.
  • the near image is focused on the instrument insertion part on the outside of the eye
  • the mid image is focused on the center of the vitreous body
  • the far image is focused on the bottom of the eye.
  • the image is captured so as to be
  • when performing surgery on the vitreous only the vitreous body is operated without damaging the lens, so the inside of the vitreous can be seen using the Mid and Far images, and the instrument insertion area outside the eye can be seen using the Near image. It will be.
  • the difference in optical path length small between the near point and the intermediate point and large between the intermediate point and the far point. That is, the difference in optical path length ( ⁇ Z) between the imaging device 52-1 and the imaging device 52-2 is set smaller than the difference in optical path length ( ⁇ Z) between the imaging device 52-1 and the imaging device 52-3. set.
  • the difference in optical path length between the image sensor 52-1 and the image sensor 52-2 is preferably set within 5 mm because the thickness of the crystalline lens is 4 to 5 mm.
  • the difference in optical path length between the imaging device 52-1 and the imaging device 52-3 is preferably set within 25 mm because the size of the eyeball from the cornea to the fundus is 22-23 mm. It should be noted that the optical path length is shorter in the order of the imaging device 52-3, the imaging device 52-1, and the imaging device 52-2.
  • FIG. 6 is a block diagram illustrating the image selection function of CCU 32. As shown in FIG. 6
  • the CCU 32 includes a surgery mode setting section 71, a display image selection processing section 72, an imaging signal acquisition section 73, an EDOF image output section 74, and a color-coded image output section 75.
  • the surgical mode setting unit 71 sets the surgical mode to the display image selection processing unit 72 .
  • the display image selection processing unit 72 presents the user with display image options to be displayed on the display device 14 based on the surgery mode set by the surgery mode setting unit 71, and the user selects a desired image to be displayed on the display device 14. is selected, the selected image is determined as the display image to be displayed on the display device 14 . Further, the display image selection processing unit 72 sets an EDOF use image to be used by the EDOF image output unit 74 to generate an EDOF image among Near images, Mid images, and Far images, based on the surgical mode. In addition, the display image selection processing unit 72 sets a base image from which the color-coded image output unit 75 generates the color-coded image among the Near image, the Mid image, and the Far image based on the surgical mode.
  • the imaging signal acquisition unit 73 acquires the imaging signals of the Near image, Mid image, and Far image output from the imaging module 41 . Then, the imaging signal acquisition unit 73 outputs the Near image when the Near image is determined as the display image, outputs the Mid image when the Mid image is determined as the display image, and outputs the Far image. If it is determined as a display image, a far image is output. In addition, when the EDOF use image is determined as the display image, the imaging signal acquisition unit 73 supplies the EDOF use image set based on the surgical mode to the EDOF image output unit 74 .
  • the imaging signal acquisition unit 73 supplies the Near image, the Mid image, and the Far image to the color-coded image output unit 75, and also outputs the image set as the base image.
  • the color-coded image output unit 75 is instructed.
  • the EDOF image output unit 74 uses the EDOF image supplied from the imaging signal acquisition unit 73 to generate and output an EDOF image. For example, when a Near image, a Mid image, and a Far image are set as EDOF images, the EDOF image output unit 74 obtains contrast for each pixel of the Near image, Mid image, and Far image. Then, the EDOF image output unit 74 selects and synthesizes pixels with the highest contrast, thereby generating an EDOF image with an expanded depth of field so that the near point and the far point are in focus.
  • the color-coded image output unit 75 generates color-coded images based on the base image set by the display image selection processing unit 72 using the Near image, Mid image, and Far image supplied from the imaging signal acquisition unit 73. output. For example, when the Mid image is designated as the base image, the color-coded image output unit 75 converts the base image to black and white, obtains the contrast for each pixel of the Near image, Mid image, and Far image, and obtains the highest contrast. A color-coded image is generated by superimposing colors corresponding to the obtained image.
  • the operation mode is set in the display image selection processing unit 72 by the operation mode setting unit 71 . Then, the user can set "what area to focus on” and "whether to display an EDOF image" on the screen.
  • the display image selection processing unit 72 sets a color-coded image, an EDOF image, a Near image, a Mid image, and a Far image as display image options.
  • the color-coded image is an option for the user to select which image is better from the multiple images displayed, ie, which image is in focus.
  • the display image options may be displayed as “selection”, “surgical tool”, “cornea”, “anterior capsule”, and “posterior capsule”. You can change it. However, even if the name of the option is changed depending on the surgery mode (for example, an image named “Cornea” in the cataract surgery mode is renamed to "Vitreous” in the vitreous surgery mode), the optical path length remains unchanged. maintained.
  • the user can switch the selection using a switch (for example, a foot pedal, etc.), voice input, or the like.
  • a switch for example, a foot pedal, etc.
  • voice input or the like.
  • the color-coded image generated by the color-coded image output unit 75 is used to select an area, and the Mid image is set as the base image for generating the color-coded image. . That is, the image displayed when selecting an area is the Mid image, and the user designates which area of the Mid image is to be focused, and the color-coded image output unit 75 selects the most focused area in the designated area. image (the image with the largest edge) that is estimated to be
  • a Near image, a Mid image, and a Far image are set as EDOF images used by the EDOF image output unit 74 to generate EDOF images.
  • the image used as the EDOF image for each surgical mode may be changeable by the user.
  • the display image selection processing unit 72 presents the display image options to the user, the image being displayed on the display device 14 or the image recommended based on the preset may be highlighted with a red frame or the like. good.
  • the display image options can be displayed on a display other than the display device 14 as a user interface for selecting the display image.
  • the user can decide which image to display by looking at the Near image, Mid image, Far image, EDOF image, and color-coded image (area selection image) arranged side by side as shown in FIG.
  • the display image may be determined by default depending on the surgical mode.
  • each area is color-coded corresponding to the Near image, Mid image, and Far image.
  • a portion of the corresponding color in the color-coded image can be selected by touch input.
  • the CCU 32 may recognize a part such as the cornea by image recognition so that the mid image or the near image is focused on the cornea.
  • image recognition when an EDOF image is selected, there may be a portion of the screen that is EDOFed and a portion that is not EDOFed.
  • the Mid image may always be output in the center of the screen, and EDOF of the Mid image and Far image may be performed around the center. It should be noted that the extent to which the center of the screen should be set can be determined by prior setting or image recognition. It is possible for the user to make settings for performing EDOF in advance.
  • the vitreous surgery mode is set, it is possible to change the expression of the options presented to the user and the images synthesized by EDOF. Also, the image set as the base image may be arbitrarily changed by the user.
  • the operation mode is defined from the viewpoint of a surgical target such as the cornea, iris, conjunctiva, lens, ciliary body, vitreous body, optic papilla, macular region, etc., or from the viewpoint of the type of surgery (surgical procedure) (for example, tumor resection, Pterygium resection, ophthalmic ptosis surgery, strabismus surgery, corneal transplantation, corneal refractive surgery, cataract surgery, glaucoma surgery, retinal detachment surgery, vitreous surgery, IOL (Intraocular Lens) insertion surgery, etc.) is preferred.
  • the user determines the surgical mode by selecting the surgical target or surgical procedure.
  • the image selection function of the CCU 32 is configured as described above, and when the necessary depth of field conditions differ according to the surgical mode, or when it is necessary to switch between a plurality of imaging signals with different focus positions, etc. In addition, the images can be appropriately switched and output to the display device 14 .
  • the medical imaging system 11 Near images, Mid images, and Far images with different focus positions can be acquired simultaneously, and the displayed images output to the display device 14 can be switched according to the surgical mode. Further, in the medical imaging system 11, by switching the EDOF use image according to the surgical mode, it is possible to generate a more optimal EDOF image.
  • the medical imaging system 11 can, for example, simultaneously acquire images focused on the anterior segment, the port, and the fundus in surgery on the anterior segment, and switch the display image to be output to the display device 14. , the user can quickly view without adjusting focus. Therefore, the medical imaging system 11 can achieve the required extension of the depth of field and the switching of imaging signals with different focus positions without the need for focus adjustment, according to the surgical mode.
  • the medical imaging system 11 performs EDOF using the three imaging elements 52-1 to 52-3, so that visibility can be improved more than, for example, EDOF using a phase mask. , the color tone and depth of field extension degree can be improved.
  • FIG. 7 is a flowchart for explaining image selection processing executed by the CCU 32.
  • FIG. 7 illustrates a processing example in which one of the cataract surgery mode, the vitreous surgery mode, and the laparoscopic surgery mode is set as the surgery mode, but various surgery modes as described above are set. Similar processing is performed in the case of
  • the operation mode setting unit 71 sets the operation mode input by the user to the display image selection processing unit 72.
  • step S12 the display image selection processing unit 72 determines whether the operation mode set in step S11 is the cataract operation mode, the vitreous operation mode, or the laparoscopic operation mode.
  • step S12 determines in step S12 that the cataract surgery mode has been set.
  • step S13 the display image selection processing unit 72 sets a color-coded image, an EDOF image, a Near image, a Mid image, and a Far image as display image options for the cataract surgery mode.
  • step S14 the display image selection processing unit 72 sets the Mid image as the base image for generating the color-coded images, and in step S15, selects the Near image, Mid image, and Far image as EDOF images. set.
  • step S12 determines in step S12 that the vitreous surgery mode has been set.
  • step S16 the display image selection processing unit 72 sets a color-coded image, an EDOF image, a Near image, a Mid image, and a Far image as display image options for the vitreous surgery mode.
  • step S17 the display image selection processing unit 72 sets the Mid image as the base image for generating the color-coded images, and in step S18, sets the Mid image and the Far image as EDOF images.
  • step S12 determines in step S12 that the laparoscopic surgery mode has been set.
  • step S19 the display image selection processing unit 72 sets a color-coded image, an EDOF image, and a Mid image as display image options for the laparoscopic surgery mode.
  • step S20 the display image selection processing unit 72 sets the Mid image as the base image used when generating the color-coded images, and in step S18, selects the Near image, Mid image, and Far image as EDOF images. set.
  • step S15 After the process of step S15, step S18, or step S21, the process proceeds to step S22, and the display image selection processing unit 72 displays the display image options set in step S13, step S16, or step S19, presented to
  • step S23 when the user selects a desired image to be displayed on the display device 14 from the display image options presented in step S22, the display image selection processing unit 72 displays the selected image on the display device 14. is determined as the display image to be displayed on the .
  • step S24 display image output processing (see FIG. 8 described later) for outputting the display image determined in step S23 is executed.
  • step S25 after the image output in the display image output process in step S24 is displayed on the display device 14, the process ends.
  • FIG. 8 is a flow chart explaining the display image output process executed in step S24 of FIG.
  • step S ⁇ b>31 the imaging signal acquisition unit 73 acquires the imaging signals of the Near image, Mid image, and Far image output from the imaging module 41 .
  • step S33 the imaging signal acquisition unit 73 determines whether or not it has been determined in step S23 of FIG. 7 to output the Near image as the display image, and determines that it has been determined to output the Near image. If so, the process proceeds to step S34.
  • step S34 the imaging signal acquisition unit 73 outputs the pixel i of the Near image.
  • step S33 if the imaging signal acquisition unit 73 determines that it has not been determined to output the Near image as the display image, that is, if an image other than the Near image has been determined as the display image, the process goes to step S35.
  • step S35 the imaging signal acquisition unit 73 determines whether or not it has been determined in step S23 of FIG. 7 to output the Mid image as the display image, and determines that it has been determined to output the Mid image. If so, the process proceeds to step S36.
  • step S36 the imaging signal acquisition unit 73 outputs the pixel i of the Mid image.
  • step S35 if the imaging signal acquisition unit 73 determines that it has not been determined to output the Mid image as the display image, that is, if an image other than the Mid image has been determined as the display image, the process goes to step S37.
  • step S37 the imaging signal acquisition unit 73 determines whether or not it has been determined in step S23 of FIG. 7 to output the Far image as the display image, and determines that the output of the Far image has been determined. If so, the process proceeds to step S38.
  • step S38 the imaging signal acquisition unit 73 outputs the pixel i of the Far image.
  • step S37 when the imaging signal acquisition unit 73 determines that it is not determined to output a Far image as a display image, that is, when an image other than a Far image is determined as a display image, the process goes to step S39.
  • step S39 the imaging signal acquisition unit 73 determines whether or not it has been determined in step S23 of FIG. 7 to output the EDOF image as the display image, and determines that the EDOF image has been determined to be output. If so, the process proceeds to step S40.
  • step S40 the imaging signal acquisition unit 73 supplies the EDOF use image set in step S15, step S18, or step S21 of FIG. 7 to the EDOF image output unit 74.
  • the EDOF image output unit 74 obtains the contrast of the pixel i in the EDOF image supplied from the imaging signal acquisition unit 73 .
  • step S41 the EDOF image output unit 74 outputs the pixel i of the image for which the highest contrast is obtained among the contrasts of the pixels i of the EDOF-using image obtained in step S40.
  • step S39 determines in step S39 that the output of the EDOF image as the display image has not been determined in step S23 of FIG. 7, the process proceeds to step S42.
  • step S23 of FIG. 7 it is decided in step S23 of FIG. 7 to output the color-coded image as the display image.
  • step S42 the color-coded image output unit 75 obtains the contrast for each pixel i of each of the Near image, Mid image, and Far image supplied from the imaging signal acquisition unit 73.
  • step S43 the color-coded image output unit 75 assigns an identification number to the pixel i for identifying the image for which the highest contrast is obtained among the contrasts of the pixels i of the Near image, the mid image, and the far image obtained in step S42. Associate.
  • step S44 the color-coded image output unit 75 converts the pixel i of the base image to black and white.
  • step S45 the color-coded image output unit 75 superimposes the color according to the identification number associated with the pixel i in step S43 on the pixel i converted to black and white in step S44 and outputs it.
  • step S46 the selection map generator 77 increments (i++) the parameter i that specifies the pixel to be processed.
  • step S47 the imaging signal acquisition unit 73 determines whether or not all pixels have been output. For example, when the parameter i matches the number of pixels, the imaging signal acquisition unit 73 can determine that all pixels have been output.
  • step S47 If it is determined in step S47 that the imaging signal acquisition unit 73 has not output for all pixels, the process returns to step S33, and the same process is repeated thereafter.
  • step S47 determines in step S47 that all pixels have been output
  • the medical imaging system 11 can appropriately switch and output images according to the surgical mode.
  • a configuration example using three imaging elements 52-1 to 52-3 has been described, but a configuration using at least two imaging elements 52-1 and 52-2 This technology can be applied.
  • three types of images, a Near image, a Mid image, and an EDOF image generated from the Near image and the Mid image can be selectively output according to the surgical mode.
  • FIG. 9 is a block diagram showing a configuration example of one embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in the hard disk 105 or ROM 103 as a recording medium built into the computer.
  • the program can be stored (recorded) in a removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • the removable recording medium 111 includes, for example, a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disk, DVD (Digital Versatile Disc), magnetic disk, semiconductor memory, and the like.
  • the program can be installed in the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via a communication network or broadcasting network and installed in the hard disk 105 incorporated therein. That is, for example, the program is transferred from the download site to the computer wirelessly via an artificial satellite for digital satellite broadcasting, or transferred to the computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 102 , and an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • a CPU Central Processing Unit
  • an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 according to a command input by the user through the input/output interface 110 by operating the input unit 107 or the like. Alternatively, the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result from the output unit 106 via the input/output interface 110, transmits it from the communication unit 108, or records it in the hard disk 105 as necessary.
  • the input unit 107 is composed of a keyboard, mouse, microphone, and the like. Also, the output unit 106 is configured by an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to a remote computer and executed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are both systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • this technology can take a configuration of cloud computing in which a single function is shared and processed jointly by multiple devices via a network.
  • the above-described program can be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step described in the flowchart above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps described in the program is executed in chronological order according to the order described herein, or in parallel, or when the call is made. They may be executed individually at necessary timings such as occasions. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • an operation mode setting unit for setting an operation mode; Two or more types of images captured by at least two image sensors with different optical path lengths from one imaging lens, and EDOF (Extended Depth of Field) that expands the depth of field by synthesizing these images )
  • a medical imaging system comprising: a selection processing unit that selects to switch a displayed image from among the images based on the operation mode.
  • Three image sensors with different optical path lengths from one imaging lens are used to capture near images, which are focused on near points, mid images are focused on intermediate points, and far images are focused on far points.
  • the selection processing unit comprises the Near image, the Mid image, the Far image, the EDOF image obtained by combining the Near image and the Mid image, the EDOF image obtained by combining the Mid image and the Far image, The medical imaging system according to (2) above, wherein the EDOF image obtained by synthesizing the Near image, the Mid image, and the Far image is selected based on the operation mode.
  • the optical path lengths from the imaging lenses of the first imaging device that captures the Mid image, the second imaging device that captures the Near image, and the third imaging device that captures the Far image are measured in the first imaging.
  • the medical imaging system according to any one of (2) to (5) above, further comprising: a color-coded image generation unit that generates a color-coded image in which a color corresponding to the image is superimposed on the base image.
  • a cataract surgery mode, a vitreous surgery mode, and a laparoscopic mode are set as the surgery modes.
  • an operation mode setting unit for setting an operation mode; Two or more types of images captured by at least two image sensors with different optical path lengths from one imaging lens, and EDOF (Extended Depth of Field) that expands the depth of field by synthesizing these images )
  • a medical imaging apparatus comprising: a selection processing unit that selects to switch a display image from among images based on the operation mode.
  • medical imaging system setting a surgical mode; Two or more types of images captured by at least two image sensors with different optical path lengths from one imaging lens, and EDOF (Extended Depth of Field) that expands the depth of field by synthesizing these images ) making a selection among the images to switch between displayed images based on the surgical mode.

Abstract

本開示は、手術に応じて適切に画像を出力することができるようにする医療撮像システム、医療撮像装置、および制御方法に関する。 医療撮像システムは、手術モードを設定する手術モード設定部と、１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF画像の中から、手術モードに基づいて、表示画像を切り替える選択を行う選択処理部を備える。本技術は、例えば、EDOF画像を撮像可能な医療撮像システムに適用できる。

Description

医療撮像システム、医療撮像装置、および制御方法
　本開示は、医療撮像システム、医療撮像装置、および制御方法に関し、特に、手術に応じて適切に画像を出力することができるようにした医療撮像システム、医療撮像装置、および制御方法に関する。
　従来、医療分野において、レンズを通して撮像された画像の患部などを注目領域として観察しながら手術などの作業を行う際、被写界深度から外れる近点側または遠点側の領域ではピントがずれた画像となってしまう。このため、注目領域が近点側または遠点側に変わるときには、都度、注目領域にピントが合うように調節する必要があり、被写界深度が浅い画像では作業効率が低下することが懸念される。そこで、被写界深度が深い画像を撮像することが可能な医療撮像システムが求められている。
　例えば、特許文献１には、被写界深度が拡張されたEDOF（Extended Depth of Field）画像を取得することが可能な医療用の観察装置が開示されている。
特開２０１７－１５８７６４号公報
　ところで、手術の種類によって必要となる被写界深度やフォーカスの条件が異なることより、手術に応じて、適切に被写界深度やフォーカスが調整された画像を出力することが求められている。
　本開示は、このような状況に鑑みてなされたものであり、手術に応じて適切に画像を出力することができるようにするものである。
　本開示の一側面の医療撮像システムおよび医療撮像装置は、手術モードを設定する手術モード設定部と、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う選択処理部とを備える。
　本開示の一側面の制御方法は、医療撮像システムが、手術モードを設定することと、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行うこととを含む。
　本開示の一側面においては、手術モードが設定され、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF画像の中から、手術モードに基づいて、表示画像を切り替える選択が行われる。
本技術を適用した医療撮像システムの一実施の形態の構成例を示す図である。 内視鏡および装置ユニットの構成を説明する図である。 撮像モジュールの構成例を示す図である。 Mid画像、Near画像、Far画像、EDOF画像、および色分け画像を説明するための図である。 白内障手術モードおよび硝子体手術モードにおけるフォーカス位置の関係性を示す図である。 ＣＣＵの画像選択機能の構成例を示す図である。 画像選択処理を説明するフローチャートである。 表示画像出力処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜医療撮像システムの構成例＞
　図１は、本技術を適用した医療撮像システムを内視鏡手術に適用した一実施の形態の構成例を示す図である。
　図１に示す医療撮像システム１１は、内視鏡１２、エネルギー処置具１３、表示装置１４、および装置ユニット１５を備えて構成される。
　例えば、医療撮像システム１１を利用した手術では、内視鏡１２およびエネルギー処置具１３が患者の体内に挿入されるとともに、鉗子１６が患者の体内に挿入される。そして、医療撮像システム１１では、内視鏡１２によって撮像された腫瘍などの患部の画像が表示装置１４にリアルタイムで表示され、医者は、その画像を見ながらエネルギー処置具１３および鉗子１６を使用して患部に対する処置を行うことができる。
　内視鏡１２は、例えば、図２に示すように、対物レンズなどの光学系が組み込まれた筒状の鏡筒部２２が、複数の撮像素子などを有する撮像モジュール（図３参照）が組み込まれたカメラヘッド２１に装着されて構成される。例えば、鏡筒部２２は、硬性または軟性の材料を用いて筒状に形成されるスコープであり、その内部に延設されるライトガイドによって先端まで光を導光し、患者の体腔内に光を照射することができる。カメラヘッド２１は、鏡筒部２２との間に、例えば、複屈折マスク（ＢＭ：Birefringent Mask）などのような光学素子が挿入可能となるように構成されており、鏡筒部２２の光学系を介して患者の体腔内を撮像することができる。
　エネルギー処置具１３は、例えば、高周波の電流により発生する熱によって、患部を切除したり、血管を封止したりする内視鏡下外科手術で用いられる医療器具である。
　表示装置１４は、内視鏡１２により撮像された画像をそのまま表示したり、装置ユニット１５において画像処理が施された画像を表示したりすることができる。
　装置ユニット１５は、医療撮像システム１１を利用した内視鏡手術を行うのに必要となる各種の装置が組み込まれて構成される。例えば、装置ユニット１５は、図２に示すように、光源装置３１、ＣＣＵ（Camera Control Unit）３２、記録装置３３、および出力装置３４を備えて構成することができる。
　光源装置３１は、内視鏡１２が撮像を行う際に患部に対して照射される光を、光ファイバーなどを介して内視鏡１２に供給する。
　ＣＣＵ３２は、内視鏡１２による撮像を制御するとともに、内視鏡１２により撮像された画像に対して画像処理を施す。また、ＣＣＵ３２は、例えば、内視鏡１２により画像を撮像する際のフォーカスを手術モードに応じて適切に制御するためのフォーカス制御機能や、内視鏡１２により撮像された画像を手術モードに応じて適切に出力するための画像選択機能などを備えている。
　記録装置３３は、ＣＣＵ３２から出力される画像を記録媒体に記録する。出力装置３４は、ＣＣＵ３２から出力される画像を印刷して出力したり、通信ネットワークを介して出力したりする。
　＜撮像モジュールの構成例＞
　図３は、内視鏡１２のカメラヘッド２１に組み込まれる撮像モジュールの構成例を示す図である。
　図３に示すように、撮像モジュール４１は、分岐光学系５１、および、３つの撮像素子５２－１乃至５２－３を備えて構成される。また、撮像モジュール４１に入射する光の光軸上に撮像レンズ４２が配置されている。撮像レンズ４２は、１枚または複数枚のレンズによって構成され、内視鏡１２の鏡筒部２２に入ってくる光による撮像が行われるように撮像素子５２－１乃至５２－３に向かって光を集光し、分岐光学系５１に入射させる。
　分岐光学系５１は、撮像レンズ４２を介して入射してくる光を、撮像素子５２－１乃至５２－３それぞれに向かって分岐させる。分岐光学系５１は、第１のプリズム６１、第２のプリズム６２、第３のプリズム６３、第１のダイクロイックミラー６４、および第２のダイクロイックミラー６５により構成される。
　第１のプリズム６１、第２のプリズム６２、および第３のプリズム６３は、第１のプリズム６１と第２のプリズム６２との間および第２のプリズム６２と第３のプリズム６３との間に、エアギャップが生じないように接合されたプリズムブロックを構成する。このように、いわゆるギャップレス構造のプリズムブロックを採用することで、分岐光学系５１では、工程ゴミの挟み込みが生じることを回避することや、封止材の染み出しが生じてしまうことなどを回避することができる。従って、分岐光学系５１では、例えば、内視鏡１２のようにＦ値が比較的に大きいレンズ系であっても、異物の映り込みを排除して、画質の低下を抑制することができる。
　第１のダイクロイックミラー６４は、第１のプリズム６１の第２のプリズム６２側の射出面に対して成膜される誘電体多層膜からなる光学薄膜であり、例えば、平均反射率：平均透過率＝１：２となる光量で光を分岐する。
　第２のダイクロイックミラー６５は、第２のプリズム６２の第３のプリズム６３側の射出面に対して成膜される誘電体多層膜からなる光学薄膜であり、例えば、平均反射率：平均透過率＝１：１となる光量で光を分岐する。
　撮像素子５２－１乃至５２－３は、例えば、ベイヤ配列のRGBフィルタを有するCMOSイメージセンサである。撮像素子５２－１は、撮像レンズ４２の主点からの距離（光路長）が、基準となる中間距離となる位置に配置される。撮像素子５２－２は、撮像レンズ４２の主点からの距離が、基準より遠距離となるように、シフト量ΔＺだけ分岐光学系５１から遠ざけられた位置に配置される。撮像素子５２－３は、撮像レンズ４２の主点からの距離が、基準より近距離となるように、シフト量ΔＺだけ分岐光学系５１に近づけられた位置に配置される。
　これにより、注目領域にフォーカスが合った画像を撮像素子５２－１が撮像するように撮像レンズ４２の焦点距離が調整された場合、撮像素子５２－２は、注目領域よりも近点側にフォーカスが合った画像を撮像することなる。同様に、この場合、撮像素子５２－３は、注目領域よりも遠点側にフォーカスが合った画像を撮像することなる。そこで、以下適宜、撮像素子５２－１によって撮像される画像をMid画像と称し、撮像素子５２－２によって撮像される画像をNear画像と称し、撮像素子５２－３によって撮像される画像をFar画像と称する。
　従って、撮像モジュール４１は、Near画像、Mid画像、およびFar画像をＣＣＵ３２に出力することができる構成となっている。
　そして、医療撮像システム１１は、Near画像、Mid画像、およびFar画像を切り替えて表示装置１４に出力することができる他、ＣＣＵ３２において画像処理が施されたEDOF画像および色分け画像を切り替えて表示装置１４に出力することができる。
　図４には、医療撮像システム１１において切り替えられて表示されるNear画像、Mid画像、Far画像、EDOF画像、および色分け画像のイメージが示されている。
　例えば、Near画像は、近点にフォーカスが合うように撮像され、遠点側に向かうに従ってボケが大きな画像となる。Mid画像は、中間点にフォーカスが合うように撮像され、近点側および遠点側にボケが生じた画像となる。Far画像は、遠点側にフォーカスが合うように撮像され、近点側に向かうに従ってボケが大きな画像となる。
　EDOF画像は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成することで、近点から遠点に亘ってフォーカスが合うように被写界深度が拡大される画像処理が施された画像である。
　色分け画像は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色で色分けされた画像であり、領域を選択するのに用いられる。例えば、色分け画像は、Near画像のコントラストが最も高かった画素が赤色（図４では実線）となり、Mid画像のコントラストが最も高かった画素が緑色（図４では一転鎖線）となり、Far画像のコントラストが最も高かった画素が青色（図４では破線）となるように色分けされる。
　そして、医療撮像システム１１では、ユーザが、例えば、表示装置１４に表示されるユーザインタフェースを利用して手術モードを入力すると、その入力された手術モードがＣＣＵ３２に設定される。そして、ＣＣＵ３２は、設定された手術モードに従って、Near画像、Mid画像、およびFar画像、EDOF画像、および色分け画像を適切に選択して出力することができる。
　例えば、ユーザは、表示装置１４に表示される表示画像の選択肢として、図４に示したように並べられて配置されているNear画像、Mid画像、およびFar画像、EDOF画像、および色分け画像を見て、どの画像を表示させるのか選択することができる。なお、手術モードによってデフォルトで表示画像が決まっていてもよい。
　ここで、医療撮像システム１１において選択可能な手術モードとして、例えば、白内障手術モード、硝子体手術モード、および腹腔鏡モードが採用されている例について説明する。その他、角膜手術モード、硝子体手術モード、または眼底手術モードが採用されてもよい。
　図５を参照して、白内障手術モードおよび硝子体手術モードにおけるフォーカス位置の関係性について説明する。
　図５のＡには、白内障手術モードにおけるNear画像、Mid画像、およびFar画像のフォーカス位置の一例が示されている。
　図示するように、白内障手術モードでは、Near画像は、角膜の表面がフォーカス位置となり、Mid画像は、水晶体の表面がフォーカス位置となり、Far画像は、水晶体の裏面がフォーカス位置となるように撮像される。
　図５のＢには、硝子体手術モードにおけるMid画像、Near画像、およびFar画像のフォーカス位置の一例が示されている。
　図示するように、硝子体手術モードでは、Near画像は、眼の外側の器具挿入部がフォーカス位置となり、Mid画像は、硝子体の中央がフォーカス位置となり、Far画像は、眼の底面がフォーカス位置となるように撮像される。ここで、硝子体を手術する際は、水晶体は傷つけずに硝子体のみを手術するため、Mid画像およびFar画像で硝子体の中を見て、Near画像で眼の外側の器具挿入部分を見ることになる。
　ところで、眼科向け手術に医療撮像システム１１を使用する場合には、光路長の差を近点と中間点は小さく設定し、中間点と遠点は大きく設定することが好ましい。即ち、撮像素子５２－１と撮像素子５２－２との光路長の差（ΔＺ）は、撮像素子５２－１と撮像素子５２－３との光路長の差（－ΔＺ）より小さくなるように設定される。
　これにより、眼科向け手術の際に角膜付近でNear画像およびMid画像を切り替える手術を容易に行うことができる。このとき、Near画像が角膜表面付近（器具挿入部分）、Mid画像が角膜底面（角膜の眼球奥側）にフォーカスが合うように設定されるのが好ましい。具体的には、撮像素子５２－１と撮像素子５２－２との光路長の差は、水晶体の厚みが４～５ｍｍであることより、５ｍｍ以内に設定することが好ましい。撮像素子５２－１と撮像素子５２－３との光路長の差は、角膜から眼底までの眼球の大きさが22～23ｍｍであることより、25ｍｍ以内に設定することが好ましい。なお、光路長は、撮像素子５２－３、撮像素子５２－１、および撮像素子５２－２の順で小さい。
　＜ＣＣＵの画像選択機能＞
　図６は、ＣＣＵ３２の画像選択機能について説明するブロック図である。
　図６に示すように、ＣＣＵ３２は、手術モード設定部７１、表示画像選択処理部７２、撮像信号取得部７３、EDOF画像出力部７４、および色分け画像出力部７５を備えて構成される。
　手術モード設定部７１は、例えば、図示しない入力部を利用してユーザにより手術モードが入力されると、その手術モードを表示画像選択処理部７２に対して設定する。
　表示画像選択処理部７２は、手術モード設定部７１により設定された手術モードに基づいて、表示装置１４に表示させる表示画像選択肢をユーザに提示し、ユーザが、表示装置１４に表示させる所望の画像を選択すると、その選択された画像を表示装置１４に表示させる表示画像として決定する。また、表示画像選択処理部７２は、手術モードに基づいて、Near画像、Mid画像、およびFar画像のうち、EDOF画像出力部７４がEDOF画像を生成するのに使用するEDOF使用画像を設定する。また、表示画像選択処理部７２は、手術モードに基づいて、Near画像、Mid画像、およびFar画像のうち、色分け画像出力部７５が色分け画像を生成する際の基となるベース画像を設定する。
　撮像信号取得部７３は、撮像モジュール４１から出力されるNear画像、Mid画像、およびFar画像の撮像信号を取得する。そして、撮像信号取得部７３は、Near画像が表示画像として決定されている場合にはNear画像を出力し、Mid画像が表示画像として決定されている場合にはMid画像を出力し、Far画像が表示画像として決定されている場合にはFar画像を出力する。また、撮像信号取得部７３は、EDOF使用画像が表示画像として決定されている場合、手術モードに基づいて設定されたEDOF使用画像をEDOF画像出力部７４に供給する。また、撮像信号取得部７３は、色分け画像が表示画像として決定されている場合、Near画像、Mid画像、およびFar画像を色分け画像出力部７５に供給するとともに、ベース画像として設定されている画像を色分け画像出力部７５に指示する。
　EDOF画像出力部７４には、撮像信号取得部７３から供給されるEDOF使用画像を使用し、EDOF画像を生成して出力する。例えば、Near画像、Mid画像、およびFar画像がEDOF使用画像として設定されている場合、EDOF画像出力部７４は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求める。そして、EDOF画像出力部７４は、最も高いコントラストの画素を選択して合成することで、近点から遠点に亘ってフォーカスが合うように被写界深度が拡大されたEDOF画像を生成する。
　色分け画像出力部７５は、撮像信号取得部７３から供給されるNear画像、Mid画像、およびFar画像を用いて、表示画像選択処理部７２によって設定されたベース画像をベースとして、色分け画像を生成して出力する。例えば、Mid画像がベース画像として指示されている場合、色分け画像出力部７５は、ベース画像を白黒化し、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色を重畳することで、色分け画像を生成する。
　このように構成されるＣＣＵ３２では、ユーザが手術モードを入力すると、手術モード設定部７１により表示画像選択処理部７２に手術モードが設定される。そして、ユーザは、「どこの領域に焦点を合わせるか」や「EDOF画像を表示するか」などを画面上で設定することが可能となる。
　例えば、白内障手術モードが設定された場合、表示画像選択処理部７２は、色分け画像、EDOF画像、Near画像、Mid画像、およびFar画像を、表示画像選択肢として設定する。色分け画像は、ユーザが、表示されている複数の画像からどの画像が良いか、即ち、どこにピントが合っている画像が良いかを選択する選択肢である。
　なお、白内障手術モードが設定された場合、表示画像選択肢は、「選択」「術具」「角膜」「前嚢」「後嚢」と表示してもよく、手術モードに応じて選択肢の名称を変更してもよい。ただし、手術モードによって選択肢の名称を変更（例えば、白内障手術モードでは「角膜」の名称であった画像を、硝子体手術モードでは「硝子体」の名称に変更）しても、光路長はそのまま維持される。
　医療撮像システム１１では、ユーザが、スイッチ（例えば、フットペダルなど）や音声入力などを利用して、選択を切り替えられることが好ましい。これにより、手術中にフォーカス合わせを行うよりも素早くピントを変更することができ、手術の効率化を図ることができる。
　また、白内障手術モードが設定された場合、色分け画像出力部７５が生成する色分け画像は、領域を選択するのに用いられ、色分け画像を生成する基となるベース画像にはMid画像が設定される。即ち、領域を選択する際に表示される画像はMid画像で、ユーザは、Mid画像のどの領域にフォーカスを合わせるか指定し、色分け画像出力部７５は、その指定された領域において最もフォーカスが合っていると推定される画像（エッジが最も大きい画像）にする。
　また、白内障手術モードが設定された場合、EDOF画像出力部７４がEDOF画像を生成するのに使用するEDOF使用画像として、Near画像、Mid画像、およびFar画像が設定される。これは、白内障手術においては、器具挿入部、角膜付近、および硝子体付近を見て手術することが多いからである。即ち、Near画像で器具挿入部を見て、Mid画像で手術対象である角膜付近を見て、Far画像で硝子体に影響が出ていないかを監視する。なお、手術モードごとのEDOF画像に使用する画像は、ユーザにより変更可能としてもよい。
　表示画像選択処理部７２が、表示画像選択肢をユーザに提示するとき、表示装置１４に表示中の画像やプリセットに基づいて推奨される画像に対して、赤枠などを付けて強調表示してもよい。なお、表示画像選択肢をユーザに提示する際には、表示装置１４とは別のディスプレイに表示画像を選択するためのユーザインタフェースとして表示画像選択肢を表示することができる。
　例えば、ユーザは、図４に示したよう並べて配置されるNear画像、Mid画像、Far画像、EDOF画像、色分け画像（領域選択用画像）を見て、どの画像を表示するか決めることができる。なお、手術モードによってデフォルトで表示画像が決まっていてもよい。色分け画像（領域選択用画像）では、領域ごとにNear画像、Mid画像、Far画像に対応させて色分けされており、ユーザはどこの領域にピントが合っている画像を見たいかを、例えば、色分け画像において該当する色の部分をタッチ入力により選択することができる。
　また、ＣＣＵ３２では、画像認識により、角膜などの部位を認識してMid画像またはNear画像は角膜にピントが合うようにしてもよい。また、EDOF画像を選択しているとき、画面中でEDOFしている個所とEDOFしていない個所とがあってもよい。例えば、画面の中央はMid画像を常に出力しておき、中央の周りはMid画像とFar画像のEDOFを行ってもよい。なお、どこまでを画面の中央とするのかは、事前の設定や画像認識により行うようにすることができる。このようにEDOFを行う設定を、ユーザが事前に行うようにすることができる。
　なお、硝子体手術モードが設定された場合にも、ユーザに提示する選択肢の表現やEDOFで合成する画像を異ならせることができる。また、ベース画像として設定される画像は、ユーザが任意に変更してもよい。
　また、手術モードは、角膜、虹彩、結膜、水晶体、毛様体、硝子体、視神経乳頭部、黄斑部などという手術対象という観点または手術の種類（術式）という観点（例えば、腫瘍切除術、翼状片切除術、眼科下垂矯手術、斜視手術、角膜移植術、角膜屈折矯正術、白内障手術、緑内障手術、網膜剥離手術、硝子体手術、IOL（Intraocular Lens）挿入手術など）で作成されるのが好ましい。そして、ユーザは、手術対象または術式を選択することにより、手術モードを決定する。
　以上のようにＣＣＵ３２の画像選択機能は構成されており、手術モードに応じて、必要な被写界深度条件が異なる場合や、フォーカス位置の異なる複数の撮像信号を切り替えて見る必要がある場合などに、適切に画像を切り替えて表示装置１４に出力することができる。
　例えば、前眼部の手術においては、前眼部がピントの合った状態にできる被写界深度で十分である一方で、一時的にポートや眼底などを見る場面も存在し、従来、その都度時間と手間のかかるピント調整が必要になる。また、前眼部の手術においては、角膜、水晶体などが透明なため、それぞれにピントの合った撮像信号を切り替えて見る必要があり、従来、被写界深度が浅い場合には都度ピント調節が必要になる。
　これに対し、医療撮像システム１１では、フォーカス位置の異なるNear画像、Mid画像、およびFar画像を同時に取得し、手術モードに応じて、表示装置１４に出力する表示画像を切り替えることができる。また、医療撮像システム１１では、手術モードに応じて、EDOF使用画像を切り替えることで、より最適なEDOF画像を生成することができる。
　これにより、医療撮像システム１１は、例えば、前眼部の手術においては、前眼部、ポート、および眼底にフォーカスの合った画像を同時に取得し、表示装置１４に出力する表示画像を切り替えることで、ユーザは、フォーカスを調整することなく迅速に見ることができる。従って、医療撮像システム１１は、手術モードに応じて、必要とされる被写界深度拡大や、ピント調節不用でフォーカス位置の異なる撮像信号の切り変えを実現することができる。
　また、従来、内視鏡は奥に光が届かず、被写界深度が深い場合でも、奥の視認性が悪いことがあった。これに対し、医療撮像システム１１は、３枚の撮像素子５２－１乃至５２－３を用いたEDOFを行うことで、例えば、位相マスクを用いたEDOFよりも視認性の向上を図ることができ、色味や被写界深度拡張度合いを良好とすることができる。
　＜画像選択処理の処理例＞
　図７および図８に示すフローチャートを参照して、画像選択処理について説明する。
　図７は、ＣＣＵ３２が実行する画像選択処理を説明するフローチャートである。なお、図７では、手術モードとして、白内障手術モード、硝子体手術モード、および腹腔鏡手術モードのいずれかが設定される処理例について説明するが、上述したような様々な手術モードが設定される場合も同様の処理が行われる。
　例えば、ユーザによる手術モードの入力が行われると処理が開始され、ステップＳ１１において、手術モード設定部７１は、ユーザにより入力された手術モードを表示画像選択処理部７２に対して設定する。
　ステップＳ１２において、表示画像選択処理部７２は、ステップＳ１１で設定された手術モードは、白内障手術モード、硝子体手術モード、および腹腔鏡手術モードのいずれであるかを判定する。
　ステップＳ１２において、表示画像選択処理部７２が、白内障手術モードが設定されたと判定した場合、処理はステップＳ１３に進む。
　ステップＳ１３において、表示画像選択処理部７２は、白内障手術モード用の表示画像選択肢として、色分け画像、EDOF画像、Near画像、Mid画像、およびFar画像を設定する。表示画像選択処理部７２は、ステップＳ１４において、色分け画像を生成する際のベースとなるベース画像をMid画像に設定し、ステップＳ１５において、EDOF使用画像として、Near画像、Mid画像、およびFar画像を設定する。
　一方、ステップＳ１２において、表示画像選択処理部７２が、硝子体手術モードが設定されたと判定した場合、処理はステップＳ１６に進む。
　ステップＳ１６において、表示画像選択処理部７２は、硝子体手術モード用の表示画像選択肢として、色分け画像、EDOF画像、Near画像、Mid画像、およびFar画像を設定する。表示画像選択処理部７２は、ステップＳ１７において、色分け画像を生成する際のベースとなるベース画像をMid画像に設定し、ステップＳ１８において、EDOF使用画像として、Mid画像、およびFar画像を設定する。
　一方、ステップＳ１２において、表示画像選択処理部７２が、腹腔鏡手術モードが設定されたと判定した場合、処理はステップＳ１９に進む。
　ステップＳ１９において、表示画像選択処理部７２は、腹腔鏡手術モード用の表示画像選択肢として、色分け画像、EDOF画像、およびMid画像を設定する。表示画像選択処理部７２は、ステップＳ２０において、色分け画像を生成する際のベースとなるベース画像をMid画像に設定し、ステップＳ１８において、EDOF使用画像として、Near画像、Mid画像、およびFar画像を設定する。
　ステップＳ１５、ステップＳ１８、またはステップＳ２１の処理後、処理はステップＳ２２に進み、表示画像選択処理部７２は、ステップＳ１３、ステップＳ１６、またはステップＳ１９で設定された表示画像選択肢を表示して、ユーザに提示する。
　ステップＳ２３において、表示画像選択処理部７２は、ステップＳ２２で提示された表示画像選択肢の中から、ユーザが、表示装置１４に表示させる所望の画像を選択すると、その選択された画像を表示装置１４に表示させる表示画像として決定する。
　ステップＳ２４において、ステップＳ２３で決定された表示画像を出力する表示画像出力処理（後述の図８参照）が実行される。
　ステップＳ２５において、ステップＳ２４の表示画像出力処理で出力された画像が表示装置１４に表示された後、処理は終了される。
　図８は、図７のステップＳ２４において実行される表示画像出力処理を説明するフローチャートである。
　ステップＳ３１において、撮像信号取得部７３は、撮像モジュール４１から出力されるNear画像、Mid画像、およびFar画像の撮像信号を取得する。
　ステップＳ３２において、撮像信号取得部７３は、処理対象となる画素を特定するパラメータｉをリセット（ｉ＝０）する。
　ステップＳ３３において、撮像信号取得部７３は、図７のステップＳ２３で表示画像としてNear画像を出力することが決定されているか否かを判定し、Near画像を出力することが決定されていると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、撮像信号取得部７３は、Near画像の画素ｉを出力する。
　一方、ステップＳ３３において、撮像信号取得部７３が、表示画像としてNear画像を出力することが決定されていないと判定した場合、即ち、表示画像としてNear画像以外の画像が決定されていた場合、処理はステップＳ３５に進む。
　ステップＳ３５において、撮像信号取得部７３は、図７のステップＳ２３で表示画像としてMid画像を出力することが決定されているか否かを判定し、Mid画像を出力することが決定されていると判定した場合、処理はステップＳ３６に進む。ステップＳ３６において、撮像信号取得部７３は、Mid画像の画素ｉを出力する。
　一方、ステップＳ３５において、撮像信号取得部７３が、表示画像としてMid画像を出力することが決定されていないと判定した場合、即ち、表示画像としてMid画像以外の画像が決定されていた場合、処理はステップＳ３７に進む。
　ステップＳ３７において、撮像信号取得部７３は、図７のステップＳ２３で表示画像としてFar画像を出力することが決定されているか否かを判定し、Far画像を出力することが決定されていると判定した場合、処理はステップＳ３８に進む。ステップＳ３８において、撮像信号取得部７３は、Far画像の画素ｉを出力する。
　一方、ステップＳ３７において、撮像信号取得部７３が、表示画像としてFar画像を出力することが決定されていないと判定した場合、即ち、表示画像としてFar画像以外の画像が決定されていた場合、処理はステップＳ３９に進む。
　ステップＳ３９において、撮像信号取得部７３は、図７のステップＳ２３で表示画像としてEDOF画像を出力することが決定されているか否かを判定し、EDOF画像を出力することが決定されていると判定した場合、処理はステップＳ４０に進む。
　ステップＳ４０において、撮像信号取得部７３は、図７のステップＳ１５、ステップＳ１８、またはステップＳ２１で設定されたEDOF使用画像をEDOF画像出力部７４に供給する。EDOF画像出力部７４は、撮像信号取得部７３から供給されたEDOF使用画像について、画素ｉのコントラストを求める。
　ステップＳ４１において、EDOF画像出力部７４は、ステップＳ４０で求めたEDOF使用画像の画素ｉのコントラストのうち、最も高いコントラストが求められた画像の画素ｉを出力する。
　一方、ステップＳ３９において、撮像信号取得部７３が、図７のステップＳ２３で表示画像としてEDOF画像を出力することが決定されていないと判定した場合、処理はステップＳ４２に進む。この場合、ステップＳ３３、Ｓ３５、およびＳ３７の判定も考慮し、図７のステップＳ２３では表示画像として色分け画像を出力することが決定されていることになる。
　ステップＳ４２において、色分け画像出力部７５は、撮像信号取得部７３から供給されるNear画像、Mid画像、およびFar画像それぞれの画素ｉごとにコントラストを求める。
　ステップＳ４３において、色分け画像出力部７５は、ステップＳ４２で求めたNear画像、Mid画像、およびFar画像の画素ｉのコントラストのうち、最も高いコントラストが求められた画像を識別する識別番号を画素ｉに対応付ける。
　ステップＳ４４において、色分け画像出力部７５は、ベース画像の画素ｉを白黒化する。
　ステップＳ４５において、色分け画像出力部７５は、ステップＳ４３で画素ｉに対応付けられた識別番号に従った色を、ステップＳ４４で白黒化した画素ｉに重畳して出力する。
　ステップＳ４６において、選択マップ生成部７７は、処理対象となる画素を特定するパラメータｉをインクリメント（ｉ＋＋）する。
　ステップＳ４７において、撮像信号取得部７３は、全ての画素について出力を行ったか否かを判定する。例えば、撮像信号取得部７３は、パラメータｉが画素数と一致した場合、全ての画素について出力を行ったと判定することができる。
　ステップＳ４７において、撮像信号取得部７３が、全ての画素について出力を行っていないと判定した場合、処理はステップＳ３３に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ４７において、撮像信号取得部７３が、全ての画素について出力を行ったと判定した場合、処理は終了される。
　以上のように、医療撮像システム１１では、手術モードに応じて適切に画像を切り替えて出力することができる。
　なお、本実施の形態では、３枚の撮像素子５２－１乃至５２－３を用いた構成例について説明したが、例えば、少なくとも２枚の撮像素子５２－１および５２－２を用いた構成に本技術を適用することができる。このような構成では、例えば、Near画像、Mid画像、および、Near画像とMid画像とから生成されたEDOF画像の３種類の画像を手術モードに応じて選択的に出力することができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（制御方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　手術モードを設定する手術モード設定部と、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う選択処理部と
　を備える医療撮像システム。
（２）
　１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像が用いられる
　上記（１）に記載の医療撮像システム。
（３）
　前記選択処理部は、前記Near画像、前記Mid画像、前記Far画像、前記Near画像および前記Mid画像が合成された前記EDOF画像、前記Mid画像および前記Far画像が合成された前記EDOF画像、並びに、前記Near画像、前記Mid画像、および前記Far画像が合成された前記EDOF画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う
　上記（２）に記載の医療撮像システム。
（４）
　前記Mid画像を撮像する第１の撮像素子、前記Near画像を撮像する第２の撮像素子、および前記Far画像を撮像する第３の撮像素子の撮像レンズからの光路長について、前記第１の撮像素子と前記第２の撮像素子との光路長の差は、前記第１の撮像素子と前記第３の撮像素子との光路長の差より小さい
　上記（２）または（３）に記載の医療撮像システム。
（５）
　前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成したEDOF（Extended Depth of Field）画像を生成するEDOF画像生成部
　をさらに備える上記（２）から（４）までのいずれかに記載の医療撮像システム。
（６）
　前記Near画像、前記Mid画像、および前記Far画像のうちのいずれかをベース画像とし、前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色を前記ベース画像に重畳した色分け画像を生成する色分け画像生成部
　をさらに備える上記（２）から（５）までのいずれかに記載の医療撮像システム。
（７）
　前記手術モードとして、白内障手術モード、硝子体手術モード、および腹腔鏡モードが設定される
　上記（１）から（６）までのいずれかに記載の医療撮像システム。
（８）
　手術モードを設定する手術モード設定部と、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う選択処理部と
　を備える医療撮像装置。
（９）
　医療撮像システムが、
　手術モードを設定することと、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行うことと
　を含む制御方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　医療撮像システム，　１２　内視鏡，　１３　エネルギー処置具，　１４　表示装置，　１５　装置ユニット，　１６　鉗子，　２１　カメラヘッド，　２２　鏡筒部，　３１　光源装置，　３２　ＣＣＵ，　３３　記録装置，　３４　出力装置，　４１　撮像モジュール，　４２　撮像レンズ，　５１　分岐光学系，　５２－１乃至５２－３　撮像素子，　６１　第１のプリズム，　６２　第２のプリズム，　６３　第３のプリズム，　６４　第１のダイクロイックミラー，　６５　第２のダイクロイックミラー，　７１　手術モード設定部，　７２　注目領域設定部，　７３　撮像信号取得部，　７４　EDOF画像出力部，　７５　色分け画像出力部

Claims (9)

  1. 　手術モードを設定する手術モード設定部と、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う選択処理部と
    　を備える医療撮像システム。
  2. 　１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像が用いられる
    　請求項１に記載の医療撮像システム。
  3. 　前記選択処理部は、前記Near画像、前記Mid画像、前記Far画像、前記Near画像および前記Mid画像が合成された前記EDOF画像、前記Mid画像および前記Far画像が合成された前記EDOF画像、並びに、前記Near画像、前記Mid画像、および前記Far画像が合成された前記EDOF画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う
    　請求項２に記載の医療撮像システム。
  4. 　前記Mid画像を撮像する第１の撮像素子、前記Near画像を撮像する第２の撮像素子、および前記Far画像を撮像する第３の撮像素子の撮像レンズからの光路長について、前記第１の撮像素子と前記第２の撮像素子との光路長の差は、前記第１の撮像素子と前記第３の撮像素子との光路長の差より小さい
    　請求項２に記載の医療撮像システム。
  5. 　前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成したEDOF（Extended Depth of Field）画像を生成するEDOF画像生成部
    　をさらに備える請求項２に記載の医療撮像システム。
  6. 　前記Near画像、前記Mid画像、および前記Far画像のうちのいずれかをベース画像とし、前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色を前記ベース画像に重畳した色分け画像を生成する色分け画像生成部
    　をさらに備える請求項２に記載の医療撮像システム。
  7. 　前記手術モードとして、白内障手術モード、硝子体手術モード、および腹腔鏡モードが設定される
    　請求項１に記載の医療撮像システム。
  8. 　手術モードを設定する手術モード設定部と、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行う選択処理部と
    　を備える医療撮像装置。
  9. 　医療撮像システムが、
    　手術モードを設定することと、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像、および、それらの画像を合成することにより被写界深度が拡大されたEDOF（Extended Depth of Field）画像の中から、前記手術モードに基づいて、表示画像を切り替える選択を行うことと
    　を含む制御方法。
PCT/JP2022/002507 2021-03-31 2022-01-25 医療撮像システム、医療撮像装置、および制御方法 WO2022209217A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023510533A JPWO2022209217A1 (ja) 2021-03-31 2022-01-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-059287 2021-03-31
JP2021059287 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022209217A1 true WO2022209217A1 (ja) 2022-10-06

Family

ID=83458667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002507 WO2022209217A1 (ja) 2021-03-31 2022-01-25 医療撮像システム、医療撮像装置、および制御方法

Country Status (2)

Country Link
JP (1) JPWO2022209217A1 (ja)
WO (1) WO2022209217A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008036028A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 画像表示装置
US20120330129A1 (en) * 2011-06-23 2012-12-27 Richard Awdeh Medical visualization systems and related methods of use
WO2013046902A1 (ja) * 2011-09-29 2013-04-04 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2014171284A1 (ja) * 2013-04-19 2014-10-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2017216883A1 (ja) * 2016-06-14 2017-12-21 オリンパス株式会社 内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008036028A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 画像表示装置
US20120330129A1 (en) * 2011-06-23 2012-12-27 Richard Awdeh Medical visualization systems and related methods of use
WO2013046902A1 (ja) * 2011-09-29 2013-04-04 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2014171284A1 (ja) * 2013-04-19 2014-10-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2017216883A1 (ja) * 2016-06-14 2017-12-21 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
JPWO2022209217A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
JP6930915B2 (ja) 眼科処置における拡大とそれに関わる装置、システム、および方法
JP4865257B2 (ja) 眼底撮影装置及びプログラム
JP2021094421A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP2013529122A (ja) カメラを備えた統合光ファイバ眼内手術装置
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7095693B2 (ja) 医療用観察システム
WO2017010157A1 (ja) 医療用観察装置及び医療用観察方法
JPWO2018105411A1 (ja) 画像処理装置および方法、並びに手術顕微鏡システム
JP5355220B2 (ja) 眼底撮影装置
WO2022209217A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
JP6270312B2 (ja) 眼科装置、画像処理方法およびプログラム
WO2022209218A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
JP6860000B2 (ja) 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
JP2021164494A (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2020018713A (ja) 眼底撮影装置
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP5465210B2 (ja) 眼底撮影装置
US20210228061A1 (en) Medical observation system, medical observation apparatus, and drive method of medical observation apparatus
WO2019181554A1 (ja) 制御装置および方法、並びに手術顕微鏡システム
US10932665B2 (en) Ophthalmologic microscope system
JP6707162B2 (ja) 眼科用顕微鏡システム
US20230404400A1 (en) Ophthalmic observation apparatus, method for controlling the same, and recording medium
WO2021181937A1 (ja) 撮像装置と撮像制御方法およびプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779447

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510533

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779447

Country of ref document: EP

Kind code of ref document: A1