WO2022209218A1 - 医療撮像システム、医療撮像装置、および制御方法 - Google Patents

医療撮像システム、医療撮像装置、および制御方法 Download PDF

Info

Publication number
WO2022209218A1
WO2022209218A1 PCT/JP2022/002508 JP2022002508W WO2022209218A1 WO 2022209218 A1 WO2022209218 A1 WO 2022209218A1 JP 2022002508 W JP2022002508 W JP 2022002508W WO 2022209218 A1 WO2022209218 A1 WO 2022209218A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interest
region
roi
focus
Prior art date
Application number
PCT/JP2022/002508
Other languages
English (en)
French (fr)
Inventor
康昭 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023510534A priority Critical patent/JPWO2022209218A1/ja
Publication of WO2022209218A1 publication Critical patent/WO2022209218A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery

Definitions

  • the present disclosure relates to a medical imaging system, a medical imaging device, and a control method, and in particular, a medical imaging system, a medical imaging device, and a control method that enable displaying an appropriately focused image according to surgery. Regarding.
  • Patent Document 1 discloses a medical observation device capable of acquiring an EDOF (Extended Depth of Field) image with an extended depth of field.
  • EDOF Extended Depth of Field
  • the present disclosure has been made in view of such circumstances, and is intended to enable display of an image that is appropriately focused according to surgery.
  • a medical imaging system and a medical imaging apparatus include a surgical mode setting unit that sets a surgical mode, and two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens.
  • a region-of-interest setting unit that sets a ROI image to be used for AF processing from among the images based on the surgical mode, and sets a region of interest that is an area for obtaining an evaluation value of contrast AF in the ROI image; and a focus processing unit that obtains an evaluation value from the region of interest of the ROI image and adjusts the focus.
  • a control method includes setting a surgical mode, and selecting the surgical mode from among two or more types of images captured by at least two imaging elements having different optical path lengths from one imaging lens. Based on, setting an ROI image used for AF processing, setting a region of interest that is an area for obtaining an evaluation value of contrast AF in the ROI image, and obtaining an evaluation value from the region of interest of the ROI image seeking and adjusting the focus.
  • a surgery mode is set, and from among two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens, based on the surgery mode, AF An ROI image used for processing is set, a region of interest is set in the ROI image as an area for obtaining an evaluation value of contrast AF, and an evaluation value is obtained from the region of interest of the ROI image to adjust the focus.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a medical imaging system to which the present technology is applied;
  • FIG. It is a figure explaining the structure of an endoscope and an apparatus unit. It is a figure which shows the structural example of an imaging module.
  • FIG. 4 is a diagram for explaining a Mid image, a Near image, a Far image, an EDOF image, and a color-coded image;
  • FIG. 4 is a diagram for explaining a Mid image, a Near image, a Far image, an EDOF image, and a color-coded image;
  • FIG. 4 is a diagram showing a configuration example of a focus control function of a CCU; 4 is a flowchart for explaining focus control processing; 4 is a flowchart for explaining AF processing; 9 is a flowchart for explaining selection map generation processing; 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied; FIG.
  • FIG. 1 is a diagram showing a configuration example of an embodiment in which a medical imaging system to which the present technology is applied is applied to endoscopic surgery.
  • a medical imaging system 11 shown in FIG. 1 A medical imaging system 11 shown in FIG.
  • the endoscope 12 and the energy treatment instrument 13 are inserted into the patient's body, and the forceps 16 are inserted into the patient's body.
  • an image of an affected area such as a tumor captured by the endoscope 12 is displayed in real time on the display device 14, and the doctor uses the energy treatment instrument 13 and the forceps 16 while viewing the image. treatment can be performed on the affected area.
  • the endoscope 12 has a cylindrical barrel portion 22 in which an optical system such as an objective lens is incorporated, and an imaging module (see FIG. 3) having a plurality of imaging elements and the like. mounted on the camera head 21.
  • the lens barrel part 22 is a scope formed in a cylindrical shape using a hard or soft material, and guides light to the distal end by a light guide extending inside, and the light enters the body cavity of the patient. can be irradiated.
  • the camera head 21 is configured such that an optical element such as a birefringent mask (BM) can be inserted between the lens barrel portion 22 and the optical system of the lens barrel portion 22.
  • BM birefringent mask
  • the energy treatment device 13 is, for example, a medical device used in endoscopic surgery that excises an affected area or seals a blood vessel using heat generated by high-frequency current.
  • the display device 14 can display an image captured by the endoscope 12 as it is, or an image that has undergone image processing in the device unit 15 .
  • the device unit 15 is configured by incorporating various devices necessary for performing endoscopic surgery using the medical imaging system 11 .
  • the device unit 15 can be configured with a light source device 31, a CCU (Camera Control Unit) 32, a recording device 33, and an output device 34, as shown in FIG.
  • the light source device 31 supplies light to the endoscope 12 via an optical fiber or the like with which the affected part is irradiated when the endoscope 12 performs imaging.
  • the CCU 32 controls imaging by the endoscope 12 and performs image processing on the image captured by the endoscope 12 .
  • the CCU 32 also has, for example, a focus control function for appropriately controlling the focus when an image is captured by the endoscope 12 according to the surgical mode, and an image captured by the endoscope 12 according to the surgical mode. It also has an image selection function for selecting images appropriately.
  • the recording device 33 records the image output from the CCU 32 on a recording medium.
  • the output device 34 prints and outputs images output from the CCU 32 or outputs them via a communication network.
  • FIG. 3 is a diagram showing a configuration example of an imaging module incorporated in the camera head 21 of the endoscope 12. As shown in FIG. 3
  • the imaging module 41 includes a branching optical system 51 and three imaging elements 52-1 to 52-3. Further, an imaging lens 42 is arranged on the optical axis of light incident on the imaging module 41 .
  • the imaging lens 42 is composed of one or a plurality of lenses, and is directed toward the imaging elements 52-1 to 52-3 so that imaging is performed by light entering the barrel section 22 of the endoscope 12. is condensed and made incident on the branching optical system 51 .
  • the branching optical system 51 branches the light incident through the imaging lens 42 toward each of the imaging elements 52-1 to 52-3.
  • the branching optical system 51 is composed of a first prism 61 , a second prism 62 , a third prism 63 , a first dichroic mirror 64 and a second dichroic mirror 65 .
  • a first prism 61, a second prism 62, and a third prism 63 are provided between the first prism 61 and the second prism 62 and between the second prism 62 and the third prism 63. , constitute a prism block that is joined so as not to create an air gap.
  • the branching optical system 51 by adopting a prism block with a so-called gapless structure, in the branching optical system 51, it is possible to avoid the occurrence of sandwiching process dust and the leakage of the sealing material. be able to. Therefore, in the branching optical system 51, for example, even with a lens system having a relatively large F-number, such as the endoscope 12, it is possible to eliminate reflection of foreign matter and suppress degradation of image quality.
  • the imaging devices 52-1 to 52-3 are, for example, CMOS image sensors having Bayer array RGB filters.
  • the imaging device 52-1 is arranged at a position where the distance (optical path length) from the principal point of the imaging lens 42 is a reference intermediate distance.
  • the imaging device 52-2 is arranged at a position away from the branching optical system 51 by the shift amount ⁇ Z so that the distance from the principal point of the imaging lens 42 is longer than the reference.
  • the imaging device 52-3 is arranged at a position closer to the branching optical system 51 by the shift amount ⁇ Z so that the distance from the principal point of the imaging lens 42 is shorter than the reference distance.
  • an image captured by the imaging device 52-1 is referred to as a Mid image
  • an image captured by the imaging device 52-2 is referred to as a Near image
  • an image captured by the imaging device 52-3 is referred to as a Far image. called.
  • the imaging module 41 is configured to be able to output Near images, Mid images, and Far images to the CCU 32 .
  • the medical imaging system 11 can switch between the Near image, the Mid image, and the Far image and output it to the display device 14, and can also switch between the EDOF image and the color-coded image that have undergone image processing in the CCU 32, and can output the image to the display device 14. can be output to
  • FIG. 4 shows images of the Near image, Mid image, Far image, EDOF image, and color-coded image that are switched and displayed in the medical imaging system 11 .
  • the Near image is captured so that the near point is in focus, and the image becomes more blurred toward the far point.
  • the mid image is captured so that the intermediate point is in focus, and the near point side and the far point side are blurred.
  • a far image is captured so that the far point side is in focus, and the image becomes more blurred toward the near point side.
  • the EDOF image obtains the contrast for each pixel in the Near, Mid, and Far images, selects the pixels with the highest contrast, and synthesizes them. This is an image that has undergone image processing that expands the depth of field.
  • the color-coded image is a color-coded image obtained by obtaining the contrast for each pixel of the Near, Mid, and Far images, and using the color corresponding to the image with the highest contrast, and is used to select the area.
  • the pixels with the highest contrast in the Near image are red (solid line in Fig. 4)
  • the pixels with the highest contrast in the Mid image are green (dashed line in Fig. 4)
  • the contrast of the Far image is The highest pixels are colored blue (dashed line in FIG. 4).
  • the medical imaging system 11 when the user inputs a surgery mode using, for example, a user interface displayed on the display device 14 , the inputted surgery mode is set in the CCU 32 . Then, the CCU 32 can perform focus control so that an appropriately focused image is captured according to the set surgical mode.
  • the ROI image is set as the Near image, and the cornea shown in the ROI image is set as the region of interest. It is desirable to perform focus control so that the subject is in focus.
  • the ROI image is set as a Far image, the region of interest is set in the fundus imaged in the ROI image, and focus control is performed so that the fundus is in focus in the Far image.
  • focus control is performed so that the fundus is in focus in the Far image.
  • laparoscopic surgery it is desirable to set an ROI image as a Mid image, set a region of interest in the center of the ROI image, and perform focus control so that the center of the Mid image is in focus.
  • the Near, Mid, and Far images have different focus positions depending on the surgical mode. Furthermore, in the EDOF image, the areas with the highest contrast among the Near, Mid, and Far images are synthesized, so the attention area to be focused for adjusting the focus is assigned to each synthesized area. need to be set.
  • FIG. 5 is a block diagram illustrating the focus control function of the CCU 32. As shown in FIG.
  • the CCU 32 includes an operation mode setting unit 71, an attention area setting unit 72, an imaging signal acquisition unit 73, an EDOF image output unit 74, a color-coded image output unit 75, a focus processing unit 76, and a selection map generation unit. 77.
  • the surgical mode setting unit 71 sets the surgical mode to the attention area setting unit 72 .
  • the attention area setting unit 72 Based on the operation mode set by the operation mode setting unit 71, the attention area setting unit 72 adds Near The imaging signal acquisition unit 73 is set to use any one of the image, the Mid image, and the Far image. Further, the region-of-interest setting unit 72 sets a predetermined location based on the surgical mode as the region of interest in the ROI image.
  • the region-of-interest setting unit 72 sets the ROI image to the Mid image in the cataract surgery mode, sets the ROI image to the Mid image in the vitreous surgery mode, and sets the ROI image to the Mid image in the laparoscopic surgery mode.
  • the region-of-interest setting unit 72 sets the ROI image to the Near image in the retinal detachment surgery mode, sets the ROI image to the Near image in the corneal transplantation surgery mode, and sets the ROI image to the Far image in the macular disease surgery mode. do.
  • an image to be used as an ROI image is set in preset for each surgical mode, but it is preferable that the user can change the preset so that an arbitrary image can be set as the ROI image.
  • the ROI image may be set to the Mid image when the surgical mode is not set.
  • the attention area setting unit 72 sets the central part of the screen where the iris appears as the attention area.
  • the medical staff it is customary for the medical staff to set the imaging region at which position of the eye, so it is preferable to have regions of interest on a table for each surgical mode in advance. It should be noted that a configuration may be adopted in which a detection target and an image recognition algorithm are determined by image recognition based on a surgical mode, and a region of interest is detected.
  • the imaging signal acquisition unit 73 acquires the imaging signals of the Near image, Mid image, and Far image output from the imaging module 41 . Then, the imaging signal acquisition unit 73 sets the image set by the attention area setting unit 72 among the Near image, Mid image, and Far image as the ROI image, and sets the attention area for the ROI image. The imaging signal acquisition unit 73 supplies the ROI image in which the region of interest is set to the focus processing unit 76 . The imaging signal acquisition section 73 supplies the Near image, Mid image, and Far image to the EDOF image output section 74 , the color-coded image output section 75 , and the selection map generation section 77 . The imaging signal acquisition unit 73 can switch between the Near image, the Mid image, and the Far image and output it to the display device 14 .
  • the EDOF image output unit 74 obtains the contrast for each pixel of the Near image, Mid image, and Far image, and selects and synthesizes the pixels with the highest contrast, thereby focusing from the near point to the far point. Outputs an EDOF image with an expanded depth of field.
  • the color-coded image output unit 75 obtains the contrast for each pixel of the Near image, the Mid image, and the Far image, and outputs the color-coded image that is color-coded with the color corresponding to the image for which the highest contrast is obtained. For example, color-coded images are used to select regions.
  • the focus processing unit 76 controls the optical system of the endoscope 12 so that the center of the ROI image supplied from the imaging signal acquisition unit 73 is most focused, and the focus when the imaging module 41 performs imaging. to adjust. Further, the focus processing unit 76 may roughly calculate and match the focus position in the ROI image by wobbling. Further, the focus processing unit 76 uses the selection map generated by the selection map generation unit 77 to finely adjust the focus.
  • the selection map generation unit 77 generates a selection map used for finely adjusting the focus when the imaging module 41 performs imaging, and supplies it to the focus processing unit 76 .
  • the selection map generator 77 obtains the contrast for each pixel of the Near image, the Mid image, and the Far image, and selects the image with the highest contrast among the Near image, Mid image, and Far image. . That is, the selection map generation unit 77 compares the contrast with surrounding pixels in the same image, and selects an image having pixels with the largest difference (high contrast). The selection map generator 77 associates identification numbers (numbers assigned to each of the Near image, Mid image, and Far image) that identify the selected image with each pixel. The selection map generator 77 can generate a selection map by associating identification numbers with all pixels.
  • the focus processing section 76 can finely adjust the focus using the selection map generated by the selection map generation section 77 .
  • the focus processing unit 76 each time the focus processing unit 76 repeats the focus adjustment, the identification number associated with the pixel of the region of interest in the selection map generated from the image captured with the focus adjusted immediately before is transferred as the ROI image. It is determined whether or not the image matches the set image. Then, when the identification number of the attention area in the selection map does not match the image set as the ROI image, the focus processing unit 76 sets the identification number of the attention area in the selection map to the image set as the ROI image. Adjust focus to match. At this time, the focus processing unit 76 may move the focus lens by a predetermined amount in a predetermined direction, or may determine the direction and amount of movement of the focus lens based on the statistics of the contrast of the attention area of the selection map. good.
  • the focus processing unit 76 performs contrast AF on the attention area of the ROI image.
  • the determination of whether or not the identification number of the attention area in the selection map matches the image set as the ROI image can be made not only by a complete match (100%), but also by a predetermined ratio (80%), for example. %, etc.).
  • the focus control function of the CCU 32 is configured as described above. Near images, mid images, and far images are acquired simultaneously, and by changing the autofocus evaluation value calculation method according to the operation mode, can obtain the optimal EDOF image. As a result, it is possible to obtain an EDOF effect that is optimal for expanding the depth of field when performing surgery, and as a result, it is possible to improve work efficiency.
  • Contrast AF is similar to focus evaluation in general AF. Determine the amount and direction of movement of the focus lens by viewing.
  • the focus lens can be configured to be included in the imaging lens 42 in FIG.
  • the focus processing unit 76 determines the movement amount and movement direction of the focus lens using the focus evaluation of the focus frame overlapping the attention area. Note that focus evaluation is always performed for all focus frames, and the evaluation result of which focus frame is used is selected according to the surgical mode. Also, in the medical field, only the contrast detection method is generally used, but phase difference detection may also be used.
  • the CCU 32 may adopt a configuration in which the focus is adjusted after the focus position is changed at high speed by the user switching between, for example, the Near image, Mid image, Far image, or EDOF image. That is, it is preferable to switch the ROI image from the Near image to the Mid image as the user switches from the Near image to the Mid image. At this time, when the attention areas of the Near image, Mid image, and Far image are preset according to the surgical mode, the attention areas are also switched at the same time. As a result, when the image is switched from the Near image to the Mid image, the focus condition can also be changed, so more appropriate autofocus can be achieved.
  • FIG. 6 is a flowchart for explaining focus control processing executed by the CCU 32.
  • FIG. 6 illustrates a processing example in which one of the cataract surgery mode, the vitreous surgery mode, and the laparoscopic surgery mode is set as the surgery mode, but various surgery modes as described above are set. Similar processing is performed in the case of
  • the process starts, and in step S11, the surgery mode setting unit 71 sets the region of interest setting unit 72 to the surgery mode input by the user.
  • step S12 the region-of-interest setting unit 72 determines whether the surgical mode set in step S11 is the cataract surgery mode, the vitreous surgery mode, or the laparoscopic surgery mode.
  • step S12 determines in step S12 that the cataract surgery mode has been set
  • the process proceeds to step S13.
  • the region-of-interest setting unit 72 sets the ROI image as the Mid image in step S13, and sets the portion where the iris is projected in the center of the screen of the ROI image as the region of interest in step S14.
  • step S12 determines in step S12 that the vitreous surgery mode has been set
  • the process proceeds to step S15.
  • the region-of-interest setting unit 72 sets the ROI image as the Mid image in step S15, and sets the portion where the retina is projected in the center of the screen of the ROI image as the region of interest in step S16.
  • step S12 determines in step S12 that the laparoscopic surgery mode has been set
  • the process proceeds to step S17.
  • the attention area setting unit 72 sets the ROI image as the Mid image in step S17, and sets the central part of the screen of the ROI image as the attention area in step S18.
  • the region-of-interest setting unit 72 operates the endoscope 12 so that the affected area is displayed in the center of the screen of the ROI image.
  • a region where an affected part is shown can be set as a region of interest.
  • step S14 After the processing of step S14, step S16, or step S18, the processing proceeds to step S19, and AF processing (described later) in which the focus is adjusted so as to focus on the region of interest set in the ROI image according to the surgical mode. 7) is executed.
  • step S20 the image selected from the Near image, Mid image, and Far image according to the surgical mode, and adjusted to be in focus by the AF processing in step S19, is picked up by the CCU 32. is output from and displayed on the display device 14 .
  • FIG. 7 is a flow chart explaining the AF process executed in step S19 of FIG.
  • step S ⁇ b>31 the imaging signal acquisition unit 73 acquires the imaging signals of the Near image, Mid image, and Far image output from the imaging module 41 .
  • step S32 the imaging signal acquisition unit 73 supplies the ROI image set by the attention area setting unit 72 in step S13, step S15, or step S17 of FIG. Then, the focus processing unit 76 controls the optical system of the endoscope 12 so that the center of the ROI image is most focused. As a result, the focus is adjusted so that the image pickup device 52 that picks up the image set as the ROI image is in focus among the image pickup devices 52-1 to 52-3 of the image pickup module 41.
  • the imaging signals of the image, the mid image, and the far image are supplied from the imaging signal acquisition section 73 to the selection map generation section 77 .
  • step S33 the selection map generation unit 77 performs selection map generation processing (described later) for generating a selection map using the imaging signals of the Near image, the mid image, and the far image supplied from the imaging signal acquisition unit 73 in step S32. 8) is executed.
  • step S34 the selection map generation unit 77 determines whether the identification numbers associated with the pixels of the region of interest in the selection map generated in the selection map generation processing in step S33 match the image set as the ROI image. determine whether or not
  • step S34 If the selection map generator 77 determines in step S34 that the identification numbers associated with the pixels of the region of interest in the selection map do not match the image set as the ROI image, the process returns to step S31. , and thereafter, the same processing is repeatedly performed.
  • step S34 if the selection map generator 77 determines that the identification numbers associated with the pixels of the region of interest in the selection map match the image set as the ROI image, the process proceeds to step S34. Proceed to S35.
  • step S35 the imaging signal acquisition unit 73 acquires the ROI image captured with the final focus adjusted by repeating the processing of steps S31 to S33, and supplies it to the focus processing unit 76. Then, after the focus processing unit 76 obtains an evaluation value so as to focus on the attention area set in the ROI image and performs contrast AF, the AF processing ends.
  • FIG. 8 is a flow chart explaining the selection map generation process executed in step S33 of FIG.
  • step S42 the selection map generation unit 77 obtains the contrast of each pixel i of the Near image, Mid image, and Far image supplied from the imaging signal acquisition unit 73 in step S32 of FIG.
  • step S43 the selection map generation unit 77 selects the highest contrast among the contrast of the pixel i of the Near image, the contrast of the pixel i of the Mid image, and the contrast of the pixel i of the Far image obtained in step S42. identify the image that Then, the selection map generator 77 associates an identification number identifying an image (Near image, Mid image, or Far image) for which the highest contrast is required with the pixel i to be processed.
  • step S44 the selection map generator 77 increments (i++) the parameter i that specifies the pixel to be processed.
  • step S45 the selection map generation unit 77 determines whether all pixels of the Near image, Mid image, and Far image supplied from the imaging signal acquisition unit 73 in step S32 of FIG. 7 are associated with identification numbers. determine whether For example, when the parameter i matches the number of pixels, the selection map generator 77 can determine that identification numbers are associated with all pixels.
  • step S45 If the selection map generator 77 determines in step S45 that identification numbers are not associated with all pixels of the Near image, Mid image, and Far image, the process returns to step S42, and so on. process is repeated.
  • step S45 if the selection map generator 77 determines in step S45 that identification numbers have been associated with all pixels of the Near image, Mid image, and Far image, the process ends. That is, in this case, a selection map is generated in which all pixels are associated with identification numbers that identify any of the Near image, Mid image, and Far image.
  • AF can be controlled so as to obtain the EDOF effect according to the surgical mode, and an appropriately focused image can be displayed.
  • a configuration example using three imaging elements 52-1 to 52-3 has been described, but a configuration using at least two imaging elements 52-1 and 52-2 This technology can be applied.
  • three types of images, a Near image, a Mid image, and an EDOF image can be selectively output according to the surgical mode.
  • FIG. 9 is a block diagram showing a configuration example of one embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in the hard disk 105 or ROM 103 as a recording medium built into the computer.
  • the program can be stored (recorded) in a removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • the removable recording medium 111 includes, for example, a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disk, DVD (Digital Versatile Disc), magnetic disk, semiconductor memory, and the like.
  • the program can be installed in the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via a communication network or broadcasting network and installed in the hard disk 105 incorporated therein. That is, for example, the program is transferred from the download site to the computer wirelessly via an artificial satellite for digital satellite broadcasting, or transferred to the computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 102 , and an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • a CPU Central Processing Unit
  • an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 according to a command input by the user through the input/output interface 110 by operating the input unit 107 or the like. Alternatively, the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result from the output unit 106 via the input/output interface 110, transmits it from the communication unit 108, or records it in the hard disk 105 as necessary.
  • the input unit 107 is composed of a keyboard, mouse, microphone, and the like. Also, the output unit 106 is configured by an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to a remote computer and executed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • this technology can take a configuration of cloud computing in which a single function is shared and processed jointly by multiple devices via a network.
  • the above-described program can be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step described in the flowchart above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps described in the program is executed in chronological order according to the order described herein, or in parallel, or when the call is made. They may be executed individually at necessary timings such as occasions. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • an operation mode setting unit for setting an operation mode; From among two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens, based on the surgical mode, AF (Auto Focus) processing ROI ( a Region of Interest) image, and a region of interest setting unit that sets a region of interest, which is an area for obtaining an evaluation value of contrast AF in the ROI image;
  • a medical imaging system comprising: a focus processing unit that obtains an evaluation value from the region of interest of the ROI image and adjusts the focus.
  • Contrast is obtained for each pixel of the Near image, the Mid image, and the Far image captured by focusing on the attention area of the ROI image by the focus processing unit, and the pixel with the highest contrast is selected.
  • the region-of-interest setting unit sets the ROI image to the Near image and sets the region of interest to the cornea shown in the ROI image when a surgery mode for performing surgery on the anterior segment is set.
  • the medical imaging system according to any one of (2) to (4).
  • the region-of-interest setting unit sets the ROI image to the Far image, and sets the region of interest to the fundus imaged in the ROI image.
  • the medical imaging system according to any one of 2) to (5).
  • the region-of-interest setting unit sets the ROI image to the Mid image and sets the region of interest to the crystalline lens shown in the ROI image when an operation mode for performing surgery on the crystalline lens is set.
  • the medical imaging system according to any one of ) to (6).
  • the region-of-interest setting unit sets the ROI image to the Mid image and sets the region of interest in the center of the ROI image when an operation mode for performing surgery using a laparoscope is set.
  • the medical imaging system according to any one of (7).
  • an operation mode setting unit for setting an operation mode; From among two or more types of images captured by at least two imaging elements with different optical path lengths from one imaging lens, based on the surgical mode, AF (Auto Focus) processing ROI (a Region of Interest) image, and a region of interest setting unit that sets a region of interest, which is an area for obtaining an evaluation value of contrast AF in the ROI image; and a focus processing unit that obtains an evaluation value from the region of interest of the ROI image and adjusts the focus.
  • AF Auto Focus
  • ROI a Region of Interest
  • region of interest setting unit that sets a region of interest, which is an area for obtaining an evaluation value of contrast AF in the ROI image
  • a focus processing unit that obtains an evaluation value from the region of interest of the ROI image and adjusts the focus.
  • a control method comprising: obtaining an evaluation value from the region of interest of the ROI image and adjusting the focus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、手術に応じて適切にフォーカスの合った画像を表示することができるようにする医療撮像システム、医療撮像装置、および制御方法に関する。 医療撮像システムは、手術モードを設定する手術モード設定部と、１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像の中から、手術モードに基づいて、ＡＦ処理を行うのに使用するROI画像を設定し、そのROI画像において注目領域を設定する注目領域設定部と、ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部とを備える。本技術は、例えば、EDOF画像を撮像可能な医療撮像システムに適用できる。

Description

医療撮像システム、医療撮像装置、および制御方法
　本開示は、医療撮像システム、医療撮像装置、および制御方法に関し、特に、手術に応じて適切にフォーカスの合った画像を表示することができるようにした医療撮像システム、医療撮像装置、および制御方法に関する。
　従来、医療分野において、レンズを通して撮像された画像の患部などを注目領域として観察しながら手術などの作業を行う際、被写界深度から外れる手前側または奥側の領域ではピントがずれた画像となってしまう。このため、注目領域が手前側または奥側に変わるときには、都度、注目領域にピントが合うように調節する必要があり、被写界深度が浅い画像では作業効率が低下することが懸念される。そこで、被写界深度が深い画像を撮像することが可能な医療撮像システムが求められている。
　例えば、特許文献１には、被写界深度が拡張されたEDOF（Extended Depth of Field）画像を取得することが可能な医療用の観察装置が開示されている。
特開２０１７－１５８７６４号公報
　ところで、手術の種類によって、EDOF効果が得られるように適切にＡＦ（Auto Focus）を制御する必要があり、例えば、EDOF効果が得られない場合には、近点に対し被写界深度の遠点部分にピントが合わされたような画像が表示されることがあった。
　本開示は、このような状況に鑑みてなされたものであり、手術に応じて適切にフォーカスの合った画像を表示することができるようにするものである。
　本開示の一側面の医療撮像システムおよび医療撮像装置は、手術モードを設定する手術モード設定部と、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ処理を行うのに使用するROI画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定する注目領域設定部と、前記ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部とを備える。
　本開示の一側面の制御方法は、手術モードを設定することと、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ処理を行うのに使用するROI画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定することと、前記ROI画像の注目領域から評価値を求めてフォーカスを調整することとを含む。
　本開示の一側面においては、手術モードが設定され、１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、手術モードに基づいて、ＡＦ処理を行うのに使用するROI画像が設定され、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域が設定され、ROI画像の注目領域から評価値を求めてフォーカスが調整される。
本技術を適用した医療撮像システムの一実施の形態の構成例を示す図である。 内視鏡および装置ユニットの構成を説明する図である。 撮像モジュールの構成例を示す図である。 Mid画像、Near画像、Far画像、EDOF画像、および色分け画像を説明するための図である。 ＣＣＵのフォーカス制御機能の構成例を示す図である。 フォーカス制御処理を説明するフローチャートである。 ＡＦ処理を説明するフローチャートである。 選択マップ生成処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜医療撮像システムの構成例＞
　図１は、本技術を適用した医療撮像システムを内視鏡手術に適用した一実施の形態の構成例を示す図である。
　図１に示す医療撮像システム１１は、内視鏡１２、エネルギー処置具１３、表示装置１４、および装置ユニット１５を備えて構成される。
　例えば、医療撮像システム１１を利用した手術では、内視鏡１２およびエネルギー処置具１３が患者の体内に挿入されるとともに、鉗子１６が患者の体内に挿入される。そして、医療撮像システム１１では、内視鏡１２によって撮像された腫瘍などの患部の画像が表示装置１４にリアルタイムで表示され、医者は、その画像を見ながらエネルギー処置具１３および鉗子１６を使用して患部に対する処置を行うことができる。
　内視鏡１２は、例えば、図２に示すように、対物レンズなどの光学系が組み込まれた筒状の鏡筒部２２が、複数の撮像素子などを有する撮像モジュール（図３参照）が組み込まれたカメラヘッド２１に装着されて構成される。例えば、鏡筒部２２は、硬性または軟性の材料を用いて筒状に形成されるスコープであり、その内部に延設されるライトガイドによって先端まで光を導光し、患者の体腔内に光を照射することができる。カメラヘッド２１は、鏡筒部２２との間に、例えば、複屈折マスク（ＢＭ：Birefringent Mask）などのような光学素子が挿入可能となるように構成されており、鏡筒部２２の光学系を介して患者の体腔内を撮像することができる。
　エネルギー処置具１３は、例えば、高周波の電流により発生する熱によって、患部を切除したり、血管を封止したりする内視鏡下外科手術で用いられる医療器具である。
　表示装置１４は、内視鏡１２により撮像された画像をそのまま表示したり、装置ユニット１５において画像処理が施された画像を表示したりすることができる。
　装置ユニット１５は、医療撮像システム１１を利用した内視鏡手術を行うのに必要となる各種の装置が組み込まれて構成される。例えば、装置ユニット１５は、図２に示すように、光源装置３１、ＣＣＵ（Camera Control Unit）３２、記録装置３３、および出力装置３４を備えて構成することができる。
　光源装置３１は、内視鏡１２が撮像を行う際に患部に対して照射される光を、光ファイバーなどを介して内視鏡１２に供給する。
　ＣＣＵ３２は、内視鏡１２による撮像を制御するとともに、内視鏡１２により撮像された画像に対して画像処理を施す。また、ＣＣＵ３２は、例えば、内視鏡１２により画像を撮像する際のフォーカスを手術モードに応じて適切に制御するためのフォーカス制御機能や、内視鏡１２により撮像された画像を手術モードに応じて適切に選択するための画像選択機能などを備えている。
　記録装置３３は、ＣＣＵ３２から出力される画像を記録媒体に記録する。出力装置３４は、ＣＣＵ３２から出力される画像を印刷して出力したり、通信ネットワークを介して出力したりする。
　＜撮像モジュールの構成例＞
　図３は、内視鏡１２のカメラヘッド２１に組み込まれる撮像モジュールの構成例を示す図である。
　図３に示すように、撮像モジュール４１は、分岐光学系５１、および、３枚の撮像素子５２－１乃至５２－３を備えて構成される。また、撮像モジュール４１に入射する光の光軸上に撮像レンズ４２が配置されている。撮像レンズ４２は、１枚または複数枚のレンズによって構成され、内視鏡１２の鏡筒部２２に入ってくる光による撮像が行われるように撮像素子５２－１乃至５２－３に向かって光を集光し、分岐光学系５１に入射させる。
　分岐光学系５１は、撮像レンズ４２を介して入射してくる光を、撮像素子５２－１乃至５２－３それぞれに向かって分岐させる。分岐光学系５１は、第１のプリズム６１、第２のプリズム６２、第３のプリズム６３、第１のダイクロイックミラー６４、および第２のダイクロイックミラー６５により構成される。
　第１のプリズム６１、第２のプリズム６２、および第３のプリズム６３は、第１のプリズム６１と第２のプリズム６２との間および第２のプリズム６２と第３のプリズム６３との間に、エアギャップが生じないように接合されたプリズムブロックを構成する。このように、いわゆるギャップレス構造のプリズムブロックを採用することで、分岐光学系５１では、工程ゴミの挟み込みが生じることを回避することや、封止材の染み出しが生じてしまうことなどを回避することができる。従って、分岐光学系５１では、例えば、内視鏡１２のようにＦ値が比較的に大きいレンズ系であっても、異物の映り込みを排除して、画質の低下を抑制することができる。
　第１のダイクロイックミラー６４は、第１のプリズム６１の第２のプリズム６２側の射出面に対して成膜される誘電体多層膜からなる光学薄膜であり、例えば、平均反射率：平均透過率＝１：２となる光量で光を分岐する。
　第２のダイクロイックミラー６５は、第２のプリズム６２の第３のプリズム６３側の射出面に対して成膜される誘電体多層膜からなる光学薄膜であり、例えば、平均反射率：平均透過率＝１：１となる光量で光を分岐する。
　撮像素子５２－１乃至５２－３は、例えば、ベイヤ配列のRGBフィルタを有するCMOSイメージセンサである。撮像素子５２－１は、撮像レンズ４２の主点からの距離（光路長）が、基準となる中間距離となる位置に配置される。撮像素子５２－２は、撮像レンズ４２の主点からの距離が、基準より遠距離となるように、シフト量ΔＺだけ分岐光学系５１から遠ざけられた位置に配置される。撮像素子５２－３は、撮像レンズ４２の主点からの距離が、基準より近距離となるように、シフト量ΔＺだけ分岐光学系５１に近づけられた位置に配置される。
　これにより、注目領域にフォーカスが合った画像を撮像素子５２－１が撮像するように撮像レンズ４２の焦点距離が調整された場合、撮像素子５２－２は、注目領域よりも近点側にフォーカスが合った画像を撮像することなる。同様に、この場合、撮像素子５２－３は、注目領域よりも遠点側にフォーカスが合った画像を撮像することなる。そこで、以下適宜、撮像素子５２－１によって撮像される画像をMid画像と称し、撮像素子５２－２によって撮像される画像をNear画像と称し、撮像素子５２－３によって撮像される画像をFar画像と称する。
　従って、撮像モジュール４１は、Near画像、Mid画像、およびFar画像をＣＣＵ３２に出力することができる構成となっている。
　そして、医療撮像システム１１は、Near画像、Mid画像、およびFar画像を切り替えて表示装置１４に出力することができる他、ＣＣＵ３２において画像処理が施されたEDOF画像および色分け画像を切り替えて表示装置１４に出力することができる。
　図４には、医療撮像システム１１において切り替えられて表示されるNear画像、Mid画像、Far画像、EDOF画像、および色分け画像のイメージが示されている。
　例えば、Near画像は、近点にフォーカスが合うように撮像され、遠点側に向かうに従ってボケが大きな画像となる。Mid画像は、中間点にフォーカスが合うように撮像され、近点側および遠点側にボケが生じた画像となる。Far画像は、遠点側にフォーカスが合うように撮像され、近点側に向かうに従ってボケが大きな画像となる。
　EDOF画像は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成することで、近点から遠点に亘ってフォーカスが合うように被写界深度が拡大される画像処理が施された画像である。
　色分け画像は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色で色分けされた画像であり、領域を選択するのに用いられる。例えば、色分け画像は、Near画像のコントラストが最も高かった画素が赤色（図４では実線）となり、Mid画像のコントラストが最も高かった画素が緑色（図４では一転鎖線）となり、Far画像のコントラストが最も高かった画素が青色（図４では破線）となるように色分けされる。
　そして、医療撮像システム１１では、ユーザが、例えば、表示装置１４に表示されるユーザインタフェースを利用して手術モードを入力すると、その入力された手術モードがＣＣＵ３２に設定される。そして、ＣＣＵ３２は、設定された手術モードに従って、適切にフォーカスの合った画像が撮像されるようにフォーカス制御を行うことができる。
　例えば、前眼部の手術においては、ROI画像をNear画像に設定し、そのROI画像に写されている角膜に注目領域を設定して、Near画像で角膜にフォーカスが合い、Mid画像で水晶体にフォーカスが合うようにフォーカス制御を行うことが望ましい。眼底部の手術においては、ROI画像をFar画像に設定し、そのROI画像に写されている眼底に前記注目領域を設定して、Far画像で眼底にフォーカスが合うようにフォーカス制御を行うことが望ましい。水晶体の手術においては、ROI画像をMid画像に設定し、そのROI画像に写されている水晶体に注目領域を設定して、Mid画像で水晶体にフォーカスが合うようにフォーカス制御を行うことが望ましい。腹腔鏡手術においては、ROI画像をMid画像に設定し、そのROI画像の中央に注目領域を設定して、Mid画像の中央部にフォーカスが合うようにフォーカス制御を行うことが望ましい。
　このように、手術モードに応じて、Near画像、Mid画像、およびFar画像それぞれ異なるフォーカス位置となるようにフォーカス制御が行われる。さらに、EDOF画像では、Near画像、Mid画像、およびFar画像のうち、コントラストが最も高い領域を合成することになるため、フォーカスの調節を行うために注目する注目領域を、それぞれ合成される領域に設定することが必要となる。
　＜ＣＣＵのフォーカス制御機能＞
　図５は、ＣＣＵ３２のフォーカス制御機能について説明するブロック図である。
　図５に示すように、ＣＣＵ３２は、手術モード設定部７１、注目領域設定部７２、撮像信号取得部７３、EDOF画像出力部７４、色分け画像出力部７５、フォーカス処理部７６、および選択マップ生成部７７を備えて構成される。
　手術モード設定部７１は、例えば、図示しない入力部を利用してユーザにより手術モードが入力されると、その手術モードを注目領域設定部７２に対して設定する。
　注目領域設定部７２は、手術モード設定部７１により設定された手術モードに基づいて、コントラストＡＦの評価値を求めるエリアである注目領域を設定する対象となるROI（Region of Interest）画像に、Near画像、Mid画像、およびFar画像のいずれを用いるか、撮像信号取得部７３に対して設定する。さらに、注目領域設定部７２は、手術モードに基づいた所定の個所を、ROI画像における注目領域に設定する。
　例えば、注目領域設定部７２は、白内障手術モードではROI画像をMid画像に設定し、硝子体手術モードではROI画像をMid画像に設定し、腹腔鏡手術モードではROI画像をMid画像に設定する。また、注目領域設定部７２は、網膜剥離手術モードではROI画像をNear画像に設定し、角膜移植手術モードではROI画像をNear画像に設定し、黄斑部疾患手術モードではROI画像をFar画像に設定する。例えば、プリセットで手術モードごとに、ROI画像として用いる画像が設定されているが、ユーザがプリセットを変更可能として任意の画像をROI画像に設定できるようにすることが好ましい。なお、手術モードが設定されていない場合にはROI画像がMid画像に設定されるようにしてもよい。
　そして、注目領域設定部７２は、白内障手術モードであれば、画面の中央部の虹彩が映る個所を注目領域に設定する。例えば、眼科手術においては医療スタッフが眼のどの位置に撮像領域を設定するか慣習的に決まっているため、予め手術モードごとに注目領域をテーブルで持っておくのが好ましい。なお、画像認識により、手術モードに基づいて検出対象および画像認識アルゴリズムを決定して、注目領域を検出する構成を採用してもよい。
　撮像信号取得部７３は、撮像モジュール４１から出力されるNear画像、Mid画像、およびFar画像の撮像信号を取得する。そして、撮像信号取得部７３は、Near画像、Mid画像、およびFar画像のうち、注目領域設定部７２により設定された画像をROI画像とし、そのROI画像に対して注目領域を設定する。撮像信号取得部７３は、注目領域が設定されたROI画像をフォーカス処理部７６に供給する。撮像信号取得部７３は、Near画像、Mid画像、およびFar画像を、EDOF画像出力部７４、色分け画像出力部７５、および選択マップ生成部７７に供給する。撮像信号取得部７３は、Near画像、Mid画像、およびFar画像のいずれかを切り替えて、表示装置１４に出力することができる。
　EDOF画像出力部７４は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成することで、近点から遠点に亘ってフォーカスが合うように被写界深度が拡大されたEDOF画像を出力する。
　色分け画像出力部７５は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、最も高いコントラストが求められた画像に対応する色で色分けされた色分け画像を出力する。例えば、色分け画像は、領域を選択するのに用いられる。
　フォーカス処理部７６は、撮像信号取得部７３から供給されたROI画像の中心に最もフォーカスが合うように内視鏡１２の光学系に対する制御を行って、撮像モジュール４１により撮像が行われる際のフォーカスを調整する。また、フォーカス処理部７６は、ウォブリングによってROI画像におけるフォーカス位置を大まかに算出して合わせてもよい。さらに、フォーカス処理部７６は、選択マップ生成部７７により生成される選択マップを用いて、フォーカスの微調整を行う。
　選択マップ生成部７７は、撮像モジュール４１により撮像が行われる際のフォーカスを微調整するのに用いられる選択マップを生成して、フォーカス処理部７６に供給する。
　例えば、選択マップ生成部７７は、Near画像、Mid画像、およびFar画像それぞれの画素ごとにコントラストを求め、Near画像、Mid画像、およびFar画像のうち、最も高いコントラストが求められた画像を選択する。即ち、選択マップ生成部７７は、同じ画像内において周辺画素とコントラストを比較し、差が最も大きい（コントラストが高い）画素を有する画像を選択する。選択マップ生成部７７は、選択した画像を識別する識別番号（Near画像、Mid画像、およびFar画像それぞれに割り当てられた番号）を、個々の画素に対応付ける。そして、選択マップ生成部７７は、全ての画素に対して識別番号を対応付けることで、選択マップを生成することができる。
　従って、ＣＣＵ３２では、選択マップ生成部７７により生成された選択マップを用いて、フォーカス処理部７６においてフォーカスの微調整を行うことができる。
　例えば、フォーカス処理部７６は、フォーカスの調整を繰り返すたびに、直前で調整されたフォーカスで撮像された画像から生成された選択マップにおける注目領域の画素に対応づけられた識別番号が、ROI画像として設定された画像に一致しているか否かを判定する。そして、フォーカス処理部７６は、選択マップにおける注目領域の識別番号が、ROI画像として設定された画像に一致していない場合、選択マップにおける注目領域の識別番号が、ROI画像として設定された画像に一致するようにフォーカスを調整する。このとき、フォーカス処理部７６は、予め決まった方向にフォーカスレンズを決まった量だけ動かしても良いし、選択マップの注目領域のコントラストの統計に基づいてフォーカスレンズの動かす向きと量を決めてもよい。
　その後、フォーカス処理部７６は、選択マップにおける注目領域の識別番号が、ROI画像として設定された画像に一致した段階で、ROI画像の注目領域に対するコントラストＡＦを行う。これにより、EDOF画像においてROI画像の注目領域にフォーカスを合わせることができる。なお、選択マップにおける注目領域の識別番号が、ROI画像として設定された画像に一致したか否かの判定は、完全に一致（100％）するだけでなく、例えば、所定の割合で一致（80％など）するようにしてもよい。
　以上のようにＣＣＵ３２のフォーカス制御機能は構成されており、Near画像、Mid画像、およびFar画像を同時に取得し、手術モードに応じてオートフォーカスの評価値算出方法を変えることで、手術モードに応じて最適なEDOF画像を取得することができる。これにより、手術を行う際に最適な被写界深度拡大となるEDOF効果を得ることができる結果、作業効率の向上を図ることができる。
　なお、コントラストＡＦは、一般的なＡＦにおけるフォーカス評価と同様であり、フォーカス処理部７６は、画像に複数のフォーカス枠を設定し、そのフォーカス枠における輝度値を評価し、フォーカス枠ごとの相関を見てフォーカスレンズの移動量と移動の向きを決定する。なお、フォーカスレンズは、図３の撮像レンズ４２に含まれた構成とすることができる。
　そして、フォーカス処理部７６は、注目領域と重なるフォーカス枠のフォーカス評価を用いてフォーカスレンズの移動量と移動の向きを決定する。なお、フォーカス評価は全部のフォーカス枠で常に行っていて、手術モードによって、どのフォーカス枠の評価結果を使うかを選択している。また、一般的に医療の分野では、コントラスト検出方式のみを用いているが、位相差検出を併用してもよい。
　さらに、ＣＣＵ３２は、例えば、Near画像、Mid画像、Far画像、またはEDOF画像をユーザが切り替えることで高速にフォーカス位置を変えた後、フォーカスを調整する構成を採用してもよい。即ち、Near画像からMid画像にユーザが切り替えるのに従って、ROI画像をNear画像からMid画像に切り替えるのが好ましい。このとき、手術モードによってNear画像、Mid画像、およびFar画像の注目領域がプリセットされているときは、同時に、注目領域も切り替えられる。これにより、Near画像からMid画像に画像を切り替えた際に、フォーカス条件も変更することができるので、より適切なオートフォーカスを実現することができる。
　＜フォーカス制御処理の処理例＞
　図６乃至図８に示すフローチャートを参照して、フォーカス制御処理について説明する。
　図６は、ＣＣＵ３２が実行するフォーカス制御処理を説明するフローチャートである。なお、図６では、手術モードとして、白内障手術モード、硝子体手術モード、および腹腔鏡手術モードのいずれかが設定される処理例について説明するが、上述したような様々な手術モードが設定される場合も同様の処理が行われる。
　例えば、ユーザによる手術モードの入力が行われると処理が開始され、ステップＳ１１において、手術モード設定部７１は、ユーザにより入力された手術モードを注目領域設定部７２に対して設定する。
　ステップＳ１２において、注目領域設定部７２は、ステップＳ１１で設定された手術モードは、白内障手術モード、硝子体手術モード、および腹腔鏡手術モードのいずれであるかを判定する。
　ステップＳ１２において、注目領域設定部７２が、白内障手術モードが設定されたと判定した場合、処理はステップＳ１３に進む。注目領域設定部７２は、ステップＳ１３において、ROI画像をMid画像に設定し、ステップＳ１４において、ROI画像の画面の中央部において虹彩が映されている箇所を注目領域に設定する。
　一方、ステップＳ１２において、注目領域設定部７２が、硝子体手術モードが設定されたと判定した場合、処理はステップＳ１５に進む。注目領域設定部７２は、ステップＳ１５において、ROI画像をMid画像に設定し、ステップＳ１６において、ROI画像の画面の中央部において網膜が映されている箇所を注目領域に設定する。
　一方、ステップＳ１２において、注目領域設定部７２が、腹腔鏡手術モードが設定されたと判定した場合、処理はステップＳ１７に進む。注目領域設定部７２は、ステップＳ１７において、ROI画像をMid画像に設定し、ステップＳ１８において、ROI画像の画面の中央部を注目領域に設定する。例えば、手術を行う対象となる腫瘍などの患部がある場合、その患部がROI画像の画面の中央部に写されるように内視鏡１２が操作されることで、注目領域設定部７２は、患部が映されている箇所を注目領域に設定することができる。
　ステップＳ１４、ステップＳ１６、またはステップＳ１８の処理後、処理はステップＳ１９に進み、手術モードに応じてROI画像に設定された注目領域に合焦するようにフォーカスが調整されるＡＦ処理（後述の図７参照）が実行される。
　ステップＳ２０において、手術モードに応じてNear画像、Mid画像、およびFar画像のうちから選択された画像であって、ステップＳ１９のＡＦ処理でフォーカスが合うように調整されて撮像された画像が、ＣＣＵ３２から出力されて表示装置１４に表示される。
　図７は、図６のステップＳ１９において実行されるＡＦ処理を説明するフローチャートである。
　ステップＳ３１において、撮像信号取得部７３は、撮像モジュール４１から出力されるNear画像、Mid画像、およびFar画像の撮像信号を取得する。
　ステップＳ３２において、撮像信号取得部７３は、図６のステップＳ１３、ステップＳ１５、またはステップＳ１７で注目領域設定部７２により設定されたROI画像をフォーカス処理部７６に供給する。そして、フォーカス処理部７６は、そのROI画像の中心に最もフォーカスが合うように内視鏡１２の光学系に対する制御を行う。これにより、撮像モジュール４１の撮像素子５２－１乃至５２－３のうち、ROI画像として設定された画像を撮像する撮像素子５２に合焦するようにフォーカスが調整され、そのフォーカスで撮像されたNear画像、Mid画像、およびFar画像の撮像信号が撮像信号取得部７３から選択マップ生成部７７に供給される。
　ステップＳ３３において、選択マップ生成部７７は、ステップＳ３２で撮像信号取得部７３から供給されたNear画像、Mid画像、およびFar画像の撮像信号を用いて選択マップを生成する選択マップ生成処理（後述の図８参照）を実行する。
　ステップＳ３４において、選択マップ生成部７７は、ステップＳ３３の選択マップ生成処理で生成された選択マップにおける注目領域の画素に対応づけられた識別番号が、ROI画像として設定された画像に一致しているか否かを判定する。
　ステップＳ３４において、選択マップ生成部７７が、選択マップの注目領域の画素に対応づけられた識別番号が、ROI画像として設定された画像に一致していないと判定した場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ３４において、選択マップ生成部７７が、選択マップの注目領域の画素に対応づけられた識別番号が、ROI画像として設定された画像に一致していると判定された場合、処理はステップＳ３５に進む。
　ステップＳ３５において、撮像信号取得部７３は、ステップＳ３１乃至Ｓ３３の処理が繰り返して行われて調整された最終的なフォーカスで撮像されたROI画像を取得して、フォーカス処理部７６に供給する。そして、フォーカス処理部７６が、そのROI画像に設定されている注目領域に合焦するように評価値を求めてコントラストＡＦを行った後、ＡＦ処理は終了される。
　図８は、図７のステップＳ３３において実行される選択マップ生成処理を説明するフローチャートである。
　ステップＳ４１において、選択マップ生成部７７は、処理対象となる画素を特定するパラメータｉをリセット（ｉ＝０）する。
　ステップＳ４２において、選択マップ生成部７７は、図７のステップＳ３２で撮像信号取得部７３から供給されたNear画像、Mid画像、およびFar画像それぞれの画素ｉのコントラストを求める。
　ステップＳ４３において、選択マップ生成部７７は、ステップＳ４２で求められたNear画像の画素ｉのコントラスト、Mid画像の画素ｉのコントラスト、およびFar画像の画素ｉのコントラストのうち、最も高いコントラストが求められた画像を特定する。そして、選択マップ生成部７７は、最も高いコントラストが求められた画像（Near画像、Mid画像、またはFar画像）を識別する識別番号を、処理対象となっている画素ｉに対応付ける。
　ステップＳ４４において、選択マップ生成部７７は、処理対象となる画素を特定するパラメータｉをインクリメント（ｉ＋＋）する。
　ステップＳ４５において、選択マップ生成部７７は、図７のステップＳ３２で撮像信号取得部７３から供給されたNear画像、Mid画像、およびFar画像について、全ての画素に対して識別番号を対応付けたか否かを判定する。例えば、選択マップ生成部７７は、パラメータｉが画素数と一致した場合、全ての画素に対して識別番号を対応付けたと判定することができる。
　ステップＳ４５において、選択マップ生成部７７が、Near画像、Mid画像、およびFar画像について、全ての画素に対して識別番号を対応付けていないと判定した場合、処理はステップＳ４２に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ４５において、選択マップ生成部７７が、Near画像、Mid画像、およびFar画像について、全ての画素に対して識別番号を対応付けたと判定した場合、処理は終了される。即ち、この場合、Near画像、Mid画像、およびFar画像のいずれかを識別する識別番号が、全ての画素に対して対応付けられた選択マップが生成されたことになる。
　以上のように、医療撮像システム１１では、手術モードに応じて、EDOF効果が得られるようにＡＦを制御することができ、適切にフォーカスの合った画像を表示することができる。
　なお、本実施の形態では、３枚の撮像素子５２－１乃至５２－３を用いた構成例について説明したが、例えば、少なくとも２枚の撮像素子５２－１および５２－２を用いた構成に本技術を適用することができる。このような構成では、例えば、Near画像、Mid画像、およびEDOF画像の３種類の画像を手術モードに応じて選択的に出力することができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（制御方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　手術モードを設定する手術モード設定部と、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定する注目領域設定部と、
　前記ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部と
　を備える医療撮像システム。
（２）
　１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像が用いられる
　上記（１）に記載の医療撮像システム。
（３）
　前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、前記Near画像、前記Mid画像、および前記Far画像のうち、最も高いコントラストが求められた画像を選択し、選択した画像を識別する識別番号を全ての画素に対応付けた選択マップを生成する選択マップ生成部
　をさらに備え、
　前記選択マップの前記注目領域における前記識別番号が、前記ROI画像として設定された画像に一致するように前記フォーカス処理部によるフォーカス調整が繰り返して行われる
　上記（２）に記載の医療撮像システム。
（４）
　前記フォーカス処理部によって前記ROI画像の前記注目領域にフォーカスが合わされて撮像された前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成したEDOF（Extended Depth of Field）画像を生成するEDOF画像生成部
　をさらに備える上記（２）または（３）に記載の医療撮像システム。
（５）
　前記注目領域設定部は、前眼部の手術を行う手術モードが設定された場合、前記ROI画像を前記Near画像に設定し、そのROI画像に写されている角膜に前記注目領域を設定する
　上記（２）から（４）までのいずれかに記載の医療撮像システム。
（６）
　前記注目領域設定部は、眼底部の手術を行う手術モードが設定された場合、前記ROI画像を前記Far画像に設定し、そのROI画像に写されている眼底に前記注目領域を設定する
　上記（２）から（５）までのいずれかに記載の医療撮像システム。
（７）
　前記注目領域設定部は、水晶体の手術を行う手術モードが設定された場合、前記ROI画像を前記Mid画像に設定し、そのROI画像に写されている水晶体に前記注目領域を設定する
　上記（２）から（６）までのいずれかに記載の医療撮像システム。
（８）
　前記注目領域設定部は、腹腔鏡として用いた手術を行う手術モードが設定された場合、前記ROI画像を前記Mid画像に設定し、そのROI画像の中央に前記注目領域を設定する
　上記（２）から（７）までのいずれかに記載の医療撮像システム。
（９）
　手術モードを設定する手術モード設定部と、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定する注目領域設定部と、
　前記ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部と
　を備える医療撮像装置。
（１０）
　医療撮像システムが、
　手術モードを設定することと、
　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定することと、
　前記ROI画像の注目領域から評価値を求めてフォーカスを調整することと
　を含む制御方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　医療撮像システム，　１２　内視鏡，　１３　エネルギー処置具，　１４　表示装置，　１５　装置ユニット，　１６　鉗子，　２１　カメラヘッド，　２２　鏡筒部，　３１　光源装置，　３２　ＣＣＵ，　３３　記録装置，　３４　出力装置，　４１　撮像モジュール，　４２　撮像レンズ，　５１　分岐光学系，　５２－１乃至５２－３　撮像素子，　６１　第１のプリズム，　６２　第２のプリズム，　６３　第３のプリズム，　６４　第１のダイクロイックミラー，　６５　第２のダイクロイックミラー，　７１　手術モード設定部，　７２　注目領域設定部，　７３　撮像信号取得部，　７４　EDOF画像出力部，　７５　色分け画像出力部，　７６　フォーカス処理部，　７７　選択マップ生成部

Claims (10)

  1. 　手術モードを設定する手術モード設定部と、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定する注目領域設定部と、
    　前記ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部と
    　を備える医療撮像システム。
  2. 　１つの撮像レンズからの光路長が異なる３枚の撮像素子により撮像され、近点にフォーカスが合わされたNear画像、中間点にフォーカスが合わされたMid画像、および遠点にフォーカスが合わされたFar画像が用いられる
    　請求項１に記載の医療撮像システム。
  3. 　前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、前記Near画像、前記Mid画像、および前記Far画像のうち、最も高いコントラストが求められた画像を選択し、選択した画像を識別する識別番号を全ての画素に対応付けた選択マップを生成する選択マップ生成部
    　をさらに備え、
    　前記選択マップの前記注目領域における前記識別番号が、前記ROI画像として設定された画像に一致するように前記フォーカス処理部によるフォーカス調整が繰り返して行われる
    　請求項２に記載の医療撮像システム。
  4. 　前記フォーカス処理部によって前記ROI画像の前記注目領域にフォーカスが合わされて撮像された前記Near画像、前記Mid画像、および前記Far画像それぞれの画素ごとにコントラストを求め、最も高いコントラストの画素を選択して合成したEDOF（Extended Depth of Field）画像を生成するEDOF画像生成部
    　をさらに備える請求項２に記載の医療撮像システム。
  5. 　前記注目領域設定部は、前眼部の手術を行う手術モードが設定された場合、前記ROI画像を前記Near画像に設定し、そのROI画像に写されている角膜に前記注目領域を設定する
    　請求項２に記載の医療撮像システム。
  6. 　前記注目領域設定部は、眼底部の手術を行う手術モードが設定された場合、前記ROI画像を前記Far画像に設定し、そのROI画像に写されている眼底に前記注目領域を設定する
    　請求項２に記載の医療撮像システム。
  7. 　前記注目領域設定部は、水晶体の手術を行う手術モードが設定された場合、前記ROI画像を前記Mid画像に設定し、そのROI画像に写されている水晶体に前記注目領域を設定する
    　請求項２に記載の医療撮像システム。
  8. 　前記注目領域設定部は、腹腔鏡として用いた手術を行う手術モードが設定された場合、前記ROI画像を前記Mid画像に設定し、そのROI画像の中央に前記注目領域を設定する
    　請求項２に記載の医療撮像システム。
  9. 　手術モードを設定する手術モード設定部と、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定する注目領域設定部と、
    　前記ROI画像の注目領域から評価値を求めてフォーカスを調整するフォーカス処理部と
    　を備える医療撮像装置。
  10. 　医療撮像システムが、
    　手術モードを設定することと、
    　１つの撮像レンズからの光路長が異なる少なくとも２枚の撮像素子により撮像された２種類以上の画像の中から、前記手術モードに基づいて、ＡＦ（Auto Focus）処理を行うのに使用するROI（Region of Interest）画像を設定し、そのROI画像においてコントラストＡＦの評価値を求めるエリアである注目領域を設定することと、
    　前記ROI画像の注目領域から評価値を求めてフォーカスを調整することと
    　を含む制御方法。
PCT/JP2022/002508 2021-03-31 2022-01-25 医療撮像システム、医療撮像装置、および制御方法 WO2022209218A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023510534A JPWO2022209218A1 (ja) 2021-03-31 2022-01-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021059288 2021-03-31
JP2021-059288 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022209218A1 true WO2022209218A1 (ja) 2022-10-06

Family

ID=83458672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002508 WO2022209218A1 (ja) 2021-03-31 2022-01-25 医療撮像システム、医療撮像装置、および制御方法

Country Status (2)

Country Link
JP (1) JPWO2022209218A1 (ja)
WO (1) WO2022209218A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183836A (ja) * 2012-03-07 2013-09-19 Olympus Corp 内視鏡装置及びフォーカス制御方法
JP2016179004A (ja) * 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法
JP2019162280A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
WO2020059069A1 (ja) * 2018-09-20 2020-03-26 株式会社朋栄 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
WO2020095365A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183836A (ja) * 2012-03-07 2013-09-19 Olympus Corp 内視鏡装置及びフォーカス制御方法
JP2016179004A (ja) * 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法
JP2019162280A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
WO2020059069A1 (ja) * 2018-09-20 2020-03-26 株式会社朋栄 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
WO2020095365A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Also Published As

Publication number Publication date
JPWO2022209218A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
JP4865257B2 (ja) 眼底撮影装置及びプログラム
CN108697308B (zh) 图像处理装置、图像处理方法和记录介质
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7095693B2 (ja) 医療用観察システム
WO2016117107A1 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
WO2017010157A1 (ja) 医療用観察装置及び医療用観察方法
CN110062596B (zh) 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
WO2022209218A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
JPWO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JP6270312B2 (ja) 眼科装置、画像処理方法およびプログラム
JPWO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JPH0980323A (ja) 内視鏡装置
US20240180396A1 (en) Medical imaging system, medical imaging device, and control method
WO2022209217A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
JP6860000B2 (ja) 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP5465210B2 (ja) 眼底撮影装置
JP7452177B2 (ja) 医療用観察システム、制御装置、制御方法、および撮像装置
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7476883B2 (ja) 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
JP6707162B2 (ja) 眼科用顕微鏡システム
JP3140813B2 (ja) 内視鏡テレビシステム
WO2022059282A1 (ja) 撮像制御装置、内視鏡システム、および撮像制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779448

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510534

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18551607

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779448

Country of ref document: EP

Kind code of ref document: A1