WO2023145480A1 - 医療撮像システム、制御方法、及びプログラム - Google Patents

医療撮像システム、制御方法、及びプログラム Download PDF

Info

Publication number
WO2023145480A1
WO2023145480A1 PCT/JP2023/000721 JP2023000721W WO2023145480A1 WO 2023145480 A1 WO2023145480 A1 WO 2023145480A1 JP 2023000721 W JP2023000721 W JP 2023000721W WO 2023145480 A1 WO2023145480 A1 WO 2023145480A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus lens
medical imaging
lens movement
calculated
evaluation
Prior art date
Application number
PCT/JP2023/000721
Other languages
English (en)
French (fr)
Inventor
昌俊 鬼久保
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023145480A1 publication Critical patent/WO2023145480A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the present disclosure relates to a medical imaging system, a control method, and a program, and more particularly to a medical imaging system, a control method, and a program capable of coping with the case where there are multiple areas to be focused.
  • Patent Document 1 discloses that a highly accurate AF function is realized by devising a wobbling operation in an observation mode in which lights with different wavelengths are alternately irradiated.
  • the present disclosure has been made in view of this situation, and is intended to be able to deal with the case where there are multiple areas to focus on.
  • a medical imaging system includes a medical imaging apparatus that has an assignable button to which execution of a selected function can be assigned and that images an operating field during surgery to generate a surgical video signal; a control device for controlling an apparatus, the control device having one or more processors and one or more storage devices storing a program, the processor executing the program to control the medical imaging device; Calculate a plurality of AF evaluation values based on the surgical video signal output from the above, calculate a focus lens movement position corresponding to each AF evaluation value based on the calculated plurality of AF evaluation values, In the medical imaging system, at least two of the calculated focus lens movement positions are set for assignable buttons.
  • a control method is a control device that controls a medical imaging device that has an assignable button to which execution of a selected function can be assigned and that images a surgical field during surgery to generate a surgical video signal, A plurality of AF evaluation values are calculated based on the surgical image signal output from the medical imaging device, and focus lens movement positions corresponding to the respective AF evaluation values are determined based on the calculated plurality of AF evaluation values. and setting at least two of the calculated focus lens movement positions for the assignable button.
  • a program is a computer output from a medical imaging device that has an assignable button to which execution of a selected function can be assigned and that images an operative field during surgery and generates a surgical video signal. Based on the surgical image signal, a plurality of AF evaluation values are calculated, based on the calculated plurality of AF evaluation values, a focus lens movement position corresponding to each AF evaluation value is calculated, and for the assignable button, The program functions as a control device that sets at least two of the calculated focus lens movement positions.
  • a plurality of AF evaluation values are calculated based on a surgical video signal output from a medical imaging apparatus, and the calculated AF evaluation values are are calculated for each AF evaluation value, and at least two of the calculated focus lens movement positions are set for the assignable buttons of the medical imaging apparatus.
  • the medical imaging device and the control device included in the medical imaging system may be independent devices, or may be internal blocks forming one device.
  • FIG. 1 is a diagram illustrating a configuration example of a medical imaging system to which technology according to the present disclosure is applied;
  • FIG. 3 is a block diagram showing a detailed configuration example of a camera head and a control device;
  • FIG. It is a figure which shows the structural example of a control program. It is a perspective view which shows the structural example of a camera head.
  • FIG. 11 is a flowchart illustrating a first example of assignable button setting processing;
  • FIG. 10 is a diagram showing a calculation example of an AF evaluation value;
  • FIG. 11 is a flowchart illustrating a second example of assignable button setting processing;
  • FIG. 10 is a diagram showing an example of AF evaluation frame settings;
  • FIG. 10 is a flowchart for explaining an assignable button operation handling process
  • FIG. FIG. 10 is a diagram showing another configuration example of a medical imaging system to which the technology according to the present disclosure is applied
  • 1 is a diagram illustrating a configuration example of a microsurgery system to which technology according to the present disclosure is applied
  • FIG. 1 is a block diagram showing a configuration example of an imaging system to which technology according to the present disclosure is applied
  • FIG. It is a block diagram which shows the hardware constitutions of a control apparatus.
  • FIG. 1 is a diagram showing a configuration example of a medical imaging system to which technology according to the present disclosure is applied.
  • FIG. 1 illustrates an endoscopic surgical system used in abdominal endoscopic surgery as a medical imaging system. Endoscopic surgery is a surgery that has replaced conventional open surgery in the medical field.
  • the medical imaging system 1 includes an insertion section 11, a light source device 12, a light guide 13, a camera head 14, a transmission cable 15, a display device 16, a transmission cable 17, a control device 18, and a transmission cable 19.
  • the camera head 14 is an example of a medical imaging device to which technology according to the present disclosure is applied.
  • the control device 18 is an example of a control device to which technology according to the present disclosure is applied.
  • the insertion portion 11 is a member that has a rigid elongated shape as a whole and is inserted into the living body.
  • the insertion portion 11 is provided with an optical system having one or a plurality of lenses and condensing a subject image. Note that the insertion portion 11 and the camera head 14 may be integrated.
  • the light guide 13 has one end detachably connected to the light source device 12 and the other end detachably connected to the insertion portion 11 .
  • the light source device 12 supplies light for illuminating the inside of the living body to one end of the light guide 13 under the control of the control device 18 .
  • the light guide 13 transmits the light supplied from the light source device 12 from one end to the other end and supplies the light to the insertion section 11 .
  • the light supplied to the insertion section 11 is emitted from the distal end of the insertion section 11 and irradiated into the living body.
  • the light (object image) including the light irradiated into the living body and reflected inside the living body is condensed by the optical system in the insertion section 11 .
  • a camera head 14 is detachably connected to an eyepiece portion 11 ⁇ /b>A, which is the proximal end of the insertion portion 11 .
  • the subject image may include light emitted from a living body or a reagent absorbed by the living body, or light from a light source other than the light source device 12 .
  • the camera head 14 captures the subject image condensed in the insertion section 11, and outputs a surgical video signal (for example, a RAW signal) obtained by the imaging.
  • the surgical video signal is, for example, a video signal corresponding to video of 4K resolution (3840 pixels ⁇ 2160 pixels) or higher.
  • a video (image frame thereof) based on a surgical video signal is also referred to as a surgical image.
  • the transmission cable 15 transmits surgical video signals and the like output from the camera head 14 to the control device 18 . Also, the transmission cable 15 transmits control signals, synchronization signals, clock signals, power, etc. output from the control device 18 to the camera head 14 .
  • the transmission of surgical video signals and the like from the camera head 14 to the control device 18 via the transmission cable 15 may be either an electrical signal or an optical signal. The same applies to transmission of control signals, synchronization signals, and clock signals from the control device 18 to the camera head 14 via the transmission cable 15 .
  • the transmission cable 17 has one end detachably connected to the display device 16 and the other end detachably connected to the control device 18 .
  • the transmission cable 17 transmits the surgical video signal processed by the control device 18 and the control signal output from the control device 18 to the display device 16 .
  • the display device 16 displays a surgical image based on the surgical video signal output from the camera head 14 under the control of the control device 18 .
  • the control device 18 is configured as, for example, a CCU (Camera Control Unit), and includes a processor such as a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), a storage device, and the like.
  • the control device 18 outputs control signals and the like to each device including the light source device 12, the camera head 14, and the display device 16, thereby comprehensively controlling the operation of each device. Further, the control device 18 processes surgical image signals and the like output from the camera head 14, and controls the operation of each device based on the processing results.
  • the transmission cable 19 has one end detachably connected to the light source device 12 and the other end detachably connected to the control device 18 .
  • the transmission cable 19 transmits control signals and the like from the control device 18 to the light source device 12 .
  • the camera head 14 includes a lens unit 31 , a lens drive section 32 , an imaging section 33 and an operation section 34 .
  • the lens unit 31 includes a plurality of lenses movable along the optical axis, and forms the subject image condensed by the insertion section 11 on the imaging surface of the imaging section 33 .
  • the lens unit 31 has a focus lens 41 and a zoom lens 42 .
  • the focus lens 41 is composed of one or more lenses, and adjusts the focus of the camera head 14 by moving along the optical axis.
  • the zoom lens 42 is composed of one or more lenses, and adjusts the angle of view of the camera head 14 by moving along the optical axis.
  • the lens unit 31 has a focus mechanism for moving the focus lens 41 along the optical axis and an optical zoom mechanism for moving the zoom lens 42 along the optical axis.
  • the lens drive unit 32 has an actuator that operates the focus mechanism and the optical zoom mechanism described above, and a driver that drives the actuator.
  • the lens driving section 32 adjusts the focus and angle of view of the lens unit 31 under the control of the control device 18 . Further, the lens driving section 32 has a position sensor such as a photointerrupter.
  • the lens drive unit 32 detects the position of the focus lens 41 and the position of the zoom lens 42 and outputs detection signals corresponding to those positions to the control device 18 .
  • the imaging unit 33 has a sensor chip in which an imaging device, a signal processing circuit, etc. are integrally formed.
  • the imaging device is an image sensor such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), and receives the subject image that is focused by the insertion section 11 and formed by the lens unit 31 and converts it into an electrical signal. do.
  • the signal processing circuit performs signal processing such as AD conversion on the electric signal (analog signal) from the imaging element.
  • the imaging unit 33 captures an image of the inside of the body under the control of the control device 18, and outputs a surgical video signal (digital data) subjected to signal processing such as AD conversion.
  • the signal processing circuit of the imaging unit 33 may not be formed integrally with the imaging device, but may be provided separately.
  • the image pickup device has a number of pixels capable of outputting a video signal corresponding to a video of 4K resolution or higher.
  • the operation unit 34 is configured as buttons or the like for performing operations related to various functions such as AF (Auto Focus) function and MF (Manual Focus) function.
  • the operation unit 34 outputs an operation signal to the control device 18 according to the user's operation.
  • Users include surgical staff (operators, etc.) who perform surgery on patients.
  • the control device 18 includes a signal processing section 51 , a control section 52 , an input section 53 , an output section 54 and a storage section 55 . Note that the hardware configuration of the control device 18 will be described later with reference to FIG. 13 .
  • the signal processing unit 51 can be configured by an FPGA, a processor such as a DSP (Digital Signal Processor), or the like.
  • the signal processing unit 51 performs RAW processing such as optical black arithmetic processing and demosaic processing on the surgical video signal from the imaging unit 33, and converts it into an RGB signal.
  • the signal processing unit 51 performs RGB processing such as white balance, RGB gamma correction, and YC conversion on the obtained RGB signals. Further, the signal processing unit 51 performs YC processing such as color difference correction and noise reduction on the obtained Y, Cb/Cr signals.
  • the signal processing unit 51 supplies the surgical image signal after signal processing to the control unit 52 .
  • the control unit 52 is composed of a processor such as a CPU. By outputting control signals, the control unit 52 controls the operation of each device including the light source device 12 , the camera head 14 , and the display device 16 , and also controls the operation of the entire control device 18 .
  • the control unit 52 can implement various functions (AF function, etc.) by reading and executing the control program stored in the storage unit 55 . A configuration example of the control program will be described later with reference to FIG.
  • the control unit 52 controls light emission of the light emitting unit 61 included in the light source device 12 .
  • the light emitting unit 61 emits WLI (White Light Imaging) light (for example, visible light including light with a wavelength band of 360 nm to 760 nm) as light in a first wavelength band (first wavelength light), for example, in a surgical area to be a subject. ) and special light such as IR (Infrared) light as light in a second wavelength band (second wavelength light).
  • the IR light here may include NIR (Near Infrared) light.
  • IR light may be light with a wavelength band of 760 nm or more and 1000 ⁇ m or less.
  • the control unit 52 generates a surgical video signal for display based on the surgical video signal processed by the signal processing unit 51 and outputs it to the display device 16 .
  • the display device 16 has a display using liquid crystal or organic EL (Electro Luminescence) or the like, and displays a surgical image based on a surgical video signal output from the control device 18 .
  • the input unit 53 has operation devices such as buttons, switches, mice, keyboards, and touch panels, and receives user operations.
  • the input unit 53 supplies the control unit 52 with an operation signal according to the user's operation.
  • the output unit 54 has a speaker, a printer, etc., and outputs various information.
  • the storage unit 55 is a storage device such as a semiconductor storage device or HDD (Hard Disk Drive).
  • the storage unit 55 stores programs such as a control program executed by the control unit 52, information (data, parameters, etc.) necessary for processing of the control unit 52, and the like.
  • FIG. 3 is a diagram showing a configuration example of the control program 81. As shown in FIG.
  • the control program 81 is stored in the storage unit 55 and read and executed by the control unit 52 including a processor such as a CPU.
  • the control program 81 may be executed by the signal processing section 51 .
  • the control program 81 includes a focus control section 91 , an AF evaluation value calculation section 92 , a focus lens movement position calculation section 93 and an assignable button setting section 94 .
  • the focus control unit 91 operates the lens driving unit 32 to adjust the focus of the lens unit 31 (change the position of the focus lens 41). For example, the focus control section 91 controls the AF operation of the focus lens 41 based on the position of the focus lens 41 detected by the lens drive section 32 and the AF evaluation value from the AF evaluation value calculation section 92 . The focus control section 91 also controls the AF operation of the focus lens 41 based on an operation signal from the operation section 34 or the input section 53 .
  • the AF evaluation value calculation unit 92 calculates a plurality of AF evaluation values based on the surgical video signal from the camera head 14.
  • the AF evaluation value is a focus evaluation value for evaluating the focus state of the surgical image (subject image inside) obtained from the surgical video signal.
  • the AF evaluation value calculation unit 92 calculates the contrast and frequency components of the image based on the pixel information (for example, luminance data (Y) and Cb/Cr data) in one frame of the surgical image captured by the imaging unit 33. To detect.
  • the AF evaluation value calculator 92 calculates an AF evaluation value based on the detected contrast and frequency components.
  • the AF evaluation value calculation unit 92 may detect the contrast and frequency components of the image in the designated area based on the pixel information for each pixel in the designated area (for example, the AF evaluation frame) within the surgical image of one frame. I do not care.
  • the focus lens movement position calculator 93 calculates the movement position of the focus lens 41 (focus lens movement position) corresponding to each AF evaluation value based on a plurality of AF evaluation values. It can be said that the focus lens movement position calculated in this way is the focus lens position corresponding to the in-focus position.
  • the assignable button setting unit 94 sets at least two focus lens movement positions calculated based on a plurality of AF evaluation values for the assignable button.
  • the assignable button is a button to which execution of a selected function can be assigned.
  • FIG. 4 is a perspective view showing a configuration example of the camera head 14. As shown in FIG.
  • the camera head 14 has a main body part 101 having a cylindrical shape, a cover part 102 and a connector part 103 fixed by closing an opening formed in the main body part 101 .
  • An operation unit 34 for outputting an operation signal to the main unit 101 according to an operation by a user (surgical staff) is fixed on the upper surface of the main unit 101 .
  • the main body 101 is made of metal (titanium, stainless steel, etc.) or metal (titanium, stainless steel, etc.), taking into consideration ease of gripping by the human hand, such as a shape having a curved surface that fits the shape of the hand when the user grips the camera head 14. It has a cylindrical shape using a material such as an alloy.
  • a lens unit 31 , a lens driving section 32 and an imaging section 33 are provided inside the body section 101 .
  • the cover part 102 is fixed to the main body part 101 by closing the opening on the side to which the insertion part 11 is connected among the openings formed in the main body part 101 .
  • the connector part 103 is fixed to the main body part 101 by closing the opening on the side to which the transmission cable 15 is connected among the openings formed in the main body part 101 .
  • the operation unit 34 has buttons 111-1 to 111-6 that accept input of operation signals by pressing from the outside. Six buttons 111-1 to 111-6 output different operation signals. Operation signals include, for example, a signal instructing AF to a predetermined position in the screen, a signal instructing movement of the optical system to the near (short distance) side and the far (far) side in MF, and a user's arbitrary signal. signals to be set to
  • buttons 111-1 to 111-6 can be used as an assignable button that can be assigned to execute the selected function.
  • the assignable button A is the button 111-5 and the assignable button B is the button 111-6.
  • the assignable buttons A and B may be a combination of the buttons 111-1 and 111-2 instead of the combination of the buttons 111-5 and 111-6.
  • step S ⁇ b>11 the control device 18 acquires the surgical image signal output from the camera head 14 .
  • the control unit 52 or the like executes the control program 81 to process the surgical image signal from the camera head 14, thereby executing the processing of steps S12 to S14.
  • the AF evaluation value calculation unit 92 calculates a plurality of AF evaluation values based on the surgical video signal.
  • Methods for calculating the AF evaluation value include, for example, contrast AF.
  • Contrast AF is a method of determining an AF evaluation value based on the contrast of a surgical image obtained from a surgical video signal, and adjusting the position of the focus lens 41 based on the AF evaluation value. Contrast can also be said to be a parameter obtained from surgical images.
  • the AF evaluation value calculation unit 92 may use another AF evaluation value calculation method instead of contrast AF.
  • the AF evaluation value calculation unit 92 calculates a plurality of AF evaluation values by moving the focus lens from the near side (Near Max) to the far side (Far Max), or based on a surgical video signal.
  • Phase-difference AF that uses phase difference
  • phase-difference AF that uses the signal of the image-plane phase-difference pixel included in the image sensor
  • range-finding AF that uses a range-finding sensor for the ToF (Time of Flight) sensor, etc.
  • the AF evaluation value may be calculated using a technique such as spectral AF that obtains the AF evaluation value for each wavelength.
  • the AF evaluation value calculation unit 92 may combine a plurality of AF evaluation value calculation methods.
  • the configuration of the camera head 14 may be changed according to the calculation method of the AF evaluation value.
  • the camera head 14 when using phase difference AF, the camera head 14 preferably includes a phase difference optical system.
  • the camera head 14 when using image plane phase difference AF, the camera head 14 preferably includes an imaging element including image plane phase difference pixels.
  • the camera head 14 when using ranging AF, the camera head 14 preferably includes a ranging sensor.
  • spectral AF is used, the camera head 14 preferably includes a spectroscopic optical system.
  • the camera head 14 may output information necessary for calculating the AF evaluation value as the surgical video signal according to the AF evaluation value calculation method used. For example, when image plane phase difference AF is used, the camera head 14 can output a signal including a RAW signal and a phase difference signal as a surgical video signal. For example, when ranging AF is used, the camera head 14 can output a signal including a RAW signal and a ranging sensor signal as a surgical video signal.
  • the AF evaluation value calculation unit 92 calculates a plurality of AF evaluation values based on the surgical video signal output from the camera head 14 according to the AF evaluation value calculation method used.
  • the contrast AF method an AF evaluation value is calculated based on the contrast of the surgical image, and the position of the focus lens 41 is adjusted so that the AF evaluation value becomes the highest or a predetermined condition is satisfied.
  • the contrast AF method may include a wobbling motion and a hill-climbing motion.
  • the wobbling operation is an operation for slightly oscillating the focus lens 41 and estimating the direction of the contrast peak (the direction in which the focus lens 41 is moved on the optical axis) from the difference in the AF evaluation value when the oscillation is oscillated.
  • the hill-climbing operation is an operation of searching for a contrast peak position based on a change in contrast when the focus lens 41 is moved.
  • a plurality of AF evaluation values can be calculated by combining the wobbling motion and the hill-climbing motion.
  • FIG. 6 is a diagram showing an example of AF evaluation value calculation.
  • the horizontal axis represents the focus lens position (the left side in the figure is the Near side and the right side is the Far side), and the vertical axis represents the contrast.
  • contrast AF the search for the in-focus position is started from the start position after the wobbling operation, and the AF evaluation value based on the contrast is calculated while moving the focus lens 41 in the direction of increasing the contrast. At this time, the in-focus position is where the contrast peaks (contrast maximum values).
  • Two AF evaluation values based on are calculated.
  • step S13 the focus lens movement position calculator 93 calculates the focus lens movement position corresponding to each of the calculated plurality of AF evaluation values.
  • the focus lens movement position calculator 93 calculates the focus lens movement position corresponding to each of the calculated plurality of AF evaluation values.
  • two focus lens movement positions A and B corresponding to two AF evaluation values based on peak A and peak B are calculated.
  • step S14 the assignable button setting unit 94 sets the calculated focus lens movement positions A and B for the assignable buttons A and B.
  • Setting information relating to assignable button settings can be stored in the storage unit 55 .
  • an assignable button A (button 111-5 in FIG. 4) is set with a command to move the focus lens to a focus lens movement position A corresponding to an AF evaluation value based on peak A (near side peak).
  • a move command to the focus lens movement position B corresponding to the AF evaluation value based on B (far-side peak) is set to the assignable button B (button 111-6 in FIG. 4).
  • the operation unit 34 of the camera head 14 may be provided with one or more assignable buttons. can be done. If the camera head 14 has one assignable button, the assignable button setting unit 94 sets at least two focus lens movement positions for the assignable button. Also, when the camera head 14 has a plurality of assignable buttons, the assignable button setting section 94 sets at least one focus lens movement position for each of the assignable buttons.
  • a toggle button or the like as an assignable button, it is possible to set a movement command to two focus lens movement positions A and B for one assignable button A.
  • the assignable button A when the assignable button A is pressed first, the focus lens 41 is moved to the focus lens movement position A, and when the assignable button A is pressed next, the focus lens 41 is moved to the focus position. It is sufficient to perform control so as to move to the lens movement position B. In the same way, the movement to the focus lens movement position A and the focus lens movement position B can be alternately repeated for the subsequent operation of the assignable button A.
  • the number of calculated AF evaluation values may be two or more.
  • the number of calculated AF evaluation values may be two or more.
  • three AF evaluation values are calculated based on peak A, peak B, and peak C
  • Buttons can be set.
  • three assignable buttons corresponding to three focus lens movement positions A, B, and C may be prepared, or three focus lens movement positions A, B, and C may be prepared for two or less assignable buttons. You may set a move command to .
  • one assignable button A is assigned to the focus lens movement positions A, B, and C.
  • a move command to B and C can be set.
  • the focus lens 41 moves to the focus lens movement position A when the assignable button A is pressed once, and moves to the focus lens movement position B when the assignable button A is pressed twice.
  • the assignable button A is pressed three times, it moves to the focus lens movement position C and moves from the near side to the far side.
  • the assignable button A is pressed four times, the focus lens 41 returns to the focus lens movement position A.
  • the focus lens position is switched in order according to the number of times the assignable button is pressed.
  • the focus lens movement positions A, B, and C are calculated from the near side to the far side by using a pair of buttons such as an upper button and a lower button as the two assignable buttons A and B.
  • the focus lens 41 may move to the near side when the upper button is pressed, and may move to the far side when the lower button is pressed.
  • the focus lens 41 moves from the focus lens movement position C to the focus lens movement positions B and A in that order. It will move to the near side.
  • the lower button is pressed twice when the focus lens 41 is at focus lens movement position A, the focus lens 41 moves from focus lens movement position A to focus lens movement positions B and C in this order toward the far side. will move.
  • a near-priority mode gives priority to the near-side focus lens movement position
  • a far-priority mode prioritizes the far-side focus lens movement position.
  • the near priority mode when the near priority mode is selected, it is essential to set a movement command to the most near side (Near Max) focus lens movement position among the calculated focus lens movement positions to the assignable button, The focus lens movement position closest to the near side can be set as the default focus lens position.
  • the far priority mode when the far priority mode is selected, it is essential to set a movement command to the focus lens movement position closest to the far side (Far Max) among the calculated focus lens movement positions to the assignable button.
  • the focus lens movement position closest to the far side can be set as the default focus lens position.
  • a focus lens movement position that is automatically set according to a predetermined rule, such as setting the movement position preferentially for an assignable button, may be selected.
  • the user may manually select the focus lens movement position (AF evaluation value) to be set for the assignable button from among the calculated focus lens movement positions (AF evaluation value).
  • AF evaluation value focus lens movement position
  • a movement position may be automatically set to an assignable button.
  • the assignable button may be a combination of the buttons 111-5 and 111-6 in FIG. 4, a toggle button, a combination of the upper button and the lower button, or other operating means such as a rotating ring.
  • the rotary ring has a rotary operation member rotatably held about a rotary shaft, and by rotating the rotary operation member through a predetermined rotation angle, the focus lens movement position can be switched.
  • any operation means may be used as long as it can assign a movement command to two or more focus lens movement positions, and any operation means may be used.
  • the focus lens can be moved with respect to the assignable button based on the stored presets.
  • the position may be set automatically.
  • the focus lens movement position can be automatically set for the assignable button.
  • the focus lens By inputting surgical images obtained from surgical video signals into a trained model trained by machine learning, when a tumor is found, the focus lens focuses on the area of interest, with the location of the tumor as the area of interest.
  • a move command to a move position can be set for an assignable button.
  • the default focus lens position may be the focus lens movement position for focusing on the region of interest.
  • the trained model can use a DNN (Deep Neural Network) trained with images as learning data as input and tumor-related information as output.
  • DNN Deep Neural Network
  • each of the plurality of tumors is set as a region of interest, and a movement command to a focus lens movement position that focuses on the region of interest is set to an assignable button.
  • the focused attention area may be switched according to the number of times the assignable button is pressed.
  • assignable button setting processing has been described above.
  • assignable button setting process multiple AF evaluation values are calculated based on the surgical image signal, the focus lens movement position corresponding to each AF evaluation value is calculated based on the multiple AF evaluation values, and the assignable button is focused. At least two of the lens movement positions are set. As a result, the focus lens 41 can be moved to at least two focus lens movement positions according to the operation of the assignable button, so that it is possible to cope with the case where there are a plurality of areas to be focused.
  • the surgical staff performs the surgery while alternately looking at the plurality of regions that are the points of interest.
  • the surgical staff selects the parts to be removed and the parts that should not be removed (gallbladder, etc.). Surgery is performed while looking alternately, and these points can be points of interest.
  • the AF evaluation value is calculated by inputting the pixel signal values included in one AF evaluation frame set virtually on the surgical image into the AF evaluation formula, and the calculated AF The focus lens movement position corresponding to the evaluation value is read, and the focus lens is moved based on the read movement position. As a result, the operation of focusing (focusing operation) on an area that the surgical staff wants to focus on (focus on and see) has been performed.
  • a plurality of AF evaluation values are calculated, and at least two focus lens movement positions corresponding to each AF evaluation value are assigned to an assignable button so that the area desired to be focused is It is also possible to deal with multiple cases.
  • the surgical staff it is possible for the surgical staff to easily switch the focus position simply by operating an assignable button at the discretion of the surgical staff, so that the surgical staff can view the surgical images without stress.
  • step S31 the control device 18 acquires a surgical video signal (for example, a RAW signal) output from the camera head 14.
  • the control device 18 processes the surgical video signal from the camera head 14, thereby executing the processes of steps S32 to S36.
  • the AF evaluation value calculation unit 92 uses the surgical video signal from the camera head 14 to generate a luminance image (Y image).
  • a luminance image is generated by performing demosaic processing on a RAW signal acquired as a surgical video signal, or the R signal, G signal, and B signal included in the RAW signal are
  • a brightness image can be generated by executing brightness image generation processing after adjusting the values by assigning weights to each of them.
  • the AF evaluation value calculation unit 92 sets a plurality of virtual AF evaluation frames on the luminance image, and calculates the AF evaluation value of each AF evaluation frame. For example, the AF evaluation value of the center frame, which is the AF evaluation frame set in the center of the luminance image, and the AF evaluation value of the peripheral frame, which is the AF evaluation frame set around the center, are calculated.
  • FIG. 8 is a diagram showing a setting example of the AF evaluation frame.
  • three AF evaluation frames 152 a to 152 c are set on the luminance image 151 .
  • the AF evaluation frame 152a is a central frame set in the central portion of the luminance image 151
  • the AF evaluation frames 152b and 152c are peripheral frames set to the left and right of the central portion.
  • An AF evaluation value is calculated for each of 152a to 152c.
  • Methods for calculating AF evaluation values include, for example, the average and variance of luminance values within the AF evaluation frame, the maximum and minimum values of luminance values in the vertical direction, and the maximum and minimum values of luminance values in the horizontal direction. It can be calculated using various parameters obtained from (luminance image, etc.).
  • step S34 the focus control unit 91 operates the lens driving unit 32 to move the focus lens 41 to the focus lens position corresponding to the maximum contrast value of the central frame.
  • the AF evaluation value for the center frame is calculated, and the maximum contrast value in the center frame can be focused on. That is, the default focus lens position is the focus lens position corresponding to the maximum contrast value of the center frame.
  • the AF evaluation value calculation unit 92 always calculates the AF evaluation value for the peripheral frame as well, so that the maximum contrast value for the peripheral frame is calculated.
  • step S35 the focus lens movement position calculator 93 calculates a focus lens movement position A corresponding to the maximum contrast value of the central frame and a focus lens movement position B corresponding to the maximum contrast value of the peripheral frame.
  • step S36 the assignable button setting unit 94 sets a move command to the focus lens movement position A corresponding to the maximum contrast value of the central frame for the assignable button A (for example, the button 111-5 in FIG. 4), A move command to the focus lens movement position B corresponding to the maximum contrast value of the peripheral frame is set for the assignable button B (eg, button 111-6 in FIG. 4).
  • Setting information relating to assignable button settings can be stored in the storage unit 55 .
  • the number of assignable buttons is not limited to two, and the number of focus lens movement positions calculated based on a plurality of AF evaluation values is Although it is not limited to two, the description thereof will be omitted to avoid repetition. Also in the second example, in addition to the buttons 111-5 and 111-6 in FIG. It is optional to use the operating means.
  • assignable button setting processing has been described above.
  • assignable button setting process multiple AF evaluation frames are set on the surgical image, the AF evaluation values for each of the multiple AF evaluation frames are calculated, and the maximum contrast value for each AF evaluation frame is calculated based on the AF evaluation values. are calculated, and at least two of the focus lens movement positions are set to the assignable buttons.
  • the focus lens 41 can be moved to at least two focus lens movement positions according to the operation of the assignable button, so that it is possible to cope with the case where there are a plurality of areas to be focused.
  • step S51 the control unit 52 determines whether or not the assignable button A has been pressed based on the operation signal from the operation unit 34 of the camera head 14.
  • step S51 If it is determined in step S51 that assignable button A has been pressed, the process proceeds to step S52.
  • the focus control unit 91 operates the lens driving unit 32 based on the setting information stored in the storage unit 55 to move the focus lens 41 to the focus lens movement position A set to the assignable button A. to move.
  • step S51 determines whether or not the assignable button A has been pressed.
  • step S53 the control unit 52 determines whether or not the assignable button B has been pressed based on the operation signal from the operation unit 34 of the camera head 14.
  • step S53 If it is determined in step S53 that the assignable button B has been pressed, the process proceeds to step S54.
  • step S ⁇ b>54 the focus control unit 91 operates the lens driving unit 32 based on the setting information stored in the storage unit 55 to move the focus lens 41 to the focus lens movement position B set to the assignable button B. to move.
  • step S52 or S54 ends, or if it is determined in the determination process of step S53 that the assignable button B has not been pressed, the series of processes ends.
  • the focus lens 41 can be moved to at least two focus lens movement positions according to the operation of the assignable button by the surgical staff. be able to.
  • the surgical staff can operate assignable buttons to perform surgery while alternately viewing a plurality of areas (for example, areas to be resected and areas not to be resected).
  • FIG. 10 illustrates an endoscopic surgical system including a flexible endoscope as a medical imaging system.
  • the medical imaging system 2 includes an insertion section 201 having a flexible (bendable) portion inserted into the living body, and a camera head 202 that captures a subject image condensed in the insertion section 201 and outputs a surgical video signal.
  • a fiberscope or the like can be used that guides light (object image) captured by an optical system at the tip to an eyepiece portion outside the body for observation.
  • the camera head 202 is provided with assignable buttons A and B similarly to the camera head 14 shown in FIG.
  • the medical imaging system 2 further includes a light source device 12, a display device 16, and a control device 18.
  • the light source device 12 supplies light for illuminating the inside of the living body to the connecting portion 203 under the control of the control device 18 .
  • the control device 18 receives and processes the surgical image signal output from the camera head 202 via the connection unit 203, and operates the light source device 12, the display device 16, and the camera head 202 based on the processing result. comprehensively control the
  • the controller 18 can execute the assignable button setting process of FIG. 5 or 7 based on the surgical video signal from the camera head 202.
  • the control device 18 can execute the assignable button operation processing shown in FIG. 9 based on the operation signal from the camera head 202 .
  • the medical imaging system 2 configured as described above, when there are a plurality of areas to be focused on when performing endoscopic surgery using an endoscopic surgical system including a flexible endoscope, these areas are The focus lens movement position corresponding to each AF evaluation value can be set to the assignable button. Therefore, by operating the assignable button, the surgical staff can focus on any one of the multiple areas to be focused, and perform surgery while alternately viewing multiple areas.
  • FIG. 11 illustrates a microsurgery system using a surgical video microscope device 210 as an observation medical device for observing the inside of a patient's body.
  • FIG. 11 shows a doctor 220 performing surgery on a patient 240 on an operating table 230 using surgical instruments 221 such as a scalpel, forceps, and forceps.
  • surgical instruments 221 such as a scalpel, forceps, and forceps.
  • a state of surgery is shown as an example of the surgical procedure, but the surgical procedure using the surgical video microscope device 210 is not limited to surgery, and various other surgical procedures (medical treatments such as examinations, etc.) ).
  • a surgical video microscope device 210 is provided beside the operating table 230 .
  • the surgical video microscope apparatus 210 has a base portion 211 as a base, an arm portion 212 extending from the base portion 211, and an imaging unit 215 connected to the tip of the arm portion 212 as a tip unit.
  • the arm portion 212 has joint portions 213a, 213b, and 213c, and links 214a and 214b connected by the joint portions 213a to 213c. drive is controlled.
  • the imaging unit 215 is a unit that acquires an image of an imaging target by including an optical system that acquires an optical image of a subject, and is configured as a camera capable of imaging moving images and still images, for example.
  • the posture and orientation of the arm section 212 and the imaging unit 215 are controlled by the surgical video microscope apparatus 210 so that the image pickup unit 215 provided at the tip of the arm section 212 picks up an image of the treatment site of the patient 240 . position is controlled.
  • the configuration of the imaging unit 215 connected as a tip unit to the tip of the arm section 212 is not particularly limited, and may be configured as an endoscope or a microscope, for example.
  • a display device 250 having a display is installed at a position facing the doctor 220 .
  • a surgical image acquired by the imaging unit 215 is displayed on the display device 250 after being subjected to various signal processing by, for example, a signal processing device built in or external to the surgical video microscope device 210 . Thereby, the doctor 220 can perform surgery while viewing the surgical image displayed on the display device 250 .
  • the imaging unit 215 includes, for example, the camera head 14 and the light source device 12 (light emitting section 61) shown in FIG.
  • assignable buttons A and B can be provided on the housing surface of the imaging unit 215 .
  • the assignable buttons A and B may be provided on a surface other than the housing surface of the imaging unit 215 .
  • the display device 250 corresponds to the display device 16 in FIG.
  • a signal processing device that performs various signal processing on the surgical image acquired by the imaging unit 215 corresponds to the control device 18 in FIG.
  • the signal processing device can execute the assignable button setting process of FIG. 5 or 7 based on the surgical image signal from the imaging unit 215 .
  • the control device 18 can execute the assignable button operation corresponding process of FIG. 9 based on the operation signal from the imaging unit 215 .
  • the surgical staff such as the doctor 220 can focus on any one of the plurality of regions to be focused by operating the assignable buttons, and perform medical treatment such as surgery while alternately viewing the plurality of regions. corrective action can be taken.
  • FIG. 12 shows a configuration example of an imaging device, which is an example of a general imaging system.
  • an imaging device 310 is configured as, for example, a consumer camera.
  • the imaging device 310 includes a lens unit 331, a lens driving unit 332, an imaging unit 333, an operation unit 334, a signal processing unit 351, a control unit 352, an input unit 353, an output unit 354, a storage unit 355, a light emitting unit 356, and a display unit. 357.
  • the lens unit 331, the lens driving section 332, the imaging section 333, and the operating section 334 correspond to the lens unit 31, the lens driving section 32, the imaging section 33, and the operating section 34 included in the camera head 14 in FIG.
  • a focus lens 341 and a zoom lens 342 included in the lens unit 331 also correspond to the focus lens 41 and the zoom lens 42 included in the lens unit 31 in FIG. 2, respectively.
  • the operation unit 334 is fixed to the housing surface of the imaging device 310 and has assignable buttons A and B, like the operation unit 34 of the camera head 14 shown in FIG.
  • a signal processing unit 351, a control unit 352, an input unit 353, an output unit 354, and a storage unit 355 are provided in the control device 18 of FIG. 55, respectively.
  • the light emitting portion 356 corresponds to the light emitting portion 61 included in the light source device 12 in FIG.
  • a display unit 357 corresponds to the display device 16 in FIG.
  • the signal processing unit 351 or the control unit 352 can execute the assignable button setting process of FIG. 5 or 7 based on the video signal from the imaging unit 333.
  • the control unit 352 can execute the assignable button operation processing shown in FIG. 9 based on the operation signal from the operation unit 334 .
  • the focus lens movement position corresponding to the AF evaluation value of each of these areas can be set using the assignable buttons. can be set to Therefore, by operating the assignable button, the photographer can focus on any one of the plurality of areas to be focused, and can perform shooting while alternately looking at the plurality of areas.
  • FIG. 13 is a block diagram showing the hardware configuration of the control device 18 that constitutes the medical imaging system 1 of FIG.
  • the control device 18 includes a CPU 501, a ROM (Read Only Memory) 503, and a RAM (Random Access Memory) 505, which are connected via a host bus 507.
  • the control device 18 also includes an input device 515 , an output device 517 , a storage device 519 , drives 521 , a connection port 523 and a communication device 525 and is connected to the interface 513 .
  • Host bus 507 is connected to interface 513 via bridge 509 and external bus 511 .
  • the CPU 501 functions as an arithmetic processing device and a control device, and controls all or part of the operations within the control device 18 according to various programs recorded in the ROM 503, RAM 505, storage device 519, or removable recording medium 527.
  • the CPU 501 reads out and executes the control program 81 (FIG. 3) stored in the storage device 519 to control the focus control unit 91, the AF evaluation value calculation unit 92, the focus lens movement position calculation unit 93, and the assignable button.
  • the function of the setting unit 94 can be realized.
  • the input device 515 is an operation unit operated by the user, such as a mouse, keyboard, touch panel, button, switch, lever, and pedal. Also, the input device 515 may be, for example, a remote controller, or may be an external connection device 529 such as a portable device corresponding to the operation of the control device 18 . By operating the input device 515, the user can input various data to the control device 18 and instruct processing operations.
  • the output device 517 is configured by a device capable of visually or audibly notifying the user of the acquired information.
  • the output device 517 is configured as a display device having a display using liquid crystal, organic EL, or the like, a lamp, an audio output device such as a speaker or headphones, a printer device, or the like.
  • the output device 517 outputs, for example, results obtained by various processes performed by the control device 18 .
  • the light source device 12 or the display device 16 in FIG. 2 may be implemented by the output device 517 .
  • the storage device 519 is a data storage device configured as an example of the storage unit 55 of the control device 18 .
  • the storage device 519 is composed of, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 519 stores programs executed by the CPU 501 (for example, the control program 81 in FIG. 3), various data, and the like.
  • the drive 521 is a recording medium reader/writer and is either built into the control device 18 or externally attached.
  • the drive 521 reads information recorded on a removable recording medium 527 such as an optical disk, semiconductor memory, magnetic disk, magneto-optical disk, or the like, and outputs the information to the RAM 505 .
  • the drive 521 can also write information to the attached removable recording medium 527 .
  • the connection port 523 is a port for directly connecting the external connection device 529 to the control device 18 .
  • the connection port 523 includes, for example, a USB (Universal Serial Bus) port, HDMI (registered trademark) (High-Definition Multimedia Interface) port, IEEE1394 port, SCSI (Small Computer System Interface), and the like.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • SCSI Small Computer System Interface
  • the communication device 525 is, for example, a communication interface configured with a communication device or the like for connecting to a communication network (network) 531 .
  • the communication device 525 is, for example, wired or wireless LAN (Local Area Network) communication, cellular communication (e.g., 5G (5th Generation)), short-range wireless communication such as Bluetooth (registered trademark), or WUSB (Wireless USB). It is a communication module etc. corresponding to wireless communication etc.
  • the communication device 525 may be a router for optical communication, a modem for various types of communication, or the like.
  • the communication device 525 can, for example, transmit and receive signals to and from the Internet or other communication devices according to a predetermined protocol such as TCP/IP.
  • the communication network 531 connected to the communication device 525 may be configured by a wired or wireless network or the like.
  • the communication network 531 may be, for example, the Internet, a home LAN, a mobile communication network, or a communication network in which infrared communication, radio wave communication, or satellite communication is performed.
  • Each component of the control device 18 described above may be configured using general-purpose hardware, or may be configured with hardware specialized for the function of each component. That is, it is possible to appropriately change the hardware configuration to be used according to the technical level at which the technology according to the present disclosure is implemented.
  • ⁇ Modification> In the second example of the assignable button setting process described above, a case was shown where a plurality of AF evaluation frames are set on the surgical image and the AF evaluation values for each of the multiple AF evaluation frames are calculated. Marking areas visually marked with biomarkers may be extracted as AF target areas, AF evaluation frames including those marking areas may be set, and AF evaluation values for each AF evaluation frame may be calculated.
  • the focus lens movement position is calculated for each AF evaluation frame including the marking area, and at least two of the calculated focus lens movement positions are set to the assignable button.
  • the R signal, G signal, and B signal of the surgical video signal RAW signal
  • the marking area in the R signal and the marking area in the B signal correspond to different reagent areas. good too.
  • the WLI image which is a surgical image obtained by irradiating the light emitting unit 61 of the light source device 12 with WLI light (first wavelength light)
  • WLI light first wavelength light
  • the light emitting unit 61 emits IR light.
  • a plurality of AF evaluation values may be calculated by calculating an AF evaluation value for a specific marking area using an IR image that is a surgical image obtained by irradiating (second wavelength light).
  • each of the AF evaluation values (a plurality of AF evaluation value) is calculated, and based on the calculated AF evaluation value, the focus lens movement positions corresponding to the first area and the second area are calculated, and at least two of the calculated focus lens movement positions are assigned to the assignable buttons. set.
  • the evaluation value may be calculated by changing the wavelength of the light to be irradiated.
  • AF target areas a plurality of attention areas may be extracted using a learned model learned by machine learning, and an AF evaluation value may be calculated for each of the extracted attention areas.
  • the calculation method may be switched according to the surgical mode and observation mode.
  • the setting position of the AF evaluation frame described above the setting position may be switched according to the surgical mode and the observation mode. That is, the AF parameters such as the calculation method of the AF evaluation value and the setting position of the AF evaluation frame can be switched according to the mode such as the surgical mode and the observation mode. Further, the AF characteristics (AF speed, various thresholds, etc.) may be changed based on any of the relationship between the surgical mode, observation mode, and AF target area (area, arrangement, etc.).
  • the priority of the AF target area may be set based on the relationship (area, arrangement, etc.) of the AF target area.
  • the assignment of the AF target areas may be automatically set based on the relationship of the AF target areas. For example, if one organ is dyed in two colors due to a biomarker or the like, which of the two colors is to be used as the default, or whether to set the focus lens movement position to the assignable button A, etc., are automatically set.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, both a plurality of devices housed in separate enclosures and connected via a network and a single device housing a plurality of modules within a single enclosure are systems.
  • the present disclosure can be configured as follows.
  • a medical imaging device having an assignable button to which execution of a selected function can be assigned, imaging an operating field during surgery and generating a surgical video signal; a control device that controls the medical imaging device;
  • the control device has one or more processors and one or more storage devices storing programs, By executing the program, the processor calculating a plurality of AF evaluation values based on the surgical video signal output from the medical imaging device; calculating a focus lens movement position corresponding to each AF evaluation value based on the plurality of calculated AF evaluation values;
  • a medical imaging system wherein at least two of the calculated focus lens movement positions are set for the assignable button.
  • the processor calculating the plurality of AF evaluation values based on parameters of a surgical image obtained from the surgical video signal;
  • the medical imaging system according to any one of (1) to (5), wherein the focus lens movement positions corresponding to a plurality of maximum contrast values are calculated based on the calculated plurality of AF evaluation values.
  • the processor setting a plurality of AF evaluation frames on the surgical image; calculating an AF evaluation value for each of the plurality of set AF evaluation frames;
  • the medical imaging system according to (6) wherein the focus lens movement position corresponding to the maximum contrast value is calculated for each AF evaluation frame based on the calculated AF evaluation value.
  • the plurality of AF evaluation frames includes a central frame set in the central portion of the surgical image and peripheral frames set around the central portion,
  • the processor calculating an AF evaluation value for each of the central frame and the peripheral frame; calculating the focus lens movement position corresponding to the maximum contrast value of the central frame and the focus lens movement position corresponding to the maximum contrast value of the peripheral frame based on the calculated AF evaluation value;
  • a medical imaging system as described.
  • the processor When a near-side focus lens movement position and a far-side focus lens movement position are calculated as the focus lens movement positions corresponding to the plurality of AF evaluation values, the processor outputs the near lens movement position to the assignable button.
  • the medical imaging system according to any one of (1) to (5), wherein a focus lens movement position on the far side and a focus lens movement position on the far side are set respectively.
  • the processor causes the assignable button to move the focus lens movement position from the near side to the far side.
  • the medical imaging system according to (11) above.
  • the processor Extracting a plurality of marking areas visually marked with biomarkers as AF target areas from the surgical image obtained from the surgical video signal, setting multiple AF evaluation frames including the extracted marking area, calculating an AF evaluation value for each of the set AF evaluation frames;
  • the medical imaging system according to any one of (1) to (5), wherein the focus lens movement position is calculated for each AF evaluation frame based on the calculated AF evaluation value.
  • (14) further comprising a light source device having a light emitting unit capable of irradiating the surgical area with the first wavelength light and the second wavelength light,
  • the processor calculating an AF evaluation value for each of the first region irradiated with the first wavelength light and the second region irradiated with the second wavelength light;
  • the medical imaging according to any one of (1) to (5) above, wherein the focus lens movement position corresponding to each of the first region and the second region is calculated based on the calculated AF evaluation value. system.
  • a control device for controlling a medical imaging device that has an assignable button to which execution of a selected function can be assigned and that images a surgical field during surgery and generates a surgical video signal, calculating a plurality of AF evaluation values based on the surgical video signal output from the medical imaging device; calculating a focus lens movement position corresponding to each AF evaluation value based on the plurality of calculated AF evaluation values; A control method of setting at least two of the calculated focus lens movement positions for the assignable button.
  • the computer A plurality of AF evaluation values based on the surgical image signal output from a medical imaging apparatus that has an assignable button to which execution of a selected function can be assigned and that images the surgical field during surgery to generate a surgical image signal. to calculate calculating a focus lens movement position corresponding to each AF evaluation value based on the plurality of calculated AF evaluation values; A program that functions as a control device that sets at least two of the calculated focus lens movement positions for the assignable button.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本開示は、焦点を合わせたい領域が複数ある場合に対応することができるようにする医療撮像システム、制御方法、及びプログラムに関する。 アサイナブルボタンを有し、手術中の術野を撮像して手術映像信号を生成する医療撮像装置と、医療撮像装置を制御する制御装置とを備え、制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージ装置を有し、プロセッサは、プログラムを実行することにより、医療撮像装置から出力された手術映像信号に基づいて、複数のAF評価値を算出し、算出した複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、アサイナブルボタンに対し、算出したフォーカスレンズ移動位置の少なくとも２つを設定する医療撮像システムが提供される。本開示は、例えば、内視鏡手術システムに適用することができる。

Description

医療撮像システム、制御方法、及びプログラム
　本開示は、医療撮像システム、制御方法、及びプログラムに関し、特に、焦点を合わせたい領域が複数ある場合に対応することができるようにした医療撮像システム、制御方法、及びプログラムに関する。
　一般的に、手術用内視鏡や手術用顕微鏡等の医療用観察装置においては、その被写界深度が浅いのに対して術野の奥行きがあるため、視認したい箇所に焦点が合わないことがある。これに対して、焦点を自動的に合わせるAF(Auto Focus)機能を有する医療用観察装置が提案されている。
　例えば、特許文献１には、波長の異なる光を交互に照射する観察モードにおけるウォブリング動作において工夫することで、精度の高いAF機能を実現することが開示されている。
特開2021-157067号公報
　ところで、手術では複数の注目ポイントが存在する場合がある。複数の注目ポイントが存在するとき、手術スタッフが、注目ポイントとなる複数の箇所を交互に見ながら手術を行うことになる。
　このように、注目ポイントが複数存在する場合には、焦点を合わせたい領域が複数存在することが想定されるが、焦点を合わせたい領域が１箇所であることを前提とした現状のAF機能では対応が難しい。そのため、焦点を合わせたい領域が複数ある場合に対応できるAF機能を提供することが求められている。
　本開示はこのような状況に鑑みてなされたものであり、焦点を合わせたい領域が複数ある場合に対応することができるようにするものである。
　本開示の一側面の医療撮像システムは、選択された機能の実行をアサイン可能なアサイナブルボタンを有し、手術中の術野を撮像して手術映像信号を生成する医療撮像装置と、前記医療撮像装置を制御する制御装置とを備え、前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージ装置を有し、前記プロセッサは、前記プログラムを実行することにより、前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する医療撮像システムである。
　本開示の一側面の制御方法は、選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置を制御する制御装置が、前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する制御方法である。
　本開示の一側面のプログラムは、コンピュータを、選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する制御装置として機能させるプログラムである。
　本開示の一側面の医療撮像システム、制御方法、及びプログラムにおいては、医療撮像装置から出力された手術映像信号に基づいて、複数のAF評価値が算出され、算出された前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置が算出され、前記医療撮像装置が有するアサイナブルボタンに対し、算出された前記フォーカスレンズ移動位置の少なくとも２つが設定される。
　なお、本開示の一側面の医療撮像システムが備える医療撮像装置と制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示に係る技術を適用した医療撮像システムの構成例を示す図である。 カメラヘッドと制御装置の詳細な構成例を示すブロック図である。 制御プログラムの構成例を示す図である。 カメラヘッドの構成例を示す斜視図である。 アサイナブルボタン設定処理の第１の例を説明するフローチャートである。 AF評価値の算出例を示す図である。 アサイナブルボタン設定処理の第２の例を説明するフローチャートである。 AF評価枠の設定例を示す図である。 アサイナブルボタン操作対応処理を説明するフローチャートである。 本開示に係る技術を適用した医療撮像システムの他の構成例を示す図である。 本開示に係る技術を適用した顕微鏡手術システムの構成例を示す図である。 本開示に係る技術を適用した撮像システムの構成例を示すブロック図である。 制御装置のハードウェア構成を示すブロック図である。
＜システム構成＞
　図１は、本開示に係る技術を適用した医療撮像システムの構成例を示す図である。図１では、医療撮像システムとして、腹部の内視鏡外科手術において用いられる内視鏡手術システムを例示している。内視鏡外科手術は、医療現場において従来の開腹手術に代わって行われている手術である。
　医療撮像システム１は、挿入部１１、光源装置１２、ライトガイド１３、カメラヘッド１４、伝送ケーブル１５、表示装置１６、伝送ケーブル１７、制御装置１８、及び伝送ケーブル１９を備える。カメラヘッド１４は、本開示に係る技術を適用した医療撮像装置の一例である。制御装置１８は、本開示に係る技術を適用した制御装置の一例である。
　挿入部１１は、全体が硬質な細長形状を有し、生体内に挿入される部材である。挿入部１１内には、１又は複数のレンズを備え、被写体像を集光する光学系が設けられている。なお、挿入部１１とカメラヘッド１４は一体型であってもよい。
　ライトガイド１３は、一端が光源装置１２に着脱自在に接続され、他端が挿入部１１に着脱自在に接続される。光源装置１２は、制御装置１８からの制御に従い、ライトガイド１３の一端に生体内を照らすための光を供給する。ライトガイド１３は、光源装置１２から供給された光を一端から他端に伝達し、挿入部１１に供給する。
　挿入部１１に供給された光は、挿入部１１の先端から出射され、生体内に照射される。生体内に照射されて生体内で反射された光を含む光(被写体像)は、挿入部１１内の光学系により集光される。挿入部１１の基端である接眼部１１Ａには、カメラヘッド１４が着脱自在に接続される。なお、被写体像は、生体又は生体が吸収している試薬からの発光や、光源装置１２とは別の光源からの光が含まれてもよい。
　カメラヘッド１４は、制御装置１８からの制御に従い、挿入部１１において集光された被写体像を撮像し、撮像により得られる手術映像信号(例えばRAW信号)を出力する。手術映像信号は、例えば４Ｋ解像度(3840画素×2160画素)以上の映像に対応した映像信号である。以下の説明では、手術映像信号に基づく映像(の画像フレーム)を、手術画像ともいう。
　伝送ケーブル１５は、一端がコネクタ２１を介して制御装置１８に着脱自在に接続され、他端がコネクタ２２を介してカメラヘッド１４に着脱自在に接続される。伝送ケーブル１５は、カメラヘッド１４から出力される手術映像信号等を制御装置１８に伝送する。また、伝送ケーブル１５は、制御装置１８から出力される制御信号、同期信号、クロック信号、及び電力等をカメラヘッド１４にそれぞれ伝送する。
　なお、伝送ケーブル１５を介したカメラヘッド１４から制御装置１８への手術映像信号等の伝送は、電気信号及び光信号のいずれでも構わない。伝送ケーブル１５を介した制御装置１８からカメラヘッド１４への制御信号、同期信号、クロック信号の伝送についても同様である。
　伝送ケーブル１７は、一端が表示装置１６に着脱自在に接続され、他端が制御装置１８に着脱自在に接続される。伝送ケーブル１７は、制御装置１８にて処理された手術映像信号、及び制御装置１８から出力される制御信号等を表示装置１６に伝送する。表示装置１６は、制御装置１８からの制御に従い、カメラヘッド１４から出力される手術映像信号に基づく手術画像を表示する。
　制御装置１８は、例えばCCU(Camera Control Unit)として構成され、CPU(Central Processing Unit)等のプロセッサや、FPGA(Field Programmable Gate Array)、ストレージ装置等を備える。制御装置１８は、制御信号等を、光源装置１２、カメラヘッド１４、及び表示装置１６を含む各装置に出力することで、各装置の動作を統括的に制御する。また、制御装置１８は、カメラヘッド１４から出力される手術映像信号等を処理し、その処理結果に基づいて各装置の動作を制御する。
　伝送ケーブル１９は、一端が光源装置１２に着脱自在に接続され、他端が制御装置１８に着脱自在に接続される。伝送ケーブル１９は、制御装置１８からの制御信号等を光源装置１２に伝送する。
　次に、図２を参照して、カメラヘッド１４と制御装置１８の詳細な構成例について説明する。カメラヘッド１４は、レンズユニット３１、レンズ駆動部３２、撮像部３３、及び操作部３４を備える。
　レンズユニット３１は、光軸に沿って移動可能な複数のレンズを備え、挿入部１１において集光された被写体像を、撮像部３３の撮像面に結像する。レンズユニット３１は、フォーカスレンズ４１とズームレンズ４２を有する。
　フォーカスレンズ４１は、１又は複数のレンズにより構成され、光軸に沿って移動することにより、カメラヘッド１４のフォーカスを調整する。ズームレンズ４２は、１又は複数のレンズにより構成され、光軸に沿って移動することにより、カメラヘッド１４の画角を調整する。
　図示はしないが、レンズユニット３１は、フォーカスレンズ４１を光軸に沿って移動させるフォーカス機構や、ズームレンズ４２を光軸に沿って移動させる光学ズーム機構を有する。
　レンズ駆動部３２は、上述したフォーカス機構や光学ズーム機構を動作させるアクチュエータや、アクチュエータを駆動するドライバを有する。レンズ駆動部３２は、制御装置１８からの制御に従い、レンズユニット３１の焦点や画角を調整する。また、レンズ駆動部３２は、フォトインタラプタ等の位置センサを有する。レンズ駆動部３２は、フォーカスレンズ４１の位置やズームレンズ４２の位置を検出し、それらの位置に応じた検出信号を制御装置１８に出力する。
　撮像部３３は、撮像素子や信号処理回路等が一体に形成されたセンサチップを有する。撮像素子は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサであり、挿入部１１において集光され、レンズユニット３１が結像した被写体像を受光して電気信号に変換する。信号処理回路は、撮像素子からの電気信号(アナログ信号)に対してAD変換等の信号処理を行う。撮像部３３は、制御装置１８からの制御に従い、生体内を撮像し、AD変換等の信号処理が施された手術映像信号(デジタルデータ)を出力する。
　なお、撮像部３３が有する信号処理回路は、撮像素子と一体形成されずに別体としても構わない。また、撮像素子は、４Ｋ解像度以上の映像に対応した映像信号を出力できる画素数を有することが好ましい。
　操作部３４は、AF(Auto Focus)機能やMF(Manual Focus)機能等の各種機能に関する操作を行うためのボタン等として構成される。操作部３４は、ユーザの操作に応じた操作信号を制御装置１８に出力する。ユーザには、患者に対して手術を行う手術スタッフ(術者等)が含まれる。
　制御装置１８は、信号処理部５１、制御部５２、入力部５３、出力部５４、及び記憶部５５を備える。なお、制御装置１８のハードウェア構成は、図１３を参照して後述する。
　信号処理部５１は、FPGAや、DSP(Digital Signal Processor)等のプロセッサなどにより構成することができる。信号処理部５１は、撮像部３３からの手術映像信号に対して、オプティカルブラック演算処理やデモザイク処理等のRAW処理を施し、RGB信号に変換する。信号処理部５１は、得られたRGB信号に対して、ホワイトバランス、RGBガンマ補正、及びYC変換等のRGB処理を施す。また、信号処理部５１は、得られたY,Cb/Cr信号に対して、色差補正及びノイズリダクション等のYC処理を施す。信号処理部５１は、信号処理後の手術映像信号を制御部５２に供給する。
　制御部５２は、CPU等のプロセッサにより構成される。制御部５２は、制御信号を出力することで、光源装置１２、カメラヘッド１４、及び表示装置１６を含む各装置の動作を制御するとともに、制御装置１８全体の動作を制御する。制御部５２は、記憶部５５に記憶された制御プログラムを読み出して実行することで、各種機能(AF機能等)を実現することができる。制御プログラムの構成例は、図３を参照して後述する。
　制御部５２は、光源装置１２が有する発光部６１の発光を制御する。発光部６１は、被写体となる手術領域に、例えば第１の波長帯域の光(第１波長光)として、WLI(White Light Imaging)光(例えば、波長帯域が360nm乃至760nmの光を含む可視光)等の通常光と、第２の波長帯域の光(第２波長光)として、IR(Infrared)光等の特殊光を照射するために発光する。ここでのIR光は、NIR(Near Infrared)光を含んでいてもよい。例えば、IR光は、波長帯域が760nm以上で、1000μm以下の光であってもよい。
　制御部５２は、信号処理部５１にて処理された手術映像信号に基づいて、表示用の手術映像信号を生成し、表示装置１６に出力する。表示装置１６は、液晶又は有機EL(Electro Luminescence)等を用いた表示ディスプレイを有し、制御装置１８から出力される手術映像信号に基づく手術画像を表示する。
　入力部５３は、ボタン、スイッチ、マウス、キーボード、タッチパネル等の操作デバイスを有し、ユーザの操作を受け付ける。入力部５３は、ユーザの操作に応じた操作信号を制御部５２に供給する。出力部５４は、スピーカやプリンタ等を有し、各種の情報を出力する。
　記憶部５５は、半導体記憶デバイスやHDD(Hard Disk Drive)等のストレージ装置である。記憶部５５は、制御部５２が実行する制御プログラム等のプログラムや、制御部５２の処理に必要な情報(データやパラメータ等)などを記憶する。
＜制御プログラム構成＞
　図３は、制御プログラム８１の構成例を示す図である。制御プログラム８１は、記憶部５５に記憶され、CPU等のプロセッサを含む制御部５２により読み出されて実行される。制御プログラム８１は、信号処理部５１が実行しても構わない。
　制御プログラム８１は、フォーカス制御部９１、AF評価値算出部９２、フォーカスレンズ移動位置算出部９３、及びアサイナブルボタン設定部９４を含む。
　フォーカス制御部９１は、レンズ駆動部３２を動作させることにより、レンズユニット３１のフォーカスを調整(フォーカスレンズ４１の位置を変更)する。例えば、フォーカス制御部９１は、レンズ駆動部３２にて検出されたフォーカスレンズ４１の位置と、AF評価値算出部９２からのAF評価値に基づいて、フォーカスレンズ４１のAF動作を制御する。また、フォーカス制御部９１は、操作部３４又は入力部５３からの操作信号に基づいて、フォーカスレンズ４１のAF動作を制御する。
　AF評価値算出部９２は、カメラヘッド１４からの手術映像信号に基づいて、複数のAF評価値を算出する。AF評価値は、手術映像信号から得られる手術画像(内の被写体像)の合焦状態を評価するための合焦評価値である。
　例えば、AF評価値算出部９２は、撮像部３３により撮像された１フレームの手術画像内の画素情報(例えば輝度データ(Y)やCb/Crデータ)に基づいて、画像のコントラストや周波数成分を検出する。AF評価値算出部９２は、検出したコントラストや周波数成分に基づいて、AF評価値を算出する。あるいは、AF評価値算出部９２は、１フレームの手術画像内の指定領域(例えばAF評価枠)の画素ごとの画素情報に基づいて、指定領域内の画像のコントラストや周波数成分を検出しても構わない。
　フォーカスレンズ移動位置算出部９３は、複数のAF評価値に基づいて、それぞれのAF評価値に対応する、フォーカスレンズ４１の移動位置(フォーカスレンズ移動位置)を算出する。このようにして算出されるフォーカスレンズ移動位置は、合焦位置に対応したフォーカスレンズ位置であるとも言える。
　アサイナブルボタン設定部９４は、アサイナブルボタンに対し、複数のAF評価値に基づき算出されたフォーカスレンズ移動位置の少なくとも２つを設定する。詳細は図４等を参照して後述するが、アサイナブルボタンは、選択された機能の実行をアサイン可能なボタンである。
＜カメラヘッド構成＞
　図４は、カメラヘッド１４の構成例を示す斜視図である。
　カメラヘッド１４は、筒状の形状からなる本体部１０１と、本体部１０１に形成される開口部を閉塞して固定されるカバー部１０２及びコネクタ部１０３とを有する。本体部１０１の上側の面には、ユーザ(手術スタッフ)の操作に応じた操作信号を本体部１０１に出力する操作部３４が固定される。
　本体部１０１は、ユーザがカメラヘッド１４を把持したときの手の形になじむような曲面を有する形状など、人間の手による把持のしやすさを考慮して、金属(チタンやステンレス等)又は合金等の材料を用いて筒状に形成された形状を有する。図示はしないが、本体部１０１の内部には、レンズユニット３１、レンズ駆動部３２、及び撮像部３３が設けられる。
　カバー部１０２は、本体部１０１に形成される開口部のうち、挿入部１１が接続される側の開口部を閉塞して本体部１０１に固定される。コネクタ部１０３は、本体部１０１に形成される開口部のうち、伝送ケーブル１５が接続される側の開口部を閉塞して本体部１０１に固定される。
　操作部３４は、外部からの押圧による操作信号の入力を受け付けるボタン１１１－１乃至１１１－６を有する。ボタン１１１－１乃至１１１－６の６つのボタンは、それぞれ異なる操作信号を出力する。操作信号としては、例えば画面内の所定位置へのAFを指示する信号、MFにおけるニア(近距離)側とファー(遠距離)側への光学系の移動をそれぞれ指示する信号、及びユーザが任意に設定する信号などが含まれる。
　ボタン１１１－１乃至１１１－６のいずれかを、選択された機能の実行をアサイン可能なアサイナブルボタンとして用いることができる。以下の説明では、ボタン１１１－５をアサイナブルボタンＡとし、ボタン１１１－６をアサイナブルボタンＢとした場合を説明する。なお、ボタン１１１－５，１１１－６の組み合わせに限らず、例えば、ボタン１１１－１，１１１－２の組み合わせをアサイナブルボタンＡ，Ｂとしても構わない。
＜アサイナブルボタン設定処理の第１の例＞
　次に、図５のフローチャートを参照して、図４のアサイナブルボタンＡ，Ｂに対し、フォーカスレンズ移動位置Ａ，Ｂへの移動命令を設定するアサイナブルボタン設定処理の流れを説明する。
　ステップＳ１１においては、制御装置１８が、カメラヘッド１４から出力される手術映像信号を取得する。制御装置１８では、制御部５２等が制御プログラム８１を実行して、カメラヘッド１４からの手術映像信号に処理を施すことで、以降のステップＳ１２乃至Ｓ１４の処理が実行される。
　ステップＳ１２において、AF評価値算出部９２は、手術映像信号に基づいて、複数のAF評価値を算出する。AF評価値の算出方法には、例えば、コントラストAFがある。コントラストAFは、手術映像信号から得られる手術画像のコントラストに基づいてAF評価値し、AF評価値に基づいてフォーカスレンズ４１の位置を調整する手法である。コントラストは、手術画像から得られるパラメータであるとも言える。
　なお、AF評価値算出部９２は、コントラストAFに替えて他のAF評価値の算出方法を用いてもよい。例えば、AF評価値算出部９２は、フォーカスレンズを最もニア側(Near Max)から最もファー側(Far Max)まで移動させることで複数のAF評価値を算出するスキャンAFや、手術映像信号に基づく位相差を利用する位相差AF、撮像素子に含まれる像面位相差画素の信号を用いる像面位相差AF、ToF(Time of Flight)センサ等に測距センサを用いる測距AF、分光して波長ごとにAF評価値を求めるスペクトルAFなどの手法を用いてAF評価値を算出してもよい。
　また、AF評価値算出部９２は、複数のAF評価値の算出方法を組み合わせてもよい。また、カメラヘッド１４は、AF評価値の算出方法に合わせて構成を変更されてもよい。例えば、位相差AFを用いる場合、カメラヘッド１４は、位相差光学系を含むのが好ましい。例えば、像面位相差AFを用いる場合、カメラヘッド１４は、像面位相差画素を含む撮像素子を含むことが好ましい。例えば、測距AFを用いる場合、カメラヘッド１４は、測距センサを含むことが好ましい。例えば、スペクトルAFを用いる場合、カメラヘッド１４は、分光光学系を含むことが好ましい。
　なお、カメラヘッド１４は、用いられるAF評価値の算出方法に応じて、AF評価値の算出に必要な情報を手術映像信号として出力してもよい。例えば、像面位相差AFを用いる場合、カメラヘッド１４は、RAW信号と位相差信号を含む信号を手術映像信号として出力することができる。例えば、測距AFを用いる場合、カメラヘッド１４は、RAW信号と測距センサ信号を含む信号を手術映像信号として出力することができる。AF評価値算出部９２は、用いられるAF評価値の算出方法に応じて、カメラヘッド１４から出力される手術映像信号に基づいて、複数のAF評価値を算出する。
　コントラストAF方式では、手術画像のコントラストに基づいたAF評価値が算出され、AF評価値が最も高くなる、又は所定の条件を満たすようにフォーカスレンズ４１の位置が調整される。コントラストAF方式手法には、ウォブリング動作と山登り動作が含まれていてもよい。ウォブリング動作は、フォーカスレンズ４１を微小に振幅させ、振幅した際のAF評価値の差からコントラストのピークの方向(フォーカスレンズ４１を光軸上で移動させる方向)を推定する動作である。山登り動作は、フォーカスレンズ４１を移動させた際のコントラストの変化に基づいてコントラストのピーク位置を探索する動作である。ここでは、ウォブリング動作と山登り動作を組み合わせて、複数のAF評価値を算出することができる。
　図６は、AF評価値の算出例を示す図である。図６においては、横軸がフォーカスレンズ位置(図中の左側がニア(Near)側、右側がファー(Far)側)を表し、縦軸がコントラストを表している。コントラストAFでは、ウォブリング動作後のスタート位置から合焦位置の探索を開始し、フォーカスレンズ４１をコントラストが高くなる方向に移動させながら、コントラストに基づいたAF評価値を算出する。このとき、コントラストのピーク(コントラスト極大値)となるところが合焦位置となるが、図６の例では、ピークＡとピークＢの２つのピーク(コントラスト極大値)があるので、ピークＡとピークＢに基づいた２つのAF評価値が算出される。
　ステップＳ１３において、フォーカスレンズ移動位置算出部９３は、算出された複数のAF評価値のそれぞれに対応するフォーカスレンズ移動位置を算出する。図６の例では、ピークＡとピークＢに基づいた２つのAF評価値のそれぞれに対応した２つのフォーカスレンズ移動位置Ａ，Ｂが算出される。
　ステップＳ１４において、アサイナブルボタン設定部９４は、アサイナブルボタンＡ，Ｂに対し、算出されたフォーカスレンズ移動位置Ａ，Ｂを設定する。アサイナブルボタンの設定に関する設定情報は、記憶部５５に記憶することができる。
　図６の例では、ピークＡ(ニア側のピーク)に基づいたAF評価値に対応したフォーカスレンズ移動位置Ａへの移動命令がアサイナブルボタンＡ(図４のボタン１１１－５)に設定され、ピークＢ(ファー側のピーク)に基づいたAF評価値に対応したフォーカスレンズ移動位置Ｂへの移動命令がアサイナブルボタンＢ(図４のボタン１１１－６)に設定される。
　図４の例では、２つのボタン１１１－５，１１１－６をアサイナブルボタンＡ，Ｂとして用いた構成を示したが、カメラヘッド１４の操作部３４には、１又は複数のアサイナブルボタンを設けることができる。アサイナブルボタン設定部９４は、カメラヘッド１４が１つのアサイナブルボタンを有する場合、当該アサイナブルボタンに対し、少なくとも２以上のフォーカスレンズ移動位置を設定する。また、アサイナブルボタン設定部９４は、カメラヘッド１４が複数のアサイナブルボタンを有する場合、当該アサイナブルボタンのそれぞれに対し、少なくとも１つのフォーカスレンズ移動位置を設定する。
　例えば、トグルボタン等をアサイナブルボタンとして用いることで、１つのアサイナブルボタンＡに対し、２つのフォーカスレンズ移動位置Ａ，Ｂへの移動命令を設定することができる。このような設定をした場合には、最初にアサイナブルボタンＡが押下されたとき、フォーカスレンズ４１をフォーカスレンズ移動位置Ａに移動し、次にアサイナブルボタンＡが押下されたとき、フォーカスレンズ４１をフォーカスレンズ移動位置Ｂに移動するように制御すればよい。その後のアサイナブルボタンＡの操作に対しても同様に、フォーカスレンズ移動位置Ａとフォーカスレンズ移動位置Ｂへの移動を交互に繰り返すことができる。
　図６の例では、２つのAF評価値が算出された場合を示したが、算出されるAF評価値の数は、２以上であればよい。例えば、ピークＡ、ピークＢ、ピークＣに基づいた３つのAF評価値が算出された場合、算出された３つのAF評価値に対応したフォーカスレンズ移動位置Ａ，Ｂ，Ｃへの移動命令をアサイナブルボタンに設定することができる。このとき、３つのフォーカスレンズ移動位置Ａ，Ｂ，Ｃに対応した３つのアサイナブルボタンを用意してもよいし、あるいは、２以下のアサイナブルボタンに対し、３つのフォーカスレンズ移動位置Ａ，Ｂ，Ｃへの移動命令を設定してもよい。
　例えば、３つのAF評価値のそれぞれに対応するフォーカスレンズ移動位置Ａ，Ｂ，Ｃが、ニア側からファー側に向かって算出されたとき、１つのアサイナブルボタンＡに対し、フォーカスレンズ移動位置Ａ，Ｂ，Ｃへの移動命令を設定することができる。このような設定をした場合、フォーカスレンズ４１は、アサイナブルボタンＡが１回押下されたときにフォーカスレンズ移動位置Ａに移動し、アサイナブルボタンＡが２回押下されたときにフォーカスレンズ移動位置Ｂに移動し、アサイナブルボタンＡが３回押下されたときにフォーカスレンズ移動位置Ｃに移動して、ニア側からファー側に向かって移動する。そして、アサイナブルボタンＡが４回押下されたとき、フォーカスレンズ４１は、フォーカスレンズ移動位置Ａに戻る。つまり、アサイナブルボタンを押した回数に応じてフォーカスレンズ位置が順番に切り替えられる。
　あるいは、２つのアサイナブルボタンＡ，Ｂとして、上ボタンと下ボタンのような対になるボタンを用いることで、ニア側からファー側に向かってフォーカスレンズ移動位置Ａ，Ｂ，Ｃが算出された場合に、上ボタンが押下されたときにフォーカスレンズ４１がニア側に移動し、下ボタンが押下されたときにフォーカスレンズ４１がファー側に移動するようにしてもよい。
　具体的には、フォーカスレンズ４１がフォーカスレンズ移動位置Ｃにある場合に、上ボタンが２回押下されたとき、フォーカスレンズ４１は、フォーカスレンズ移動位置Ｃから、フォーカスレンズ移動位置Ｂ，Ａの順にニア側に移動することになる。また、フォーカスレンズ４１がフォーカスレンズ移動位置Ａにある場合に、下ボタンが２回押下されたとき、フォーカスレンズ４１は、フォーカスレンズ移動位置Ａから、フォーカスレンズ移動位置Ｂ，Ｃの順にファー側に移動することになる。
　複数のAF評価値のそれぞれに対応して算出されたフォーカスレンズ移動位置のうち、ニア側のフォーカスレンズ移動位置を優先するニア優先モードと、ファー側のフォーカスレンズ移動位置を優先するファー優先モードとを選択可能にしてもよい。
　例えば、ニア優先モードが選択された場合、算出されたフォーカスレンズ移動位置のうち、最もニア側(Near Max)のフォーカスレンズ移動位置への移動命令をアサイナブルボタンに対して設定することを必須とし、最もニア側のフォーカスレンズ移動位置をデフォルトのフォーカスレンズ位置とすることができる。また、ファー優先モードが選択された場合、算出されたフォーカスレンズ移動位置のうち、最もファー側(Far Max)のフォーカスレンズ移動位置への移動命令をアサイナブルボタンに対して設定することを必須とし、最もファー側のフォーカスレンズ移動位置をデフォルトのフォーカスレンズ位置とすることができる。
　なお、３以上のAF評価値のそれぞれに対応するフォーカスレンズ移動位置が算出された場合には、算出されたフォーカスレンズ移動位置のうち、最もニア側のフォーカスレンズ移動位置と最もファー側のフォーカスレンズ移動位置を優先的にアサイナブルボタンに対して設定するなど、あらかじめ定められたルールに従って自動的に設定するフォーカスレンズ移動位置が選択されてもよい。
　あるいは、ユーザが手動で、算出されたフォーカスレンズ移動位置(AF評価値)の中から、アサイナブルボタンに対して設定するフォーカスレンズ移動位置(AF評価値)を選択しても構わない。ユーザが手動で選択するに際しては、２つのAF評価値が存在する場合に一方のAF評価値に対応するフォーカスレンズ移動位置をアサイナブルボタンに設定したときに、他方のAF評価値に対応するフォーカスレンズ移動位置がアサイナブルボタンに自動的に設定されてもよい。
　アサイナブルボタンは、図４のボタン１１１－５，１１１－６の組み合わせや、トグルボタン、上ボタンと下ボタンの組み合わせのほか、例えば、回転リング等の他の操作手段を用いてもよい。回転リングは、回転軸に対して回転可能に保持された回転操作部材を有し、当該回転操作部材を所定の回転角度に回転させることで、フォーカスレンズ移動位置を切り替えることができる。要は、２以上のフォーカスレンズ移動位置への移動命令を割り当てることが可能な操作手段であればよく、どのような操作手段を用いるかは任意である。
　術式(外科手術の方式)のモードごとにプリセットを記憶部５５に記憶しておくことで、ユーザが術式モードを選択したとき、記憶されたプリセットに基づき、アサイナブルボタンに対し、フォーカスレンズ移動位置が自動的に設定されるようにしてもよい。なお、ユーザの設定により術式モードが切り替えられた場合にも同様に、アサイナブルボタンに対し、フォーカスレンズ移動位置を自動的に設定することができる。
　機械学習により学習された学習済みモデルに、手術映像信号から得られる手術画像を入力することで、腫瘍が見つかった場合には、腫瘍の箇所を注目領域として、その注目領域に合焦するフォーカスレンズ移動位置への移動命令を、アサイナブルボタンに対して設定することができる。デフォルトのフォーカスレンズ位置を、注目領域に合焦するフォーカスレンズ移動位置としてもよい。学習済みモデルは、学習データとしての画像を入力とし、腫瘍に関する情報を出力として学習したDNN(Deep Neural Network)を用いることができる。
　このとき、AF評価値に対応して算出されたフォーカスレンズ移動位置をアサイナブルボタンに設定することで、アサイナブルボタンの操作に応じて、注目領域へのAF動作と、通常のAF動作とを切り替えることができる。また、複数の腫瘍が見つかった場合には、複数の腫瘍のそれぞれを注目領域として、それらの注目領域に合焦するフォーカスレンズ移動位置への移動命令を、アサイナブルボタンに対して設定することで、例えば、アサイナブルボタンを押した回数に応じて合焦する注目領域が切り替わるようにしてもよい。
　以上、アサイナブルボタン設定処理の第１の例の流れを説明した。このアサイナブルボタン設定処理では、手術映像信号に基づいて複数のAF評価値が算出され、複数のAF評価値に基づいてそれぞれのAF評価値に対応するフォーカスレンズ移動位置が算出され、アサイナブルボタンにフォーカスレンズ移動位置の少なくとも２つが設定される。これにより、アサイナブルボタンの操作に応じて、少なくとも２つのフォーカスレンズ移動位置に、フォーカスレンズ４１を移動させることができるので、焦点を合わせたい領域が複数ある場合に対応することができる。
　手術では複数の注目ポイントが存在する場合があり、医療撮像システム１を用いる場合においても、複数の注目ポイントが存在するとき、手術スタッフが、注目ポイントとなる複数の領域を交互に見ながら手術を行うことになる。例えば、腹腔鏡下胆嚢摘出術(内視鏡手術システムを用いて胆のうを一部又は全部切除する手術)においては、手術スタッフが、切除する箇所と切除してはいけない箇所(胆のう等)とを交互に見ながら手術を行うが、それらの箇所が注目ポイントとなり得る。また、複数のバイオマーカ(標識)を生体内又は細胞内に投与することで、複数の領域に対して視覚的なマーキングを行う手法や、機械学習による注目領域の設定を行う手法が提案されているが、これらの手法でも、注目ポイントが複数存在することが想定される。
　このように、注目ポイントが複数存在する場合には、焦点を合わせたい領域(AFにより最も焦点が合う領域)が複数存在することが想定されるが、焦点を合わせたい領域が１箇所であることを前提とした現状のAF機能では対応が難しかった。例えば、現状のAF機能では、仮想的に手術画像上に設定された１つのAF評価枠に含まれる画素信号の値を、AF評価式に入力することでAF評価値を算出し、算出したAF評価値に対応したフォーカスレンズ移動位置を読み出し、読み出した移動位置に基づきフォーカスレンズの移動を実行していた。これにより、手術スタッフが焦点を合わせたい(焦点を合わせて見たい)と思われる領域に焦点を合わせる動作(合焦動作)を実行していた。
　しかしながら、上述したように、このような１つの領域に合焦動作をするだけでは不十分であり、焦点を合わせたい領域が複数ある場合に対応できるAF機能を提供することが求められていた。そこで、本開示に係る技術では、複数のAF評価値を算出し、それぞれのAF評価値に対応するフォーカスレンズ移動位置の少なくとも２つをアサイナブルボタンにアサインするようにして、焦点を合わせたい領域が複数ある場合にも対応できるようにしている。また、手術スタッフの判断で、アサイナブルボタンを操作するだけで簡易に焦点を合わせる位置を切り替えることが可能となり、手術スタッフがストレスなく手術の映像を見ることができる。
＜アサイナブルボタン設定処理の第２の例＞
　次に、図７のフローチャートを参照して、アサイナブルボタン設定処理の他の例を説明する。
　ステップＳ３１において、制御装置１８が、カメラヘッド１４から出力される手術映像信号(例えばRAW信号)を取得する。制御装置１８では、カメラヘッド１４からの手術映像信号に処理を施すことで、以降のステップＳ３２乃至Ｓ３６の処理が実行される。
　ステップＳ３２において、AF評価値算出部９２は、カメラヘッド１４からの手術映像信号を用いて、輝度画像(Y画像)を生成する。例えば、輝度画像の生成方法としては、手術映像信号として取得されるRAW信号にデモザイク処理を施すことで輝度画像を生成するか、あるいは、RAW信号に含まれるR信号、G信号、及びB信号にそれぞれ重みを付けて値を調整した後に、輝度画像生成処理を実行することで輝度画像を生成することができる。
　ステップＳ３３において、AF評価値算出部９２は、輝度画像上に仮想的な複数のAF評価枠を設定し、それぞれのAF評価枠のAF評価値を算出する。例えば、輝度画像の中央部に設定されるAF評価枠である中央枠のAF評価値と、中央部の周辺に設定されるAF評価枠である周辺枠のAF評価値とが算出される。
　図８は、AF評価枠の設定例を示す図である。図８においては、輝度画像１５１上に、AF評価枠１５２ａ乃至１５２ｃの３つのAF評価枠が設定されている。例えば、AF評価枠１５２ａは、輝度画像１５１の中央部に設定された中央枠であり、AF評価枠１５２ｂとAF評価枠１５２ｃは、中央部の左右に設定された周辺枠であり、AF評価枠１５２ａ乃至１５２ｃのそれぞれについてAF評価値が算出される。
　AF評価値の算出方法としては、例えば、AF評価枠内における輝度値の平均や分散、垂直方向の輝度値の最大値や最小値、水平方向の輝度値の最大値や最小値など、手術画像(輝度画像等)から得られる様々なパラメータを用いて算出することができる。
　ステップＳ３４において、フォーカス制御部９１は、レンズ駆動部３２を動作させることにより、中央枠のコントラスト極大値に対応するフォーカスレンズ位置に、フォーカスレンズ４１を移動させる。
　ここでは、例えば、中央枠で、ウォブリング動作と山登り動作を含むコントラストAFを行うことで、中央枠のAF評価値が算出され、中央枠におけるコントラスト極大値に焦点を合わせることができる。つまり、デフォルトのフォーカスレンズ位置が、中央枠のコントラスト極大値に対応するフォーカスレンズ位置となる。このとき、AF評価値算出部９２は、周辺枠についても、常にAF評価値を算出することで、周辺枠におけるコントラスト極大値が算出されるようにする。
　ステップＳ３５において、フォーカスレンズ移動位置算出部９３は、中央枠のコントラスト極大値に対応するフォーカスレンズ移動位置Ａと、周辺枠のコントラスト極大値に対応するフォーカスレンズ移動位置Ｂを算出する。
　ステップＳ３６において、アサイナブルボタン設定部９４は、アサイナブルボタンＡ(例えば、図４のボタン１１１－５)に対し、中央枠のコントラスト極大値に対応するフォーカスレンズ移動位置Ａへの移動命令を設定し、アサイナブルボタンＢ(例えば、図４のボタン１１１－６)に対し、周辺枠のコントラスト極大値に対応するフォーカスレンズ移動位置Ｂへの移動命令を設定する。アサイナブルボタンの設定に関する設定情報は、記憶部５５に記憶することができる。
　第２の例では、上述した第１の例と同様に、アサイナブルボタンの数は２つに限定されるものではなく、また、複数のAF評価値に基づき算出されるフォーカスレンズ移動位置の数も２つに限定されるものではないが、その説明は繰り返しになるので省略する。また、第２の例においても、操作手段は、図４のボタン１１１－５，１１１－６の他、トグルボタン、上ボタンと下ボタンの組み合わせ、回転リングなどを用いてもよく、どのような操作手段を用いるかは任意である。
　以上、アサイナブルボタン設定処理の第２の例の流れを説明した。このアサイナブルボタン設定処理では、手術画像上に複数のAF評価枠が設定され、複数のAF評価枠のそれぞれのAF評価値が算出され、AF評価値に基づいて、AF評価枠ごとにコントラスト極大値に対応するフォーカスレンズ移動位置が算出され、アサイナブルボタンにフォーカスレンズ移動位置の少なくとも２つが設定される。これにより、アサイナブルボタンの操作に応じて、少なくとも２つのフォーカスレンズ移動位置に、フォーカスレンズ４１を移動させることができるので、焦点を合わせたい領域が複数ある場合に対応することができる。
＜アサイナブルボタン操作対応処理＞
　次に、図９のフローチャートを参照して、アサイナブルボタン操作対応処理の流れを説明する。アサイナブルボタン操作対応処理の実行に際しては、図５又は図７のアサイナブルボタン設定処理が実行されて、アサイナブルボタンＡ，Ｂに対し、フォーカスレンズ移動位置Ａ，Ｂへの移動命令が設定されているものとする。
　ステップＳ５１において、制御部５２は、カメラヘッド１４の操作部３４からの操作信号に基づいて、アサイナブルボタンＡが押下されたかどうかを判定する。
　ステップＳ５１において、アサイナブルボタンＡが押下されたと判定された場合、処理はステップＳ５２に進められる。ステップＳ５２において、フォーカス制御部９１は、記憶部５５に記憶された設定情報に基づいて、レンズ駆動部３２を動作させることにより、アサイナブルボタンＡに設定されたフォーカスレンズ移動位置Ａに、フォーカスレンズ４１を移動させる。
　一方で、ステップＳ５１において、アサイナブルボタンＡが押下されていないと判定された場合、処理はステップＳ５３に進められる。ステップＳ５３において、制御部５２は、カメラヘッド１４の操作部３４からの操作信号に基づいて、アサイナブルボタンＢが押下されたかどうかを判定する。
　ステップＳ５３において、アサイナブルボタンＢが押下されたと判定された場合、処理はステップＳ５４に進められる。ステップＳ５４において、フォーカス制御部９１は、記憶部５５に記憶された設定情報に基づいて、レンズ駆動部３２を動作させることにより、アサイナブルボタンＢに設定されたフォーカスレンズ移動位置Ｂに、フォーカスレンズ４１を移動させる。
　ステップＳ５２若しくはＳ５４の処理が終了するか、又はステップＳ５３の判定処理でアサイナブルボタンＢが押下されていないと判定された場合、一連の処理は終了する。
　以上、アサイナブルボタン操作対応処理の流れを説明した。アサイナブルボタン操作対応処理では、手術スタッフによるアサイナブルボタンの操作に応じて、少なくとも２つのフォーカスレンズ移動位置に、フォーカスレンズ４１を移動させることができるので、焦点を合わせたい領域が複数ある場合に対応することができる。例えば、手術スタッフは、アサイナブルボタンを操作して、複数の領域(例えば切除する箇所と切除してはいけない箇所)を交互に見ながら手術を行うことができる。
＜軟性内視鏡を含む構成＞
　図１では、医療撮像システム１として、生体内に挿入される部分が硬質である(曲がらない)挿入部１１を有する硬性内視鏡を含む内視鏡手術システムを示したが、硬性内視鏡の代わりに、軟性内視鏡を用いてもよい。図１０には、医療撮像システムとして、軟性内視鏡を含む内視鏡手術システムを例示している。
　医療撮像システム２は、生体内に挿入される部分が軟質である(曲がる)挿入部２０１と、挿入部２０１において集光された被写体像を撮像して手術映像信号を出力するカメラヘッド２０２とを備える。挿入部２０１には、先端の光学系で捉えた光(被写体像)をグラスファイバで体外の接眼部まで導いて観察するファイバスコープ等を用いることができる。カメラヘッド２０２には、図４に示したカメラヘッド１４と同様に、アサイナブルボタンＡ，Ｂが設けられる。
　医療撮像システム２は、光源装置１２、表示装置１６、及び制御装置１８をさらに備える。光源装置１２は、制御装置１８からの制御に従い、接続部２０３に生体内を照らすための光を供給する。制御装置１８は、カメラヘッド２０２から出力された手術映像信号を、接続部２０３を介して受信して処理し、その処理結果に基づいて、光源装置１２、表示装置１６、及びカメラヘッド２０２の動作を統括的に制御する。
　医療撮像システム２において、制御装置１８は、カメラヘッド２０２からの手術映像信号に基づき、図５又は図７のアサイナブルボタン設定処理を実行することができる。また、制御装置１８は、カメラヘッド２０２からの操作信号に基づき、図９のアサイナブルボタン操作対応処理を実行することができる。
　以上のように構成される医療撮像システム２では、軟性内視鏡を含む内視鏡手術システムを用いて内視鏡外科手術を行うに際して、焦点を合わせたい領域が複数ある場合に、それらの領域のそれぞれのAF評価値に対応するフォーカスレンズ移動位置をアサイナブルボタンに設定することができる。そのため、手術スタッフは、アサイナブルボタンを操作することで、焦点を合わせたい複数の領域のいずれの領域にも焦点を合わせることができ、複数の領域を交互に見ながら手術を行うことができる。
＜顕微鏡手術システム構成＞
　次に、本開示に係る技術を適用した医療撮像システムの他の適用例を説明する。図１１では、患者の体内を観察する観察用医療機器としての手術用ビデオ顕微鏡装置２１０を用いた顕微鏡手術システムを例示している。
　図１１には、医師２２０が、例えばメス、鑷子、鉗子等の手術用の器具２２１を使用して、施術台２３０上の患者２４０に対して手術を行っている様子が示されている。図１１の例では、施術の一例として手術の様子が示されているが、手術用ビデオ顕微鏡装置２１０が用いられる施術は手術に限定されず、他の各種の施術(検査等の医療的な処置)であってもよい。
　施術台２３０の脇には、手術用ビデオ顕微鏡装置２１０が設けられる。手術用ビデオ顕微鏡装置２１０は、基台であるベース部２１１と、ベース部２１１から延伸するアーム部２１２と、アーム部２１２の先端に先端ユニットとして接続される撮像ユニット２１５とを有する。アーム部２１２は、関節部２１３ａ，２１３ｂ，２１３ｃと、関節部２１３ａ乃至２１３ｃによって連結されるリンク２１４ａ，２１４ｂとを有し、関節部２１３ａ乃至２１３ｃの回転が駆動されることにより、アーム部２１２の駆動が制御される。
　撮像ユニット２１５は、被写体の光学像を取得する光学系を含むことで、撮像対象の画像を取得するユニットであり、例えば動画像や静止画像を撮像可能なカメラ等として構成される。図１１の例では、アーム部２１２の先端に設けられた撮像ユニット２１５が、患者２４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置２１０によってアーム部２１２と撮像ユニット２１５の姿勢や位置が制御される。なお、アーム部２１２の先端に先端ユニットとして接続される撮像ユニット２１５の構成は特に限定されず、例えば、内視鏡や顕微鏡として構成されてもよい。
　医師２２０と対向する位置には、表示ディスプレイを有する表示装置２５０が設置される。撮像ユニット２１５により取得された手術画像は、例えば、手術用ビデオ顕微鏡装置２１０に内蔵又は外付けされた信号処理装置により、各種信号処理が施された後に、表示装置２５０に表示される。これにより、医師２２０は、表示装置２５０に表示される手術画像を見ながら手術を行うことができる。
　以上のように構成される顕微鏡手術システムでは、撮像ユニット２１５が、例えば、図２のカメラヘッド１４と光源装置１２(発光部６１)を含む。撮像ユニット２１５の筐体面には、図４に示したカメラヘッド１４と同様に、アサイナブルボタンＡ，Ｂを設けることができる。アサイナブルボタンＡ，Ｂは、撮像ユニット２１５の筐体面以外の面に設けても構わない。表示装置２５０は、図２の表示装置１６に相当する。
　また、撮像ユニット２１５により取得された手術画像に対して、各種信号処理を施す信号処理装置が、図２の制御装置１８に相当する。当該信号処理装置は、撮像ユニット２１５からの手術映像信号に基づき、図５又は図７のアサイナブルボタン設定処理を実行することができる。また、制御装置１８は、撮像ユニット２１５からの操作信号に基づき、図９のアサイナブルボタン操作対応処理を実行することができる。
　このように、アームを備えた手術用ビデオ顕微鏡装置を用いた顕微鏡手術システムでは、手術等の医療的な処置を行うに際して、焦点を合わせたい領域が複数ある場合に、それらの領域のそれぞれのAF評価値に対応するフォーカスレンズ移動位置をアサイナブルボタンに設定することができる。そのため、医師２２０等の手術スタッフは、アサイナブルボタンを操作することで、焦点を合わせたい複数の領域のいずれの領域にも焦点を合わせることができ、複数の領域を交互に見ながら手術等の医療的な処置を行うことができる。
＜撮像システム構成＞
　本開示に係る技術は、医療撮像システムに限らず、一般的な撮像システムに適用することができる。図１２は、一般的な撮像システムの一例である撮像装置の構成例を示している。図１２において、撮像装置３１０は、例えば民生用カメラとして構成される。
　撮像装置３１０は、レンズユニット３３１、レンズ駆動部３３２、撮像部３３３、操作部３３４、信号処理部３５１、制御部３５２、入力部３５３、出力部３５４、記憶部３５５、発光部３５６、及び表示部３５７を備える。
　レンズユニット３３１、レンズ駆動部３３２、撮像部３３３、及び操作部３３４は、図２のカメラヘッド１４が備えるレンズユニット３１、レンズ駆動部３２、撮像部３３、及び操作部３４にそれぞれ対応する。
　レンズユニット３３１が有するフォーカスレンズ３４１とズームレンズ３４２もまた、図２のレンズユニット３１が有するフォーカスレンズ４１とズームレンズ４２にそれぞれ対応する。操作部３３４は、図４に示したカメラヘッド１４の操作部３４と同様に、撮像装置３１０の筐体面に固定され、アサイナブルボタンＡ，Ｂを有している。
　信号処理部３５１、制御部３５２、入力部３５３、出力部３５４、及び記憶部３５５は、図２の制御装置１８が備える信号処理部５１、制御部５２、入力部５３、出力部５４、及び記憶部５５にそれぞれ対応する。発光部３５６は、図２の光源装置１２が有する発光部６１に対応する。表示部３５７は、図２の表示装置１６に対応する。
　撮像装置３１０において、信号処理部３５１又は制御部３５２は、撮像部３３３からの映像信号に基づき、図５又は図７のアサイナブルボタン設定処理を実行することができる。また、制御部３５２は、操作部３３４からの操作信号に基づき、図９のアサイナブルボタン操作対応処理を実行することができる。
　以上のように構成される撮像装置３１０では、撮影者が撮影を行うに際して、焦点を合わせたい領域が複数ある場合に、それらの領域のそれぞれのAF評価値に対応するフォーカスレンズ移動位置をアサイナブルボタンに設定することができる。そのため、撮影者は、アサイナブルボタンを操作することで、焦点を合わせたい複数の領域のいずれの領域にも焦点を合わせることができ、複数の領域を交互に見ながら撮影を行うことができる。
＜ハードウェア構成＞
　図１３は、図１の医療撮像システム１を構成する制御装置１８のハードウェア構成を示すブロック図である。
　図１３に示すように、制御装置１８は、CPU５０１、ROM(Read Only Memory)５０３、及びRAM(Random Access Memory)５０５を備え、ホストバス５０７を介して接続される。制御装置１８はまた、入力装置５１５、出力装置５１７、ストレージ装置５１９、ドライブ５２１、接続ポート５２３、及び通信装置５２５を備え、インタフェース５１３に接続される。ホストバス５０７は、ブリッジ５０９及び外部バス５１１を介してインタフェース５１３に接続される。
　CPU５０１は、演算処理装置及び制御装置として機能し、ROM５０３、RAM５０５、ストレージ装置５１９、又はリムーバブル記録媒体５２７に記録された各種プログラムに従って、制御装置１８内の動作全般又はその一部を制御する。例えば、CPU５０１は、ストレージ装置５１９に記憶された制御プログラム８１(図３)を読み出して実行することで、フォーカス制御部９１、AF評価値算出部９２、フォーカスレンズ移動位置算出部９３、及びアサイナブルボタン設定部９４の機能を実現することができる。
　入力装置５１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、及びペダル等、ユーザが操作する操作部である。また、入力装置５１５は、例えば、リモートコントローラであってもよいし、制御装置１８の操作に対応した携帯機器等の外部接続機器５２９であってもよい。ユーザは、入力装置５１５を操作することにより、制御装置１８に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置５１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。具体的には、出力装置５１７は、液晶又は有機EL等を用いた表示ディスプレイを有する表示装置や、ランプ、スピーカ又はヘッドホン等の音声出力装置、プリンタ装置等として構成される。出力装置５１７は、例えば、制御装置１８が行った各種の処理により得られた結果を出力する。なお、図２の光源装置１２又は表示装置１６は、出力装置５１７により実現されてもよい。
　ストレージ装置５１９は、制御装置１８の記憶部５５の一例として構成されたデータ格納用の装置である。ストレージ装置５１９は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。ストレージ装置５１９は、CPU５０１が実行するプログラム(例えば、図３の制御プログラム８１)や各種データ等を格納する。
　ドライブ５２１は、記録媒体用リーダライタであり、制御装置１８に内蔵されるか、又は外付けされる。ドライブ５２１は、装着されている光ディスク、半導体メモリ、磁気ディスク、又は光磁気ディスク等のリムーバブル記録媒体５２７に記録されている情報を読み出して、RAM５０５に出力する。また、ドライブ５２１は、装着されているリムーバブル記録媒体５２７に情報を書き込むことも可能である。
　接続ポート５２３は、外部接続機器５２９を制御装置１８に直接接続するためのポートである。接続ポート５２３としては、例えば、USB(Universal Serial Bus)ポート、HDMI(登録商標)(High-Definition Multimedia Interface)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)等がある。接続ポート５２３に外部接続機器５２９を接続することで、制御装置１８は、外部接続機器５２９から直接各種のデータを取得したり、外部接続機器５２９に各種のデータを提供したりする。
　通信装置５２５は、例えば、通信網(ネットワーク)５３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置５２５は、例えば、有線若しくは無線LAN(Local Area Network)による通信、セルラー方式の通信(例えば5G(5th Generation))、Bluetooth(登録商標)等の近距離無線通信、又はWUSB(Wireless USB)による無線通信等に対応した通信モジュール等である。また、通信装置５２５は、光通信用のルータや、各種通信用のモデム等であってもよい。
　通信装置５２５は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号を送受信することができる。また、通信装置５２５に接続される通信網５３１は、有線又は無線によって接続されたネットワーク等により構成されるようにしてもよい。通信網５３１は、例えば、インターネットや家庭内LAN、携帯通信網であってもよいし、赤外線通信、ラジオ波通信、又は衛星通信が行われる通信網であってもよい。
　上述した制御装置１８の各構成要素は、汎用的なハードウェアを用いて構成されてもよいし、各構成要素の機能に特化したハードウェアにより構成されてもよい。つまり、本開示に係る技術を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　さらに、本開示に係る技術を適用した医療撮像システム１を構成する制御装置１８の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能なリムーバブル記録媒体５２７を提供することも可能である。コンピュータプログラムは、リムーバブル記録媒体５２７を用いずに、例えば通信網５３１を介してサーバから配信されてもよい。
＜変形例＞
　上述したアサイナブルボタン設定処理の第２の例では、手術画像上に複数のAF評価枠を設定して複数のAF評価枠のそれぞれのAF評価値を算出する場合を示したが、手術画像から、AF対象領域としてバイオマーカによって視覚的にマーキングされたマーキング領域を抽出し、それらのマーキング領域を含むAF評価枠を設定し、それぞれのAF評価枠のAF評価値を算出するようにしてもよい。
　これにより、マーキング領域を含むAF評価枠ごとに、フォーカスレンズ移動位置が算出され、算出されたフォーカスレンズ移動位置の少なくとも２つがアサイナブルボタンに設定される。このとき、手術映像信号(RAW信号)のR信号、G信号、B信号に重み付けを行うことで、例えば、R信号におけるマーキング領域と、B信号におけるマーキング領域とで異なる試薬の領域に対応してもよい。
　また、光源装置１２が有する発光部６１がWLI光(第１波長光)を照射することで得られる手術画像であるWLI画像を用いて表面のAF評価値を算出し、発光部６１がIR光(第２波長光)を照射することで得られる手術画像であるIR画像を用いて特定のマーキング領域のAF評価値を算出することで、複数のAF評価値を算出してもよい。
　すなわち、手術画像において、第１波長光(例えばWLI光)が照射された第１領域と、第２波長光(例えばIR光)が照射された第２領域のそれぞれのAF評価値(複数のAF評価値)が算出され、算出されたAF評価値に基づき、第１領域と第２領域のそれぞれに対応するフォーカスレンズ移動位置が算出され、算出されたフォーカスレンズ移動位置の少なくとも２つがアサイナブルボタンに設定される。なお、WLI画像やIR画像等の各画像を用いるに際して、照射する光の波長を変えて評価値を算出しても構わない。また、AF対象領域として、機械学習により学習された学習済みモデルを用いて複数の注目領域を抽出し、抽出された注目領域のそれぞれでAF評価値を算出しても構わない。
　上述したAF評価値の算出方法であるが、術式モードや観察モードに応じて算出方法を切り替えてもよい。上述したAF評価枠の設定位置についても、術式モードや観察モードに応じて設定位置を切り替えてもよい。すなわち、術式モードや観察モード等のモードに応じて、AF評価値の算出方法やAF評価枠の設定位置といったAFパラメータを切り替えることができる。また、術式モード、観察モード、及びAF対象領域の関係性(面積や配置等)のいずれかに基づいて、AF特性(AFスピードや各種閾値等)を変更しても構わない。
　また、AF対象領域の関係性(面積や配置等)に基づいて、AF対象領域の優先度(デフォルトの対象領域や最初に合わせるフォーカスレンズ位置)を設定してもよい。あるいは、AF対象領域の関係性に基づいて、AF対象領域のアサインを自動で設定してもよい。例えば、バイオマーカ等によって一つの臓器が２色に染まっていた場合に２色のどちらをデフォルトにするかや、アサイナブルボタンＡにフォーカスレンズ移動位置を設定するかなどが自動設定される。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示は、以下のような構成をとることができる。
（１）
　選択された機能の実行をアサイン可能なアサイナブルボタンを有し、手術中の術野を撮像して手術映像信号を生成する医療撮像装置と、
　前記医療撮像装置を制御する制御装置と
　を備え、
　前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージ装置を有し、
　前記プロセッサは、前記プログラムを実行することにより、
　　前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
　　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
　　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
　医療撮像システム。
（２）
　前記医療撮像装置は、１又は複数の前記アサイナブルボタンを有する
　前記（１）に記載の医療撮像システム。
（３）
　前記プロセッサは、前記医療撮像装置が複数の前記アサイナブルボタンを有する場合、前記アサイナブルボタンのそれぞれに対し、少なくとも１つの前記フォーカスレンズ移動位置を設定する
　前記（２）に記載の医療撮像システム。
（４）
　前記プロセッサは、前記医療撮像装置が１つの前記アサイナブルボタンを有する場合、前記アサイナブルボタンに対し、少なくとも２以上の前記フォーカスレンズ移動位置を設定する
　前記（２）に記載の医療撮像システム。
（５）
　前記プロセッサは、前記アサイナブルボタンが操作された場合、操作された前記アサイナブルボタンに設定された前記フォーカスレンズ移動位置に、前記医療撮像装置が有するフォーカスレンズを移動させる
　前記（１）乃至（４）のいずれかに記載の医療撮像システム。
（６）
　前記プロセッサは、
　　前記手術映像信号から得られる手術画像のパラメータに基づいて、前記複数のAF評価値を算出し、
　　算出した前記複数のAF評価値に基づいて、複数のコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
　前記（１）乃至（５）のいずれかに記載の医療撮像システム。
（７）
　前記プロセッサは、
　　前記手術画像上に複数のAF評価枠を設定し、
　　設定した前記複数のAF評価枠のそれぞれのAF評価値を算出し、
　　算出した前記AF評価値に基づいて、前記AF評価枠ごとにコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
　前記（６）に記載の医療撮像システム。
（８）
　前記複数のAF評価枠は、前記手術画像上の中央部に設定される中央枠と、前記中央部の周辺に設定される周辺枠とを含み、
　前記プロセッサは、
　　前記中央枠と前記周辺枠のそれぞれのAF評価値を算出し、
　　算出した前記AF評価値に基づいて、前記中央枠のコントラスト極大値に対応する前記フォーカスレンズ移動位置と、前記周辺枠のコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
　前記（７）に記載の医療撮像システム。
（９）
　前記プロセッサは、最初に前記フォーカスレンズを移動させるに際して、前記中央枠のコントラスト極大値に対応するデフォルトのフォーカスレンズ位置に移動させる
　前記（８）に記載の医療撮像システム。
（１０）
　前記プロセッサは、前記フォーカスレンズを移動させるに際して、前記フォーカスレンズのウォブリング動作を制御する
　前記（９）に記載の医療撮像システム。
（１１）
　前記プロセッサは、前記複数のAF評価値に対応する前記フォーカスレンズ移動位置として、ニア側のフォーカスレンズ移動位置と、ファー側のフォーカスレンズ移動位置が算出された場合、前記アサイナブルボタンに対し、前記ニア側のフォーカスレンズ移動位置と前記ファー側のフォーカスレンズ移動位置をそれぞれ設定する
　前記（１）乃至（５）のいずれかに記載の医療撮像システム。
（１２）
　前記プロセッサは、ニア側からファー側に向かって前記フォーカスレンズ移動位置が算出された場合、前記アサイナブルボタンに対し、前記フォーカスレンズがニア側からファー側に向かって移動するように前記フォーカスレンズ移動位置を設定する
　前記（１１）に記載の医療撮像システム。
（１３）
　前記プロセッサは、
　　前記手術映像信号から得られる手術画像から、AF対象領域としてバイオマーカにより視覚的にマーキングされたマーキング領域を複数抽出し、
　　抽出した前記マーキング領域を含むAF評価枠を複数設定し、
　　設定した前記AF評価枠のそれぞれについてのAF評価値を算出し、
　　算出した前記AF評価値に基づいて、前記AF評価枠ごとに前記フォーカスレンズ移動位置を算出する
　前記（１）乃至（５）のいずれかに記載の医療撮像システム。
（１４）
　手術領域に第１の波長光と第２の波長光を照射可能な発光部を有する光源装置をさらに備え、
　前記プロセッサは、
　　前記第１の波長光が照射された第１の領域と前記第２の波長光が照射された第２の領域のそれぞれのAF評価値を算出し、
　　算出した前記AF評価値に基づいて、前記第１の領域と前記第２の領域のそれぞれに対応する前記フォーカスレンズ移動位置を算出する
　前記（１）乃至（５）のいずれかに記載の医療撮像システム。
（１５）
　選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置を制御する制御装置が、
　前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
　制御方法。
（１６）
　コンピュータを、
　選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
　制御装置として機能させるプログラム。
　１，２　医療撮像システム，　１１　挿入部，　１２　光源装置，　１４　カメラヘッド，　１６　表示装置，　１８　制御装置，　３１　レンズユニット，　３２　レンズ駆動部，　３３　撮像部，　３４　操作部，　４１　フォーカスレンズ，　４２　ズームレンズ，　５２　制御部，　８１　制御プログラム，　９１　フォーカス制御部，　９２　AF評価値算出部，　９３　フォーカスレンズ移動位置算出部，　９４　アサイナブルボタン設定部，　１０１　本体部，　１１１－１乃至１１１－６　ボタン，　２０１　挿入部，　２０２　カメラヘッド，　３１０　撮像装置，　３３１　レンズユニット，　３３２　レンズ駆動部，　３３３　撮像部，　３３４　操作部，　３５１　信号処理部，　３５２　制御部，　３４１　フォーカスレンズ，　３４２　ズームレンズ，　５０１　CPU，　５１９　ストレージ装置，　Ａ，Ｂ　アサイナブルボタン

Claims (16)

  1. 　選択された機能の実行をアサイン可能なアサイナブルボタンを有し、手術中の術野を撮像して手術映像信号を生成する医療撮像装置と、
    　前記医療撮像装置を制御する制御装置と
    　を備え、
    　前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージ装置を有し、
    　前記プロセッサは、前記プログラムを実行することにより、
    　　前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
    　　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
    　　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
    　医療撮像システム。
  2. 　前記医療撮像装置は、１又は複数の前記アサイナブルボタンを有する
    　請求項１に記載の医療撮像システム。
  3. 　前記プロセッサは、前記医療撮像装置が複数の前記アサイナブルボタンを有する場合、前記アサイナブルボタンのそれぞれに対し、少なくとも１つの前記フォーカスレンズ移動位置を設定する
    　請求項２に記載の医療撮像システム。
  4. 　前記プロセッサは、前記医療撮像装置が１つの前記アサイナブルボタンを有する場合、前記アサイナブルボタンに対し、少なくとも２以上の前記フォーカスレンズ移動位置を設定する
    　請求項２に記載の医療撮像システム。
  5. 　前記プロセッサは、前記アサイナブルボタンが操作された場合、操作された前記アサイナブルボタンに設定された前記フォーカスレンズ移動位置に、前記医療撮像装置が有するフォーカスレンズを移動させる
    　請求項１に記載の医療撮像システム。
  6. 　前記プロセッサは、
    　　前記手術映像信号から得られる手術画像のパラメータに基づいて、前記複数のAF評価値を算出し、
    　　算出した前記複数のAF評価値に基づいて、複数のコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
    　請求項５に記載の医療撮像システム。
  7. 　前記プロセッサは、
    　　前記手術画像上に複数のAF評価枠を設定し、
    　　設定した前記複数のAF評価枠のそれぞれのAF評価値を算出し、
    　　算出した前記AF評価値に基づいて、前記AF評価枠ごとにコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
    　請求項６に記載の医療撮像システム。
  8. 　前記複数のAF評価枠は、前記手術画像上の中央部に設定される中央枠と、前記中央部の周辺に設定される周辺枠とを含み、
    　前記プロセッサは、
    　　前記中央枠と前記周辺枠のそれぞれのAF評価値を算出し、
    　　算出した前記AF評価値に基づいて、前記中央枠のコントラスト極大値に対応する前記フォーカスレンズ移動位置と、前記周辺枠のコントラスト極大値に対応する前記フォーカスレンズ移動位置を算出する
    　請求項７に記載の医療撮像システム。
  9. 　前記プロセッサは、最初に前記フォーカスレンズを移動させるに際して、前記中央枠のコントラスト極大値に対応するデフォルトのフォーカスレンズ位置に移動させる
    　請求項８に記載の医療撮像システム。
  10. 　前記プロセッサは、前記フォーカスレンズを移動させるに際して、前記フォーカスレンズのウォブリング動作を制御する
    　請求項９に記載の医療撮像システム。
  11. 　前記プロセッサは、前記複数のAF評価値に対応する前記フォーカスレンズ移動位置として、ニア側のフォーカスレンズ移動位置と、ファー側のフォーカスレンズ移動位置が算出された場合、前記アサイナブルボタンに対し、前記ニア側のフォーカスレンズ移動位置と前記ファー側のフォーカスレンズ移動位置をそれぞれ設定する
    　請求項５に記載の医療撮像システム。
  12. 　前記プロセッサは、ニア側からファー側に向かって前記フォーカスレンズ移動位置が算出された場合、前記アサイナブルボタンに対し、前記フォーカスレンズがニア側からファー側に向かって移動するように前記フォーカスレンズ移動位置を設定する
    　請求項１１に記載の医療撮像システム。
  13. 　前記プロセッサは、
    　　前記手術映像信号から得られる手術画像から、AF対象領域としてバイオマーカにより視覚的にマーキングされたマーキング領域を複数抽出し、
    　　抽出した前記マーキング領域を含むAF評価枠を複数設定し、
    　　設定した前記AF評価枠のそれぞれについてのAF評価値を算出し、
    　　算出した前記AF評価値に基づいて、前記AF評価枠ごとに前記フォーカスレンズ移動位置を算出する
    　請求項５に記載の医療撮像システム。
  14. 　手術領域に第１の波長光と第２の波長光を照射可能な発光部を有する光源装置をさらに備え、
    　前記プロセッサは、
    　　前記第１の波長光が照射された第１の領域と前記第２の波長光が照射された第２の領域のそれぞれのAF評価値を算出し、
    　　算出した前記AF評価値に基づいて、前記第１の領域と前記第２の領域のそれぞれに対応する前記フォーカスレンズ移動位置を算出する
    　請求項５に記載の医療撮像システム。
  15. 　選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置を制御する制御装置が、
    　前記医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
    　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
    　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
    　制御方法。
  16. 　コンピュータを、
    　選択された機能の実行をアサイン可能なアサイナブルボタンを有し手術中の術野を撮像して手術映像信号を生成する医療撮像装置から出力された前記手術映像信号に基づいて、複数のAF評価値を算出し、
    　算出した前記複数のAF評価値に基づいて、それぞれのAF評価値に対応するフォーカスレンズ移動位置を算出し、
    　前記アサイナブルボタンに対し、算出した前記フォーカスレンズ移動位置の少なくとも２つを設定する
    　制御装置として機能させるプログラム。
PCT/JP2023/000721 2022-01-28 2023-01-13 医療撮像システム、制御方法、及びプログラム WO2023145480A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022011903 2022-01-28
JP2022-011903 2022-01-28

Publications (1)

Publication Number Publication Date
WO2023145480A1 true WO2023145480A1 (ja) 2023-08-03

Family

ID=87471289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000721 WO2023145480A1 (ja) 2022-01-28 2023-01-13 医療撮像システム、制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023145480A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10118007A (ja) * 1996-10-18 1998-05-12 Olympus Optical Co Ltd 内視鏡
JP2020046637A (ja) * 2018-09-21 2020-03-26 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
JP2020141896A (ja) * 2019-03-07 2020-09-10 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び医療用観察システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10118007A (ja) * 1996-10-18 1998-05-12 Olympus Optical Co Ltd 内視鏡
JP2020046637A (ja) * 2018-09-21 2020-03-26 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
JP2020141896A (ja) * 2019-03-07 2020-09-10 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び医療用観察システム

Similar Documents

Publication Publication Date Title
CN107847107B (zh) 医疗用观察装置与医疗用观察方法
JP7095693B2 (ja) 医療用観察システム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
CN113518944A (zh) 成像装置和开关
WO2017010156A1 (ja) 医療用観察装置及び医療用観察方法
CN110945399A (zh) 信号处理设备、成像设备、信号处理方法和程序
US20190346743A1 (en) Light emission control apparatus, light emission control method, program, light emission apparatus, and imaging apparatus
JPH09266882A (ja) 内視鏡装置
WO2023145480A1 (ja) 医療撮像システム、制御方法、及びプログラム
US20220182555A1 (en) Image capture apparatus, image capture method, and program
EP3761637B1 (en) Video-signal-processing device, video-signal-processing method, and imaging device
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
EP3598732A1 (en) Imaging device, video signal processing device, and video signal processing method
JP7452177B2 (ja) 医療用観察システム、制御装置、制御方法、および撮像装置
US20210258456A1 (en) Interchangeable lens, imaging apparatus, and rotation detection apparatus
WO2021261236A1 (ja) 医療用観察システム、画像処理方法、およびプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法
US20240016364A1 (en) Surgery system, surgery control device, control method, and program
EP3982624A1 (en) Image processing device, image processing method, and program
JPH11318819A (ja) 内視鏡手術システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23746694

Country of ref document: EP

Kind code of ref document: A1