WO2016185952A1 - 制御装置及び医療用撮像システム - Google Patents

制御装置及び医療用撮像システム Download PDF

Info

Publication number
WO2016185952A1
WO2016185952A1 PCT/JP2016/063931 JP2016063931W WO2016185952A1 WO 2016185952 A1 WO2016185952 A1 WO 2016185952A1 JP 2016063931 W JP2016063931 W JP 2016063931W WO 2016185952 A1 WO2016185952 A1 WO 2016185952A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
optical member
autofocus
control device
autofocus operation
Prior art date
Application number
PCT/JP2016/063931
Other languages
English (en)
French (fr)
Inventor
栄 岡崎
弘高 平野
敬裕 山元
Original Assignee
ソニー株式会社
ソニー・オリンパスメディカルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニー・オリンパスメディカルソリューションズ株式会社 filed Critical ソニー株式会社
Priority to EP16796346.1A priority Critical patent/EP3282296B1/en
Priority to US15/564,928 priority patent/US10278566B2/en
Priority to JP2017519139A priority patent/JP6758287B2/ja
Publication of WO2016185952A1 publication Critical patent/WO2016185952A1/ja
Priority to US16/365,226 priority patent/US10912450B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure relates to a control device and a medical imaging system.
  • An endoscope system and a microscope system are known as systems for photographing a living tissue in order to observe the living tissue of a patient during surgery or examination.
  • Some imaging systems include an autofocus (AF) function that automatically focuses on a subject.
  • AF autofocus
  • Patent Document 1 a change in the amount of light from a subject is detected, and when the change in the amount of light is within a predetermined range, the optical system is driven to perform an AF operation.
  • a microscope system is disclosed that moves an optical system to an initial position without performing an AF operation when out of range.
  • the present disclosure proposes a new and improved control device and medical imaging system that can further improve user convenience.
  • an autofocus control unit that performs an autofocus operation by moving at least one optical member, and an auto that determines whether or not focusing on a living tissue that is a subject is possible by the autofocus operation.
  • a focus operation determining unit and when the autofocus operation determining unit determines that the subject cannot be focused by the autofocus operation, the autofocus control unit includes the at least one optical member. Is provided to a predicted focus position that is set in advance according to the shooting application.
  • an imaging element that captures a biological tissue that is a subject, and the light from the subject is condensed on the imaging element, and at least one optical member is on the optical axis for the focusing operation.
  • An optical system configured to be movable, an autofocus control unit that executes an autofocus operation by moving the at least one optical member, and whether or not the subject can be focused by the autofocus operation.
  • An autofocus operation determining unit for determining, and when the autofocus operation determining unit determines that the subject cannot be focused by the autofocus operation, the autofocus control unit includes the at least one autofocus control unit.
  • a medical imaging system that moves an optical member to a predicted in-focus position that is set in advance in accordance with an imaging application. There is provided.
  • At least one optical member for example, a focus lens
  • the position of the at least one optical member that is focused on the subject at the subject distance can be set based on the subject distance assumed according to the purpose of shooting. Therefore, when the at least one optical member moves to the predicted in-focus position, an image that is relatively in focus with respect to the biological tissue that is the subject can be obtained. Therefore, the surgeon can perform the surgery or examination as it is without performing additional work such as focusing, so that the convenience of the surgeon can be further improved.
  • a user who performs various operations on the imaging system will be referred to as an operator for convenience.
  • the description does not limit the user who uses the imaging system, and various operations on the imaging system may be executed by any user such as another medical staff.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to the present embodiment.
  • the imaging system 1 includes an imaging device 10 and a control device 20 that performs various signal processing related to the operation of the imaging device 10.
  • the imaging system 1 is a medical imaging system 1 and aims at imaging a patient's biological tissue during surgery or examination.
  • the imaging system 1 can be, for example, an endoscope system or a microscope system.
  • an endoscope system a living tissue in a body cavity is imaged by an endoscope inserted into the body cavity of a patient at the time of surgery or examination.
  • a microscope unit for example, an optical system and an imaging device are mounted in a lens barrel supported above a surgical unit by a support arm or the like at the time of laparotomy or craniotomy. Department is filmed.
  • the surgeon can perform an operation or an examination while referring to an image of an operation part or an examination site taken by an endoscope or a microscope part.
  • FIG. 1 illustrates a configuration corresponding to an endoscope system as an example of the imaging system 1.
  • the imaging device 10 corresponds to a camera head
  • the control device 20 corresponds to a camera control unit (CCU: Camera Control Unit).
  • the imaging device 10 and the control device 20 are connected by an optical fiber and / or an electric signal cable, and can transmit and receive various types of information using an optical signal and / or an electric signal.
  • the imaging system 1 includes a general endoscope system such as an endoscope or a light source device that supplies illumination light applied to a living tissue of a patient who is a subject at the time of photographing to the endoscope.
  • a general endoscope system such as an endoscope or a light source device that supplies illumination light applied to a living tissue of a patient who is a subject at the time of photographing to the endoscope.
  • Various configurations can be provided.
  • the small diameter insertion part of the endoscope is inserted into the patient's body cavity.
  • An illumination window is provided at the distal end of the insertion portion of the endoscope, and illumination light supplied from the light source device is emitted from the illumination window to the subject.
  • An observation window for capturing reflected light (observation light) from the subject by the illumination light is also provided at the distal end of the insertion portion of the endoscope, and the observation light captured from the observation window is transmitted to the endoscope mirror.
  • the light guide member provided inside the tube is guided to the proximal end of the endoscope.
  • An imaging device 10 that is, a camera head
  • observation light is condensed on an imaging element 105 provided in the imaging device 10 described later, thereby capturing a subject image. Is done.
  • the configurations of the imaging device 10 and the control device 20 will be described in more detail. First, the configuration of the imaging device 10 will be described.
  • the imaging apparatus 10 includes an optical system 101 and an imaging element 105. Further, the imaging apparatus 10 includes a zoom lens driving unit 107, a focus lens driving unit 111, and an imaging element driving unit 115 as functions thereof.
  • the optical system 101 condenses the observation light guided through the endoscope on the image sensor 105.
  • the optical system 101 includes a zoom lens 102 and a focus lens 103.
  • the optical system 101 may include various optical members such as other lenses and filters.
  • the type and number of optical members constituting the optical system 101, the optical characteristics of each optical member, and the like are adjusted as appropriate so that a subject image is formed on the light receiving surface of the image sensor 105 by the optical system 101. .
  • the zoom lens 102 is a lens for adjusting the magnification of the optical system 101.
  • the zoom lens 102 is configured to be movable on the optical axis, and the magnification of the optical system 101 is adjusted by controlling the position of the zoom lens 102 on the optical axis.
  • the zoom lens 102 is an example of an optical member for adjusting the magnification of the optical system 101.
  • the magnification of the optical system 101 may be adjusted by adjusting the position on the optical axis of at least one optical member included in the optical system 101, and the optical system 101 can be moved to adjust the magnification.
  • the number and types of optical members configured in the above are not limited.
  • the focus lens 103 is a lens for adjusting the focusing distance of the optical system 101.
  • the focus lens 103 is configured to be movable on the optical axis, and the focus distance of the optical system 101 is adjusted by controlling the position of the focus lens 103 on the optical axis.
  • the focus lens 103 is an example of an optical member for adjusting the focusing distance of the optical system 101. In the present embodiment, it is only necessary to adjust the focus distance of the optical system 101 by adjusting the position on the optical axis of at least one optical member included in the optical system 101. Therefore, the number and types of optical members configured to be movable are not limited.
  • the image sensor 105 captures the subject by receiving the observation light on its light receiving surface.
  • the imaging element 105 has a light receiving surface in which light receiving elements such as photodiodes are arranged, and receives an observation light on the light receiving surface, thereby photoelectrically converting an electrical signal corresponding to the observation light. That is, an imaging signal that is an electrical signal corresponding to the subject image is acquired.
  • the configuration of the imaging device 105 is not limited, and various known imaging devices such as a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor are used as the imaging device 105. Good.
  • the imaging signal acquired by the imaging element 105 is transmitted to the imaging signal processing unit 117 of the control device 20 described later.
  • the zoom lens driving unit 107 includes, for example, a motor and a driver circuit that supplies a driving current to the motor, and moves the zoom lens 102 along the optical axis.
  • the operation of the zoom lens drive unit 107 is controlled by a zoom lens drive control unit (not shown).
  • the zoom lens drive control unit is composed of various processors such as a CPU (Central Processing Unit) and DSP (Digital Signal Processor), or a microcomputer in which a processor and a storage element such as a memory are mounted. The operation of the drive unit 107 is controlled.
  • the zoom lens drive control unit includes an FPGA (Field-Programmable Gate Array), a driver IC (Integrated Circuit), and / or a dedicated LSI (Large-Scale Integration Integrate) (ie, ASIC (Application Specific Integrate)). It may be constituted by an integrated circuit.
  • the function of the zoom lens drive control unit can be realized by a processor configuring the zoom lens drive control unit executing arithmetic processing according to a predetermined program.
  • the zoom lens drive control unit controls the driving of the zoom lens drive unit 107 according to the movement amount of the zoom lens 102 calculated by the zoom operation control unit 127 of the control device 20 to be described later.
  • the zoom lens 102 moves by the amount of movement, and the magnification of the optical system 101 is adjusted.
  • the zoom lens driving unit 107 controls the zoom lens driving control unit 107 to control the magnification.
  • the other optical member may also move on the optical axis.
  • the configuration and function of the zoom lens driving unit 107 and the zoom lens driving control unit are the configuration of a mechanism for realizing a zoom function that is mounted on a general imaging device (for example, a camera head of an endoscope system). And may be similar to function. Accordingly, a detailed description of the configuration and functions of the zoom lens driving unit 107 and the zoom lens driving control unit is omitted here.
  • the focus lens driving unit 111 includes, for example, a motor and a driver circuit that supplies a driving current to the motor, and moves the focus lens 103 along the optical axis.
  • the operation of the focus lens drive unit 111 is controlled by a focus lens drive control unit (not shown).
  • the focus lens drive control unit is configured by various processors such as a CPU and a DSP, or a microcomputer, and controls the operation of the focus lens drive unit 111.
  • the focus lens drive control unit may be configured by various integrated circuits such as an FPGA, a driver IC, and / or a dedicated LSI (ie, ASIC).
  • the function of the focus lens drive control unit can be realized by a processor configuring the focus lens drive control unit executing arithmetic processing according to a predetermined program.
  • the imaging system 1 has an autofocus (AF) function.
  • the focus lens drive control unit drives the focus lens drive unit 111 according to the movement amount of the focus lens 103 calculated according to a predetermined AF method by an autofocus control unit 118 (AF control unit 118) of the control device 20 described later.
  • AF control unit 118 autofocus control unit 118
  • the focus lens 103 is moved by the amount of the movement, and the focusing distance of the optical system 101 is adjusted.
  • the focus lens driving unit is controlled by the focus lens driving control unit.
  • the other optical member may also move on the optical axis.
  • the configuration and function of the focus lens driving unit 111 and the focus lens drive control unit are the configuration of a mechanism for realizing an AF function mounted on a general imaging device (for example, a camera head of an endoscope device). And may be similar to function. Therefore, a detailed description of the configuration and functions of the focus lens drive unit 111 and the focus lens drive control unit is omitted here.
  • the image sensor driving unit 115 corresponds to a driver for driving the image sensor 105.
  • the imaging element driving unit 115 supplies a driving signal (a signal for driving a transistor or the like mounted on the imaging element 105) to the imaging element 105 at a predetermined timing. An operation such as a reset operation is executed at a predetermined timing to acquire an imaging signal corresponding to the subject image.
  • the imaging device drive control unit that controls the operation of the imaging device driving unit 115 may be provided in the imaging device 10 or the control device 20.
  • the image sensor drive control unit is configured by various processors such as a CPU and a DSP, a microcomputer, and the like, and instructs the image sensor drive unit 115 to supply the drive signal to the image sensor 105.
  • the drive of the image sensor 105 is controlled via the drive unit 115.
  • the function of the image sensor drive control unit can be realized by a processor configuring the image sensor drive control unit executing arithmetic processing according to a predetermined program.
  • the start and end of imaging can be controlled according to instructions from the operator via an input device (not shown) such as a switch.
  • the imaging system 1 is provided with an input device for inputting an instruction signal to start imaging, and in accordance with an operator's instruction via the input device, the imaging element drive control unit By controlling the driving of the image sensor 105, the start and end of imaging can be executed.
  • the configurations and functions of the image sensor driving unit 115 and the image sensor drive control unit realize a subject imaging function using an image sensor that is mounted on a general imaging device (for example, a camera head of an endoscope apparatus). It may be the same as the structure and function of the mechanism. Therefore, a detailed description of the configuration and functions of the image sensor drive unit 115 and the image sensor drive control unit is omitted here.
  • the configuration corresponding to the zoom lens drive control unit, the focus lens drive control unit, and / or the image sensor drive control unit described above may be mounted on the imaging device 10 or the control device 20.
  • the control device 20 is provided with a connector (not shown) to which an optical fiber and / or an electric signal cable for exchanging various types of information with the imaging device 10 is connected.
  • the connector may be configured to be capable of mounting an integrated circuit that executes various types of information processing in the connector, and corresponds to the zoom lens drive control unit, the focus lens drive control unit, and / or the image sensor drive control unit.
  • the configuration may be mounted within the connector.
  • the configuration of the imaging device 10 has been described above. However, the configuration of the imaging device 10 is not limited to such an example.
  • the imaging apparatus 10 includes at least an imaging element 105 and an optical system 101 for condensing observation light on the imaging element 105, and at least included in the optical system 101 corresponding to the AF function. It is sufficient that one optical member is configured to be drivable, and a specific device configuration of the imaging device 10 may be arbitrary. As the imaging device 10, various known configurations may be applied.
  • the control device 20 includes an imaging signal processing unit 117, an AF control unit 118, an AF operation determination unit 125, and a zoom operation control unit 127 as functions thereof.
  • control device 20 corresponds to, for example, a CCU, and includes various processors and storage elements such as a memory. Each function of the control device 20 described above is realized by a processor constituting the control device 20 performing arithmetic processing according to a predetermined program.
  • the zoom operation control unit 127 performs various controls related to the zoom operation of the imaging system 1. Specifically, an instruction signal (zoom instruction signal) for performing a zoom operation can be input to the imaging system 1 by an operator.
  • the zoom instruction signal is input via various input devices (not shown) provided in the imaging system 1 such as a switch.
  • the zoom instruction signal includes an instruction for magnification, and the zoom operation control unit 127 determines the amount of movement of the zoom lens 102 that can realize the instructed magnification based on the zoom instruction signal. Information about the determined movement amount is transmitted to a zoom lens drive control unit (not shown).
  • the zoom lens drive control unit moves the zoom lens 102 by the determined amount of movement via the zoom lens drive unit 107, so that the magnification of the optical system 101 is adjusted according to the operator's instruction. If the optical member other than the zoom lens 102 is configured to be movable in order to adjust the magnification of the optical system 101, the zoom operation control unit 127 moves on the optical axis of the other optical member. The amount of movement may also be determined.
  • the function of the zoom operation control unit 127 may be the same as the function related to the magnification adjustment that is installed in a general existing imaging system, and thus a more detailed description is omitted here.
  • the imaging signal processing unit 117 performs various signal processing for displaying a subject image on a display device (not shown) such as gamma correction processing and white balance adjustment processing on the imaging signal acquired by the imaging device 105. I do.
  • An imaging signal (hereinafter referred to as a video signal) that has been subjected to various types of signal processing by the imaging signal processing unit 117 is transmitted to the display device, and the video of the subject is projected on the display device based on the video signal. It is. The surgeon can observe the state of the living tissue as the subject through the display device.
  • the imaging signal processing unit 117 also provides the video signal to an AF frame determination unit 119 of the AF control unit 118 described later.
  • the AF control unit 118 performs various controls related to the AF operation of the imaging apparatus 10.
  • FIG. 1 a functional configuration of the AF control unit 118 corresponding to the case where the AF method is a contrast method is illustrated.
  • the contrast method is to search the position of the optical member where the contrast of the subject image is maximized while moving at least one optical member (the focus lens 103 in the illustrated example) included in the optical system 101, and the contrast is This is a method of performing a focusing operation by moving the optical member to a maximum position.
  • the AF method applied to the imaging system 1 is not limited. As the AF method, various known methods may be used. However, in the present embodiment, the passive AF method can be suitably applied to the imaging system 1.
  • the AF method is roughly classified into two types, an active method and a passive method.
  • the active method measures the distance to the subject by, for example, irradiating the subject with near-infrared light and receiving the reflected light, and optically focuses the subject on the basis of the measured distance.
  • This is a method for performing a focusing operation by moving an optical member constituting the system.
  • the passive method does not emit distance measuring light or the like, but moves the optical member constituting the optical system so that the subject is focused based on information obtained from the photographed subject image. This is a method for performing a focusing operation.
  • the imaging system 1 may be, for example, an endoscope system, but in the endoscope system, the active method is difficult to adopt as the AF method. This is because, in the active method, it is necessary to provide a distance measuring structure at the distal end of the endoscope, which may increase the size of the distal end of the endoscope and increase the burden on the patient's body. It is. Even in the case where the imaging system 1 is a microscope system, it is not preferable that the configuration of the microscope unit that images the surgical part is enlarged in order to secure a working space for the operator. Therefore, in the present embodiment, the passive method can be suitably applied as the AF method in the imaging system 1.
  • a phase difference method In addition to the contrast method described above, various methods generally called a phase difference method, a depth map method, and a triangulation method are known as passive AF methods. Each of these methods performs a focusing operation based on information obtained from a photographed subject image.
  • the AF method that makes it difficult to perform the focusing operation normally when the subject image has a low contrast can be regarded as a method in which the AF operation is executed based on the contrast.
  • a contrast-based method Since many of the passive AF methods are based on contrast, it can be said that the present embodiment is intended for the imaging system 1 to which a contrast-based method is applied as the AF method.
  • the AF control unit 118 includes an AF frame determination unit 119, a contrast detection unit 121, and a focus lens movement amount determination unit 123 as its functions.
  • the AF control unit 118 executes a series of processes related to the AF operation in accordance with an instruction signal (AF instruction signal) for performing the AF operation input by the operator.
  • the AF instruction signal can be input via various input devices (not shown) provided in the imaging system 1 such as a switch.
  • the AF frame determination unit 119 generates a subject image based on the video signal obtained by the imaging signal processing unit 117, and selects an area (AF frame) to be focused when performing an AF operation from the subject image. ).
  • the AF frame determination unit 119 provides information about the determined AF frame to the contrast detection unit 121.
  • the contrast detection unit 121 detects the contrast of the area corresponding to the AF frame determined by the AF frame determination unit 119 in the subject image.
  • the AF operation is performed by regarding the contrast of the area corresponding to the AF frame as the contrast of the subject image.
  • the contrast detection unit 121 provides information about the contrast of the area corresponding to the detected AF frame (that is, the contrast of the subject image) to the focus lens movement amount determination unit 123.
  • the focus lens movement amount determination unit 123 determines the movement amount of the focus lens 103 based on information about the contrast of the subject image detected by the contrast detection unit 121. Specifically, the focus lens movement amount determination unit 123 sets the focus lens by a predetermined distance in a direction in which the contrast becomes larger based on the contrast of the subject image in the previous step and the contrast of the subject image in the current step. The amount of movement of the focus lens 103 is determined so that 103 moves on the optical axis. In the first step (when there is no information about the contrast of the subject image in the previous step), the focus lens 103 is moved so as to move a predetermined distance in a predetermined direction set in advance. It is only necessary to determine the amount of movement.
  • the focus lens drive control unit moves the focus lens 103 through the focus lens drive unit 111 by the determined amount of movement.
  • the AF operation in the contrast method is executed by repeatedly executing the series of processes described above.
  • the image signal processing unit 117 generates a video signal based on the image signal obtained by the image sensor 105 after the focus lens 103 has moved.
  • the AF frame determination unit 119, the contrast detection unit 121, and the focus lens movement amount determination unit 123 execute the above-described process again, and the focus lens drive control unit performs the focus lens 103 according to the determined movement amount. Moved.
  • the focus lens 103 is finally moved to a position where the contrast of the subject image is maximized, and an image focused on the subject is obtained.
  • the process related to the operation ends.
  • the focus lens movement amount determination unit 123 includes the other optical member. The amount of movement on the optical axis may also be determined.
  • the series of processing (AF frame determination processing, contrast detection processing, and movement amount determination processing of the focus lens 103) in the AF control unit 118 described above is performed in a general existing contrast AF operation. It may be the same as a series of processes.
  • various known methods used in the AF operation in the contrast method may be used, and thus detailed description thereof is omitted here.
  • Japanese Patent No. 2748637 which is a prior application by the applicant of the present application, can be referred to.
  • the AF control unit 118 performs AF when shooting a low-contrast subject. Operation may not be performed normally.
  • FIG. 2 and 3 are explanatory views for explaining the concept of the AF operation in the contrast method.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally executed.
  • FIG. 2 shows an example of the contrast of the subject image when the AF operation in the contrast method can be normally
  • a biological tissue such as a blood, a viscera, and a bone of a patient is imaged.
  • these biological tissues often have a low contrast, and when performing an AF operation using a contrast-based method, it may be difficult to perform the AF operation normally.
  • a slight increase or decrease in contrast caused by noise or the like may cause a situation where an optical member such as a focus lens is moved to an incorrect position that is not the original focus position.
  • the contrast method if the contrast method is used, the position where the contrast is maximized (that is, the focus position) cannot be determined, and the optical member such as the focus lens continues to move on the optical axis. And it may be difficult to perform the inspection smoothly.
  • failure of the AF operation to be performed normally in the imaging system can be a great stress for the surgeon.
  • Patent Document 1 For such a situation, as an existing technique, for example, in Patent Document 1 described above, when it is determined that an AF operation cannot be normally performed in a microscope system equipped with an AF function, A microscope system that stops the AF operation and moves the optical system to an initial position is disclosed. However, in the technique described in Patent Document 1, when it is determined that the AF operation cannot be normally performed, the optical system is returned to the initial position, and as a result, the focus is not achieved. There is a high possibility that images will be obtained. Therefore, in order to perform surgery or examination, it is necessary for the surgeon to manually perform focusing. Therefore, it cannot be said that a system that is highly convenient for the surgeon has been realized.
  • the AF operation determination unit 125 determines whether or not the AF operation can be normally executed, that is, whether or not the subject can be focused by the AF operation.
  • the processing related to the AF operation in the AF control unit 118 is stopped, and the focus lens 103 is set at a predetermined position that is preset according to the shooting application. Move.
  • the predetermined position the position of the focus lens 103 can be set so that the subject is focused on the subject distance based on the subject distance assumed in accordance with the shooting application. Therefore, an image obtained after the focus lens 103 is moved to the position is highly likely to be an image focused on a living tissue as a subject.
  • the predetermined position set in advance according to the shooting application is also referred to as a predicted focus position.
  • the focus lens 103 moves to the predicted in-focus position, so that the living tissue that is the subject is more focused. A clear image can be obtained. Therefore, the surgeon can perform the operation or examination as it is without performing additional work such as focusing. Therefore, according to this embodiment, the imaging system 1 with higher convenience can be provided.
  • the AF operation determination unit 125 determines whether or not the AF operation can be normally performed, that is, whether or not the subject can be focused by the AF operation (the focus lens 103 that focuses on the subject by the AF operation). Whether or not the position can be determined). It should be noted that the AF operation determination process by the AF operation determination unit 125 can be executed at predetermined intervals at any time while the AF operation is being executed.
  • the AF operation determination unit 125 causes the final position of the focus lens 103 during the AF operation (that is, the contrast of the subject image is maximized).
  • a predetermined time elapses without determining the position of the focus lens 103, it can be determined that the subject cannot be focused by the AF operation.
  • the AF operation determination unit 125 can determine that the subject cannot be focused by the AF operation when the focus lens 103 reaches the end point of the movable range a predetermined number of times during the AF operation.
  • these determination criteria may be used in combination.
  • the focus lens 103 reaches the end point of the movable range a predetermined number of times.
  • the AF operation determination unit 125 may determine that the subject cannot be focused by the AF operation.
  • the AF operation determination unit 125 uses whether or not the focus lens 103 has reached the end of the movable range a predetermined number of times during the AF operation as a determination criterion for the AF operation. It may be whether the focus lens 103 has reached the end point of a specific range included in the movable range during the AF operation a predetermined number of times.
  • the AF operation determination unit 125 performs normal AF operation depending on whether or not the focus lens 103 has moved a part of the movable range in a state where the focus lens 103 cannot find an appropriate focus position during the AF operation. It may be determined whether or not it can be executed.
  • the AF operation determination unit 125 can be provided with information about the determined movement amount of the focus lens 103 and information about whether or not the AF operation has ended from the focus lens movement amount determination unit 123.
  • the AF operation determination unit 125 can execute the AF operation determination process as described above based on these pieces of information.
  • the criterion of the AF operation determination process by the AF operation determination unit 125 is not limited to this example.
  • various known determination criteria that are generally used in the AF operation using the contrast method may be used as a criterion for determining whether or not the AF operation can be normally performed.
  • the AF operation determination unit 125 can normally execute the AF operation by a method according to the applied AF method. It may be determined as appropriate. Various methods are generally known as a method for determining whether or not the AF operation can be normally executed. For example, in various existing imaging apparatuses to which a contrast-based method is applied as an AF method, various methods for determining that a subject has a so-called low contrast have been proposed. The AF operation determination unit 125 may perform determination processing by various known methods based on the applied AF method.
  • the AF control unit 118 continues the series of processes related to the AF operation described above, that is, the AF operation is performed as it is. Operation continues.
  • the AF operation determination unit 125 determines that the subject cannot be focused by the AF operation
  • the AF operation determination unit 125 provides information to that effect to the focus lens movement amount determination unit 123.
  • the processing related to the AF operation in the AF control unit 118 is stopped, and the focus lens movement amount determination unit 123 determines the movement amount of the focus lens 103 so that the focus lens 103 moves to the predicted in-focus position.
  • the focus lens 103 is moved according to the movement amount via the focus lens drive control unit (not shown) and the focus lens drive unit 111.
  • the position of the focus lens 103 that focuses on the subject at the subject distance can be set based on the subject distance assumed in accordance with the shooting application. Therefore, when the focus lens 103 moves to the predicted in-focus position, an image that is relatively focused on the biological tissue that is the subject can be obtained.
  • the “imaging use” may include an operation method, a medical department, a surgeon's preference and the like. If the surgical method and / or clinical department is determined, it is possible to predict with high probability what kind of biological tissue is observed at what subject distance, so the predicted focus position based on the surgical method and / or clinical department By setting this, it is possible to set a more appropriate position as the predicted in-focus position. Even when observing the same living tissue, the optimal subject distance may vary depending on the operator's preference. Therefore, the imaging system 1 that is more user-friendly for the surgeon can be realized by setting the predicted in-focus position according to the surgeon who observes the surgical site using the imaging system 1.
  • the predicted in-focus position may be set according to the optical characteristics of the optical system attached to the imaging device 10. For example, in the imaging system 1, it is assumed that different types of endoscopes are replaced and used in accordance with the shooting application (such as a technique). In general, in an endoscope, a subject distance recommended for use is often set according to the type, that is, the optical system of the endoscope. Therefore, when setting the predicted in-focus position, based on the type of endoscope attached to the imaging apparatus 10, the subject distance that can be set according to the optical system of the endoscope is taken into consideration. The predicted focus position may be set so that it is in focus.
  • the predicted in-focus position may be set in consideration of the optical characteristics of the other optical systems.
  • the imaging system 1 is a microscope system and an additional optical system is attached to a microscope unit that can correspond to the imaging device 10, depending on the optical characteristics of the additional optical system.
  • a predicted in-focus position may be set.
  • the predicted in-focus position is operated by the operator depending on factors that can determine the predicted in-focus position as described above (such as the surgical procedure, clinical department, operator preference, and endoscope optical system). It may be set manually before. Alternatively, for example, if the predicted in-focus position can be set according to the type of endoscope, the imaging system 1 may be provided with a function of detecting the type of attached endoscope. Based on the detection result of the function, the predicted in-focus position may be automatically set according to the type of endoscope.
  • the configuration of the imaging system 1 according to the present embodiment has been described above with reference to FIG. 1 is merely an example, and the imaging system 1 is only required to execute the processing described above as the entire system, and the specific device configuration may be arbitrary.
  • some of the functions installed in the imaging apparatus 10 in FIG. 1 may be installed in the control apparatus 20, and conversely, some of the functions installed in the control apparatus 20 are imaged. It may be mounted on the device 10.
  • FIG. 1 illustrates a configuration corresponding to an endoscope system as an example of the imaging system 1, but in this embodiment, the imaging system 1 may be a microscope system. If the imaging system 1 is a microscope system, the imaging system 1 can be configured by mounting all the illustrated configurations in one apparatus.
  • a computer program for realizing the functions of the imaging system 1 according to the present embodiment as described above, and to mount the computer program on an information processing apparatus such as a PC (Personal Computer).
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of the imaging method according to the present embodiment.
  • FIG. 4 illustrates a processing procedure in the focusing operation process among a series of processes in the imaging method according to the present embodiment.
  • the series of processing shown in FIG. 4 is processing that can be executed when an AF instruction signal is input by an operator, for example.
  • a series of processing shown in FIG. 4 is executed while the video signal is being acquired, so that an image focused on the subject can be obtained. . That is, prior to the processing in step S101 shown in FIG. 4, processing for obtaining a video signal based on the imaging signal (corresponding to processing executed by the imaging signal processing unit 117 shown in FIG. 1) is executed.
  • an AF operation is executed with an input of an AF instruction signal as a trigger (step S101).
  • step S103 a process of searching for the position of the focus lens 103 where the contrast of the subject image is maximized is executed while moving the focus lens 103.
  • This processing corresponds to the processing executed by the AF control unit 118, the focus lens drive control unit (not shown), and the focus lens drive unit 111 shown in FIG.
  • the present embodiment is not limited to such an example, and in step S103, AF operations based on other various AF methods may be executed.
  • step S103 it is determined whether or not the AF operation can be normally executed during the AF operation, that is, whether or not the subject can be focused by the AF operation (step S103). Specifically, in step S103, it can be determined whether or not the subject can be focused by the AF operation by a method according to the method of the AF operation executed in step S101.
  • step S103 when a predetermined time has passed without determining the position of the focus lens 103 that maximizes the contrast of the subject image during the AF operation, or When the focus lens 103 reaches the end point of the movable range during the AF operation for a predetermined number of times, it is determined that the subject cannot be focused by the AF operation. In other cases, the focus operation is performed on the subject by the AF operation. It is determined that focusing is possible.
  • step S103 determination processing for determining whether or not to perform an AF operation that is generally performed in various AF methods may be performed.
  • the process shown in step S103 corresponds to the process executed by the AF operation determination unit 125 shown in FIG.
  • step S103 The determination processing in step S103 can be executed at any time at predetermined intervals during the AF operation. If it is determined in step S103 that the subject can be focused by the AF operation, the process returns to step S101 and the AF operation is continued. Then, after a predetermined interval, in step S103, it is determined again whether or not the subject can be focused by the AF operation.
  • the AF operation is normally completed while the processes in steps S101 and S103 are repeatedly performed, that is, when the subject is accurately focused, the imaging method according to the present embodiment is used. A series of processing is also terminated.
  • step S105 the focus lens 103 is moved to a predetermined position (predicted focus position) set in advance according to the shooting application.
  • a predetermined position predicted focus position
  • the position of the focus lens 103 that can focus on the subject at the subject distance can be set based on the subject distance assumed according to the shooting application.
  • the process shown in step S105 corresponds to the process executed by the focus lens movement amount determination unit 123, the focus lens drive control unit (not shown), and the focus lens drive unit 111 shown in FIG.
  • step S105 When the focus lens 103 is moved to the predicted in-focus position in step S105, a series of processes in the imaging method according to the present embodiment ends. As described above, when it is determined that the AF operation cannot be normally performed, the focus lens 103 moves to the predicted in-focus position, so that the operator does not perform additional work for focusing. However, a clear and relatively focused video is acquired, and the convenience for the surgeon can be improved.
  • phase difference method (1-3. When the phase difference method is used) The case where the phase difference method is used as the AF method in the imaging system 1 shown in FIG. 1 will be described.
  • the distance to the subject is calculated based on the image interval between two subject images obtained by forming the observation light at different positions on the light receiving surface, and the calculated distance from the subject is calculated.
  • the focusing operation is performed by moving the focus lens 103 so that the subject is in focus based on the above.
  • FIG. 5 and 6 are explanatory diagrams for explaining the concept of the AF operation in the phase difference method.
  • FIG. 5 shows an example of the contrast of the subject image when the AF operation in the phase difference method can be normally executed.
  • the image interval between the two subject images can be detected relatively clearly, and the distance to the subject is calculated based on the image interval. And an AF operation can be performed.
  • the function related to the AF operation in the AF control unit 118 and the determination reference in the AF operation determination unit 125 are changed in the configuration of the imaging system 1 shown in FIG. Corresponding to things.
  • the AF control unit 118 illustrated in FIG. 1 functions as a process related to an AF operation, a process of acquiring an image interval between two subject images, A process of calculating the distance to the subject based on the interval, and a process of calculating the amount of movement of the focus lens 103 to the position where the subject is in focus based on the calculated distance to the subject.
  • the AF operation determination unit 125 determines whether or not the subject can be focused by the AF operation by various methods generally used in the phase difference AF operation.
  • another imaging element may be provided for distance measurement in the imaging apparatus 10 in addition to the imaging element 105 for photographing.
  • An AF operation may be performed based on the obtained two subject images.
  • a distance measurement area is secured in a part of the light receiving surface of the image sensor 105, and an AF operation is performed based on two subject images obtained on the light receiving surface corresponding to the distance measurement area. It may be done.
  • the configuration of the imaging apparatus 10 can be simplified.
  • the depth map method is an AF method using a space recognition technique, and calculates the distance to the subject based on the degree of blur (defocus level) of the subject image, and based on the calculated distance to the subject. This is a method of performing a focusing operation by moving the focus lens 103 so that the subject is in focus.
  • the function related to the AF operation in the AF control unit 118 and the determination criterion in the AF operation determination unit 125 are changed in the configuration of the imaging system 1 shown in FIG. Corresponds to things.
  • the AF control unit 118 shown in FIG. A process of calculating the distance to the subject based on the degree of defocusing of the image, and the amount of movement of the focus lens 103 to the position where the subject is in focus is calculated based on the calculated distance to the subject. Process.
  • the AF operation determination unit 125 determines whether or not the subject can be focused by the AF operation by various methods generally used in the AF operation using the depth map method.
  • the triangulation method is an AF method using 3D stereogram technology, and is based on parallax information obtained from two subject images obtained by forming observation light at different positions on the light receiving surface.
  • the distance to the subject is calculated based on the principle of triangulation, and the focusing lens 103 is moved based on the calculated distance to the subject so that the focus is focused on the subject. That is.
  • the imaging system is configured to move the focus lens to the predicted focus position when it is determined that the subject cannot be focused by the AF operation. An imaging system that is more convenient for a person can be realized.
  • the function related to the AF operation in the AF control unit 118 and the determination criterion in the AF operation determination unit 125 are changed in the configuration of the imaging system 1 shown in FIG. Corresponds to that.
  • the AF control unit 118 illustrated in FIG. 1 acquires a parallax information from two subject images as a process related to the AF operation, and the parallax.
  • Processing for calculating the distance to the subject based on the principle of triangulation based on the information and the baseline distance (the distance between the light receiving elements corresponding to the imaging positions of the two subject images), and the calculated subject A process of calculating the amount of movement of the focus lens 103 to a position where the subject is in focus based on the distance is executed. Further, for example, the AF operation determination unit 125 determines whether or not the subject can be focused by the AF operation by various methods generally used in the AF operation by the triangulation method.
  • another imaging element may be provided for distance measurement in the imaging device 10 in addition to the imaging element 105 for photographing.
  • An AF operation may be performed based on the two obtained subject images.
  • a distance measurement area is secured in a part of the light receiving surface of the image sensor 105, and an AF operation is performed based on two subject images obtained on the light receiving surface corresponding to the distance measurement area. It may be done.
  • the configuration of the imaging apparatus 10 can be simplified.
  • An autofocus control unit that executes an autofocus operation by moving at least one optical member, and an autofocus operation determination that determines whether or not focusing on a living tissue that is a subject is possible by the autofocus operation. And when the autofocus operation determining unit determines that the subject cannot be focused by the autofocus operation, the autofocus control unit captures the at least one optical member.
  • a control device that moves to a predicted in-focus position that is preset according to the application.
  • the control device according to (1), wherein the predicted in-focus position is set according to a surgical technique in which imaging of the subject is performed.
  • the control device according to (1) or (2), wherein the predicted in-focus position is set according to a medical department where the subject is photographed.
  • the control device according to any one of (1) to (3), wherein the predicted in-focus position can be set according to an operator who observes the photographed subject.
  • the predicted focus position is set according to any one of (1) to (4), which is set according to an optical characteristic of an optical system attached to an imaging device connected to the control device.
  • Control device (6)
  • the control device according to any one of (1) to (5), wherein the autofocus operation is executed based on a contrast of a subject image.
  • the autofocus operation searches for a position where the contrast of the subject image is maximized while moving the at least one optical member, and moves the at least one optical member to a position where the contrast is maximized.
  • the control device which is an operation of performing focusing by the above.
  • the autofocus operation focuses on the subject.
  • the control device according to (7) wherein it is determined that the at least one optical member is not able to be moved, and the at least one optical member moves to the predicted in-focus position.
  • the at least one optical member moves to the predicted in-focus position.
  • the autofocus operation calculates a distance from the subject based on an image interval between two subject images obtained by forming light from the subject at different positions within the light receiving surface.
  • the control device according to (6) which is an operation of performing focusing by moving the at least one optical member based on the above.
  • the autofocus operation is an operation for calculating a distance from the subject based on the degree of defocus of the subject image, and performing focusing by moving the at least one optical member based on the distance.
  • the autofocus operation is based on the principle of triangulation based on parallax information obtained from two subject images obtained by focusing light from a subject on different positions in the light receiving surface.
  • the control device which is an operation of performing focusing by calculating a distance and moving the at least one optical member based on the distance.
  • An image sensor that captures a biological tissue as a subject, and a configuration in which light from the subject is condensed on the image sensor and at least one optical member is movable on the optical axis for a focusing operation.
  • a determination unit and when the autofocus operation determination unit determines that the subject cannot be focused by the autofocus operation, the autofocus control unit captures the at least one optical member.
  • a medical imaging system that moves to a predicted in-focus position that is preset according to the application.

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automatic Focus Adjustment (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】ユーザの利便性をより向上させることを可能にする。 【解決手段】少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、制御装置を提供する。

Description

制御装置及び医療用撮像システム
　本開示は、制御装置及び医療用撮像システムに関する。
　手術や検査の際に患者の生体組織を観察するために当該生体組織を撮影するシステムとして、内視鏡システムや顕微鏡システム（以下、撮像システムと総称する）が知られている。撮像システムにおいては、被写体に対して自動的に焦点合わせを行うオートフォーカス（ＡＦ）機能が備えられたものがある。例えば、特許文献１には、被写体からの光の光量変化を検出し、当該光量変化が所定の範囲内である場合には光学系を駆動させてＡＦ動作を実行し、当該光量変化が所定の範囲外である場合にはＡＦ動作を行わずに光学系を初期位置に移動させる顕微鏡システムが開示されている。
特開平５－２３２３７８号公報
　しかしながら、上記特許文献１に記載の技術では、光量変化が所定の範囲外である場合、すなわちＡＦ動作を正常に実行できないと判断された場合には、光学系が初期位置に移動されるだけであるため、結果的に、焦点の合っていない不鮮明な映像が得られる可能性が高い。従って、手術や検査を行うためには、手動で光学系の位置を調整する等、術者が焦点合わせのための追加的な作業を行う必要がある。上記事情に鑑みれば、ユーザにとってより利便性の高い撮像システムが求められていた。
　そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された制御装置及び医療用撮像システムを提案する。
　本開示によれば、少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、制御装置が提供される。
　また、本開示によれば、被写体である生体組織を撮影する撮像素子と、前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも１つの光学部材が光軸上を移動可能に構成される光学系と、前記少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、医療用撮像システムが提供される。
　本開示によれば、オートフォーカス動作によって前記被写体への合焦ができないと判定された場合に、オートフォーカス動作の際に移動される少なくとも１つの光学部材（例えばフォーカスレンズ等）が、撮影の用途に応じて予め設定される予測合焦位置に移動する。当該予測合焦位置としては、撮影の用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うような当該少なくとも１つの光学部材の位置が設定され得る。従って、当該少なくとも１つの光学部材が予測合焦位置に移動することにより、被写体である生体組織に対して比較的焦点の合った映像が得られることとなる。よって、術者は、焦点合わせ等の追加的な作業を行うことなく、そのまま手術や検査を実行することが可能となるため、術者の利便性をより向上させることができる。
　以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る撮像システムの一構成例を示すブロック図である。 コントラスト方式におけるＡＦ動作の概念について説明するための説明図である。 コントラスト方式におけるＡＦ動作の概念について説明するための説明図である。 本実施形態に係る撮像方法の処理手順の一例を示すフロー図である。 位相差方式におけるＡＦ動作の概念について説明するための説明図である。 位相差方式におけるＡＦ動作の概念について説明するための説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．撮像システムの構成
　２．撮像方法
　３．変形例
　　３－１．位相差方式が用いられる場合
　　３－２．デプスマップ方式が用いられる場合
　　３－３．三角測距方式が用いられる場合
　４．補足
　なお、以下では、本開示の一実施形態に係る撮像システムに対して各種の操作を行うユーザのことを、便宜的に術者と記載する。ただし、当該記載は撮像システムを使用するユーザを限定するものではなく、撮像システムに対する各種の操作は、他の医療スタッフ等、あらゆるユーザによって実行されてよい。
　（１．撮像システムの構成）
　図１を参照して、本開示の一実施形態に係る撮像システムの構成について説明する。図１は、本実施形態に係る撮像システムの一構成例を示すブロック図である。
　図１を参照すると、本実施形態に係る撮像システム１は、撮像装置１０と、当該撮像装置１０の動作に係る各種の信号処理を行う制御装置２０と、を備える。本実施形態では、撮像システム１は、医療用の撮像システム１であり、手術時や検査時に患者の生体組織を撮影することを目的としている。撮像システム１は、例えば内視鏡システムや顕微鏡システムであり得る。内視鏡システムでは、手術時又は検査時に、患者の体腔内に挿入された内視鏡によって当該体腔内の生体組織が撮影される。一方、顕微鏡システムでは、開腹手術時又は開頭手術時に、支持アーム等によって術部の上方に支持される顕微鏡部（例えば、鏡筒内に光学系及び撮像素子が搭載されて構成される）によって術部が撮影される。術者は、内視鏡又は顕微鏡部によって撮影された術部又は検査部位の映像を参照しながら、手術又は検査を行うことができる。
　図１では、撮像システム１の一例として、内視鏡システムに対応する構成を図示している。例えば、撮像装置１０はカメラヘッドに対応し、制御装置２０はカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌｌ　Ｕｎｉｔ）に対応する。撮像装置１０と制御装置２０とは、光ファイバ及び／又は電気信号ケーブルによって接続されており、光信号及び／又は電気信号によって各種の情報を送受信することができる。
　なお、図１では、本実施形態の説明のために必要な構成のみを主に図示し、その他の構成の図示を省略している。ただし、撮像システム１は、内視鏡や、撮影時に被写体である患者の生体組織に対して照射される照明光を当該内視鏡に供給する光源装置等、一般的な内視鏡システムが備える各種の構成を備え得る。
　撮影時には、内視鏡の細径の挿入部が患者の体腔内に挿入される。内視鏡の挿入部の先端には照明窓が設けられており、当該照明窓から、光源装置から供給された照明光が被写体に対して照射される。内視鏡の挿入部の先端には、当該照明光による被写体からの反射光（観察光）を取り込む観察窓も設けられており、当該観察窓から取り込まれた観察光は、内視鏡の鏡筒の内部に設けられる導光部材によって、当該内視鏡の基端まで導かれる。内視鏡の基端に撮像装置１０（すなわちカメラヘッド）が取り付けられており、観察光が、後述する撮像装置１０の内部に設けられる撮像素子１０５に集光されることにより、被写体像が撮影される。
　以下、撮像装置１０及び制御装置２０の構成についてより詳細に説明する。まず、撮像装置１０の構成について説明する。
　撮像装置１０は、光学系１０１と、撮像素子１０５と、を有する。また、撮像装置１０は、その機能として、ズームレンズ駆動部１０７と、フォーカスレンズ駆動部１１１と、撮像素子駆動部１１５と、を有する。
　光学系１０１は、内視鏡内を導光されてきた観察光を撮像素子１０５に集光する。光学系１０１は、ズームレンズ１０２及びフォーカスレンズ１０３を含む。なお、図１では、代表的にズームレンズ１０２及びフォーカスレンズ１０３のみを図示しているが、光学系１０１は、他のレンズやフィルター等、各種の光学部材を含んでもよい。光学系１０１を構成する光学部材の種類や数、各光学部材の光学特性等は、当該光学系１０１によって撮像素子１０５の受光面上に被写体像が結像されるように、適宜調整されている。
　ズームレンズ１０２は、光学系１０１の倍率を調整するためのレンズである。ズームレンズ１０２は光軸上を移動可能に構成されており、ズームレンズ１０２の光軸上での位置が制御されることにより、光学系１０１の倍率が調整される。なお、ズームレンズ１０２は、光学系１０１の倍率を調整するための光学部材の一例である。本実施形態では、光学系１０１に含まれる少なくとも１つの光学部材の光軸上での位置が調整されることにより当該光学系１０１の倍率が調整されればよく、倍率の調整のために移動可能に構成される光学部材の数及び種類は限定されない。
　フォーカスレンズ１０３は、光学系１０１の合焦距離を調整するためのレンズである。フォーカスレンズ１０３は光軸上を移動可能に構成されており、フォーカスレンズ１０３の光軸上での位置が制御されることにより、光学系１０１の合焦距離が調整される。なお、フォーカスレンズ１０３は、光学系１０１の合焦距離を調整するための光学部材の一例である。本実施形態では、光学系１０１に含まれる少なくとも１つの光学部材の光軸上での位置が調整されることにより当該光学系１０１の合焦距離が調整されればよく、合焦距離の調整のために移動可能に構成される光学部材の数及び種類は限定されない。
　撮像素子１０５は、観察光をその受光面で受光することにより、被写体を撮影する。具体的には、撮像素子１０５は、ホトダイオード等の受光素子が配列されてなる受光面を有し、当該受光面で観察光を受光することにより、光電変換により、当該観察光に対応する電気信号、すなわち被写体像に対応する電気信号である撮像信号を取得する。撮像素子１０５の構成は限定されず、撮像素子１０５としては、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の、各種の公知の撮像素子が用いられてよい。撮像素子１０５によって取得された撮像信号は、後述する制御装置２０の撮像信号処理部１１７に送信される。
　ズームレンズ駆動部１０７は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、ズームレンズ１０２を光軸に沿って移動させる。ズームレンズ駆動部１０７の動作は、図示しないズームレンズ駆動制御部によって制御される。当該ズームレンズ駆動制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等の各種のプロセッサ、又はプロセッサとメモリ等の記憶素子とがともに搭載されてなるマイコン等によって構成され、ズームレンズ駆動部１０７の動作を制御する。当該ズームレンズ駆動制御部は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ドライバＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、及び／又は専用のＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）（すなわちＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））等の各種の集積回路によって構成されてもよい。当該ズームレンズ駆動制御部の機能は、当該ズームレンズ駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
　具体的には、後述する制御装置２０のズーム動作制御部１２７によって算出されるズームレンズ１０２の移動量に従って、当該ズームレンズ駆動制御部によってズームレンズ駆動部１０７の駆動が制御されることにより、当該移動量の分だけズームレンズ１０２が移動し、光学系１０１の倍率が調整される。なお、光学系１０１の倍率の調整のためにズームレンズ１０２以外の他の光学部材も移動可能に構成される場合であれば、当該ズームレンズ駆動制御部からの制御により、ズームレンズ駆動部１０７によって、当該他の光学部材も光軸上を移動してよい。
　なお、ズームレンズ駆動部１０７及び当該ズームレンズ駆動制御部の構成及び機能は、一般的な撮像装置（例えば内視鏡システムのカメラヘッド）に搭載される、ズーム機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、ズームレンズ駆動部１０７及び当該ズームレンズ駆動制御部の構成及び機能についてのより詳細な説明は省略する。
　フォーカスレンズ駆動部１１１は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、フォーカスレンズ１０３を光軸に沿って移動させる。フォーカスレンズ駆動部１１１の動作は、図示しないフォーカスレンズ駆動制御部によって制御される。当該フォーカスレンズ駆動制御部は、ＣＰＵやＤＳＰ等の各種のプロセッサ、又はマイコン等によって構成され、フォーカスレンズ駆動部１１１の動作を制御する。当該フォーカスレンズ駆動制御部は、ＦＰＧＡ、ドライバＩＣ、及び／又は専用のＬＳＩ（すなわちＡＳＩＣ）等の各種の集積回路によって構成されてもよい。当該フォーカスレンズ駆動制御部の機能は、当該フォーカスレンズ駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
　具体的には、撮像システム１は、オートフォーカス（ＡＦ）機能を有している。後述する制御装置２０のオートフォーカス制御部１１８（ＡＦ制御部１１８）によって所定のＡＦの方式に従って算出されるフォーカスレンズ１０３の移動量に従って、当該フォーカスレンズ駆動制御部によってフォーカスレンズ駆動部１１１の駆動が制御されることにより、当該移動量の分だけフォーカスレンズ１０３が移動し、光学系１０１の合焦距離が調整される。なお、光学系１０１の合焦距離の調整のためにフォーカスレンズ１０３以外の他の光学部材も移動可能に構成される場合であれば、当該フォーカスレンズ駆動制御部からの制御により、フォーカスレンズ駆動部１１１によって、当該他の光学部材も光軸上を移動してよい。
　なお、フォーカスレンズ駆動部１１１及び当該フォーカスレンズ駆動制御部の構成及び機能は、一般的な撮像装置（例えば内視鏡装置のカメラヘッド）に搭載される、ＡＦ機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、フォーカスレンズ駆動部１１１及び当該フォーカスレンズ駆動制御部の構成及び機能についてのより詳細な説明は省略する。
　撮像素子駆動部１１５は、撮像素子１０５を駆動するためのドライバに対応する。撮像素子駆動部１１５は、所定のタイミングで撮像素子１０５に対して駆動信号（撮像素子１０５に搭載されるトランジスタ等を駆動するための信号）を供給することにより、撮像素子１０５に、撮影動作、リセット動作等の動作を所定のタイミングで実行させ、被写体像に対応する撮像信号を取得させる。なお、図示は省略するが、撮像素子駆動部１１５の動作を制御する撮像素子駆動制御部が、撮像装置１０又は制御装置２０に設けられ得る。撮像素子駆動制御部は、ＣＰＵやＤＳＰ等の各種のプロセッサ、又はマイコン等によって構成され、上記駆動信号を撮像素子１０５に供給するタイミングを撮像素子駆動部１１５に対して指示することにより、撮像素子駆動部１１５を介して、撮像素子１０５の駆動を制御する。なお、当該撮像素子駆動制御部の機能は、当該撮像素子駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
　撮像システム１では、撮影の開始及び終了は、スイッチ等の入力装置（図示せず）を介した術者による指示に従って制御され得る。具体的には、撮像システム１には、撮影を開始する旨の指示信号を入力するための入力装置が設けられており、当該入力装置を介した術者の指示に従って、上記撮像素子駆動制御部によって撮像素子１０５の駆動が制御されることにより、撮影の開始及び終了が実行され得る。
　なお、撮像素子駆動部１１５及び当該撮像素子駆動制御部の構成及び機能は、一般的な撮像装置（例えば内視鏡装置のカメラヘッド）に搭載される、撮像素子による被写体の撮影機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、撮像素子駆動部１１５及び当該撮像素子駆動制御部の構成及び機能についてのより詳細な説明を省略する。
　なお、上述したズームレンズ駆動制御部、フォーカスレンズ駆動制御部及び／又は撮像素子駆動制御部に対応する構成は、撮像装置１０に搭載されてもよいし、制御装置２０に搭載されてもよい。また、図示は省略するが、制御装置２０には、撮像装置１０との間で各種の情報をやり取りするための光ファイバ及び／又は電気信号ケーブルが接続されるコネクタ（図示せず）が設けられ得る。当該コネクタは、当該コネクタ内に各種の情報処理を実行する集積回路を搭載可能に構成されてもよく、上記ズームレンズ駆動制御部、フォーカスレンズ駆動制御部及び／又は撮像素子駆動制御部に対応する構成は、当該コネクタ内に搭載されてもよい。
　以上、撮像装置１０の構成について説明した。ただし、撮像装置１０の構成はかかる例に限定されない。本実施形態では、撮像装置１０は、撮像素子１０５、及び当該撮像素子１０５に観察光を集光するための光学系１０１を少なくとも有するとともに、ＡＦ機能に対応して当該光学系１０１に含まれる少なくとも１つの光学部材が駆動可能に構成されればよく、撮像装置１０の具体的な装置構成は任意であってよい。撮像装置１０としては、各種の公知な構成が適用されてよい。
　次に、制御装置２０の構成について説明する。制御装置２０は、その機能として、撮像信号処理部１１７と、ＡＦ制御部１１８と、ＡＦ動作判定部１２５と、ズーム動作制御部１２７と、を有する。
　制御装置２０は、上述したように例えばＣＣＵに対応し、各種のプロセッサ及びメモリ等の記憶素子によって構成される。上記の制御装置２０の各機能は、制御装置２０を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現される。
　ズーム動作制御部１２７は、撮像システム１のズーム動作に係る各種の制御を行う。具体的には、撮像システム１には、術者によって、ズーム動作を行う旨の指示信号（ズーム指示信号）が入力され得る。当該ズーム指示信号は、例えばスイッチ等、撮像システム１に設けられる図示しない各種の入力装置を介して入力される。ズーム指示信号には、倍率についての指示も含まれており、ズーム動作制御部１２７は、ズーム指示信号に基づいて、指示された倍率を実現し得るズームレンズ１０２の移動量を決定する。決定された移動量についての情報は、図示しないズームレンズ駆動制御部に送信される。当該ズームレンズ駆動制御部によって、ズームレンズ駆動部１０７を介して、決定された移動量の分だけズームレンズ１０２が移動されることにより、術者の指示に従って光学系１０１の倍率が調整される。なお、光学系１０１の倍率の調整のためにズームレンズ１０２以外の他の光学部材も移動可能に構成される場合であれば、ズーム動作制御部１２７は、当該他の光学部材の光軸上での移動量も併せて決定してよい。
　なお、ズーム動作制御部１２７の機能は、一般的な既存の撮像システムに搭載される倍率調整に係る機能と同様であってよいため、ここではより詳細な説明は省略する。
　撮像信号処理部１１７は、撮像素子１０５によって取得された撮像信号に対して、ガンマ補正処理やホワイトバランスの調整処理等、被写体像を表示装置（図示せず）に表示するための各種の信号処理を行う。撮像信号処理部１１７によって各種の信号処理が施された後の撮像信号（以下、映像信号と呼称する）が表示装置に送信され、当該表示装置において、当該映像信号に基づいて被写体の映像が映し出される。術者は、当該表示装置を介して被写体である生体組織の様子を観察することができる。また、撮像信号処理部１１７は、映像信号を、後述するＡＦ制御部１１８のＡＦフレーム決定部１１９にも提供する。
　ＡＦ制御部１１８は、撮像装置１０のＡＦ動作に係る各種の制御を行う。図１では、一例として、ＡＦの方式がコントラスト方式である場合に対応した、ＡＦ制御部１１８の機能構成を図示している。コントラスト方式とは、光学系１０１に含まれる少なくとも１つの光学部材（図示する例ではフォーカスレンズ１０３）を移動させながら、被写体像のコントラストが最大になる当該光学部材の位置を探索し、当該コントラストが最大になる位置に当該光学部材を移動させることにより合焦動作を行う方式である。
　ただし、本実施形態では、撮像システム１に適用されるＡＦの方式は限定されない。当該ＡＦの方式としては、各種の公知の方式が用いられてよい。しかしながら、本実施形態では、撮像システム１には、好適に、パッシブ方式のＡＦの方式が適用され得る。
　ここで、一般的に、ＡＦの方式は、アクティブ方式とパッシブ方式の２種類に大きく分類される。アクティブ方式は、例えば近赤外光等を被写体に対して照射してその反射光を受光することにより被写体との距離を測定し、測定された距離に基づいて当該被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。一方、パッシブ方式は、測距用の光等を自ら発することなく、撮影された被写体像から得られる情報に基づいて被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。
　上述したように、撮像システム１は例えば内視鏡システムであり得るが、内視鏡システムでは、ＡＦの方式としてアクティブ方式は採用され難い。何故ならば、アクティブ方式では、内視鏡の先端に測距用の構成を設ける必要があるため、内視鏡の先端が大型化してしまい、患者の身体に掛かる負担が増大する恐れがあるからである。撮像システム１が顕微鏡システムである場合でも、術者の作業空間を確保するために、術部を撮影する顕微鏡部の構成が大型化することは好ましくない。従って、本実施形態では、撮像システム１におけるＡＦの方式としては、好適に、パッシブ方式が適用され得るのである。
　パッシブ方式のＡＦの方式としては、上述したコントラスト方式の他にも、一般的に位相差方式、デプスマップ（ＤｅｐｔｈＭａｐ）方式、三角測距方式と呼称されている各種の方式が知られている。これらの方式は、いずれも、撮影された被写体像から得られる情報に基づいて合焦動作を行うものであるが、当該被写体像のコントラストが比較的小さい場合（いわゆるローコントラストの場合）には、合焦動作を正常に行うことが困難である（すなわち、ＡＦ動作によって被写体への合焦を行うことが困難である）という特徴がある。このような、被写体像がローコントラストの場合に合焦動作を正常に行うことが困難となるＡＦの方式は、コントラストに基づいてＡＦ動作が実行される方式ともみなすことができるため、以下の説明では、このようなＡＦの方式のことを、便宜的に、コントラストに基づく方式とも呼称することとする。パッシブ方式のＡＦの方式の多くはコントラストに基づく方式であるため、本実施形態は、ＡＦの方式としてコントラストに基づく方式が適用されている撮像システム１を対象としたものであるとも言える。
　図１に戻り、ＡＦ制御部１１８の機能についての説明を続ける。ＡＦ制御部１１８は、その機能として、ＡＦフレーム決定部１１９と、コントラスト検出部１２１と、フォーカスレンズ移動量決定部１２３と、を有する。なお、ＡＦ制御部１１８は、術者によって入力されるＡＦ動作を行う旨の指示信号（ＡＦ指示信号）に従って、ＡＦ動作に係る一連の処理を実行する。当該ＡＦ指示信号は、例えばスイッチ等、撮像システム１に設けられる図示しない各種の入力装置を介して入力され得る。
　ＡＦフレーム決定部１１９は、撮像信号処理部１１７によって得られた映像信号に基づいて被写体像を生成し、当該被写体像の中から、ＡＦ動作を行う際に焦点を合わせる対象となる領域（ＡＦフレーム）を決定する。ＡＦフレーム決定部１１９は、決定したＡＦフレームについての情報をコントラスト検出部１２１に提供する。
　コントラスト検出部１２１は、被写体像において、ＡＦフレーム決定部１１９によって決定されたＡＦフレームに対応する領域のコントラストを検出する。ＡＦ制御部１１８では、ＡＦフレームに対応する領域のコントラストを被写体像のコントラストとみなして、ＡＦ動作が行われることとなる。コントラスト検出部１２１は、検出したＡＦフレームに対応する領域のコントラスト（すなわち、被写体像のコントラスト）についての情報を、フォーカスレンズ移動量決定部１２３に提供する。
　フォーカスレンズ移動量決定部１２３は、コントラスト検出部１２１によって検出された被写体像のコントラストについての情報に基づいて、フォーカスレンズ１０３の移動量を決定する。具体的には、フォーカスレンズ移動量決定部１２３は、前回ステップにおける被写体像のコントラストと、現在ステップにおける被写体像のコントラストと、に基づいて、当該コントラストがより大きくなる方向に所定の距離だけフォーカスレンズ１０３が光軸上を移動するように、当該フォーカスレンズ１０３の移動量を決定する。なお、最初のステップでは（前回ステップにおける被写体像のコントラストについての情報が存在しない場合には）、予め設定される所定の方向に所定の距離だけフォーカスレンズ１０３を移動させるように、当該フォーカスレンズ１０３の移動量が決定されればよい。
　決定されたフォーカスレンズ１０３の移動量についての情報は、図示しないフォーカスレンズ駆動制御部に送信される。当該フォーカスレンズ駆動制御部によって、フォーカスレンズ駆動部１１１を介して、決定された移動量の分だけフォーカスレンズ１０３が移動される。
　以下、以上説明した一連の処理が繰り返し実行されることにより、コントラスト方式でのＡＦ動作が実行される。すなわち、フォーカスレンズ１０３が移動した後に撮像素子１０５によって得られた撮像信号に基づいて、撮像信号処理部１１７によって映像信号が生成される。当該映像信号に基づいて、ＡＦフレーム決定部１１９、コントラスト検出部１２１及びフォーカスレンズ移動量決定部１２３が上述した処理を再度実行し、決定された移動量に従ってフォーカスレンズ駆動制御部によってフォーカスレンズ１０３が移動される。これらの処理が繰り返し実行されることにより、最終的に、被写体像のコントラストが最大になる位置にフォーカスレンズ１０３が移動され、被写体に対して焦点の合った映像が得られることとなり、一連のＡＦ動作に係る処理が終了する。
　なお、光学系１０１の合焦距離の調整のためにフォーカスレンズ１０３以外の他の光学部材も移動可能に構成される場合であれば、フォーカスレンズ移動量決定部１２３は、当該他の光学部材の光軸上での移動量も併せて決定してよい。
　また、以上説明したＡＦ制御部１１８における一連の処理（ＡＦフレームの決定処理、コントラストの検出処理、及びフォーカスレンズ１０３の移動量決定処理）は、一般的な既存のコントラスト方式のＡＦ動作において行われている一連の処理と同様であってよい。各処理における具体的な方法としては、コントラスト方式でのＡＦ動作において用いられている各種の公知の方法が用いられてよいため、ここでは詳細な説明は省略する。例えば、コントラスト方式でのＡＦ動作の詳細については、本願出願人による先行出願である特許第２７４８６３７号明細書の記載を参照することができる。
　ここで、撮像システム１に、コントラスト方式のような、被写体像のコントラストに基づく方式がＡＦの方式として適用されている場合には、ローコントラストの被写体を撮影する際に、ＡＦ制御部１１８よるＡＦ動作が正常に行われない可能性がある。
　図２及び図３は、コントラスト方式におけるＡＦ動作の概念について説明するための説明図である。図２は、コントラスト方式におけるＡＦ動作を正常に実行し得る場合における被写体像のコントラストの一例を示している。図２に示すように、コントラストの変化が比較的大きな被写体の場合には、当該コントラストが最大になるフォーカスレンズ１０３の位置を比較的容易に見付けることができるため、ＡＦ動作が正常に実行され得る。一方、図３に示すように、コントラストの変化が比較的小さな被写体の場合には、当該コントラストが最大になるフォーカスレンズ１０３の位置を見付けることが困難であるため、ＡＦ動作が正常に行われない可能性がある。
　ここで、一般的に、医療用の撮像システムにおいては、患者の血液や内臓、骨等の生体組織を撮影することが想定される。しかしながら、これらの生体組織はローコントラストである場合が多く、コントラストに基づく方式によってＡＦ動作を行う場合には、ＡＦ動作を正常に行うことが困難となることが考えられる。例えば、ノイズ等に起因するコントラストの微少な増減により、本来の合焦位置ではない誤った位置にフォーカスレンズ等の光学部材を移動させてしまう事態が生じ得る。あるいは、コントラスト方式が用いられる場合であれば、コントラストが最大となる位置（すなわち合焦位置）を決定することができずにフォーカスレンズ等の光学部材が光軸上を移動し続けてしまい、手術や検査を円滑に実行することが困難になる可能性がある。このように、撮像システムにおいてＡＦ動作が正常に実行されないことは、術者にとって大きなストレスとなり得る。
　このような事態に対して、既存の技術として、例えば、上記特許文献１には、ＡＦ機能が搭載された顕微鏡システムにおいて、ＡＦ動作を正常に実行することができないと判定された場合に、当該ＡＦ動作を停止し、光学系を初期位置に移動させる顕微鏡システムが開示されている。しかしながら、特許文献１に記載の技術では、ＡＦ動作を正常に実行することができないと判定された場合には、光学系が初期位置に戻されてしまうため、結果的に、焦点の合っていない映像が得られる可能性が高い。従って、手術や検査を行うためには、術者が手動で焦点合わせを行う必要がある。よって、必ずしも術者にとって利便性が高いシステムが実現されているとは言えなかった。
　そこで、本実施形態では、ＡＦ動作判定部１２５によって、ＡＦ動作を正常に実行可能かどうか、すなわち、ＡＦ動作によって被写体への合焦が可能かどうかが判定される。そして、ＡＦ動作によって被写体への合焦ができないと判定された場合には、ＡＦ制御部１１８におけるＡＦ動作に係る処理を停止し、撮影用途に応じて予め設定される所定の位置にフォーカスレンズ１０３を移動させる。ここで、当該所定の位置としては、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ１０３の位置が設定され得る。従って、フォーカスレンズ１０３が当該位置に移動した後に得られる映像は、被写体である生体組織に焦点の合った映像である可能性が高い。以下の説明では、撮影用途に応じて予め設定される当該所定の位置のことを、予測合焦位置とも呼称する。
　このように、本実施形態によれば、ＡＦ動作を正常に行うことが困難な場合に、フォーカスレンズ１０３が予測合焦位置に移動することにより、被写体である生体組織に対してより焦点の合った鮮明な映像が得られることとなる。従って、術者は、焦点合わせ等の追加的な作業を行うことなく、そのまま手術や検査を実行することが可能となる。よって、本実施形態によれば、より利便性の高い撮像システム１が提供され得る。
　ＡＦ動作判定部１２５によるＡＦ動作判定処理、及びその後の撮像システム１における処理について、より詳細に説明する。上述したように、ＡＦ動作判定部１２５は、ＡＦ動作を正常に実行可能かどうか、すなわち、ＡＦ動作によって被写体への合焦が可能かどうか（ＡＦ動作によって被写体に焦点が合うようなフォーカスレンズ１０３の位置を決定可能かどうか）を判定する。なお、ＡＦ動作判定部１２５によるＡＦ動作判定処理は、ＡＦ動作が実行されている最中に、所定の間隔で随時実行され得る。
　図示する構成例のようにコントラスト方式が適用される場合であれば、例えば、ＡＦ動作判定部１２５は、ＡＦ動作中に最終的なフォーカスレンズ１０３の位置（すなわち、被写体像のコントラストが最大になるようなフォーカスレンズ１０３の位置）が決定されない状態で所定の時間が経過した場合に、ＡＦ動作によって被写体への合焦ができないと判定することができる。また、例えば、ＡＦ動作判定部１２５は、ＡＦ動作中にフォーカスレンズ１０３がその可動範囲の端点に所定の回数到達した場合に、ＡＦ動作によって被写体への合焦ができないと判定することができる。あるいは、これらの判定基準が組み合わされて用いられてもよい。すなわち、被写体像のコントラストが最大になるようなフォーカスレンズ１０３の位置が決定されない状態で所定の時間が経過した場合、又は、ＡＦ動作中にフォーカスレンズ１０３がその可動範囲の端点に所定の回数到達した場合に、ＡＦ動作判定部１２５は、ＡＦ動作によって被写体への合焦ができないと判定してもよい。
　なお、当該所定の時間、及び当該所定の回数としては、一般的にＡＦ動作の判定処理に用いられ得る値が適宜適用されてよい。当該所定の時間は、例えば約５秒間であり得る。また、当該所定の回数は、例えば各端点に１回ずつであり得る。また、上記の例では、ＡＦ動作判定部１２５は、ＡＦ動作中にフォーカスレンズ１０３がその可動範囲の端点に所定の回数到達したかどうかをＡＦ動作の判定基準としているが、当該判定基準は、ＡＦ動作中にフォーカスレンズ１０３がその可動範囲に含まれる特定の範囲の端点に所定の回数到達したかどうか、であってもよい。つまり、ＡＦ動作判定部１２５は、ＡＦ動作中にフォーカスレンズ１０３が適切な合焦位置を見付けられない状態でその可動範囲内の一部の範囲を移動したかどうかに応じて、ＡＦ動作を正常に実行可能かどうかを判定してもよい。
　例えば、ＡＦ動作判定部１２５には、フォーカスレンズ移動量決定部１２３から、決定されたフォーカスレンズ１０３の移動量についての情報、及びＡＦ動作が終了したかどうかについての情報が提供され得る。ＡＦ動作判定部１２５は、これらの情報に基づいて、上述したようなＡＦ動作の判定処理を実行することができる。
　ただし、ＡＦ動作判定部１２５によるＡＦ動作の判定処理の基準はかかる例に限定されない。本実施形態では、ＡＦ動作を正常に実行可能かどうかの判定基準としては、一般的にコントラスト方式でのＡＦ動作において用いられている各種の公知の判定基準が用いられてよい。
　なお、撮像システム１において、ＡＦの方式として他の方式が適用される場合には、ＡＦ動作判定部１２５は、その適用されているＡＦの方式に応じた方法で、ＡＦ動作を正常に実行可能かどうかを適宜判定すればよい。ＡＦ動作を正常に実行可能かどうかを判定する方法としては、一般的に様々な方法が知られている。例えば、ＡＦの方式としてコントラストに基づく方式が適用されている既存の各種の撮像装置においては、被写体がいわゆるローコントラストであることを判定するための様々な方法が提案されている。ＡＦ動作判定部１２５は、適用されているＡＦの方式に基づいて、各種の公知の方法により判定処理を行ってよい。
　ＡＦ動作判定部１２５によって、ＡＦ動作によって被写体への合焦が可能であると判定された場合には、ＡＦ制御部１１８によって上述したＡＦ動作に係る一連の処理が継続される、すなわち、そのままＡＦ動作が継続される。
　一方、ＡＦ動作判定部１２５によって、ＡＦ動作によって被写体への合焦ができないと判定された場合には、ＡＦ動作判定部１２５は、フォーカスレンズ移動量決定部１２３にその旨の情報を提供する。この場合には、ＡＦ制御部１１８におけるＡＦ動作に係る処理が停止され、フォーカスレンズ移動量決定部１２３は、予測合焦位置にフォーカスレンズ１０３が移動するように当該フォーカスレンズ１０３の移動量を決定し、フォーカスレンズ駆動制御部（図示せず）及びフォーカスレンズ駆動部１１１を介して、当該移動量に従ってフォーカスレンズ１０３を移動させる。
　当該予測合焦位置としては、上述したように、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ１０３の位置が設定され得る。従って、フォーカスレンズ１０３が当該予測合焦位置に移動することにより、被写体である生体組織に対して比較的焦点の合った映像が得られることとなる。
　なお、「撮影用途」には、術式、診療科、及び術者の嗜好等が含まれ得る。術式及び／又は診療科が定まれば、どのような被写体距離でどのような生体組織を観察するかが高い確率で予想され得るため、術式及び／又は診療科に基づいて予測合焦位置を設定することにより、当該予測合焦位置としてより適切な位置を設定することが可能となる。また、同一の生体組織を観察する場合であっても、術者の嗜好によって、最適な被写体距離は異なる可能性がある。従って、撮像システム１を使用して術部を観察する術者に応じて予測合焦位置が設定されることにより、術者にとってより使い勝手の良い撮像システム１が実現され得る。
　また、予測合焦位置は、撮像装置１０に取り付けられる光学系の光学特性に応じて設定されてもよい。例えば、撮像システム１においては、撮影用途（術式等）に応じて、互いに異なる種類の内視鏡が取り換えられて使用されることが想定される。一般的に、内視鏡では、その種類、すなわち当該内視鏡の光学系に応じて、使用が推奨される被写体距離が設定されていることが多い。従って、予測合焦位置を設定する際には、撮像装置１０に取り付けられる内視鏡の種類に基づいて、当該内視鏡の光学系に応じて設定され得る被写体距離を考慮して、被写体に焦点が合うように当該予測合焦位置が設定されてもよい。なお、内視鏡以外に他の光学系が介在する場合には、当該他の光学系の光学特性も加味して、予測合焦位置が設定されてもよい。あるいは、撮像システム１が顕微鏡システムであって、撮像装置１０に対応し得る部位である顕微鏡部に対して追加の光学系が取り付けられる場合であれば、当該追加の光学系の光学特性に応じて予測合焦位置が設定されてもよい。
　なお、予測合焦位置は、上述したような予測合焦位置を決定し得る要因（術式、診療科、術者の嗜好、及び内視鏡の光学系等）に応じて、術者によって手術前に手動で設定されてよい。あるいは、例えば内視鏡の種類に応じて予測合焦位置が設定され得る場合であれば、撮像システム１に、取り付けられた内視鏡の種類を検出する機能が設けられてもよく、当該検出機能による検出結果に基づいて、内視鏡の種類に応じて自動的に予測合焦位置が設定されてもよい。
　以上、図１を参照して、本実施形態に係る撮像システム１の構成について説明した。なお、図１に示す構成はあくまで一例であり、撮像システム１は、システム全体として以上説明した処理を実行可能であればよく、その具体的な装置構成は任意であってよい。例えば、図１において撮像装置１０に搭載されている機能のうちのいくつかが制御装置２０に搭載されてもよいし、逆に、制御装置２０に搭載されている機能のうちのいくつかが撮像装置１０に搭載されてもよい。
　あるいは、図１に示す各ブロックに対応する機能は、より多くの複数の装置に分割されて搭載されてもよいし、１つの装置にその全てが搭載されてもよい。例えば、図１では、撮像システム１の一例として内視鏡システムに対応する構成を図示しているが、本実施形態では、撮像システム１は顕微鏡システムであってもよい。撮像システム１が顕微鏡システムである場合であれば、図示する全ての構成が１つの装置に搭載されて、撮像システム１が構成され得る。
　また、上述のような本実施形態に係る撮像システム１の機能を実現するためのコンピュータプログラムを作製し、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等の情報処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　（２．撮像方法）
　図４を参照して、以上説明した撮像システム１において実行される撮像方法の処理手順について説明する。図４は、本実施形態に係る撮像方法の処理手順の一例を示すフロー図である。
　なお、本実施形態に係る撮像方法では、被写体を撮影するための一連の処理の中でも、当該被写体に対して焦点を合わせるための合焦動作処理において本実施形態に特徴的な処理が実行される。従って、図４では、本実施形態に係る撮像方法における一連の処理の中でも、合焦動作処理における処理手順について図示している。図４に示す一連の処理は、例えば術者によってＡＦ指示信号が入力された場合に実行され得る処理である。
　なお、実際には、撮像システム１では、映像信号が取得されている最中に図４に示す一連の処理が実行されることにより、被写体に対して焦点の合った映像が得られることとなる。すなわち、図４に示すステップＳ１０１における処理に先立って、撮像信号に基づいて映像信号を取得する処理（図１に示す撮像信号処理部１１７によって実行される処理に対応する）が実行されている。
　図４を参照すると、本実施形態に係る撮像方法における合焦動作処理では、まず、例えばＡＦ指示信号の入力をトリガとして、ＡＦ動作が実行される（ステップＳ１０１）。例えば、コントラスト方式が適用される場合であれば、ステップＳ１０３では、フォーカスレンズ１０３を移動させながら、被写体像のコントラストが最大になる当該フォーカスレンズ１０３の位置を探索する処理が実行される。当該処理は、図１に示すＡＦ制御部１１８、フォーカスレンズ駆動制御部（図示せず）及びフォーカスレンズ駆動部１１１によって実行される処理に対応している。ただし、本実施形態はかかる例に限定されず、ステップＳ１０３では、他の各種のＡＦの方式に基づくＡＦ動作が実行されてよい。
　次に、ＡＦ動作中に、ＡＦ動作を正常に実行可能かどうか、すなわち、ＡＦ動作によって被写体への合焦が可能かどうかが判定される（ステップＳ１０３）。具体的には、ステップＳ１０３では、ステップＳ１０１で実行されたＡＦ動作の方式に応じた方法で、当該ＡＦ動作によって被写体への合焦が可能かどうかが判定され得る。
　例えば、コントラスト方式が適用される場合であれば、ステップＳ１０３では、ＡＦ動作中に被写体像のコントラストが最大になるようなフォーカスレンズ１０３の位置が決定されない状態で所定の時間が経過した場合、又は、ＡＦ動作中にフォーカスレンズ１０３がその可動範囲の端点に所定の回数到達した場合に、ＡＦ動作によって被写体への合焦ができないと判定され、それ以外の場合には、ＡＦ動作によって被写体への合焦が可能であると判定される。
　ただし、本実施形態はかかる例に限定されず、ステップＳ１０３では、各種のＡＦの方式において一般的に行われているＡＦ動作の実行可否の判定処理が実行されてよい。なお、ステップＳ１０３に示す処理は、図１に示すＡＦ動作判定部１２５によって実行される処理に対応している。
　ステップＳ１０３における判定処理は、ＡＦ動作の最中に、所定の間隔で随時実行され得る。ステップＳ１０３においてＡＦ動作によって被写体への合焦が可能であると判定された場合には、ステップＳ１０１に戻り、ＡＦ動作が継続される。そして、所定の間隔の後、ステップＳ１０３において再度ＡＦ動作によって被写体への合焦が可能かどうかが判定される。ステップＳ１０１及びステップＳ１０３における処理が繰り返し実行されている間に、ＡＦ動作が正常に終了した場合、すなわち、被写体への合焦が正確に行われた場合には、本実施形態に係る撮像方法における一連の処理も終了する。
　一方、ステップＳ１０３においてＡＦ動作によって被写体への合焦ができないと判定された場合には、ステップＳ１０５に進む。ステップＳ１０５では、撮影用途に応じて予め設定された所定の位置（予測合焦位置）にフォーカスレンズ１０３が移動される。当該予測合焦位置としては、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ１０３の位置が設定され得る。なお、ステップＳ１０５に示す処理は、図１に示すフォーカスレンズ移動量決定部１２３、フォーカスレンズ駆動制御部（図示せず）及びフォーカスレンズ駆動部１１１によって実行される処理に対応している。
　ステップＳ１０５でフォーカスレンズ１０３が予測合焦位置に移動されると、本実施形態に係る撮像方法における一連の処理が終了する。このように、ＡＦ動作を正常に実行することができないと判定された場合に、予測合焦位置にフォーカスレンズ１０３が移動することにより、術者が焦点合わせのための追加的な作業を行わなくても、比較的焦点の合った鮮明な映像が取得されることとなり、術者の利便性を向上させることができる。
　以上、図４を参照して、本実施形態に係る撮像方法の処理手順について説明した。
　（３．変形例）
　以上説明した実施形態におけるいくつかの変形例について説明する。なお、以下に説明する各変形例は、以上説明した実施形態に対して、ＡＦの方式が変更されたものに対応する。
　（３－１．位相差方式が用いられる場合）
　図１に示す撮像システム１において、ＡＦの方式として位相差方式が用いられた場合について説明する。位相差方式とは、観察光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像の像間隔に基づいて被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ１０３を移動させることにより合焦動作を行う方式のことである。
　図５及び図６は、位相差方式におけるＡＦ動作の概念について説明するための説明図である。図５は、位相差方式におけるＡＦ動作を正常に実行し得る場合における被写体像のコントラストの一例を示している。図５に示すように、コントラストが比較的大きな被写体の場合には、２つの被写体像の像間隔を比較的明確に検出することができるため、当該像間隔に基づいて被写体との距離を算出することができ、ＡＦ動作を実行することができる。
　一方、図６に示すように、コントラストが比較的小さい被写体の場合には、２つの被写体像の対応関係を取ることが難しく、当該２つの被写体像の像間隔を検出することが困難であるため、被写体との距離を算出することができず、ＡＦ動作が正常に行われない可能性がある。
　このように、位相差方式でのＡＦ動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、ＡＦ動作を正常に実行できない可能性がある。従って、位相差方式が用いられる場合においても、ＡＦ動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
　ＡＦの方式として位相差方式が適用された撮像システムは、図１に示す撮像システム１の構成において、ＡＦ制御部１１８におけるＡＦ動作に係る機能、及びＡＦ動作判定部１２５における判定基準が変更されたものに対応する。具体的には、位相差方式が適用された撮像システムでは、例えば、図１に示すＡＦ制御部１１８は、ＡＦ動作に係る処理として、機能２つの被写体像の像間隔を取得する処理、当該像間隔に基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ１０３の移動量を算出する処理、を実行する。また、例えば、ＡＦ動作判定部１２５は、位相差方式でのＡＦ動作において一般的に用いられている各種の方法によって、ＡＦ動作によって被写体への合焦が可能かどうかを判定する。
　なお、位相差方式が用いられる場合には、撮像装置１０内に、撮影用の撮像素子１０５とは別に測距のために他の撮像素子が設けられてもよく、当該他の撮像素子によって得られた２つの被写体像に基づいてＡＦ動作が行われてもよい。あるいは、撮像素子１０５の受光面の中の一部に測距用の領域が確保されており、当該測距用の領域に対応する受光面において得られた２つの被写体像に基づいてＡＦ動作が行われてもよい。この場合には、１つの撮像素子１０５によって、被写体の撮影と、ＡＦ動作のための測距と、をともに行うことができるため、撮像装置１０の構成をより簡易なものとすることができる。
　（３－２．デプスマップ方式が用いられる場合）
　図１に示す撮像システム１において、ＡＦの方式としていわゆるデプスマップ方式が用いられた場合について説明する。デプスマップ方式とは、空間認識技術を用いたＡＦの方式であり、被写体像のぼけ具合（デフォーカス度合い）に基づいて被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ１０３を移動させることにより合焦動作を行う方式のことである。
　ここで、ローコントラストの被写体においては、デフォーカス度合いを正確に検出することが困難であることが知られている。つまり、デプスマップ方式でのＡＦ動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、ＡＦ動作を正常に実行できない可能性がある。従って、デプスマップ方式が用いられる場合においても、ＡＦ動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
　ＡＦの方式としてデプスマップ方式が適用された撮像システムは、図１に示す撮像システム１の構成において、ＡＦ制御部１１８におけるＡＦ動作に係る機能、及びＡＦ動作判定部１２５における判定基準が変更されたものに対応する。具体的には、デプスマップ方式が適用された撮像システムでは、例えば、図１に示すＡＦ制御部１１８は、ＡＦ動作に係る処理として、被写体像のデフォーカス度合いを検出する処理、検出された被写体像のデフォーカス度合いに基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ１０３の移動量を算出する処理、を実行する。また、例えば、ＡＦ動作判定部１２５は、デプスマップ方式でのＡＦ動作において一般的に用いられている各種の方法によって、ＡＦ動作によって被写体への合焦が可能かどうかを判定する。
　（３－３．三角測距方式が用いられる場合）
　図１に示す撮像システム１において、ＡＦの方式としていわゆる三角測距方式が用いられた場合について説明する。三角測距方式とは、３Ｄステレオグラムの技術を用いたＡＦの方式であり、観察光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像から得られる視差情報に基づいて三角測量の原理により被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ１０３を移動させることにより合焦動作を行う方式のことである。
　ここで、ローコントラストの被写体においては、２つの被写体像の対応関係を取ることが難しく、視差情報を正確に得ることが困難である。つまり、三角測距方式でのＡＦ動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、ＡＦ動作を正常に実行できない可能性がある。従って、三角測距方式が用いられる場合においても、ＡＦ動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
　ＡＦの方式として三角測距方式が適用された撮像システムは、図１に示す撮像システム１の構成において、ＡＦ制御部１１８におけるＡＦ動作に係る機能、及びＡＦ動作判定部１２５における判定基準が変更されたものに対応する。具体的には、三角測距方式が適用された撮像システムでは、例えば、図１に示すＡＦ制御部１１８は、ＡＦ動作に係る処理として、２つの被写体像から視差情報を取得する処理、当該視差情報及び基線距離（２つの被写体像の結像位置に対応する受光素子間の距離）に基づいて三角測量の原理に基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ１０３の移動量を算出する処理、を実行する。また、例えば、ＡＦ動作判定部１２５は、三角測距方式でのＡＦ動作において一般的に用いられている各種の方法によって、ＡＦ動作によって被写体への合焦が可能かどうかを判定する。
　なお、三角測距方式が用いられる場合には、撮像装置１０内に、撮影用の撮像素子１０５とは別に測距のために他の撮像素子が設けられてもよく、当該他の撮像素子によって得られた２つの被写体像に基づいてＡＦ動作が行われてもよい。あるいは、撮像素子１０５の受光面の中の一部に測距用の領域が確保されており、当該測距用の領域に対応する受光面において得られた２つの被写体像に基づいてＡＦ動作が行われてもよい。この場合には、１つの撮像素子１０５によって、被写体の撮影と、ＡＦ動作のための測距と、をともに行うことができるため、撮像装置１０の構成をより簡易なものとすることができる。
　（４．補足）
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、制御装置。
（２）前記予測合焦位置は、前記被写体の撮影が行われる手術の術式に応じて設定される、前記（１）に記載の制御装置。
（３）前記予測合焦位置は、前記被写体の撮影が行われる診療科に応じて設定される、前記（１）又は（２）に記載の制御装置。
（４）前記予測合焦位置は、撮影された前記被写体を観察する術者に応じて設定可能である、前記（１）～（３）のいずれか１項に記載の制御装置。
（５）前記予測合焦位置は、前記制御装置に接続される撮像装置に取り付けられた光学系の光学特性に応じて設定される、前記（１）～（４）のいずれか１項に記載の制御装置。
（６）前記オートフォーカス動作は、被写体像のコントラストに基づいて実行される、前記（１）～（５）のいずれか１項に記載の制御装置。
（７）前記オートフォーカス動作は、前記少なくとも１つの光学部材を移動させながら被写体像のコントラストが最大となる位置を探索し、当該コントラストが最大となる位置に前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、前記（６）に記載の制御装置。
（８）オートフォーカス動作中に被写体像のコントラストが最大となる前記少なくとも１つの光学部材の位置が決定されない状態で所定の時間が経過した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも１つの光学部材が前記予測合焦位置に移動する、前記（７）に記載の制御装置。
（９）オートフォーカス動作中に前記少なくとも１つの光学部材が可動範囲に含まれる特定の範囲の端点に所定の回数到達した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも１つの光学部材が前記予測合焦位置に移動する、前記（７）又は（８）に記載の制御装置。
（１０）前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像の像間隔に基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、前記（６）に記載の制御装置。
（１１）前記オートフォーカス動作は、被写体像のデフォーカス度合いに基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、前記（６）に記載の制御装置。
（１２）前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像から得られる視差情報に基づいて三角測量の原理により前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、前記（６）に記載の制御装置。
（１３）被写体である生体組織を撮影する撮像素子と、前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも１つの光学部材が光軸上を移動可能に構成される光学系と、前記少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、医療用撮像システム。
　１　　撮像システム
　１０　　撮像装置
　２０　　制御装置
　１０１　　光学系
　１０２　　ズームレンズ
　１０３　　フォーカスレンズ
　１０５　　撮像素子
　１０７　　ズームレンズ駆動部
　１１１　　フォーカスレンズ駆動部
　１１５　　撮像素子駆動部
　１１７　　撮像信号処理部
　１１８　　ＡＦ制御部
　１１９　　ＡＦフレーム決定部
　１２１　　コントラスト検出部
　１２３　　フォーカスレンズ移動量決定部
　１２５　　ＡＦ動作判定部
　１２７　　ズーム動作制御部

Claims (13)

  1. 　少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、
    　前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、
    　を備え、
    　前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、
    　制御装置。
  2. 　前記予測合焦位置は、前記被写体の撮影が行われる手術の術式に応じて設定される、
    　請求項１に記載の制御装置。
  3. 　前記予測合焦位置は、前記被写体の撮影が行われる診療科に応じて設定される、
    　請求項１に記載の制御装置。
  4. 　前記予測合焦位置は、撮影された前記被写体を観察する術者に応じて設定可能である、
    　請求項１に記載の制御装置。
  5. 　前記予測合焦位置は、前記制御装置に接続される撮像装置に取り付けられた光学系の光学特性に応じて設定される、
    　請求項１に記載の制御装置。
  6. 　前記オートフォーカス動作は、被写体像のコントラストに基づいて実行される、
    　請求項１に記載の制御装置。
  7. 　前記オートフォーカス動作は、前記少なくとも１つの光学部材を移動させながら被写体像のコントラストが最大となる位置を探索し、当該コントラストが最大となる位置に前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、
    　請求項６に記載の制御装置。
  8. 　オートフォーカス動作中に被写体像のコントラストが最大となる前記少なくとも１つの光学部材の位置が決定されない状態で所定の時間が経過した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも１つの光学部材が前記予測合焦位置に移動する、
    　請求項７に記載の制御装置。
  9. 　オートフォーカス動作中に前記少なくとも１つの光学部材が可動範囲に含まれる特定の範囲の端点に所定の回数到達した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも１つの光学部材が前記予測合焦位置に移動する、
    　請求項７に記載の制御装置。
  10. 　前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像の像間隔に基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、
    　請求項６に記載の制御装置。
  11. 　前記オートフォーカス動作は、被写体像のデフォーカス度合いに基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、
    　請求項６に記載の制御装置。
  12. 　前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた２つの被写体像から得られる視差情報に基づいて三角測量の原理により前記被写体との距離を算出し、当該距離に基づいて前記少なくとも１つの光学部材を移動させることにより合焦を行う動作である、
    　請求項６に記載の制御装置。
  13. 　被写体である生体組織を撮影する撮像素子と、
    　前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも１つの光学部材が光軸上を移動可能に構成される光学系と、
    　前記少なくとも１つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、
    　前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、
    　を備え、
    　前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも１つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、
    　医療用撮像システム。
PCT/JP2016/063931 2015-05-18 2016-05-10 制御装置及び医療用撮像システム WO2016185952A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16796346.1A EP3282296B1 (en) 2015-05-18 2016-05-10 Control device and medical image pickup system
US15/564,928 US10278566B2 (en) 2015-05-18 2016-05-10 Control device and medical imaging system
JP2017519139A JP6758287B2 (ja) 2015-05-18 2016-05-10 制御装置及び医療用撮像システム
US16/365,226 US10912450B2 (en) 2015-05-18 2019-03-26 Control device and medical imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-100962 2015-05-18
JP2015100962 2015-05-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/564,928 A-371-Of-International US10278566B2 (en) 2015-05-18 2016-05-10 Control device and medical imaging system
US16/365,226 Continuation US10912450B2 (en) 2015-05-18 2019-03-26 Control device and medical imaging system

Publications (1)

Publication Number Publication Date
WO2016185952A1 true WO2016185952A1 (ja) 2016-11-24

Family

ID=57319974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063931 WO2016185952A1 (ja) 2015-05-18 2016-05-10 制御装置及び医療用撮像システム

Country Status (4)

Country Link
US (2) US10278566B2 (ja)
EP (1) EP3282296B1 (ja)
JP (1) JP6758287B2 (ja)
WO (1) WO2016185952A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963072A (zh) * 2017-12-26 2019-07-02 广东欧珀移动通信有限公司 对焦方法、装置、存储介质及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
CN110381246B (zh) * 2018-04-13 2021-03-26 杭州海康微影传感科技有限公司 图像采集设备
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
EP4092462A1 (en) * 2021-05-18 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Laser assisted autofocus
WO2023042354A1 (ja) * 2021-09-16 2023-03-23 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法
US20230240518A1 (en) * 2022-01-28 2023-08-03 Visionsense Ltd. System and method for surgical instrument tracking with autofocus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JP2001350082A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 自動焦点調節装置
JP2004205981A (ja) * 2002-12-26 2004-07-22 Pentax Corp 自動焦点調節装置
JP2011186452A (ja) * 2010-02-15 2011-09-22 Nikon Corp 焦点調節装置、及び焦点調節プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3078083B2 (ja) 1992-02-19 2000-08-21 オリンパス光学工業株式会社 自動合焦装置
US6734410B2 (en) 2000-08-30 2004-05-11 Pentax Precision Co., Ltd. Surveying instrument having an optical distance meter and an autofocus system, and a surveying instrument having a detachable autofocus system
US6749561B2 (en) 2001-08-23 2004-06-15 Smith & Nephew, Inc. Autofocusing endoscopic system
US7522209B2 (en) 2002-12-26 2009-04-21 Hoya Corporation Automatic focusing apparatus including optical flow device calculation
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
JP6406868B2 (ja) * 2013-07-16 2018-10-17 キヤノン株式会社 撮像装置及び撮像方法
JP6274794B2 (ja) 2013-09-12 2018-02-07 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JP2001350082A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 自動焦点調節装置
JP2004205981A (ja) * 2002-12-26 2004-07-22 Pentax Corp 自動焦点調節装置
JP2011186452A (ja) * 2010-02-15 2011-09-22 Nikon Corp 焦点調節装置、及び焦点調節プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963072A (zh) * 2017-12-26 2019-07-02 广东欧珀移动通信有限公司 对焦方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US10912450B2 (en) 2021-02-09
EP3282296A1 (en) 2018-02-14
EP3282296A4 (en) 2018-12-12
US20190216301A1 (en) 2019-07-18
EP3282296B1 (en) 2023-10-04
JP6758287B2 (ja) 2020-09-23
US20180084979A1 (en) 2018-03-29
US10278566B2 (en) 2019-05-07
JPWO2016185952A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
WO2016185952A1 (ja) 制御装置及び医療用撮像システム
EP2749923B1 (en) Focus control device, endoscope device, and focus control method
JP5973708B2 (ja) 撮像装置及び内視鏡装置
JP2012125293A (ja) 制御装置、内視鏡装置及びフォーカス制御方法
JP5767412B2 (ja) 内視鏡システム
JP6143436B2 (ja) 眼科装置、制御方法よびプログラム
US11160451B2 (en) Apparatus, method, program, and system
WO2018100885A1 (ja) 医療用観察装置、及び制御方法
JPWO2015064462A1 (ja) 内視鏡用の撮像システム、内視鏡用の撮像システムの作動方法
JP5063480B2 (ja) オートフォーカス機構付き撮像システム及びその調整方法
CN113573624A (zh) 内窥镜系统、非暂时性计算机可读介质及方法
JP5274100B2 (ja) 医療用観察装置
JP6116188B2 (ja) 眼底撮像装置
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
US20140118691A1 (en) Ophthalmic apparatus, imaging control apparatus, and imaging control method
JP5792401B2 (ja) オートフォーカス装置
JP2010008836A (ja) 電子内視鏡装置及びそのピント調節方法
JP6067309B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ
US11298000B2 (en) Endoscopic device
WO2023276242A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
JP2004357932A (ja) 内視鏡用光源装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796346

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15564928

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017519139

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE