WO2017145531A1 - 医療用画像処理装置、システム、方法及びプログラム - Google Patents

医療用画像処理装置、システム、方法及びプログラム Download PDF

Info

Publication number
WO2017145531A1
WO2017145531A1 PCT/JP2017/000425 JP2017000425W WO2017145531A1 WO 2017145531 A1 WO2017145531 A1 WO 2017145531A1 JP 2017000425 W JP2017000425 W JP 2017000425W WO 2017145531 A1 WO2017145531 A1 WO 2017145531A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
parallax
image
determination
image processing
Prior art date
Application number
PCT/JP2017/000425
Other languages
English (en)
French (fr)
Inventor
雄生 杉江
丈士 上森
高橋　健治
恒生 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018501024A priority Critical patent/JPWO2017145531A1/ja
Priority to US16/073,911 priority patent/US20190045170A1/en
Publication of WO2017145531A1 publication Critical patent/WO2017145531A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to a medical image processing apparatus, system, method, and program.
  • a region determination unit that determines a non-biological region in the visual field using a region determination image that reflects a common visual field with the parallax determination image, and the non-biological region by the region determination unit
  • a medical image processing apparatus including a parallax determination unit that determines at least parallax to be applied to the non-living region using the determination result and the parallax determination image.
  • the medical image processing device and an imaging device that captures an image of a subject in the field of view and generates at least one of the parallax determination image and the region determination image are included.
  • a medical image processing system is provided.
  • a region determination image that reflects a field of view common to a parallax determination image, determining a non-biological region in the field of view, and a result of the determination of the non-biological region
  • a medical image processing method including using the parallax determination image to determine parallax to be applied to at least the non-biological region.
  • the processor that controls the medical image processing apparatus uses the region determination image that reflects the visual field common to the parallax determination image to determine the non-biological region in the visual field.
  • a parallax determination unit that determines at least the parallax to be applied to the non-biological region using the determination result of the non-biological region by the region determination unit and the parallax determination image.
  • the technology according to the present disclosure it is possible to improve the accuracy of determination of parallax for medical image processing and to realize high visibility of a subject.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 1 It is a flowchart which shows an example of the detailed flow of the parallax determination process shown in FIG. It is a block diagram which shows an example of a structure of the imaging device which concerns on 2nd Embodiment. It is a block diagram which shows an example of a structure of the image processing apparatus which concerns on 2nd Embodiment. It is explanatory drawing for demonstrating the other example of the result of the determination of the non-biological area
  • FIG. 1 shows an example of a schematic configuration of a medical image processing system 1 according to an embodiment.
  • the medical image processing system 1 is an endoscopic surgery system.
  • an operator (doctor) 3 performs an endoscopic operation on a patient 7 on a patient bed 5 using a medical image processing system 1.
  • the medical image processing system 1 includes an endoscope 10, other surgical instruments (surgical instruments) 30, a support arm device 40 that supports the endoscope 10, and various devices for endoscopic surgery. And a cart 50 mounted thereon.
  • trocars In endoscopic surgery, instead of cutting and opening the abdominal wall, cylindrical opening devices 37a to 37d called trocars are punctured into the abdominal wall. Then, the barrel 11 of the endoscope 10 and other surgical tools 30 are inserted into the body cavity of the patient 7 from the trocars 37a to 37d.
  • an insufflation tube 31 As other surgical tools 30, an insufflation tube 31, an energy treatment tool 33, and forceps 35 are shown.
  • the energy treatment device 33 is used for treatment such as tissue incision or detachment or blood vessel sealing with high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 30 is merely an example, and other types of surgical tools (for example, a lever or a retractor) may be used.
  • the image in the body cavity of the patient 7 imaged by the endoscope 10 is displayed by the display device 53.
  • the surgeon 3 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 33 and the forceps 35 while viewing the display image in real time.
  • the pneumoperitoneum tube 31, the energy treatment tool 33, and the forceps 35 are supported by a user such as the surgeon 3 or an assistant during the operation.
  • the support arm device 40 includes an arm portion 43 extending from the base portion 41.
  • the arm portion 43 includes joint portions 45 a, 45 b and 45 c and links 47 a and 47 b and supports the endoscope 10.
  • the arm unit 43 being driven according to the control from the arm control device 57, the position and posture of the endoscope 10 are controlled, and the stable position fixing of the endoscope 10 can also be realized.
  • the endoscope 10 includes a lens barrel 11 and a camera head 13 connected to the base end of the lens barrel 11. A part from the tip of the lens barrel 11 to a certain length is inserted into the body cavity of the patient 7.
  • the endoscope 10 is configured as a so-called rigid mirror having the rigid lens barrel 11, but the endoscope 10 may be configured as a so-called flexible mirror.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 11.
  • a light source device 55 is connected to the endoscope 10, and the light generated by the light source device 55 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11, and the objective lens Is irradiated toward the observation object in the body cavity of the patient 7.
  • the endoscope 10 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • the camera head 13 includes an irradiation unit and an imaging unit including an optical system, a drive system, and an image sensor.
  • the irradiation unit irradiates the subject with irradiation light supplied from the light source device 55 through the light guide.
  • the optical system typically includes a lens unit, and collects observation light (reflected light of irradiation light) from a subject captured from the tip of the lens barrel 11 toward the image sensor.
  • the positions of the zoom lens and focus lens in the lens unit can be changed by being driven by a drive system in order to variably control imaging conditions such as magnification and focal length.
  • the image sensor of the camera head 13 photoelectrically converts the observation light collected by the optical system and generates an image signal that is an electrical signal.
  • the image sensor may be a three-plate type sensor having separate imaging elements that respectively generate image signals of three color components, or may be another type of image sensor such as a single-plate type or a two-plate type.
  • the image sensor may include any type of image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the captured image represented by the image signal generated by the camera head 13 includes a parallax determination image.
  • the parallax determination image typically includes a right eye image and a left eye image.
  • the right eye image and the left eye image may be generated by a right eye image sensor and a left eye image sensor of a compound eye camera, respectively.
  • the right eye image and the left eye image may be generated by a single image sensor of a monocular camera (for example, by a shutter switching method).
  • the camera head 13 can also generate an image signal of an area determination image used for determining a non-biological area in the field of view.
  • the region determination image may be a visible light image, and in other embodiments, the region determination image may be an infrared image.
  • the CCU 51 is connected to the camera head 13 via a signal line and a communication interface.
  • a signal line between the camera head 13 and the CCU 51 is a high-speed transmission line that enables bidirectional communication, such as an optical cable.
  • the CCU 51 includes a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory), and comprehensively controls the operations of the endoscope 10 and the display device 53.
  • the CCU 51 may further include a frame memory for temporarily storing image signals and one or more GPUs (Graphics Processing Units) that execute image processing. For example, the CCU 51 determines the parallax for each pixel (or for some other unit) based on the parallax determination image input from the camera head 13.
  • GPUs Graphics Processing Units
  • the determined parallax can be used for image processing such as generation of a stereoscopic image, expansion of depth of field, enhancement of stereoscopic effect, or expansion of dynamic range, for example.
  • the CCU 51 can output an image generated as a result of the image processing to the display device 53 for display or to the recorder 65 for recording.
  • a series of images to be output can constitute a moving image (video).
  • the image processing executed in the CCU 51 may include general processing such as development and noise reduction.
  • the CCU 51 transmits a control signal to the camera head 13 to control driving of the camera head 13.
  • the control signal can include, for example, information specifying the above-described imaging condition.
  • the display device 53 displays a stereoscopic image based on the input display image signal in accordance with control from the CCU 51.
  • the display device 53 may display a stereoscopic image by any method such as an active shutter method, a passive method, or a glassless method.
  • the light source device 55 includes a light source corresponding to, for example, an LED, a xenon lamp, a halogen lamp, a laser light source, or a combination thereof, and supplies irradiation light to be irradiated toward an observation target to the endoscope 10 through a light guide. To do.
  • the arm control device 57 has a processor such as a CPU, for example, and controls driving of the arm portion 43 of the support arm device 40 by operating according to a predetermined program.
  • the input device 59 includes one or more input interfaces that accept user input to the medical image processing system 1.
  • the user can input various information or various instructions to the medical image processing system 1 via the input device 59.
  • the user may input setting information or other parameters to be described later via the input device 59.
  • the user instructs to drive the arm unit 43 via the input device 59, and instructs to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) in the endoscope 10;
  • an instruction to drive the energy treatment device 33 is input.
  • the input device 59 may handle any type of user input.
  • the input device 59 may detect a physical user input via a mechanism such as a mouse, a keyboard, a switch (for example, a foot switch 69) or a lever.
  • the input device 59 may detect a touch input via a touch panel.
  • the input device 59 may be realized in the form of a wearable device such as a glasses-type device or an HMD (Head Mounted Display), and may detect a user's line of sight or gesture.
  • the input device 59 may include a microphone that can pick up a user's voice, and detect a voice command via the microphone.
  • the treatment instrument control device 61 controls driving of the energy treatment instrument 33 for treatment such as tissue cauterization or incision or blood vessel sealing.
  • the insufflation apparatus 63 is inserted into the body cavity via the insufflation tube 31. Gas is fed into.
  • the recorder 65 records various information related to medical work (for example, one or more of setting information, image information, and measurement information from a vital sensor (not shown)) on a recording medium.
  • the printer 67 prints various information related to medical work in some form such as text, image or graph.
  • the determination of parallax for stereoscopic image generation or other applications is typically based on a comparison between two images of a common field of view viewed from different viewpoints. Is called.
  • the block position in the other image having the small image most strongly similar to the small image of the certain block in one image is searched, and the search result
  • the parallax is determined from the block position difference obtained as follows.
  • the block used in such a search is called a collation block.
  • the shape of the verification block is generally rectangular.
  • FIG. 2 is an explanatory diagram showing an example of a parallax determination image showing a minute subject.
  • an image Im01 is illustrated, and the image Im01 may be a right eye image of a right eye image and a left eye image that form a parallax determination image.
  • a living body J0, forceps J1, a needle tool J2, and a thread J3 are shown as subjects.
  • the area occupied by the forceps J1 in the image Im01 is relatively small, and the area occupied by the needle tool J2 and the thread J3 in the image Im01 is very small.
  • FIG. 3 is an explanatory diagram for explaining the accuracy of the parallax determined according to the existing block matching method.
  • the block B1 shown on the left in FIG. 3 is a collation block cut out from the left eye image that forms the parallax determination image together with the image Im01 that is the right eye image, for example.
  • Objects J0 and J3 are shown in the verification block B1.
  • the matching block B1 is in the block B2 in the image Im01. Can match.
  • the small images of the subject J0 corresponding to the background are sufficiently similar to each other.
  • the position of the subject J3 in the verification block B1 does not match the position of the subject J3 in the block B2.
  • Such a discrepancy is caused by the difference in the parallax between the two subjects due to the difference in depth between the two subjects, and because the subject J3 is small, the difference in appearance is not sufficiently considered in the collation of small images, and is larger. This may occur because the subject J0 determines the result of the collation.
  • high visibility is required for subjects that are small or smaller than the background, such as medical devices that are usually non-living (for example, needles and threads for ligation). Often. And existing methods do not fully meet these requirements.
  • Embodiments to be described later of the technology according to the present disclosure pay attention to such inconvenience, and improve the accuracy of parallax determination for medical image processing by improving an existing method.
  • the imaging device and the image processing device are configured separately and connected to each other through signal lines, but the technology according to the present disclosure is not limited to such an example.
  • the functions of the image processing apparatus described later may be implemented in a processor built in the imaging apparatus.
  • the imaging device may record the image signal on a recording medium, and the image processing device may process the image signal read from the recording medium (in this case, there is no signal line between these two devices). Good).
  • FIG. 4 is a block diagram illustrating an example of the configuration of the camera head 13 according to the first embodiment.
  • the camera head 13 includes an irradiation unit 110, an imaging unit 120, and a communication unit 130.
  • the irradiation unit 110 irradiates irradiation light supplied from the light source device 55 through the light guide toward the subject in the field of view.
  • the light irradiated by the irradiation unit 110 may be visible light for the purpose of capturing a parallax determination image, for example.
  • special light observation for example, fluorescence observation
  • the irradiation light for determining parallax may be special light having a wavelength corresponding to the type of observation.
  • the irradiation unit 110 irradiates the same subject with light having a wavelength at which the spectral characteristics of at least one of a living body and a non-living body are known for the purpose of capturing an image for region determination.
  • the irradiation light for region determination may be the same as or different from the irradiation light for parallax determination.
  • the spectral characteristics (or spectral reflectance) of a living body can be described in at most several modes (Yuri Murakami, “Theory of Estimating Spectral Reflectance”, Journal of the Photographic Society of Japan, Vol. 65, 2002, No.4, pp.234-239).
  • Non-biological spectral characteristics can also be measured in advance for each type and described as spectral characteristic information.
  • the irradiation light for region determination irradiated by the irradiation unit 110 has one or more wavelength components whose spectral characteristics are known.
  • the irradiation unit 110 may irradiate the subject with irradiation light having different wavelength patterns in a time division manner.
  • the wavelength (or wavelength pattern) of irradiation light irradiated from the irradiation unit 110 and the irradiation timing can be controlled in accordance with a control signal from the CCU 51.
  • the imaging unit 120 can typically include an optical system, an image sensor, and a drive system.
  • the optical system of the imaging unit 120 collects observation light from a subject captured from the tip of the lens barrel 11 onto an image sensor through a set of lenses (also referred to as a lens unit).
  • the image sensor photoelectrically converts the collected observation light to generate an image signal that is an electrical signal. For example, when irradiation light for parallax determination is irradiated, an image signal of an image for parallax determination is generated as a result of imaging the reflected light.
  • the parallax determination image includes a right eye image and a left eye image.
  • an image signal of the region determination image is generated as a result of imaging the reflected light.
  • the imaging unit 120 outputs these image signals generated by the image sensor to the communication unit 130.
  • the drive system of the imaging unit 120 moves a movable member such as an optical zoom lens or focus lens in accordance with a control signal from the CCU 51.
  • the communication unit 130 is a communication interface connected to the CCU 51 via a signal line. For example, the communication unit 130 transmits the above-described image signal generated in the imaging unit 120 to the CCU 51. In addition, when a control signal is received from the CCU 51, the communication unit 130 outputs the received control signal to the irradiation unit 110 and the imaging unit 120.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the CCU 51 according to the first embodiment.
  • the CCU 51 includes a signal acquisition unit 140, a region determination unit 150, a storage unit 160, a parallax determination unit 170, an image processing unit 180, and a control unit 190.
  • the signal acquisition unit 140 acquires the image signal of the region determination image and the image signal of the parallax determination image generated in the imaging unit 120 of the camera head 13.
  • the area determination image is a captured image that shows a common field of view with the parallax determination image.
  • the signal acquisition unit 140 outputs the region determination image to the region determination unit 150.
  • the signal acquisition unit 140 outputs the parallax determination image to the parallax determination unit 170.
  • the region determination unit 150 uses the region determination image input from the signal acquisition unit 140 to determine a non-biological region in the field of view to be observed.
  • the region determination image is an image generated by imaging observation light from a subject having one or more wavelength components serving as a reference for analyzing spectral characteristics.
  • the spectral characteristic information stored in the storage unit 160 describes the spectral characteristics of a target that is at least one of a living body and a non-living body.
  • the region determination unit 150 determines the non-biological region in the field of view to be observed by analyzing the spectral characteristics of the subject from the region determination image using the spectral characteristic information.
  • FIG. 6 is an explanatory diagram for explaining the spectral characteristics of several substances.
  • FIG. 6 is a graph showing the spectral characteristics of four different substances.
  • the horizontal axis of the graph represents the wavelength, and the vertical axis represents the reflectance.
  • the solid line graph shows the spectral characteristics of iron
  • the broken line graph shows the spectral characteristics of nylon, a kind of synthetic resin
  • the dashed-dotted line graph shows the spectral characteristics of silver
  • the dotted line graph shows the spectral characteristics of blood. Show.
  • the spectral characteristic of blood has a great influence on the spectral characteristic in the body, particularly when an image of the inside of the living body is imaged, and thus can be treated as a spectral characteristic that represents the living body.
  • Nylon is one of the materials used for medical yarn.
  • Stainless steel whose main component is iron, is one of the materials used for medical needles.
  • Silver is also one of the materials used for medical needles.
  • the intensity for each wavelength component of the reflected light is represented by the magnitude of the pixel value for each signal component of each pixel of the region determination image.
  • the spectral characteristics of various substances used for medical devices such as glass or rubber may be used.
  • FIG. 7 is an explanatory diagram for explaining an example of analysis of spectral characteristics of a subject.
  • a graph G0 shown in FIG. 7 represents spectral characteristics of a certain known non-living body (target). The spectral characteristics are here treated as a set of reflectivities for each of the wavelength components at the six sample wavelengths r1, r2, r3, r4, r5 and r6.
  • Graph G1 represents recognized from the pixel values of the one or more regions determination image, the spectral characteristics of the subject J A present in the first pixel position.
  • Area determination unit 150, a spectral characteristic represented by a graph G1 by comparison with known spectral characteristics of the target represented by the graph G0, subject J A calculates the probability that the target (or likelihood) obtain.
  • the sum of the error between the spectral characteristics if zero, the probability the subject J A is the target is highest. More error between the spectral characteristics is large, the probability the subject J A is the target is reduced.
  • Graph G2 is recognized from the pixel values of the one or more regions determination image, it represents the spectral characteristic of the subject J B present in the second pixel position.
  • the area determination unit 150 can calculate the probability that the subject J B is the target by comparing the spectral characteristic represented by the graph G2 with the known spectral characteristic of the target represented by the graph G0.
  • the region determination unit 150 can determine that the first pixel position belongs to the non-biological region corresponding to the target, while the second pixel position does not belong to the non-biological region corresponding to the target. For example, the region determination unit 150 can determine the region for each pixel by calculating the probability (target likelihood or spectral characteristic similarity) for each pixel and comparing the calculated probability with a threshold value.
  • a pixel that has a probability of exceeding the threshold may belong to the non-living area, and a pixel that has a probability of being below the threshold may belong to the living area.
  • a pixel indicating the probability of exceeding the threshold belongs to the living body region, and a pixel indicating the probability of falling below the threshold belongs to the non-living region.
  • FIG. 8 is an explanatory diagram for explaining an example of such wavelength pattern switching. Referring to FIG. 8, at time T1, light having a wavelength pattern PT1 is irradiated, and reflected light is imaged.
  • the wavelength pattern PT1 includes sample wavelengths r1, r3, and r5.
  • the wavelength pattern PT2 includes sample wavelengths r2, r4, and r6.
  • light having the wavelength pattern PT1 is irradiated again, and reflected light is imaged.
  • the light having the wavelength pattern PT2 is irradiated again, and the reflected light is imaged.
  • the region determination unit 150 recognizes the spectral characteristics of the subject with reference to the six sample wavelengths r1 to r6 from the values of a total of six signal components of, for example, two region determination images captured at times T1 and T2, respectively. obtain.
  • the region determination unit 150 calculates the spectral characteristics of the next frame based on the six sample wavelengths r1 to r6 from the values of a total of six signal components of the region determination images captured at times T3 and T4. It can be recognized.
  • the region determination unit 150 may segment the region determination image into a biological region and one or more non-biological regions. For example, when the spectral characteristics of a plurality of types of non-living bodies (for example, two or more of forceps, needles, and threads) are known, the region determination unit 150 sets each pixel to each type of non-living region.
  • the region determination image may be segmented into a biological region and one or more non-biological regions based on the calculated probability.
  • the region determination unit 150 when the spectral characteristics of a single non-living body (or living body) are known, the region determination unit 150, for example, based on the probability of belonging to the non-living area (or living body region) calculated for each pixel, for example By performing a segmentation technique such as a graph cut method, the region determination image may be segmented into a biological region and one or more non-biological regions. When it is determined that there are a plurality of non-biological areas in the area determination image, it is possible to set individual verification blocks for each non-biological area in the parallax determination described later.
  • the storage unit 160 stores information for various processes executed in the CCU 51.
  • the storage unit 160 stores spectral characteristic information used by the region determination unit 150 for region determination.
  • the spectral characteristic information includes a reflectance data set for each sample wavelength that indicates known spectral characteristics for each of the one or more targets.
  • Each target may be at least one of a living body and a non-living body.
  • the type of work performed in the medical image processing system 1 for example, surgical technique
  • the type of instrument used the target whose spectral characteristics are to be analyzed is switched among a plurality of target candidates. Also good.
  • the storage unit 160 may store target setting information that associates the type of work or an instrument to be used with a target whose spectral characteristics are to be analyzed (for example, a ligation work may be associated with a thread and a needle tool). ).
  • the parallax determination unit 170 determines the parallax using the parallax determination image input from the signal acquisition unit 140. More specifically, in the present embodiment, the parallax determination unit 170 adds the parallax to be applied to at least the non-living area to the parallax determination image and uses the result of the non-living area determination by the area determining unit 150. Judgment.
  • the parallax determination is typically performed according to the block matching method for each pixel position (or for each pixel block) of the right-eye image and the left-eye image constituting the parallax determination image in the other image. This can be done by searching for a point and calculating the horizontal position difference from the found corresponding point.
  • FIG. 9A is an explanatory diagram for describing determination of parallax using a compound-eye stereoscopic camera.
  • the image sensor 121a for the right eye and the image sensor 121b for the left eye are each shown as an inverted triangle.
  • the upper side of the inverted triangle corresponds to the imaging surface of the image sensor, and the lower vertex corresponds to the focal point.
  • F represents a focal length
  • L base represents a baseline length between image sensors (for example, a distance between two optical centers 123).
  • the subject J5 is located at a distance Z from the base line between the image sensor 121a for the right eye and the image sensor 121b for the left eye.
  • this distance Z is called depth.
  • Subject J5 is reflected in a horizontal position u R on the imaging surface in image sensor 121a for the right eye. Further, the subject J5, in the image sensor 121b for the left eye is reflected in a horizontal position u L on the imaging surface.
  • the parallax d relative to the image sensor 121a for the right eye is given by the following equation:
  • the parallax d (Z) as a function of the depth Z can be expressed as follows using the baseline length L base and the focal length F:
  • FIG. 9B is an explanatory diagram for describing determination of parallax using a monocular stereoscopic camera.
  • a single image sensor 122 is shown as an inverted triangle.
  • a shutter 125 that can selectively shield the right half and the left half of the lens is disposed in front of the image sensor 122.
  • the shutter 125 shields the left half of the lens, and observation light collected through the right half of the lens is imaged by the image sensor 122.
  • the shutter 125 shields the right half of the lens, and observation light collected through the left half of the lens is imaged by the image sensor 122.
  • the image sensor 122 generates a sequence of a right eye image and a left eye image by executing imaging while repeating such shutter switching in terms of time.
  • the base line length L base between the right eye image and the left eye image is, for example, the distance between the center of gravity of the right half and the center of gravity of the left half of the pupil (corresponding to the image of the aperture of the optical system) at the position of the shutter 125.
  • the parallax d (Z) can be expressed by the above equation (2) as a function of the depth Z of the subject using the base line length L base and the focal length F.
  • the parallax d (Z) can be derived by the block matching method based on the right eye image and the left eye image. It can be used to calculate the depth Z of the subject with known baseline length and focal length. However, when the actual depths of the two subjects are different, the actual parallaxes of the subjects are also different from each other. In the case where the matching block used in block matching includes two subjects having different actual depths, the parallax obtained as a result of the determination is based on the actual parallax of the subject that contributes more to the determination index. It will be close.
  • the parallax determination unit 170 uses the determination result of the non-biological region in order to improve the accuracy of the parallax determination for a non-biological medical device that is minute or smaller than the background.
  • a collation block is adaptively set based on the first parallax determination image (one of the right eye image and the left eye image) and the second parallax determination image (right eye image) using the set collation block. And the other of the left eye images).
  • the parallax determination unit 170 sets the size of the collation block depending on the size or shape of the non-biological region determined by the region determination unit 150. Further, the parallax determination unit 170 sets the weight for each pixel in the verification block, which is used for verification, depending on the shape of the non-living area. The parallax determination unit 170 sets the weight of the pixel corresponding to the non-living area in the matching block to the first value (for example, 1), and sets the weight of the pixel corresponding to the living area in the matching block to the second value (for example, , Zero).
  • the second value may mean that the pixel value at the corresponding pixel position is not included in the collation determination index or is excessively included.
  • the collation determination index may be, for example, a weighted sum of absolute differences between pixels.
  • the parallax determination unit 170 may set the weight of each pixel in the collation block depending on the probability that the pixel belongs to the non-living area. The probability that each pixel belongs to the non-biological region may have been calculated by the region determination unit 150 at the time of region determination.
  • FIG. 10 is an explanatory diagram for explaining an example of a result of non-biological region determination using the region determination image.
  • the parallax determination image Im01 described with reference to FIG. 2 is shown again.
  • the result of the region determination based on the region determination image that reflects the field of view common to the parallax determination image Im01 is, for example, binary (true (1) :) indicating whether each pixel belongs to a non-biological region. It may be expressed by binary mask information indicated by belonging (false) (zero): not belonging.
  • the result of the region determination is a multi-value (for example, zero: living body, 1: thread, 2: needle, 3) which kind of non-biological region or pixel belongs to each pixel position.
  • Forceps, etc. may be expressed by multi-value mask information.
  • the content of the multi-value mask information M11 expressing the result of region determination is shown partially enlarged for clarity.
  • the multi-value mask information M11 indicates the position and shape of the forceps region R1 as a non-biological region by dot shading.
  • the multi-value mask information M11 indicates the position and shape of the needle region R2 as a non-living region by hatching.
  • the multi-value mask information M11 indicates the position and shape of the yarn region R3 as a non-biological region by black shading.
  • FIG. 11 is an explanatory diagram for explaining an example of the collation block set based on the result of the determination of the non-biological region.
  • the multi-value mask information M11 is shown again on the left side of FIG.
  • the parallax determination unit 170 sets at least the size of the collation block B10 used for determining the parallax of the yarn region R3, for example, depending on the size and shape of the yarn region R3 indicated by the multi-value mask information M11.
  • the shape of the verification block may typically be square or rectangular, i.e. rectangular.
  • the length of the side of the rectangle is set so that the collation block can cover the whole or most of the non-living area or a characteristic part of the non-living area. In the example of FIG.
  • the parallax determination unit 170 sets the collation block B10 used for determining the parallax of the yarn region R3 as the smallest square that can cover the entire yarn region R3.
  • the collation block may have a shape other than a rectangle. Further, the shape of the collation block may be set depending on the shape of the non-biological region.
  • FIG. 12A is an explanatory diagram for describing a first example of setting a weight to a collation block.
  • the parallax determination unit 170 sets the pixel weight corresponding to the yarn region R3 in the matching block B10a to 1 and pixels (mainly corresponding to the yarn region R3 in the matching block B10a).
  • the weight of the pixel corresponding to the living body region) is set to zero.
  • the weight of the pixels in the collation block that do not correspond to the target region for determining the parallax (the subject region for which the determination of the parallax with high accuracy is desired) to zero, such pixels are effectively used in block matching. Can be ignored. That is, even if the target area is very small, it is possible to perform accurate block matching for the target area without being disturbed by the collation determination index due to the influence of subjects around the target area (with different parallax). .
  • FIG. 12B is an explanatory diagram for describing a second example of setting a weight to a collation block.
  • the parallax determination unit 170 sets the weight of a pixel having a high probability of belonging to the yarn region R3 in the verification block B10b to 1 and the probability of a pixel having a medium probability of belonging to the yarn region R3.
  • the weight is set to 0.5, and the weight of a pixel having a low probability of belonging to the yarn region R3 is set to zero. In this way, depending on the probability that each pixel belongs to the target area, by setting the weight for each pixel position to be included in the block matching collation determination index, block matching is performed while also considering the certainty of area determination. It is possible to derive the optimal result of.
  • the parallax determination unit 170 sets individual verification blocks for each non-biological region, and uses the set verification blocks The parallax to be applied to each non-living region may be determined.
  • FIG. 13 is an explanatory diagram for describing an example of setting a plurality of collation blocks.
  • the multi-value mask information M11 described with reference to FIG. 10 is shown again.
  • the multi-value mask information M11 indicates the positions and shapes of the forceps region R1, the needle tool region R2, and the thread region R3 as the non-biological region. These non-living areas R1, R2, and R3 can be distinguished from each other as a result of segmentation of non-living areas in the area determination unit 150, for example.
  • the parallax determination unit 170 performs the collation block B11 based on the forceps region R1 represented by the multi-value mask information M11, the collation block B12 based on the needle region R2, and the collation block B13 based on the thread region R3. Can be set. And the parallax determination part 170 can determine the parallax about forceps with high precision by the block matching using collation block B11. Similarly, the parallax determination unit 170 can determine the parallax for the needle by block matching using the matching block B12 and the parallax for the yarn by block matching using the matching block B13 with high accuracy.
  • the parallax determination unit 170 determines the parallax for each pixel position (or pixel block position) using the collation block set based on the determination result of the non-biological region in this way, and sets the parallax information representing the determined parallax.
  • the image is output to the image processing unit 180. Further, the parallax determination unit 170 outputs the parallax determination image to the image processing unit 180.
  • the image processing unit 180 performs image processing based on the parallax represented by the parallax information input from the parallax determination unit 170. For example, the image processing unit 180 may generate a stereoscopic image corresponding to the observed visual field based on the parallax represented by the parallax information. More specifically, for example, the image processing unit 180 shifts the horizontal position of the pixel in accordance with the parallax represented by the parallax information in one of the right eye image and the left eye image input from the parallax determination unit 170. Thus, a stereoscopic image is generated.
  • the image processing unit 180 may interpolate pixel information from adjacent pixels without a defect for a defective region where the pixel information is lost by shifting the horizontal position of the pixel.
  • the accuracy of the parallax determination for the non-living body is improved based on the determination result of the non-living area, so that the non-living subject that is minute or smaller than the background in the generated stereoscopic image It is possible to provide a more accurate stereoscopic effect.
  • the image processing unit 180 may execute a depth of field expansion (EDOF) process based on the parallax represented by the parallax information. More specifically, the image processing unit 180 calculates the depth for each pixel based on the parallax represented by the parallax information, for example. Then, the image processing unit 180 performs deblurring on the captured image (at least one of the parallax determination images) with a filter configuration that depends on the calculated depth, and thereby the depth of field of the captured image. Can be expanded in a pseudo manner. In the present embodiment, since the accuracy of the parallax determination for the non-living body is improved based on the determination result of the non-living area, such a depth-of-field expansion process can be executed more accurately.
  • EDOF depth of field expansion
  • the image processing unit 180 may execute the stereoscopic effect enhancement process based on the parallax represented by the parallax information. More specifically, for example, the image processing unit 180 corrects the parallax represented by the parallax information by multiplying a predetermined coefficient or adding (or subtracting) a predetermined offset, and the corrected parallax. Use to generate a stereoscopic image.
  • the stereoscopic effect can be more accurately obtained for a non-living subject that is minute or smaller than the background. It is possible to reduce the risk of emphasizing and displaying an unnatural stereoscopic image.
  • the image processing unit 180 may further execute other image processing such as high dynamic range processing, noise reduction, white balance adjustment, and high resolution at an arbitrary timing before or after the above-described image processing. Good.
  • image processing such as high dynamic range processing, noise reduction, white balance adjustment, and high resolution at an arbitrary timing before or after the above-described image processing. Good.
  • the parallax determined by the parallax determination unit 170 may be used.
  • the image processing unit 180 outputs an image signal (for example, a stereoscopic image or an image with an enlarged depth of field) after these image processings to the display device 53 or the recorder 65.
  • Control Unit 190 controls the operation of the endoscope 10 based on the user input and setting information detected by the input device 59 so that an image as desired by the user is captured and displayed. Control. For example, when the imaging is started, the control unit 190 causes the irradiation unit 110 of the camera head 13 to emit irradiation light for region determination at one or more wavelength patterns and timings that are determined in advance or dynamically selected. Then, the image acquisition unit 120 causes the signal acquisition unit 140 to acquire an image signal of the region determination image through imaging.
  • control unit 190 causes the irradiation unit 110 to emit irradiation light for parallax determination, and causes the signal acquisition unit 140 to acquire an image signal of the parallax determination image through imaging by the imaging unit 120. Further, the control unit 190 causes the region determination unit 150 to determine the non-biological region based on the known spectral characteristics of one or more targets, and uses the determination result to cause the parallax determination unit 170 to determine the non-biological region. The parallax to be applied is determined. Then, the control unit 190 causes the image processing unit 180 to perform image processing such as generation of a stereoscopic image or expansion of the depth of field according to the application of the system.
  • the control unit 190 may allow the user to specify the type of work (for example, a technique such as cardiac bypass surgery or partial gastrectomy, or a technique type such as ligation or suture) via the user interface.
  • the control unit 190 can select the wavelength pattern of the irradiation light for region determination and the target whose spectral characteristics should be analyzed based on the type of work specified by the user.
  • the control unit 190 may cause the user to specify a medical instrument (for example, a needle tool and a thread) to be used via the user interface.
  • the control unit 190 can select the wavelength pattern of the irradiation light for region determination and the target whose spectral characteristics are to be analyzed based on the instrument designated by the user.
  • control unit 190 may dynamically switch the type of image processing to be executed in the image processing unit 180 depending on user input or other settings.
  • the user input here may be any type of input such as physical input, touch input, gesture input, or voice input described in relation to the input device 59.
  • FIG. 14 is a flowchart illustrating an example of the overall flow of image processing according to the first embodiment.
  • the signal acquisition unit 140 acquires the image signal of the region determination image generated in the imaging unit 120 of the camera head 13 (step S110). An example of a more detailed flow of the area determination image acquisition process executed here will be further described later. Further, the signal acquisition unit 140 acquires an image signal of a parallax determination image made up of a right eye image and a left eye image (step S120).
  • the region determination unit 150 uses the region determination image supplied from the signal acquisition unit 140 to execute a region determination process for determining a non-biological region in the field of view to be observed (step S130).
  • a region determination process for determining a non-biological region in the field of view to be observed (step S130).
  • the parallax determination unit 170 executes the verification block setting process based on the result of the area determination process in step S130, and the verification block used for determining the parallax of the non-biological region in the field of view to be observed Is set (step S150).
  • the parallax determination unit 170 performs the parallax determination processing using the verification block set in the verification block setting processing in step S150, and determines the parallax to be applied to at least the non-biological region of the parallax determination image. (Step S160). An example of a more detailed flow of the parallax determination process executed here will be further described later.
  • the image processing unit 180 generates a stereoscopic image or other image processing using the disparity information generated as a result of the disparity determination processing in step S160 (step S180).
  • step S190 the image processing end condition is satisfied. For example, when a user input instructing the end of the process is detected via the input device 59, the above-described process ends.
  • FIG. 15 is a flowchart illustrating an example of a detailed flow of the region determination image acquisition processing illustrated in FIG.
  • the control unit 190 transmits a control signal to the camera head 13 to irradiate light having a specific wavelength pattern from the irradiation unit 110 (step S111). Further, the control unit 190 causes the imaging unit 120 to capture the reflected light of the irradiated light, and generates an image signal of the region determination image (step S113). The control unit 190 repeats the irradiation of the irradiation light and the imaging of the reflected light in steps S111 and S113 until the imaging with all necessary wavelength patterns is completed (step S115). Then, when imaging with one wavelength pattern is completed (for one frame), the region determination image acquisition process illustrated in FIG. 15 is completed.
  • FIG. 16 is a flowchart illustrating an example of a detailed flow of the region determination processing illustrated in FIG. Referring to FIG. 16, first, the region determination unit 150 acquires, from the storage unit 160, spectral characteristic information indicating a known spectral characteristic of a target that can be selected by the control unit 190 (step S131).
  • the region determination unit 150 extracts the spectral characteristic of one of the pixels sequentially selected in the image (hereinafter referred to as the target pixel) from the region determination image (step S133).
  • the spectral characteristic is extracted as the reflectance in three or less wavelength samples, only one area determination image may be referred to here.
  • the region determination unit 150 calculates the probability that the target pixel belongs to the target region based on the comparison between the extracted spectral characteristic of the target pixel and the known spectral characteristic of the target (step S134). Then, the region determination unit 150 determines whether the target pixel belongs to the target region based on the calculated probability (step S135).
  • the region determination unit 150 repeats the above-described steps S133 to S135 until the determination is completed for all the target pixels (step S137). Further, the region determination unit 150 repeats the above-described determination until the region determination result is derived for all the targets among the one or more targets (step S139). Then, when the (binary or multivalued) mask information indicating the region determination results for all targets is generated, the region determination process illustrated in FIG. 16 ends.
  • FIG. 17A is a flowchart showing a first example of a detailed flow of the collation block setting process shown in FIG.
  • the parallax determination unit 170 responds to the target region depending on the size or shape of the target region that is one of the one or more non-living regions indicated by the region determination result.
  • the size of the collation block to be set is set (step S151).
  • the shape of the verification block may be set depending on the shape of the corresponding target region, or may be fixed.
  • the parallax determination unit 170 determines whether or not the target pixel in the verification block belongs to the target region (step S153), sets the weight of the target pixel belonging to the target region to 1 (step S155), and sets the target region to the target region.
  • the weight of the pixel of interest that does not belong is set to zero (step S156).
  • the parallax determination unit 170 repeats such setting of weights until the setting of the weights of all the pixels in the collation block is completed (step S158). When this repetition is completed, the setting of the collation block corresponding to one target area is completed.
  • the parallax determination unit 170 repeats the above-described steps S151 to S158 until the setting of the matching blocks corresponding to all the target areas is completed (step S159). When this repetition ends, the setting of collation blocks corresponding to all target areas indicated by the area determination result ends.
  • FIG. 17B is a flowchart showing a second example of a detailed flow of the collation block setting process shown in FIG. Referring to FIG. 17B, first, the parallax determination unit 170 sets the size (or size and shape) of the matching block corresponding to the target region, depending on the size or shape of one target region (step S151). .
  • the parallax determination unit 170 acquires the probability (probability that the target pixel belongs to the target region) as the target region calculated by the region determination unit 150 for the target pixel in the collation block (step S154).
  • the parallax determination unit 170 sets the weight of the pixel of interest depending on the acquired probability (step S157).
  • the parallax determination unit 170 repeats such setting of weights until the setting of the weights of all the pixels in the collation block is completed (step S158). When this repetition is completed, the setting of the collation block corresponding to one target area is completed.
  • the parallax determination unit 170 repeats the above-described steps S151 to S158 until the setting of the matching blocks corresponding to all the target areas is completed (step S159). When this repetition ends, the setting of collation blocks corresponding to all target areas indicated by the area determination result ends.
  • FIG. 18 is a flowchart illustrating an example of a detailed flow of the parallax determination processing illustrated in FIG. Referring to FIG. 18, first, the parallax determination unit 170 determines whether or not the target pixel in the parallax determination image belongs to the non-living region (step S161).
  • the parallax determination unit 170 selects a matching block suitable for the target pixel from one or more matching blocks set in the matching block setting process (step S162).
  • the collation block selected here may be a collation block corresponding to the non-biological region with the highest probability that the target pixel belongs.
  • the parallax determination unit 170 performs block matching with weighting using the selected verification block, and determines a corresponding block corresponding to the target pixel (step S163).
  • the parallax determination unit 170 selects a predetermined collation block (step S164).
  • the predetermined collation block may be, for example, a block having a general shape (for example, a rectangle) and a uniform weight over all pixels.
  • the parallax determination part 170 determines a corresponding block corresponding to an attention pixel by performing block matching using a predetermined collation block (step S165).
  • the parallax determination unit 170 determines the position of the target pixel from the position of the corresponding block determined as a result of the block matching (for example, as a horizontal difference between the reference position of the corresponding block and the pixel position of the target pixel).
  • the parallax is calculated (step S167).
  • the parallax determination unit 170 repeats the above-described steps S161 to S167 until the calculation of the parallax is completed for all the pixels in the parallax determination image (step S169).
  • the parallax determination unit 170 outputs parallax information representing the parallax for each pixel position determined in this way to the image processing unit 180.
  • the non-biological region in the field of view is determined based on the analysis of the spectral characteristics of the subject using the region determination image.
  • the non-biological region is more easily determined from the signal intensity of the region determination image captured as the far-infrared image.
  • FIG. 19 is a block diagram illustrating an example of the configuration of the camera head 13 according to the second embodiment.
  • the camera head 13 includes an irradiation unit 210, a first imaging unit 220, a second imaging unit 225, and a communication unit 230.
  • the irradiation unit 210 irradiates the irradiation light supplied from the light source device 55 through the light guide toward the subject in the field of view.
  • the light irradiated by the irradiation unit 210 may be, for example, visible light for the purpose of capturing a parallax determination image.
  • special light observation for example, fluorescence observation
  • the irradiation light for determining parallax may be special light having a wavelength corresponding to the type of observation.
  • the irradiation unit 210 does not emit irradiation light for region determination.
  • the first imaging unit 220 photoelectrically converts observation light from the subject captured from the tip of the lens barrel 11 in the image sensor, and outputs an image signal of the parallax determination image. Generate.
  • the parallax determination image includes a right eye image and a left eye image. Then, the first imaging unit 220 outputs the generated image signal to the communication unit 230.
  • the second imaging unit 225 is an imaging device that images far-infrared light instead of visible light.
  • the far-infrared light is infrared light belonging to a wavelength region longer than the wavelength boundary of 1 ⁇ m, for example.
  • the second imaging unit 225 can typically include an optical system having a filter that passes far-infrared light emitted from a living body, and an image sensor having sensitivity in a wavelength region including the far-infrared region. .
  • the second imaging unit 225 images far-infrared light from the subject and generates a far-infrared image signal. Then, the second imaging unit 225 outputs the generated image signal to the communication unit 230.
  • the communication unit 230 is a communication interface connected to the CCU 51 through a signal line. For example, the communication unit 230 transmits the image signal of the parallax determination image generated in the first imaging unit 220 to the CCU 51. In addition, the communication unit 230 transmits the image signal of the region determination image generated in the second imaging unit 225 to the CCU 51. In addition, when a control signal is received from the CCU 51, the communication unit 230 outputs the received control signal to the irradiation unit 210, the first imaging unit 220, and the second imaging unit 225.
  • FIG. 20 is a block diagram illustrating an example of a configuration of the CCU 51 according to the second embodiment.
  • the CCU 51 includes a signal acquisition unit 240, a region determination unit 250, a storage unit 260, a parallax determination unit 270, an image processing unit 180, and a control unit 190.
  • the signal acquisition unit 240 acquires an image signal of an area determination image (far infrared image) generated in the second imaging unit 225 of the camera head 13.
  • the signal acquisition unit 240 acquires an image signal of the parallax determination image (visible light image) generated in the first imaging unit 220 of the camera head 13. Then, the signal acquisition unit 240 outputs the region determination image to the region determination unit 250 and the parallax determination image to the parallax determination unit 270, respectively.
  • the region determination unit 250 determines a non-biological region in the field of view to be observed using the region determination image input from the signal acquisition unit 240.
  • the region determination image is a far-infrared image generated by capturing the far-infrared light emitted from the subject as described above.
  • a living body such as an organ or an abdominal wall emits far-infrared light
  • medical instruments such as threads, needles, and forceps hardly emit far-infrared light. Therefore, the region determination unit 250 can determine whether each pixel belongs to a biological region or a non-biological region by comparing the pixel value for each pixel of the region determination image with a predefined threshold value. .
  • the region determination unit 250 determines that a pixel having a pixel value below the threshold in the region determination image belongs to the non-biological region, and determines that a pixel having a pixel value above the threshold belongs to the biological region. Can do.
  • FIG. 21 is an explanatory diagram for explaining another example of the result of the non-biological region determination using the region determination image.
  • a region determination image Im11 that is a far-infrared image is shown. Since the subject J0 shown in the region determination image Im11 is a living body that emits far-infrared light, the pixel value of the region corresponding to the subject J0 shows a relatively high value. On the other hand, since the subjects J1, J2, and J3 shown in the region determination image Im11 are non-living bodies that hardly emit far-infrared light, the pixel values of the regions corresponding to the subjects J1, J2, and J3 are relatively low values. Indicates.
  • the result of region determination based on the comparison between the pixel value and the threshold value for the region determination image Im11 is expressed by the mask information M21 in the lower part of FIG.
  • the mask information M21 divides the entire image area into a living body area R20 and a non-living body area R21 (for example, binary for each pixel).
  • the region determination unit 250 may segment the single non-biological region R21 illustrated into a plurality of non-biological regions by executing a segmentation technique such as a graph cut method, for example. In addition, when noise appears because the image signal level of the far-infrared image is weak, the region determination unit 250 may perform threshold determination for generating mask information after filtering for noise removal. Good.
  • the storage unit 260 stores information for various processes executed in the CCU 51.
  • the storage unit 260 stores threshold information used by the region determination unit 250 for region determination.
  • the parallax determination unit 270 determines the parallax using the parallax determination image input from the signal acquisition unit 240. More specifically, the parallax determination unit 270 determines the non-biological region by adding at least the parallax to be applied to the non-biological region to the parallax determination image, similar to the parallax determination unit 170 according to the first embodiment. It judges using the result of. In the present embodiment, the determination of the non-biological region is performed by the region determination unit 250 using the region determination image that is a far-infrared image as described above.
  • the parallax determination unit 270 may set the size of the collation block depending on the size or shape of the non-biological region determined by the region determination unit 250. Further, the parallax determination unit 270 may set the weight for each pixel in the verification block used for verification depending on the shape of the non-living region. Typically, the weight of the pixel corresponding to the non-living area in the matching block is a first value (for example, 1), and the weight of the pixel corresponding to the living area in the matching block is a second value (for example, Zero). The second value may mean that the pixel value at the corresponding pixel position is not included in the collation determination index or is excessively included.
  • the parallax determination unit 270 sets individual verification blocks for each non-biological region, and uses the set verification blocks The parallax to be applied to each non-living region may be determined. Furthermore, the parallax determination unit 270 determines the parallax for each pixel position (or pixel block position) using a matching block that is adaptively set for the non-biological region and using a predetermined matching block for the biological region. Then, the parallax determination unit 270 outputs parallax information representing the determination result to the image processing unit 180. Also, the parallax determination unit 270 outputs the parallax determination image to the image processing unit 180. The disparity information generated by the disparity determination unit 270 may be used for various purposes such as generation of a stereoscopic image or expansion of the depth of field in the image processing unit 180, as in the first embodiment. .
  • FIG. 22 is a flowchart illustrating an example of the overall flow of image processing according to the second embodiment.
  • the signal acquisition unit 240 acquires the image signal of the region determination image through the far-infrared light imaging in the second imaging unit 225 of the camera head 13 (step S210). Further, the signal acquisition unit 240 acquires an image signal of a parallax determination image made up of a right eye image and a left eye image (step S120).
  • the region determination unit 250 executes region determination processing for determining a non-biological region in the field of view to be observed using the region determination image supplied from the signal acquisition unit 240 (step S230).
  • region determination processing for determining a non-biological region in the field of view to be observed using the region determination image supplied from the signal acquisition unit 240 (step S230).
  • the parallax determination unit 270 executes the verification block setting process based on the result of the area determination process in step S230, and the verification block used for determining the parallax of the non-biological region in the field of view to be observed Is set (step S150).
  • the collation block setting process executed here may be the same as the process described in the first embodiment.
  • the parallax determination unit 270 performs the parallax determination process using the matching block set in the matching block setting process in step S150, and determines the parallax to be applied to at least the non-biological region of the parallax determination image. (Step S160).
  • the parallax determination process executed here may be the same as the process described in the first embodiment.
  • the image processing unit 180 generates a stereoscopic image or other image processing using the disparity information generated as a result of the disparity determination processing in step S160 (step S180).
  • Steps S210 to S180 described above are repeated until the image processing end condition is satisfied (step S190). For example, when a user input instructing the end of the process is detected via the input device 59, the above-described process ends.
  • FIG. 23 is a flowchart illustrating an example of a detailed flow of the region determination processing illustrated in FIG. Referring to FIG. 23, first, the region determination unit 250 acquires threshold information that can be defined in advance from the storage unit 260 (step S231).
  • the region determination unit 250 determines whether or not the pixel value of the target pixel is lower than the threshold value indicated by the threshold information acquired in step S231 (step S233). When the pixel value of the target pixel is lower than the threshold value, the region determination unit 250 determines that the target pixel belongs to the non-living region (step S234). On the other hand, when the pixel value of the target pixel does not fall below the threshold value, the region determination unit 250 determines that the target pixel belongs to the living body region (step S235).
  • the region determination unit 250 repeats the above-described steps S233 to S235 until the determination is completed for all pixels (step S237). And if the mask information which shows the area
  • the region determination image is a far-infrared image.
  • reflected light of far-infrared light irradiated toward the subject is imaged.
  • FIG. 24 is a block diagram illustrating an example of the configuration of the camera head 13 according to the third embodiment.
  • the camera head 13 includes a first irradiation unit 210, a second irradiation unit 315, a first imaging unit 220, a second imaging unit 325, and a communication unit 330.
  • the second irradiator 315 irradiates the subject within the field of view with far infrared light.
  • the far-infrared light irradiated by the second irradiation unit 315 may be infrared light having any wavelength belonging to the far-infrared region for the purpose of capturing an image for region determination.
  • the second imaging unit 325 is an imaging device that images far-infrared light.
  • the second imaging unit 325 typically has sensitivity to an optical system having a filter that allows reflected light of the far infrared light irradiated by the second irradiation unit 315 and a wavelength region including the far infrared region.
  • An image sensor An image sensor.
  • the second imaging unit 325 images far-infrared light reflected by the subject and generates a far-infrared image signal. Then, the second imaging unit 325 outputs the generated image signal to the communication unit 330.
  • the communication unit 330 is a communication interface connected to the CCU 51 via a signal line. For example, the communication unit 330 transmits the image signal of the parallax determination image generated in the first imaging unit 220 to the CCU 51. In addition, the communication unit 330 transmits the image signal of the region determination image generated in the second imaging unit 325 to the CCU 51. In addition, when a control signal is received from the CCU 51, the communication unit 330 outputs the received control signal to the first irradiation unit 210, the second irradiation unit 315, the first imaging unit 220, and the second imaging unit 325.
  • FIG. 25 is a block diagram illustrating an example of a configuration of the CCU 51 according to the third embodiment.
  • the CCU 51 includes a signal acquisition unit 340, a region determination unit 350, a storage unit 360, a parallax determination unit 370, an image processing unit 180, and a control unit 190.
  • the signal acquisition unit 340 acquires the image signal of the region determination image (far infrared image) generated by the second imaging unit 325 of the camera head 13.
  • the signal acquisition unit 340 acquires an image signal of the parallax determination image (visible light image) generated in the first imaging unit 220 of the camera head 13. Then, the signal acquisition unit 340 outputs the region determination image to the region determination unit 350 and the parallax determination image to the parallax determination unit 370, respectively.
  • the region determination unit 350 uses the region determination image input from the signal acquisition unit 340 to determine a non-biological region within the field of view to be observed.
  • the region determination image is a far-infrared image generated by imaging the reflected light of the far-infrared light irradiated toward the subject.
  • a living body such as an organ or an abdominal wall absorbs far-infrared light
  • a medical instrument such as a forceps formed of metal reflects far-infrared light. Therefore, the region determination unit 350 can determine whether each pixel belongs to a biological region or a non-biological region by comparing the pixel value of each pixel of the region determination image with a predefined threshold value.
  • the region determination unit 350 determines that a pixel having a pixel value exceeding the threshold in the region determination image belongs to the non-biological region, and a pixel having a pixel value lower than the threshold belongs to the biological region. Can do.
  • FIG. 26 is an explanatory diagram for explaining another example of the result of the non-biological region determination using the region determination image.
  • an area determination image Im21 that is a far-infrared image is shown. Since the subject J0 shown in the region determination image Im21 is a living body that absorbs far-infrared light, the pixel value of the region corresponding to the subject J0 shows a relatively low value. On the other hand, since the subjects J1 and J2 reflected in the region determination image Im21 are non-biological bodies that reflect far-infrared light, the pixel values of the regions corresponding to the subjects J1 and J2 are relatively high.
  • the result of the area determination based on the comparison between the pixel value and the threshold value for the area determination image Im21 is expressed by the mask information M31 in the lower part of FIG.
  • the mask information M31 divides the entire image area into a living body area R30 and a non-living body area R31 (for example, binary for each pixel).
  • the region determination unit 350 may segment the single non-biological region R31 illustrated into a plurality of non-biological regions by executing a segmentation technique such as a graph cut method, for example.
  • the storage unit 360 stores information for various processes executed in the CCU 51.
  • the storage unit 360 stores threshold information used by the region determination unit 350 for region determination.
  • the parallax determination unit 370 determines the parallax using the parallax determination image input from the signal acquisition unit 340. More specifically, the parallax determination unit 370, as with the parallax determination unit 170 according to the first embodiment and the parallax determination unit 270 according to the second embodiment, generates at least the parallax to be applied to the non-biological region. In addition to the image for determination, the determination is made using the determination result of the non-biological region. In the present embodiment, the determination of the non-living region is performed by the region determination unit 350 using the region determination image that is a far-infrared image, as described above.
  • the parallax determination unit 370 may set the size of the collation block depending on the size or shape of the non-biological region determined by the region determination unit 350. Further, the parallax determination unit 370 may set the weight for each pixel in the verification block used for verification depending on the shape of the non-living region. Typically, the weight of the pixel corresponding to the non-living area in the matching block is a first value (for example, 1), and the weight of the pixel corresponding to the living area in the matching block is a second value (for example, Zero). The second value may mean that the pixel value at the corresponding pixel position is not included in the collation determination index or is excessively included.
  • the parallax determination unit 370 sets individual verification blocks for each non-biological region, and uses the set verification blocks The parallax to be applied to each non-living region may be determined. And the parallax determination part 370 determines parallax for every pixel position (or pixel block position) using the collation block set adaptively about the non-biological area
  • the parallax determination unit 370 outputs the parallax determination image to the image processing unit 180.
  • the disparity information generated by the disparity determination unit 370 is used for various purposes such as the generation of a stereoscopic image or the expansion of the depth of field in the image processing unit 180, as in the first and second embodiments. May be used for
  • FIG. 27 is a flowchart illustrating an example of the overall flow of image processing according to the third embodiment.
  • the signal acquisition unit 340 performs the region determination image through the irradiation of the far infrared light from the second irradiation unit 315 of the camera head 13 and the imaging of the far infrared light in the second imaging unit 325.
  • the image signal is acquired (step S310).
  • the signal acquisition unit 340 acquires an image signal of a parallax determination image made up of a right eye image and a left eye image (step S120).
  • the region determination unit 350 uses the region determination image supplied from the signal acquisition unit 340 to execute a region determination process for determining a non-biological region within the field of view to be observed (step S330).
  • a region determination process for determining a non-biological region within the field of view to be observed (step S330).
  • the parallax determination unit 370 executes the verification block setting process based on the result of the area determination process in step S330, and the verification block used for determining the parallax of the non-biological region in the field of view to be observed Is set (step S150).
  • the collation block setting process executed here may be the same as the process described in the first embodiment.
  • the parallax determination unit 370 executes the parallax determination process using the verification block set in the verification block setting process in step S150, and determines the parallax to be applied to at least the non-biological region of the parallax determination image. (Step S160).
  • the parallax determination process executed here may be the same as the process described in the first embodiment.
  • the image processing unit 180 generates a stereoscopic image or other image processing using the disparity information generated as a result of the disparity determination processing in step S160 (step S180).
  • Steps S310 to S180 described above are repeated until the image processing end condition is satisfied (step S190). For example, when a user input instructing the end of the process is detected via the input device 59, the above-described process ends.
  • FIG. 28 is a flowchart illustrating an example of a detailed flow of the region determination processing illustrated in FIG. Referring to FIG. 28, first, the region determination unit 350 acquires threshold information that can be defined in advance from the storage unit 360 (step S331).
  • the region determination unit 350 determines whether or not the pixel value of the target pixel exceeds the threshold value indicated by the threshold information acquired in step S331 (step S333). When the pixel value of the target pixel exceeds the threshold value, the region determination unit 350 determines that the target pixel belongs to the non-living region (step S334). On the other hand, when the pixel value of the target pixel does not exceed the threshold value, the region determination unit 350 determines that the target pixel belongs to the living body region (step S335).
  • the region determination unit 350 repeats the above-described steps S333 to S335 until the determination is completed for all pixels (step S337).
  • the region determination process illustrated in FIG. 28 ends.
  • the non-biological region in the visual field is determined using the region determination image that reflects the common visual field with the parallax determination image, and the determination result of the non-biological region and the parallax determination image are obtained.
  • the parallax to be applied to at least the non-living area is determined. Therefore, in a medical scene such as surgery or diagnosis, it is possible to improve the accuracy of parallax determination and realize improved visibility for a non-biological subject that is relatively small relative to the surrounding subject. Become.
  • the parallax is determined by matching two parallax determination images using a matching block that is set based on the determination result of the non-living area. That is, the setting of the collation block can be adaptively changed according to the result of the determination of the non-biological region. For example, the accuracy of the parallax determination to be applied to the non-biological region is effectively improved by reducing the influence of the biological region around the non-biological region on the parallax determination through adaptive setting of the matching block.
  • the non-biological region is determined based on the spectral characteristics of a known subject.
  • the non-biological region can be determined using a general image sensor capable of imaging light in the visible light region.
  • the non-biological region is determined based on the pixel value of the region determination image that is a far-infrared image.
  • the configuration of the camera head can be kept small, and Does not give heat.
  • a method of generating an image for region determination by imaging reflected light of far-infrared light irradiated on a subject suppresses the amount of noise that appears in the far-infrared image and improves the accuracy of region determination.
  • an example of an image processing system including a surgical endoscope has been mainly described.
  • the technology according to the present disclosure is not limited to such an example, and can be applied to other types of medical observation apparatuses such as a microscope.
  • the technology according to the present disclosure may be realized as an image processing module (for example, an image processing chip) or a camera module mounted on such a medical observation apparatus.
  • the image processing described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • the program constituting the software is stored in advance in a storage medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM (Random Access Memory) at the time of execution and executed by a processor such as a CPU.
  • a region determination unit that determines a non-biological region in the field of view using a region determination image that reflects a field of view common to the parallax determination image
  • a parallax determination unit that determines a parallax to be applied to at least the non-biological region using the result of the determination of the non-biological region by the region determination unit and the parallax determination image
  • a medical image processing apparatus comprising: (2) The parallax determination unit compares the first parallax determination image and the second parallax determination image by using a verification block set based on the determination result of the non-living area, thereby determining the parallax.
  • the medical image processing apparatus according to (1), wherein the determination is performed.
  • the parallax determination unit sets the weight of the pixel corresponding to the non-living area in the matching block to a first value and the weight of the pixel corresponding to the living area in the matching block to a second value.
  • the second value means that the pixel value of the corresponding pixel position is not included in the index for matching or is under-calculated.
  • the medical image processing apparatus according to (4).
  • the region determination unit calculates a probability that each pixel in the region determination image belongs to the non-biological region,
  • the parallax determination unit sets the weight of each pixel in the verification block depending on the probability that the pixel belongs to the non-biological region.
  • the region determination unit segments the region determination image into a biological region and one or more non-biological regions, When the region determination unit determines that there are a plurality of non-biological regions, the parallax determination unit sets the individual verification blocks for each non-biological region, and uses each of the set verification blocks Determining the parallax to be applied to the non-biological region;
  • the medical image processing apparatus according to any one of (2) to (6).
  • the region determination image is light having a wavelength at which spectral characteristics of at least one of a living body and a non-living body are known, and is generated by imaging reflected light of the light irradiated on the subject in the visual field.
  • the region determination unit determines the non-biological region in the field of view by analyzing spectral characteristics of the subject from the region determination image.
  • the medical image processing apparatus according to any one of (1) to (7).
  • the medical image processing apparatus according to (8), wherein the region determination image is generated by imaging reflected light of light irradiated a plurality of times with different wavelength patterns onto a subject in the visual field.
  • the region determination image is generated by imaging far-infrared light emitted from a subject in the field of view, The region determination unit determines that a pixel having a pixel value lower than a threshold in the region determination image belongs to the non-biological region;
  • the image for region determination is generated by imaging reflected light of far-infrared light irradiated on the subject in the field of view, The region determination unit determines that a pixel having a pixel value exceeding a threshold in the region determination image belongs to the non-living region.
  • the medical image processing apparatus according to (11).
  • Image processing device The medical image according to any one of (1) to (14), further including an image processing unit that executes a depth-of-field expansion process based on the parallax determined by the parallax determination unit. Processing equipment.
  • the medical image processing apparatus according to any one of (1) to (16), An imaging device that images a subject in the field of view and generates at least one of the parallax determination image and the region determination image; Medical image processing system including: (18) Determining a non-biological region in the field of view using a region determination image that reflects a field of view common to the parallax determination image; Determining the parallax to be applied to at least the non-biological region using the determination result of the non-biological region and the parallax determination image; A medical image processing method comprising: (19) A processor for controlling the medical image processing apparatus; A region determination unit that determines a non-biological region in the field of view using a region determination image that reflects a field of view common to the parallax determination image; A parallax determination unit that determines a parallax to be applied to at least the non-biological region using the result of the determination of the non-biological region by the region determination unit and the parallax determination image; Program

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Analysis (AREA)

Abstract

【課題】医療用の画像処理のための視差の判定の精度を向上させること。 【解決手段】視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置を提供する。

Description

医療用画像処理装置、システム、方法及びプログラム
　本開示は、医療用画像処理装置、システム、方法及びプログラムに関する。
　従来、立体視画像の生成又はその他の用途のために、異なる視点から被写体を撮像することにより生成される複数の画像を用いて視点間の視差を判定する技術が知られている（例えば、特許文献１及び特許文献２参照）。例えば、ステレオカメラからの２つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。
特開２０１４－２０６８９３号公報 特開２０１５－１４６５２６号公報
　しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について高い視認性が要求されることがあり、従来のブロックマッチング法はそうした要求を十分に満たすことができなかった。
　本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置が提供される。
　また、本開示によれば、前記医療用画像処理装置と、前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、を含む医療用画像処理システムが提供される。
　また、本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、を含む医療用画像処理方法が提供される。
　また、本開示によれば、医療用画像処理装置を制御するプロセッサを、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、として機能させるためのプログラムが提供される。
　本開示に係る技術によれば、医療用の画像処理のための視差の判定の精度を向上させて、被写体の高い視認性を実現することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
一実施形態に係る医療用画像処理システムの概略的な構成について説明するための説明図である。 微小な被写体が映っている視差判定用画像の一例を示す説明図である。 既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。 第１の実施形態に係る撮像装置の構成の一例を示すブロック図である。 第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 いくつかの物質の分光特性について説明するための説明図である。 被写体の分光特性の解析の一例について説明するための説明図である。 照射光の波長パターンの切り替えの一例について説明するための説明図である。 複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。 単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。 領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。 非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。 照合ブロックへの重みの設定の第１の例について説明するための説明図である。 照合ブロックへの重みの設定の第２の例について説明するための説明図である。 複数の照合ブロックの設定の一例について説明するための説明図である。 第１の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。 図１４に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。 図１４に示した領域判定処理の詳細な流れの一例を示すフローチャートである。 図１４に示した照合ブロック設定処理の詳細な流れの第１の例を示すフローチャートである。 図１４に示した照合ブロック設定処理の詳細な流れの第２の例を示すフローチャートである。 図１４に示した視差判定処理の詳細な流れの一例を示すフローチャートである。 第２の実施形態に係る撮像装置の構成の一例を示すブロック図である。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。 第２の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。 図２２に示した領域判定処理の詳細な流れの一例を示すフローチャートである。 第３の実施形態に係る撮像装置の構成の一例を示すブロック図である。 第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。 第３の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。 図２７に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　１．序論
　　１－１．システムの概要
　　１－２．課題の説明
　２．第１の実施形態
　　２－１．撮像装置の構成例
　　２－２．画像処理装置の構成例
　　２－３．処理の流れ
　３．第２の実施形態
　　３－１．撮像装置の構成例
　　３－２．画像処理装置の構成例
　　３－３．処理の流れ
　４．第３の実施形態
　　４－１．撮像装置の構成例
　　４－２．画像処理装置の構成例
　　４－３．処理の流れ
　５．まとめ
　＜１．序論＞
　　［１－１．システムの概要］
　本項では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図１は、一実施形態に係る医療用画像処理システム１の概略的な構成の一例を示している。医療用画像処理システム１は、内視鏡下手術システムである。図１の例では、術者（医師）３が、医療用画像処理システム１を用いて、患者ベッド５上の患者７に内視鏡下手術を行っている。医療用画像処理システム１は、内視鏡１０と、その他の手術器具（術具）３０と、内視鏡１０を支持する支持アーム装置４０と、内視鏡下手術のための様々な装置が搭載されたカート５０と、から構成される。
　内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具３７ａ～３７ｄが腹壁に複数穿刺される。そして、トロッカ３７ａ～３７ｄから、内視鏡１０の鏡筒１１、及びその他の術具３０が、患者７の体腔内に挿入される。図１の例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が示されている。エネルギー処置具３３は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具３０は一例に過ぎず、他の種類の術具（例えば、攝子又はレトラクタなど）が利用されてもよい。
　内視鏡１０によって撮像される患者７の体腔内の画像は、表示装置５３により表示される。術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具３３及び鉗子３５を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者３又は助手などのユーザによって支持される。
　支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図１の例では、アーム部４３は、関節部４５ａ、４５ｂ及び４５ｃ、並びにリンク４７ａ及び４７ｂから構成され、内視鏡１０を支持している。アーム部４３がアーム制御装置５７からの制御に従って駆動される結果として、内視鏡１０の位置及び姿勢が制御され、内視鏡１０の安定的な位置の固定もまた実現され得る。
　内視鏡１０は、鏡筒１１と、鏡筒１１の基端に接続されるカメラヘッド１３と、から構成される。鏡筒１１の先端からある長さまでの一部分は、患者７の体腔内に挿入される。図１の例では、硬性の鏡筒１１を有するいわゆる硬性鏡として内視鏡１０が構成されているが、内視鏡１０は、いわゆる軟性鏡として構成されてもよい。
　鏡筒１１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５５が接続されており、光源装置５５によって生成された光が、鏡筒１１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７の体腔内の観察対象に向かって照射される。なお、内視鏡１０は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
　カメラヘッド１３は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置５５からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒１１の先端から取り込まれる被写体からの観察光（照射光の反射光）を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド１３のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、３つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する３板式センサであってもよく、又は単板式若しくは２板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）又はＣＣＤ（Charge-Coupled　Device）などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５１へ送信される。
　ある実施形態において、カメラヘッド１３により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより（例えばシャッタ切り替え方式で）生成されてもよい。さらに、カメラヘッド１３は、視野内の非生体領域を判定するために用いられる領域判定用画像の画像信号をも生成し得る。ある実施形態において、領域判定用画像は可視光画像であってよく、他の実施形態において、領域判定用画像は赤外画像であってよい。
　ＣＣＵ５１は、信号線及び通信インタフェースを介してカメラヘッド１３と接続される。カメラヘッド１３とＣＣＵ５１との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。ＣＣＵ５１は、ＣＰＵ（Central　Processing　Unit）などのプロセッサとＲＡＭ（Random　Access　Memory）などのメモリとを有し、内視鏡１０及び表示装置５３の動作を統括的に制御する。ＣＣＵ５１は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する１つ以上のＧＰＵ（Graphics　Processing　Unit）とをさらに有してもよい。例えば、ＣＣＵ５１は、カメラヘッド１３から入力される視差判定用画像に基づいて、画素ごと（又は他の何らかの単位ごとに）視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。ＣＣＵ５１は、画像処理の結果として生成される画像を、表示のために表示装置５３へ出力し、又は記録のためにレコーダ６５へ出力し得る。出力される一連の画像は、動画（映像）を構成し得る。ＣＣＵ５１において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、ＣＣＵ５１は、カメラヘッド１３へ制御信号を送信し、カメラヘッド１３の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
　表示装置５３は、ＣＣＵ５１からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置５３は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。
　光源装置５５は、例えばＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１０へ供給する。
　アーム制御装置５７は、例えばＣＰＵなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置４０のアーム部４３の駆動を制御する。
　入力装置５９は、医療用画像処理システム１へのユーザ入力を受け付ける１つ以上の入力インタフェースを含む。ユーザは、入力装置５９を介して、医療用画像処理システム１へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置５９を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示、内視鏡１０における撮像条件（照射光の種類、倍率及び焦点距離など）を変更する旨の指示、又はエネルギー処置具３３を駆動させる旨の指示などを入力する。
　入力装置５９は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置５９は、マウス、キーボード、スイッチ（例えば、フットスイッチ６９）又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置５９は、タッチパネルを介してタッチ入力を検出してもよい。入力装置５９は、メガネ型デバイス又はＨＭＤ（Head　Mounted　Display）といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
　処置具制御装置６１は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡１０により観察される視野を確保し及び術者の作業空間を確保する目的で、患者７の体腔を膨らませるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、医療上の作業に関する様々な情報（例えば、設定情報、画像情報及びバイタルセンサ（図示せず）からの測定情報のうちの１つ以上）を記録媒体へ記録する。プリンタ６７は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
　　［１－２．課題の説明］
　こうした医療用画像処理システムにおける、立体視画像の生成又はその他の用途のための視差の判定は、典型的には、共通する視野を異なる視点から映した２つの画像の間の比較に基づいて行われる。例えば、ステレオカメラからの２つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。本明細書では、こうした探索において利用される上記ブロックを照合ブロックという。照合ブロックの形状は、一般的には矩形である。
　しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について、従来のブロックマッチング法が十分な視差判定精度を提供しないことが多かった。
　図２は、微小な被写体が映っている視差判定用画像の一例を示す説明図である。図２を参照すると、画像Ｉｍ０１が例示されており、画像Ｉｍ０１は、視差判定用画像を構成する右眼画像及び左眼画像のうちの右眼画像であり得る。画像Ｉｍ０１には、被写体として、生体Ｊ０、鉗子Ｊ１、針具Ｊ２及び糸Ｊ３が映っている。生体Ｊ０と比較して、鉗子Ｊ１が画像Ｉｍ０１に占める領域は相対的に小さく、針具Ｊ２及び糸Ｊ３が画像Ｉｍ０１に占める領域は微小である。
　図３は、既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。図３の左に示したブロックＢ１は、例えば右眼画像である画像Ｉｍ０１と共に視差判定用画像を構成する左眼画像から切り出された照合ブロックである。照合ブロックＢ１には、被写体Ｊ０及びＪ３が映っている。ブロックマッチング法に従って照合ブロックＢ１に最も強く類似する（例えば、画素間の差異の総和が最も小さい）小画像を画像Ｉｍ０１内で探索していくと、例えば画像Ｉｍ０１内のブロックＢ２に照合ブロックＢ１がマッチし得る。ブロックＢ１とブロックＢ２とを比較すると、背景に相当する被写体Ｊ０の小画像は互いに十分に類似する。これに対し、照合ブロックＢ１内の被写体Ｊ３の位置は、ブロックＢ２内の被写体Ｊ３の位置とは不一致である。こうした不一致は、２つの被写体の深度の相違に起因してそれら被写体の視差が異なっており、かつ被写体Ｊ３が小さいためにその見え方の違いが小画像の照合において十分に考慮されず、より大きい被写体Ｊ０が照合の結果を左右するために生じ得る。しかし、手術又は診断といった医療のシーンでは、通常は非生体である医療器具（例えば、結紮のための針具及び糸）のような、微小な又は背景よりも小さい被写体について高い視認性が要求されることが多い。そして、既存の手法は、そうした要求を十分に満たしていない。本開示に係る技術の後述する実施形態は、こうした不都合に着目し、既存の手法を改良して医療用の画像処理のための視差の判定の精度を向上させる。
　＜２．第１の実施形態＞
　図１に例示した医療用画像処理システム１の構成要素の中で、特に、撮像装置の役割を有するカメラヘッド１３、及び画像処理装置の役割を有するＣＣＵ５１が、視差の判定と判定された視差に基づく画像処理に主に関与する。そこで、本節では、これら２つの装置の一実施形態に係る具体的な構成について詳細に説明する。
　なお、医療用画像処理システム１では、これら撮像装置及び画像処理装置がそれぞれ別体に構成され互いに信号線で接続されるが、本開示に係る技術は、かかる例に限定されない。例えば、後に説明する画像処理装置の機能は、撮像装置に内蔵されるプロセッサに実装されてもよい。また、撮像装置が画像信号を記録媒体に記録し、画像処理装置がその記録媒体から読み出される画像信号を処理してもよい（この場合、これら２つの装置の間に信号線が存在しなくてよい）。
　　［２－１．撮像装置］
　図４は、第１の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図４を参照すると、カメラヘッド１３は、照射部１１０、撮像部１２０及び通信部１３０を備える。
　照射部１１０は、光源装置５５からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部１１０により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察（例えば、蛍光観察）が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。
　さらに、本実施形態において、照射部１１０は、領域判定用画像の撮像を目的として、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光を同じ被写体へと照射する。領域判定用の照射光は、視差判定用の照射光と同一であってもよく又は異なってもよい。一般に、生体の分光特性（又は分光反射率）は高々数種類のモードで記述され得ることが知られている（村上百合，「分光反射率の推定理論」，日本写真学会誌Vol.65，2002，No.4，第234-239頁）。非生体の分光特性もまた、その種類ごとに予め測定して分光特性情報として記述されることができる。本実施形態において照射部１１０により照射される領域判定用の照射光は、そうした分光特性が既知である１つ以上の波長成分を有する。照射部１１０は、後述する領域判定が複数の（例えば、４つ以上の）波長成分を要する場合には、互いに異なる波長パターンを有する照射光を時間分割方式で被写体へ照射してもよい。照射部１１０から照射される照射光の波長（又は波長パターン）及び照射タイミングは、ＣＣＵ５１からの制御信号に従って制御され得る。
　撮像部１２０は、典型的には、光学系、イメージセンサ及び駆動系を含み得る。撮像部１２０の光学系は、鏡筒１１の先端から取り込まれる被写体からの観察光を、一組のレンズ（レンズユニットともいう）を通じてイメージセンサへと集光する。イメージセンサは、集光された観察光を光電変換し、電気信号である画像信号を生成する。例えば、視差判定用の照射光が照射された際には、その反射光の撮像の結果として、視差判定用画像の画像信号が生成される。視差判定用画像は、上述したように、右眼画像及び左眼画像から構成される。領域判定用の照射光が照射された際には、その反射光の撮像の結果として、領域判定用画像の画像信号が生成される。撮像部１２０は、イメージセンサにより生成されるこれら画像信号を、通信部１３０へ出力する。撮像部１２０の駆動系は、光学系のズームレンズ又はフォーカスレンズといった可動部材を、ＣＣＵ５１からの制御信号に従って動かす。
　通信部１３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部１３０は、撮像部１２０において生成される上述した画像信号をＣＣＵ５１へ送信する。また、通信部１３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を照射部１１０及び撮像部１２０へ出力する。
　　［２－２．画像処理装置の構成例］
　図５は、第１の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図５を参照すると、ＣＣＵ５１は、信号取得部１４０、領域判定部１５０、記憶部１６０、視差判定部１７０、画像処理部１８０及び制御部１９０を備える。
　　　（１）信号取得部
　信号取得部１４０は、カメラヘッド１３の撮像部１２０において生成される、領域判定用画像の画像信号及び視差判定用画像の画像信号を取得する。領域判定用画像は、視差判定用画像と共通する視野を映した撮像画像である。信号取得部１４０は、領域判定用画像を領域判定部１５０へ出力する。また、信号取得部１４０は、視差判定用画像を視差判定部１７０へ出力する。
　　　（２）領域判定部
　領域判定部１５０は、信号取得部１４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、分光特性の解析の基準となる１つ以上の波長成分を有する、被写体からの観察光を撮像することにより生成された画像である。記憶部１６０により記憶される分光特性情報は、生体又は非生体の少なくとも一方であるターゲットの分光特性を記述する。領域判定部１５０は、分光特性情報を用いて、領域判定用画像から被写体の分光特性を解析することにより、観察される視野内の非生体領域を判定する。
　図６は、いくつかの物質の分光特性について説明するための説明図である。図６には、互いに異なる４種類の物質の分光特性をそれぞれ示すグラフが描かれている。グラフの横軸は波長を表し、縦軸は反射率を表す。実線のグラフは鉄の分光特性を、破線のグラフは合成樹脂の一種であるナイロンの分光特性を、一点鎖線のグラフは銀の分光特性を、点線のグラフは血液の分光特性をそれぞれ例示的に示している。血液の分光特性は、特に生体の体内が撮像される場合に体内の分光特性に大きく影響するため、生体を代表する分光特性として扱われることができる。ナイロンは、医療用の糸のために使用される素材のうちの１つである。鉄を主要成分とするステンレスは、医療用の針具のために使用される素材のうちの１つである。銀もまた、医療用の針具のために使用される素材のうちの１つである。これらグラフから理解されるように、特定の１つ以上の波長成分を有する光を既知の強度で被写体へと照射し、その反射光の波長成分ごとの強度を測定し、その測定結果を既知の物質の分光特性と比較することにより、被写体が生体なのか又は非生体なのかを判定することが可能である。また、被写体が非生体である場合に、同様の手法で、被写体がどういった種類の医療器具であるのかを判定することも可能である。反射光の波長成分ごとの強度は、領域判定用画像の各画素の信号成分ごとの画素値の大きさにより表される。なお、図６に例示した４種類の物質以外にも、例えばガラス又はゴムなど、医療器具のために使用される様々な物質の分光特性が活用されてよい。
　図７は、被写体の分光特性の解析の一例について説明するための説明図である。図７に示したグラフＧ０は、ある既知の非生体（ターゲット）の分光特性を表している。分光特性は、ここでは、６つのサンプル波長ｒ１、ｒ２、ｒ３、ｒ４、ｒ５及びｒ６における波長成分のそれぞれの反射率のセットとして扱われる。グラフＧ１は、１つ以上の領域判定用画像の画素値から認識される、第１の画素位置に存在する被写体ＪＡの分光特性を表している。領域判定部１５０は、グラフＧ１により表される分光特性を、グラフＧ０により表されるターゲットの既知の分光特性と比較することにより、被写体ＪＡがターゲットである確率（あるいは尤もらしさ）を算出し得る。例えば、分光特性の間の誤差の総和がゼロであれば、被写体ＪＡがターゲットである確率は最も高い。分光特性の間の誤差が大きいほど、被写体ＪＡがターゲットである確率は小さくなる。グラフＧ２は、１つ以上の領域判定用画像の画素値から認識される、第２の画素位置に存在する被写体ＪＢの分光特性を表している。領域判定部１５０は、グラフＧ２により表される分光特性を、グラフＧ０により表されるターゲットの既知の分光特性と比較することにより、被写体ＪＢがターゲットである確率を算出し得る。
　図７の例では、グラフＧ１は、グラフＧ２と比較して、より強くグラフＧ０に類似している（サンプル波長ごとの反射率の差の総和がより小さい）。従って、この場合、領域判定部１５０は、第１の画素位置はターゲットに対応する非生体領域に属し、一方で第２の画素位置はターゲットに対応する非生体領域に属しないと判定し得る。領域判定部１５０は、例えば画素ごとに上記確率（ターゲット尤度又は分光特性の類似度）を算出して、算出した確率を閾値と比較することにより、画素ごとの領域の判定を行い得る。ターゲットが非生体である場合には、閾値を上回る確率を示す画素は非生体領域に属し、閾値を下回る確率を示す画素は生体領域に属し得る。ターゲットが生体（例えば、血液）である場合には、閾値を上回る確率を示す画素は生体領域に属し、閾値を下回る確率を示す画素は非生体領域に属する。
　被写体の分光特性の解析に基づく領域判定の精度は、解析の基準とされるサンプル波長が多いほど高まる。しかし、通常の撮像装置は、同時に最大で３つの色成分からなる観察光を撮像する。そこで、ある実施例において、照射光の波長パターンを複数のパターンの間で時間分割方式で切り替えながら撮像を行うことが有益である。図８は、そうした波長パターンの切り替えの一例について説明するための説明図である。図８を参照すると、時刻Ｔ１において、波長パターンＰＴ１を有する光が照射され、反射光が撮像される。波長パターンＰＴ１は、サンプル波長ｒ１、ｒ３及びｒ５からなる。次に、時刻Ｔ２において、波長パターンＰＴ２を有する光が照射され、反射光が撮像される。波長パターンＰＴ２は、サンプル波長ｒ２、ｒ４及びｒ６からなる。次に、時刻Ｔ３において、波長パターンＰＴ１を有する光が再び照射され、反射光が撮像される。次に、時刻Ｔ４において、波長パターンＰＴ２を有する光が再び照射され、反射光が撮像される。領域判定部１５０は、例えば時刻Ｔ１及びＴ２においてそれぞれ撮像された２つの領域判定用画像の合計６つの信号成分の値から、６つのサンプル波長ｒ１～ｒ６を基準とする被写体の分光特性を認識し得る。同様に、領域判定部１５０は、時刻Ｔ３及びＴ４においてそれぞれ撮像された領域判定用画像の合計６つの信号成分の値から、６つのサンプル波長ｒ１～ｒ６を基準とする次のフレームの分光特性を認識し得る。
　領域判定部１５０は、領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。例えば、領域判定部１５０は、複数の種類の非生体（例えば、鉗子、針具及び糸のうちの２つ以上）の分光特性が既知である場合に、各画素がそれぞれの種類の非生体領域に属する確率を算出し、算出した確率に基づいて領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。その代わりに、領域判定部１５０は、単一の非生体（又は生体）の分光特性が既知である場合に、各画素について算出される非生体領域（又は生体領域）に属する確率に基づいて例えばグラフカット法などのセグメンテーション技法を実行することにより、領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。領域判定画像内に複数の非生体領域が存在すると判定された場合には、後述する視差の判定において、各非生体領域についての個別の照合ブロックを設定することが可能となる。
　　　（３）記憶部
　記憶部１６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部１６０は、領域判定部１５０により領域判定のために使用される分光特性情報を記憶する。分光特性情報は、１つ以上のターゲットの各々についての既知の分光特性を示す、サンプル波長ごとの反射率のデータセットを含む。各ターゲットは、生体又は非生体の少なくとも一方であり得る。医療用画像処理システム１において行われる作業の種類（例えば、手術の術式）又は使用される器具の種類に基づいて、分光特性を解析されるべきターゲットが複数のターゲット候補の間で切り替えられてもよい。記憶部１６０は、作業の種類又は使用される器具と、分光特性を解析すべきターゲットとを関連付けるターゲット設定情報を記憶してもよい（例えば、結紮作業には、糸及び針具が関連付けられ得る）。
　　　（４）視差判定部
　視差判定部１７０は、信号取得部１４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、本実施形態において、視差判定部１７０は、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、領域判定部１５０による非生体領域の判定の結果を用いて判定する。視差の判定は、典型的には、ブロックマッチング法に従い、視差判定用画像を構成する右眼画像及び左眼画像のうちの一方の画素位置ごと（又は画素ブロックごと）に、他方の画像における対応点を探索し、発見された対応点との水平位置の差を算出することにより行われ得る。
　図９Ａは、複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図９Ａを参照すると、右眼用イメージセンサ１２１ａ及び左眼用イメージセンサ１２１ｂがそれぞれ逆三角形で示されている。逆三角形の上辺はイメージセンサの撮像面に相当し、下の頂点は焦点に相当する。図中で、Ｆは焦点距離を表し、Ｌｂａｓｅはイメージセンサ間の基線長（例えば、２つの光学中心１２３の間の距離）を表す。図９Ａの例では、被写体Ｊ５は、右眼用イメージセンサ１２１ａ及び左眼用イメージセンサ１２１ｂの間の基線から距離Ｚの位置にある。本明細書では、この距離Ｚを深度という。被写体Ｊ５は、右眼用イメージセンサ１２１ａにおいては撮像面上の水平位置ｕＲに映っている。また、被写体Ｊ５は、左眼用イメージセンサ１２１ｂにおいては撮像面上の水平位置ｕＬに映っている。説明の簡明さのためにピンホールカメラモデルを前提とすると、右眼用イメージセンサ１２１ａを基準とする視差ｄは、次式で与えられる：
Figure JPOXMLDOC01-appb-M000001
　さらに、深度Ｚが可変的な値であるとすると、深度Ｚの関数としての視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、次式のように表現され得る：
Figure JPOXMLDOC01-appb-M000002
　図９Ｂは、単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図９Ｂを参照すると、単一のイメージセンサ１２２が逆三角形で示されている。また、イメージセンサ１２２の前方には、一組のレンズ１２４に加えて、レンズの右半分及び左半分を選択的に遮蔽可能なシャッタ１２５が配置されている。右眼撮像時には、シャッタ１２５がレンズの左半分を遮蔽し、レンズの右半分を通じて集光される観察光がイメージセンサ１２２により撮像される。左眼撮像時には、シャッタ１２５がレンズの右半分を遮蔽し、レンズの左半分を通じて集光される観察光がイメージセンサ１２２により撮像される。このようなシャッタの切り替えを時間的に反復しながら撮像を実行することにより、右眼画像及び左眼画像のシーケンスがイメージセンサ１２２において生成される。右眼画像と左眼画像との間の基線長Ｌｂａｓｅは、例えばシャッタ１２５の位置における瞳（光学系の絞りの像に相当）の右半分の重心と左半分の重心との間の距離として定義され得る。単眼式の立体視カメラにおいても、視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、被写体の深度Ｚの関数として上記式（２）により表現され得る。
　このように、立体視カメラの方式に関わらず、右眼画像及び左眼画像に基づきブロックマッチング法によって視差ｄ（Ｚ）を導出することができ、導出された視差ｄ（Ｚ）は、さらに例えば基線長及び焦点距離を既知として被写体の深度Ｚを算出するために使用され得る。但し、２つの被写体の実深度が異なる場合には、それら被写体の実視差も互いに異なる。そして、ブロックマッチングの際に使用される照合ブロックがそうした実深度の異なる２つの被写体を含んでいるケースでは、判定結果として得られる視差は、判定の指標への寄与のより大きい被写体の実視差により近いものとなる。そこで、本実施形態において、視差判定部１７０は、微小か又は背景よりも小さいことの多い非生体である医療器具についての視差の判定の精度を向上させるために、非生体領域の判定の結果に基づいて適応的に照合ブロックを設定し、設定した当該照合ブロック用いて第１の視差判定用画像（右眼画像及び左眼画像のうちの一方）と第２の視差判定用画像（右眼画像及び左眼画像のうちの他方）とを照合する。
　例えば、視差判定部１７０は、領域判定部１５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定する。また、視差判定部１７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定する。視差判定部１７０は、照合ブロック内の非生体領域に対応する画素の重みを第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みを第２の値（例えば、ゼロ）に設定してもよい。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。照合判定指標は、例えば、画素間の差分絶対値の加重和であってよい。その代わりに、視差判定部１７０は、照合ブロック内の各画素の重みを、当該画素が非生体領域に属する確率に依存して設定してもよい。各画素が非生体領域に属する確率は、領域判定部１５０により領域判定の際に計算済みであり得る。
　以下、図１０～図１２Ｂを用いて、非生体領域に適用すべき視差を判定するための手法についてより詳しく説明する。
　図１０は、領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。図１０の上段には、図２を用いて説明した視差判定用画像Ｉｍ０１が再び示されている。視差判定用画像Ｉｍ０１と共通する視野を映した領域判定用画像に基づく領域判定の結果は、例えば、画素位置ごとに各画素が非生体領域に属するか否かを二値（真（１）：属する、偽（ゼロ）：属しない、など）で示す二値マスク情報で表現されてもよい。その代わりに、領域判定の結果は、画素位置ごとに各画素がどの種類の非生体領域に又は生体領域に属するかを多値（例えば、ゼロ：生体、１：糸、２：針具、３：鉗子、など）で示す多値マスク情報で表現されてもよい。図１０の例では、領域判定の結果を表現する多値マスク情報Ｍ１１の内容が、明瞭性のために拡大されて部分的に示されている。例えば、多値マスク情報Ｍ１１は、非生体領域としての鉗子領域Ｒ１の位置及び形状をドットの網掛けで示している。また、多値マスク情報Ｍ１１は、非生体領域としての針具領域Ｒ２の位置及び形状を斜線の網掛けで示している。また、多値マスク情報Ｍ１１は、非生体領域としての糸領域Ｒ３の位置及び形状を黒い網掛けで示している。
　図１１は、非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。図１１の左には、多値マスク情報Ｍ１１が再び示されている。視差判定部１７０は、例えば、多値マスク情報Ｍ１１により示される糸領域Ｒ３のサイズ及び形状に依存して、糸領域Ｒ３の視差の判定のために使用される照合ブロックＢ１０の少なくともサイズを設定する。照合ブロックの形状は、典型的には、正方形若しくは長方形、即ち矩形であってよい。矩形の辺の長さは、照合ブロックが非生体領域の全体若しくは大部分をカバーし、又は非生体領域の特徴的な一部分をカバーし得るように設定される。図１１の例では、視差判定部１７０は、糸領域Ｒ３の視差の判定のために使用される照合ブロックＢ１０を、糸領域Ｒ３の全体をカバーし得る最も小さい正方形として設定している。なお、照合ブロックは、矩形以外の他の形状を有していてもよい。また、非生体領域の形状に依存して照合ブロックの形状が設定されてもよい。
　図１２Ａは、照合ブロックへの重みの設定の第１の例について説明するための説明図である。図１２Ａに示した第１の例では、視差判定部１７０は、照合ブロックＢ１０ａ内の糸領域Ｒ３に対応する画素の重みを１に、照合ブロックＢ１０ａ内の糸領域Ｒ３に対応しない画素（主に、生体領域に対応する画素）の重みをゼロに設定している。このように、視差の判定の対象領域（高精度での視差の判定が望まれる被写体の領域）に対応しない照合ブロック内の画素の重みをゼロに設定することにより、そうした画素をブロックマッチングにおいて実質的に無視することができる。即ち、対象領域が微小であっても、対象領域の周辺の（視差の異なる）被写体に影響されて照合判定指標が乱されることなく、対象領域について正確なブロックマッチングを行うことが可能となる。
　図１２Ｂは、照合ブロックへの重みの設定の第２の例について説明するための説明図である。図１２Ｂに示した第２の例では、視差判定部１７０は、照合ブロックＢ１０ｂ内の糸領域Ｒ３に属する確率の高い画素の重みを１に、糸領域Ｒ３に属する確率が中程度である画素の重みを０．５に、糸領域Ｒ３に属する確率の低い画素の重みをゼロに設定している。このように、各画素が対象領域に属する確率に依存して、ブロックマッチングの照合判定指標へ算入される画素位置ごとの重みを設定することにより、領域判定の確実性をも考慮しながらブロックマッチングの最適な結果を導出することが可能となる。
　視差判定部１７０は、領域判定部１５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。
　図１３は、複数の照合ブロックの設定の一例について説明するための説明図である。図１３を参照すると、図１０を用いて説明した多値マスク情報Ｍ１１が再び示されている。多値マスク情報Ｍ１１は、非生体領域としての鉗子領域Ｒ１、針具領域Ｒ２及び糸領域Ｒ３の位置及び形状を示している。これら非生体領域Ｒ１、Ｒ２及びＲ３は、例えば、領域判定部１５０における非生体領域のセグメント化の結果として互いに区別され得る。視差判定部１７０は、こうした多値マスク情報Ｍ１１により表現される鉗子領域Ｒ１に基づいて照合ブロックＢ１１を、針具領域Ｒ２に基づいて照合ブロックＢ１２を、糸領域Ｒ３に基づいて照合ブロックＢ１３をそれぞれ設定し得る。そして、視差判定部１７０は、照合ブロックＢ１１を用いたブロックマッチングにより鉗子についての視差を高精度で判定し得る。同様に、視差判定部１７０は、照合ブロックＢ１２を用いたブロックマッチングにより針具についての視差を、照合ブロックＢ１３を用いたブロックマッチングにより糸についての視差を、それぞれ高精度で判定し得る。
　視差判定部１７０は、このように非生体領域の判定の結果に基づいて設定される照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定し、判定した視差を表す視差情報を画像処理部１８０へ出力する。また、視差判定部１７０は、視差判定用画像を画像処理部１８０へ出力する。
　　　（５）画像処理部
　画像処理部１８０は、視差判定部１７０から入力される視差情報により表される視差に基づく画像処理を実行する。例えば、画像処理部１８０は、視差情報により表される視差に基づいて、観察される視野に対応する立体視画像を生成してもよい。より具体的には、画像処理部１８０は、例えば、視差判定部１７０から入力される右眼画像及び左眼画像のうちの一方において、視差情報により表される視差に従って画素の水平位置をシフトすることにより、立体視画像を生成する。画像処理部１８０は、画素の水平位置をシフトすることにより画素情報が欠損する欠損領域については、欠損の無い隣接する画素から画素情報を補間してよい。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、生成される立体視画像において、微小な又は背景よりも小さい非生体の被写体について、より正確な立体感を提供することが可能である。
　また、画像処理部１８０は、視差情報により表される視差に基づいて、被写界深度拡大（ＥＤＯＦ）処理を実行してもよい。より具体的には、画像処理部１８０は、例えば、視差情報により表される視差に基づいて画素ごとに深度を算出する。そして、画像処理部１８０は、算出した深度に依存するフィルタ構成で、撮像画像（視差判定用画像のうちの少なくとも一方）について鮮明化（deblurring）を実行することにより、撮像画像の被写界深度を疑似的に拡大し得る。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、こうした被写界深度拡大処理をより的確に実行することが可能である。
　また、画像処理部１８０は、視差情報により表される視差に基づいて、立体感強調処理を実行してもよい。より具体的には、画像処理部１８０は、例えば、視差情報により表される視差を、所定の係数を乗算し又は所定のオフセットを加算（若しくは減算）することにより補正し、補正後の視差を用いて立体視画像を生成する。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、微小な又は背景よりも小さい非生体の被写体について、より正確にその立体感を強調して不自然な立体視画像が表示されるリスクを低減することができる。
　画像処理部１８０は、さらに、上述した画像処理の前又は後の任意のタイミングで、例えば、高ダイナミックレンジ処理、ノイズ低減、ホワイトバランス調整及び高解像度化などの他の画像処理を実行してもよい。また、これら画像処理において、視差判定部１７０により判定された視差が活用されてもよい。そして、画像処理部１８０は、これら画像処理を経た後の（例えば、立体視画像の、又は被写界深度の拡大された画像の）画像信号を、表示装置５３又はレコーダ６５へ出力する。
　　　（６）制御部
　制御部１９０は、ユーザが望む通りの画像が撮像され及び表示されるように、入力装置５９により検出されるユーザ入力と設定情報とに基づいて、内視鏡１０の動作を制御する。例えば、制御部１９０は、撮像が開始されると、予め決定され又は動的に選択される１つ以上の波長パターン及びタイミングでカメラヘッド１３の照射部１１０に領域判定用の照射光を照射させ、撮像部１２０による撮像を通じて信号取得部１４０に領域判定用画像の画像信号を取得させる。また、制御部１９０は、照射部１１０に視差判定用の照射光を照射させ、撮像部１２０による撮像を通じて信号取得部１４０に視差判定用画像の画像信号を取得させる。また、制御部１９０は、１つ以上のターゲットについての既知の分光特性に基づいて、領域判定部１５０に非生体領域を判定させ、その判定の結果を用いて視差判定部１７０に非生体領域に適用すべき視差を判定させる。そして、制御部１９０は、システムの用途に応じた、立体視画像の生成又は被写界深度の拡大といった画像処理を画像処理部１８０に実行させる。制御部１９０は、作業の種類（例えば、心臓バイパス術若しくは胃部分切除術といった術式、又は結紮若しくは縫合といった手技の種別）を、ユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部１９０は、ユーザにより指定された作業の種類に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部１９０は、使用される医療器具（例えば、針具及び糸）をユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部１９０は、ユーザにより指定された器具に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部１９０は、画像処理部１８０において実行すべき画像処理の種類を、ユーザ入力又はその他の設定に依存して動的に切り替えてもよい。ここでのユーザ入力は、入力装置５９に関連して説明した物理的な入力、タッチ入力、ジェスチャ入力又は音声入力など、いかなる種類の入力であってもよい。
　　［２－３．処理の流れ］
　本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。これらは、次節以降の実施形態の説明についても同様である。
　　　（１）全体的な流れ
　図１４は、第１の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図１４を参照すると、まず、信号取得部１４０は、カメラヘッド１３の撮像部１２０において生成される、領域判定用画像の画像信号を取得する（ステップＳ１１０）。ここで実行される領域判定用画像取得処理のより詳細な流れの例を、後にさらに説明する。また、信号取得部１４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
　次に、領域判定部１５０は、信号取得部１４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ１３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
　次に、視差判定部１７０は、ステップＳ１３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理のより詳細な流れのいくつかの例を、後にさらに説明する。
　次に、視差判定部１７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理のより詳細な流れの例を、後にさらに説明する。
　そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
　上述したステップＳ１１０～ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
　　　（２）領域判定用画像取得処理
　図１５は、図１４に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。図１５を参照すると、まず、制御部１９０は、カメラヘッド１３へと制御信号を送信して、特定の波長パターンを有する光を照射部１１０から照射させる（ステップＳ１１１）。また、制御部１９０は、照射された光の反射光を撮像部１２０に撮像させ、領域判定用画像の画像信号を生成させる（ステップＳ１１３）。制御部１９０は、ステップＳ１１１及びＳ１１３における照射光の照射及び反射光の撮像を、必要とされる全ての波長パターンでの撮像が終了するまで繰り返す（ステップＳ１１５）。そして、全ての波長パターンでの（１フレーム分の）撮像が終了すると、図１５に示した領域判定用画像取得処理は終了する。
　　　（３）領域判定処理
　図１６は、図１４に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図１６を参照すると、まず、領域判定部１５０は、制御部１９０により選択され得るターゲットの既知の分光特性を示す分光特性情報を、記憶部１６０から取得する（ステップＳ１３１）。
　次に、領域判定部１５０は、画像内で順次選択される画素のうちの１つ（以下、注目画素という）の分光特性を、領域判定用画像から抽出する（ステップＳ１３３）。分光特性が３つ以下の波長サンプルにおける反射率として抽出される場合には、ここで参照される領域判定用画像は１つのみであってよい。分光特性が４つ以上の波長サンプルにおける反射率として抽出される場合には、異なる波長パターンでの複数回の撮像を通じて取得された複数の領域判定用画像が参照され得る。次に、領域判定部１５０は、抽出された注目画素の分光特性とターゲットの既知の分光特性との比較に基づいて、注目画素が対象領域に属する確率を算出する（ステップＳ１３４）。そして、領域判定部１５０は、算出した確率に基づいて、注目画素が対象領域に属するかを判定する（ステップＳ１３５）。
　領域判定部１５０は、上述したステップＳ１３３～ステップＳ１３５を、全ての注目画素について判定が終了するまで繰り返す（ステップＳ１３７）。また、領域判定部１５０は、１つ以上のターゲットのうちの全てのターゲットについて領域判定結果が導出されるまで、上述した判定を繰り返す（ステップＳ１３９）。そして、全てのターゲットについての領域判定結果を示す（二値又は多値の）マスク情報が生成されると、図１６に示した領域判定処理は終了する。
　　　（４）照合ブロック設定処理－第１の例
　図１７Ａは、図１４に示した照合ブロック設定処理の詳細な流れの第１の例を示すフローチャートである。図１７Ａを参照すると、まず、視差判定部１７０は、領域判定結果により示される１つ以上の非生体領域のうちの１つである対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズを設定する（ステップＳ１５１）。照合ブロックの形状は、対応する対象領域の形状に依存して設定されてもよく、又は固定的であってもよい。
　次に、視差判定部１７０は、照合ブロック内の注目画素が対象領域に属するか否かを判定し（ステップＳ１５３）、対象領域に属する注目画素の重みを１に（ステップＳ１５５）、対象領域に属しない注目画素の重みをゼロに設定する（ステップＳ１５６）。視差判定部１７０は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す（ステップＳ１５８）。この繰り返しが終了すると、１つの対象領域に対応する照合ブロックの設定が終了する。
　また、視差判定部１７０は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップＳ１５１～ステップＳ１５８を繰り返す（ステップＳ１５９）。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
　　　（５）照合ブロック設定処理－第２の例
　図１７Ｂは、図１４に示した照合ブロック設定処理の詳細な流れの第２の例を示すフローチャートである。図１７Ｂを参照すると、まず、視差判定部１７０は、１つの対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズ（又はサイズ及び形状）を設定する（ステップＳ１５１）。
　次に、視差判定部１７０は、照合ブロック内の注目画素について領域判定部１５０により算出された対象領域としての確率（注目画素が対象領域に属する確率）を取得する（ステップＳ１５４）。次に、視差判定部１７０は、取得した確率に依存して、注目画素の重みを設定する（ステップＳ１５７）。視差判定部１７０は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す（ステップＳ１５８）。この繰り返しが終了すると、１つの対象領域に対応する照合ブロックの設定が終了する。
　また、視差判定部１７０は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップＳ１５１～ステップＳ１５８を繰り返す（ステップＳ１５９）。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
　　　（６）視差判定処理
　図１８は、図１４に示した視差判定処理の詳細な流れの一例を示すフローチャートである。図１８を参照すると、まず、視差判定部１７０は、視差判定用画像内の注目画素が非生体領域に属するか否かを判定する（ステップＳ１６１）。
　注目画素が非生体領域に属する場合、視差判定部１７０は、照合ブロック設定処理において設定された１つ以上の照合ブロックから、注目画素に適した照合ブロックを選択する（ステップＳ１６２）。ここで選択される照合ブロックは、注目画素が属する確率の最も高い非生体領域に対応する照合ブロックであってよい。そして、視差判定部１７０は、選択した照合ブロックを用いて重み付けを伴うブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する（ステップＳ１６３）。
　一方、注目画素が非生体領域に属しない場合、視差判定部１７０は、既定の照合ブロックを選択する（ステップＳ１６４）。既定の照合ブロックとは、例えば、一般的な形状（例えば、矩形）と、全ての画素にわたって一様な重みとを有するブロックであり得る。そして、視差判定部１７０は、既定の照合ブロックを用いてブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する（ステップＳ１６５）。
　次に、視差判定部１７０は、ブロックマッチングの結果として決定された対応ブロックの位置から、（例えば、対応ブロックの基準位置と注目画素の画素位置との間の水平方向の差として）注目画素における視差を算出する（ステップＳ１６７）。視差判定部１７０は、視差判定用画像内の全ての画素について視差の算出が終了するまで、上述したステップＳ１６１～ステップＳ１６７を繰り返す（ステップＳ１６９）。視差判定部１７０は、このように判定される画素位置ごとの視差を表す視差情報を、画像処理部１８０へ出力する。
　＜３．第２の実施形態＞
　第１の実施形態では、領域判定用画像を用いた被写体の分光特性の解析に基づいて、視野内の非生体領域が判定された。本節で説明する第２の実施形態では、分光特性を解析する代わりに、遠赤外画像として撮像される領域判定用画像の信号強度から、より簡易に非生体領域が判定される。
　　［３－１．撮像装置の構成例］
　図１９は、第２の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図１９を参照すると、カメラヘッド１３は、照射部２１０、第１撮像部２２０、第２撮像部２２５及び通信部２３０を備える。
　照射部２１０は、光源装置５５からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部２１０により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察（例えば、蛍光観察）が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。本実施形態では、照射部２１０は、領域判定用の照射光を照射しない。
　第１撮像部２２０は、第１の実施形態に係る撮像部１２０と同様に、鏡筒１１の先端から取り込まれる被写体からの観察光をイメージセンサにおいて光電変換し、視差判定用画像の画像信号を生成する。視差判定用画像は、右眼画像及び左眼画像から構成される。そして、第１撮像部２２０は、生成された画像信号を通信部２３０へ出力する。
　本実施形態において、第２撮像部２２５は、可視光ではなく遠赤外光を撮像する撮像装置である。遠赤外光は、例えば１μｍの波長境界よりも長波長側の波長領域に属する赤外光である。第２撮像部２２５は、典型的には、生体から放射される遠赤外光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第２撮像部２２５は、被写体からの遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第２撮像部２２５は、生成された画像信号を通信部２３０へ出力する。
　通信部２３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部２３０は、第１撮像部２２０において生成される視差判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部２３０は、第２撮像部２２５において生成される領域判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部２３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を照射部２１０、第１撮像部２２０及び第２撮像部２２５へ出力する。
　　［３－２．画像処理装置の構成例］
　図２０は、第２の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図２０を参照すると、ＣＣＵ５１は、信号取得部２４０、領域判定部２５０、記憶部２６０、視差判定部２７０、画像処理部１８０及び制御部１９０を備える。
　　　（１）信号取得部
　信号取得部２４０は、カメラヘッド１３の第２撮像部２２５において生成される、領域判定用画像（遠赤外画像）の画像信号を取得する。また、信号取得部２４０は、カメラヘッド１３の第１撮像部２２０において生成される、視差判定用画像（可視光画像）の画像信号を取得する。そして、信号取得部２４０は、領域判定用画像を領域判定部２５０へ、視差判定用画像を視差判定部２７０へそれぞれ出力する。
　　　（２）領域判定部
　領域判定部２５０は、信号取得部２４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体から放射される遠赤外光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を放射する一方で、糸、針具及び鉗子などの医療器具は遠赤外光をほとんど放射しない。そこで、領域判定部２５０は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部２５０は、領域判定用画像において閾値を下回る画素値を示す画素は非生体領域に属すると判定し、閾値を上回る画素値を示す画素は生体領域に属すると判定し得る。
　図２１は、領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。図２１の上段には、遠赤外画像である領域判定用画像Ｉｍ１１が示されている。領域判定用画像Ｉｍ１１に映った被写体Ｊ０は遠赤外光を放射する生体であるため、被写体Ｊ０に対応する領域の画素値は相対的に高い値を示す。一方、領域判定用画像Ｉｍ１１に映った被写体Ｊ１、Ｊ２及びＪ３は遠赤外光をほとんど放射しない非生体であるため、被写体Ｊ１、Ｊ２及びＪ３に対応する領域の画素値は相対的に低い値を示す。こうした領域判定用画像Ｉｍ１１についての画素値と閾値との比較に基づく領域判定の結果が図２１の下段のマスク情報Ｍ２１により表現されている。マスク情報Ｍ２１は、画像領域の全体を、生体領域Ｒ２０及び非生体領域Ｒ２１に（例えば画素ごとの二値で）分けている。
　領域判定部２５０は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域Ｒ２１を複数の非生体領域へとセグメント化してもよい。また、領域判定部２５０は、遠赤外画像の画像信号レベルが弱いためにノイズが現れる場合には、ノイズ除去のためのフィルタリングの後に、マスク情報を生成するための閾値判定を実行してもよい。
　　　（３）記憶部
　記憶部２６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部２６０は、領域判定部２５０により領域判定のために使用される閾値情報を記憶する。
　　　（４）視差判定部
　視差判定部２７０は、信号取得部２４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部２７０は、第１の実施形態に係る視差判定部１７０と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部２５０により行われる。視差判定部２７０は、領域判定部２５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部２７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みは第２の値（例えば、ゼロ）に設定され得る。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部２７０は、領域判定部２５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。さらに、視差判定部２７０は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定する。そして、視差判定部２７０は、判定結果を表す視差情報を画像処理部１８０へ出力する。また、視差判定部２７０は、視差判定用画像を画像処理部１８０へ出力する。視差判定部２７０により生成される視差情報は、第１の実施形態と同様、画像処理部１８０において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
　　［３－３．処理の流れ］
　本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
　　　（１）全体的な流れ
　図２２は、第２の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図２２を参照すると、まず、信号取得部２４０は、カメラヘッド１３の第２撮像部２２５における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する（ステップＳ２１０）。また、信号取得部２４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
　次に、領域判定部２５０は、信号取得部２４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ２３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
　次に、視差判定部２７０は、ステップＳ２３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理は、第１の実施形態において説明した処理と同様であってよい。
　次に、視差判定部２７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理は、第１の実施形態において説明した処理と同様であってよい。
　そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
　上述したステップＳ２１０～ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
　　　（２）領域判定処理
　図２３は、図２２に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図２３を参照すると、まず、領域判定部２５０は、予め定義され得る閾値情報を、記憶部２６０から取得する（ステップＳ２３１）。
　次に、領域判定部２５０は、注目画素の画素値が、ステップＳ２３１において取得した閾値情報により示される閾値を下回るか否かを判定する（ステップＳ２３３）。注目画素の画素値が閾値を下回る場合、領域判定部２５０は、注目画素が非生体領域に属すると判定する（ステップＳ２３４）。一方、注目画素の画素値が閾値を下回らない場合、領域判定部２５０は、注目画素が生体領域に属すると判定する（ステップＳ２３５）。
　領域判定部２５０は、上述したステップＳ２３３～ステップＳ２３５を、全ての画素について判定が終了するまで繰り返す（ステップＳ２３７）。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図２３に示した領域判定処理は終了する。
　＜４．第３の実施形態＞
　本節で説明する第３の実施形態においても、領域判定用画像は遠赤外画像である。但し、第３の実施形態では、被写体へ向けて照射される遠赤外光の反射光が撮像される。
　　［４－１．撮像装置の構成例］
　図２４は、第３の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図２４を参照すると、カメラヘッド１３は、第１照射部２１０、第２照射部３１５、第１撮像部２２０、第２撮像部３２５及び通信部３３０を備える。
　第２照射部３１５は、観察される視野内の被写体へ、遠赤外光を照射する。第２照射部３１５により照射される遠赤外光は、領域判定用画像の撮像を目的とする、遠赤外領域に属するいかなる波長を有する赤外光であってもよい。
　第２撮像部３２５は、遠赤外光を撮像する撮像装置である。第２撮像部３２５は、典型的には、第２照射部３１５により照射される遠赤外光の反射光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第２撮像部３２５は、被写体において反射される遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第２撮像部３２５は、生成された画像信号を通信部３３０へ出力する。
　通信部３３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部３３０は、第１撮像部２２０において生成される視差判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部３３０は、第２撮像部３２５において生成される領域判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部３３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を第１照射部２１０、第２照射部３１５、第１撮像部２２０及び第２撮像部３２５へ出力する。
　　［４－２．画像処理装置の構成例］
　図２５は、第３の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図２５を参照すると、ＣＣＵ５１は、信号取得部３４０、領域判定部３５０、記憶部３６０、視差判定部３７０、画像処理部１８０及び制御部１９０を備える。
　　　（１）信号取得部
　信号取得部３４０は、カメラヘッド１３の第２撮像部３２５において生成される、領域判定用画像（遠赤外画像）の画像信号を取得する。また、信号取得部３４０は、カメラヘッド１３の第１撮像部２２０において生成される、視差判定用画像（可視光画像）の画像信号を取得する。そして、信号取得部３４０は、領域判定用画像を領域判定部３５０へ、視差判定用画像を視差判定部３７０へそれぞれ出力する。
　　　（２）領域判定部
　領域判定部３５０は、信号取得部３４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体へ向けて照射された遠赤外光の反射光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を吸収する一方で、金属で形成される鉗子などの医療器具は遠赤外光を反射する。そこで、領域判定部３５０は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部３５０は、領域判定用画像において閾値を上回る画素値を示す画素は非生体領域に属すると判定し、閾値を下回る画素値を示す画素は生体領域に属すると判定し得る。
　図２６は、領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。図２６の上段には、遠赤外画像である領域判定用画像Ｉｍ２１が示されている。領域判定用画像Ｉｍ２１に映った被写体Ｊ０は遠赤外光を吸収する生体であるため、被写体Ｊ０に対応する領域の画素値は相対的に低い値を示す。一方、領域判定用画像Ｉｍ２１に映った被写体Ｊ１及びＪ２は遠赤外光を反射する非生体であるため、被写体Ｊ１及びＪ２に対応する領域の画素値は相対的に高い値を示す。こうした領域判定用画像Ｉｍ２１についての画素値と閾値との比較に基づく領域判定の結果が図２６の下段のマスク情報Ｍ３１により表現されている。マスク情報Ｍ３１は、画像領域の全体を、生体領域Ｒ３０及び非生体領域Ｒ３１に（例えば画素ごとの二値で）分けている。
　領域判定部３５０は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域Ｒ３１を複数の非生体領域へとセグメント化してもよい。
　　　（３）記憶部
　記憶部３６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部３６０は、領域判定部３５０により領域判定のために使用される閾値情報を記憶する。
　　　（４）視差判定部
　視差判定部３７０は、信号取得部３４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部３７０は、第１の実施形態に係る視差判定部１７０及び第２の実施形態に係る視差判定部２７０と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部３５０により行われる。視差判定部３７０は、領域判定部３５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部３７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みは第２の値（例えば、ゼロ）に設定され得る。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部３７０は、領域判定部３５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。そして、視差判定部３７０は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定する。そして、視差判定部３７０は、判定結果を表す視差情報を画像処理部１８０へ出力する。また、視差判定部３７０は、視差判定用画像を画像処理部１８０へ出力する。視差判定部３７０により生成される視差情報は、第１の実施形態及び第２の実施形態と同様、画像処理部１８０において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
　　［４－３．処理の流れ］
　本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
　　　（１）全体的な流れ
　図２７は、第３の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図２７を参照すると、まず、信号取得部３４０は、カメラヘッド１３の第２照射部３１５からの遠赤外光の照射及び第２撮像部３２５における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する（ステップＳ３１０）。また、信号取得部３４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
　次に、領域判定部３５０は、信号取得部３４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ３３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
　次に、視差判定部３７０は、ステップＳ３３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理は、第１の実施形態において説明した処理と同様であってよい。
　次に、視差判定部３７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理は、第１の実施形態において説明した処理と同様であってよい。
　そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
　上述したステップＳ３１０～ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
　　　（２）領域判定処理
　図２８は、図２７に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図２８を参照すると、まず、領域判定部３５０は、予め定義され得る閾値情報を、記憶部３６０から取得する（ステップＳ３３１）。
　次に、領域判定部３５０は、注目画素の画素値が、ステップＳ３３１において取得した閾値情報により示される閾値を上回るか否かを判定する（ステップＳ３３３）。注目画素の画素値が閾値を上回る場合、領域判定部３５０は、注目画素が非生体領域に属すると判定する（ステップＳ３３４）。一方、注目画素の画素値が閾値を上回らない場合、領域判定部３５０は、注目画素が生体領域に属すると判定する（ステップＳ３３５）。
　領域判定部３５０は、上述したステップＳ３３３～ステップＳ３３５を、全ての画素について判定が終了するまで繰り返す（ステップＳ３３７）。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図２８に示した領域判定処理は終了する。
　＜５．まとめ＞
　ここまで、図１～図２８を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて当該視野内の非生体領域が判定され、非生体領域の判定の結果及び視差判定用画像を用いて少なくとも非生体領域に適用すべき視差が判定される。従って、手術又は診断といった医療のシーンにおいて、周囲の被写体に対して相対的に小さくしか映らない非生体の被写体について、視差判定の精度を向上させ、改善された視認性を実現することが可能となる。
　また、上述した実施形態によれば、非生体領域の判定の結果に基づいて設定される照合ブロックを用いて２つの視差判定用画像を照合することにより、上記視差が判定される。即ち、照合ブロックの設定を非生体領域の判定の結果に合わせて適応的に変化させることが可能となる。例えば、照合ブロックの適応的な設定を通じて、非生体領域の周囲の生体領域が視差の判定へ与える影響を低減することで、非生体領域に適用すべき視差の判定の精度が効果的に向上される。
　また、上述した実施形態によれば、視野内に複数の非生体が存在する場合には、視差判定用画像内の各非生体領域について個別の照合ブロックが設定され得る。この場合、個々の非生体の深度が均一でなかったとしても、それぞれの非生体について正確に視差を判定することができる。
　ある実施形態によれば、既知の被写体の分光特性に基づいて非生体領域が判定される。この場合、可視光領域の光を撮像可能な一般的なイメージセンサを用いて、非生体領域を判定することができる。また、想定される被写体の分光特性を事前に把握しておくだけで、多様な非生体の被写体について視差の判定の精度を向上させることができる。これは、日常の空間と比較して想定される被写体の種類が限られている医療のシーンにおいて特に有益である。
　他の実施形態によれば、遠赤外画像である領域判定用画像の画素値に基づいて非生体領域が判定される。この場合、分光特性情報を要することなく、非生体領域の簡易な判定が可能である。生体から放射される遠赤外光を撮像することにより領域判定用画像を生成する手法は、遠赤外光の照射を要しないため、カメラヘッドの構成を小規模に保つことができ、被写体に熱量も与えない。被写体へ照射される遠赤外光の反射光を撮像することにより領域判定用画像を生成する手法は、遠赤外画像に現れるノイズの量を抑制し、領域判定の精度を向上させる。
　なお、本明細書では、手術用内視鏡を含む画像処理システムの例を主に説明した。しかしながら、本開示に係る技術は、かかる例に限定されず、顕微鏡などの他の種類の医療用観察装置にも適用可能である。また、本開示に係る技術は、そうした医療用観察装置に搭載される画像処理モジュール（例えば、画像処理チップ）又はカメラモジュールとして実現されてもよい。
　本明細書において説明した画像処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合わせのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random　Access　Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
　前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
　を備える医療用画像処理装置。
（２）
　前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第１の視差判定用画像と第２の視差判定用画像とを照合することにより、前記視差を判定する、前記（１）に記載の医療用画像処理装置。
（３）
　前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、前記（２）に記載の医療用画像処理装置。
（４）
　前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、前記（２）又は前記（３）に記載の医療用画像処理装置。
（５）
　前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第１の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第２の値に設定し、
　前記第２の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
　前記（４）に記載の医療用画像処理装置。
（６）
　前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
　前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
　前記（４）に記載の医療用画像処理装置。
（７）
　前記領域判定部は、前記領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化し、
　前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
　前記（２）～（６）のいずれか１項に記載の医療用画像処理装置。
（８）
　前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
　前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
　前記（１）～（７）のいずれか１項に記載の医療用画像処理装置。
（９）
　前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、前記（８）に記載の医療用画像処理装置。
（１０）
　生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、前記（８）又は前記（９）に記載の医療用画像処理装置。
（１１）
　前記領域判定用画像は、遠赤外画像である、前記（１）～（７）のいずれか１項に記載の医療用画像処理装置。
（１２）
　前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
　前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
　前記（１１）に記載の医療用画像処理装置。
（１３）
　前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
　前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
　前記（１１）に記載の医療用画像処理装置。
（１４）
　前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、前記（１）～（１３）のいずれか１項に記載の医療用画像処理装置。
（１５）
　前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、前記（１）～（１４）のいずれか１項に記載の医療用画像処理装置。
（１６）
　前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、前記（１）～（１５）のいずれか１項に記載の医療用画像処理装置。
（１７）
　前記（１）～（１６）のいずれか１項に記載の医療用画像処理装置と、
　前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
　を含む医療用画像処理システム。
（１８）
　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
　前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
　を含む医療用画像処理方法。
（１９）
　医療用画像処理装置を制御するプロセッサを、
　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
　前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
　として機能させるためのプログラム。
　１　　　　　　　　　　　医療用画像処理システム
　１３　　　　　　　　　　カメラヘッド（撮像装置）
　５１　　　　　　　　　　ＣＣＵ（画像処理装置）
　１４０，２４０，３４０　信号取得部
　１５０，２５０，３５０　領域判定部
　１６０，２６０，３６０　記憶部
　１７０，２７０，３７０　視差判定部
　１８０　　　　　　　　　画像処理部
　１９０　　　　　　　　　制御部

Claims (19)

  1. 　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
    　前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
    　を備える医療用画像処理装置。
  2. 　前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第１の視差判定用画像と第２の視差判定用画像とを照合することにより、前記視差を判定する、請求項１に記載の医療用画像処理装置。
  3. 　前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、請求項２に記載の医療用画像処理装置。
  4. 　前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、請求項２に記載の医療用画像処理装置。
  5. 　前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第１の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第２の値に設定し、
    　前記第２の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
    　請求項４に記載の医療用画像処理装置。
  6. 　前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
    　前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
    　請求項４に記載の医療用画像処理装置。
  7. 　前記領域判定部は、前記領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化し、
    　前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
    　請求項２に記載の医療用画像処理装置。
  8. 　前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
    　前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
    　請求項１に記載の医療用画像処理装置。
  9. 　前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、請求項８に記載の医療用画像処理装置。
  10. 　生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、請求項８に記載の医療用画像処理装置。
  11. 　前記領域判定用画像は、遠赤外画像である、請求項１に記載の医療用画像処理装置。
  12. 　前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
    　前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
    　請求項１１に記載の医療用画像処理装置。
  13. 　前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
    　前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
    　請求項１１に記載の医療用画像処理装置。
  14. 　前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
  15. 　前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
  16. 　前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
  17. 　請求項１に記載の医療用画像処理装置と、
    　前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
    　を含む医療用画像処理システム。
  18. 　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
    　前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
    　を含む医療用画像処理方法。
  19. 　医療用画像処理装置を制御するプロセッサを、
    　視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
    　前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
    　として機能させるためのプログラム。
PCT/JP2017/000425 2016-02-24 2017-01-10 医療用画像処理装置、システム、方法及びプログラム WO2017145531A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018501024A JPWO2017145531A1 (ja) 2016-02-24 2017-01-10 医療用画像処理装置、システム、方法及びプログラム
US16/073,911 US20190045170A1 (en) 2016-02-24 2017-01-10 Medical image processing device, system, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016033034 2016-02-24
JP2016-033034 2016-02-24

Publications (1)

Publication Number Publication Date
WO2017145531A1 true WO2017145531A1 (ja) 2017-08-31

Family

ID=59686261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000425 WO2017145531A1 (ja) 2016-02-24 2017-01-10 医療用画像処理装置、システム、方法及びプログラム

Country Status (3)

Country Link
US (1) US20190045170A1 (ja)
JP (1) JPWO2017145531A1 (ja)
WO (1) WO2017145531A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154734A (ja) * 2018-03-12 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
WO2021038789A1 (ja) * 2019-08-29 2021-03-04 オリンパス株式会社 画像処理方法および画像処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
US10769443B2 (en) * 2018-06-14 2020-09-08 Sony Corporation Dominant tool detection system for surgical videos
US20220151466A1 (en) * 2019-03-28 2022-05-19 Sony Group Corporation Signal processing device, signal processing method, program, and medical image processing system
EP4398782A1 (en) * 2021-09-07 2024-07-17 Intuitive Surgical Operations, Inc. Selective use of different video streams generated by an imaging device to perform an image-based operation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JP2013521941A (ja) * 2010-03-12 2013-06-13 ヴァイキング・システムズ・インコーポレーテッド 立体的可視化システム
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2015228954A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
WO2010143421A1 (ja) * 2009-06-10 2010-12-16 パナソニック株式会社 光融合型イメージング方法、光融合型イメージング装置、プログラムおよび集積回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JP2013521941A (ja) * 2010-03-12 2013-06-13 ヴァイキング・システムズ・インコーポレーテッド 立体的可視化システム
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2015228954A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154734A (ja) * 2018-03-12 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
JP7143092B2 (ja) 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
US11699516B2 (en) 2018-03-12 2023-07-11 Sony Olympus Medical Solutions Inc. Medical image processing apparatus, medical observation apparatus, and image processing method
WO2021038789A1 (ja) * 2019-08-29 2021-03-04 オリンパス株式会社 画像処理方法および画像処理装置

Also Published As

Publication number Publication date
JPWO2017145531A1 (ja) 2018-12-13
US20190045170A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
WO2017145531A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
JP2023083547A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP7226325B2 (ja) 焦点検出装置および方法、並びにプログラム
JP6828695B2 (ja) 医療用画像処理装置、システム、方法及びプログラム
KR20200026135A (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
WO2019092950A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP2017164007A (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2018230098A1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2018181333A (ja) 医学−光学式表示システムを作動させるための方法
JP6516597B2 (ja) 画像処理装置及び画像処理方法
JP2016209133A (ja) 眼科撮像装置、その作動方法、及びコンピュータプログラム
US20200345215A1 (en) An imaging device, method and program for producing images of a scene
JP6860000B2 (ja) 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
WO2018180068A1 (en) Medical imaging device and endoscope
JP6604743B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20230047294A1 (en) Medical image generation apparatus, medical image generation method, and medical image generation program
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022172733A1 (ja) 医療用観察装置、観察装置、観察方法及びアダプタ
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2023553792A (ja) 撮像システム、腹腔鏡及び対象物を撮像するための方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501024

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17755973

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17755973

Country of ref document: EP

Kind code of ref document: A1