WO2015037340A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2015037340A1
WO2015037340A1 PCT/JP2014/069617 JP2014069617W WO2015037340A1 WO 2015037340 A1 WO2015037340 A1 WO 2015037340A1 JP 2014069617 W JP2014069617 W JP 2014069617W WO 2015037340 A1 WO2015037340 A1 WO 2015037340A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
surgical instrument
target
captured
Prior art date
Application number
PCT/JP2014/069617
Other languages
English (en)
French (fr)
Inventor
恒生 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/914,780 priority Critical patent/US9824443B2/en
Priority to JP2015536479A priority patent/JP6458732B2/ja
Priority to CN201480048649.9A priority patent/CN105517482B/zh
Priority to EP14843857.5A priority patent/EP3031386B1/en
Publication of WO2015037340A1 publication Critical patent/WO2015037340A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00831—Material properties
    • A61B2017/00902—Material properties transparent or translucent
    • A61B2017/00907—Material properties transparent or translucent for light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present technology relates to a technical field relating to an image processing apparatus, an image processing method, and a program for performing image processing on a captured image obtained by imaging an object transparent to visible light such as a transparent surgical instrument.
  • minimally invasive surgery that reduces physical burden on patients is known.
  • the surgeon can perform an operation with non-thoracotomy and non-open abdominal surgery by checking the in-vivo images captured by the endoscope, and the patient's physical burden associated with the operation. Reduction of is planned.
  • a transparent surgical instrument as a surgical instrument such as a scalpel or forceps. If the surgical instrument is transparent, it is desirable to improve the visibility of an observation object such as an organ located on the back side.
  • the present technology aims to overcome the above-described problems and improve work efficiency for work using a transparent object such as a transparent surgical instrument.
  • the image processing apparatus provides the first image as a captured image obtained by imaging an object that is transparent to light in the first wavelength band and opaque to light in the second wavelength band.
  • the captured image obtained by selectively receiving light in the wavelength band is defined as a first captured image
  • the captured image obtained by selectively receiving light in the second wavelength band is defined as a second captured image.
  • a target detection unit that detects, as a target region, an image region where the target exists based on the second captured image, and the first captured image based on information on the target region detected by the target detection unit
  • a contour superimposing unit that superimposes the contour of the object.
  • the target detection unit detects the target region based on the second captured image and the first captured image.
  • the target area is detected based on the image in which the target object is displayed in a transparent manner and the image in which the target object is displayed in an opaque manner.
  • the target detection unit performs edge extraction on each of the second captured image and the first captured image, and performs second extraction based on the second captured image.
  • Generating an edge image and a first edge image based on the first captured image performing template matching using the template of the object on each of the second edge image and the first edge image;
  • it is preferable to detect, as the target area an image area that does not overlap with the image area detected by the template matching with respect to the first edge image. Thereby, it is possible to exclude an image area erroneously detected by template matching for the second captured image.
  • the target detection unit is configured to selectively receive the second captured image and light in different wavelength bands within the first wavelength band.
  • Edge extraction is performed on the plurality of first captured images, and a second edge image based on the second captured image and a plurality of first edge images based on the plurality of first captured images are generated and generated.
  • the template matching is performed for each of the edge images, and any one of the image areas detected by the template matching for the plurality of first edge images among the image areas detected by the template matching for the second edge image. It is desirable to detect an image area that does not overlap with the target area.
  • a left-eye image and a right-eye image obtained by performing stereo imaging of the object using an imaging element that selectively receives light in the second wavelength band.
  • the target detection unit calculates based on the parallax between the left-eye side second captured image and the right-eye side second captured image It is desirable to detect the target area based on distance information.
  • the target area can also be detected by using the distance information.
  • the target detection unit is configured to use the second captured image based on the distance information calculated for each of the second captured image and the first captured image.
  • a distance image for the first captured image and a distance image for the first captured image are generated, and a difference image between the distance image for the second captured image and the distance image for the first captured image is generated. It is desirable to detect the target area based on this.
  • by generating a difference image between the distance image for the second captured image and the distance image for the first captured image only the image region where the object is present is extracted from the difference image.
  • the target detection unit is used for superimposing the contour by the contour superimposition unit based on the detection result of the target region performed on a plurality of frame images. It is desirable to determine the target area. As a result, even if a portion where an object other than the object is projected due to temporary noise or the like is erroneously detected as the target region, the influence is not reflected on the contour superimposition.
  • the image processing apparatus includes an optical distortion correction unit that corrects an optical distortion caused by the object with respect to the target region in the first captured image.
  • region in a 1st captured image is correct
  • the target detection unit identifies the type of the target based on the second captured image
  • the optical distortion correction unit includes the target detection unit. It is desirable that the optical distortion is corrected by a correction characteristic corresponding to the type of the object identified by. Thereby, optical distortion correction by an appropriate correction characteristic according to the type of the object is realized.
  • a left-eye image and a right-eye image obtained by performing stereo imaging of the object using an imaging element that selectively receives light in the second wavelength band.
  • the target detection unit is configured to detect the target object based on the left-eye-side second captured image and the right-eye-side second captured image.
  • the optical distortion correction unit has a correction characteristic according to the posture of the object detected by the target detection unit. It is desirable to correct the optical distortion. Thereby, optical distortion correction by an appropriate correction characteristic according to the posture of the object is realized.
  • the optical distortion correction unit corrects the optical distortion by a correction characteristic according to a distance of the object. Thereby, optical distortion correction by an appropriate correction characteristic according to the distance of the object is realized.
  • First Embodiment> (1-1. Premise) (1-2. Overall configuration of imaging device) (1-3. Signal processor) (1-4. About the program) (1-5. Summary and effects) ⁇ 2.
  • Second Embodiment> (2-1. Configuration and operation) (2-2. Summary and effects) ⁇ 3.
  • Third Embodiment> (3-1. Configuration and operation) (3-2. Summary and effects) ⁇ 4. Modification> ⁇ 5.
  • FIG. 1 is an explanatory diagram of a minimally invasive surgery and a transparent surgical instrument assumed in the present embodiment.
  • a surgical instrument J and a rigid endoscope (endoscope) 1a of an imaging apparatus 1 described later are inserted into the body of a patient H.
  • the case where two types of surgical tools J1 and J2 are inserted into the body as the surgical tools J is illustrated.
  • the surgical instrument J and the rigid endoscope 1a are inserted into the body through minimally invasive incisions made on the patient H, respectively.
  • the surgical instrument J is a surgical tool such as a scalpel or forceps, and a so-called transparent surgical instrument is used in the present embodiment.
  • a transparent surgical instrument means a surgical instrument that is transparent to visible light.
  • FIG. 1B schematically shows a captured image obtained through the rigid endoscope 1a when the surgical instrument J and the rigid endoscope 1a as shown in FIG. 1A are inserted.
  • the surgical instrument J1 and the surgical instrument J2 are present on the front side of the internal object X such as an organ in the imaging field of view.
  • the surgical instrument J1 and the surgical instrument J2 are transparent surgical instruments, the captured image is obtained. In these, the surgical tool J1 and the surgical tool J2 are not completely projected, and the body X can be seen through the back of the surgical tool J1 and the surgical tool J2.
  • Visibility of the inner body X is improved by seeing through the back side of the surgical instrument J, which leads to an improvement in the ease of surgery.
  • the transparent surgical instrument is difficult to confirm the position in the captured image and returns. This may make surgery difficult.
  • the work efficiency of the surgical operation using the transparent surgical instrument can be improved. Improve the ease of surgery.
  • a surgical instrument that is transparent to visible light and opaque to infrared light is used as the surgical instrument J.
  • the surgical instrument J in this example is formed to be covered with a film that transmits visible light but reflects or absorbs infrared light.
  • a film that transmits visible light but reflects or absorbs infrared light.
  • the surgical instrument J may be formed of a glass material that transmits visible light but reflects or absorbs infrared light. Examples of such glass include products (manufactured by Central Glass Co., Ltd.) shown on the following web page. ⁇ Http://www.cg-glass.jp/pro/sub_technique/pdf/180-181.pdf
  • FIG. 2 is a block diagram showing an internal configuration of the imaging apparatus 1 as the first embodiment.
  • FIG. 1 also shows a display device 2 for displaying a captured image obtained by the imaging device 1.
  • the imaging device 1 is an imaging device configured to include the image processing device as the first embodiment.
  • the imaging device 1 includes a rigid endoscope 1a and a main body 1b.
  • a rigid mirror 1a In the rigid mirror 1a, an optical fiber 12, an illumination optical system 13, a left-eye optical system 14-L, a right-eye optical system 14-R, an image sensor 15-L, and an image sensor 15-R are provided.
  • a first light source 11-1, a second light source 11-2, a signal processing unit 16, a display control unit 17, and a terminal Td are provided in the main body 1b.
  • the first light source 11-1 emits visible light.
  • the first light source 11-1 emits white light.
  • the second light source 11-2 emits infrared light.
  • Both visible light emitted from the first light source 11-1 and infrared light emitted from the second light source 11-2 are incident on the illumination optical system 13 through the optical fiber 12.
  • the illumination optical system 13 irradiates a subject to be observed with visible light and infrared light incident via the optical fiber 12.
  • the left eye optical system 14L and the right eye optical system 14R are provided to generate a left eye image GL and a right eye image GR for realizing presentation of a stereoscopic image.
  • the left-eye optical system 14L collects light from the subject and forms an image on the imaging surface of the imaging device 15-L.
  • the right-eye optical system 14-R collects light from the subject and forms an image on the imaging surface of the imaging device 15-R.
  • the image sensor 15-L and the image sensor 15-R have the structure shown in FIG. 3 in order to enable simultaneous reception of visible light and infrared light.
  • a total of four pixels of 2 pixels in the horizontal direction ⁇ 2 pixels in the vertical direction constitute one unit U.
  • the unit U includes a pixel in which a wavelength filter that selectively transmits red light (indicated as “R” in the drawing) and a pixel in which a wavelength filter that selectively transmits green light is formed (in the drawing).
  • a pixel having a wavelength filter that selectively transmits blue light denoted by “B” in the figure), and a wavelength filter that selectively transmits infrared light.
  • IR in the figure.
  • a plurality of such units U are arranged in the horizontal direction and the vertical direction. Thereby, in each of the image sensor 15-L and the image sensor 15-R, red light, green light, blue light, and infrared light are selectively received at different positions on the imaging surface.
  • the captured image signal obtained by the image sensor 15 -L is referred to as “captured image signal gL”
  • the captured image signal obtained by the image sensor 15 -R is referred to as “captured image signal gR”.
  • the captured image signal gL and the captured image signal gR are input to the signal processing unit 16.
  • the signal processing unit 16 generates a left eye image GL based on the captured image signal gL and a right eye image GR based on the captured image signal gR.
  • the signal processing unit 16 corresponds to the image processing apparatus of the first embodiment, and the internal configuration thereof will be described later.
  • the display control unit 17 performs control to display the left eye image GL and the right eye image GR on the display device 2 connected via the terminal Td so that stereoscopic vision is realized.
  • the display device 2 is a display that presents a stereoscopic image by, for example, a lenticular method, and the display control unit 17 performs display control corresponding to the lenticular method.
  • FIG. 4 is a block diagram for explaining the internal configuration of the signal processing unit 16. In this figure, only the configuration related to the generation of the left eye image GL is extracted from the internal configuration of the signal processing unit 16, but the configuration related to the generation of the left image GL and the configuration related to the generation of the right eye image GR are shown. Since it is the same, the illustration of the configuration relating to the generation of the right-eye image GR is omitted here to avoid redundant description.
  • a visible / infrared image generation processing unit 21L an optical distortion correction processing unit 22L, a superimposition processing unit 23L, a surgical instrument detection processing unit 24L, a contour image generation processing unit 25L, and a memory 26 are provided. ing.
  • the visible / infrared image generation processing unit 21L generates a visible light image and an infrared light image based on the captured image signal gL input from the image sensor 15-L.
  • the visible light image is a color image in which each luminance value for red light, green light, and blue light is associated with each pixel.
  • An infrared light image is an image in which luminance values for infrared light are associated with each pixel.
  • the visible / infrared image generation processing unit 21L performs demosaic processing on the captured image signal gL to generate a visible light image and an infrared light image.
  • the luminance value is interpolated by using the luminance value of a pixel in which a wavelength filter that transmits light in the same wavelength band arranged in the vicinity of the pixel is formed (for example, linear interpolation). For example, if the pixel (i, j) receives red light, the luminance values for green, blue, and infrared light other than red are in the same wavelength band located in the vicinity of the pixel (i, j).
  • each luminance value for red light, green light, blue light, and infrared light is acquired for each pixel.
  • the visible / infrared image generation processing unit 21L outputs, as a visible light image, an image having each luminance value for red light, green light, and blue light for each pixel.
  • the visible / infrared image generation processing unit 21L outputs an image having a luminance value for infrared light for each pixel as an infrared light image.
  • the visible light image output from the visible / infrared image generation processing unit 21L is output to the display control unit 17 illustrated in FIG. 1 as the left-eye image GL via the optical distortion correction processing unit 22L and the superimposition processing unit 23L.
  • the optical distortion correction processing unit 22L and the superimposition processing unit 23L will be described later.
  • the infrared light image output from the visible / infrared image generation processing unit 21L is input to the surgical instrument detection processing unit 24L.
  • the surgical instrument detection processing unit 24L detects an image area where the surgical instrument J is present as a surgical instrument area Aj based on the input infrared light image.
  • the surgical instrument detection processing unit 24L identifies the type of the surgical instrument J.
  • the surgical instrument detection processing unit 24L of the present embodiment performs detection of the surgical instrument region Aj and identification of the type of the surgical instrument J as follows. First, edge extraction (edge detection) is performed on the input infrared light image. Next, the surgical instrument region Aj is detected by template matching for the image after edge extraction. In other words, an image region having an edge shape whose similarity to the edge shape represented on the template of the surgical tool J is a predetermined value or more is detected as the surgical tool region Aj. Examples of template matching in this case include those based on the overall shape (contour) of the surgical instrument J, and those based on some characteristic shape of the surgical instrument J. In the case of this example, since it is assumed that a plurality of types of surgical tools J are used, the above templates are prepared for each type of surgical tools J, and matching is performed using all of these templates. To detect the surgical instrument region Aj.
  • the template As described above, a plurality of templates having different scales are prepared, and matching using each of these templates is performed to detect the surgical instrument region Aj.
  • each template is associated with information on a surgical instrument ID representing the type of surgical instrument J.
  • the surgical instrument detection processing unit 24L obtains the surgical instrument ID associated with the template used for identifying the type of surgical instrument J for the detected surgical instrument area Aj and detecting the surgical instrument area Aj. To do.
  • the contour image generation processing unit 25L generates a contour image representing the contour Sj of the surgical instrument region Aj and outputs it to the superimposition processing unit 23L.
  • the superimposition processing unit 23L superimposes the contour image input from the contour image generation processing unit 25L on the visible light image input via the optical distortion correction unit 22L.
  • FIG. 5 illustrates a visible light image after the contour image is superimposed by the superimposition processing unit 23L.
  • FIG. 5 illustrates a case where the surgical instrument J1 and the surgical instrument J2 exist within the field of view for imaging.
  • the surgical instrument region Aj a surgical instrument region Aj1 which is an image area where the surgical instrument J1 exists and a surgical instrument region Aj2 which is an image area where the surgical instrument J2 exists are detected.
  • contour image contour images representing the contours (Sj1, Sj2 in the figure) of the surgical instrument region Aj1 and the surgical instrument region Aj2 are generated, and the contour image is superimposed on the visible light image. .
  • the surgical instrument J is transparent to visible light as described above, the body X can be seen through the surgical instrument J in the visible light image.
  • the position of the surgical instrument J can be visually recognized in the visible light image by superimposing the contour image. Therefore, by superimposing the contour of the surgical instrument J on the visible light image as described above, a captured image is obtained in which the position of the surgical instrument J can be visually recognized while the back side of the surgical instrument J is visible.
  • optical distortion correction processing unit 22L performs optical distortion correction on the surgical instrument region Aj in the visible light image with a correction characteristic according to the type of the surgical instrument J.
  • the optical distortion means an optical distortion generated by the surgical instrument J as a transparent surgical instrument.
  • the surgical instrument J as a transparent surgical instrument, visibility can be improved by seeing the back side of the surgical instrument J through as described above. There is a possibility that the details of the existing body X cannot be visually recognized. Therefore, the optical distortion generated by the surgical instrument J is corrected as described above.
  • the memory 26 is a memory that can be read by the optical distortion correction processing unit 22L, and stores an optical distortion information DB (database) 26a. As shown in FIG. 6, in the optical distortion characteristic information DB 26a, optical distortion characteristic information is associated with each surgical instrument ID. In the case of this example, the optical distortion characteristic information is information expressing the optical distortion characteristic by a function.
  • the optical distortion correction processing unit 22L acquires optical distortion characteristic information associated with the same surgical instrument ID as the input surgical instrument ID among the optical distortion characteristic information stored in the optical distortion information DB 26a. Then, based on the acquired optical distortion characteristic information, optical distortion correction for the surgical instrument region Aj in the visible light image is performed. That is, correction is performed so that the optical distortion is canceled based on the acquired optical distortion characteristic information. Specifically, in this example, optical distortion correction is performed using an inverse function of the function as the acquired optical distortion characteristic information.
  • the optical distortion correction By performing the optical distortion correction, it is possible to improve the visibility of the body X located on the back side of the surgical instrument J. Further, according to the optical distortion correction process as described above, the optical distortion correction is performed with the correction characteristics corresponding to the type of the surgical instrument J.
  • the memory 26 and the optical distortion information DB 26a can be shared with the configuration related to the generation of the right-eye image GL (not shown).
  • optical distortion correction processing by the optical distortion correction processing unit 22L described above is performed for each frame image.
  • FIG. 7A is a diagram showing a configuration corresponding to the case where the operation of the image processing apparatus according to the present embodiment is realized by software.
  • a signal processing unit 16 ′ configured by a signal processing device such as a digital signal processor (DSP) or a microcomputer including a CPU (Central Processing Unit) is provided.
  • a memory 27 is provided for the signal processing unit 16 ′, and an optical distortion information DB 26 a and a program 28 are stored in the memory 27.
  • the signal processing unit 16 ′ implements the operation of the image processing apparatus according to the first embodiment by executing the processing illustrated by the flowchart of FIG. 7B according to the program 28.
  • the signal processing unit 16 ′ performs visible / infrared image generation processing (S101), surgical instrument detection processing (S102), optical distortion correction processing (S103), contour image generation processing (S104), and superimposition processing ( S105) is executed.
  • S101 visible / infrared image generation processing
  • S102 surgical instrument detection processing
  • S103 optical distortion correction processing
  • S104 contour image generation processing
  • S105 superimposition processing
  • the input captured image signal gL and the captured image signal gR are respectively processed in the same manner as the visible / infrared image generation processing unit 21L to generate a visible light image and an infrared light image.
  • the surgical instrument detection processing unit 24L For each infrared light image (left eye side infrared light image and right eye side infrared light image) generated from the captured image signal gL and the captured image signal gR, the surgical instrument detection processing unit 24L The same processing is performed to detect the surgical instrument region Aj and identify the type of surgical instrument J.
  • the surgical instrument region detected by the surgical instrument detection process for each visible light image (a visible light image on the left eye side and a visible light image on the right eye side) generated from the captured image signal gL and the captured image signal gR.
  • the optical distortion correction for Aj is performed according to the type of the surgical instrument J based on the surgical instrument ID and the optical distortion information DB 26a in the same manner as the optical distortion correction unit 22L.
  • a contour image of the surgical tool J is generated for each of the left eye side and the right eye side based on information on the left eye side and right eye side surgical tool regions Aj detected in the surgical tool detection process.
  • the left eye side contour image generated in the contour image generation process is superimposed on the left eye side visible light image
  • the right eye side contour image is superimposed on the right eye side visible light image.
  • the superimposition process can be performed before the optical distortion correction process is executed.
  • the signal processing unit 16 is transparent to visible light (light in the first wavelength band) and infrared light (light in the second wavelength band).
  • a captured image obtained by capturing a non-transparent surgical tool J target object
  • a captured image obtained by selectively receiving visible light is selected as a visible light image (first captured image)
  • infrared light is selected.
  • the captured image obtained by receiving light is an infrared light image (second captured image)
  • an image area where the surgical instrument J exists based on the infrared light image is a surgical instrument area Aj (target area).
  • a superimposition processing unit 23L that superimposes the contour of the surgical instrument J on the visible light image based on information on the surgical instrument region Aj detected by the surgical instrument detection processing unit 24L.
  • the signal processing unit 16 includes an optical distortion correction processing unit 22L (optical distortion correction unit) that corrects optical distortion caused by the surgical instrument J for the surgical instrument region Aj in the visible light image. I have. Thereby, the optical distortion generated in the surgical instrument region Aj in the visible light image is corrected. Therefore, the visibility of the object (internal object X) located on the back side of the surgical instrument J can be further improved.
  • optical distortion correction processing unit 22L optical distortion correction unit
  • the surgical instrument detection processing unit 24L identifies the type of the surgical instrument J based on the infrared light image, and the optical distortion correction processing unit 22L includes the surgical instrument.
  • the optical distortion is corrected by the correction characteristic corresponding to the type of the surgical instrument J identified by the detection processing unit 24L.
  • optical distortion correction by an appropriate correction characteristic according to the type of the surgical instrument J is realized. Therefore, the visibility of an object located on the back side of the surgical instrument J can be improved regardless of the type of the surgical instrument J.
  • FIG. 8 is a block diagram for explaining an internal configuration of the imaging apparatus according to the second embodiment.
  • the imaging device of the second embodiment is different from the imaging device 1 of the first embodiment only in that a signal processing device 16A is provided instead of the signal processing unit 16, and other parts are different.
  • the configuration is the same.
  • FIG. 8 shows only the internal configuration of the signal processing unit 16A.
  • the configuration related to the generation of the right image GR is the same as the configuration related to the generation of the left eye image GL
  • only the configuration related to the generation of the left eye image GL is shown here, and redundant description is given. avoid.
  • parts that are the same as the parts that have already been described are assigned the same reference numerals, and descriptions thereof are omitted.
  • the signal processing unit 16A is different from the signal processing unit 16 in that a surgical instrument detection processing unit 24AL is provided instead of the surgical instrument detection processing unit 24L. Not only the infrared light image generated by the visible / infrared image generation processing unit 21L but also the visible light image are input to the surgical instrument detection processing unit 24AL.
  • the surgical instrument detection processing unit 24AL detects the surgical instrument region Aj and identifies the type of the surgical instrument J based on the infrared light image and the visible light image.
  • the surgical instrument detection processing unit 24AL performs edge extraction on each of the infrared light image and the visible light image, and displays an edge image based on the infrared light image (hereinafter referred to as “infrared edge image Gir”) and a visible image.
  • An edge image based on the light image (hereinafter referred to as “visible edge image Gv”) is generated.
  • template matching using the template of the surgical instrument J is performed on each of the infrared edge image Gir and the visible edge image Gv as in the case of the first embodiment. After that, among the image areas detected by template matching for the infrared edge image Gir, an image area that does not overlap with the image area detected by template matching for the visible edge image Gv is detected as the surgical instrument area Aj.
  • the surgical instrument J is opaque to the infrared light, it is sufficiently possible to detect the surgical instrument region Aj based only on the infrared light image as in the first embodiment. is there.
  • the surgical instrument region Aj is detected by template matching based only on the infrared light image, a part other than the surgical instrument J may be erroneously detected as the surgical instrument region Aj.
  • FIG. 9 is an explanatory diagram about the significance of detecting the surgical instrument region Aj using both an infrared light image and a visible light image.
  • FIG. 9A shows an infrared edge image Gir
  • FIG. 9B shows a visible edge image Gv. Show.
  • the surgical instrument J in the infrared edge image Gir in this case, the surgical instrument J (shaded portion in the figure) and the part other than the surgical instrument J whose shape is similar to the surgical instrument J (“I1 ′ in the figure) "I2 '").
  • both of these image areas are detected as the surgical instrument area Aj.
  • the portions I1 ′ and I2 ′ other than the surgical instrument J which are similar in shape to the surgical instrument J, are not opaque with respect to the infrared light unlike the surgical instrument J, the infrared light There is a high possibility that the image is displayed not only on the image side but also on the visible light image side (see FIG. 9B).
  • the surgical instrument J is transparent to visible light, the image region where the surgical instrument J exists is not detected by template matching performed on the visible edge image Gv. Therefore, when template matching is performed on the visible edge image Gv in this case, it is highly possible that only the image regions of the portions I1 ′ and I2 ′ are detected.
  • the visible light image is a color image
  • the image is composed of images of red, green, and blue colors.
  • the portions I1 ′ and I2 ′ may be displayed in an image of a certain color but may not be displayed in an image of another color. Therefore, template matching on the visible light image side is performed for images of a plurality of colors. Specifically, in this example, edge extraction is performed for each of a red image, a green image, and a blue image, and a red edge image Gvr, a green edge image Gvg, and a blue edge image Gvb based on the red image, the green image, and the blue image are obtained.
  • Each of the red edge image Gvr, the green edge image Gvg, and the blue edge image Gvb is generated, and template matching using the template of the surgical instrument J is performed.
  • image areas detected by template matching for the infrared edge image Gir image areas that do not overlap with any of the image areas detected by template matching for the red edge image Gvr, green edge image Gvg, and blue edge image Gvb, respectively. Is detected as a surgical instrument region Aj.
  • the portions I1 ′ and I2 ′ are formed on the visible light image side. It becomes easier to detect. Therefore, the detection accuracy of the surgical instrument region Aj is further improved by detecting, as the surgical instrument region Aj, an image region that does not overlap with the image region detected by template matching for the plurality of red, green, and blue images. Can do.
  • the result of template matching for all of the red image, the green image, and the blue image constituting the visible light image is used, but at least two or more of these red, green, and blue images are used. If the result of template matching is used for the image, the possibility of detecting the portions I1 ′ and I2 ′ can be increased compared with the case of performing template matching for a single-color image, and the detection accuracy of the surgical instrument region Aj can be improved. Can be improved.
  • the type of the surgical instrument J is identified by associating the surgical instrument ID with the template of the surgical instrument J in the same manner as in the first embodiment.
  • the operation of the signal processing unit 16A described above can also be realized by software as in the case of the first embodiment.
  • the processing of the surgical instrument detection processing unit 24AL described above may be executed as the surgical instrument detection processing in step S102 shown in FIG. 7B.
  • the surgical instrument detection processing unit 24AL includes an infrared light image (second captured image) and a visible light image.
  • the surgical instrument region Aj (target region) is detected based on (first captured image). Accordingly, the surgical instrument region Aj is detected based on the image in which the surgical instrument J (object) is displayed in a transparent manner and the image in which the surgical instrument J is displayed in an opaque manner. Therefore, the detection accuracy of the surgical instrument region Aj can be improved.
  • the surgical instrument detection processing unit 24AL performs edge extraction for each of the infrared light image and the visible light image and performs infrared edge image Gir (second edge image).
  • the visible edge image Gv first edge image
  • template matching using the template of the surgical instrument J is performed on each of the infrared edge image Gir and the visible edge image Gv
  • the infrared edge image Gir Among the image areas detected by template matching, an image area that does not overlap with the image area detected by template matching for the visible edge image Gv is detected as the surgical instrument area Aj.
  • the surgical instrument detection processing unit 24AL includes a plurality of images (in the first wavelength band) of an infrared light image, a red image, a green image, and a blue image.
  • Edge extraction is performed on a plurality of first captured images obtained by selectively receiving light in different wavelength bands, and an infrared edge image Gir (second edge image), a red image, a green image, and a blue image
  • An edge image (a plurality of first edge images) based on a plurality of images among the images is generated, template matching is performed on each of the generated edge images, and an image detected by template matching on the infrared edge image Gir Images detected by template matching for edge images based on a plurality of images among the red image, green image, and blue image in the region And it detects the image area with neither overlapping range as the surgical instrument area Aj.
  • portions other than the surgical instrument J that are similar in shape to the surgical instrument J on the visible light image side (I1 ′, I2 ′) Becomes easier to detect. Therefore, the detection accuracy of the surgical instrument region Aj can be further improved.
  • FIG. 10 is a block diagram for explaining an internal configuration of the imaging apparatus according to the third embodiment.
  • the imaging device of the third embodiment is different from the imaging device of the second embodiment only in that a signal processing device 16B is provided instead of the signal processing unit 16A, and the configuration of other parts Is the same. For this reason, FIG. 10 shows only the internal configuration of the signal processing unit 16B.
  • the configuration related to the generation of the right image GR is the same as the configuration related to the generation of the left eye image GL, only the configuration related to the generation of the left eye image GL is shown here (visible / red). Except for the outside image generation processing unit 21R), redundant explanation is avoided.
  • the signal processing unit 16B includes a surgical instrument detection processing unit 24BL instead of the surgical instrument detection processing unit 24AL, and an optical distortion correction processing unit 22AL instead of the optical distortion correction processing unit 22L.
  • the difference is that not the optical distortion information DB 26a but the optical distortion information DB 26aA is stored in the memory 26.
  • an infrared light image and a visible light image generated by the visible / infrared image generation processing unit 21L are input to the surgical instrument detection processing unit 24BL, and a visible / infrared image generation processing unit 21R generates the same.
  • the infrared light image is input.
  • the visible / infrared image generation processing unit 21R performs the same processing as the visible / infrared image generation processing unit 21L on the captured image signal gR to generate an infrared light image and a visible light image.
  • the infrared light image and the visible light image generated by the visible / infrared image generation processing unit 21L are referred to as “left eye side infrared light image” and “left eye side visible light image”, and visible / infrared image generation processing is performed.
  • the infrared light image and the visible light image generated by the unit 21 ⁇ / b> R are referred to as “right eye side infrared light image” and “right eye side visible light image”.
  • the surgical instrument detection processing unit 24BL detects the surgical instrument region Aj, identifies the type of the surgical instrument J, and detects the posture of the surgical instrument J.
  • the detection of the surgical instrument region Aj and the identification of the type of the surgical instrument J are performed by the same method as in the second embodiment based on the left-eye side infrared light image and the left-eye side visible light image.
  • Information on the detected surgical instrument region Aj is input to the contour image generation processing unit 25L and the optical distortion correction processing unit 22AL, and information on the surgical instrument ID indicating the type of the surgical instrument J is input to the optical distortion correction processing unit 22AL.
  • the posture of the surgical instrument J is detected by generating three-dimensional position information about the surgical instrument J based on the left eye side infrared light image and the right eye side infrared light image.
  • FIG. 11 is an explanatory diagram of the three-dimensional position information.
  • the x-axis and y-axis in the figure are axes that are orthogonal to each other in a plane parallel to the imaging surface of the imaging element 15-L.
  • the x-axis is an axis parallel to the horizontal direction of the image pickup device 15 -L
  • the y-axis is an axis parallel to the vertical direction of the image pickup device 15.
  • the z-axis is an axis orthogonal to a plane parallel to the imaging surface.
  • the three-dimensional position information is position information expressed by coordinates (x, y, z). That is, it is information expressing the position of the subject displayed in the image by the horizontal and vertical positions (x, y) in the image and the distance (z) to the subject in real space.
  • the surgical instrument detection processing unit 24BL obtains a parallax value by a so-called corresponding point search method. That is, an image area that can be regarded as the same point in the left-eye side infrared light image and the right-eye side infrared light image is detected as a corresponding point, and the parallax is obtained for each corresponding point.
  • the surgical instrument detection processing unit 24BL calculates a distance (z) from the calculated parallax value.
  • the parallax value is converted into the distance (z) from the pixel pitch of the image sensor 15-L, the focal length information of the left eye optical system 14-L, and the like.
  • the corresponding point is determined by (x, y, z). 3D position information is obtained.
  • a distance image three-dimensional map, depth map
  • the surgical instrument detection processing unit 24BL detects the posture of the surgical instrument J from the three-dimensional position information of the surgical instrument region Aj in the distance image acquired as described above.
  • the posture mentioned here means a triaxial inclination of the x axis, the y axis, and the z axis.
  • the posture information detected by the surgical instrument detection processing unit 24BL is input to the optical distortion correction processing unit 22AL.
  • the optical distortion correction processing unit 22AL performs optical distortion correction on the surgical instrument region Aj in the visible light image based on the surgical instrument ID, posture information, and optical distortion information DB 26aA input from the surgical instrument detection processing unit 24BL. Do.
  • optical strain characteristic information is associated with each combination of surgical instrument ID and posture.
  • the surgical instrument J is regarded as a “lens”, and the optical distortion characteristic information for each posture is obtained for each type of the surgical instrument J. Then, the obtained optical distortion characteristic information is associated with each type of surgical instrument J (surgical instrument ID) and posture.
  • the optical distortion correction processing unit 22AL acquires optical distortion characteristic information specified by the input surgical instrument ID and posture information among the optical distortion characteristic information stored in the optical distortion information DB 26aA, and acquires the acquired optical distortion characteristic. Based on the information, optical distortion correction is performed on the surgical instrument region Aj in the visible light image. That is, correction is performed so that optical distortion is canceled. Thereby, the optical distortion correction by the correction characteristic according to the type and posture of the surgical instrument J is realized.
  • the operation of the signal processing device 16B described above can also be realized by software, as in the case of the first embodiment.
  • the optical distortion information DB 26aA is stored in the memory 27 shown in FIG. 7A.
  • the processing of the surgical instrument detection processing unit 24BL described above is executed as the surgical instrument detection process in step S102 shown in FIG. 7B, and the optical distortion correction process described above as the optical distortion correction process in step S103.
  • the processing of the unit 22AL may be executed.
  • the surgical instrument detection processing unit 24BL (target detection unit) is a left-eye side infrared light image (left-eye-side second captured image).
  • 3D position information about the surgical tool J (target object) is generated based on the right eye side infrared light image (right eye side second captured image), and the posture of the surgical tool J is detected based on the 3D position information. is doing.
  • the optical distortion correction processing unit 22AL optical distortion correction unit
  • the present technology should not be limited to the specific examples described above, and various modifications can be considered.
  • the surgical instrument region Aj has a distance calculated based on the parallax between the left eye side infrared light image and the right eye side infrared light image. It can also be detected based on information.
  • the surgical instrument J is usually located on the front side of the body X. Using this point, the surgical instrument region Aj can be detected from the distance information.
  • a method of detecting an image region whose distance is within a predetermined range in the above-described distance image (three-dimensional map) as the surgical instrument region Aj can be used.
  • the surgical instrument region Aj can be detected also by using the distance information.
  • the detection accuracy of the surgical instrument region Aj can be improved by using distance information together with detection by template matching. Specifically, after performing the template matching described in the first embodiment and the second embodiment to detect an image area having a shape similar to that of the surgical instrument J, the distance among the image areas is predetermined. For example, a method of detecting only a region within the range as the surgical instrument region Aj can be given. Thereby, the detection accuracy of the surgical instrument region Aj can be improved as compared with the case where the detection is performed by template matching alone.
  • a technique for detecting the surgical instrument region Aj using distance information a technique of generating a distance image for each of an infrared light image and a visible light image and taking a difference between the distance images can be cited. Specifically, a distance image is generated for each of the infrared light image and the visible light image, a difference image between the distance image for the infrared light image and the distance image for the visible light image is generated, and based on the difference image The surgical instrument region Aj is detected. The surgical instrument J is displayed only on the infrared light image and not on the visible light image. The surgical instrument J is located on the near side with respect to other subjects.
  • the surgical instrument region Aj used for contour superimposition can be determined based on the detection result of the surgical instrument region Aj performed on a plurality of frame images. For example, as a result of detecting the surgical instrument region Aj performed for a plurality of frame images, the surgical instrument region Aj detected continuously a plurality of times is output as information on the surgical instrument region Aj used for contour superimposition.
  • the image after edge extraction is used to detect the surgical instrument region Aj, but it is not essential to perform edge extraction.
  • a method of detecting a portion having a luminance value larger (or smaller) than a predetermined value as the surgical instrument region Aj can be mentioned.
  • This is a method suitable for the case where a surgical instrument J having a high reflectance (or absorption rate) with respect to infrared light is used. That is, if the reflectance (or absorption rate) with respect to infrared light is large (or small), the pixel value of the portion where the surgical instrument J is projected is remarkably large (or small). Therefore, the surgical instrument region Aj can be detected by the above detection method.
  • a detection technique based on a difference image between an infrared light image and a visible light image can be cited.
  • the difference in the image pattern is large in the portion where the surgical instrument J is present, and the difference in the image pattern is small in the other portions.
  • the luminance value (difference value) of the portion where the surgical instrument J exists is large, and the luminance value of the other portion is small. That is, in the difference image between the infrared light image and the visible light image, the portion where the surgical instrument J exists is emphasized. Therefore, the surgical instrument region Aj can be detected by extracting the emphasized portion, that is, by extracting an image region having a luminance value equal to or higher than a predetermined value in the difference image.
  • the image sensor may receive light. That is, an image sensor for generating an infrared light image and an image sensor for generating a visible light image may be provided separately.
  • the imaging device includes a pixel in which a wavelength filter that transmits red light and infrared light is formed, a pixel in which a wavelength filter that transmits green light and infrared light is formed, and blue light and infrared light. In which pixels on which wavelength filters that transmit light are formed are arranged.
  • visible light emission by the first light source 11-1 and infrared light emission by the second light source 11-2 are alternately performed, and the imaging element is operated in the visible light emission period and the infrared light emission period. Captured image signals are acquired separately.
  • a visible light image and an infrared light image can be acquired in a time division manner.
  • interpolation processing can be omitted when generating an infrared light image.
  • the optical distortion correction can also be performed based on the correction characteristics corresponding to the distance.
  • the correction characteristic inverse function of the optical distortion characteristic information
  • the correction characteristic is calibrated according to the detected distance of the surgical instrument area Aj, and optical distortion correction for the surgical instrument area Aj is performed based on the corrected correction characteristic. Do.
  • optical distortion correction by an appropriate correction characteristic according to the distance of the surgical instrument J is realized. Therefore, the visibility of an object located on the back side of the surgical instrument J can be improved regardless of the distance of the surgical instrument J.
  • the target for contour superimposition and optical distortion correction is the surgical instrument J
  • the present technology is used when contour superimposition and optical distortion correction are performed on an object other than the surgical instrument.
  • objects other than surgical tools include objects that are handled by surgical tools during surgery, such as artificial blood vessels and bones. Even when the present technology is applied when an object other than the surgical tool is used, the work efficiency of the work using the transparent object can be improved.
  • this technique can also take the following structures.
  • (1) As a captured image obtained by imaging an object that is transparent to light in the first wavelength band and opaque to light in the second wavelength band, it is obtained by selectively receiving light in the first wavelength band.
  • the captured image is a first captured image
  • the captured image obtained by selectively receiving light in the second wavelength band is a second captured image
  • the target based on the second captured image
  • a target detection unit that detects an image region where an object exists as a target region
  • An image processing apparatus comprising: a contour superimposing unit that superimposes the contour of the object on the first captured image based on information on the target region detected by the target detecting unit.
  • the target detection unit The image processing device according to (1), wherein the target region is detected based on the second captured image and the first captured image.
  • the target detection unit Edge extraction is performed for each of the second captured image and the first captured image to generate a second edge image based on the second captured image and a first edge image based on the first captured image, Perform template matching using the object template for each of the second edge image and the first edge image, Among the image areas detected by the template matching for the second edge image, an image area that does not overlap with the image area detected by the template matching for the first edge image is detected as the target area (1) or The image processing apparatus according to (2).
  • the target detection unit Edge extraction is performed on the plurality of first captured images obtained by selectively receiving the second captured image and light in different wavelength bands within the first wavelength band, and the second captured image is obtained.
  • Generating a second edge image based on and a plurality of first edge images based on the plurality of first captured images Perform the template matching for each of the generated edge images, Among the image areas detected by the template matching for the second edge image, an image area that does not overlap with any of the image areas detected by the template matching for the plurality of first edge images is detected as the target area.
  • the image processing apparatus according to (3).
  • a left-eye image and a right-eye image obtained by stereo-imaging the object using an imaging device that selectively receives light in the second wavelength band are respectively a left-eye-side second captured image, a right-eye-side second captured image, and
  • the target detection unit The target region is detected based on distance information calculated based on a parallax between the left-eye-side second captured image and the right-eye-side second captured image according to any one of (1) to (4).
  • Image processing device is
  • the target detection unit Generating a distance image for the second captured image and a distance image for the first captured image based on the distance information calculated for each of the second captured image and the first captured image;
  • the image processing apparatus according to (5), wherein a difference image between a distance image for a captured image and a distance image for the first captured image is generated, and the target region is detected based on the difference image.
  • the image processing apparatus according to any one of (1) to (7), further including an optical distortion correction unit configured to correct optical distortion caused by the object with respect to the target area in the first captured image.
  • the target detection unit Identifying the type of the object based on the second captured image;
  • the optical distortion correction unit is The image processing apparatus according to (8), wherein the optical distortion is corrected by a correction characteristic corresponding to a type of the object identified by the object detection unit.
  • a left-eye image and a right-eye image obtained by stereo-imaging the object using an imaging device that selectively receives light in the second wavelength band are respectively a left-eye-side second captured image, a right-eye-side second captured image, and
  • the target detection unit Generating three-dimensional position information about the object based on the left-eye-side second captured image and the right-eye-side second captured image, detecting the posture of the object based on the three-dimensional position information, and
  • the optical distortion correction unit The image processing apparatus according to (8) or (9), wherein the optical distortion is corrected by a correction characteristic corresponding to a posture of the object detected by the object detection unit.
  • the optical distortion correction unit is The image processing apparatus according to (10), wherein the optical distortion is corrected by a correction characteristic corresponding to a distance of the object.
  • SYMBOLS 1 Imaging device, 1a ... Rigid endoscope, 1b ... Main part, J1, J2 ... Surgical instrument, 16, 16 ', 16A, 16B ... Signal processing part, 22L, 22AL ... Optical distortion correction processing part, 23L ... Superimposition processing part 24L, 24AL, 24BL ... surgical instrument detection processing unit, 25L ... contour image generation processing unit, 26, 27 ... memory, 26a, 26aA ... optical distortion information DB (database)

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】例えば透明術具等の透明な対象物を用いた作業についての作業効率を向上させる。 【解決手段】第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する。そして、検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する。

Description

画像処理装置、画像処理方法、プログラム
　本技術は、例えば透明術具のような可視光に対して透明な対象物を撮像して得られた撮像画像について画像処理を行う画像処理装置、画像処理方法及びプログラムについての技術分野に関する。
特開２００９－２９１３５８号公報 特開２０１１－３５８５３号公報
　患者への身体的負担の低減を図ったいわゆる低侵襲手術が知られている。低侵襲手術においては、術者が内視鏡により撮像される体内画像を確認しながら手術を行うことで、非開胸、非開腹により手術を行うことができ、手術に伴う患者の身体的負担の軽減が図られている。
　低侵襲手術のように内視鏡を用いた手術を行う場合には、メスや鉗子等の術具として透明術具を用いることが考えられる。術具が透明であれば、その奥側に位置している臓器等の観察対象物の視認性が向上し望ましい。
　しかしながら、透明術具を用いると、術者等の観察者が撮像画像内における術具の位置を確認し難く、返って手術が困難となってしまう虞がある。
　そこで、本技術では上記の問題点を克服し、例えば透明術具等の透明な対象物を用いた作業についての作業効率を向上させることを目的とする。
　第１に、本技術に係る画像処理装置は、第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備えるものである。
　上記のように第一撮像画像に対象物の輪郭を重畳することで、対象物の奥側を視認可能としつつ対象物の位置を視認可能な撮像画像が得られる。
　第２に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出することが望ましい。
これにより、対象物が透明に映し出される画像と対象物が不透明に映し出される画像とに基づいて対象領域の検出が行われる。
　第３に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出することが望ましい。
　これにより、第二撮像画像に対するテンプレートマッチングで誤検出された画像領域を除外することが可能とされる。
　第４に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出することが望ましい。
　第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の第一撮像画像についてテンプレートマッチングを行うことで、可視光画像側において対象物と形状が類似している対象物以外の部分がより検出され易くなる。
　第５に、上記した本技術に係る画像処理装置においては、前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、前記対象検出部は、前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出することが望ましい。
　このように距離の情報を用いることによっても、対象領域の検出が可能とされる。
　第６に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出することが望ましい。
　上記のように第二撮像画像についての距離画像と第一撮像画像についての距離画像との差分画像を生成することで、当該差分画像には対象物が存在する画像領域のみが抽出される。
　第７に、上記した本技術に係る画像処理装置においては、前記対象検出部は、複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定することが望ましい。
　これにより、一時的なノイズ等の影響で対象物以外の物体が映し出された部分が対象領域として誤検出されたとしても、その影響が輪郭重畳に反映されない。
　第８に、上記した本技術に係る画像処理装置においては、前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備えることが望ましい。
　これにより、第一撮像画像内における対象領域に生じる光学歪が補正される。
　第９に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像に基づいて前記対象物の種類を同定し、前記光学歪補正部は、前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正することが望ましい。
　これにより、対象物の種類に応じた適切な補正特性による光学歪補正が実現される。
　第１０に、上記した本技術に係る画像処理装置においては、前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、前記対象検出部は、前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、前記光学歪補正部は、前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正することが望ましい。
　これにより、対象物の姿勢に応じた適切な補正特性による光学歪補正が実現される。
　第１１に、上記した本技術に係る画像処理装置においては、前記光学歪補正部は、前記対象物の距離に応じた補正特性により前記光学歪を補正することが望ましい。
　これにより、対象物の距離に応じた適切な補正特性による光学歪補正が実現される。
　本技術によれば、例えば透明術具等の透明な対象物を用いた作業についての作業効率を向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態で前提とする低侵襲手術と透明術具についての説明図である。 第１の実施の形態の撮像装置の内部構成について説明するためのブロック図である。 第１の実施の形態の撮像装置が備える撮像素子の構造についての説明図である。 第１の実施の形態の撮像装置が備える信号処理部（画像処理装置）の内部構成について説明するためのブロック図である。 輪郭画像が重畳された後の可視光画像を例示した図である。 第１の実施の形態の画像処理装置が用いる光学歪情報ＤＢの情報内容についての説明図である。 第１の実施の形態に係る画像処理装置の動作をソフトウエアにより実現する場合の構成と処理手順についての説明図である。 第２の実施の形態の撮像装置の内部構成について説明するためのブロック図である。 赤外光画像と可視光画像の双方を用いた術具領域の検出を行う意義についての説明図である。 第３の実施の形態の撮像装置の内部構成について説明するためのブロック図である。 三次元位置情報についての説明図である。 第３の実施の形態の画像処理装置が用いる光学歪情報ＤＢの情報内容についての説明図である。
　以下、実施の形態を次の順序で説明する。
　＜１．第１の実施の形態＞
　（1-1．前提）
　（1-2．撮像装置の全体構成）
　（1-3．信号処理部について）
　（1-4．プログラムについて）
　（1-5．まとめ及び効果）
　＜２．第２の実施の形態＞
　（2-1．構成及び動作）
　（2-2．まとめ及び効果）
　＜３．第３の実施の形態＞
　（3-1．構成及び動作）
　（3-2．まとめ及び効果）
　＜４．変形例＞
　＜５．本技術＞
　＜１．第１の実施の形態＞
　（1-1．前提）
　図１は、本実施の形態で前提とする低侵襲手術と透明術具についての説明図である。
　図１Ａに示すように、本実施の形態で前提とする低侵襲手術では、患者Ｈの体内に術具Ｊと後述する撮像装置１の硬性鏡（内視鏡）１ａとが挿入される。この図では、術具Ｊとして術具Ｊ１と術具Ｊ２の二種が体内に挿入された場合を例示している。術具Ｊと硬性鏡１ａの体内への挿入はそれぞれ患者Ｈに施された低侵襲切開を通じて行われる。
　術具Ｊは、例えばメスや鉗子等の手術用のツールであり、本実施の形態ではいわゆる透明術具が用いられている。透明術具とは、可視光に対して透明な術具を意味する。
　図１Ｂは、図１Ａに示したような術具Ｊと硬性鏡１ａの挿入を行った場合に硬性鏡１ａを介して得られる撮像画像を模式的に示している。
　この場合、撮像の視野内においては臓器等の体内物Ｘの手前側に術具Ｊ１と術具Ｊ２が存在するが、これら術具Ｊ１及び術具Ｊ２は透明術具とされているため撮像画像中ではこれら術具Ｊ１及び術具Ｊ２は完全には映し出されず、術具Ｊ１、術具Ｊ２の奥側にそれぞれ体内物Ｘが透けて見えている。
　術具Ｊの奥側が透けて見えることで体内物Ｘの視認性が向上し、手術の容易性の向上に繋がるが、前述のように透明術具は撮像画像内における位置を確認し難く、返って手術が困難となってしまう虞がある。
　そこで、本実施の形態では、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能とした撮像画像を提供することで、透明術具を用いた手術作業についての作業効率の向上を図り、手術の容易性を向上させる。
　このために、本実施の形態では、術具Ｊとして可視光に対して透明で赤外光に対して不透明とされた術具を用いる。
　具体的に、本例における術具Ｊは、可視光を透過するが赤外光を反射又は吸収するフィルムで覆われて形成されている。このようなフィルムの例としては、例えば３Ｍ社製「マルチレイヤー　Nanoシリーズ」等を挙げることができる。
　なお、術具Ｊは、可視光を透過するが赤外光を反射又は吸収するガラス材料で形成することもできる。このようなガラスの例としては、下記のｗｅｂページに示される製品（セントラル硝子社製）等を挙げることができる。
　・http://www.cg-glass.jp/pro/sub_technique/pdf/180-181.pdf
（1-2．撮像装置の全体構成）
　図２は、第１の実施の形態としての撮像装置１の内部構成を示したブロック図である。
　なお、図１では撮像装置１により得られた撮像画像を表示するための表示装置２も併せて示している。
　撮像装置１は、第１の実施の形態としての画像処理装置を備えて構成された撮像装置である。
　撮像装置１は、硬性鏡１ａと本体部１ｂとを有する。
　硬性鏡１ａ内には、光ファイバ１２、照明光学系１３、左目光学系１４－Ｌ、右目光学系１４－Ｒ、撮像素子１５－Ｌ、撮像素子１５－Ｒが設けられている。本体部１ｂ内には、第一光源１１－１、第二光源１１－２、信号処理部１６、表示制御部１７、端子Ｔｄが設けられている。
　第一光源１１－１は可視光を発光する。本例の場合、第一光源１１－１は白色光を発光する。
　第二光源１１－２は赤外光を発光する。
　第一光源１１－１より発せられた可視光、第二光源１１－２により発せられた赤外光は共に光ファイバ１２を通じて照明光学系１３に入射する。
　照明光学系１３は光ファイバ１２を介して入射された可視光及び赤外光を観察対象としての被写体に照射する。
　左目光学系１４Ｌ、右目光学系１４Ｒは、立体視画像の提示を実現するための左目画像ＧＬ、右目画像ＧＲを生成するために設けられている。
　左目光学系１４Ｌは、被写体からの光を集光して撮像素子１５－Ｌの撮像面に結像させる。右目光学系１４－Ｒは被写体からの光を集光して撮像素子１５－Ｒの撮像面に結像させる。
　本例において、撮像素子１５－Ｌ及び撮像素子１５－Ｒは、可視光と赤外光の同時受光を可能とするために図３に示す構造を有している。
　撮像素子１５－Ｌ、撮像素子１５－Ｒのそれぞれにおいては、水平方向２画素×垂直方向２画素の計４画素が一つのユニットＵを構成している。この場合のユニットＵは、赤色光を選択的に透過する波長フィルタが形成された画素（図中「Ｒ」と表記）と、緑色光を選択的に透過する波長フィルタが形成された画素（図中「Ｇ」と表記）と、青色光を選択的に透過する波長フィルタが形成された画素（図中「Ｂ」と表記）と、赤外光を選択的に透過する波長フィルタが形成された画素（図中「ＩＲ」と表記）とで成る。
撮像素子１５－Ｌ及び撮像素子１５－Ｒにおいては、このようなユニットＵが水平方向及び垂直方向に複数配列されている。
　これにより、撮像素子１５－Ｌ、撮像素子１５－Ｒのそれぞれにおいては、赤色光、緑色光、青色光、赤外光がそれぞれ撮像面上の異なる位置で選択的に受光される。
　図２に戻り、撮像素子１５－Ｌにより得られる撮像画像信号を「撮像画像信号ｇＬ」、撮像素子１５－Ｒにより得られる撮像画像信号を「撮像画像信号ｇＲ」と表記する。
　撮像画像信号ｇＬ及び撮像画像信号ｇＲは信号処理部１６に入力される。
　信号処理部１６は、撮像画像信号ｇＬに基づき左目画像ＧＬを、撮像画像信号ｇＲに基づき右目画像ＧＲをそれぞれ生成する。
　信号処理部１６は、第１の実施の形態の画像処理装置に相当するものであるが、その内部構成については後述する。
　表示制御部１７は、端子Ｔｄを介して接続された表示装置２に左目画像ＧＬと右目画像ＧＲを立体視が実現されるように表示させる制御を行う。
　本例において、表示装置２は、例えばレンチキュラー方式によって立体視画像を提示するディスプレイとされ、表示制御部１７はレンチキュラー方式に対応した表示制御を行う。
（1-3．信号処理部について）
　図４は、信号処理部１６の内部構成について説明するためのブロック図である。
　なお、この図では信号処理部１６の内部構成のうち左目画像ＧＬの生成に係る構成のみを抽出して示しているが、左側画像ＧＬの生成に係る構成と右目画像ＧＲの生成に係る構成は同様であることから、ここでは重複説明を避けるため右目画像ＧＲの生成に係る構成の図示は省略している。
　信号処理部１６内には、可視・赤外画像生成処理部２１Ｌ、光学歪補正処理部２２Ｌ、重畳処理部２３Ｌ、術具検出処理部２４Ｌ、輪郭画像生成処理部２５Ｌ、及びメモリ２６が設けられている。
　可視・赤外画像生成処理部２１Ｌは、撮像素子１５－Ｌより入力された撮像画像信号ｇＬに基づき、可視光画像と赤外光画像を生成する。本例の場合、可視光画像は、画素ごとに赤色光、緑色光、青色光についての各輝度値が対応づけられたカラー画像である。赤外光画像は、画素ごとに赤外光についての輝度値が対応づけられた画像である。
　可視・赤外画像生成処理部２１Ｌは、撮像画像信号ｇＬについてデモザイク処理を行って可視光画像と赤外光画像を生成する。デモザイク処理は、撮像素子１５－Ｌ上の水平方向＝ｉ番目、垂直方向＝ｊ番目の位置にある画素について、その画素の波長フィルタを介して受光される波長帯以外の他の各波長帯の輝度値を、その画素の近傍に配される同波長帯の光を透過する波長フィルタが形成された画素の輝度値を用いて補間する（例えば線形補間等）ものである。例えば（ｉ，ｊ）の画素が赤色光を受光する画素であれば、赤色以外の緑色、青色、赤外光についての輝度値を（ｉ，ｊ）の画素の近傍に位置するそれぞれ同波長帯の光を透過する波長フィルタが形成された画素の輝度値を用いて補間する。
このようなデモザイク処理により、画素ごとに赤色光、緑色光、青色光及び赤外光についての各輝度値が取得される。
　可視・赤外画像生成処理部２１Ｌは、画素ごとに赤色光、緑色光、青色光についての各輝度値を有する画像を可視光画像として出力する。また可視・赤外画像生成処理部２１Ｌは、画素ごとに赤外光についての輝度値を有する画像を赤外光画像として出力する。
　可視・赤外画像生成処理部２１Ｌより出力された可視光画像は、光学歪補正処理部２２Ｌ及び重畳処理部２３Ｌを介して左目画像ＧＬとして図１に示した表示制御部１７に出力される。
　なお、光学歪補正処理部２２Ｌ、重畳処理部２３Ｌについては後述する。
　一方、可視・赤外画像生成処理部２１Ｌより出力された赤外光画像は、術具検出処理部２４Ｌに入力される。
　術具検出処理部２４Ｌは、入力された赤外光画像に基づいて術具Ｊが存在する画像領域を術具領域Ａｊとして検出する。また術具検出処理部２４Ｌは、術具Ｊの種類を同定する。
　本実施の形態の術具検出処理部２４Ｌは、術具領域Ａｊの検出及び術具Ｊの種類の同定を以下のように行う。
　先ず、入力された赤外光画像に対しエッジ抽出（エッジ検出）を行う。次いで、エッジ抽出後の画像を対象として、テンプレートマッチングにより術具領域Ａｊを検出する。すなわち、術具Ｊのテンプレートに表されたエッジ形状に対する類似度が所定値以上であるエッジ形状を有する画像領域を術具領域Ａｊとして検出する。この場合のテンプレートマッチングとしては、術具Ｊの全体形状（輪郭）に基づくもの、術具Ｊの一部の特徴的な形状に基づくもの等を挙げることができる。
　本例の場合、術具Ｊとしては複数の種類が使用されることを想定しているため、上記のテンプレートとしては術具Ｊの種類ごとに用意しておき、それら全てのテンプレートを用いてマッチングを行い、術具領域Ａｊを検出する。
　なお、術具Ｊの位置が奥行き方向（撮像方向に平行な方向）に変化することが想定される場合すなわち撮像画像内において術具Ｊの大きさが異なることが想定される場合には、テンプレートとして縮尺の異なる複数のテンプレートを用意しておき、それらの各テンプレートを用いたマッチングを行って術具領域Ａｊを検出すればよい。
　本実施の形態の場合、各テンプレートには、術具Ｊの種類を表す術具ＩＤの情報が紐付けられている。術具検出処理部２４Ｌは、検出された術具領域Ａｊについての術具Ｊの種類の同定を、その術具領域Ａｊの検出時に用いたテンプレートに紐付けられている術具ＩＤを取得することで行う。
　輪郭画像生成処理部２５Ｌには、術具検出処理部２４Ｌによって検出された術具領域Ａｊの情報が入力される。輪郭画像生成処理部２５Ｌは、術具領域Ａｊの輪郭Ｓｊを表した輪郭画像を生成し、重畳処理部２３Ｌに出力する。
　重畳処理部２３Ｌは、光学歪補正部２２Ｌを介して入力された可視光画像に対して輪郭画像生成処理部２５Ｌより入力された輪郭画像を重畳する。
　図５は、重畳処理部２３Ｌによって輪郭画像が重畳された後の可視光画像を例示している。
　図５では、撮像の視野内に術具Ｊ１と術具Ｊ２とが存在していた場合を例示している。この場合、術具領域Ａｊとしては、術具Ｊ１が存在する画像領域である術具領域Ａｊ１と術具Ｊ２が存在する画像領域である術具領域Ａｊ２とが検出される。そして、輪郭画像としては、これら術具領域Ａｊ１と術具領域Ａｊ２のそれぞれの輪郭（図中Ｓｊ１、Ｓｊ２）を表した輪郭画像が生成され、当該輪郭画像が可視光画像に対して重畳される。
　ここで、前述のように術具Ｊは可視光に対して透明であるため、可視光画像においては術具Ｊの奥側に体内物Ｘが透けて見える。一方で、上記の輪郭画像が重畳されることにより、可視光画像において術具Ｊの位置を視認することが可能となる。
　従って、上記のように可視光画像に術具Ｊの輪郭を重畳することで、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能な撮像画像が得られる。
　なお、上記により説明した術具検出処理部２４Ｌによる術具領域Ａｊの検出と術具Ｊの種類の同定の各処理、及び輪郭画像生成処理部２５Ｌによる輪郭画像の生成処理、及び重畳処理部２３Ｌによる輪郭画像の重畳処理は各フレーム画像について行われるものである。
　図４に戻り、光学歪補正処理部２２Ｌには、術具検出処理部２４Ｌにより検出された術具領域Ａｊの情報と術具ＩＤとが入力される。
　光学歪補正処理部２２Ｌは、可視光画像における術具領域Ａｊを対象として、術具Ｊの種類に応じた補正特性により光学歪補正を行う。なお、この場合における光学歪とは、透明術具としての術具Ｊによって生じる光学的な歪を意味する。
　ここで、透明術具としての術具Ｊを用いることによっては前述のように術具Ｊの奥側が透けて見えることによる視認性の向上が図られるが、光学歪によって術具Ｊの奥側に存在する体内物Ｘの詳細を視認できなくなる虞がある。そこで、上記のように術具Ｊによって生じる光学歪の補正を行うものである。
　メモリ２６は、光学歪補正処理部２２Ｌが読み出し可能なメモリであり、光学歪情報ＤＢ（データベース）２６ａが格納されている。
　図６に示すように、光学歪特性情報ＤＢ２６ａにおいては、術具ＩＤごとに光学歪特性情報が対応づけられている。本例の場合、光学歪特性情報は関数により光学歪特性を表現した情報とされている。
　図４において、光学歪補正処理部２２Ｌは、光学歪情報ＤＢ２６ａに格納された光学歪特性情報のうち入力された術具ＩＤと同一の術具ＩＤが対応づけられている光学歪特性情報を取得し、取得した光学歪特性情報に基づいて可視光画像における術具領域Ａｊを対象とした光学歪補正を行う。すなわち、取得した光学歪特性情報に基づき、光学歪がキャンセルされるように補正を行う。具体的に、本例においては、取得した光学歪特性情報としての関数の逆関数を用いて光学歪補正を行う。
　光学歪補正が行われることで、術具Ｊの奥側に位置する体内物Ｘの視認性を向上できる。
　また、上記のような光学歪補正の処理によれば、術具Ｊの種類に応じた補正特性により光学歪補正が行われる。
　なお、メモリ２６と光学歪情報ＤＢ２６ａについては、図示を省略した右目画像ＧＬの生成に係る構成との間で共用することができる。
　また、上記により説明した光学歪補正処理部２２Ｌによる光学歪補正処理としても各フレーム画像について行われるものである。
（1-4．プログラムについて）
　ここで、上記では本実施の形態に係る画像処理装置の動作をハードウエアにより実現する場合を例示したが、ソフトウエアにより実現することもできる。
　図７Ａは、本実施の形態に係る画像処理装置の動作をソフトウエアにより実現する場合に対応した構成を示した図である。
　この場合は、信号処理部１６に代えて、例えばＤＳＰ（Digital　Signal　Processor）、又はＣＰＵ（Central　Processing　Unit）を備えたマイクロコンピュータなどの信号処理装置で構成された信号処理部１６'が設けられる。
　信号処理部１６'に対しては、メモリ２７が設けられ、メモリ２７内には光学歪情報ＤＢ２６ａとプログラム２８が格納されている。信号処理部１６'は、プログラム２８に従って図７Ｂのフローチャートにより示す処理を実行することで、第１の実施の形態としての画像処理装置の動作を実現する。
　図７Ｂにおいて、信号処理部１６'は、可視・赤外画像生成処理（Ｓ１０１）、術具検出処理（Ｓ１０２）、光学歪補正処理（Ｓ１０３）、輪郭画像生成処理（Ｓ１０４）、及び重畳処理（Ｓ１０５）を実行する。
　可視・赤外画像生成処理では、入力された撮像画像信号ｇＬと撮像画像信号ｇＲについてそれぞれ可視・赤外画像生成処理部２１Ｌと同様の処理を行って可視光画像と赤外光画像を生成する。
　術具検出処理では、撮像画像信号ｇＬ、撮像画像信号ｇＲから生成したそれぞれの赤外光画像（左目側の赤外光画像、右目側の赤外光画像）について、術具検出処理部２４Ｌと同様の処理を行って術具領域Ａｊの検出、及び術具Ｊの種類の同定を行う。
　光学歪補正処理では、撮像画像信号ｇＬ、撮像画像信号ｇＲから生成したそれぞれの可視光画像（左目側の可視光画像、右目側の可視光画像）について、術具検出処理で検出した術具領域Ａｊを対象とした光学歪補正を光学歪補正部２２Ｌと同様に術具ＩＤと光学歪情報ＤＢ２６ａとに基づいて術具Ｊの種類に応じて行う。
　輪郭画像生成処理では、術具検出処理で検出した左目側、右目側の術具領域Ａｊの情報に基づき、術具Ｊの輪郭画像を左目側、右目側のそれぞれについて生成する。
　重畳処理では、輪郭画像生成処理で生成した左目側の輪郭画像を左目側の可視光画像に、右目側の輪郭画像を右目側の可視光画像にそれぞれ重畳する。これにより、左目画像ＧＬ、右目画像ＧＲが得られる。
　なお、重畳処理は、光学歪補正処理を実行する前に行うことも可能である。
（1-5．まとめ及び効果）
　上記のように第１の実施の形態の信号処理部１６（画像処理装置）は、可視光（第一波長帯の光）に対して透明で赤外光（第二波長帯による光）に対して不透明な術具Ｊ（対象物）を撮像して得られる撮像画像として、可視光を選択的に受光して得られた撮像画像を可視光画像（第一撮像画像）、赤外光を選択的に受光して得られた撮像画像を赤外光画像（第二撮像画像）としたときに、赤外光画像に基づいて術具Ｊが存在する画像領域を術具領域Ａｊ（対象領域）として検出する術具検出処理部２４Ｌ（対象検出部）と、術具検出処理部２４Ｌが検出した術具領域Ａｊの情報に基づいて可視光画像に術具Ｊの輪郭を重畳する重畳処理部２３Ｌ（輪郭重畳部）とを備えている。
　上記のように可視光画像に術具Ｊの輪郭を重畳することで、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能な撮像画像が得られる。
　従って、透明な術具Ｊを用いて行われる手術作業の作業効率を向上させて手術の容易性を向上でき、より安全な手術の実現を図ることができる。
　また、第１の実施の形態の信号処理部１６は、可視光画像内における術具領域Ａｊを対象として術具Ｊにより生じる光学歪を補正する光学歪補正処理部２２Ｌ（光学歪補正部）を備えている。
　これにより、可視光画像内における術具領域Ａｊに生じる光学歪が補正される。
　従って、術具Ｊの奥側に位置する物体（体内物Ｘ）の視認性をより向上できる。
　さらに、第１の実施の形態の信号処理部１６においては、術具検出処理部２４Ｌは、赤外光画像に基づいて術具Ｊの種類を同定し、光学歪補正処理部２２Ｌは、術具検出処理部２４Ｌが同定した術具Ｊの種類に応じた補正特性により光学歪を補正している。
　これにより、術具Ｊの種類に応じた適切な補正特性による光学歪補正が実現される。
　従って、術具Ｊの種類に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
　＜２．第２の実施の形態＞
　（2-1．構成及び動作）
　図８は、第２の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
　なお、第２の実施の形態の撮像装置は第１の実施の形態の撮像装置１と比較して信号処理部１６に代えて信号処理装置１６Ａが設けられた点のみが異なり、他の部分の構成は同様とされている。このため、図８では信号処理部１６Ａの内部構成のみを示している。
　第２の実施の形態においても、右側画像ＧＲの生成に係る構成は左目画像ＧＬの生成に係る構成と同様であることから、ここでは左目画像ＧＬの生成に係る構成のみを示し、重複説明を避ける。
　以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
　信号処理部１６Ａは、信号処理部１６と比較して、術具検出処理部２４Ｌに代えて術具検出処理部２４ＡＬが設けられた点が異なる。
　術具検出処理部２４ＡＬには、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像のみでなく可視光画像も入力される。術具検出処理部２４ＡＬは、赤外光画像と可視光画像とに基づいて術具領域Ａｊの検出及び術具Ｊの種類の同定を行う。
　具体的に、術具検出処理部２４ＡＬは、赤外光画像と可視光画像のそれぞれについてエッジ抽出を行って赤外光画像に基づくエッジ画像（以下「赤外エッジ画像Ｇｉｒ」と表記）と可視光画像に基づくエッジ画像（以下「可視エッジ画像Ｇｖ」と表記）とを生成する。次いで、赤外エッジ画像Ｇｉｒと可視エッジ画像Ｇｖのそれぞれに対し、術具Ｊのテンプレートを用いたテンプレートマッチングを第１の実施の形態の場合と同様に行う。
　その上で、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出する。
　ここで、術具Ｊは赤外光に対して不透明とされているため、第１の実施の形態のように赤外光画像のみに基づいて術具領域Ａｊを検出することは十分に可能である。
　しかしながら、例えば被写体とされる体内物Ｘの種類や撮像環境等によっては、赤外光画像中において術具Ｊと形状が類似している術具Ｊ以外の部分が映し出される可能性が皆無ではなく、赤外光画像のみに基づきテンプレートマッチングによる術具領域Ａｊの検出を行っていると術具Ｊ以外の部分が術具領域Ａｊとして誤検出されてしまう場合も想定され得る。
　そこで、第２の実施の形態では、上記のように可視光画像も用いて術具領域Ａｊの検出を行っている。
　図９は、赤外光画像と可視光画像の双方を用いた術具領域Ａｊの検出を行う意義についての説明図であり、図９Ａは赤外エッジ画像Ｇｉｒ、図９Ｂは可視エッジ画像Ｇｖを示している。
　図９Ａに示すように、この場合の赤外エッジ画像Ｇｉｒにおいては、術具Ｊ（図中斜線部）と術具Ｊと形状が類似している術具Ｊ以外の部分（図中「Ｉ１'」「Ｉ２'」）とが映し出されている。この場合、赤外エッジ画像Ｇｉｒに対してテンプレートマッチングを行うと、これら双方の画像領域が術具領域Ａｊとして検出されてしまう。
　但し、術具Ｊと形状が類似している術具Ｊ以外の部分Ｉ１'、Ｉ２'は、術具Ｊのように赤外光に対して不透明とされた部分ではないことから、赤外光画像側のみでなく可視光画像側にも映し出される可能性が高い（図９Ｂ参照）。一方、術具Ｊは可視光に対して透明とされているので、可視エッジ画像Ｇｖに対して行ったテンプレートマッチングにより術具Ｊが存在する画像領域が検出されることはない。
　従って、この場合の可視エッジ画像Ｇｖについてテンプレートマッチングを行うと、部分Ｉ１'、Ｉ２'の画像領域のみが検出される可能性が高い。
　この点に鑑み第２の実施の形態では、上記のように赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出するようにしている。これにより、術具領域Ａｊの検出精度を向上させることができる。
　ここで、本例においては、可視光画像はカラー画像とされるため、赤色、緑色、青色の各色の画像で構成されていると換言できる。このとき、部分Ｉ１'、Ｉ２'は、或る色の画像には映し出されるが別の色の画像には映し出されない可能性がある。
　そこで、可視光画像側のテンプレートマッチングについては複数の色の画像について行う。具体的に、本例においては、赤色画像、緑色画像、青色画像のそれぞれについてエッジ抽出を行って赤色画像、緑色画像、青色画像に基づく赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂをそれぞれ生成し、これら赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂのそれぞれに対し術具Ｊのテンプレートを用いたテンプレートマッチングを行う。そして、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングにより検出された画像領域のうち、赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂに対するテンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を術具領域Ａｊとして検出する。
　赤色、緑色、青色としての可視光帯におけるそれぞれ異なる波長帯の光を選択的に受光して得られたそれぞれの画像についてテンプレートマッチングを行うことで、可視光画像側において部分Ｉ１'、Ｉ２'がより検出され易くなる。
　従って、これら赤色、緑色、青色の複数の画像についてのテンプレートマッチングで検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出することで、術具領域Ａｊの検出精度をより向上させることができる。
　なお、上記では可視光画像を構成する赤色画像、緑色画像、青色画像の全て対してテンプレートマッチングを行った結果を用いることとしたが、これら赤色、緑色、青色の画像のうち少なくとも二以上の色の画像についてテンプレートマッチングを行った結果を用いれば、一色の画像についてテンプレートマッチングを行う場合よりも部分Ｉ１'、Ｉ２'が検出される可能性を上げることができ、術具領域Ａｊの検出精度を向上させることができる。
　ここで、第２の実施の形態においても、術具Ｊの種類の同定は、第１の実施の形態と同様に術具Ｊのテンプレートに術具ＩＤを紐付けておくことで行う。
　なお、上記により説明した信号処理部１６Ａの動作についても、第１の実施の形態の場合と同様にソフトウエアにより実現することができる。
　その場合、図７Ｂに示したステップＳ１０２の術具検出処理として、上記で説明した術具検出処理部２４ＡＬの処理を実行すればよい。
（2-2．まとめ及び効果）
　上記のように第２の実施の形態の信号処理部１６Ａ（画像処理装置）においては、術具検出処理部２４ＡＬ（対象検出部）は、赤外光画像（第二撮像画像）と可視光画像（第一撮像画像）とに基づいて術具領域Ａｊ（対象領域）を検出している。
　これにより、術具Ｊ（対象物）が透明に映し出される画像と術具Ｊが不透明に映し出される画像とに基づいて術具領域Ａｊの検出が行われる。
従って、術具領域Ａｊの検出精度を向上させることができる。
　また、第２の実施の形態の信号処理部１６Ａにおいては、術具検出処理部２４ＡＬは、赤外光画像と可視光画像のそれぞれについてエッジ抽出を行って赤外エッジ画像Ｇｉｒ（第二エッジ画像）と可視エッジ画像Ｇｖ（第一エッジ画像）とを生成し、赤外エッジ画像Ｇｉｒと可視エッジ画像Ｇｖのそれぞれに対し術具Ｊのテンプレートを用いたテンプレートマッチングを行い、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出している。
　これにより、赤外光画像側のテンプレートマッチングで誤検出された画像領域（部分Ｉ１'、Ｉ２'が映し出された画像領域）を除外することが可能とされる。
　従って、術具領域Ａｊの検出精度を向上させることができる。
　さらに、第２の実施の形態の信号処理部１６Ａにおいては、術具検出処理部２４ＡＬは、赤外光画像と、赤色画像、緑色画像、青色画像のうちの複数の画像（第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の第一撮像画像）についてエッジ抽出を行って、赤外エッジ画像Ｇｉｒ（第二エッジ画像）と赤色画像、緑色画像、青色画像のうちの複数の画像に基づくエッジ画像（複数の第一エッジ画像）とを生成し、生成したエッジ画像のそれぞれに対しテンプレートマッチングを行い、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングにより検出された画像領域のうち、赤色画像、緑色画像、青色画像のうちの複数の画像に基づくエッジ画像に対するテンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を術具領域Ａｊとして検出している。
　赤色画像、緑色画像、青色画像のうちの複数の画像についてテンプレートマッチングを行うことで、可視光画像側において術具Ｊと形状が類似している術具Ｊ以外の部分（Ｉ１'、Ｉ２'）がより検出され易くなる。
　従って、術具領域Ａｊの検出精度をより向上させることができる。
　＜３．第３の実施の形態＞
　（3-1．構成及び動作）
　図１０は、第３の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
　なお、第３の実施の形態の撮像装置は第２の実施の形態の撮像装置と比較して信号処理部１６Ａに代えて信号処理装置１６Ｂが設けられた点のみが異なり、他の部分の構成は同様とされている。このため、図１０では信号処理部１６Ｂの内部構成のみを示している。第３の実施の形態においても、右側画像ＧＲの生成に係る構成は左目画像ＧＬの生成に係る構成と同様であることから、ここでは左目画像ＧＬの生成に係る構成のみを示し（可視・赤外画像生成処理部２１Ｒは除く）、重複説明を避ける。
　信号処理部１６Ｂは、信号処理部１６Ａと比較して、術具検出処理部２４ＡＬに代えて術具検出処理部２４ＢＬが、光学歪補正処理部２２Ｌに代えて光学歪補正処理部２２ＡＬが設けられた点と、メモリ２６に対して光学歪情報ＤＢ２６ａではなく光学歪情報ＤＢ２６ａＡが格納されている点が異なる。
　図のように術具検出処理部２４ＢＬには、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像と可視光画像が入力されると共に、可視・赤外画像生成処理部２１Ｒが生成した赤外光画像が入力される。可視・赤外画像生成処理部２１Ｒは、撮像画像信号ｇＲについて可視・赤外画像生成処理部２１Ｌと同様の処理を行って赤外光画像と可視光画像とを生成する。
　なお以下、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像、可視光画像を「左目側赤外光画像」「左目側可視光画像」と表記し、可視・赤外画像生成処理部２１Ｒが生成した赤外光画像、可視光画像を「右目側赤外光画像」「右目側可視光画像」と表記する。
　術具検出処理部２４ＢＬは、術具領域Ａｊの検出、術具Ｊの種類の同定、及び術具Ｊの姿勢の検出を行う。
　術具領域Ａｊの検出、及び術具Ｊの種類の同定については、左目側赤外光画像と左目側可視光画像とに基づき第２の実施の形態の場合と同様の手法で行う。
検出された術具領域Ａｊの情報は輪郭画像生成処理部２５Ｌと光学歪補正処理部２２ＡＬに、術具Ｊの種類を表す術具ＩＤの情報は光学歪補正処理部２２ＡＬにそれぞれ入力される。
　術具Ｊの姿勢の検出は、左目側赤外光画像と右目側赤外光画像とに基づき術具Ｊについての三次元位置情報を生成して行う。
　図１１は、三次元位置情報についての説明図である。
　図中のｘ軸、ｙ軸は、撮像素子１５－Ｌの撮像面に平行な面内において直交関係にある軸である。ｘ軸は、撮像素子１５－Ｌの水平方向に平行な軸であり、ｙ軸は撮像装置１５の垂直方向に平行な軸であるとする。ｚ軸は、上記撮像面に平行な面に対して直交する軸である。
　三次元位置情報は、座標（ｘ、ｙ、ｚ）で表現される位置情報である。すなわち、画像内に映し出された被写体の位置を、画像内における水平方向、垂直方向の位置（ｘ、ｙ）と、実空間上における被写体までの距離（ｚ）とで表現した情報である。
　被写体までの距離の情報は、左目側の画像と右目側の画像との間に生じる視差の値から求める。
　本例において、術具検出処理部２４ＢＬは、視差の値をいわゆる対応点探索法により求める。すなわち、左目側赤外光画像と右目側赤外光画像とで同一の点とみなすことのできる画像領域を対応点として検出し、対応点ごとに視差を求める。
　次いで、術具検出処理部２４ＢＬは、求めた視差の値から距離（ｚ）を算出する。つまり、撮像素子１５－Ｌの画素ピッチや左目光学系１４－Ｌの焦点距離の情報等から視差の値をそれぞれ距離（ｚ）に換算する。
　このように左目側赤外光画像と右目側赤外光画像の対応点を検出し、対応点ごとに視差の値から距離を算出することで、対応点ごとに（ｘ、ｙ、ｚ）による三次元位置情報が求まる。三次元位置情報が求まることで、赤外光画像に基づく距離画像（三次元マップ、Depth　Map）が得られる。
　術具検出処理部２４ＢＬは、上記のように取得した距離画像中における術具領域Ａｊの三次元位置情報から、術具Ｊの姿勢を検出する。ここで言う姿勢とは、ｘ軸、ｙ軸、ｚ軸の三軸の傾きを意味する。
　術具検出処理部２４ＢＬにより検出された姿勢の情報は、光学歪補正処理部２２ＡＬに入力される。
光学歪補正処理部２２ＡＬは、術具検出処理部２４ＢＬより入力された術具ＩＤと姿勢の情報と光学歪情報ＤＢ２６ａＡとに基づき、可視光画像における術具領域Ａｊを対象とした光学歪補正を行う。
　図１２に示すように、光学歪情報ＤＢ２６ａＡにおいては、術具ＩＤと姿勢の組み合わせごとに光学歪特性情報が対応づけられている。
　光学歪情報ＤＢ２６ａＡの構築にあたっては、光学歪特性情報として、術具Ｊを「レンズ」と見立ててその姿勢ごとの光学歪特性情報を術具Ｊの種類ごとに求めておく。その上で、求めた光学歪特性情報を術具Ｊの種類（術具ＩＤ）と姿勢の組み合わせごとに対応づける。
　光学歪補正処理部２２ＡＬは、光学歪情報ＤＢ２６ａＡに格納された光学歪特性情報のうち入力された術具ＩＤと姿勢の情報とで特定される光学歪特性情報を取得し、取得した光学歪特性情報に基づいて可視光画像における術具領域Ａｊを対象として光学歪補正を行う。すなわち、光学歪がキャンセルされるように補正を行う。
　これにより、術具Ｊの種類と姿勢とに応じた補正特性による光学歪補正が実現される。
　なお、上記により説明した信号処理装置１６Ｂの動作についても、第１の実施の形態の場合と同様にソフトウエアにより実現することができる。
　その場合、図７Ａに示したメモリ２７内に光学歪情報ＤＢ２６ａＡを格納しておく。その上で、図７Ｂに示したステップＳ１０２の術具検出処理として、上記で説明した術具検出処理部２４ＢＬの処理を実行し、ステップＳ１０３の光学歪補正処理として上記で説明した光学歪補正処理部２２ＡＬの処理を実行すればよい。
（3-2．まとめ及び効果）
　上記のように第３の実施の形態の信号処理部１６Ｂ（画像処理装置）においては、術具検出処理部２４ＢＬ（対象検出部）は、左目側赤外光画像（左目側第二撮像画像）と右目側赤外光画像（右目側第二撮像画像）とに基づいて術具Ｊ（対象物）についての三次元位置情報を生成し、三次元位置情報に基づいて術具Ｊの姿勢を検出している。
　そして、光学歪補正処理部２２ＡＬ（光学歪補正部）は、術具検出処理部２４ＢＬが検出した術具Ｊの姿勢に応じた補正特性により光学歪を補正している。
　これにより、術具Ｊの姿勢に応じた適切な補正特性による光学歪補正が実現される。
　従って、術具Ｊの姿勢に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
　＜４．変形例＞
　なお、本技術は上記で説明した具体例に限定されるべきものではなく、多様な変形例が考えられる。
　例えば、上記では、術具領域Ａｊをテンプレートマッチングによって検出する例を挙げたが、術具領域Ａｊは左目側赤外光画像と右目側赤外光画像との間の視差に基づき算出した距離の情報に基づいて検出することもできる。
　手術中において、術具Ｊは、通常は体内物Ｘの手前側に位置している。この点を利用し、距離の情報から術具領域Ａｊを検出できる。例えば、前述した距離画像（三次元マップ）において距離が所定の範囲内である画像領域を術具領域Ａｊとして検出するなどの手法を挙げることができる。
　このように距離の情報を用いることによっても、術具領域Ａｊの検出が可能となる。
　ここで、距離の情報を、テンプレートマッチングによる検出と併せて用いることで、術具領域Ａｊの検出精度の向上を図ることもできる。具体的には、第１の実施の形態や第２の実施の形態で説明したテンプレートマッチングを行って術具Ｊと形状が類似する画像領域を検出した上で、当該画像領域のうち距離が所定の範囲内にあるもののみを術具領域Ａｊとして検出するなどの手法を挙げることができる。
　これにより、テンプレートマッチング単体で検出を行う場合よりも術具領域Ａｊの検出精度を向上させることができる。
　また、距離の情報を用いた術具領域Ａｊの検出手法としては、赤外光画像と可視光画像のそれぞれについて距離画像を生成し、それら距離画像の差分をとるという手法も挙げることができる。
　具体的には、赤外光画像と可視光画像のそれぞれについて距離画像を生成し、赤外光画像についての距離画像と可視光画像についての距離画像との差分画像を生成し、差分画像に基づいて術具領域Ａｊを検出する。
　術具Ｊは赤外光画像にのみ映し出され可視光画像には映し出されない。また、術具Ｊは他の被写体に対し手前側に位置している。この点より、上記のように赤外光画像についての距離画像と可視光画像についての距離画像との差分画像を生成することで、当該差分画像には術具Ｊが存在する画像領域のみが抽出される。
従って、当該差分画像に基づいて術具領域Ａｊを適正に検出できる。
　また、上記では、フレーム画像ごとに行った術具領域Ａｊの検出結果を逐次輪郭画像生成処理部２５Ｌに出力するすなわち術具Ｊの輪郭重畳に用いる情報として出力する場合を例示したが、これに代えて、複数のフレーム画像について行った術具領域Ａｊの検出結果に基づき、輪郭の重畳に用いる術具領域Ａｊを決定することもできる。例えば、複数のフレーム画像について行った術具領域Ａｊの検出を行った結果、複数回連続して検出された術具領域Ａｊを輪郭の重畳に用いる術具領域Ａｊの情報として出力する。
　これにより、一時的なノイズ等の影響で術具Ｊ以外の物体が映し出された部分が術具領域Ａｊとして誤検出されたとしても、その影響が輪郭重畳に反映されない。
従って、術具Ｊの輪郭画像を正しく表示できる。
また、上記では、テンプレートマッチングによる術具領域Ａｊの検出を術具Ｊの形状を基準として行う場合を例示したが、術具Ｊの色の変化等の他の特徴点を基準としてもよいし、或いは形状とその他の特徴点との双方を基準とした検出を行うこともできる。
　さらに、上記では、術具領域Ａｊの検出にエッジ抽出後の画像を用いたが、エッジ抽出を行うことは必須ではない。
　例えば、赤外光画像のみを用いた検出の例としては、輝度値が所定値よりも大きい（又は小さい）部分を術具領域Ａｊとして検出する手法を挙げることができる。これは、術具Ｊとして赤外光に対する反射率（又は吸収率）が大きいものを用いた場合に好適な手法である。すなわち、赤外光に対する反射率（又は吸収率）が大きければ（又は小さければ）、術具Ｊが映し出された部分の画素値は際だって大きく（又は小さく）なる。従って、上記の検出手法により、術具領域Ａｊを検出することが可能である。
　或いは、エッジ抽出を行わない手法としては、赤外光画像と可視光画像との差分画像に基づく検出手法を挙げることができる。赤外光画像と可視光画像との間では、術具Ｊが存在する部分では画像パターンの差が大きく、それ以外の部分では画像パターンの差は少ない。このため、赤外光画像と可視光画像との差分画像においては、術具Ｊが存在する部分の輝度値（差分値）が大きく、それ以外の部分の輝度値が小さくなる。すなわち、赤外光画像と可視光画像との差分画像においては術具Ｊの存在する部分が強調される。従って、当該強調された部分を抽出するすなわち差分画像において輝度値が所定値以上となっている画像領域を抽出すれば、術具領域Ａｊを検出することが可能となる。
　また、上記では、赤外光（第二波長帯の光）と可視光（第一波長帯の光）を同じ撮像素子（１５－Ｌ又は１５－Ｒ）により受光する場合を例示したが、別々の撮像素子により受光してもよい。すなわち、赤外光画像を生成するための撮像素子と可視光画像を生成するための撮像素子とを別々に設けてもよい。
　また、上記では、赤外光と可視光を同じ撮像素子で同時に受光する例を挙げたが、赤外光と可視光を時分割で受光することもできる。
　その場合、撮像素子としては、赤色光と赤外光を透過する波長フィルタが形成された画素と、緑色光と赤外光を透過する波長フィルタが形成された画素と、青色光と赤外光を透過する波長フィルタが形成された画素が配列されたものを用いる。
　その上で、第一光源１１－１による可視光の発光と第二光源１１－２による赤外光の発光を交互に行い、可視光の発光期間と赤外光の発光期間とで撮像素子が撮像画像信号を別々に取得する。
　これにより、可視光画像と赤外光画像を時分割取得できる。
　上記の時分割取得の手法においては、撮像素子の各画素で赤外光が受光されるため、赤外光画像の生成にあたり補間処理を省略できる。
　また、上記では、光学歪補正を術具Ｊの種類や姿勢に応じた補正特性により行う場合を例示したが、光学歪補正は距離に応じた補正特性により行うこともできる。
　具体的には、検出された術具領域Ａｊの距離に応じて補正特性（光学歪特性情報の逆関数）を校正し、校正後の補正特性により術具領域Ａｊを対象とした光学歪補正を行う。
　これにより、術具Ｊの距離に応じた適切な補正特性による光学歪補正が実現される。
　従って、術具Ｊの距離に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
　また、上記では、輪郭重畳や光学歪補正を行う対象が術具Ｊとされた場合を例示したが、本技術は、術具以外の他の対象物について輪郭重畳や光学歪補正を行う場合にも好適に適用できる。術具以外の対象物の例としては、例えば人工の血管や骨など手術中に術具により扱われる物体などを挙げることができる。
　術具以外の他の対象物が用いられる場合に本技術を適用した場合にも、透明な対象物を用いた作業についての作業効率を向上させることができる。
　また、上記では、術具Ｊの輪郭重畳と光学歪補正の双方を行う場合を例示したが、光学歪補正のみを行い、輪郭重畳は行わない構成とすることも可能である。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　＜５．本技術＞
　なお、本技術は以下のような構成を採ることもできる。
（１）
　第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、
　前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備える
画像処理装置。
（２）
　前記対象検出部は、
　前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出する
　前記（１）に記載の画像処理装置。
（３）
　前記対象検出部は、
　前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、
　前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、
　前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出する
　前記（１）又は（２）に記載の画像処理装置。
（４）
　前記対象検出部は、
　前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、
　生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、
　前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出する
前記（３）に記載の画像処理装置。
（５）
　前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
　前記対象検出部は、
　前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出する
　前記（１）乃至（４）の何れかに記載の画像処理装置。
（６）
　前記対象検出部は、
　前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出する
　前記（５）に記載の画像処理装置。
（７）
　前記対象検出部は、
　複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定する
　前記（１）乃至（６）の何れかに記載の画像処理装置。
（８）
　前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備える
　前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
　前記対象検出部は、
　前記第二撮像画像に基づいて前記対象物の種類を同定し、
　前記光学歪補正部は、
　前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正する
　前記（８）に記載の画像処理装置。
（１０）
　前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
　前記対象検出部は、
　前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、前記光学歪補正部は、
　前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正する
　前記（８）又は（９）に記載の画像処理装置。
（１１）
　前記光学歪補正部は、
　前記対象物の距離に応じた補正特性により前記光学歪を補正する
　前記（１０）に記載の画像処理装置。
　１…撮像装置、１ａ…硬性鏡、１ｂ…本体部、Ｊ１,Ｊ２…術具、１６,１６',１６Ａ,１６Ｂ…信号処理部、２２Ｌ,２２ＡＬ…光学歪補正処理部、２３Ｌ…重畳処理部、２４Ｌ,２４ＡＬ,２４ＢＬ…術具検出処理部、２５Ｌ…輪郭画像生成処理部、２６,２７…メモリ、２６ａ,２６ａＡ…光学歪情報ＤＢ（データベース）

Claims (13)

  1. 　第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、
    　前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備える
    　画像処理装置。
  2. 　前記対象検出部は、
    　前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出する
    　請求項１に記載の画像処理装置。
  3. 　前記対象検出部は、
    　前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、
    　前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、
    　前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出する
    　請求項１に記載の画像処理装置。
  4. 　前記対象検出部は、
    　前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、
    　生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、
    　前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出する
    　請求項３に記載の画像処理装置。
  5. 　前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
    　前記対象検出部は、
    　前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出する
    　請求項１に記載の画像処理装置。
  6. 　前記対象検出部は、
    　前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出する
    　請求項５に記載の画像処理装置。
  7. 　前記対象検出部は、
    　複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定する
    　請求項１に記載の画像処理装置。
  8. 　前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備える
    　請求項１に記載の画像処理装置。
  9. 　前記対象検出部は、
    　前記第二撮像画像に基づいて前記対象物の種類を同定し、
    　前記光学歪補正部は、
    　前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正する
    　請求項８に記載の画像処理装置。
  10. 　前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
    　前記対象検出部は、
    　前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、
    　前記光学歪補正部は、
    　前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正する
    　請求項８に記載の画像処理装置。
  11. 　前記光学歪補正部は、
    　前記対象物の距離に応じた補正特性により前記光学歪を補正する
    　請求項１０に記載の画像処理装置。
  12. 　第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出手順と、
    　前記対象検出手順により検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳手順とを有する
    　画像処理方法。
  13. 　第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出処理と、
    　前記対象検出処理により検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳処理と、を信号処理装置に実行させる
    プログラム。
PCT/JP2014/069617 2013-09-10 2014-07-24 画像処理装置、画像処理方法、プログラム WO2015037340A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/914,780 US9824443B2 (en) 2013-09-10 2014-07-24 Image processing device, image processing method, and program
JP2015536479A JP6458732B2 (ja) 2013-09-10 2014-07-24 画像処理装置、画像処理方法、プログラム
CN201480048649.9A CN105517482B (zh) 2013-09-10 2014-07-24 图像处理装置、图像处理方法和程序
EP14843857.5A EP3031386B1 (en) 2013-09-10 2014-07-24 Image processing device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-187248 2013-09-10
JP2013187248 2013-09-10

Publications (1)

Publication Number Publication Date
WO2015037340A1 true WO2015037340A1 (ja) 2015-03-19

Family

ID=52665462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069617 WO2015037340A1 (ja) 2013-09-10 2014-07-24 画像処理装置、画像処理方法、プログラム

Country Status (5)

Country Link
US (1) US9824443B2 (ja)
EP (1) EP3031386B1 (ja)
JP (1) JP6458732B2 (ja)
CN (1) CN105517482B (ja)
WO (1) WO2015037340A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017117710A1 (zh) * 2016-01-05 2017-07-13 秀传医疗社团法人秀传纪念医院 内视镜成像系统及方法
WO2019225231A1 (ja) 2018-05-22 2019-11-28 ソニー株式会社 手術用情報処理装置、情報処理方法及びプログラム
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6176191B2 (ja) * 2014-06-19 2017-08-09 株式会社Ｊｖｃケンウッド 撮像装置及び赤外線画像生成方法
CN107530033A (zh) * 2015-04-30 2018-01-02 奥林巴斯株式会社 摄像装置
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
JP2017205292A (ja) * 2016-05-18 2017-11-24 オリンパス株式会社 画像ファイル作成方法、画像ファイル作成プログラム及び画像ファイル作成装置
US10104313B2 (en) * 2016-07-08 2018-10-16 United Technologies Corporation Method for turbine component qualification
WO2019003751A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
EP3679853A4 (en) * 2017-09-07 2020-10-14 Fujifilm Corporation DIAGNOSIS SUPPORT SYSTEM, ENDOSCOPE SYSTEM, PROCESSOR, AND DIAGNOSIS SUPPORT METHOD
WO2019171827A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019212962A (ja) * 2018-05-31 2019-12-12 オリンパス株式会社 作業支援制御装置および作業画像制御装置
CN109493386B (zh) * 2018-11-26 2022-05-06 刘伟民 一种基于图像识别的手术器械传递装置及控制方法
JP7354608B2 (ja) * 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置
WO2021158305A1 (en) * 2020-02-04 2021-08-12 Covidien Lp Systems and methods for machine readable identification of surgical tools in-situ
JP2022044155A (ja) * 2020-09-07 2022-03-17 株式会社Subaru 画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136671A (ja) * 2006-12-01 2008-06-19 Pentax Corp 二眼式立体内視鏡用レーザープローブ
JP2009291358A (ja) 2008-06-04 2009-12-17 Olympus Medical Systems Corp 手術用顕微鏡
JP2011035853A (ja) 2009-08-06 2011-02-17 Sony Corp 撮像装置および映像記録再生システム
WO2011118287A1 (ja) * 2010-03-24 2011-09-29 オリンパス株式会社 内視鏡装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203767A (en) * 1991-01-08 1993-04-20 Cloyd David W Laparoscopic surgical gauze and the like
FR2737560B1 (fr) * 1995-08-02 1997-09-19 Sofie Instr Procede et dispositif pour quantifier in situ, par reflectometrie, la morphologie d'une zone localisee lors de la gravure de la couche superficielle d'une structure a couches minces
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
CN103687529B (zh) * 2011-07-22 2016-05-18 奥林巴斯株式会社 荧光内窥镜装置
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136671A (ja) * 2006-12-01 2008-06-19 Pentax Corp 二眼式立体内視鏡用レーザープローブ
JP2009291358A (ja) 2008-06-04 2009-12-17 Olympus Medical Systems Corp 手術用顕微鏡
JP2011035853A (ja) 2009-08-06 2011-02-17 Sony Corp 撮像装置および映像記録再生システム
WO2011118287A1 (ja) * 2010-03-24 2011-09-29 オリンパス株式会社 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3031386A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017117710A1 (zh) * 2016-01-05 2017-07-13 秀传医疗社团法人秀传纪念医院 内视镜成像系统及方法
WO2019225231A1 (ja) 2018-05-22 2019-11-28 ソニー株式会社 手術用情報処理装置、情報処理方法及びプログラム
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP7286948B2 (ja) 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法

Also Published As

Publication number Publication date
CN105517482B (zh) 2018-04-27
EP3031386A4 (en) 2017-04-05
EP3031386A1 (en) 2016-06-15
CN105517482A (zh) 2016-04-20
JPWO2015037340A1 (ja) 2017-03-02
US20160203602A1 (en) 2016-07-14
JP6458732B2 (ja) 2019-01-30
US9824443B2 (en) 2017-11-21
EP3031386B1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
JP6458732B2 (ja) 画像処理装置、画像処理方法、プログラム
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
US20180116732A1 (en) Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
CN106456267A (zh) 器械在视野中的定量三维可视化
JP6454489B2 (ja) 観察システム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
CN103337071A (zh) 基于结构重建的皮下静脉三维可视化装置及方法
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
US8666476B2 (en) Surgery assistance system
US20220354582A1 (en) Enhanced augmented reality headset for medical imaging
CN105342561B (zh) 无线声控穿戴式分子影像导航系统
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
JP2016158911A5 (ja)
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
TW202215370A (zh) 疊合虛擬影像於即時影像的系統與方法
JP2015231498A (ja) 内視鏡装置
JP2011206435A (ja) 撮像装置、撮像方法、撮像プログラム、及び内視鏡
WO2022070782A1 (ja) プログラム、情報処理方法及び内視鏡システム
US9345394B2 (en) Medical apparatus
JP4187830B2 (ja) 医用画像合成装置
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015536479

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014843857

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14914780

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE