WO2021038789A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
WO2021038789A1
WO2021038789A1 PCT/JP2019/033893 JP2019033893W WO2021038789A1 WO 2021038789 A1 WO2021038789 A1 WO 2021038789A1 JP 2019033893 W JP2019033893 W JP 2019033893W WO 2021038789 A1 WO2021038789 A1 WO 2021038789A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processor
region
processing
area
Prior art date
Application number
PCT/JP2019/033893
Other languages
English (en)
French (fr)
Inventor
久保 允則
亜紀 村上
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2021541898A priority Critical patent/JP7375022B2/ja
Priority to PCT/JP2019/033893 priority patent/WO2021038789A1/ja
Priority to CN201980099536.4A priority patent/CN114269218A/zh
Publication of WO2021038789A1 publication Critical patent/WO2021038789A1/ja
Priority to US17/677,122 priority patent/US20220182538A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to an image processing method and an image processing apparatus.
  • Endoscopes are widely used in the medical and industrial fields. Endoscopes used in the medical field are inserted into the body to obtain images of various parts of the body. By using this image, the diagnosis of the observation target and the treatment (treatment) of the observation target are carried out. Endoscopes used in the industrial field are inserted into industrial products to acquire images of various parts in the industrial products. By using this image, the inspection of the observation target and the treatment of the observation target (removal of foreign matter, etc.) are carried out.
  • An endoscope device having an endoscope and displaying a stereoscopic image (3D image) has been developed.
  • This endoscope acquires a plurality of images based on a plurality of optical images having parallax with each other.
  • the monitor of the endoscope device displays a stereoscopic image based on a plurality of images.
  • the observer can obtain information in the depth direction from the stereoscopic image. Therefore, the operator can easily apply the treatment to the affected area by using the treatment tool.
  • This advantage is also obtained in fields other than those in which endoscopes are used.
  • This advantage is common in the field where the observer uses a tool to perform treatment while looking at the image. For example, this advantage is also obtained when images obtained with a microscope are used.
  • the tool is located between the observation target and the observation optical system. That is, in a stereoscopic image, the tool is often located in front of the observation target. In particular, the stereoscopic image is displayed so that the base of the tool protrudes toward the observer. Therefore, the convergence angle becomes large, and the eyes of the observer tend to get tired.
  • the convergence angle is an angle formed by the two central axes when the central axis of the line of sight of the left eye and the central axis of the line of sight of the right eye intersect.
  • Patent Document 1 With the technology disclosed in Patent Document 1, it is difficult for the observer to use the tool because a part of the image is completely invisible. For example, the observer may use the treatment tool while acquiring an image with an endoscope. By using the technique disclosed in Patent Document 1, since the root of the treatment tool cannot be seen, it is difficult for the observer to determine the traveling direction of the treatment tool.
  • An object of the present invention is to provide an image processing method and an image processing apparatus capable of reducing the fatigue caused by an image of a tool in the eyes of an observer without impairing the usability of the tool.
  • the image processing method includes an image acquisition step and an image processing step.
  • the processor acquires the first image and the second image having parallax from each other from the first device that outputs the first image and the second image.
  • the first image and the second image are images of an observation object and a tool for treating the observation object.
  • Each of the first image and the second image includes a first region and a second region.
  • the first region of the first image includes the center of the first image.
  • the first region of the second image includes the center of the second image.
  • At least a part of the observation target is reflected in the first region.
  • the second region of the first image includes at least one end of the first image.
  • the second region of the second image includes at least one end of the second image.
  • At least part of the tool is visible in the second area.
  • the processor performs image processing on a processing region including the second region in at least one of the first image and the second image, and changes the parallax amount of the processing region.
  • the processor views the viewpoint and said in a stereoscopic image displayed based on the first image and the second image in the image processing step.
  • the amount of parallax in the processing area may be changed so that the distance between the tool and the optical image is large.
  • the observation target in the first aspect, in the stereoscopic image displayed based on the first image acquired in the image acquisition step and the second image, the observation target. Most may be located behind the crosspoint.
  • the shape of the first region may be any one of a circle, an ellipse, and a polygon.
  • the processor may change the parallax amount in the image processing step so that the optical image of the processing region becomes a flat surface.
  • the processing area may include two or more pixels.
  • the processor may change the parallax amount so that two or more points of the optical image corresponding to the two or more pixels move in a direction away from the viewpoint in the image processing step.
  • the distance traveled by the two or more points may be equal to each other.
  • the processing area may include two or more pixels.
  • the processor may change the parallax amount so that two or more points of the optical image corresponding to the two or more pixels move in a direction away from the viewpoint in the image processing step. The greater the distance between each of the two or more pixels and the first region, the greater the distance each of the two or more points travels.
  • the processing area may include two or more pixels.
  • the processor changes the parallax amount so that the distance between the viewpoint and each of the two or more points of the optical image corresponding to the two or more pixels becomes a predetermined value or more. You may.
  • the image processing method may further include a region setting step.
  • the processor Prior to the image processing step, in the area setting step, the processor includes a type of an image generator having an image pickup element for generating the first image and the second image, a type of the tool, and an imaging magnification.
  • the processing area may be set based on at least one of.
  • the image processing method may further include a tool detection step and an area setting step.
  • the processor may detect the tool from at least one of the first image and the second image in the tool detection step.
  • the processor may set the region in which the tool is detected as the processing region in the region setting step.
  • the image processing method may further include a mode selection step and a second image output step.
  • the processor may select one of the first mode and the second mode in the mode selection step.
  • the processor may output the first image and the second image acquired in the image acquisition step to one of the display device and the communication device in the second image output step.
  • the processor selects the first mode in the mode selection step
  • the processor may execute the image processing step and the first image output step.
  • the processor selects the second mode in the mode selection step, the processor may execute the second image output step without executing the image processing step.
  • the image processing method may further include a second motion detection step.
  • the processor may detect the motion state of the tool in the second motion detection step.
  • the processor may select one of the first mode and the second mode based on the state in the mode selection step.
  • FIG. 2 shows a schematic configuration of the tip portion 10.
  • the endoscope device 1 includes a first optical system 11L, a second optical system 11R, an image pickup device 12, and a treatment tool 13.
  • the first optical system 11L, the second optical system 11R, and the image pickup device 12 are arranged inside the tip portion 10.
  • the first optical image is formed by light passing through the first optical system 11L.
  • the first image is generated based on the first optical image.
  • the second optical image is formed by light passing through the second optical system 11R.
  • the second image is generated based on the second optical image.
  • the first image may be generated based on the second optical image and the second image may be generated based on the first optical image.
  • the operation unit 22 is an input device having parts operated by an observer (operator).
  • the part may be a button or switch.
  • the observer can input various information for controlling the endoscope device 1.
  • the operation unit 22 outputs the information input to the operation unit 22 to the processor 41.
  • the processor 41 controls the image sensor 12, the light source device 3, the monitor 5, and the like based on the information input to the operation unit 22.
  • the image processing device 4 and the monitor 5 are connected by a signal line.
  • the image processing device 4 and the monitor 5 may be connected wirelessly. That is, the image processing device 4 may have a transmitter that wirelessly transmits the first image and the second image, and the monitor 5 receives the first image and the second image wirelessly. You may have a machine. Communication between the image processing device 4 and the monitor 5 may be executed via a network such as a LAN.
  • the processor 41 outputs the first image and the second image to the monitor 5 (display device).
  • the processor 41 does not have to output the first image and the second image directly to the monitor 5.
  • FIG. 4 shows another connection example between the image processing device 4 and the monitor 5.
  • the processor 41 outputs the first image and the second image to the receiving device 6 (communication device).
  • the receiving device 6 receives the first image and the second image output from the image processing device 4.
  • the receiving device 6 outputs the received first image and the second image to the monitor 5.
  • the image processing device 4 and the receiving device 6 may be connected by a signal line or may be connected wirelessly.
  • the receiving device 6 and the monitor 5 may be connected by a signal line or may be connected wirelessly.
  • the receiving device 6 may be replaced with a storage device such as a hard disk drive or flash memory.
  • the first image 200 shown in FIG. 5 is an image of the observation target 210 and the treatment tool 13.
  • the observation target 210 is a region (area of interest) that the observer pays attention to.
  • the observation target 210 is an affected part of a part (organ, blood vessel, etc.) in the living body.
  • the affected area is a tumor such as cancer.
  • the affected area is sometimes referred to as the lesion.
  • the periphery of the observation target 210 is a part of the portion (subject).
  • the treatment tool 13 is displayed on the subject.
  • the treatment tool 13 treats the observation target 210.
  • the treatment tool 13 has forceps 130 and a sheath 131.
  • the forceps 130 come into contact with the observation target 210 and treat the observation target 210.
  • the sheath 131 is a support portion that supports the forceps 130.
  • the forceps 130 are fixed to the sheath 131.
  • the treatment tool 13 may have a snare, an IT knife,
  • the second image includes a first region and a second region, similarly to the first image 200.
  • the first region of the second image includes the center of the second image.
  • the observation target appears in the first region of the second image.
  • the second region of the second image includes at least one end of the second image.
  • the treatment tool 13 is shown in the second area of the second image.
  • FIG. 7 shows the position of the optical image of the subject visually recognized by the observer when the stereoscopic image is displayed on the monitor 5 based on the first image and the second image.
  • the processor 41 does not change the parallax amount in the first image and the second image output from the image sensor 12. The change of the parallax amount will be described later.
  • the point where the optical axis of the first optical system 11L and the optical axis of the second optical system 11R intersect is called a cross point.
  • Crosspoints are sometimes referred to as convergence points or zero points.
  • the amount of parallax between the first image and the second image in the area of the subject on the cross point is zero.
  • the crosspoint CP is set on the screen surface SC.
  • the screen surface SC may be referred to as a display surface, a monitor surface, a zero plane, or the like.
  • the screen surface SC corresponds to the screen 5a (FIG. 1) of the monitor 5.
  • FIG. 1 The point where the optical axis of the first optical system 11L and the optical axis of the second optical system 11R intersect.
  • the screen surface SC includes a cross point CP and is a plane facing the observer's viewpoint.
  • the cross point CP does not have to be at the position on the screen surface SC.
  • the cross point CP may be a position on the front side of the screen surface SC or a position on the back side of the screen surface SC.
  • the optical image of the object OB1 and the optical image of the object OB2 exist in a region that can be visually recognized by the observer.
  • the optical image of the object OB1 is located in the region R20 on the back side of the cross point CP (the region on the back side of the screen surface SC).
  • the object OB1 is an observation target.
  • the distance between the observer's viewpoint and the optical image of the object OB1 is D1.
  • Most of the observation objects are located in the region R20.
  • 50% or more of the observation target is located in the region R20. All of the observation objects may be located in the region R20.
  • the optical image of the object OB2 is located in the region R21 on the front side of the cross point CP (the region on the front side of the screen surface SC).
  • the optical image of the object OB2 is located between the observer's viewpoint and the screen surface SC.
  • the object OB2 is a portion on the root side of the treatment tool 13.
  • the distance between the observer's viewpoint and the optical image of the object OB2 is D2.
  • the distance D2 is smaller than the distance D1.
  • Optical images of all objects may be located in region R20.
  • the regions of the first image and the second image in which the object located behind the cross point CP is shown are defined as having a positive parallax amount.
  • the amount of parallax between the region where the object OB1 is shown in the first image and the region where the object OB1 is shown in the second image is a positive value.
  • the amount of parallax between at least a part of the first region R10 of the first image 200 shown in FIG. 5 and at least a part of the first region of the second image. Is a positive value.
  • the absolute value of the parallax amount increases, and the optical image of the object OB1 moves away from the observer's viewpoint.
  • the regions of the first image and the second image in which the object located in front of the cross point CP is shown are defined as having a negative parallax amount.
  • the amount of parallax between the region in which the object OB2 is captured in the first image and the region in which the object OB2 is captured in the second image is a negative value.
  • the object OB2 is the root side portion of the treatment tool 13
  • the amount of parallax between is a negative value.
  • the optical image of the object OB2 is close to the viewpoint of the observer, the observer appears that the object OB2 is greatly protruding. In that case, the convergence angle is large and the observer's eyes tend to get tired.
  • the change of the parallax amount executed by the processor 41 will be described.
  • the processor 41 uses the first image and the second image so that the distance between the observer's viewpoint and the optical image of the tool increases in the first image and the stereoscopic image displayed based on the second image.
  • Image processing is performed on the processing region including the second region in at least one of the images, and the parallax amount of the processing region is changed.
  • This stereoscopic image is a stereoscopic image displayed based on the first image and the second image after the processor 41 executes the change of the parallax amount.
  • the processor 41 sets a processing area including the second area R11 of the first image 200 shown in FIG. 5, and changes the parallax amount of the processing area.
  • FIG. 8 shows a procedure of processing executed by the processor 41.
  • the processor 41 sets a processing area including the second area (step S100).
  • the details of step S100 will be described.
  • the overall size of each of the first and second images is known.
  • the area information indicating the position of the second area is stored in the memory (not shown in FIG. 3).
  • the region information may include information indicating at least one of the size and shape of the second region.
  • the processor 41 reads the area information from the memory in step S100.
  • the processor 41 determines the position of the second region based on the region information.
  • the processor 41 sets a processing area including a second area.
  • the processing area includes two or more pixels. For example, the processing area is the same as the second area, and the first area is not included in the processing area.
  • the processor 41 may set two or more processing areas.
  • the processor 41 sets the processing area by holding the information of the processing area.
  • the processor 41 may acquire the area information from a device different from the endoscope device 1.
  • step S105 the processor 41 acquires the first image and the second image from the image sensor 12 (step S105 (image acquisition step)).
  • step S105 image acquisition step
  • the order in which steps S105 and S100 are executed may be different from the order shown in FIG. That is, step S100 may be executed after step S105 is executed.
  • the processor 41 changes the parallax amount by changing the image data of the processing area in at least one of the first image and the second image (step S110 (image processing step)).
  • the processor 41 may change the parallax amount of the processing area in only the first image.
  • the processor 41 may change the parallax amount of the processing area only in the second image.
  • the processor 41 may change the parallax amount of the processing area in each of the first image and the second image.
  • FIG. 9 shows the position of the optical image of the subject visually recognized by the observer when the stereoscopic image is displayed on the monitor 5 based on the first image and the second image. The description of the same part as that shown in FIG. 7 will be omitted.
  • the optical image of the treatment tool 13 shown in the processing area is shown in FIG.
  • the optical image of the treatment tool 13 shown in the first region is omitted in FIG.
  • An example in which the treatment tool 13 is shown on the right side of the center of the image in the first image and the second image is shown in FIG.
  • the optical image 13a of the treatment tool 13 reflected in the processing area is displayed on the front side of the screen surface SC.
  • the parallax amount between the processing area and the area of the second image corresponding to the processing area is 0.
  • the optical image 13b of the treatment tool 13 shown in the processing area is displayed as a plane including the cross point CP in the stereoscopic image.
  • the optical image 13b is displayed in the screen surface SC. The optical image 13b moves away from the observer's point of view.
  • the processor 41 may change the parallax amount of the processing area and may change the parallax amount of the first area in at least one of the first image and the second image.
  • the method of changing the parallax amount in the first region is different from the method of changing the parallax amount in the processing area.
  • the processor 41 may change the parallax amount in the first region so that the optical image to be observed moves away from the back side of the cross point.
  • the change amount of the parallax amount in the first region may be smaller than the maximum value of the change amount of the parallax amount in the processing region.
  • step S110 the processor 41 outputs the first image and the second image including the image in which the parallax amount of the processing area is changed to the monitor 5 (step S115 (first image output step)).
  • step S115 first image output step
  • the processor 41 outputs the first image in which the parallax amount of the processing area is changed in step S110 and the second image acquired in step S105 to the monitor 5.
  • step S105, step S110, and step S115 the image corresponding to one frame included in the moving image is processed.
  • the processor 41 processes the moving image by repeatedly executing step S105, step S110, and step S115. After the processing area applied to the first frame is set, the processing area may be applied to the remaining one or more frames. In this case, step S100 is executed once, and steps S105, S110, and S115 are executed twice or more.
  • the processor 41 Since the processor 41 sets the processing area based on the area information, the position of the processing area is fixed. The processor 41 can easily set the processing area.
  • the area information may indicate the position of the first area.
  • the area information may include information indicating at least one of the size and shape of the first area in addition to the information indicating the position of the first area.
  • the processor 41 may determine the position of the first region based on the region information, and may consider the region excluding the first region in the image as the second region. When the first region includes the entire observation target, the observation target is not affected by the change in the parallax amount of the processing region. Therefore, it is easy for the observer to use the treatment tool 13 to treat the observation target.
  • the shape of the first region R10 is a circle.
  • the shape of the first region may be elliptical or polygonal. Polygons have four or more vertices.
  • the shape of the first region may be a polygon having eight or more vertices.
  • step S110 the processor 41 shifts the position of the data of each pixel included in the processing area in the first image in a predetermined direction.
  • the processor 41 changes the parallax amount in the processing area.
  • the predetermined direction is a direction parallel to the horizontal direction of the image.
  • the predetermined direction is the direction in which the negative parallax amount changes in the positive direction.
  • the predetermined direction is the left direction.
  • the predetermined direction is the right direction.
  • step S110 the processor 41 shifts the position of the data of each pixel so that the optical image of the subject in each pixel included in the processing area moves to a position separated from the screen surface by a distance A1.
  • the processor 41 changes the parallax amount of each pixel included in the processing area by B1.
  • the processor 41 can calculate the change amount B1 of the parallax amount based on the distance A1.
  • the processor 41 replaces the data of each pixel included in the processing area with the data of pixels separated by a distance C1 in the direction opposite to the predetermined direction.
  • the distance C1 may be the same as the parallax amount change amount B1, or may be calculated based on the parallax amount change amount B1.
  • the processor 41 interpolates the data of the pixels. For example, if the first image does not include a position separated by a distance C1 to the right of the pixels of the first image, the processor 41 uses the data of the pixels of the second image corresponding to that position.
  • the processor 41 Interpolates the data with. If the first image does not include a position separated by a distance C1 in a predetermined direction from the pixels of the first image, the processor 41 does not generate data at that position.
  • the processor 41 may shift the position of the data of each pixel included in the processing area in the second image in a predetermined direction.
  • FIG. 10 shows the position of the optical image of the subject visually recognized by the observer when the stereoscopic image is displayed on the monitor 5 based on the first image and the second image. The description of the same part as that shown in FIG. 7 will be omitted.
  • the optical image 13a of the treatment tool 13 reflected in the processing area is displayed on the front side of the screen surface SC.
  • the optical image 13b of the treatment tool 13 reflected in the processing area is displayed on the virtual plane PL1 separated from the screen surface SC by a distance A1. Will be done.
  • the plane PL1 faces the observer's point of view.
  • the optical image 13b moves away from the observer's point of view.
  • the plane PL1 is located behind the screen surface SC.
  • the plane PL1 may be located on the front side of the screen surface SC.
  • the information indicating the distance A1 may be stored in a memory not shown in FIG.
  • the processor 41 may read the information from the memory in step S110.
  • the processor 41 may acquire the information from a device different from the endoscope device 1.
  • the observer may be able to specify the distance A1.
  • the observer may operate the operation unit 22 and input the distance A1.
  • the processor 41 may use the distance A1 input to the operation unit 22.
  • the optical image of the treatment tool 13 reflected in the processing area is displayed as a plane separated from the screen surface by a distance A1 in the stereoscopic image. Therefore, the image processing device 4 can reduce the fatigue caused by the image of the tool in the eyes of the observer without impairing the usability of the tool.
  • the optical image of the tool is displayed on the back side of the screen surface, the effect of reducing eye fatigue is enhanced.
  • the processing area includes two or more pixels.
  • the processor 41 adjusts the parallax amount so that two or more points of the optical image corresponding to the two or more pixels move in a direction away from the observer's viewpoint (direction toward the screen surface). change. The distance that two or more points move is equal to each other.
  • step S110 the processor 41 shifts the position of the data of each pixel included in the processing area in the first image in a predetermined direction. As a result, the processor 41 changes the parallax amount in the processing area.
  • the predetermined direction is the same as the direction described in the first modification of the first embodiment.
  • step S110 the processor 41 shifts the position of the data of each pixel so that the optical image of the subject in each pixel included in the processing area moves to a position farther back by a distance A2 from the position of each optical image.
  • the processor 41 changes the parallax amount of each pixel included in the processing area by B2.
  • the optical image of the subject in all the pixels included in the processing area moves by the same distance A2.
  • the processor 41 can calculate the change amount B2 of the parallax amount based on the distance A2.
  • the processing area includes a first pixel and a second pixel.
  • the distance A2 for the optical image of the subject to move in the first pixel is the same as the distance A2 for the optical image of the subject to move in the second pixel.
  • the processor 41 replaces the data of each pixel included in the processing area with the data of pixels separated by a distance C2 in the direction opposite to the predetermined direction.
  • the distance C2 may be the same as the parallax amount change amount B2, or may be calculated based on the parallax amount change amount B2.
  • the processor 41 replaces the data of each pixel with the data of another pixel by using the same method as described in the first modification of the first embodiment.
  • the processor 41 may shift the position of the data of each pixel included in the processing area in the second image in a predetermined direction.
  • FIG. 11 shows the position of the optical image of the subject visually recognized by the observer when the stereoscopic image is displayed on the monitor 5 based on the first image and the second image. The description of the same part as that shown in FIG. 7 will be omitted.
  • the optical image of the treatment tool 13 shown in the processing area is shown in FIG.
  • the optical image of the treatment tool 13 shown in the first region is omitted in FIG.
  • An example in which the treatment tool 13 is shown on the right side of the center of the image in the first image and the second image is shown in FIG.
  • the optical image 13a of the treatment tool 13 reflected in the processing area is displayed on the front side of the screen surface SC.
  • the optical image 13b of the treatment tool 13 reflected in the processing area is displayed at a position separated from the optical image 13a by a distance A2. ..
  • the optical image 13b moves away from the observer's point of view.
  • the optical image 13b of the treatment tool 13 includes a portion located on the back side of the screen surface SC and a portion located on the front side of the screen surface SC.
  • the entire optical image 13b may be located on the back side of the screen surface SC or on the front side of the screen surface SC.
  • step S110 information indicating the distance A2 may be stored in a memory not shown in FIG.
  • the processor 41 may read the information from the memory in step S110.
  • the processor 41 may acquire the information from a device different from the endoscope device 1.
  • the observer may be able to specify the distance A2.
  • the observer may operate the operation unit 22 and input the distance A2.
  • the processor 41 may use the distance A2 input to the operation unit 22.
  • the image processing device 4 can reduce the fatigue caused by the image of the tool in the eyes of the observer without impairing the usability of the tool.
  • the optical image of the subject in all the pixels included in the processing area moves by the same distance A2. Therefore, the relative depth information is maintained in the processing area. As a result, the observer can easily operate the treatment tool 13.
  • the processing area includes two or more pixels.
  • the processor 41 adjusts the parallax amount so that two or more points of the optical image corresponding to the two or more pixels move in a direction away from the observer's viewpoint (direction toward the screen surface). change. The greater the distance between each of the two or more pixels and the first region, the greater the distance each of the two or more points travels.
  • step S110 the processor 41 shifts the position of the data of each pixel included in the processing area in the first image in a predetermined direction. As a result, the processor 41 changes the parallax amount in the processing area.
  • the predetermined direction is the same as the direction described in the first modification of the first embodiment.
  • the processor 41 calculates the distance A3 in which the optical image of the subject moves in each pixel included in the processing area.
  • the distance A3 is a value corresponding to the two-dimensional distance between each pixel and the reference position of the first region.
  • the reference position is a pixel in the first region closest to each pixel included in the processing region.
  • the pixel in the first region is at the edge of the first region.
  • the reference position may be the center of the first region or the center of the first image.
  • the processor 41 shifts the position of the data of each pixel so that the optical image of the subject in each pixel included in the processing area moves to a position farther back by a distance A3 from the position of each optical image.
  • the processor 41 changes the parallax amount of each pixel included in the processing area by B3.
  • the optical image of the subject in each pixel included in the processing area moves by a distance A3 according to the position of each pixel.
  • the processor 41 can calculate the change amount B3 of the parallax amount based on the distance A3.
  • the processing area includes a first pixel and a second pixel.
  • the distance between the second pixel and the first region is greater than the distance between the first pixel and the first region.
  • the distance A3 for the optical image of the subject to move in the second pixel is larger than the distance A3 for the optical image of the subject to move in the first pixel.
  • the distance A3 at which the optical image of the subject moves in the pixels included in the processing area and in contact with the first area may be 0.
  • the distance A3 in which the optical image of the subject moves in the pixel may be very small.
  • the distance A3 may increase exponentially based on the distance between the pixels included in the processing region and the first region.
  • the processor 41 replaces the data of each pixel included in the processing area with the data of pixels separated by a distance C3 in the direction opposite to the predetermined direction.
  • the distance C3 may be the same as the parallax amount change amount B3, or may be calculated based on the parallax amount change amount B3.
  • the processor 41 replaces the data of each pixel with the data of another pixel by using the same method as described in the first modification of the first embodiment.
  • the processor 41 may shift the position of the data of each pixel included in the processing area in the second image in a predetermined direction.
  • FIG. 12 shows the position of the optical image of the subject visually recognized by the observer when the stereoscopic image is displayed on the monitor 5 based on the first image and the second image. The description of the same part as that shown in FIG. 7 will be omitted.
  • the optical image of the treatment tool 13 shown in the processing area is shown in FIG.
  • the optical image of the treatment tool 13 shown in the first region is omitted in FIG.
  • An example in which the treatment tool 13 is shown on the right side of the center of the image in the first image and the second image is shown in FIG.
  • the optical image 13a of the treatment tool 13 reflected in the processing area is displayed on the front side of the screen surface SC.
  • the optical image 13b of the treatment tool 13 reflected in the processing area is displayed at a position distant from the optical image 13a.
  • the point of the optical image 13a farthest from the first region moves by the distance A3a.
  • the point of the optical image 13a closest to the first region does not move.
  • the point may be moved by a distance smaller than the distance A3a.
  • the optical image 13b moves away from the observer's point of view.
  • the optical image 13b of the treatment tool 13 is located on the front side of the screen surface SC. At least a part of the optical image 13b may be located behind the screen surface SC.
  • the information indicating the distance A3 may be stored in a memory not shown in FIG.
  • the processor 41 may read the information from the memory in step S110.
  • the processor 41 may acquire the information from a device different from the endoscope device 1.
  • the image processing device 4 can reduce the fatigue caused by the image of the tool in the eyes of the observer without impairing the usability of the tool.
  • the processor 41 does not have to perform image processing so that the change of data around the boundary between the first area and the processing area becomes smooth.
  • the processor 41 sets the processing area in the area setting step based on at least one of the type of image generator and the type of tool.
  • the image generation device is a device having an image pickup device 12 that generates a first image and a second image.
  • the image generator is an electronic endoscope 2.
  • the position where the treatment tool 13 appears in the image differs depending on the number and position of the channels in the insertion portion 21.
  • the number and position of the channels often differ depending on the type of electronic endoscope 2.
  • the type of treatment tool 13 inserted into the channel may be fixed.
  • the size or shape of the treatment tool 13 often differs depending on the type of treatment tool. Therefore, the position where the treatment tool 13 appears in the image often differs depending on the type of the electronic endoscope 2 and the type of the treatment tool 13.
  • step S100 the area information associated with the type of the electronic endoscope 2, the type of the treatment tool 13, and the position of the processing area is stored in a memory not shown in FIG.
  • the processor 41 reads the area information from the memory in step S100.
  • the processor 41 may acquire the area information from a device different from the endoscope device 1.
  • FIG. 13 shows an example of area information.
  • the area information includes information E1, information E2, and information E3.
  • Information E1 indicates the type of electronic endoscope 2.
  • Information E2 indicates the type of treatment tool 13.
  • Information E3 indicates the position of the processing area.
  • Information E3 may include information indicating at least one of the size and shape of the processing area. When the size of the processing area is always fixed, the information E3 may not include information indicating the size of the processing area. When the shape of the processing area is always fixed, the information E3 may not include information indicating the shape of the processing area.
  • the electronic endoscope F1, the treatment tool G1, and the processing region H1 are associated with each other.
  • the electronic endoscope F2, the treatment tool G2, and the processing region H2 are associated with each other.
  • the electronic endoscope F3, the treatment tool G3, the treatment tool G4, and the treatment area H3 are associated with each other.
  • the insertion portion 21 of the electronic endoscope F3 has two channels. The treatment tool G3 is inserted into one channel and the treatment tool G4 is inserted into the other channel.
  • the area information may include only information E1 and information E3.
  • the area information may include only information E2 and information E3.
  • the processor 41 determines the type of the electronic endoscope 2 used and the type of the treatment tool 13 used. For example, the observer may operate the operation unit 22 and input information indicating the type of the electronic endoscope 2 and the type of the treatment tool 13. The processor 41 may determine the type of the electronic endoscope 2 and the type of the treatment tool 13 based on the information.
  • the processor 41 may acquire information indicating the type of the electronic endoscope 2 and the type of the treatment tool 13 from the electronic endoscope 2.
  • the endoscope device 1 may have a code reader, the code reader may read the two-dimensional code, and the processor 41 may acquire the information of the two-dimensional code from the code reader.
  • the two-dimensional code indicates the type of the electronic endoscope 2 and the type of the treatment tool 13.
  • the two-dimensional code may be affixed to the surface of the electronic endoscope 2.
  • FIG. 14 shows an example of the first image.
  • the first image 202 shown in FIG. 14 is an image of the observation target 210 and the treatment tool 13.
  • the first image 202 includes a first region R12 and a second region R13.
  • the broken line L11 indicates the boundary between the first region R12 and the second region R13.
  • the first region R12 is the region above the broken line L11, and the second region R13 is the region below the dashed line L11.
  • the first region R12 includes the center C11 of the first image 202.
  • the observation target 210 is reflected in the first region R12.
  • the second region R13 includes the lower end of the first image 202.
  • the treatment tool 13 is reflected in the second region R13.
  • the processor 41 sets the second area R13 as a processing area.
  • the treatment tool 13 appears only in the lower region of the first image 202.
  • the processor 41 can set the second area R13 shown in FIG. 14 as the processing area instead of the second area R11 shown in FIG.
  • the second region R13 is smaller than the second region R11.
  • the processor 41 can set a processing area suitable for the type of the electronic endoscope 2 and the type of the treatment tool 13. Therefore, the processing area becomes small, and the load on the processor 41 in the process of changing the parallax amount is reduced.
  • the processing area includes a first area and a second area.
  • the processing area is the entire first image or the entire second image.
  • the predetermined amount B4 of the parallax amount corresponding to the distance A4 is a positive value. Therefore, the optical image 13b of the treatment tool 13 is located on the back side of the screen surface SC.
  • the predetermined amount B4 may be a negative value. In this case, at least a part of the optical image 13b is located on the front side of the screen surface SC.
  • the predetermined amount B4 may be 0. In this case, at least a part of the optical image 13b is located in the plane (screen surface SC) including the cross point CP.
  • the processor 41 Prior to the image processing step, the processor 41 detects the treatment tool 13 from at least one of the first image and the second image in the tool detection step. Prior to the image processing step, the processor 41 sets the region in which the treatment tool 13 is detected as the processing region in the region setting step.
  • Processor 41 does not execute step S120.
  • step S100a the processor 41 sets the processing area based on the area information associating the type of the electronic endoscope 2, the type of the treatment tool 13, and the position of the processing area.
  • the processing area is an area excluding the tip area including the tip of the treatment tool 13 from the entire treatment tool 13.
  • the processing region may be a region including only the sheath 131.
  • the method in which the processor 41 sets the processing area is the same as the method described in the fourth modification of the first embodiment.
  • the processor 41 does not execute step S100 shown in FIG. After step S105, the processor 41 detects the observation target from at least one of the first image and the second image (step S130 (observation target detection step)). The details of step S130 will be described.
  • the processor 41 calculates the parallax amount of each pixel included in the first image.
  • the processor 41 executes this process on all the pixels included in the first image. For example, the processor 41 calculates the parallax amount of each pixel by using stereo matching.
  • the processor 41 detects the observation target and sets the processing area based on the position of the observation target.
  • the processor 41 can set a processing area suitable for the observation target.
  • the processor 41 detects the observation target based on the color information in the image. Compared with the case where the processor 41 detects the observation target based on the distribution of the parallax amount, the load on the processor 41 in the process of detecting the observation target is reduced.
  • the processor 41 can remove the pixel in which the treatment tool 13 appears from the first region.
  • FIG. 41 A sixth embodiment of the present invention will be described. Another method of setting the processing area based on the position of the first area will be described. Prior to the image processing step, the processor 41 determines the position of the first region based on the information input to the operation unit 22 by the observer in the region setting step, and processes the region excluding the first region. Set as an area.
  • the observer operates the operation unit 22 and inputs the position of the first area.
  • the observer may enter the size or shape of the first region in addition to the location of the first region. If the position of the first region is fixed, the observer may only enter the size or shape of the first region.
  • the observer may input necessary information by operating a part other than the operation unit 22. For example, if the endoscope device 1 has a touch screen, the observer may operate the touch screen. When the image processing device 4 has an operation unit, the observer may operate the operation unit.
  • the processor 41 may acquire the first image and the second image from the image sensor 12 and output the first image and the second image to the monitor 5.
  • the observer may confirm the position of the first region in the displayed stereoscopic image and input the position to the operation unit 22.
  • the processor 41 determines the position of the first area based on the information input to the operation unit 22, and sets the processing area based on the position.
  • the processor 41 can set a processing area suitable for the observer's request or the observation situation.
  • the processor 41 can process the image so that the observer can easily perform the treatment.
  • the observer operates the operation unit 22 and inputs various information. For example, the observer inputs a part of the body, the type of affected area, the age of the patient, and the gender of the patient.
  • the processor 41 acquires the information input to the operation unit 22.
  • the site K1, the affected area type L1, the patient's age M1, the patient's gender N1, and the first region I8 are associated.
  • site K2, affected area type L2, patient age M2, patient gender N1, and first region I9 are associated.
  • site K3, affected area type L3, patient age M3, patient gender N2, and first region I10 are associated.
  • the processor 41 extracts the information of the first area corresponding to the information input to the operation unit 22 from the area information. For example, when the site K2, the affected area type L2, the patient's age M2, and the patient's gender N1 are input to the operating unit 22, the processor 41 extracts information from the first region I9. The processor 41 determines the position of the first region based on the extracted information. The processor 41 sets an area other than the first area as a processing area.
  • FIG. 24 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 8 will be omitted. For example, when the power of the endoscope device 1 is turned on, the processor 41 executes the process shown in FIG. 24.
  • step S140 the processor 41 acquires the first image and the second image from the image sensor 12 (step S145 (image acquisition step)).
  • step S145 the processor 41 outputs the first image and the second image acquired in step S145 to the monitor 5 (step S150 (second image output step)).
  • the processor 41 may output the first image and the second image to the receiving device 6 shown in FIG. If the processor 41 selects the normal mode in step S140, steps S145 and S150 are executed. The processor 41 does not change the parallax amount in the processing area.
  • steps S140 and S145 are executed may be different from the order shown in FIG. That is, step S140 may be executed after step S145 is executed.
  • the observer can input information indicating the change of the image processing mode by operating the operation unit 22. For example, when the insertion unit 21 is inserted into the body and the tip portion 10 is placed in the vicinity of the observation target, the observer inputs information indicating a change in the image processing mode to the operation unit 22 in order to start the treatment. ..
  • the operation unit 22 outputs the input information to the processor 41.
  • step S150 the processor 41 monitors the operation unit 22 and determines whether or not the change of the image processing mode is instructed (step S155).
  • step S155 the processor 41 determines that the change of the image processing mode has been instructed.
  • the processor 41 determines that the change of the image processing mode is not instructed.
  • step S145 is executed.
  • step S160 mode selection step
  • Information indicating the fatigue reduction mode is stored in a memory not shown in FIG.
  • the processor 41 executes the process specified in the fatigue reduction mode according to the information.
  • step S100 is executed. If the processor 41 selects the fatigue reduction mode in step S160, steps S100, S105, S110, and S115 are executed.
  • the observer inputs information indicating the change of the image processing mode to the operation unit 22 in order to pull out the insertion unit 21.
  • the operation unit 22 outputs the input information to the processor 41.
  • Step S115 the processor 41 monitors the operation unit 22 and determines whether or not the change of the image processing mode is instructed (step S165). Step S165 is the same as step S155.
  • step S105 determines in step S165 that the change of the image processing mode is not instructed. If the processor 41 determines in step S165 that the change in image processing mode has been instructed, step S140 is executed. The processor 41 selects the normal mode in step S140.
  • Step S100, step S105, and step S110 shown in FIG. 24 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 24 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 24 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 24 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 selects the fatigue reduction mode
  • the processor 41 executes the change of the parallax amount in the processing area. Therefore, the fatigue that occurs in the eyes of the observer is reduced.
  • the processor 41 selects the normal mode
  • the processor 41 does not change the parallax amount in the processing area. Therefore, the observer can use a familiar image for observation.
  • the processor 41 changes the parallax amount of the processing area only when it is necessary to change the parallax amount of the processing area. Therefore, the load on the processor 41 is reduced.
  • the endoscope device 1 has two display modes.
  • the endoscope device 1 displays an image in both a 3D display mode and a 2D display mode.
  • the 3D display mode is a mode for displaying a stereoscopic image (three-dimensional image) on the monitor 5.
  • the 2D display mode is a mode for displaying a two-dimensional image on the monitor 5.
  • the processor 41 selects the fatigue reduction mode.
  • the processor 41 selects the normal mode.
  • step S145 the processor 41 outputs the first image acquired in step S145 to the monitor 5 (step S150a).
  • the monitor 5 displays the first image.
  • the processor 41 may output the second image to the monitor 5 in step S150a.
  • the monitor 5 displays the second image.
  • the processor 41 may output the first image and the second image to the monitor 5 in step S150a.
  • the monitor 5 displays the first image and the second image side by side in the horizontal or vertical direction.
  • the processor 41 may acquire the second image in step S145 and output the second image to the monitor 5 in step S150a.
  • the observer can input information indicating the change of the display mode by operating the operation unit 22. For example, when the insertion portion 21 is inserted into the body and the tip portion 10 is placed in the vicinity of the observation target, the observer manipulates information indicating a change in the display mode in order to start observation using a stereoscopic image. Input to unit 22. The operation unit 22 outputs the input information to the processor 41.
  • step S150a the processor 41 determines whether or not the display mode has been changed to the 3D mode (step S155a). When the information indicating the change of the display mode is input to the operation unit 22, the processor 41 determines that the display mode has been changed to the 3D mode. When the information indicating the change of the display mode is not input to the operation unit 22, the processor 41 determines that the display mode has not been changed to the 3D mode.
  • step S145 is executed.
  • step S160 is executed.
  • the observer inputs information indicating the change of the display mode to the operation unit 22 in order to start the observation using the two-dimensional image.
  • the operation unit 22 outputs the input information to the processor 41.
  • step S165a the processor 41 determines whether or not the display mode has been changed to the 2D mode.
  • the processor 41 determines that the display mode has been changed to the 2D mode.
  • the processor 41 determines that the display mode has not been changed to the 2D mode.
  • step S105 determines in step S165a that the display mode has not been changed to the 2D mode.
  • step S140 is executed.
  • the observer instructs the endoscope device 1 to change the display mode by operating the operation unit 22.
  • the observer may instruct the endoscope device 1 to change the display mode by using a method different from the above method.
  • the observer may instruct the endoscope device 1 to change the display mode by using the voice input.
  • Step S100, step S105, and step S110 shown in FIG. 25 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 25 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 25 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 25 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 selects either the fatigue reduction mode or the normal mode based on the display mode setting. Therefore, the processor 41 can switch the image processing mode at an appropriate timing.
  • the processor 41 detects the motion state of the image sensor 12 in the first motion detection step. In the mode selection step, the processor 41 selects one of the fatigue reduction mode and the normal mode based on the state of movement of the image sensor 12.
  • the observer can observe a familiar image.
  • a fatigue reduction mode is required when the observer performs the procedure using the eye fatigue procedure tool 13.
  • the processor 41 selects the fatigue reduction mode only when the fatigue reduction mode is required.
  • the image sensor 12 is stationary relative to the subject.
  • the processor 41 switches the image processing mode from the normal mode to the fatigue reduction mode.
  • the insertion portion 21 is likely to move in the body.
  • the image sensor 12 moves relative to the subject.
  • the processor 41 switches the image processing mode from the fatigue reduction mode to the normal mode.
  • FIG. 26 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 24 will be omitted.
  • step S170 the processor 41 detects the motion state of the image sensor 12 (step S170 (first motion detection step)).
  • step S170 first motion detection step
  • the processor 41 calculates the amount of motion between the first image or the second image of two consecutive frames.
  • the amount of movement indicates the state of movement of the image sensor 12.
  • the processor 41 may calculate the total amount of movement within a predetermined time.
  • steps S170 and S150 are executed may be different from the order shown in FIG. That is, step S170 may be executed after step S150 is executed.
  • the processor 41 determines whether or not the image sensor 12 is stationary (step S175).
  • the processor 41 determines that the image sensor 12 is stationary. In that case, it is highly possible that the treatment using the treatment tool 13 has been carried out.
  • the processor 41 determines that the image sensor 12 is moving. In that case, it is highly possible that the treatment using the treatment tool 13 has not been performed.
  • the predetermined amount is a small positive value that can distinguish between the state in which the image sensor 12 is stationary and the state in which the image sensor 12 is moving.
  • the processor 41 may determine that the image sensor 12 is stationary only when the state in which the amount of movement calculated in step S170 is equal to or greater than the predetermined amount continues for a predetermined time or longer.
  • step S145 is executed. If the processor 41 determines in step S175 that the image sensor 12 is moving, step S145 is executed. If the processor 41 determines in step S175 that the image sensor 12 is stationary, step S160 is executed.
  • step S105 the processor 41 detects the motion state of the image sensor 12 (step S180 (first motion detection step)).
  • Step S180 is the same as step S170.
  • step S110 is executed.
  • steps S180 and S110 may be different from the order shown in FIG. That is, step S180 may be executed after step S110 is executed.
  • the order in which steps S180 and S115 are executed may be different from the order shown in FIG. That is, step S180 may be executed after step S115 is executed.
  • step S185 the processor 41 determines whether or not the image sensor 12 is moving (step S185).
  • the processor 41 determines that the image sensor 12 is moving. In that case, it is highly possible that the treatment using the treatment tool 13 has not been performed.
  • the processor 41 determines that the image sensor 12 is stationary. In that case, it is highly possible that the treatment using the treatment tool 13 has been carried out.
  • the predetermined amount used in step S185 is the same as the predetermined amount used in step S175.
  • step S105 If the processor 41 determines in step S185 that the image sensor 12 is stationary, step S105 is executed. If the processor 41 determines in step S185 that the image sensor 12 is moving, step S140 is executed.
  • the processor 41 detects the motion state of the image sensor 12 based on at least one of the first image and the second image.
  • the processor 41 may detect the state of movement of the image pickup device 12 by using a method different from the above method.
  • an acceleration sensor that detects the acceleration of the tip portion 10 may be arranged inside the tip portion 10.
  • the processor 41 may detect the state of movement of the image sensor 12 based on the acceleration detected by the acceleration sensor.
  • the insertion portion 21 may be inserted into the body through a mouthpiece placed in the patient's mouth.
  • An encoder that detects the movement of the insertion unit 21 may be arranged on the mouthpiece or the like into which the insertion unit 21 is inserted.
  • the processor 41 may detect the state of movement of the image sensor 12 based on the movement of the insertion unit 21 detected by the encoder.
  • Step S100, step S105, and step S110 shown in FIG. 26 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 26 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 26 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 26 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 selects either the fatigue reduction mode or the normal mode based on the state of movement of the image sensor 12. Therefore, the processor 41 can switch the image processing mode at an appropriate timing.
  • the processor 41 searches for the treatment tool 13 in at least one of the first image and the second image. If the processor 41 can detect the treatment tool 13 from at least one of the first image and the second image in the search step, the processor 41 selects the fatigue reduction mode in the mode selection step. If the processor 41 fails to detect the treatment tool 13 from at least one of the first image and the second image in the search step, the processor 41 selects the normal mode in the mode selection step.
  • the insertion portion 21 may need to move when the treatment is being performed by the treatment tool 13. Therefore, even when the image sensor 12 is moving, there is a possibility that the treatment is being continued.
  • the processor 41 switches the image processing mode depending on whether or not the treatment tool 13 is reflected in the first image or the second image.
  • FIG. 27 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 24 will be omitted.
  • a mark is attached to the tip region including the tip of the treatment tool 13.
  • the shape of the mark does not matter.
  • the mark may be a character or a symbol. Two or more marks may be attached.
  • steps S190 and S150 are executed may be different from the order shown in FIG. 27. That is, step S190 may be executed after step S150 is executed.
  • the processor 41 determines whether or not the treatment tool 13 is detected in the image (step S195). For example, when the mark attached to the treatment tool 13 appears in the first image, the processor 41 determines that the treatment tool 13 has been detected in the image. In that case, there is a high possibility that a treatment using the treatment tool 13 is prepared or the treatment is being carried out.
  • the processor 41 may determine that the treatment tool 13 has been detected in the image.
  • the processor 41 may determine that the treatment tool 13 has been detected in the image.
  • the processor 41 determines that the treatment tool 13 is not detected in the image. In that case, it is highly possible that the treatment tool 13 is not used. If the mark attached to the treatment tool 13 is not shown in the second image, the processor 41 may determine that the treatment tool 13 is not detected in the image. If the mark is not shown in the first and second images, the processor 41 may determine that the treatment tool 13 is not detected in the images.
  • step S145 is executed. If the processor 41 determines in step S195 that the treatment tool 13 has been detected in the image, step S160 is executed.
  • step S105 the processor 41 searches for the treatment tool 13 in at least one of the first image and the second image (step S200 (search step)).
  • step S200 is the same as step S190.
  • step S110 is executed.
  • step S115 the processor 41 determines whether or not the treatment tool 13 is detected in the image (step S205).
  • Step S205 is the same as step S195. After the procedure using the treatment tool 13 is completed, the observer often returns the treatment tool 13 into the insertion portion 21. Therefore, the treatment tool 13 is not shown in the image.
  • step S105 determines in step S205 that the treatment tool 13 has been detected in the image. In that case, it is highly possible that the treatment using the treatment tool 13 has been carried out. Therefore, the processor 41 continues the process in the fatigue reduction mode. If the processor 41 determines in step S205 that the treatment tool 13 is not detected in the image, step S140 is executed. In that case, it is highly possible that the treatment using the treatment tool 13 has been completed. Therefore, the processor 41 starts the process in the normal mode in step S140.
  • the processor 41 searches for the mark attached to the treatment tool 13 in at least one of the first image and the second image.
  • the tip region of the treatment tool 13 may have a predetermined color. A given color is different from the color of a subject such as an organ or blood vessel.
  • the processor 41 may search for a predetermined color in at least one of the first image and the second image.
  • a predetermined pattern may be attached to the tip region of the treatment tool 13.
  • the processor 41 may search for the pattern attached to the treatment tool 13 in at least one of the first image and the second image.
  • the processor 41 may search for the shape of the forceps 130 in at least one of the first image and the second image.
  • Step S100, step S105, and step S110 shown in FIG. 27 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 27 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 27 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 27 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 calculates the distance between the reference position and the treatment tool 13 in one of the first image and the second image.
  • the processor 41 selects one of the fatigue reduction mode and the normal mode based on the distance.
  • FIG. 28 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 24 will be omitted.
  • step S145 the processor 41 calculates the distance between the reference position in the first image or the second image and the treatment tool 13 (step S210 (distance calculation step)). For example, its reference position is the center of the first or second image.
  • step S210 the processor 41 detects the mark attached to the treatment tool 13 in the first image, and calculates the two-dimensional distance between the reference position of the first image and the mark.
  • step S210 the processor 41 may detect the mark attached to the treatment tool 13 in the second image and calculate the two-dimensional distance between the reference position of the second image and the mark.
  • step S150 is executed.
  • the processor 41 cannot calculate the distance in step S210. In that case, the processor 41 may determine in step S215 that the treatment tool 13 is not approaching the observation target.
  • step S145 is executed.
  • step S160 is executed.
  • step S105 the processor 41 calculates the distance between the reference position in the first image or the second image and the treatment tool 13 (step S220 (distance calculation step)).
  • step S220 is the same as step S210.
  • step S110 is executed.
  • the processor 41 determines whether or not the treatment tool 13 has left the observation target (step S225). For example, when the distance calculated in step S220 is larger than the predetermined value, the processor 41 determines that the treatment tool 13 has moved away from the observation target. In that case, it is highly possible that the treatment using the treatment tool 13 has not been performed. When the distance calculated in step S220 is not more than a predetermined value, the processor 41 determines that the treatment tool 13 is not separated from the observation target. In that case, it is highly possible that the treatment using the treatment tool 13 has been carried out. For example, the predetermined value used in step S225 is the same as the predetermined value used in step S215.
  • the processor 41 may determine in step S225 that the treatment tool 13 has moved away from the observation target.
  • step S105 determines in step S225 that the treatment tool 13 is not separated from the observation target.
  • step S140 is executed.
  • the processor 41 detects the mark attached to the treatment tool 13 in the first image or the second image. Further, the processor 41 calculates the distance between the area where the mark is detected and the reference position.
  • the tip region of the treatment tool 13 may have a predetermined color.
  • a given color is different from the color of a subject such as an organ or blood vessel.
  • the processor 41 may detect a predetermined color in the first image or the second image.
  • the processor 41 may calculate the distance between the region where a predetermined color is detected and the reference position.
  • a predetermined pattern may be attached to the tip region of the treatment tool 13.
  • the processor 41 may detect the pattern attached to the treatment tool 13 in the first image or the second image.
  • the processor 41 may calculate the distance between the region where the pattern is detected and the reference position.
  • the processor 41 may detect the shape of the forceps 130 in the first image or the second image. The processor 41 may calculate the distance between the tip of the forceps 130 and the reference position.
  • Step S100, step S105, and step S110 shown in FIG. 28 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 28 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 28 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 28 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 selects one of the fatigue reduction mode and the normal mode based on the distance between the reference position and the treatment tool 13 in one of the first image and the second image. When the treatment tool 13 approaches the observation target, the processor 41 can reliably select the fatigue reduction mode.
  • FIG. 29 shows the peripheral configuration of the image processing device 4. The description of the same configuration as that shown in FIG. 3 will be omitted.
  • the endoscope device 1 further includes an encoder 16.
  • the encoder 16 is arranged inside the insertion portion 21.
  • the encoder 16 detects the movement of the sheath 131 along the axial direction of the insertion portion 21.
  • the encoder 16 detects the speed of the sheath 131 by detecting the moving distance of the sheath 131 at predetermined time intervals.
  • the encoder 16 outputs the detected speed to the processor 41.
  • the processor 41 detects the motion state of the treatment tool 13 in the second motion detection step. In the mode selection step, the processor 41 selects either the fatigue reduction mode or the normal mode based on the state of movement of the treatment tool 13.
  • FIG. 30 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 24 will be omitted.
  • the processor 41 executes the process shown in FIG.
  • the processor 41 can detect the insertion of the treatment tool 13 into the channel based on the speed of the sheath 131 detected by the encoder 16.
  • the processor 41 determines whether or not the treatment tool 13 is stationary (step S235).
  • the processor 41 determines that the treatment tool 13 is stationary. In that case, it is highly possible that the treatment tool 13 is sufficiently close to the observation target and the treatment is being performed.
  • the processor 41 determines that the treatment tool 13 is moving. In that case, it is highly possible that the treatment using the treatment tool 13 has not been performed.
  • the predetermined value is a small positive value that can distinguish the state in which the treatment tool 13 is stationary and the state in which the treatment tool 13 is moving.
  • step S105 the processor 41 acquires the speed of the sheath 131 from the encoder 16 (step S240 (second motion detection step)).
  • step S240 is the same as step S230.
  • step S110 is executed.
  • steps S240 and S105 may be executed after step S240 is executed.
  • the order in which steps S240 and S110 are executed may be different from the order shown in FIG. That is, step S240 may be executed after step S110 is executed.
  • the order in which steps S240 and S115 are executed may be different from the order shown in FIG. That is, step S240 may be executed after step S115 is executed.
  • step S115 the processor 41 determines whether or not the treatment tool 13 is moving (step S245).
  • the processor 41 determines that the treatment tool 13 is moving. In that case, it is highly possible that the treatment using the treatment tool 13 has not been performed.
  • the processor 41 determines that the treatment tool 13 is stationary. In that case, it is highly possible that the treatment using the treatment tool 13 has been carried out.
  • the predetermined value used in step S245 is the same as the predetermined value used in step S235.
  • step S105 If the processor 41 determines in step S245 that the treatment tool 13 is stationary, step S105 is executed. If the processor 41 determines in step S245 that the treatment tool 13 is moving, step S140 is executed.
  • the processor 41 detects the state of movement of the treatment tool 13 based on the speed of the sheath 131 detected by the encoder 16.
  • the processor 41 may detect the state of movement of the treatment tool 13 by using a method different from the above method.
  • the processor 41 may detect the treatment tool 13 from at least one of the first image and the second image.
  • the processor 41 may detect the state of movement of the treatment tool 13 by calculating the amount of movement of the treatment tool 13 in two or more consecutive frames.
  • Step S100, step S105, and step S110 shown in FIG. 30 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 30 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 30 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 30 may be replaced by steps S105, S130, and S100b shown in FIG.
  • the processor 41 selects either the fatigue reduction mode or the normal mode based on the state of movement of the treatment tool 13. Therefore, the processor 41 can switch the image processing mode at an appropriate timing. Since the encoder 16 detects the speed of the sheath 131, the processor 41 does not need to perform image processing to detect the treatment tool 13. Therefore, the load on the processor 41 is reduced.
  • the optical image of the treatment tool 13 is displayed on the back side of the actual position in the stereoscopic image. Therefore, it may be difficult for the observer to determine the actual position of the treatment tool 13.
  • the image processing mode may be a normal mode.
  • the image processing mode may be a fatigue reduction mode.
  • the conditions for switching the image processing mode differ depending on whether the treatment tool 13 approaches the observation target or the treatment tool 13 moves away from the observation target.
  • FIG. 31 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 24 will be omitted.
  • the processor 41 executes the process shown in FIG. At this time, the endoscope device 1 starts operation in the 2D display mode.
  • step S145 the processor 41 calculates the distance between the reference position in the first image or the second image and the treatment tool 13 (step S210).
  • Step S210 shown in FIG. 31 is the same as step S210 shown in FIG. 28.
  • Step S150 the processor 41 determines whether or not the treatment tool 13 has approached the observation target (step S215).
  • Step S215 shown in FIG. 31 is the same as step S215 shown in FIG. 28.
  • step S145 is executed.
  • step S160 is executed.
  • the observer After bringing the treatment tool 13 closer to the observation target, the observer operates the operation unit 22 to change the display mode to the 3D mode. After that, the observer performs the treatment using the treatment tool 13. After the procedure is completed, the observer operates the operation unit 22 to change the display mode to the 2D mode.
  • step S115 the processor 41 determines whether or not the display mode has been changed to the 2D mode (step S165a).
  • Step S165a shown in FIG. 31 is the same as step S165a shown in FIG. 25.
  • step S105 determines in step S165a that the display mode has not been changed to the 2D mode.
  • step S140 is executed.
  • Step S100, step S105, and step S110 shown in FIG. 31 may be replaced by steps S105 and S110a shown in FIG.
  • Step S100 and step S105 shown in FIG. 31 may be replaced by steps S105, S120, and S100a shown in FIG.
  • Step S100 shown in FIG. 31 may be replaced by step S125 shown in FIG.
  • Step S100 and step S105 shown in FIG. 31 may be replaced by step S105, step S130, and step S100b shown in FIG.
  • the processor 41 selects the fatigue reduction mode.
  • the display mode is changed from the 3D mode to the 2D mode, the processor 41 selects the normal mode. Therefore, the ease of operation of the treatment tool 13 and the reduction of eye fatigue of the observer are realized in a well-balanced manner.
  • FIG. 32 shows a procedure of processing executed by the processor 41. The description of the same process as that shown in FIG. 8 will be omitted.
  • step S105 the processor 41 blurs the processing area in at least one of the first image and the second image (step S250 (image processing step)). After step S250, step S115 is executed.
  • step S250 the processor 41 averages the colors of each pixel included in the processing area of the first image. Specifically, the processor 41 calculates the average of the signal values of two or more pixels around the target pixel, and replaces the signal value of the target pixel with the average. The processor 41 executes this process on all the pixels included in the processing area of the first image. The processor 41 averages the color of each pixel included in the processing area of the second image by executing the same processing as the above processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像処理方法は、画像取得ステップおよび画像処理ステップを有する。プロセッサは、前記画像取得ステップにおいて、互いに視差を有する第1の画像および第2の画像を取得する。前記第1の画像および前記第2の画像の各々は、観察対象の少なくとも一部が写っている第1の領域と、道具の少なくとも一部が写っている第2の領域とを含む。前記プロセッサは、前記画像処理ステップにおいて、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。

Description

画像処理方法および画像処理装置
 本発明は、画像処理方法および画像処理装置に関する。
 内視鏡は、医療分野および工業分野で広く使用されている。医療分野で使用されている内視鏡は、体内に挿入され、体内の様々な部位の画像を取得する。この画像を使用することにより、観察対象の診断および観察対象の処置(治療)が実施される。工業分野で使用されている内視鏡は、工業製品内に挿入され、工業製品内の様々な部位の画像を取得する。この画像を使用することにより、観察対象の検査および観察対象の処置(異物の除去など)が実施される。
 内視鏡を有し、立体画像(3D画像)を表示する内視鏡装置が開発されている。この内視鏡は、互いに視差を有する複数の光学像に基づいて複数の画像を取得する。内視鏡装置のモニターは、複数の画像に基づいて立体画像を表示する。観察者は立体画像から深さ方向の情報を得ることができる。そのため、操作者は、処置具を使用して患部に処置を容易に施すことができる。この利点は、内視鏡を使用する分野以外の分野においても得られる。この利点は、観察者が画像を見ながら道具を使用して処置を施す分野において共通である。例えば、顕微鏡で取得された画像が使用される場合においても、この利点が得られる。
 道具が観察対象と観察光学系との間に位置する場合が多い。つまり、立体画像において道具が観察対象の手前に位置する場合が多い。特に、道具の根元が観察者側に飛び出すように立体画像が表示される。そのため、輻輳角が大きくなり、観察者の目が疲労しやすくなる。輻輳角は、左目の視線の中心軸と右目の視線の中心軸とが交差したときに2本の中心軸によって形成される角度である。
 観察者が観察しやすい立体画像を表示するための技術が特許文献1に開示されている。特許文献1に開示された内視鏡装置は、内視鏡の光学系に近い位置の被写体が写っている領域の画像を加工し、その領域を画像から見えなくする。立体画像が表示されたとき、見えなくなった領域に写っている被写体は表示されない。
日本国特開2004-187711号公報
 特許文献1に開示された技術では、画像の一部が完全に見えなくなるため、観察者が道具を使いにくい。例えば、観察者が内視鏡で画像を取得しながら処置具を使用する場合がある。特許文献1に開示された技術を使用することにより、処置具の根元が見えなくなるため、観察者が処置具の進行方向を判断しにくい。
 本発明は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる画像処理方法および画像処理装置を提供することを目的とする。
 本発明の第1の態様によれば、画像処理方法は、画像取得ステップおよび画像処理ステップを有する。プロセッサは、前記画像取得ステップにおいて、互いに視差を有する第1の画像および第2の画像を、前記第1の画像および前記第2の画像を出力する第1の装置から取得する。前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像である。前記第1の画像および前記第2の画像の各々は、第1の領域および第2の領域を含む。前記第1の画像の前記第1の領域は前記第1の画像の中心を含む。前記第2の画像の前記第1の領域は前記第2の画像の中心を含む。前記観察対象の少なくとも一部が前記第1の領域に写っている。前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含む。前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含む。前記道具の少なくとも一部が前記第2の領域に写っている。前記プロセッサは、前記画像処理ステップにおいて、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。
 本発明の第2の態様によれば、第1の態様において、前記プロセッサは、前記画像処理ステップにおいて、前記第1の画像および前記第2の画像に基づいて表示される立体画像において視点と前記道具の光学像との間の距離が大きくなるように、前記処理領域の視差量を変更してもよい。
 本発明の第3の態様によれば、第1の態様において、前記画像取得ステップにおいて取得された前記第1の画像および前記第2の画像に基づいて表示される立体画像において、前記観察対象の大部分はクロスポイントの奥側に位置してもよい。
 本発明の第4の態様によれば、第1の態様において、前記第1の領域の形状は、円、楕円、および多角形のいずれか1つであってもよい。
 本発明の第5の態様によれば、第1の態様において、前記プロセッサは、前記画像処理ステップにおいて、前記処理領域の光学像が平面になるように前記視差量を変更してもよい。
 本発明の第6の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記プロセッサは、前記画像処理ステップにおいて、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更してもよい。前記2つ以上の点が移動する距離は、互いに等しくてもよい。
 本発明の第7の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記プロセッサは、前記画像処理ステップにおいて、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更してもよい。前記2つ以上の画素の各々と前記第1の領域との間の距離が大きいほど、前記2つ以上の点の各々が移動する距離は大きくてもよい。
 本発明の第8の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記プロセッサは、前記画像処理ステップにおいて、視点と、前記2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように前記視差量を変更してもよい。
 本発明の第9の態様によれば、第1の態様において、前記画像処理方法は、領域設定ステップをさらに有してもよい。前記画像処理ステップの前に、前記プロセッサは、前記領域設定ステップにおいて、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記処理領域を設定してもよい。
 本発明の第10の態様によれば、第1の態様において、前記画像処理方法は、道具検出ステップおよび領域設定ステップをさらに有してもよい。前記画像処理ステップの前に、前記プロセッサは、前記道具検出ステップにおいて、前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出してもよい。前記画像処理ステップの前に、前記プロセッサは、前記領域設定ステップにおいて、前記道具が検出された領域を前記処理領域として設定してもよい。
 本発明の第11の態様によれば、第1の態様において、前記画像処理方法は、領域設定ステップをさらに有してもよい。前記画像処理ステップの前に、前記プロセッサは、前記領域設定ステップにおいて、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
 本発明の第12の態様によれば、第1の態様において、前記画像処理方法は、観察対象検出ステップおよび領域設定ステップをさらに有してもよい。前記画像処理ステップの前に、前記プロセッサは、前記観察対象検出ステップにおいて、前記観察対象を前記第1の画像および前記第2の画像の少なくとも一方から検出してもよい。前記画像処理ステップの前に、前記プロセッサは、前記領域設定ステップにおいて、前記観察対象が検出された領域を前記第1の領域とみなし、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
 本発明の第13の態様によれば、第1の態様において、前記画像処理方法は、領域設定ステップをさらに有してもよい。前記画像処理ステップの前に、前記プロセッサは、前記領域設定ステップにおいて、観察者によって入力装置に入力された情報に基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
 本発明の第14の態様によれば、第1の態様において、前記画像処理方法は、第1の画像出力ステップをさらに有してもよい。前記プロセッサは、前記第1の画像出力ステップにおいて、前記処理領域の前記視差量が変更された画像を含む前記第1の画像および前記第2の画像を、前記第1の画像および前記第2の画像に基づいて立体画像を表示する表示装置と、前記表示装置に前記第1の画像および前記第2の画像を出力する通信装置との一方に出力してもよい。
 本発明の第15の態様によれば、第14の態様において、前記画像処理方法は、モード選択ステップおよび第2の画像出力ステップをさらに有してもよい。前記プロセッサは、前記モード選択ステップにおいて、第1のモードおよび第2のモードの一方を選択してもよい。前記プロセッサは、前記画像取得ステップにおいて取得された前記第1の画像および前記第2の画像を前記第2の画像出力ステップにおいて前記表示装置と前記通信装置との一方に出力してもよい。前記プロセッサが前記モード選択ステップにおいて前記第1のモードを選択した場合、前記プロセッサは前記画像処理ステップおよび前記第1の画像出力ステップを実行してもよい。前記プロセッサが前記モード選択ステップにおいて前記第2のモードを選択した場合、前記プロセッサは前記画像処理ステップを実行せずに前記第2の画像出力ステップを実行してもよい。
 本発明の第16の態様によれば、第15の態様において、前記プロセッサは、前記モード選択ステップにおいて、観察者によって入力装置に入力された情報に基づいて前記第1のモードおよび前記第2のモードの一方を選択してもよい。
 本発明の第17の態様によれば、第15の態様において、前記画像処理方法は、第1の動き検出ステップをさらに有してもよい。前記プロセッサは、前記第1の動き検出ステップにおいて、前記第1の画像および前記第2の画像を生成する撮像素子の動きの状態を検出してもよい。前記プロセッサは、前記モード選択ステップにおいて、前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択してもよい。
 本発明の第18の態様によれば、第15の態様において、前記画像処理方法は、探索ステップをさらに有してもよい。前記プロセッサは、探索ステップにおいて、前記道具を前記第1の画像および前記第2の画像の少なくとも一方において探索してもよい。前記プロセッサが前記探索ステップにおいて前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できた場合、前記プロセッサは、前記モード選択ステップにおいて前記第1のモードを選択してもよい。前記プロセッサが前記探索ステップにおいて前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できなかった場合、前記プロセッサは、前記モード選択ステップにおいて、前記第2のモードを選択してもよい。
 本発明の第19の態様によれば、第15の態様において、前記画像処理方法は、第2の動き検出ステップをさらに有してもよい。前記プロセッサは、前記第2の動き検出ステップにおいて、前記道具の動きの状態を検出してもよい。前記プロセッサは、前記モード選択ステップにおいて、前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択してもよい。
 本発明の第20の態様によれば、画像処理装置は、プロセッサを有する。前記プロセッサは、互いに視差を有する第1の画像および第2の画像を、前記第1の画像および前記第2の画像を出力する第1の装置から取得する。前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像である。前記第1の画像および前記第2の画像の各々は、第1の領域および第2の領域を含む。前記第1の画像の前記第1の領域は前記第1の画像の中心を含む。前記第2の画像の前記第1の領域は前記第2の画像の中心を含む。前記観察対象の少なくとも一部が前記第1の領域に写っている。前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含む。前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含む。前記道具の少なくとも一部が前記第2の領域に写っている。前記プロセッサは、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。
 上記の各態様によれば、画像処理方法および画像処理装置は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
本発明の第1の実施形態の画像処理装置を有する内視鏡装置の構成を示す図である。 本発明の第1の実施形態の内視鏡装置が有する先端部の構成を示す図である。 本発明の第1の実施形態の画像処理装置の構成を示すブロック図である。 本発明の第1の実施形態の画像処理装置とモニターとの他の接続例を示す図である。 本発明の第1の実施形態の内視鏡装置によって取得される画像を示す図である。 本発明の第1の実施形態の内視鏡装置によって取得される画像を示す図である。 本発明の第1の実施形態において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第1の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第1の実施形態において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第1の実施形態の第1の変形例において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第1の実施形態の第2の変形例において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第1の実施形態の第3の変形例において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第1の実施形態の第4の変形例における領域情報を示す図である。 本発明の第1の実施形態の第4の変形例における画像を示す図である。 本発明の第2の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第2の実施形態において表示される立体画像における被写体の光学像の位置を示す図である。 本発明の第2の実施形態の第1の変形例における視差情報を示すグラフである。 本発明の第3の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第4の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第4の実施形態における領域情報を示す図である。 本発明の第4の実施形態の変形例における領域情報を示す図である。 本発明の第5の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第6の実施形態の変形例における領域情報を示す図である。 本発明の第7の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第1の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第2の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第3の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第4の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第5の変形例の画像処理装置の周辺の構成を示すブロック図である。 本発明の第7の実施形態の第5の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第7の実施形態の第6の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第8の実施形態の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。 本発明の第8の実施形態の変形例の画像処理装置が有するプロセッサが実行する処理の手順を示すフローチャートである。
 図面を参照し、本発明の実施形態を説明する。以下では、画像処理装置を有する内視鏡装置の例を説明する。内視鏡装置が備える内視鏡は、医療用内視鏡と工業用内視鏡とのどちらであってもよい。本発明の実施形態は内視鏡装置に限らない。本発明の実施形態は、顕微鏡などであってもよい。観察者が立体画像を見ながら観察対象に道具で処置を施す場合に、本発明の各態様の画像処理方法および画像処理装置を使用することができる。観察者は、医師、技師、研究者、または装置管理者などである。
 (第1の実施形態)
 図1は、本発明の第1の実施形態の内視鏡装置1の構成を示す。図1に示す内視鏡装置1は、電子内視鏡2、光源装置3、画像処理装置4、およびモニター5を有する。
 電子内視鏡2は、撮像素子12(図2)を有し、被写体の画像を取得する。光源装置3は、電子内視鏡2に照明光を供給する光源を有する。画像処理装置4は、電子内視鏡2の撮像素子12によって取得された画像を処理し、映像信号を生成する。モニター5は、画像処理装置4から出力された映像信号に基づいて画像を表示する。
 電子内視鏡2は、先端部10、挿入部21、操作部22、およびユニバーサルコード23を有する。挿入部21は、細長く構成され、かつ柔軟性を有する。先端部10は、挿入部21の先端に配置されている。先端部10は、硬質である。操作部22は、挿入部21の後端に配置されている。ユニバーサルコード23は、操作部22の側部から出ている。コネクタ部24がユニバーサルコード23の端部に配置されている。コネクタ部24は、光源装置3への装着と光源装置3からの取り外しとが可能に構成されている。接続コード25がコネクタ部24から出ている。電気コネクタ部26が接続コード25の端部に配置されている。電気コネクタ部26は、画像処理装置4への装着と画像処理装置4からの取り外しとが可能に構成されている。
 図2は、先端部10の概略的な構成を示す。内視鏡装置1は、第1の光学系11L、第2の光学系11R、撮像素子12、および処置具13を有する。第1の光学系11L、第2の光学系11R、および撮像素子12は先端部10の内部に配置されている。
 第1の光学系11Lは、左目に対応する。第2の光学系11Rは、右目に対応する。第1の光学系11Lの光軸と第2の光学系11Rの光軸とは、互いに所定距離だけ離れている。そのため、第1の光学系11Lおよび第2の光学系11Rは、互いに視差を有する。第1の光学系11Lおよび第2の光学系11Rの各々は、対物レンズなどの光学部品を有する。撮像素子12は、イメージセンサである。
 第1の光学系11Lおよび第2の光学系11Rが被写体からの光を取り込むための窓が先端部10の端面に形成されている。電子内視鏡2が2眼タイプの内視鏡である場合、2つの窓が先端部10の端面に形成されている。2つの窓の一方は第1の光学系11Lの前方に形成され、かつ2つの窓の他方は第2の光学系11Rの前方に形成されている。電子内視鏡2が1眼タイプの内視鏡である場合、1つの窓が、先端部10の端面において第1の光学系11Lおよび第2の光学系11Rの前方に形成されている。
 処置具13が挿入部21の内部に挿入されている。処置具13は、レーザーファイバーまたは鉗子などの道具である。処置具13を通すための空間(チャネル)が挿入部21の内部に形成されている。処置具13は、先端部10の端面から前方に出る。処置具13は前方に進行することができ、あるいは後方に後退することができる。2つ以上のチャネルが挿入部21に形成され、かつ2つ以上の処置具が挿入部21に挿入されてもよい。
 光源装置3によって生成された照明光は被写体に照射される。被写体で反射した光は、第1の光学系11Lおよび第2の光学系11Rに入射する。第1の光学系11Lを通った光は、被写体の第1の光学像を撮像素子12の撮像面に形成する。第2の光学系11Rを通った光は、被写体の第2の光学像を撮像素子12の撮像面に形成する。
 撮像素子12は、第1の光学像に基づいて第1の画像を生成し、かつ第2の光学像に基づいて第2の画像を生成する。第1の光学像および第2の光学像は同時に撮像素子12の撮像面上に形成され、撮像素子12は、第1の画像および第2の画像を含む画像(撮像信号)を生成する。第1の画像および第2の画像は、観察対象および道具の画像である。第1の画像および第2の画像は、互いに視差を有する。撮像素子12は、撮像を連続的に実行し、かつ動画像を生成する。その動画像は、2つ以上のフレームの第1の画像および第2の画像を含む。撮像素子12は、生成された画像を出力する。
 第1の光学像および第2の光学像は順次に撮像素子12の撮像面上に形成されてもよい。例えば、先端部10は、第1の光学系11Lおよび第2の光学系11Rの一方を通る光を遮蔽するシャッターを有する。シャッターは、第1の位置と第2の位置との間で移動することができる。シャッターが第1の位置に配置されたとき、シャッターは第2の光学系11Rを通る光を遮蔽する。このとき、第1の光学像が撮像素子12の撮像面上に形成され、撮像素子12は第1の画像を生成する。シャッターが第2の位置に配置されたとき、シャッターは第1の光学系11Lを通る光を遮蔽する。このとき、第2の光学像が撮像素子12の撮像面上に形成され、撮像素子12は第2の画像を生成する。撮像素子12は、第1の画像および第2の画像を順次に出力する。
 上記の例では、第1の光学像は、第1の光学系11Lを通った光によって形成される。第1の画像は、第1の光学像に基づいて生成される。また、上記の例では、第2の光学像は、第2の光学系11Rを通った光によって形成される。第2の画像は、第2の光学像に基づいて生成される。第1の画像が第2の光学像に基づいて生成され、かつ第2の画像が第1の光学像に基づいて生成されてもよい。
 撮像素子12から出力された画像は、画像処理装置4に伝送される。図2において、先端部10以外の挿入部21、操作部22、ユニバーサルコード23、コネクタ部24、接続コード25、および電気コネクタ部26は省略されている。画像処理装置4は、撮像素子12から出力された画像に含まれる第1の画像および第2の画像を処理する。画像処理装置4は、処理された第1の画像および第2の画像を映像信号としてモニター5に出力する。
 モニター5は、第1の画像および第2の画像に基づいて立体画像(3次元画像)を表示する表示装置である。例えば、モニター5は、液晶ディスプレイ(LCD)、有機ELディスプレイ(OLED)、またはプラズマディスプレイなどのようなフラットパネルディスプレイである。モニター5は、画像をスクリーンに投影するプロジェクターであってもよい。立体画像を表示する方法として、円偏光方式またはアクティブシャッターなどを利用することができる。これらの方法では専用眼鏡が使用される。円偏光方式では同期の不要な軽量の専用めがねを使用することができる。
 図3は、画像処理装置4の構成を示す。図3に示す画像処理装置4は、プロセッサ41およびROM(Read Only Memory)42を有する。
 例えば、プロセッサ41は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)などである。プロセッサ41は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)などで構成されてもよい。画像処理装置4は、1つまたは複数のプロセッサ41を含むことができる。
 第1の画像および第2の画像は、撮像素子12から出力され、かつプロセッサ41に入力される。プロセッサ41は、画像取得ステップにおいて、第1の画像および第2の画像を撮像素子12(第1の装置)から取得する。撮像素子12から出力された第1の画像および第2の画像は、図3に示されていない記憶装置に記憶されてもよい。プロセッサ41は、第1の画像および第2の画像をその記憶装置から取得してもよい。プロセッサ41は、立体画像において道具の光学像が表示される位置を調整するために、画像処理ステップにおいて第1の画像および第2の画像の少なくとも一方を処理する。プロセッサ41が実行する画像処理の詳細については、後述する。プロセッサ41は、第1の画像出力ステップにおいて、処理された第1の画像および第2の画像をモニター5に出力する。
 操作部22は、観察者(操作者)によって操作される部品を有する入力装置である。例えば、その部品はボタンまたはスイッチなどである。観察者は、操作部22を操作することにより、内視鏡装置1を制御するための様々な情報を入力することができる。操作部22は、操作部22に入力された情報をプロセッサ41に出力する。プロセッサ41は、操作部22に入力された情報に基づいて、撮像素子12、光源装置3、およびモニター5などを制御する。
 ROM42は、プロセッサ41の動作を規定する命令を含むプログラムを保持する。プロセッサ41は、プログラムをROM42から読み込み、かつ読み込まれたプログラムを実行する。プロセッサ41の機能はソフトウェアで実現することができる。上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
 図2および図3に示す例では、撮像素子12および画像処理装置4は、挿入部21などを通る信号線で接続されている。撮像素子12および画像処理装置4は、無線で接続されてもよい。つまり、撮像素子12は、第1の画像および第2の画像を無線で送信する送信機を有してもよく、画像処理装置4は、第1の画像および第2の画像を無線で受信する受信機を有してもよい。撮像素子12と画像処理装置4との間の通信は、LAN(Local Area Network)などのネットワークを経由して実行されてもよい。その通信は、クラウド上の機器を経由して実行されてもよい。
 図1および図3に示す例では、画像処理装置4およびモニター5は、信号線で接続されている。画像処理装置4およびモニター5は、無線で接続されてもよい。つまり、画像処理装置4は、第1の画像および第2の画像を無線で送信する送信機を有してもよく、モニター5は、第1の画像および第2の画像を無線で受信する受信機を有してもよい。画像処理装置4とモニター5との間の通信は、LANなどのネットワークを経由して実行されてもよい。
 図3に示す例では、プロセッサ41は、第1の画像および第2の画像をモニター5(表示装置)に出力する。プロセッサ41は、第1の画像および第2の画像を直接モニター5に出力しなくてもよい。図4は、画像処理装置4とモニター5との他の接続例を示す。プロセッサ41は、第1の画像および第2の画像を受信装置6(通信装置)に出力する。受信装置6は、画像処理装置4から出力された第1の画像および第2の画像を受信する。受信装置6は、受信された第1の画像および第2の画像をモニター5に出力する。画像処理装置4および受信装置6は、信号線で接続されてもよいし、あるいは無線で接続されてもよい。受信装置6およびモニター5は、信号線で接続されてもよいし、あるいは無線で接続されてもよい。受信装置6は、ハードディスクドライブまたはフラッシュメモリなどのような記憶装置に置き換えられてもよい。
 図5を参照し、第1の画像および第2の画像を説明する。2つの画像は互いに視差を有するが、2つの画像の構図が大きく異なることはない。図5は、第1の画像の例を示す。以下で説明する事項は第2の画像に同様に適用できる。
 図5に示す第1の画像200は、観察対象210および処置具13の画像である。観察対象210は、観察者が注目する領域(注目領域)である。例えば、観察対象210は、生体内の部位(臓器または血管など)の患部である。例えば、患部は、癌などの腫瘍である。患部は、病変部と呼ばれる場合がある。観察対象210の周辺は、その部位(被写体)の一部である。処置具13は、被写体上に表示される。処置具13は、観察対象210に処置を施す。処置具13は、鉗子130およびシース131を有する。鉗子130は、観察対象210と接触し、かつ観察対象210に処置を施す。シース131は、鉗子130を支持する支持部である。鉗子130は、シース131に固定されている。処置具13は、鉗子130以外にスネアまたはITナイフ等を有してもよい。
 第1の画像200は、第1の領域R10および第2の領域R11を含む。破線L10は、第1の領域R10と第2の領域R11との境界を示す。第1の領域R10は破線L10の内側の領域であり、第2の領域R11は破線L10の外側の領域である。第1の領域R10は第1の画像200の中心C10を含む。観察対象210が第1の領域R10に写っている。第2の領域R11は第1の画像200の少なくとも1つの端部を含む。図5に示す例では、第2の領域R11は第1の画像200の4つの端部を含む。処置具13が第2の領域R11に写っている。処置具13は、第1の画像200の下側の端部を含む領域に写っている。
 処置具13の一部が第1の領域R10に写っていてもよい。図5に示す例では、処置具13の先端部(鉗子130)が第1の領域R10に写っており、処置具13の根元側の部分(シース131)が第2の領域R11に写っている。鉗子130は観察対象210の手前にあり、観察対象210の一部を隠す。第1の画像200における処置具13の根元は、第1の画像200の下側の端部に写っているシース131の部分である。観察対象210の一部が第2の領域R11に写っていてもよい。つまり、観察対象210の一部が第1の領域R10に写り、かつ観察対象210の残りが第2の領域R11に写っていてもよい。
 第2の画像は、第1の画像200と同様に、第1の領域および第2の領域を含む。第2の画像の第1の領域は第2の画像の中心を含む。観察対象が第2の画像の第1の領域に写っている。第2の画像の第2の領域は第2の画像の少なくとも1つの端部を含む。処置具13が第2の画像の第2の領域に写っている。
 第1の領域および第2の領域は、観察対象が写っている領域と、処置具13が写っている領域とを区別するために定義された領域である。第1の領域および第2の領域は、図5に示す破線L10のような一定の形状を持つ線で明確に定義されるとは限らない。
 第1の画像および第2の画像は、第1の領域および第2の領域のいずれとも異なる第3の領域を含んでもよい。観察対象と異なる何らかの被写体が第3の領域に写っていてもよい。観察対象または処置具13の一部が第3の領域に写っていてもよい。第3の領域は、第1の領域と第2の領域との間の領域であってもよい。第3の領域は、処置具13が写っている画像の端部と異なる端部を含んでもよい。第3の領域は、処置具13が写っている画像の端部の一部を含んでもよい。
 処置具13は、挿入部21を経由して体内に挿入される。処置具13以外の処置具が、処置具13が挿入される挿入部21を経由せずに体内に挿入されてもよい。図6は、第1の画像の他の例を示す。図6に示す第1の画像201は、観察対象210、処置具14、および処置具15の画像である。処置具14および処置具15は、挿入部21を経由せずに体内に挿入される。例えば、内視鏡装置1は、処置具13に加えて、処置具14および処置具15の少なくとも一方を有する。図1に示す内視鏡装置1とは異なる内視鏡装置が処置具14および処置具15の少なくとも一方を有してもよい。処置具14および処置具15によって施される処置の種類は、互いに異なっていてもよい。内視鏡装置1が処置具13を有していなくてもよい。
 図5に示す例では1つの処置具が画像に写っており、図6に示す例では2つの処置具が画像に写っている。3つ以上の処置具が画像に写っていてもよい。処置具14および処置具15の少なくとも一方と処置具13とが画像に写っていてもよい。
 図7を参照し、立体画像における被写体の光学像の位置を説明する。図7は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す例では、プロセッサ41が撮像素子12から出力された第1の画像および第2の画像に視差量の変更を施さないことを想定している。視差量の変更については後述する。
 視点VLは、観察者の左目に対応する。視点VRは、観察者の右目に対応する。観察者は、視点VLおよび視点VRで被写体の光学像を捉える。視点VLと視点VRとの中間の点VCが観察者の視点として定義されてもよい。以下の例では、観察者の視点と被写体の光学像との間の距離は、点VCと被写体の光学像との間の距離として定義される。
 第1の光学系11Lの光軸と第2の光学系11Rの光軸とが交差する点は、クロスポイントと呼ばれる。クロスポイントは、コンバージェンスポイントまたはゼロポイントなどと呼ばれる場合がある。クロスポイント上の被写体の領域において、第1の画像と第2の画像との間の視差量は0である。立体画像が表示される場合、観察者が立体画像を見やすくなるようにクロスポイントの位置が設定される。例えば、図7に示すように、クロスポイントCPはスクリーン面SC上に設定される。スクリーン面SCは、ディスプレイ面、モニター面、またはゼロプレーンなどと呼ばれる場合がある。スクリーン面SCはモニター5の画面5a(図1)に対応する。図7に示す例では、スクリーン面SCは、クロスポイントCPを含み、観察者の視点に正対する平面である。クロスポイントCPはスクリーン面SC上の位置でなくてもよい。クロスポイントCPはスクリーン面SCの手前側の位置、またはスクリーン面SCの奥側の位置であってもよい。
 図7に示す例では、観察者が視認できる領域に物体OB1の光学像および物体OB2の光学像が存在する。物体OB1の光学像は、クロスポイントCPの奥側の領域R20(スクリーン面SCの奥側の領域)に位置する。例えば、物体OB1は観察対象である。観察者の視点と物体OB1の光学像との間の距離はD1である。観察対象の大部分は領域R20に位置する。例えば、観察対象の50%以上は領域R20に位置する。観察対象の全てが領域R20に位置してもよい。
 物体OB2の光学像は、クロスポイントCPの手前側の領域R21(スクリーン面SCの手前側の領域)に位置する。物体OB2の光学像は、観察者の視点とスクリーン面SCとの間に位置する。例えば、物体OB2は処置具13の根元側の部分である。観察者の視点と物体OB2の光学像との間の距離はD2である。距離D2は、距離D1よりも小さい。全ての物体の光学像が領域R20に位置する場合もある。
 立体画像においてクロスポイントCPの奥側に位置する物体が写っている第1の画像および第2の画像の領域は正の視差量を持つと定義される。例えば、第1の画像において物体OB1が写っている領域と、第2の画像において物体OB1が写っている領域との間の視差量は正の値である。物体OB1が観察対象210である場合、図5に示す第1の画像200の第1の領域R10の少なくとも一部と、第2の画像の第1の領域の少なくとも一部との間の視差量は正の値である。観察者の視点と物体OB1の光学像との間の距離D1が大きくなるほど、視差量の絶対値は大きくなり、かつ物体OB1の光学像は観察者の視点から遠ざかる。
 立体画像においてクロスポイントCPの手前側に位置する物体が写っている第1の画像および第2の画像の領域は負の視差量を持つと定義される。例えば、第1の画像において物体OB2が写っている領域と、第2の画像において物体OB2が写っている領域との間の視差量は負の値である。物体OB2が処置具13の根元側の部分である場合、図5に示す第1の画像200の第2の領域R11の少なくとも一部と、第2の画像の第2の領域の少なくとも一部との間の視差量は負の値である。観察者の視点と物体OB2の光学像との間の距離D2が小さくなるほど、視差量の絶対値は大きくなり、かつ物体OB2の光学像は観察者の視点に近づく。物体OB2の光学像が観察者の視点に近い場合、観察者は物体OB2が大きく飛び出しているように見える。その場合、輻輳角が大きく、観察者の目が疲労しやすい。
 プロセッサ41が実行する視差量の変更について説明する。プロセッサ41は、第1の画像および第2の画像に基づいて表示される立体画像において観察者の視点と道具の光学像との間の距離が大きくなるように、第1の画像および第2の画像の少なくとも一方における第2の領域を含む処理領域に画像処理を施し、処理領域の視差量を変更する。この立体画像は、プロセッサ41が視差量の変更を実行した後に第1の画像および第2の画像に基づいて表示される立体画像である。例えば、プロセッサ41は、図5に示す第1の画像200の第2の領域R11を含む処理領域を設定し、かつその処理領域の視差量を変更する。
 例えば、プロセッサ41が視差量の変更を実行する前、観察者の視点と物体OB2の光学像との間の距離はD2である。プロセッサ41は、第1の画像および第2の画像の少なくとも一方に画像処理を施し、処理領域の視差量を正方向に変化させる。処置具13が写っている第2の領域の視差量が負の値である場合、プロセッサ41は、第2の領域を含む処理領域の視差量を増加させる。プロセッサ41は、処理領域の視差量を0に変更してもよく、または処理領域の視差量を正の値に変更してもよい。プロセッサ41が視差量の変更を実行した後、観察者の視点と物体OB2の光学像との間の距離はD2よりも大きい。その結果、輻輳角が小さくなり、観察者の目の疲労が軽減される。
 図8を参照し、プロセッサ41が実行する処理を説明する。図8は、プロセッサ41が実行する処理の手順を示す。
 プロセッサ41は、第2の領域を含む処理領域を設定する(ステップS100)。ステップS100の詳細を説明する。第1の画像および第2の画像の各々の全体の大きさは既知である。ステップS100が実行される前、第2の領域の位置を示す領域情報が、図3に示されていないメモリに記憶されている。領域情報は、第2の領域の大きさおよび形状の少なくとも一方を示す情報を含んでもよい。プロセッサ41は、ステップS100において領域情報をメモリから読み出す。プロセッサ41は、領域情報に基づいて第2の領域の位置を判断する。プロセッサ41は、第2の領域を含む処理領域を設定する。処理領域は2つ以上の画素を含む。例えば、処理領域は第2の領域と同じであり、第1の領域は処理領域に含まれない。プロセッサ41は、2つ以上の処理領域を設定してもよい。プロセッサ41は、処理領域の情報を保持することにより、処理領域を設定する。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
 ステップS105の後、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得する(ステップS105(画像取得ステップ))。ステップS105およびステップS100が実行される順番は、図8に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS100が実行されてもよい。
 ステップS100の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域の画像データを変更することにより視差量を変更する(ステップS110(画像処理ステップ))。プロセッサ41は、第1の画像のみにおける処理領域の視差量を変更してもよい。プロセッサ41は、第2の画像のみにおける処理領域の視差量を変更してもよい。プロセッサ41は、第1の画像および第2の画像の各々における処理領域の視差量を変更してもよい。
 ステップS110の詳細を説明する。例えば、プロセッサ41は、処理領域の光学像が平面になるように処理領域の視差量を変更する。これにより、プロセッサ41は、処置具13の光学像が平面になるように処理領域の視差量を変更する。具体的には、プロセッサ41は、第1の画像における処理領域に含まれる各画素のデータを、第1の画像の各画素と対応する第2の画像に含まれる各画素のデータで置き換える。そのため、2つの画像の同じ画素は、同じデータを持つ。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータを、第2の画像の各画素と対応する第1の画像に含まれる各画素のデータで置き換えてもよい。
 図9は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
 処理領域に写っている処置具13の光学像が図9に示されている。第1の領域に写っている処置具13の光学像は図9では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図9に示されている。
 プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、その処理領域と、その処理領域に対応する第2の画像の領域との間の視差量は0である。処理領域に写っている処置具13の光学像13bは、立体画像においてクロスポイントCPを含む平面として表示される。例えば、光学像13bは、スクリーン面SC内に表示される。光学像13bは観察者の視点から遠ざかる。
 プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域とそれ以外の領域との境界において視差量の不連続が生じる。つまり、第1の領域と第2の領域との境界において視差量の不連続が生じる。プロセッサ41は、その不連続をなくすために、その境界の周辺におけるデータの変化が滑らかになるような画像処理を実行してもよい。これにより、その境界が目立ちにくくなり、画像の見え方が自然になる。
 プロセッサ41は、処理領域の視差量を変更し、かつ第1の画像および第2の画像の少なくとも一方における第1の領域の視差量を変更してもよい。第1の領域の視差量を変更する方法は、処理領域の視差量を変更する方法と異なる。例えば、プロセッサ41は、観察対象の光学像がクロスポイントの奥側に遠ざかるように第1の領域の視差量を変更してもよい。第1の領域の視差量が変更される場合、第1の領域の視差量の変更量は、処理領域の視差量の変更量の最大値よりも小さくてもよい。
 ステップS110の後、プロセッサ41は、処理領域の視差量が変更された画像を含む第1の画像および第2の画像をモニター5に出力する(ステップS115(第1の画像出力ステップ))。例えば、プロセッサ41は、ステップS110において処理領域の視差量が変更された第1の画像と、ステップS105において取得された第2の画像とをモニター5に出力する。
 ステップS105、ステップS110、およびステップS115において、動画像に含まれる1フレームに対応する画像が処理される。プロセッサ41は、ステップS105、ステップS110、およびステップS115を繰り返し実行することにより動画像を処理する。最初のフレームに適用される処理領域が設定された後、その処理領域が残りの1つ以上のフレームにも適用されてもよい。この場合、ステップS100は1回実行され、ステップS105、ステップS110、およびステップS115は2回以上実行される。
 プロセッサ41が領域情報に基づいて処理領域を設定するため、処理領域の位置は固定される。プロセッサ41は、処理領域を容易に設定することができる。
 領域情報は、第1の領域の位置を示してもよい。領域情報は、第1の領域の位置を示す情報に加えて、第1の領域の大きさおよび形状の少なくとも一方を示す情報を含んでもよい。プロセッサ41は、領域情報に基づいて第1の領域の位置を判断し、かつ画像において第1の領域を除く領域を第2の領域とみなしてもよい。第1の領域が観察対象の全体を含む場合、観察対象は処理領域の視差量の変更に影響されない。そのため、観察者が処置具13を使用して観察対象に処置を施しやすい。
 図5に示す例では、第1の領域R10の形状は円である。第1の画像および第2の画像の形状が円であり、かつ第1の領域の形状が円である場合、観察者が画像に違和感を覚えにくい。第1の領域の形状は楕円または多角形であってもよい。多角形は、4つ以上の頂点を有する。第1の領域の形状は、8つ以上の頂点を有する多角形であってもよい。
 第1の実施形態において、プロセッサ41は、立体画像における観察者の視点と道具の光学像との間の距離が大きくなるように、第2の領域を含む処理領域の視差量を変更する。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
 (第1の実施形態の第1の変形例)
 本発明の第1の実施形態の第1の変形例を説明する。処置具13の光学像が平面になるように視差量を変更する他の方法を説明する。
 プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、画像の水平方向に平行な方向である。所定の方向は、負の視差量が正方向に変化する方向である。第1の画像が第1の光学系11Lによって捉えられた光学像に対応する場合、所定の方向は左方向である。第1の画像が第2の光学系11Rによって捉えられた光学像に対応する場合、所定の方向は右方向である。
 プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像がスクリーン面から距離A1だけ離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB1だけ変更する。プロセッサ41は、距離A1に基づいて、視差量の変更量B1を算出することができる。
 各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C1だけ離れた画素のデータで置き換える。距離C1は視差量の変更量B1と同じであってもよいし、あるいは視差量の変更量B1に基づいて算出されてもよい。第1の画像の画素から所定の方向と反対の方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その画素のデータを補間する。例えば、第1の画像の画素の右方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その位置に対応する第2の画像の画素のデータを使用することによりデータを補間する。第1の画像の画素から所定の方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その位置のデータを生成しない。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
 図10は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
 処理領域に写っている処置具13の光学像が図10に示されている。第1の領域に写っている処置具13の光学像は図10では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図10に示されている。
 プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、スクリーン面SCから距離A1だけ離れた仮想的な平面PL1上に表示される。平面PL1は、観察者の視点に正対する。光学像13bは観察者の視点から遠ざかる。
 図10に示す例では、平面PL1はスクリーン面SCの奥側に位置する。平面PL1はスクリーン面SCの手前側に位置してもよい。
 ステップS110が実行される前、距離A1を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
 プロセッサ41は、第1の画像および第2の画像の少なくとも一方に基づいて距離A1を算出してもよい。例えば、距離A1は、第1の領域の最も外側の画素における被写体の光学像とスクリーン面との間の距離と同じであってもよい。この場合、処理領域とそれ以外の領域との境界における視差量の不連続が生じにくい。つまり、第1の領域と第2の領域との境界における視差量の不連続が生じにくい。そのため、その境界が目立ちにくくなり、画像の見え方が自然になる。
 観察者が距離A1を指定できてもよい。例えば、観察者が操作部22を操作し、距離A1を入力してもよい。プロセッサ41は、操作部22に入力された距離A1を使用してもよい。
 プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像においてスクリーン面から距離A1だけ離れた平面として表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。道具の光学像がスクリーン面の奥側に表示される場合、目の疲労を軽減する効果が高まる。
 (第1の実施形態の第2の変形例)
 本発明の第1の実施形態の第2の変形例を説明する。処置具13の光学像が観察者の視点から遠ざかるように視差量を変更する他の方法を説明する。
 処理領域は2つ以上の画素を含む。プロセッサ41は、画像処理ステップにおいて、その2つ以上の画素に対応する光学像の2つ以上の点が、観察者の視点から遠ざかる方向(スクリーン面に向かう方向)に移動するように視差量を変更する。2つ以上の点が移動する距離は、互いに等しい。
 プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
 プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像が各光学像の位置から距離A2だけ奥側に離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB2だけ変更する。これにより、処理領域に含まれる全ての画素における被写体の光学像が同じ距離A2だけ移動する。プロセッサ41は、距離A2に基づいて、視差量の変更量B2を算出することができる。
 例えば、処理領域は、第1の画素および第2の画素を含む。第1の画素における被写体の光学像が移動する距離A2は、第2の画素における被写体の光学像が移動する距離A2と同じである。
 各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C2だけ離れた画素のデータで置き換える。距離C2は視差量の変更量B2と同じであってもよいし、あるいは視差量の変更量B2に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
 図11は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
 処理領域に写っている処置具13の光学像が図11に示されている。第1の領域に写っている処置具13の光学像は図11では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図11に示されている。
 プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、光学像13aから距離A2だけ奥側に離れた位置に表示される。光学像13bは観察者の視点から遠ざかる。
 図11に示す例では、処置具13の光学像13bは、スクリーン面SCの奥側に位置する部分と、スクリーン面SCの手前側に位置する部分とを含む。光学像13bの全体がスクリーン面SCの奥側またはスクリーン面SCの手前側に位置してもよい。
 ステップS110が実行される前、距離A2を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
 観察者が距離A2を指定できてもよい。例えば、観察者が操作部22を操作し、距離A2を入力してもよい。プロセッサ41は、操作部22に入力された距離A2を使用してもよい。
 プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像において実際の位置から距離A2だけ奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
 処理領域に含まれる全ての画素における被写体の光学像は、同じ距離A2だけ移動する。そのため、処理領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
 (第1の実施形態の第3の変形例)
 本発明の第1の実施形態の第3の変形例を説明する。処置具13の光学像が観察者の視点から遠ざかるように視差量を変更する他の方法を説明する。
 処理領域は2つ以上の画素を含む。プロセッサ41は、画像処理ステップにおいて、その2つ以上の画素に対応する光学像の2つ以上の点が、観察者の視点から遠ざかる方向(スクリーン面に向かう方向)に移動するように視差量を変更する。2つ以上の画素の各々と第1の領域との間の距離が大きいほど、2つ以上の点の各々が移動する距離は大きい。
 処置具13と第1の領域との間の距離が大きいほど、処置具13は手前に大きく飛び出す傾向がある。そのため、処置具13が第1の領域から離れるほど、処置具13が実際の位置から奥側に移動する距離が大きくなる必要がある。2つ以上の画素の各々と画像の端部との間の距離が小さいほど、処置具13の光学像の2つ以上の点の各々が移動する距離は大きくてもよい。
 プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
 プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像が移動する距離A3を算出する。距離A3は、各画素と第1の領域の基準位置との間の2次元距離に応じた値である。例えば、基準位置は、処理領域に含まれる各画素に最も近い第1の領域の画素である。第1の領域のその画素は、第1の領域の端部にある。基準位置は、第1の領域の中心または第1の画像の中心であってもよい。プロセッサ41は、処理領域に含まれる各画素における被写体の光学像が各光学像の位置から距離A3だけ奥側に離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB3だけ変更する。これにより、処理領域に含まれる各画素における被写体の光学像が、各画素の位置に応じた距離A3だけ移動する。プロセッサ41は、距離A3に基づいて、視差量の変更量B3を算出することができる。
 例えば、処理領域は、第1の画素および第2の画素を含む。第2の画素と第1の領域との間の距離は、第1の画素と第1の領域との間の距離よりも大きい。第2の画素における被写体の光学像が移動する距離A3は、第1の画素における被写体の光学像が移動する距離A3よりも大きい。
 処理領域に含まれ、かつ第1の領域と接する画素における被写体の光学像が移動する距離A3は0であってもよい。処理領域に含まれる画素が第1の領域に近い場合、その画素における被写体の光学像が移動する距離A3は非常に小さくてもよい。距離A3は、処理領域に含まれる画素と第1の領域との間の距離に基づいて指数関数的に増加してもよい。
 各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C3だけ離れた画素のデータで置き換える。距離C3は視差量の変更量B3と同じであってもよいし、あるいは視差量の変更量B3に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
 図12は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
 処理領域に写っている処置具13の光学像が図12に示されている。第1の領域に写っている処置具13の光学像は図12では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図12に示されている。
 プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、光学像13aから奥側に離れた位置に表示される。第1の領域から最も遠い光学像13aの点は距離A3aだけ移動する。第1の領域に最も近い光学像13aの点は移動しない。その点は、距離A3aよりも小さい距離だけ移動してもよい。光学像13bは観察者の視点から遠ざかる。
 図12に示す例では、処置具13の光学像13bはスクリーン面SCの手前側に位置する。光学像13bの少なくとも一部がスクリーン面SCの奥側に位置してもよい。
 ステップS110が実行される前、距離A3を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
 プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像において実際の位置から距離A3だけ奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
 処理領域に含まれ、かつ第1の領域と接する画素における被写体の光学像が移動しない場合、第1の領域と処理領域との境界において視差量の不連続は生じにくい。そのため、観察者が違和感を覚えにくい。プロセッサ41は、第1の領域と処理領域との境界の周辺におけるデータの変化が滑らかになるような画像処理を実行しなくてもよい。
 (第1の実施形態の第4の変形例)
 本発明の第1の実施形態の第4の変形例を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
 処置具13が画像に写る位置は、挿入部21におけるチャネルの数および位置に応じて異なる。そのチャネルの数および位置は、電子内視鏡2の種類に応じて異なることが多い。また、チャネルに挿入される処置具13の種類が固定されている場合がある。処置具13の大きさまたは形状などは、処置具の種類に応じて異なることが多い。したがって、処置具13が画像に写る位置は、電子内視鏡2の種類および処置具13の種類に応じて異なることが多い。
 例えば、ステップS100が実行される前、電子内視鏡2の種類、処置具13の種類、および処理領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS100において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
 図13は、領域情報の例を示す。領域情報は、情報E1、情報E2、および情報E3を含む。情報E1は、電子内視鏡2の種類を示す。情報E2は、処置具13の種類を示す。情報E3は、処理領域の位置を示す。情報E3は、処理領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。処理領域の大きさが常に固定されている場合、情報E3は、処理領域の大きさを示す情報を含まなくてもよい。処理領域の形状が常に固定されている場合、情報E3は、処理領域の形状を示す情報を含まなくてもよい。
 図13に示す例では、電子内視鏡F1、処置具G1、および処理領域H1が関連付けられている。図13に示す例では、電子内視鏡F2、処置具G2、および処理領域H2が関連付けられている。図13に示す例では、電子内視鏡F3、処置具G3、処置具G4、および処理領域H3が関連付けられている。図13に示す例では、電子内視鏡F3の挿入部21は2つのチャネルを有する。処置具G3が一方のチャネルに挿入され、処置具G4が他方のチャネルに挿入される。電子内視鏡F3が使用される場合、処置具G3が写っている第1の処理領域と、処置具G4が写っている第2の処理領域とが設定されてもよい。
 領域情報は、情報E1および情報E3のみを含んでもよい。あるいは、領域情報は、情報E2および情報E3のみを含んでもよい。
 プロセッサ41は、使用されている電子内視鏡2の種類と、使用されている処置具13の種類とを判断する。例えば、観察者が操作部22を操作し、電子内視鏡2の種類および処置具13の種類を示す情報を入力してもよい。プロセッサ41は、その情報に基づいて電子内視鏡2の種類および処置具13の種類を判断してもよい。
 電子内視鏡2と画像処理装置4とが接続されたとき、プロセッサ41は、電子内視鏡2の種類および処置具13の種類を示す情報を電子内視鏡2から取得してもよい。内視鏡装置1はコード読み取り器を有し、コード読み取り器は2次元コードを読み取り、かつプロセッサ41はその2次元コードの情報をコード読み取り器から取得してもよい。その2次元コードは、電子内視鏡2の種類および処置具13の種類を示す。その2次元コードが電子内視鏡2の表面に貼付されていてもよい。
 プロセッサ41は、使用されている電子内視鏡2および処置具13の組み合わせに対応する処理領域の情報を領域情報から抽出する。例えば、電子内視鏡F2および処置具G2が使用されている場合、プロセッサ41は、処理領域H2の情報を抽出する。プロセッサ41は、抽出された情報に基づいて処理領域を設定する。
 図14は、第1の画像の例を示す。図14に示す第1の画像202は、観察対象210および処置具13の画像である。第1の画像202は、第1の領域R12および第2の領域R13を含む。破線L11は、第1の領域R12と第2の領域R13との境界を示す。第1の領域R12は破線L11の上側の領域であり、第2の領域R13は破線L11の下側の領域である。第1の領域R12は第1の画像202の中心C11を含む。観察対象210が第1の領域R12に写っている。第2の領域R13は第1の画像202の下側の端部を含む。処置具13が第2の領域R13に写っている。プロセッサ41は、第2の領域R13を処理領域として設定する。
 特定の種類の電子内視鏡2が使用される場合、処置具13は第1の画像202の下側の領域のみに写る。その場合、プロセッサ41は、図5に示す第2の領域R11の代わりに、図14に示す第2の領域R13を処理領域として設定することができる。第2の領域R13は、第2の領域R11よりも小さい。
 プロセッサ41は、電子内視鏡2の種類および処置具13の種類に適した処理領域を設定することができる。そのため、処理領域が小さくなり、視差量を変更する処理におけるプロセッサ41の負荷が減る。
 (第2の実施形態)
 本発明の第2の実施形態を説明する。第2の実施形態において、処理領域は第1の領域および第2の領域を含む。例えば、処理領域は第1の画像の全体または第2の画像の全体である。
 処理領域は2つ以上の画素を含む。プロセッサ41は、観察者の視点と、その2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように処理領域の視差量を変更する。
 図15を参照し、プロセッサ41が実行する処理を説明する。図15は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域の視差量を変更する(ステップS110a(画像処理ステップ))。ステップS110aの後、ステップS115が実行される。
 ステップS110aは、図8に示すステップS110と異なる。ステップS110aの詳細を説明する。以下では、プロセッサ41が第1の画像の視差量を変更する例を説明する。プロセッサ41は、以下の方法と同様の方法を使用することにより、第2の画像の視差量を変更してもよい。
 プロセッサ41は、第1の画像に含まれる各画素の視差量を算出する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。例えば、プロセッサ41は、ステレオマッチングを使用することにより各画素の視差量を算出する。
 プロセッサ41は、第1の画像に含まれる全ての画素に以下の処理を実行する。プロセッサ41は、画素の視差量と所定量B4とを比較する。画素の視差量が所定量B4よりも小さい場合、観察者の視点と、その画素における被写体の光学像との間の距離はA4よりも小さい。観察者はその被写体が大きく飛び出しているように見える。第1の画像に含まれる画素の視差量が所定量B4よりも小さい場合、プロセッサ41は、その画素の視差量を所定量B4に変更する。第1の画像に含まれる画素の視差量が所定量B4以上である場合、プロセッサ41は、その画素の視差量を変更しない。プロセッサ41は、距離A4に基づいて、視差の所定量B4を算出することができる。プロセッサ41は、上記の処理を実行することにより、観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する。
 プロセッサ41は、第1の画像に含まれる全ての画素の少なくとも一部のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
 第1の画像に含まれる画素の視差量が所定量B4よりも小さい場合、プロセッサ41は、その画素のデータを、所定の方向と反対の方向に距離C4だけ離れた画素のデータで置き換える。距離C4はその画素の視差量と所定量B4との差と同じであってもよいし、あるいはその差に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
 観察対象を含む第1の領域に含まれる画素の視差量は所定量B4以上であることが多い。第1の領域の一部に含まれる画素の視差量が所定量B4よりも小さい場合がある。その場合、プロセッサ41は、上記の処理を実行することにより、第1の領域に含まれる画素の視差量を変更する。その視差量の変更量は、第2の領域に含まれる画素の視差量の変更量の最大値よりも小さい。
 図16は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図16に示されている。
 プロセッサ41が第1の画像の視差量を変更する前、観察者の視点と処置具13の光学像13aの一部との間の距離は、A4よりも小さい。プロセッサ41が第1の画像の視差量を変更した後、観察者の視点と処置具13の光学像13bとの間の距離の最小値はA4になる。観察者の視点側に大きく飛び出す処置具13の光学像13aの領域は、観察者の視点から距離A4だけ奥側に離れた位置に表示される。
 図16に示す例では、距離A4に対応する視差量の所定量B4は正の値である。そのため、処置具13の光学像13bはスクリーン面SCの奥側に位置する。所定量B4は負の値であってもよい。この場合、光学像13bの少なくとも一部はスクリーン面SCの手前側に位置する。所定量B4は0であってもよい。この場合、光学像13bの少なくとも一部は、クロスポイントCPを含む平面(スクリーン面SC)内に位置する。
 ステップS110aが実行される前、距離A4を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110aにおいてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
 観察者が距離A4を指定できてもよい。例えば、観察者が操作部22を操作し、距離A4を入力してもよい。プロセッサ41は、操作部22に入力された距離A4を使用してもよい。
 プロセッサ41が処理領域の視差量を変更した後、処置具13の光学像は、立体画像において観察者の視点から距離A4以上奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
 視差量が変更されない領域における処置具13の光学像は移動しない。その領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
 (第2の実施形態の第1の変形例)
 本発明の第2の実施形態の第1の変形例を説明する。観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する他の方法を説明する。
 ステップS110aが実行される前、視差量の変更量を示す視差情報が、図3に示されていないメモリに記憶されている。図17は、視差情報の例を示す。図17において、視差情報はグラフによって示されている。視差情報は、第1の視差量と第2の視差量との関係を示す。第1の視差量は、プロセッサ41が視差量を変更する前に各画素が持つ視差量である。第2の視差量は、プロセッサ41が視差量を変更した後に各画素が持つ視差量である。第1の視差量がA4a以上である場合、第1の視差量と第2の視差量とは同じである。第1の視差量がA4aよりも小さい場合、第2の視差量は第1の視差量と異なる。第1の視差量がA4aよりも小さい場合、第2の視差量はB4以上である。
 図17に示す第2の視差量B4は正の値である。そのため、処置具13の光学像は、スクリーン面の奥側に表示される。第2の視差量B4は負の値であってもよい。
 プロセッサ41は、ステップS110aにおいて視差情報をメモリから読み出す。プロセッサ41は、視差情報に基づいて、第1の画像に含まれる各画素の視差量を変更する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。プロセッサ41は、視差情報に基づいて、第2の画像に含まれる各画素の視差量を変更してもよい。プロセッサ41は、視差情報を内視鏡装置1と異なる装置から取得してもよい。
 例えば、図17に示す第1の視差量がA4aよりも小さい領域において、グラフは曲線で示される。この場合、第2の実施形態で説明した方法と比較して、観察者が画像に違和感を覚えにくい。
 (第2の実施形態の第2の変形例)
 本発明の第2の実施形態の第2の変形例を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
 プロセッサ41が処理領域を設定する方法は、第1の実施形態の第4の変形例において説明した方法と同じである。プロセッサ41は、観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する。
 プロセッサ41は、電子内視鏡2の種類および処置具13の種類に適した処理領域を設定することができる。そのため、処理領域が小さくなり、視差量を変更する処理におけるプロセッサ41の負荷が減る。
 (第3の実施形態)
 本発明の第3の実施形態を説明する。画像処理ステップの前に、プロセッサ41は、道具検出ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方から検出する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、処置具13が検出された領域を処理領域として設定する。
 図18を参照し、プロセッサ41が実行する処理を説明する。図18は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方から検出する(ステップS120(道具検出ステップ))。ステップS120の後、プロセッサ41は、処置具13が検出された領域を処理領域として設定する(ステップS100a(領域設定ステップ))。ステップS100aの後、ステップS110が実行される。
 ステップS120が実行される前、処置具13の2つ以上の画像が、図3に示されていないメモリに記憶されている。処置具13が様々な角度で各画像に写っている。観察者は、過去に撮像素子12によって生成された画像において処置具13が写っている領域を指定してもよい。その領域の画像がメモリに記憶されてもよい。
 プロセッサ41は、ステップS120において処置具13の各画像をメモリから読み出す。プロセッサ41は、第1の画像と処置具13の各画像とを照合する。あるいは、プロセッサ41は、第2の画像と処置具13の各画像とを照合する。これにより、プロセッサ41は、第1の画像または第2の画像において処置具13が写っている領域を特定する。プロセッサ41は、ステップS100aにおいて、処置具13が写っている領域のみを処理領域として設定する。
 プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
 プロセッサ41は、処置具13が写っている領域を処理領域として設定し、かつその領域の視差量を変更する。プロセッサ41は、処置具13が写っていない領域を処理領域として設定せず、かつその領域の視差量を変更しない。そのため、観察者が、立体画像において処置具13が写っていない領域に違和感を覚えにくい。
 (第3の実施形態の第1の変形例)
 本発明の第3の実施形態の第1の変形例を説明する。プロセッサ41は、道具検出ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方から検出する。プロセッサ41は、領域設定ステップにおいて、処置具13が検出された領域において処置具13の先端を含む先端領域を検出する。プロセッサ41は、処置具13が検出された領域から先端領域を除いた領域を処理領域として設定する。
 プロセッサ41は、前述した方法を使用することにより、ステップS120において、第1の画像または第2の画像において処置具13が写っている領域を特定する。また、プロセッサ41は、その領域において処置具13の先端を含む先端領域を検出する。例えば、先端領域は、処置具13の先端と、その先端から根元に向かって所定の距離だけ離れた位置との間の領域である。先端領域は、鉗子130のみを含む領域であってもよい。プロセッサ41は、処置具13が写っている領域から先端領域を除いた領域を処理領域として設定する。処理領域は、シース131のみを含む領域であってもよい。
 第1の画像または第2の画像において処置具13の先端側の領域の視差量は変更されない。そのため、その領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
 (第3の実施形態の第2の変形例)
 本発明の第3の実施形態の第2の変形例を説明する。プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
 プロセッサ41は、ステップS120を実行しない。プロセッサ41は、ステップS100aにおいて、電子内視鏡2の種類、処置具13の種類、および処理領域の位置を関連付ける領域情報に基づいて処理領域を設定する。処理領域は、処置具13の全体から処置具13の先端を含む先端領域を除いた領域である。処理領域は、シース131のみを含む領域であってもよい。プロセッサ41が処理領域を設定する方法は、第1の実施形態の第4の変形例において説明した方法と同じである。
 プロセッサ41が第1の画像または第2の画像から処置具13を検出する必要はない。そのため、プロセッサ41が処置具13を検出するための画像処理を実行する場合と比較して、プロセッサ41の負荷が減る。
 (第3の実施形態の第3の変形例)
 本発明の第3の実施形態の第3の変形例を説明する。プロセッサ41は、道具検出ステップにおいて、処置具13の先端を含む先端領域を除いた処置具13の領域を第1の画像および第2の画像の少なくとも一方から検出する。プロセッサ41は、領域設定ステップにおいて、検出された領域を処理領域として設定する。
 例えば、処置具13の先端領域を除いた処置具13の部分は、所定の色を持つ。所定の色は、臓器または血管などのような被写体の色と異なり、かつ観察対象の色と異なる。例えば、シース131の根元を含む部分は、所定の色を持つ。シース131の全体が所定の色を持ってもよい。プロセッサ41は、ステップS120において、第1の画像および第2の画像の少なくとも一方において所定の色を持つ領域を検出する。プロセッサ41は、ステップS100aにおいて、検出された領域を処理領域として設定する。
 処置具13の先端領域を除いた処置具13の部分にマークが付けられていてもよい。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。プロセッサ41は、第1の画像および第2の画像の少なくとも一方においてマークを検出し、かつ検出されたマークを含む領域を処理領域として設定してもよい。
 処置具13の先端領域を除いた処置具13の部分に所定の模様が付けられていてもよい。処置具13は、根元を含み模様が付けられている部分と、模様が付けられていない部分とを有してもよい。処置具13は、根元を含み第1の模様が付けられている部分と、第1の模様と異なる第2の模様が付けられている部分とを有してもよい。模様が付けられている部分は、シース131の全体または一部であってもよい。プロセッサ41は、第1の画像および第2の画像の少なくとも一方において所定の模様を検出し、かつ検出された模様を含む領域を処理領域として設定してもよい。
 処置具13の先端領域を除いた処置具13の部分は、処置具13の他の部分と区別できるように構成されている。そのため、プロセッサ41が処理領域として設定する処置具13の領域を検出する精度が高まる。
 (第4の実施形態)
 本発明の第4の実施形態を説明する。プロセッサ41は、観察の状況に応じて異なる第1の領域の位置を判断する。
 例えば、画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、第1の画像および第2の画像を生成する画像生成装置の種類に基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
 観察対象の位置は、被写体である部位に応じて異なる場合がある。部位の種類と、その部位に挿入できる電子内視鏡2の種類とは、固定されていることが多い。したがって、観察対象の位置は、電子内視鏡2の種類に応じて異なることが多い。
 図19を参照し、プロセッサ41が実行する処理を説明する。図19は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 プロセッサ41は、図8に示すステップS100を実行しない。プロセッサ41は、第1の領域の位置を判断し、かつ第1の領域を除く領域を処理領域として設定する(ステップS125(領域設定ステップ))。ステップS125の後、ステップS105が実行される。ステップS125およびステップS105が実行される順番は、図8に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS125が実行されてもよい。
 ステップS125の詳細を説明する。ステップS125が実行される前、電子内視鏡2の種類および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
 図20は、領域情報の例を示す。領域情報は、情報E1および情報E4を含む。情報E1は、電子内視鏡2の種類を示す。情報E4は、第1の領域の位置を示す。情報E4は、第1の領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。第1の領域の大きさが常に固定されている場合、情報E4は、第1の領域の大きさを示す情報を含まなくてもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
 図20に示す例では、電子内視鏡F1および第1の領域I1が関連付けられている。図20に示す例では、電子内視鏡F2および第1の領域I2が関連付けられている。図20に示す例では、電子内視鏡F3および第1の領域I3が関連付けられている。
 プロセッサ41は、第1の実施形態の第4の変形例で説明した方法を使用することにより、使用されている電子内視鏡2の種類を判断する。プロセッサ41は、使用されている電子内視鏡2に対応する第1の領域の情報を領域情報から抽出する。例えば、電子内視鏡F2が使用されている場合、プロセッサ41は、第1の領域I2の情報を抽出する。プロセッサ41は、抽出された情報が示す位置を第1の領域の位置とみなし、かつ第1の領域を除く領域を処理領域として設定する。
 プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
 プロセッサ41は、電子内視鏡2の種類に応じて異なる第1の領域の位置に基づいて処理領域を適切な位置に設定することができる。
 (第4の実施形態の変形例)
 本発明の第4の実施形態の変形例を説明する。第1の領域の位置を判断する他の方法を説明する。
 プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と撮像倍率とに基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
 前述したように、観察対象の位置は、電子内視鏡2の種類に応じて異なることが多い。また、観察対象の大きさは、撮像倍率に応じて異なる。撮像倍率が高いとき、観察対象は大きく画像に写る。撮像倍率が低いとき、観察対象は小さく画像に写る。
 例えば、ステップS125が実行される前、電子内視鏡2の種類、撮像倍率、および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
 図21は、領域情報の例を示す。領域情報は、情報E1、情報E5、および情報E4を含む。情報E1は、電子内視鏡2の種類を示す。情報E5は、撮像倍率を示す。情報E4は、第1の領域の位置を示す。例えば、情報E4は、撮像倍率に応じて異なる第1の領域の外周の位置を示す情報を含む。情報E4は、第1の領域の形状を示す情報を含んでもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
 図21に示す例では、電子内視鏡F1、撮像倍率J1、および第1の領域I4が関連付けられている。図21に示す例では、電子内視鏡F1、撮像倍率J2、および第1の領域I5が関連付けられている。図21に示す例では、電子内視鏡F2、撮像倍率J1、および第1の領域I6が関連付けられている。図21に示す例では、電子内視鏡F2、撮像倍率J2、および第1の領域I7が関連付けられている。
 領域情報は、図21に示す情報に加えて、処置具13の種類を示す情報を含んでもよい。領域情報は、電子内視鏡2の種類を示す情報を含まずに処置具13の種類を示す情報と撮像倍率とを含んでもよい。プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類と撮像倍率との少なくとも1つに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか1つのみに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか2つの組み合わせに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率との全てに基づいて第1の領域の位置を判断してもよい。
 第1の実施形態の第4の変形例または第2の実施形態の第2の変形例において、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類と撮像倍率との少なくとも1つに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか1つのみに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか2つの組み合わせに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率との全てに基づいて処理領域を設定してもよい。
 プロセッサ41は、第1の実施形態の第4の変形例で説明した方法を使用することにより、使用されている電子内視鏡2の種類を判断する。また、プロセッサ41は、使用されている撮像倍率の情報を撮像素子12から取得する。
 プロセッサ41は、使用されている電子内視鏡2および撮像倍率に対応する第1の領域の情報を領域情報から抽出する。例えば、電子内視鏡F2および撮像倍率J1が使用されている場合、プロセッサ41は、第1の領域I6の情報を抽出する。プロセッサ41は、抽出された情報が示す位置を第1の領域の位置とみなし、かつ第1の領域を除く領域を処理領域として設定する。
 プロセッサ41は、電子内視鏡2の種類および撮像倍率に応じて異なる第1の領域の位置に基づいて処理領域を適切な位置に設定することができる。
 (第5の実施形態)
 本発明の第5の実施形態を説明する。第1の領域の位置に基づいて処理領域を設定する他の方法を説明する。
 画像処理ステップの前に、プロセッサ41は、観察対象検出ステップにおいて、観察対象を第1の画像および第2の画像の少なくとも一方から検出する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、観察対象が検出された領域を第1の領域とみなし、かつ第1の領域を除く領域を処理領域として設定する。
 図22を参照し、プロセッサ41が実行する処理を説明する。図22は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、観察対象を第1の画像および第2の画像の少なくとも一方から検出する(ステップS130(観察対象検出ステップ))。ステップS130の詳細を説明する。プロセッサ41は、第1の画像に含まれる各画素の視差量を算出する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。例えば、プロセッサ41は、ステレオマッチングを使用することにより各画素の視差量を算出する。
 プロセッサ41は、各画素の視差量に基づいて観察対象が写っている画素を検出する。例えば、観察対象が凸部または凹部である場合、観察対象が写っている画素の視差量は、観察対象の周辺の被写体が写っている画素の視差量と異なる。プロセッサ41は、第1の画像に含まれる全ての画素の視差量の分布に基づいて、観察対象が写っている画素を検出する。プロセッサ41は、第1の画像の周辺部を除く領域のみに含まれる画素の視差量の分布に基づいて、観察対象が写っている画素を検出してもよい。
 プロセッサ41は、検出された画素を含む領域を第1の領域とみなす。例えば、第1の領域は、観察対象が写っている領域と、その周辺の領域とを含む。例えば、観察対象の周辺の領域は、観察対象の外周から所定の距離以内にある画素を含む。
 プロセッサ41は、上記の視差量の分布に基づいて、処置具13が写っている画素を検出してもよい。処置具13が写っている画素の視差量は、処置具13の周辺の被写体が写っている画素の視差量と異なる。処置具13は観察対象の手前に位置しているため、処置具13が写っている画素の視差量と、観察対象の周辺の被写体が写っている画素の視差量との差は大きい。そのため、プロセッサ41は、観察対象と処置具13とを区別することができる。プロセッサ41は、第1の領域から、処置具13が写っている画素を除いてもよい。
 処置具13が先端部10の端面から出ていないとき、処置具13は第1の画像および第2の画像に写っていない。このとき、プロセッサ41は、観察対象を第1の画像から検出してもよい。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
 ステップS130の後、プロセッサ41は、第1の領域を除く領域を処理領域として設定する(ステップS100b(領域設定ステップ))。ステップS100bの後、ステップS110が実行される。
 プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
 プロセッサ41は、観察対象を検出し、かつ観察対象の位置に基づいて処理領域を設定する。プロセッサ41は、観察対象に適した処理領域を設定することができる。
 (第5の実施形態の第1の変形例)
 本発明の第5の実施形態の第1の変形例を説明する。観察対象を検出する他の方法を説明する。
 プロセッサ41は、観察対象検出ステップにおいて、第1の画像に含まれる全ての画素の色の分布を生成する。観察対象の色合いは、観察対象の周辺の被写体の色合いと異なっていることが多い。プロセッサ41は、生成された分布に基づいて、観察対象が写っている画素を検出する。プロセッサ41は、第1の画像の周辺部を除く領域のみに含まれる画素の色の分布に基づいて、観察対象が写っている画素を検出してもよい。
 プロセッサ41は、上記の色の分布に基づいて、処置具13が写っている画素を検出してもよい。処置具13が、観察対象の色と異なる所定の色を持つ場合、プロセッサ41は、観察対象と処置具13とを区別することができる。プロセッサ41は、第1の領域から、処置具13が写っている画素を除いてもよい。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
 プロセッサ41は、画像における色の情報に基づいて観察対象を検出する。プロセッサ41が視差量の分布に基づいて観察対象を検出する場合と比較して、観察対象を検出する処理におけるプロセッサ41の負荷が減る。プロセッサ41は、処置具13が写っている画素を第1の領域から除くことができる。
 (第5の実施形態の第2の変形例)
 本発明の第5の実施形態の第1の変形例を説明する。観察対象を検出する他の方法を説明する。
 内視鏡装置1は、特殊光観察の機能を有する。内視鏡装置1は、所定の狭い幅の波長を含む波長帯域の光(狭帯域光)を生体の粘膜組織に照射する。内視鏡装置1は、生体組織において所望の深さにある組織の情報を得る。例えば、特殊光観察において観察対象が癌組織である場合、組織の表層の観察に適した青色の狭帯域光が粘膜組織に照射される。このとき、内視鏡装置1は、組織の表層の微細血管を詳細に観察することができる。
 ステップS105が実行される前、光源装置3の光源は青の狭帯域光を発生する。例えば、青の狭帯域の中心波長は、405nmである。撮像素子12は、狭帯域光が照射された被写体を撮像し、第1の画像および第2の画像を生成する。プロセッサ41は、ステップS105において、第1の画像および第2の画像を撮像素子12から取得する。ステップS105が実行された後、光源装置3は白色光を発生してもよい。
 ステップS130が実行される前、観察対象である患部の血管パターンを示すパターン情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS130においてパターン情報をメモリから読み出す。プロセッサ41は、パターン情報を内視鏡装置1と異なる装置から取得してもよい。
 癌が発症すると、患部の微細血管などにおいて、健常な部位には見られない特有の血管が生成される。癌に起因して生成される血管の形状は、癌の進達度に応じた特有のパターンを持つ。パターン情報は、このようなパターンを示す。
 プロセッサ41は、ステップS130において、パターン情報が示すパターンと類似するパターンを持つ領域を第1の画像から検出する。プロセッサ41は、検出された領域を観察対象とみなす。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
 プロセッサ41は、患部の血管パターンに基づいて観察対象を検出する。そのため、プロセッサ41は、観察対象を高精度に検出することができる。
 (第6の実施形態)
 本発明の第6の実施形態を説明する。第1の領域の位置に基づいて処理領域を設定する他の方法を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、観察者によって操作部22に入力された情報に基づいて第1の領域の位置を判断し、かつ第1の領域を除く領域を処理領域として設定する。
 前述した図19を参照し、プロセッサ41が実行する処理を説明する。図8に示す処理と同じ処理の説明を省略する。
 観察者は、操作部22を操作し、第1の領域の位置を入力する。観察者は、第1の領域の位置に加えて、第1の領域の大きさまたは形状を入力してもよい。第1の領域の位置が固定されている場合、観察者は第1の領域の大きさまたは形状のみを入力してもよい。観察者は、操作部22以外の部分を操作することにより、必要な情報を入力してもよい。例えば、内視鏡装置1がタッチスクリーンを有する場合、観察者はそのタッチスクリーンを操作してもよい。画像処理装置4が操作部を有する場合、観察者はその操作部を操作してもよい。
 プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の位置を判断する。観察者が第1の領域の位置を入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなす。第1の領域の大きさおよび形状が固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあると判断することができる。
 観察者が第1の領域の位置および大きさを入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなし、かつ入力された大きさを第1の領域の大きさとみなす。第1の領域の形状が固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあり、かつ観察者によって指定された大きさを持つと判断することができる。
 観察者が第1の領域の位置および形状を入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなし、かつ入力された形状を第1の領域の形状とみなす。第1の領域の大きさが固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあり、かつ観察者によって指定された形状を持つと判断することができる。
 プロセッサ41は、上記の方法を使用することにより、第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
 プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の大きさを判断してもよい。例えば、観察者は第1の領域の大きさのみを入力し、プロセッサ41は、入力された大きさを第1の領域の大きさとみなしてもよい。第1の領域の位置および形状が固定されている場合、プロセッサ41は、第1の領域が観察者によって指定された大きさを持つと判断することができる。
 プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の形状を判断してもよい。例えば、観察者は第1の領域の形状のみを入力し、プロセッサ41は、入力された形状を第1の領域の形状とみなしてもよい。第1の領域の位置および大きさが固定されている場合、プロセッサ41は、第1の領域が観察者によって指定された形状を持つと判断することができる。
 観察者が入力できる情報は、位置、大きさ、および形状に限らない。上記の説明に示されていない項目を観察者が入力できてもよい。
 ステップS125が実行される前、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得し、かつ第1の画像および第2の画像をモニター5に出力してもよい。観察者は、表示された立体画像において第1の領域の位置を確認し、かつその位置を操作部22に入力してもよい。
 プロセッサ41は、操作部22に入力された情報に基づいて第1の領域の位置を判断し、かつその位置に基づいて処理領域を設定する。プロセッサ41は、観察者の要望または観察の状況に適した処理領域を設定することができる。プロセッサ41は、観察者が処置を施しやすくなるように画像を処理することができる。
 (第6の実施形態の変形例)
 本発明の第6の実施形態の変形例を説明する。観察者によって操作部22に入力された情報に基づいて第1の領域の位置を判断する他の方法を説明する。
 観察者は、操作部22を操作し、様々な情報を入力する。例えば、観察者は、体内の部位、患部の種類、患者の年齢、および患者の性別を入力する。プロセッサ41は、操作部22に入力された情報を取得する。
 例えば、ステップS125が実行される前、体内の部位、患部の種類、患者の年齢、患者の性別、および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
 図23は、領域情報の例を示す。領域情報は、情報E6、情報E7、情報E8、情報E9、および情報E4を含む。情報E6は、観察対象を含む部位を示す。情報E7は、観察対象である患部の種類を示す。情報E8は、患者の年齢を示す。情報E9は、患者の性別を示す。情報E4は、第1の領域の位置を示す。情報E4は、第1の領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。第1の領域の大きさが常に固定されている場合、情報E4は、第1の領域の大きさを示す情報を含まなくてもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
 図23に示す例では、部位K1、患部の種類L1、患者の年齢M1、患者の性別N1、および第1の領域I8が関連付けられている。図23に示す例では、部位K2、患部の種類L2、患者の年齢M2、患者の性別N1、および第1の領域I9が関連付けられている。図23に示す例では、部位K3、患部の種類L3、患者の年齢M3、患者の性別N2、および第1の領域I10が関連付けられている。
 プロセッサ41は、操作部22に入力された情報に対応する第1の領域の情報を領域情報から抽出する。例えば、部位K2、患部の種類L2、患者の年齢M2、および患者の性別N1が操作部22に入力された場合、プロセッサ41は、第1の領域I9の情報を抽出する。プロセッサ41は、抽出された情報に基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
 観察者が入力できる情報は、図23に示す情報に限らない。上記の説明に示されていない項目を観察者が入力できてもよい。
 プロセッサ41は、操作部22に入力された様々な情報に基づいて第1の領域の位置を判断し、かつその位置に基づいて処理領域を設定する。プロセッサ41は、観察の状況に適した処理領域を設定することができる。観察者が電子内視鏡2の操作に慣れていない場合、あるいは処置具13を使用する処置に慣れていない場合であっても、プロセッサ41は、観察者が処置を施しやすくなるように画像を処理することができる。
 (第7の実施形態)
 本発明の第7の実施形態を説明する。第7の実施形態の画像処理装置4は、2つの画像処理モードを有する。画像処理装置4は、疲労軽減モード(第1のモード)および通常モード(第2のモード)のいずれか1つで動作する。プロセッサ41は、モード選択ステップにおいて、疲労軽減モードおよび通常モードの一方を選択する。以下の例では、プロセッサ41は、観察者によって操作部22に入力された情報に基づいて疲労軽減モードおよび通常モードの一方を選択する。
 図24を参照し、プロセッサ41が実行する処理を説明する。図24は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図24に示す処理を実行する。
 プロセッサ41は、通常モードを選択する(ステップS140(モード選択ステップ))。通常モードを示す情報が、図3に示されていないメモリに記憶される。プロセッサ41は、その情報に従って、通常モードで規定されている処理を実行する。
 ステップS140の後、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得する(ステップS145(画像取得ステップ))。
 ステップS145の後、プロセッサ41は、ステップS145において取得された第1の画像および第2の画像をモニター5に出力する(ステップS150(第2の画像出力ステップ))。プロセッサ41は、第1の画像および第2の画像を、図4に示す受信装置6に出力してもよい。プロセッサ41がステップS140において通常モードを選択した場合、ステップS145およびステップS150が実行される。プロセッサ41は、処理領域の視差量を変更しない。
 ステップS140およびステップS145が実行される順番は、図24に示す順番と異なっていてもよい。つまり、ステップS145が実行された後、ステップS140が実行されてもよい。
 観察者は、操作部22を操作することにより、画像処理モードの変更を示す情報を入力することができる。例えば、挿入部21が体内に挿入され、先端部10が観察対象の近傍に配置されたとき、観察者は処置を開始するために、画像処理モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
 ステップS150の後、プロセッサ41は、操作部22を監視し、かつ画像処理モードの変更が指示されたか否かを判断する(ステップS155)。画像処理モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、画像処理モードの変更が指示されたと判断する。画像処理モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、画像処理モードの変更が指示されていないと判断する。
 画像処理モードの変更が指示されていないとプロセッサ41がステップS155において判断した場合、ステップS145が実行される。画像処理モードの変更が指示されたとプロセッサ41がステップS155において判断した場合、プロセッサ41は、疲労軽減モードを選択する(ステップS160(モード選択ステップ))。疲労軽減モードを示す情報が、図3に示されていないメモリに記憶される。プロセッサ41は、その情報に従って、疲労軽減モードで規定されている処理を実行する。ステップS160の後、ステップS100が実行される。プロセッサ41がステップS160において疲労軽減モードを選択した場合、ステップS100、ステップS105、ステップS110、およびステップS115が実行される。
 ステップS160、ステップS100、およびステップS105が実行される順番は、図24に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS160およびステップS100が実行されてもよい。
 例えば、処置具13を使用する処置が終了したとき、観察者は挿入部21を引き抜くために、画像処理モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
 ステップS115の後、プロセッサ41は、操作部22を監視し、かつ画像処理モードの変更が指示されたか否かを判断する(ステップS165)。ステップS165は、ステップS155と同じである。
 画像処理モードの変更が指示されていないとプロセッサ41がステップS165において判断した場合、ステップS105が実行される。画像処理モードの変更が指示されたとプロセッサ41がステップS165において判断した場合、ステップS140が実行される。プロセッサ41は、ステップS140において通常モードを選択する。
 上記の例では、観察者は、操作部22を操作することにより、画像処理モードの変更を画像処理装置4に指示する。観察者は、上記の方法と異なる方法を使用することにより、画像処理モードの変更を画像処理装置4に指示してもよい。例えば、観察者は、音声入力を使用することにより、画像処理モードの変更を画像処理装置4に指示してもよい。
 図24に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図24に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図24に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図24に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41が疲労軽減モードを選択した場合、プロセッサ41は、処理領域の視差量の変更を実行する。そのため、観察者の目に生じる疲労は軽減される。プロセッサ41が通常モードを選択した場合、プロセッサ41は、処理領域の視差量の変更を実行しない。そのため、観察者は、見慣れた画像を観察に使用することができる。処理領域の視差量の変更が必要なときのみ、プロセッサ41は、処理領域の視差量を変更する。そのため、プロセッサ41の負荷が減る。
 (第7の実施形態の第1の変形例)
 本発明の第7の実施形態の第1の変形例を説明する。プロセッサ41は、モード選択ステップにおいて、疲労軽減モードおよび通常モードの一方を自動で選択する。
 内視鏡装置1は、2つの表示モードを有する。内視鏡装置1は、3D表示モードと2D表示モードとの一方で画像を表示する。3D表示モードは、立体画像(3次元画像)をモニター5に表示するモードである。2D表示モードは、2次元画像をモニター5に表示するモードである。内視鏡装置1が3D表示モードで動作している場合、プロセッサ41は疲労軽減モードを選択する。内視鏡装置1が2D表示モードで動作している場合、プロセッサ41は通常モードを選択する。
 図25を参照し、プロセッサ41が実行する処理を説明する。図25は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図25に示す処理を実行する。このとき、内視鏡装置1は、2D表示モードで動作を開始する。
 ステップS145の後、プロセッサ41は、ステップS145において取得された第1の画像をモニター5に出力する(ステップS150a)。モニター5は、第1の画像を表示する。
 プロセッサ41は、ステップS150aにおいて第2の画像をモニター5に出力してもよい。この場合、モニター5は、第2の画像を表示する。プロセッサ41は、ステップS150aにおいて第1の画像および第2の画像をモニター5に出力してもよい。この場合、例えばモニター5は第1の画像および第2の画像を横方向または縦方向に並べて表示する。
 撮像素子12が第1の画像および第2の画像を順次に出力する場合、プロセッサ41はステップS145において第1の画像を取得し、かつステップS150aにおいて第1の画像をモニター5に出力してもよい。あるいは、プロセッサ41はステップS145において第2の画像を取得し、かつステップS150aにおいて第2の画像をモニター5に出力してもよい。
 観察者は、操作部22を操作することにより、表示モードの変更を示す情報を入力することができる。例えば、挿入部21が体内に挿入され、先端部10が観察対象の近傍に配置されたとき、観察者は、立体画像を使用する観察を開始するために、表示モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
 ステップS150aの後、プロセッサ41は、表示モードが3Dモードに変更されたか否かを判断する(ステップS155a)。表示モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、表示モードが3Dモードに変更されたと判断する。表示モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、表示モードが3Dモードに変更されていないと判断する。
 表示モードが3Dモードに変更されていないとプロセッサ41がステップS155aにおいて判断した場合、ステップS145が実行される。表示モードが3Dモードに変更されたとプロセッサ41がステップS155aにおいて判断した場合、ステップS160が実行される。
 例えば、処置具13を使用する処置が終了したとき、観察者は、2次元画像を使用する観察を開始するために、表示モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
 ステップS115の後、プロセッサ41は、表示モードが2Dモードに変更されたか否かを判断する(ステップS165a)。表示モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、表示モードが2Dモードに変更されたと判断する。表示モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、表示モードが2Dモードに変更されていないと判断する。
 表示モードが2Dモードに変更されていないとプロセッサ41がステップS165aにおいて判断した場合、ステップS105が実行される。表示モードが2Dモードに変更されたとプロセッサ41がステップS165aにおいて判断した場合、ステップS140が実行される。
 上記の例では、観察者は、操作部22を操作することにより、表示モードの変更を内視鏡装置1に指示する。観察者は、上記の方法と異なる方法を使用することにより、表示モードの変更を内視鏡装置1に指示してもよい。例えば、観察者は、音声入力を使用することにより、表示モードの変更を内視鏡装置1に指示してもよい。
 図25に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図25に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図25に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図25に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41は、表示モードの設定に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。
 (第7の実施形態の第2の変形例)
 本発明の第7の実施形態の第2の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
 プロセッサ41は、第1の動き検出ステップにおいて、撮像素子12の動きの状態を検出する。プロセッサ41は、モード選択ステップにおいて、撮像素子12の動きの状態に基づいて疲労軽減モードおよび通常モードの一方を選択する。
 通常モードが選択された場合、観察者は見慣れた画像を観察することができる。観察者が、目を疲労させる処置具13を使用して処置を施すとき、疲労軽減モードが必要である。疲労軽減モードが必要なときのみ、プロセッサ41は疲労軽減モードを選択する。挿入部21が体内で固定されたとき、観察者が処置具13を使用して処置を施す可能性が高い。挿入部21が体内で固定されたとき、撮像素子12が被写体に対して相対的に静止する。撮像素子12が静止したとき、プロセッサ41は画像処理モードを通常モードから疲労軽減モードに切り替える。
 処置具13を使用する処置が完了した後、観察者は挿入部21を引き抜く可能性が高い。そのため、挿入部21は体内で移動する可能性が高い。挿入部21が体内で移動しているとき、撮像素子12は被写体に対して相対的に移動する。撮像素子12が移動し始めたとき、プロセッサ41は画像処理モードを疲労軽減モードから通常モードに切り替える。
 図26を参照し、プロセッサ41が実行する処理を説明する。図26は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
 ステップS145の後、プロセッサ41は撮像素子12の動きの状態を検出する(ステップS170(第1の動き検出ステップ))。ステップS170の詳細を説明する。例えば、プロセッサ41は、連続する2フレームの第1の画像または第2の画像の間の動き量を算出する。その動き量は、撮像素子12の動きの状態を示す。撮像素子12が動いている場合、その動き量は大きい。撮像素子12が静止している場合、その動き量は小さい。プロセッサ41は、所定時間内の動き量の合計を算出してもよい。ステップS170の後、ステップS150が実行される。
 ステップS170およびステップS150が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS170が実行されてもよい。
 ステップS150の後、プロセッサ41は、撮像素子12が静止しているか否かを判断する(ステップS175)。ステップS170において算出された動き量が所定量よりも小さい場合、プロセッサ41は、撮像素子12が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。ステップS170において算出された動き量が所定量以上である場合、プロセッサ41は、撮像素子12が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。例えば、所定量は、撮像素子12が静止している状態と、撮像素子12が動いている状態とを区別できるような小さな正の値である。ステップS170において算出された動き量が所定量以上である状態が所定時間以上継続した場合のみ、プロセッサ41は、撮像素子12が静止していると判断してもよい。
 撮像素子12が動いているとプロセッサ41がステップS175において判断した場合、ステップS145が実行される。撮像素子12が静止しているとプロセッサ41がステップS175において判断した場合、ステップS160が実行される。
 ステップS105の後、プロセッサ41は撮像素子12の動きの状態を検出する(ステップS180(第1の動き検出ステップ))。ステップS180は、ステップS170と同じである。ステップS180の後、ステップS110が実行される。
 ステップS180およびステップS110が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS110が実行された後、ステップS180が実行されてもよい。ステップS180およびステップS115が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS115が実行された後、ステップS180が実行されてもよい。
 ステップS115の後、プロセッサ41は、撮像素子12が動いているか否かを判断する(ステップS185)。ステップS180において算出された動き量が所定量よりも大きい場合、プロセッサ41は、撮像素子12が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS180において算出された動き量が所定量以下である場合、プロセッサ41は、撮像素子12が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS185において使用される所定量は、ステップS175において使用される所定量と同じである。
 撮像素子12が静止しているとプロセッサ41がステップS185において判断した場合、ステップS105が実行される。撮像素子12が動いているとプロセッサ41がステップS185において判断した場合、ステップS140が実行される。
 上記の例では、プロセッサ41は、第1の画像および第2の画像の少なくとも一方に基づいて撮像素子12の動きの状態を検出する。プロセッサ41は、上記の方法と異なる方法を使用することにより、撮像素子12の動きの状態を検出してもよい。例えば、先端部10の加速度を検出する加速度センサが先端部10の内部に配置されてもよい。プロセッサ41は、加速度センサによって検出された加速度に基づいて撮像素子12の動きの状態を検出してもよい。挿入部21は、患者の口に配置されたマウスピースから体内に挿入される場合がある。挿入部21が挿入されるマウスピース等に、挿入部21の動きを検出するエンコーダが配置されてもよい。プロセッサ41は、エンコーダによって検出された挿入部21の動きに基づいて撮像素子12の動きの状態を検出してもよい。
 図26に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図26に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図26に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図26に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41は、撮像素子12の動きの状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。
 (第7の実施形態の第3の変形例)
 本発明の第7の実施形態の第3の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
 プロセッサ41は、探索ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方において探索する。プロセッサ41が探索ステップにおいて処置具13を第1の画像および第2の画像の少なくとも一方から検出できた場合、プロセッサ41は、モード選択ステップにおいて疲労軽減モードを選択する。プロセッサ41が探索ステップにおいて処置具13を第1の画像および第2の画像の少なくとも一方から検出できなかった場合、プロセッサ41は、モード選択ステップにおいて通常モードを選択する。
 処置具13によって処置が施されているときに挿入部21が移動する必要がある場合がある。そのため、撮像素子12が動いている場合であっても、処置の実施が継続している可能性がある。プロセッサ41は、処置具13が第1の画像または第2の画像に写っているか否かに応じて、画像処理モードを切り替える。
 図27を参照し、プロセッサ41が実行する処理を説明する。図27は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
 処置具13において処置具13の先端を含む先端領域にマークが付けられている。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。
 ステップS145の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方において探索する(ステップS190(探索ステップ))。例えば、プロセッサ41は、ステップS190において、処置具13に付けられたマークを第1の画像において探索する。プロセッサ41は、そのマークを第2の画像において探索してもよい。ステップS190の後、ステップS150が実行される。
 ステップS190およびステップS150が実行される順番は、図27に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS190が実行されてもよい。
 ステップS150の後、プロセッサ41は、処置具13が画像において検出されたか否かを判断する(ステップS195)。例えば、処置具13に付けられたマークが第1の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断する。その場合、処置具13を使用する処置が準備されている、またはその処置が実施されている可能性が高い。
 処置具13に付けられたマークが第2の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断してもよい。そのマークが第1の画像および第2の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断してもよい。
 処置具13に付けられたマークが第1の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断する。その場合、処置具13が使用されていない可能性が高い。処置具13に付けられたマークが第2の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断してもよい。そのマークが第1の画像および第2の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断してもよい。
 処置具13が画像において検出されないとプロセッサ41がステップS195において判断した場合、ステップS145が実行される。処置具13が画像において検出されたとプロセッサ41がステップS195において判断した場合、ステップS160が実行される。
 ステップS105の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方において探索する(ステップS200(探索ステップ))。ステップS200は、ステップS190と同じである。ステップS200の後、ステップS110が実行される。
 ステップS115の後、プロセッサ41は、処置具13が画像において検出されたか否かを判断する(ステップS205)。ステップS205は、ステップS195と同じである。処置具13を使用する処置が終了した後、観察者は処置具13を挿入部21内に戻すことが多い。そのため、処置具13は画像に写らない。
 処置具13が画像において検出されたとプロセッサ41がステップS205において判断した場合、ステップS105が実行される。その場合、処置具13を使用する処置が実施されている可能性が高い。そのため、プロセッサ41は、疲労軽減モードにおける処理を継続する。処置具13が画像において検出されないとプロセッサ41がステップS205において判断した場合、ステップS140が実行される。その場合、処置具13を使用する処置が終了した可能性が高い。そのため、プロセッサ41は、ステップS140において通常モードにおける処理を開始する。
 上記の例では、プロセッサ41は、処置具13に付けられたマークを第1の画像および第2の画像の少なくとも一方において探索する。処置具13の先端領域は、所定の色を持ってもよい。所定の色は、臓器または血管などのような被写体の色と異なる。プロセッサ41は、所定の色を第1の画像および第2の画像の少なくとも一方において探索してもよい。処置具13の先端領域に所定の模様が付けられていてもよい。プロセッサ41は、処置具13に付けられた模様を第1の画像および第2の画像の少なくとも一方において探索してもよい。プロセッサ41は、鉗子130の形状を第1の画像および第2の画像の少なくとも一方において探索してもよい。
 図27に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図27に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図27に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図27に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処置具13の状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。処置具13を使用する処置が実施されているとき、プロセッサ41は疲労軽減モードを確実に選択することができる。
 (第7の実施形態の第4の変形例)
 本発明の第7の実施形態の第4の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
 プロセッサ41は、距離算出ステップにおいて、第1の画像および前記第2の画像の一方における基準位置と処置具13との間の距離を算出する。プロセッサ41は、モード選択ステップにおいて、その距離に基づいて疲労軽減モードおよび通常モードの一方を選択する。
 疲労軽減モードが設定されているとき、処置具13の光学像は立体画像において実際の位置よりも奥側に表示される。そのため、観察者は処置具13の実際の位置を判断しにくいことがある。疲労軽減モードが設定されている場合、観察者が処置具13を観察対象に近づけることが難しいことがある。処置具13が観察対象に十分近づいた場合、プロセッサ41は疲労軽減モードを選択する。
 図28を参照し、プロセッサ41が実行する処理を説明する。図28は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
 処置具13において処置具13の先端を含む先端領域にマークが付けられている。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。
 ステップS145の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS210(距離算出ステップ))。例えば、その基準位置は、第1の画像または第2の画像の中心である。プロセッサ41は、ステップS210において、処置具13に付けられたマークを第1の画像において検出し、かつ第1の画像の基準位置とそのマークとの間の2次元距離を算出する。プロセッサ41は、ステップS210において、処置具13に付けられたマークを第2の画像において検出し、かつ第2の画像の基準位置とそのマークとの間の2次元距離を算出してもよい。ステップS210の後、ステップS150が実行される。
 ステップS210およびステップS150が実行される順番は、図28に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS210が実行されてもよい。
 ステップS150の後、プロセッサ41は、処置具13が観察対象に近づいたか否かを判断する(ステップS215)。例えば、ステップS210において算出された距離が所定値よりも小さい場合、プロセッサ41は、処置具13が観察対象に近づいたと判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。ステップS210において算出された距離が所定値以上である場合、プロセッサ41は、処置具13が観察対象に近づいていないと判断する。その場合、処置具13が使用されていない可能性が高い。例えば、所定値は、撮像素子12が観察対象に近づいた状態と、撮像素子12が観察対象から離れている状態とを区別できるような小さな正の値である。
 処置具13が第1の画像および第2の画像に写っていない場合、プロセッサ41は、ステップS210において距離を算出することができない。その場合、プロセッサ41は、ステップS215において、処置具13が観察対象に近づいていないと判断してもよい。
 処置具13が観察対象に近づいていないとプロセッサ41がステップS215において判断した場合、ステップS145が実行される。処置具13が観察対象に近づいたとプロセッサ41がステップS215において判断した場合、ステップS160が実行される。
 ステップS105の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS220(距離算出ステップ))。ステップS220は、ステップS210と同じである。ステップS220の後、ステップS110が実行される。
 ステップS115の後、プロセッサ41は、処置具13が観察対象から離れたか否かを判断する(ステップS225)。例えば、ステップS220において算出された距離が所定値よりも大きい場合、プロセッサ41は、処置具13が観察対象から離れたと判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS220において算出された距離が所定値以下である場合、プロセッサ41は、処置具13が観察対象から離れていないと判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS225において使用される所定値は、ステップS215において使用される所定値と同じである。
 処置具13が第1の画像および第2の画像に写っていない場合、プロセッサ41は、ステップS220において距離を算出することができない。その場合、プロセッサ41は、ステップS225において、処置具13が観察対象から離れたと判断してもよい。
 処置具13が観察対象から離れていないとプロセッサ41がステップS225において判断した場合、ステップS105が実行される。処置具13が観察対象から離れたとプロセッサ41がステップS225において判断した場合、ステップS140が実行される。
 上記の例では、プロセッサ41は、処置具13に付けられたマークを第1の画像または第2の画像において検出する。また、プロセッサ41は、そのマークが検出された領域と基準位置との間の距離を算出する。
 処置具13の先端領域は、所定の色を持ってもよい。所定の色は、臓器または血管などのような被写体の色と異なる。プロセッサ41は、所定の色を第1の画像または第2の画像において検出してもよい。プロセッサ41は、所定の色が検出された領域と基準位置との間の距離を算出してもよい。
 処置具13の先端領域に所定の模様が付けられていてもよい。プロセッサ41は、処置具13に付けられた模様を第1の画像または第2の画像において検出してもよい。プロセッサ41は、その模様が検出された領域と基準位置との間の距離を算出してもよい。
 プロセッサ41は、鉗子130の形状を第1の画像または第2の画像において検出してもよい。プロセッサ41は、鉗子130の先端と基準位置との間の距離を算出してもよい。
 図28に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図28に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図28に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図28に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41は、第1の画像および第2の画像の一方における基準位置と処置具13との間の距離に基づいて、疲労軽減モードおよび通常モードの一方を選択する。処置具13が観察対象に近づいたとき、プロセッサ41は疲労軽減モードを確実に選択することができる。
 (第7の実施形態の第5の変形例)
 本発明の第7の実施形態の第5の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
 図29は、画像処理装置4の周辺の構成を示す。図3に示す構成と同じ構成の説明を省略する。
 内視鏡装置1は、エンコーダ16をさらに有する。エンコーダ16は、挿入部21の内部に配置されている。エンコーダ16は、挿入部21の軸方向に沿ったシース131の動きを検出する。例えば、エンコーダ16は、シース131の移動距離を所定の時間間隔で検出することにより、シース131の速さを検出する。エンコーダ16は、検出された速さをプロセッサ41に出力する。
 プロセッサ41は、第2の動き検出ステップにおいて、処置具13の動きの状態を検出する。プロセッサ41は、モード選択ステップにおいて、処置具13の動きの状態に基づいて疲労軽減モードおよび通常モードの一方を選択する。
 図30を参照し、プロセッサ41が実行する処理を説明する。図30は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、処置具13が挿入部21内のチャネルに挿入されたとき、プロセッサ41は、図30に示す処理を実行する。プロセッサ41は、エンコーダ16によって検出されたシース131の速さに基づいて、そのチャネルへの処置具13の挿入を検出することができる。
 ステップS145の後、プロセッサ41はシース131の速さをエンコーダ16から取得する(ステップS230(第2の動き検出ステップ))。ステップS230の後、ステップS150が実行される。
 ステップS230およびステップS145が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS230が実行された後、ステップS145が実行されてもよい。ステップS230およびステップS150が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS230が実行されてもよい。
 ステップS150の後、プロセッサ41は、処置具13が静止しているか否かを判断する(ステップS235)。ステップS230において取得されたシース131の速さが所定値よりも小さい場合、プロセッサ41は、処置具13が静止していると判断する。その場合、処置具13が観察対象に十分近づき、処置が実施されている可能性が高い。ステップS230において取得されたシース131の速さが所定値以上である場合、プロセッサ41は、処置具13が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。例えば、所定値は、処置具13が静止している状態と、処置具13が動いている状態とを区別できるような小さな正の値である。
 処置具13が動いているとプロセッサ41がステップS235において判断した場合、ステップS145が実行される。処置具13が静止しているとプロセッサ41がステップS235において判断した場合、ステップS160が実行される。
 ステップS105の後、プロセッサ41はシース131の速さをエンコーダ16から取得する(ステップS240(第2の動き検出ステップ))。ステップS240は、ステップS230と同じである。ステップS240の後、ステップS110が実行される。
 ステップS240およびステップS105が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS240が実行された後、ステップS105が実行されてもよい。ステップS240およびステップS110が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS110が実行された後、ステップS240が実行されてもよい。ステップS240およびステップS115が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS115が実行された後、ステップS240が実行されてもよい。
 ステップS115の後、プロセッサ41は、処置具13が動いているか否かを判断する(ステップS245)。ステップS240において取得されたシース131の速さが所定値よりも大きい場合、プロセッサ41は、処置具13が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS240において取得されたシース131の速さが所定値以下である場合、プロセッサ41は、処置具13が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS245において使用される所定値は、ステップS235において使用される所定値と同じである。
 処置具13が静止しているとプロセッサ41がステップS245において判断した場合、ステップS105が実行される。処置具13が動いているとプロセッサ41がステップS245において判断した場合、ステップS140が実行される。
 上記の例では、プロセッサ41は、エンコーダ16によって検出されたシース131の速さに基づいて処置具13の動きの状態を検出する。プロセッサ41は、上記の方法と異なる方法を使用することにより、処置具13の動きの状態を検出してもよい。例えば、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方から検出してもよい。プロセッサ41は、連続する2フレーム以上における処置具13の動き量を算出することにより、処置具13の動きの状態を検出してもよい。
 図30に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図30に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図30に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図30に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 プロセッサ41は、処置具13の動きの状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。エンコーダ16がシース131の速さを検出するため、プロセッサ41は、処置具13を検出するために画像処理を実行する必要がない。そのため、プロセッサ41の負荷が減る。
 (第7の実施形態の第6の変形例)
 本発明の第7の実施形態の第6の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
 疲労軽減モードが設定されているとき、処置具13の光学像は立体画像において実際の位置よりも奥側に表示される。そのため、観察者は処置具13の実際の位置を判断しにくいことがある。疲労軽減モードが設定されている場合、観察者が処置具13を観察対象に近づけることが難しいことがある。観察者が処置具13を観察対象に近づけるとき、画像処理モードは通常モードであってもよい。一方、処置具13が観察対象から離れるとき、画像の見やすさは操作に影響を与えにくい。そのとき、画像処理モードは疲労軽減モードであってもよい。以下の例では、処置具13が観察対象に近づくときと、処置具13が観察対象から離れるときとで、画像処理モードを切り替えるための条件が異なる。
 図31を参照し、プロセッサ41が実行する処理を説明する。図31は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図31に示す処理を実行する。このとき、内視鏡装置1は、2D表示モードで動作を開始する。
 ステップS145の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS210)。図31に示すステップS210は、図28に示すステップS210と同じである。
 ステップS150の後、プロセッサ41は、処置具13が観察対象に近づいたか否かを判断する(ステップS215)。図31に示すステップS215は、図28に示すステップS215と同じである。
 処置具13が観察対象に近づいていないとプロセッサ41がステップS215において判断した場合、ステップS145が実行される。処置具13が観察対象に近づいたとプロセッサ41がステップS215において判断した場合、ステップS160が実行される。
 観察者は、処置具13を観察対象に近づけた後、操作部22を操作し、表示モードを3Dモードに変更する。その後、観察者は、処置具13を使用して処置を施す。処置が完了した後、観察者は、操作部22を操作し、表示モードを2Dモードに変更する。
 ステップS115の後、プロセッサ41は、表示モードが2Dモードに変更されたか否かを判断する(ステップS165a)。図31に示すステップS165aは、図25に示すステップS165aと同じである。
 表示モードが2Dモードに変更されていないとプロセッサ41がステップS165aにおいて判断した場合、ステップS105が実行される。表示モードが2Dモードに変更されたとプロセッサ41がステップS165aにおいて判断した場合、ステップS140が実行される。
 図31に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図31に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図31に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図31に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
 処置具13が観察対象に近づいたとき、プロセッサ41は疲労軽減モードを選択する。表示モードが3Dモードから2Dモードに変更されたとき、プロセッサ41は通常モードを選択する。そのため、処置具13の操作のしやすさと、観察者の目の疲労の軽減とがバランスよく実現される。
 (第8の実施形態)
 本発明の第8の実施形態を説明する。プロセッサ41は、第1の画像および第2の画像に基づいて表示される立体画像において処理領域における被写体の光学像がぼけるように処理領域を処理する。
 図32を参照し、プロセッサ41が実行する処理を説明する。図32は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域をぼかす(ステップS250(画像処理ステップ))。ステップS250の後、ステップS115が実行される。
 ステップS250の詳細を説明する。例えば、プロセッサ41は、第1の画像の処理領域に含まれる各画素の色を平均化する。具体的には、プロセッサ41は、対象画素の周辺の2つ以上の画素の信号値の平均を算出し、かつその対象画素の信号値をその平均で置き換える。プロセッサ41は、第1の画像の処理領域に含まれる全ての画素にこの処理を実行する。プロセッサ41は、上記の処理と同様の処理を実行することにより、第2の画像の処理領域に含まれる各画素の色を平均化する。
 プロセッサ41は、第1の画像の処理領域に含まれる各画素の色を平均化した後、第2の画像の処理領域に含まれる各画素の信号値を第1の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。プロセッサ41は、第2の画像の処理領域に含まれる各画素の色を平均化した後、第1の画像の処理領域に含まれる各画素の信号値を第2の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。
 図15に示すステップS110aは、ステップS250で置き換えられてもよい。図18、図19、図22、図24、図25、図26、図27、図28、図30、および図31に示すステップS110は、ステップS250で置き換えられてもよい。
 プロセッサ41が処理領域をぼかした後、観察者は、処理領域に写っている処置具13の光学像に焦点を合わせにくい。そのため、観察者の目の疲労が軽減される。プロセッサ41が視差量を変更する場合と比較して、プロセッサ41の負荷が減る。
 (第8の実施形態の変形例)
 本発明の第8の実施形態の変形例を説明する。プロセッサ41は、モザイク処理を処理領域に施す。
 図33を参照し、プロセッサ41が実行する処理を説明する。図33は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
 ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域にモザイク処理を施す(ステップS255(画像処理ステップ))。ステップS255の後、ステップS115が実行される。
 ステップS255の詳細を説明する。例えば、プロセッサ41は、第1の画像の処理領域を2つ以上の部分領域に分割する。例えば、部分領域は、9個または16個の画素を含む。部分領域に含まれる画素の数は、9または16に限らない。例えば、部分領域の形状は正方形である。部分領域の形状は正方形に限らない。プロセッサ41は、1つの部分領域に含まれる全ての画素の色を同じ色にする。つまり、プロセッサ41は、1つの部分領域に含まれる全ての画素の信号値を同じ値にする。プロセッサ41は、1つの部分領域に含まれる全ての画素の信号値の平均を算出し、かつその部分領域に含まれる全ての画素の信号値をその平均で置き換えてもよい。プロセッサ41は、全ての部分領域に上記の処理を実行する。プロセッサ41は、上記の処理と同様の処理を実行することにより、第2の画像の処理領域にモザイク処理を施す。
 プロセッサ41は、第1の画像の処理領域にモザイク処理を施した後、第2の画像の処理領域に含まれる各画素の信号値を第1の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。プロセッサ41は、第2の画像の処理領域にモザイク処理を施した後、第1の画像の処理領域に含まれる各画素の信号値を第2の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。
 図15に示すステップS110aは、ステップS255で置き換えられてもよい。図18、図19、図22、図24、図25、図26、図27、図28、図30、および図31に示すステップS110は、ステップS255で置き換えられてもよい。
 プロセッサ41がモザイク処理を処理領域に施した後、観察者は、処理領域に写っている処置具13の光学像に焦点を合わせにくい。そのため、観察者の目の疲労が軽減される。プロセッサ41が視差量を変更する場合と比較して、プロセッサ41の負荷が減る。
 (付記)
 上記の全ての実施形態は、以下の内容を含むことができる。内視鏡装置1は、特殊光観察の機能を有する。処置具13によって処置が施される前に、光源装置3の光源は狭帯域光を発生する。例えば、狭帯域の中心波長は、630nmである。撮像素子12は、狭帯域光が照射された被写体を撮像し、第1の画像および第2の画像を生成する。プロセッサ41は、ステップS105において、第1の画像および第2の画像を撮像素子12から取得する。
 狭帯域光が観察対象に照射されたとき、粘膜下層または固有筋層を走行する血管が第1の画像および第2の画像において強調される。第1の画像および第2の画像に基づいて立体画像が表示されたとき、観察者はその血管を認識しやすい。そのため、観察者は、処置具13を使用して処置を施しやすい。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 本発明の各実施形態によれば、画像処理方法および画像処理装置は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
 1 内視鏡装置
 2 電子内視鏡
 3 光源装置
 4 画像処理装置
 5 モニター
 6 受信装置
 10 先端部
 11L 第1の光学系
 11R 第2の光学系
 12 撮像素子
 13,14,15 処置具
 16 エンコーダ
 21 挿入部
 22 操作部
 23 ユニバーサルコード
 24 コネクタ部
 25 接続コード
 26 電気コネクタ部
 41 プロセッサ
 42 ROM
 130 鉗子
 131 シース

Claims (20)

  1.  プロセッサが、互いに視差を有する第1の画像および第2の画像を、前記第1の画像および前記第2の画像を出力する第1の装置から取得し、前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であり、前記第1の画像および前記第2の画像の各々は、第1の領域および第2の領域を含み、前記第1の画像の前記第1の領域は前記第1の画像の中心を含み、前記第2の画像の前記第1の領域は前記第2の画像の中心を含み、前記観察対象の少なくとも一部が前記第1の領域に写っており、前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含み、前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含み、前記道具の少なくとも一部が前記第2の領域に写っている画像取得ステップと、
     前記プロセッサが、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する画像処理ステップと、
     を有する画像処理方法。
  2.  前記プロセッサは、前記画像処理ステップにおいて、前記第1の画像および前記第2の画像に基づいて表示される立体画像において視点と前記道具の光学像との間の距離が大きくなるように、前記処理領域の視差量を変更する請求項1に記載の画像処理方法。
  3.  前記画像取得ステップにおいて取得された前記第1の画像および前記第2の画像に基づいて表示される立体画像において、前記観察対象の大部分はクロスポイントの奥側に位置する請求項1に記載の画像処理方法。
  4.  前記第1の領域の形状は、円、楕円、および多角形のいずれか1つである請求項1に記載の画像処理方法。
  5.  前記プロセッサは、前記画像処理ステップにおいて、前記処理領域の光学像が平面になるように前記視差量を変更する
     請求項1に記載の画像処理方法。
  6.  前記処理領域は2つ以上の画素を含み、
     前記プロセッサは、前記画像処理ステップにおいて、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更し、
     前記2つ以上の点が移動する距離は、互いに等しい
     請求項1に記載の画像処理方法。
  7.  前記処理領域は2つ以上の画素を含み、
     前記プロセッサは、前記画像処理ステップにおいて、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更し、
     前記2つ以上の画素の各々と前記第1の領域との間の距離が大きいほど、前記2つ以上の点の各々が移動する距離は大きい
     請求項1に記載の画像処理方法。
  8.  前記処理領域は2つ以上の画素を含み、
     前記プロセッサは、前記画像処理ステップにおいて、視点と、前記2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように前記視差量を変更する
     請求項1に記載の画像処理方法。
  9.  前記画像処理ステップの前に、前記プロセッサが、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記処理領域を設定する領域設定ステップをさらに有する請求項1に記載の画像処理方法。
  10.  前記画像処理ステップの前に、前記プロセッサが、前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出する道具検出ステップと、
     前記画像処理ステップの前に、前記プロセッサが、前記道具が検出された領域を前記処理領域として設定する領域設定ステップと、
     をさらに有する請求項1に記載の画像処理方法。
  11.  前記画像処理ステップの前に、前記プロセッサが、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定する領域設定ステップをさらに有する請求項1に記載の画像処理方法。
  12.  前記画像処理ステップの前に、前記プロセッサが、前記観察対象を前記第1の画像および前記第2の画像の少なくとも一方から検出する観察対象検出ステップと、
     前記画像処理ステップの前に、前記プロセッサが、前記観察対象が検出された領域を前記第1の領域とみなし、かつ前記第1の領域を除く領域を前記処理領域として設定する領域設定ステップと、
     をさらに有する請求項1に記載の画像処理方法。
  13.  前記画像処理ステップの前に、前記プロセッサが、観察者によって入力装置に入力された情報に基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定する領域設定ステップをさらに有する請求項1に記載の画像処理方法。
  14.  前記プロセッサが、前記処理領域の前記視差量が変更された画像を含む前記第1の画像および前記第2の画像を、前記第1の画像および前記第2の画像に基づいて立体画像を表示する表示装置と、前記表示装置に前記第1の画像および前記第2の画像を出力する通信装置との一方に出力する第1の画像出力ステップをさらに有する請求項1に記載の画像処理方法。
  15.  前記プロセッサが、第1のモードおよび第2のモードの一方を選択するモード選択ステップと、
     前記プロセッサが、前記画像取得ステップにおいて取得された前記第1の画像および前記第2の画像を前記表示装置と前記通信装置との一方に出力する第2の画像出力ステップと、
     をさらに有し、
     前記プロセッサが前記モード選択ステップにおいて前記第1のモードを選択した場合、前記プロセッサは前記画像処理ステップおよび前記第1の画像出力ステップを実行し、
     前記プロセッサが前記モード選択ステップにおいて前記第2のモードを選択した場合、前記プロセッサは前記画像処理ステップを実行せずに前記第2の画像出力ステップを実行する
     請求項14に記載の画像処理方法。
  16.  前記プロセッサは、前記モード選択ステップにおいて、観察者によって入力装置に入力された情報に基づいて前記第1のモードおよび前記第2のモードの一方を選択する
     請求項15に記載の画像処理方法。
  17.  前記プロセッサが、前記第1の画像および前記第2の画像を生成する撮像素子の動きの状態を検出する第1の動き検出ステップをさらに有し、
     前記プロセッサは、前記モード選択ステップにおいて、前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択する
     請求項15に記載の画像処理方法。
  18.  前記プロセッサが前記道具を前記第1の画像および前記第2の画像の少なくとも一方において探索する探索ステップをさらに有し、
     前記プロセッサが前記探索ステップにおいて前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できた場合、前記プロセッサは、前記モード選択ステップにおいて前記第1のモードを選択し、
     前記プロセッサが前記探索ステップにおいて前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できなかった場合、前記プロセッサは、前記モード選択ステップにおいて、前記第2のモードを選択する
     請求項15に記載の画像処理方法。
  19.  前記プロセッサが、前記道具の動きの状態を検出する第2の動き検出ステップをさらに有し、
     前記プロセッサは、前記モード選択ステップにおいて、前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択する
     請求項15に記載の画像処理方法。
  20.  プロセッサを有し、
     前記プロセッサは、互いに視差を有する第1の画像および第2の画像を、前記第1の画像および前記第2の画像を出力する第1の装置から取得し、前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であり、前記第1の画像および前記第2の画像の各々は、第1の領域および第2の領域を含み、前記第1の画像の前記第1の領域は前記第1の画像の中心を含み、前記第2の画像の前記第1の領域は前記第2の画像の中心を含み、前記観察対象の少なくとも一部が前記第1の領域に写っており、前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含み、前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含み、前記道具の少なくとも一部が前記第2の領域に写っており、
     前記プロセッサは、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する
     画像処理装置。
PCT/JP2019/033893 2019-08-29 2019-08-29 画像処理方法および画像処理装置 WO2021038789A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021541898A JP7375022B2 (ja) 2019-08-29 2019-08-29 画像処理装置の作動方法、制御装置、および内視鏡システム
PCT/JP2019/033893 WO2021038789A1 (ja) 2019-08-29 2019-08-29 画像処理方法および画像処理装置
CN201980099536.4A CN114269218A (zh) 2019-08-29 2019-08-29 图像处理方法和图像处理装置
US17/677,122 US20220182538A1 (en) 2019-08-29 2022-02-22 Image-processing method, control device, and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033893 WO2021038789A1 (ja) 2019-08-29 2019-08-29 画像処理方法および画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/677,122 Continuation US20220182538A1 (en) 2019-08-29 2022-02-22 Image-processing method, control device, and endoscope system

Publications (1)

Publication Number Publication Date
WO2021038789A1 true WO2021038789A1 (ja) 2021-03-04

Family

ID=74685317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033893 WO2021038789A1 (ja) 2019-08-29 2019-08-29 画像処理方法および画像処理装置

Country Status (4)

Country Link
US (1) US20220182538A1 (ja)
JP (1) JP7375022B2 (ja)
CN (1) CN114269218A (ja)
WO (1) WO2021038789A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258568A (ja) * 2012-06-13 2013-12-26 Panasonic Corp 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
JP2016131276A (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
WO2017138209A1 (ja) * 2016-02-12 2017-08-17 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
WO2017145531A1 (ja) * 2016-02-24 2017-08-31 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3702243B2 (ja) * 2002-03-27 2005-10-05 三洋電機株式会社 立体画像処理方法および装置
JP5368399B2 (ja) * 2010-09-17 2013-12-18 富士フイルム株式会社 電子アルバム生成装置および立体画像貼り付け装置ならびにそれらの動作制御方法およびそれらのプログラム
WO2013146067A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
JP2014003465A (ja) * 2012-06-19 2014-01-09 Seiko Epson Corp 画像表示装置及びその制御方法
JP5608803B1 (ja) * 2013-10-03 2014-10-15 オリンパス株式会社 撮影機器、撮影方法及び撮影制御プログラム
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2017199285A1 (ja) * 2016-05-16 2017-11-23 オリンパス株式会社 画像処理装置及び画像処理方法
US10477178B2 (en) * 2016-06-30 2019-11-12 Massachusetts Institute Of Technology High-speed and tunable scene reconstruction systems and methods using stereo imagery
WO2018211590A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 内視鏡のための画像処理装置及び内視鏡システム
JP2019029876A (ja) * 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258568A (ja) * 2012-06-13 2013-12-26 Panasonic Corp 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
JP2016131276A (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
WO2017138209A1 (ja) * 2016-02-12 2017-08-17 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
WO2017145531A1 (ja) * 2016-02-24 2017-08-31 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム

Also Published As

Publication number Publication date
US20220182538A1 (en) 2022-06-09
JPWO2021038789A1 (ja) 2021-03-04
JP7375022B2 (ja) 2023-11-07
CN114269218A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US20180098690A1 (en) Endoscope apparatus and method for operating endoscope apparatus
EP2903551B1 (en) Digital system for surgical video capturing and display
JP5284731B2 (ja) 立体画像撮影表示システム
JP6103827B2 (ja) 画像処理装置および立体画像観察システム
CN109310278B (zh) 图像处理装置、图像处理方法、程序和图像处理系统
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
CN110832842B (zh) 成像装置和图像产生方法
JP5893808B2 (ja) 立体内視鏡画像処理装置
JP2014188223A (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
JP7095693B2 (ja) 医療用観察システム
US11030745B2 (en) Image processing apparatus for endoscope and endoscope system
US20150018618A1 (en) Stereoscopic endscope system
CN108601511B (zh) 医疗图像处理装置、系统、方法以及程序
US20170042407A1 (en) Image processing apparatus, image processing method, and program
JPWO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
EP3247113B1 (en) Image processing device, image processing method, program, and endoscope system
WO2021038789A1 (ja) 画像処理方法および画像処理装置
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
JP5792401B2 (ja) オートフォーカス装置
JP6996883B2 (ja) 医療用観察装置
JP2013183313A (ja) レンズ汚れを検知する方法と、この方法を用いた手術用カメラ
JP4246510B2 (ja) 立体内視鏡システム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6694964B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942722

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541898

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942722

Country of ref document: EP

Kind code of ref document: A1