WO2019003556A1 - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

画像処理装置、画像処理システムおよび画像処理方法 Download PDF

Info

Publication number
WO2019003556A1
WO2019003556A1 PCT/JP2018/014720 JP2018014720W WO2019003556A1 WO 2019003556 A1 WO2019003556 A1 WO 2019003556A1 JP 2018014720 W JP2018014720 W JP 2018014720W WO 2019003556 A1 WO2019003556 A1 WO 2019003556A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
unit
recording
processing
Prior art date
Application number
PCT/JP2018/014720
Other languages
English (en)
French (fr)
Inventor
恭輔 水野
山崎　隆一
樋野　和彦
武志 菅
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018566608A priority Critical patent/JP6503522B1/ja
Publication of WO2019003556A1 publication Critical patent/WO2019003556A1/ja
Priority to US16/596,977 priority patent/US20200037865A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Definitions

  • the present invention relates to an image processing apparatus, an image processing system, and an image processing method.
  • Patent Document 1 In recent years, in the medical field and the like, there is a demand for observing an observation target with a stereoscopic image in order to facilitate diagnosis and examination. In response to this demand, there is a technique of generating parallax images from two image data for left eye and right eye having parallax each other and displaying them as a stereoscopic image (see, for example, Patent Document 1). If the technique of Patent Document 1 is applied to an endoscope system including an endoscope and a processing device (processor), image data for the left eye and the right eye in the subject is acquired by the endoscope, and the processor A parallax image can be generated from the two image data, and the image in the subject can be stereoscopically displayed.
  • an endoscope system including an endoscope and a processing device (processor)
  • image data for the left eye and the right eye in the subject is acquired by the endoscope, and the processor
  • a parallax image can be generated from the two image data, and the image in the subject can
  • the endoscope includes an optical system for the left eye that forms an observation image for the left eye, and an imaging device for the left eye that receives light formed by the optical system for the left eye and generates image data. And an optical system for the right eye that forms an observation image for the right eye, and an imaging device for the right eye that receives light formed by the optical system for the right eye to generate image data.
  • the image obtained through the optical system is distorted at a position away from the optical center of the lens forming the optical system, and the distortion becomes larger as the distance is larger.
  • the distance from the endoscope to the subject may be measured using the above-described parallax image, and the measurement accuracy may be degraded in a region where distortion occurs in the parallax image. .
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an image processing apparatus, an image processing system, and an image processing method capable of suppressing a decrease in measurement accuracy.
  • an image processing apparatus acquires first and second image data obtained by imaging the same subject from different directions, and An image processing apparatus for performing image processing on image data, comprising: a three-dimensional observation mode for displaying on a display device a parallax image generated based on the first and second image data, or the first image data
  • a mode setting unit configured to display one of a recording image selection mode for displaying an original two-dimensional image generated on the display device and selecting an image to be recorded on an external recording medium; and the recording image selection mode And superimposing a frame image indicating a border area whose size is set based on the optical system for forming the image of the subject on the first image based on the first image data.
  • the parallax image is generated based on the first and second image data, and when the observation mode is the recording image selection mode, the boundary is generated.
  • a display image data generation unit that generates the two-dimensional image based on the image data generated by the region overlapping unit.
  • the boundary area superimposing unit changes the color of the frame image according to the wavelength band of illumination light and superimposes the border image on the two-dimensional image.
  • the image processing apparatus further includes a zoom processing unit for enlarging the parallax image or the two-dimensional image according to a set enlargement ratio, and the boundary region overlapping unit is the zoom
  • the frame image is enlarged based on the enlargement ratio by the processing unit, and the frame image is superimposed on the first image.
  • the image processing apparatus is characterized in that, in the above-mentioned invention, the image processing apparatus further includes a distortion correction unit that corrects distortion of an image by the optical system in the parallax image in the three-dimensional observation mode.
  • the recording image data generation unit when the recording image selection mode is set, recording image data generation for generating recording image data to be recorded on the external recording medium is performed.
  • the recording image data generation unit further includes a recording image in which a parameter having a larger data amount than the parameter used when the distortion correction unit corrects the parallax image is associated with the image data. It is characterized by generating data.
  • the image processing apparatus in the above-mentioned invention, if the brightness of the two-dimensional image generated in the recording image selection mode is different from the brightness of the parallax image generated in the three-dimensional observation mode And a control unit that performs control to cause the control unit to perform control.
  • the image processing system has an optical system for forming an image of an object, and an imaging device for receiving light formed by the optical system for photoelectric conversion, and images the same object from different directions.
  • An imaging unit that generates the first and second image data, a three-dimensional observation mode that causes a display device to display a parallax image generated based on the first and second image data, or the first image data
  • a mode setting unit for setting one of a recording image selection mode for displaying a two-dimensional image generated on the basis of the display on the display device and selecting an image to be recorded on an external recording medium;
  • a boundary area superimposing unit for superposing a frame image indicating a boundary area whose size is set based on an optical system for forming an image of the subject on the first image data when the mode is set.
  • the parallax image is generated based on the first and second image data
  • the observation mode is the recording image selection mode
  • a display image data generation unit that generates the two-dimensional image based on data.
  • an image processing method is an image processing method for acquiring first and second image data obtained by imaging the same subject from different directions, and performing image processing on the first and second image data.
  • the observation mode is set to a recording image selection mode that causes a display device to display a two-dimensional image generated based on the first image data and select an image to be recorded on an external recording medium
  • a boundary area superposition step of superposing a frame image indicating a boundary area whose size is set based on an optical system for forming an image of the subject on the first image data When it is set to a three-dimensional observation mode in which a parallax image generated based on the first and second image data is displayed on the display device, the parallax image is generated based on the first and second image data.
  • D generating a two-dimensional image based on the image data generated in the boundary area superposition step, if the observation mode is the recording image selection mode.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram for explaining the configuration of the signal processing unit of the endoscope system according to the embodiment of the present invention.
  • FIG. 4 is a view showing an example of an image displayed by the display device of the endoscope system according to the embodiment of the present invention.
  • FIG. 5 is a view for explaining parallax images generated by the endoscope system according to the embodiment of the present invention.
  • FIG. 6 is a flowchart showing image processing performed by the endoscope system according to the embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • the endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting the tip into the subject, and illumination light emitted from the tip of the endoscope 2.
  • a processing unit 3 (processor) that has a light source unit 3a that generates a signal, performs predetermined signal processing on an imaging signal captured by the endoscope 2 and comprehensively controls the operation of the entire endoscope system 1;
  • a display device 4 for displaying the in-vivo image generated by the signal processing of the processing device 3.
  • a recording medium 5 capable of recording data on an image captured by the endoscope 2 is electrically connected to the processing device 3.
  • the recording medium 5 is detachably connected to a measuring device 6 which is a device different from the processing device 3, and causes the measuring device 6 to read the recorded data.
  • the recording medium 5 is configured by a USB memory or the like that is detachably connected to the processing device 3.
  • solid arrows indicate transmission of electrical signals applied to the image
  • dashed arrows indicate transmission of electrical signals applied to the control.
  • the endoscope 2 has an elongated insertion portion 21 having flexibility, an operation portion 22 connected to the proximal end side of the insertion portion 21 and receiving input of various operation signals, and an insertion portion from the operation portion 22 And 21 a universal cord 23 containing various cables extending in a direction different from the extending direction and connected to the processing device 3 (including the light source unit 3a).
  • the insertion unit 21 is a bendable unit formed of a plurality of bending pieces and a distal end portion 24 incorporating an imaging unit 244 in which pixels that generate signals by receiving light and performing photoelectric conversion are two-dimensionally arrayed. And an elongated flexible tube portion 26 connected to the base end side of the curved portion 25 and having flexibility.
  • the insertion unit 21 is inserted into a body cavity of a subject, and the imaging unit 244 images a subject such as a living tissue at a position where outside light does not reach.
  • the front end portion 24 is formed of a glass fiber or the like to form a light guide path of light emitted by the light source unit 3a, an illumination lens 242 provided at the end of the light guide 241, and a left for light collection.
  • the optical system 243a and the optical system 243b for the right eye, and the optical system 243a for the left eye and the optical system 243b for the right eye are provided at the imaging positions, and the optical system 243a for the left eye and the optical system 243b for the right eye are collected.
  • an imaging unit 244 which receives the light and photoelectrically converts the light into an electric signal and performs predetermined signal processing.
  • the left-eye optical system 243 a is configured using one or more lenses, and is provided in the front stage of the imaging unit 244 to form an image of light from a subject.
  • the left-eye optical system 243a may have an optical zoom function to change the angle of view and a focus function to change the focus.
  • the right-eye optical system 243 b is configured using one or a plurality of lenses, and is provided in the front stage of the imaging unit 244 to form an image of light from a subject.
  • a subject image formed by the right-eye optical system 243 b has parallax with the subject image formed by the left-eye optical system 243 a.
  • the right-eye optical system 243 b may have an optical zoom function to change the angle of view and a focus function to change the focus.
  • the imaging unit 244 includes a left-eye imaging device 244a and a right-eye imaging device 244b.
  • the left-eye image pickup device 244a photoelectrically converts light from the left-eye optical system 243a according to a drive signal received from the processing device 3 to generate one frame of electric signal (one for the left-eye). Generate RAW data).
  • the left-eye image pickup device 244a has a plurality of pixels each having a photodiode or the like for storing charges corresponding to the light quantity, a capacitor for converting the charges transferred from the photodiodes to voltage levels, etc.
  • each pixel photoelectrically converts light from the left-eye optical system 243a to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a read target among the plurality of pixels is sequentially read out, It is output as an image signal which is RAW data.
  • a color filter is provided on the light receiving surface of the left-eye image sensor 244a, and each pixel has one of the wavelength bands of each color component of red (R), green (G) and blue (B). Receive light in the band.
  • the right-eye image pickup device 244 b photoelectrically converts light from the right-eye optical system 243 b according to a drive signal received from the processing device 3 to generate one frame of electric signals (for the right-eye) Generate RAW data).
  • a plurality of pixels each having a photodiode or the like for storing charges corresponding to the amount of light, a capacitor for converting charges transferred from the photodiodes to voltage levels, etc.
  • each pixel photoelectrically converts light from the right-eye optical system 243b to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a read target among the plurality of pixels is sequentially read out, It is output as an image signal which is RAW data.
  • a color filter is provided on the light receiving surface of the right-eye image sensor 244b, and each pixel has one of the wavelength bands of each color component of red (R), green (G) and blue (B). Receive light in the band.
  • the left-eye imaging device 244a and the right-eye imaging device 244b are realized using, for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the left-eye imaging device 244a and the right-eye imaging device 244b may each be configured using a single-plate image sensor, and for example, a plurality of image sensors such as a three-plate system may be used. May be configured.
  • the image for the left eye obtained by the imaging device for the left eye 244a and the image for the right eye obtained by the imaging device for the right eye 244b are images of different fields of view in which a common subject appears and which have parallax. is there.
  • the imaging unit 244 is described as having two imaging elements respectively corresponding to the left-eye optical system 243a and the right-eye optical system 243b, Generate electrical signals for the frame.
  • light imaged by the left-eye optical system 243a and the right-eye optical system 243b is divided by two imaging elements according to the left-eye optical system 243a and the right-eye optical system 243b.
  • the light receiving area may be divided and received by the same imaging device.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical and horizontal directions, a treatment tool insertion unit 222 that inserts a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into a subject, and a process In addition to the device 3, it has an air supply means, a water supply means, and a plurality of switches 223 as an operation input unit for inputting an operation instruction signal for screen display control by freeze processing or the like.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
  • An instruction signal to be output by pressing is assigned to each of the plurality of switches 223, such as a switch for inputting an instruction for setting a measurement mode to be described later and a switch for inputting a freeze instruction.
  • the endoscope 2 has a memory 224 for recording information of the endoscope 2.
  • identification information indicating the type of the endoscope 2, the model number, the type of the left-eye imaging device 244a, the type of the right-eye imaging device 244b, and the like is recorded.
  • the memory 224 is an image for image data captured by the left-eye imaging device 244a and the right-eye imaging device 244b, such as parameters for white balance (WB) adjustment, variation correction values at the time of manufacturing the endoscope 2, and the like.
  • WB white balance
  • Various parameters for processing may be recorded.
  • the universal cord 23 incorporates at least a light guide 241 and a collective cable 245 in which one or more signal lines are put together.
  • the collective cable 245 is a signal line for transmitting an image signal, a signal line for transmitting a driving signal for driving the imaging unit 244, information including unique information on the endoscope 2 (imaging unit 244), and the like. Signal lines for transmitting and receiving data.
  • an optical signal may be transmitted, or the endoscope 2 and the processing device 3 may be wirelessly communicated. A signal may be transmitted between them.
  • the information on the endoscope 2 described above is output to the processing device 3 by communication processing with the processing device 3.
  • the connector is provided with the connection pin in accordance with the rule corresponding to the information of the endoscope 2, and the processing device 3 has the connection pin on the processing device 3 side and the connection pin on the endoscope 2 side when the endoscope 2 is attached.
  • the connection of the endoscope 2 may be recognized based on the connection state.
  • the processing device 3 includes a signal processing unit 31, a frame memory 32, a mode setting unit 33, an input unit 34, a control unit 35, and a storage unit 36.
  • the signal processing unit 31 processes the left-eye image data (analog) output from the left-eye imaging device 244a and the right-eye image data (analog) output from the right-eye imaging device 244b. To generate display image data to be displayed on the display device 4 and recording image data to be recorded on the recording medium 5.
  • the signal processing unit 31 includes specific functions such as a general-purpose processor such as a central processing unit (CPU), an application specific integrated circuit (ASIC), and a field programmable gate array (FPGA) which is a programmable logic device capable of rewriting processing contents. It is configured using a dedicated processor such as various arithmetic circuits to be executed. Details of the signal processing unit 31 will be described later.
  • the frame memory 32 stores the image data generated by the pre-processing unit 311 for the set frames.
  • the frame memory 32 stores image data of several frames.
  • the frame memory 32 overwrites the oldest image data among the currently stored image data with the new image data, thereby obtaining several frames sequentially from the new acquisition time.
  • the image data of the minute is sequentially updated and stored.
  • the frame memory 32 is configured using a random access memory (RAM), for example, a VRAM (video RAM).
  • the mode setting unit 33 changes the setting of the signal processing mode when the switch for setting the mode is pressed among the switches 223 and an instruction signal indicating that the mode is to be set is input. Specifically, in the present embodiment, measurement is performed in the three-dimensional observation mode in which the parallax image generated based on the image data for the left eye and the image data for the right eye is displayed on the display device 4 and the measuring device 6 It is possible to select the image data for recording the image data on the recording medium 5 and set a measurement mode (recording image selection mode) for recording the selected image data on the recording medium 5. Normally, the setting mode is set to the three-dimensional observation mode, and the mode setting unit 33 changes the setting to the measurement mode when an instruction signal to set the mode is input.
  • the mode setting unit 33 is configured using a general purpose processor such as a CPU, and a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC or an FPGA.
  • the input unit 34 is realized by using a keyboard, a mouse, a switch, and a touch panel, and receives input of various signals such as an operation instruction signal instructing an operation of the endoscope system 1.
  • the input unit 34 may include a switch provided in the operation unit 22 or a portable terminal such as an external tablet computer.
  • the control unit 35 performs drive control of each component including the imaging unit 244 and the light source unit 3a and input / output control of information with respect to each component.
  • the control unit 35 refers to control information data (for example, readout timing etc.) for imaging control stored in the storage unit 36, and as a drive signal via a predetermined signal line included in the collective cable 245, an imaging unit Send to 244.
  • control unit 35 performs freeze control or release control by the freeze processing unit 314 based on the instruction signal received by the input unit 34.
  • freeze control control is performed to display the same image on the display device 4 for a longer time than usual, for example, while displaying an image of several frames.
  • release control for example, control for recording image data at a timing when the input of the instruction signal is received is performed on the recording medium 5.
  • the control unit 35 is configured using a general-purpose processor such as a CPU, and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC and an FPGA.
  • the storage unit 36 stores data including various programs for operating the endoscope system 1 and various parameters and the like necessary for the operation of the endoscope system 1. Further, the storage unit 36 stores identification information of the processing device 3.
  • the identification information includes the unique information (ID) of the processing device 3, the year, the spec information, and the like.
  • the storage unit 36 also stores various programs including an image acquisition processing program for executing the image acquisition processing method of the processing device 3.
  • the various programs can be widely distributed by being recorded in a computer readable recording medium such as a hard disk, a flash memory, a CD-ROM, a DVD-ROM, a flexible disk and the like.
  • a computer readable recording medium such as a hard disk, a flash memory, a CD-ROM, a DVD-ROM, a flexible disk and the like.
  • the various programs described above can also be acquired by downloading via a communication network.
  • the communication network referred to here is realized by, for example, an existing public line network, a local area network (LAN), a wide area network (WAN) or the like, and may be wired or wireless.
  • the storage unit 36 having the above configuration is realized using a ROM (Read Only Memory) in which various programs and the like are previously installed, and a RAM, a hard disk, and the like storing operation parameters and data of each process.
  • ROM Read Only Memory
  • FIG. 3 is a block diagram for explaining the configuration of the signal processing unit of the endoscope system according to the embodiment of the present invention.
  • the signal processing unit 31 includes a pre-processing unit 311, a distortion correction unit 312, a demosaicing processing unit 313, a freeze processing unit 314, a color correction unit 315, a brightness correction unit 316, and a zoom processing unit 317.
  • An enhancement processing unit 318, a boundary region overlapping unit 319, a display image data generation unit 320, and a recording image data generation unit 321 are included.
  • the preprocessing unit 311 sets the black level for the left-eye image data (analog) output from the left-eye image sensor 244a and the right-eye image data (analog) output from the right-eye image sensor 244b.
  • OB correction processing for determining W correction processing such as white balance, gain adjustment processing, noise removal processing, A / D conversion processing, and noise reduction processing.
  • the preprocessing unit 311 for the right eye includes the image data for the left eye (digital) including the image for the left eye to which the RGB color components are added by the above-described signal processing. Image data (digital) is generated and output to the distortion correction unit 312 and the frame memory 32.
  • the preprocessing unit 311 includes the image for the left eye (digital) including the image for the left eye to which the RGB color component is added by the above-described signal processing, and the right An eye image data (digital) is generated, and one of left eye image data and right eye image data (left eye image data in the present embodiment) is output to the distortion correction unit 312, and The image data for right eye and the image data for right eye are output to the frame memory 32.
  • the left-eye image data and the right-eye image data may be collectively referred to as image data.
  • the distortion correction unit 312 performs distortion correction processing on the left-eye image data and the right-eye image data input from the preprocessing unit 311.
  • distortion correction processing for example, distortion is measured using the image data for the left eye and the image data for the right eye, and distortions of the image data for the left eye and the image data for the right eye are respectively corrected.
  • the demosaicing processing unit 313 interpolates the missing pixel values in the image data of each color component using the pixel values in the vicinity thereof. Thereby, in the image data of each color component, pixel values (or interpolation values) are given to all pixel positions.
  • the freeze processing unit 314 When the freeze processing unit 314 receives an input of a freeze instruction signal by pressing the switch 223 in the three-dimensional observation mode, the freeze processing unit 314 causes the display device 4 to perform freeze display and selects an image to be recorded on the recording medium 5. Then, the color correction unit 315 outputs the result. In addition, when the freeze processing unit 314 receives an input of a release instruction signal by pressing the switch 223 in the measurement mode, the freeze processing unit 314 performs freeze processing for displaying a still image for the left eye and corresponds to the image for the left eye Select image data for recording.
  • the freeze processing unit 314 selects the left-eye image data to be freeze-displayed on the display device 4 from the latest left-eye image data among the frames stored in the frame memory 32 and selects the color correction unit 315 And the left-eye image data and the right-eye image data of the latest frame to the recording image data generation unit 321.
  • the freeze processing unit 314 receives an input of the release instruction signal, the freeze processing of the left eye image may not be performed, but the latest left eye image may be sequentially displayed to further perform the recording processing. .
  • the freeze processing unit 314 When the freeze processing unit 314 does not receive the input of the freeze instruction signal or the release instruction signal, the freeze processing unit 314 outputs, to the color correction unit 315, predetermined image data in the frame memory 32, for example, image data having the latest acquisition (imaging) time. .
  • the freeze processing unit 314 performs only processing of outputting the image data input from the demosaicing processing unit 313 to the frame memory 32 in the still image display period by the freeze processing after selecting the image data to be frozen.
  • the freeze processing unit 314 selects the latest image data from the frame memory 32 including the image data newly input from the demosaicing processing unit 313 after the freeze processing is canceled.
  • the image displayed on the display device 4 after the freeze processing is the latest image data in the still image display period due to the freeze processing is missing, and an image having a time series before the freeze processing is displayed It will be.
  • the change in the subject image may be large as compared with the case where the images adjacent in time series are displayed as a moving image.
  • the freeze processing unit 314 selects an image stored in the frame memory 32, for example, an image for the left eye with small blurring from the image for the left eye as the best frame.
  • the freeze processing unit 314 acquires the left eye image and the right eye image of the selected best frame from the frame memory 32 and outputs the image to the color correction unit 315.
  • the freeze processing unit 314 calculates shake of a plurality of images for the left eye stored in the frame memory 32, and the best frame is calculated based on the calculated shake.
  • the blur of the image for the left eye according to the image data is calculated, and the calculated blur and the frame number of the image for the left eye May be associated with each other and stored in the frame memory 32.
  • the blurring of the image is calculated using a known calculation method.
  • the color correction unit 315 uniformly manages different colors among devices with respect to the image data input from the freeze processing unit 314.
  • the color correction unit 315 for example, uniformly manages colors among the endoscope 2, the processing device 3 and the display device 4.
  • the color correction unit 315 is configured using a CMS (Color Management System).
  • the brightness correction unit 316 performs brightness correction processing on the image data input from the color correction unit 315. Specifically, the brightness correction unit 316 uses the ⁇ value set in advance for the image data for the left eye and the image data for the right eye to make the brightness of the dark part where the brightness is small bright. Make corrections.
  • the zoom processing unit 317 performs processing to increase the size of the image for the left eye or the parallax image in accordance with the preset enlargement ratio or the enlargement ratio input through the input unit 34. Enlargement processing by the zoom processing 317, the outer edge of the image are possible within the scope fit in the image display region R 2 to be described later. Moreover, it is also possible to make it impossible to expand by setting. Whether to perform the zoom process may be switchable via the input unit 34, for example.
  • the enhancement processing unit 318 performs contour enhancement processing on the image data for the left eye and the image data for the right eye after the zoom processing by the zoom processing unit 317. This generates image data in which the contour is more clearly represented.
  • the boundary region superimposing unit 319 superimposes a frame image indicating the boundary region on the image for the left eye in the measurement mode.
  • This frame image is an image for guiding that the measurement accuracy is guaranteed inside the frame.
  • the boundary area superimposing unit 319 changes the size of the frame image to be superimposed using the frame image stored in advance in the storage unit 36 and the enlargement factor processed by the zoom processing unit 317, and the frame after the change is performed.
  • the image is superimposed on the image for the left eye.
  • the color of the frame in the frame image is preferably different depending on the wavelength band of the illumination light.
  • the color of the frame when illuminated by white illumination light including blue, green and red wavelength bands, the color of the frame is green, and when illuminated by narrow band light consisting of blue narrow band and green narrow band The color of the frame is red.
  • the color of the frame in the case of performing illumination in a narrow band, for example, it is preferable from the viewpoint of the visibility of the frame that the color of the frame be a complementary color of the color including the narrow band.
  • the boundary area superimposing unit 319 selects the color of the frame from the wavelength band of the emitted illumination light, and superimposes the frame image of the selected color on the image for the left eye.
  • FIG. 4 is a view showing an example of an image displayed by the display device of the endoscope system according to the embodiment of the present invention.
  • FIG. 4 shows an image in the measurement mode.
  • Display image W of the display device 4 includes an information display region R 1 for displaying information, such as settings for the subject and the endoscope, and an image display region R 2 for displaying the image generated by the signal processing unit 31 .
  • the image display region R 2 the three-dimensional observation mode is displayed parallax images, the measurement mode is displayed an image frame images Q in the image G for the left eye are superimposed.
  • the user adjusts the portion (measurement portion) to be measured by the measuring device 6 to be positioned inside the frame image Q, and causes the recording medium 5 to record the adjusted image.
  • the recording medium 5 By measuring the image thus recorded by the measuring device 6, measurement with less influence of distortion of the optical system is performed.
  • the display image data generation unit 320 generates a parallax image in which parallax is generated by shifting the image for the left eye and the image for the right eye with respect to the image data in the three-dimensional observation mode, and the display 4 Signal processing is performed to generate a signal of a possible mode to generate image data for display. Specifically, the display image data generation unit 320 relatively shifts the right-eye image and the left-eye image based on a preset shift amount to generate a display image signal.
  • the parallax image generated by the display image data generation unit 320 in the three-dimensional observation mode is an image represented by the three-dimensional coordinate system.
  • FIG. 5 is a view for explaining parallax images generated by the endoscope system according to the embodiment of the present invention.
  • Display image data generating unit 320 as shown in FIG. 5, a line image D L horizontal line in the image IM L for the left eye, and a line image D R of the horizontal line of the right-eye image IM R, it is set generating a parallax image IM D by placing alternately shifted in accordance with the shift amount.
  • the display image data generating unit 320 includes a line image D L of the odd lines with the image IM L for the left eye, and a line image D R of the even lines with the right-eye image IM R, is set They are alternately arranged according to the shift amount.
  • Such parallax images IM D is also referred to as line-by-line image.
  • the horizontal line referred to here corresponds to a line formed by pixels arranged in one arrangement direction in an imaging device in which a plurality of pixels are arranged in a matrix.
  • the display image data generation unit 320 performs signal processing on the left-eye image data on which the frame image is superimposed so as to be a signal that can be displayed by the display device 4. Generate an image signal for display.
  • the display image for the left eye generated by the display image generation unit 34 in the measurement mode is a subject image represented by a two-dimensional coordinate system.
  • Display image data generating unit 320 the above-described parallax image data, or the left-eye image data, and arranged in the image display region R 2 as described above, the display image data to be displayed on the display unit 4 together with the information display region R 1 Generate (see, for example, FIG. 4).
  • the display image data generation unit 320 transmits the image data of the generated display image to the display device 4.
  • the display image generation unit 34 sets the display device 4 as a target for a preset period, for example, a period for displaying an image of several frames. Display the still image of the image.
  • the recording image data generation unit 321 is image data that has been preprocessed by the preprocessing unit 311 and that has not been subjected to processing such as distortion correction (image data for left eye and image data for right eye) And recording parameters in which parameters required for processing after the distortion correction processing are associated are generated.
  • the unique information of the endoscope 2 and the like are recorded on the recording medium 5.
  • the distortion correction parameter recorded on the recording medium 5 by the recording image data generation unit 321 is a parameter that can correct distortion with high accuracy and a larger amount of data than the distortion correction parameter used by the distortion correction unit 312.
  • the parameters and the unique information of the endoscope 2 may be embedded in the header portion or the like of the image data, or may be recorded as a text file associated with the image data separately from the image data. It is also good.
  • the recording image data generation unit 321 generates a parallax image in which parallax is generated by shifting the image for the left eye and the image for the right eye with respect to the image data selected by the freeze processing unit 314.
  • the image data for recording As parallax images, the line-by-line image described above, a side-by-side image in which the image for the left eye and the image for the right eye are arranged in the direction of the horizontal line, the image for the left eye and the image for the right eye in the direction of the vertical line There are top and bottom images side by side.
  • the parameters and the unique information of the endoscope 2 may be embedded in the header portion of the parallax image line-by-line or the like, or separately from the image data, as a text file associated with the image data. You may make it record.
  • the light source unit 3 a includes an illumination unit 301 and an illumination control unit 302. Under the control of the illumination control unit 302, the illumination unit 301 sequentially switches and emits illumination light of different exposure amounts to a subject (subject).
  • the illumination unit 301 includes a light source 301a and a light source driver 301b.
  • the light source 301 a is configured using a light source that emits white light, one or a plurality of lenses, and the like, and emits light (illumination light) by driving of the LED light source.
  • the illumination light generated by the light source 301 a is emitted from the tip of the tip 24 toward the subject via the light guide 241.
  • the light source 301a is a blue narrow band light (for example, 390 nm to 445 nm) and a green narrow band light (for example, 530 nm to Narrow band light of 550 nm) may be emitted as illumination light, or white light and narrow band light may be switchable.
  • the light source 301 a is realized using any of an LED light source, a laser light source, a xenon lamp, a halogen lamp, and the like.
  • the light source driver 301 b supplies power to the light source 301 a under the control of the illumination control unit 302 to cause the light source 301 a to emit illumination light.
  • the illumination control unit 302 controls the amount of power supplied to the light source 301a based on the control signal (light adjustment signal) from the control unit 35, and controls the drive timing of the light source 301a.
  • the display device 4 displays a display image corresponding to the image signal received from the processing device 3 (display image generation unit 34) via the video cable.
  • the display device 4 is configured using a monitor such as liquid crystal or organic EL (Electro Luminescence).
  • the measuring device 6 reads data from the recording medium 5, acquires data generated by the recording image data generation unit 321, generates a parallax image from the acquired image data and parameters, and displays the parallax image.
  • the measuring device 6 measures the distance from the endoscope 2 to the subject at the position designated in the parallax image.
  • the measurement device 6 measures the distance at the measurement point by the user specifying a position to be measured on the displayed image via the input unit 34 or the like.
  • the measurement method can be measured by a known method such as stereo measurement (for example, triangulation).
  • FIG. 6 is a flowchart showing image processing performed by the endoscope system according to the embodiment of the present invention. The following description is given assuming that each unit operates under the control of the control unit 35.
  • the processing device 3 receives image data from the endoscope 2 (step S101).
  • the control unit 35 determines whether the setting mode is set to the measurement mode (step 102).
  • the control unit 35 proceeds to step S103 when the measurement mode is not set, that is, when the three-dimensional observation mode is selected (step S102: No).
  • the control unit 35 proceeds to step S113.
  • step S103 the preprocessing unit 311 performs the above-described preprocessing on the received image data (image data for left eye and image data for right eye), and processes the processed image data into a distortion correction unit 312 and a frame. Output to the memory 32.
  • step S104 the distortion correction unit 312 performs distortion correction processing on the left-eye image data and the right-eye image data input from the preprocessing unit 311.
  • the distortion correction unit 312 corrects distortion of the left-eye image data and the right-eye image data for each color component.
  • the distortion correction unit 312 outputs the left-eye image data and the right-eye image data after distortion correction to the demosaicing processing unit 313.
  • step S105 the demosaicing processing unit 313 interpolates the missing pixel value in the image data of each color component using the pixel value of the periphery thereof.
  • the demosaicing processing unit 313 outputs the image data after the interpolation processing to the color correction unit 315 via the freeze processing unit 314.
  • step S106 the freeze processing unit 314 determines whether or not a freeze instruction has been input by pressing the switch 223. If the freeze processing unit 314 determines that the freeze instruction has been input (step S106: Yes), the process proceeds to step S107. On the other hand, when the freeze processing unit 314 determines that the freeze instruction is not input (step S106: No), the image data of the latest frame stored in the frame memory 32 (image data for left eye and right eye Image data) is output to the color correction unit 315, and the process proceeds to step S108.
  • step S107 the freeze processing unit 314 selects an image stored in the frame memory 32, for example, an image for the left eye with small blurring from the image for the left eye as the best frame.
  • the freeze processing unit 314 outputs the image data (left-eye image data and right-eye image data) of the selected best frame to the color correction unit 315.
  • step S108 the color correction unit 315 uniformly manages different colors among devices with respect to the image data input from the freeze processing unit 314.
  • the color correction unit 315 for example, converts the color space of the image data in accordance with the color space of the display device 4.
  • the color correction unit 315 outputs the converted image data to the brightness correction unit 316.
  • step S109 the brightness correction unit 316 performs brightness correction processing on the image data for the left eye and the image data for the right eye.
  • the brightness correction unit 316 outputs the image data after the brightness correction processing to the zoom processing unit 317.
  • step S110 following step S109 the zoom processing unit 317 sets the size of the image data for the left eye and the image data for the right eye according to the preset enlargement factor or the enlargement factor input through the input unit 34.
  • Process to make The zoom processing unit 317 outputs the image data after the zoom processing to the enhancement processing unit 318.
  • step S111 following step S110 the enhancement processing unit 318 performs contour enhancement processing on the image data for the left eye and the image data for the right eye after the zoom processing by the zoom processing unit 317.
  • the enhancement processing unit 318 outputs the image data after the enhancement processing to the display image data generation unit 320 via the boundary region overlapping unit 319.
  • step S112 subsequent to step S111, the display image data generation unit 320 generates a parallax image in which parallax is generated by shifting the image for the left eye and the image for the right eye with respect to the image data. Are subjected to signal processing to form a displayable signal, and image data for display is generated.
  • the control unit 35 proceeds to step S130.
  • step S113 the preprocessing unit 311 performs the above-described preprocessing on the received image data (image data for left eye and image data for right eye) to obtain the image data for left eye after preprocessing.
  • the distortion correction unit 312 outputs the image data for left eye and the image data for right eye after pre-processing to the frame memory 32 while outputting to the demosaicing processing unit 313. At this time, the image data output to the demosaicing processing unit 313 and the frame memory 32 is data not subjected to distortion correction.
  • step S114 the demosaicing processing unit 313 interpolates the missing pixel values in the image data of each color component of the left-eye image data using the pixel values in the vicinity thereof.
  • the demosaicing processing unit 313 outputs the image data for left eye after the interpolation processing to the freeze processing unit 314.
  • step S115 the freeze processing unit 314 determines whether or not a release instruction has been input by pressing the switch 223. If the freeze processing unit 314 determines that the release instruction has been input (step S115: Yes), it outputs the image data for the left eye of the latest frame stored in the frame memory 32 to the color correction unit 315 and The image data of the frame (left-eye image data and right-eye image data) is output to the recording image data generation unit 321, and the process proceeds to step S116 and step S122. On the other hand, when the freeze processing unit 314 determines that the release instruction is not input (step S115: No), it outputs the image data for the left eye of the latest frame to the color correction unit 315, and proceeds to step S124. .
  • step S116 following step S115 the color correction unit 315 uniformly manages different colors among the devices for the left-eye image data input from the freeze processing unit 314.
  • the color correction unit 315 outputs the converted image data to the brightness correction unit 316.
  • step S117 subsequent to step S116 the brightness correction unit 316 performs brightness correction processing on the image data for the left eye.
  • the brightness correction unit 316 outputs the image data for left eye after the brightness correction processing to the zoom processing unit 317.
  • step S118 following step S117 the zoom processing unit 317 performs processing to increase the size of the left-eye image data in accordance with the preset enlargement factor or the enlargement factor input via the input unit 34. .
  • the zoom processing unit 317 outputs the image data for the left eye after the zoom processing to the enhancement processing unit 318.
  • step S119 following step S118 the enhancement processing unit 318 performs contour enhancement processing on the image data for the left eye after the zoom processing by the zoom processing unit 317.
  • the enhancement processing unit 318 outputs the left-eye image data after the enhancement processing to the boundary region overlapping unit 319.
  • step S120 following step S119 the boundary area superimposing unit 319 superimposes a frame image indicating the boundary area on the image for the left eye (see, for example, FIG. 4).
  • the boundary area superimposing unit 319 changes the size of the frame image to be superimposed using the frame image stored in advance in the storage unit 36 and the enlargement factor processed by the zoom processing unit 317, and the frame after the change is performed.
  • the image is superimposed on the image for the left eye.
  • the boundary area superimposing unit 319 selects the color of the frame from the wavelength band of the emitted illumination light, and uses the frame image of the selected color for the left eye.
  • the boundary region superposition unit 319 outputs the superimposed image data after the superposition processing to the display image data generation unit 320.
  • step S121 the display image data generation unit 320 performs signal processing on the superimposed image data to be a signal capable of being displayed by the display device 4 to generate display image data. Do.
  • the control unit 35 proceeds to step S130.
  • the recording image data generation unit 321 generates recording image data to be recorded on the recording medium 5 (step S122).
  • the recording image data generation unit 321 records recording data in which parameters required for processing after the distortion correction processing are associated with the image data for the left eye and the image data for the right eye of the latest frame selected by the freeze processing unit 314. Generate
  • step S123 subsequent to step S122 the recording image data generation unit 321 performs a process of recording the recording data generated in step S121 on the recording medium 5. After recording on the recording medium 5, the control unit 35 proceeds to step S130.
  • step S124 the color correction unit 315 uniformly manages different colors among the devices for the image data for the left eye input from the freeze processing unit 314.
  • the color correction unit 315 outputs the converted left-eye image data to the brightness correction unit 316.
  • step S125 following step S124 the brightness correction unit 316 performs brightness correction processing on the image data for the left eye.
  • the brightness correction unit 316 outputs the image data for left eye after the brightness correction processing to the zoom processing unit 317.
  • step S126 subsequent to step S125 the zoom processing unit 317 performs processing to increase the size of the image data for the left eye according to the preset enlargement ratio or the enlargement ratio input through the input unit 34. .
  • the zoom processing unit 317 outputs the image data for the left eye after the zoom processing to the enhancement processing unit 318.
  • step S127 subsequent to step S126 the enhancement processing unit 318 performs contour enhancement processing on the image data for the left eye after the zoom processing by the zoom processing unit 317.
  • the enhancement processing unit 318 outputs the left-eye image data after the enhancement processing to the boundary region overlapping unit 319.
  • step S128 subsequent to step S127 the boundary area superimposing unit 319 superimposes a frame image indicating the boundary area on the image for the left eye (see, for example, FIG. 4).
  • the boundary area superimposing unit 319 changes the size of the frame image to be superimposed using the frame image stored in advance in the storage unit 36 and the enlargement factor processed by the zoom processing unit 317, and the frame after the change is performed.
  • the image is superimposed on the image for the left eye.
  • the boundary region superposition unit 319 outputs the superimposed image data after the superposition processing to the display image data generation unit 320.
  • step S129 subsequent to step S128, the display image data generation unit 320 performs signal processing on the superimposed image data to be a signal capable of being displayed by the display device 4 to generate display image data. Do.
  • the control unit 35 proceeds to step S130.
  • step S130 under the control of the control unit 35, the display image data generation unit 320 displays the display image including the parallax image generated in step S112, the display image including the left-eye image generated in step S121, or step S129.
  • the display device 4 displays a display image including the image for the left eye generated in the above.
  • step S123 and the display process in step S130 may perform step S130 first or simultaneously.
  • the user since the frame image is superimposed and displayed on the image acquired by the endoscope 2 in the measurement mode, the user measures the location of the frame image.
  • the image can be adjusted to be positioned inside, and the adjusted image can be recorded on the recording medium 5.
  • the measurement is performed in the measurement device 6, the measurement is performed in a state in which the measurement point is located in the area in which the measurement accuracy is guaranteed, and therefore, the decrease in the measurement accuracy can be suppressed.
  • the superimposing process of the frame image is performed after the enhancement process.
  • enhancement processing may be performed on the frame image by the enhancement processing after the superposition, which may result in an unnatural image.
  • the frame image may be superimposed before the enhancement process as long as visibility is ensured even if the frame image is emphasized.
  • the light amount of the illumination light in the measurement mode may be smaller than the light amount of the illumination light in the three-dimensional observation mode.
  • the control unit 35 performs control to reduce the light amount of the illumination light when moving to step S113.
  • the parameter for brightness correction may have a smaller output value than the parameter for brightness correction used when generating three-dimensional image data.
  • the freeze processing unit 314 is described as selecting the best frame with small blurring in the three-dimensional observation mode and selecting the latest frame in the measurement mode, but the present invention is not limited thereto. .
  • the freeze processing unit 314 may select the latest frame in the three-dimensional observation mode, or may select the best frame in the measurement mode.
  • the recording image data generation unit 321 associates the image data with the parameters such as distortion correction and the unique information of the endoscope 2 and records them in the recording medium 5.
  • data not including the unique information of the endoscope 2 may be used as data for recording.
  • the data for recording has the intrinsic
  • parallax images has been described what is the line-by-line image as an example, not limited to this, an image having a parallax, for example, an image IM L for the left eye, right eye and side-by-side images arranging the image IM R in the direction of the horizontal line, it may be a top-and-bottom images arranged in the direction of the vertical line.
  • the present invention is not limited to one parallax image, and the left eye image and the right eye image may be alternately output and recorded on the recording medium 5 as in the frame sequential method, for example.
  • the explanation was made on the assumption that the imaging unit 244 is a simultaneous illumination / imaging method in which the reflected light by the illumination light is received, but the light source unit 3a is a light of the wavelength band of each color component And the imaging unit 244 may be a field-sequential illumination / imaging method in which the light of each color component is respectively received.
  • the light source unit 3a is described as being configured separately from the endoscope 2.
  • a light source device such as providing a semiconductor light source at the tip of the endoscope 2 is provided.
  • the configuration provided in the endoscope 2 may be employed.
  • the endoscope 2 may be provided with the function of the processing device 3.
  • the light source unit 3a is described as being integrated with the processing device 3.
  • the light source unit 3a and the processing device 3 are separate bodies, and for example, illumination outside the processing device 3
  • the unit 301 and the illumination control unit 302 may be provided.
  • the light source 301 a may be provided at the tip of the tip portion 24.
  • the endoscope system according to the present invention is described as the endoscope system 1 using the flexible endoscope 2 whose observation target is a living tissue or the like in the subject.
  • the camera head is mounted on the eyepiece of an optical endoscope such as a rigid endoscope, an industrial endoscope for observing the characteristics of materials, a capsule endoscope, a fiberscope, or an optical telescope. It is applicable even if it is an endoscope system using what was connected.
  • the endoscope system has been described as an example, but the present invention is also applicable to the case of outputting an image to an EVF (Electronic View Finder) provided in a digital still camera or the like, for example.
  • EVF Electronic View Finder
  • the image processing apparatus, the image processing system, and the image processing method according to the present invention are useful for suppressing a decrease in measurement accuracy.

Abstract

本発明にかかる画像処理装置は、三次元観察モードまたは記録用画像選択モードのいずれかに設定するモード設定部と、観察モードが記録用画像選択モードの場合に、第１画像データに基づく第１画像に対して、被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、三次元観察モードに設定されている場合、第１および第２画像データに基づいて視差画像を生成し、記録用画像選択モードに設定されている場合、境界領域重畳部が生成した画像データをもとに二次元画像を生成する表示画像データ生成部と、を備える。

Description

画像処理装置、画像処理システムおよび画像処理方法
　本発明は、画像処理装置、画像処理システムおよび画像処理方法に関する。
　近年、医療分野等においては、診断や検査の円滑化のために、観察対象を立体画像で観察したいという要望がある。この要望に対し、互いに視差を有する左眼用および右眼用の二つの画像データから視差画像を生成して、立体画像として表示させる技術がある（例えば、特許文献１を参照）。内視鏡および処理装置（プロセッサ）を備える内視鏡システムに特許文献１の技術を適用すれば、内視鏡によって被検体内の左眼用および右眼用の画像データを取得し、プロセッサにおいて、この二つの画像データから視差画像を生成して、被検体内の画像を立体的に表示させることができる。この際、内視鏡には、左眼用の観察像を結像する左眼用光学系と、左眼用光学系が結像した光を受光して画像データを生成する左眼用撮像素子と、右眼用の観察像を結像する右眼用光学系と、右眼用光学系が結像した光を受光して画像データを生成する右眼用撮像素子とが設けられる。
特開２０１５－２２０６４３号公報
　光学系を経て得られる画像は、光学系を形成するレンズの光学中心から離れた位置において像に歪みが生じ、離れる距離が大きいほどその歪みが大きくなる。内視鏡システムでは、上述した視差画像を用いて内視鏡から被写体までの距離などの計測を行うことがあり、視差画像において歪みが生じた領域では、計測の精度が低下することがあった。
　本発明は、上記に鑑みてなされたものであって、計測精度の低下を抑制することができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理装置であって、前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、前記記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、を備えることを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記境界領域重畳部は、照明光の波長帯域に応じて前記枠画像の色を変えて前記二次元画像に重畳することを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記視差画像または前記二次元画像を、設定された拡大率により拡大するズーム処理部、をさらに備え、前記境界領域重畳部は、前記ズーム処理部による拡大率に基づいて前記枠画像を拡大して、前記第１画像に重畳することを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記三次元観察モード時に、前記視差画像における前記光学系による像の歪みを補正する歪補正部、をさらに備えることを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像選択モードに設定されている場合に、前記外部の記録媒体に記録する記録用の画像データを生成する記録用画像データ生成部をさらに備え、前記記録用画像データ生成部は、前記歪補正部が前記視差画像を補正する際に用いるパラメータよりもデータ量の多いパラメータを、前記画像データと対応付けた前記記録用の画像データを生成することを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像選択モードにおいて生成される前記二次元画像の明るさを、前記三次元観察モードにおいて生成される前記視差画像の明るさと異ならせる制御を行う制御部、をさらに備えることを特徴とする。
　また、本発明にかかる画像処理システムは、被写体像を結像する光学系と、光学系が結像した光を受光して光電変換する撮像素子とを有し、同一の被写体を異なる方向から撮像した第１および第２画像データを生成する撮像部と、前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、前記記録用画像選択モードに設定されている場合に、前記第１画像データに対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、を備えることを特徴とする。
　また、本発明にかかる画像処理方法は、同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理方法であって、観察モードが、前記第１画像データをもとに生成される二次元画像を表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードに設定されている場合に、前記第１画像データに対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳ステップと、前記観察モードが、前記第１および第２画像データをもとに生成される視差画像を前記表示装置に表示させる三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳ステップで生成された画像データをもとに前記二次元画像を生成する表示画像データ生成ステップと、を含むことを特徴とする。
　本発明によれば、計測精度の低下を抑制することができるという効果を奏する。
図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる内視鏡システムの信号処理部の構成を説明するブロック図である。 図４は、本発明の一実施の形態にかかる内視鏡システムの表示装置が表示する画像の一例を示す図である。 図５は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。 図６は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含む画像処理システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態）
　図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３（プロセッサ）と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。処理装置３には、例えば内視鏡２が撮像した画像に関するデータを記録可能な記録媒体５が電気的に接続されている。記録媒体５は、処理装置３とは異なる装置である計測装置６に着脱自在に接続され、記録しているデータを計測装置６に読み込ませる。また、記録媒体５は、ＵＳＢメモリ等、処理装置３に対して着脱自在に接続されるものにより構成される。なお、図２では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像部２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の左眼用光学系２４３ａおよび右眼用光学系２４３ｂと、左眼用光学系２４３ａおよび右眼用光学系２４３ｂの結像位置に設けられ、左眼用光学系２４３ａおよび右眼用光学系２４３ｂが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部２４４と、を有する。
　左眼用光学系２４３ａは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの光を結像する。左眼用光学系２４３ａは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
　右眼用光学系２４３ｂは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの光を結像する。右眼用光学系２４３ｂによって結像される被写体像は、左眼用光学系２４３ａにより結像される被写体像との間で視差が生じる。右眼用光学系２４３ｂは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
　撮像部２４４は、左眼用撮像素子２４４ａと、右眼用撮像素子２４４ｂとを備える。
　左眼用撮像素子２４４ａは、処理装置３から受信した駆動信号に従って、左眼用光学系２４３ａからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（左眼用ＲＡＷデータ）を生成する。具体的には、左眼用撮像素子２４４ａは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系２４３ａからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。左眼用撮像素子２４４ａの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
　右眼用撮像素子２４４ｂは、処理装置３から受信した駆動信号に従って、右眼用光学系２４３ｂからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（右眼用ＲＡＷデータ）を生成する。具体的には、右眼用撮像素子２４４ｂは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系２４３ｂからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。右眼用撮像素子２４４ｂの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
　左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。また、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば３板方式等の複数のイメージセンサを用いて構成されるものであってもよい。
　左眼用撮像素子２４４ａにより得られる左眼用画像、および右眼用撮像素子２４４ｂにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。
　なお、本実施の形態にかかる撮像部２４４は、左眼用光学系２４３ａおよび右眼用光学系２４３ｂにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する１フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系２４３ａおよび右眼用光学系２４３ｂがそれぞれ結像した光を、左眼用光学系２４３ａおよび右眼用光学系２４３ｂに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段や、フリーズ処理等による画面表示制御の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。複数のスイッチ２２３には、後述する計測モードの設定する指示を入力するためのスイッチや、フリーズ指示を入力するためのスイッチなど、スイッチごとに、押下により出力する指示信号がそれぞれ割り当てられている。
　また、内視鏡２は、当該内視鏡２の情報を記録するメモリ２２４を有している。このメモリ２２４には、内視鏡２の種別、型番、左眼用撮像素子２４４ａ、右眼用撮像素子２４４ｂの種別等を示す識別情報を記録する。なお、メモリ２２４は、ホワイトバランス（ＷＢ）調整用のパラメータや、内視鏡２の製造時のばらつき補正値等、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。
　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、画像信号を伝送するための信号線や、撮像部２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像部２４４）に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
　内視鏡２の処理装置３への装着時、処理装置３との通信処理によって、上述した内視鏡２の情報を処理装置３に出力する。或いは、内視鏡２の情報に対応した規則に従ってコネクタに接続ピンが設けてあり、処理装置３は、内視鏡２の装着時に処理装置３側の接続ピンと内視鏡２側の接続ピンとの接続状態をもとに内視鏡２の接続を認識する場合もある。
　次に、処理装置３の構成について説明する。処理装置３は、信号処理部３１と、フレームメモリ３２と、モード設定部３３と、入力部３４と、制御部３５と、記憶部３６と、を備える。
　信号処理部３１は、左眼用撮像素子２４４ａから出力された左眼用画像データ（アナログ）、および右眼用撮像素子２４４ｂから出力された右眼用画像データ（アナログ）に対して、信号処理を施して、表示装置４に表示させる表示用画像データや、記録媒体５に記録させる記録用画像データを生成する。信号処理部３１は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサや、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。信号処理部３１の詳細については後述する。
　フレームメモリ３２は、前処理部３１１により生成された画像データを設定されたフレーム分記憶する。本実施の形態では、フレームメモリ３２は、数フレーム分の画像データを記憶する。フレームメモリ３２は、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。フレームメモリ３２は、ＲＡＭ（Random　Access　Memory）、例えばＶＲＡＭ（Video　RAM）を用いて構成される。
　モード設定部３３は、スイッチ２２３のうち、モードを設定するスイッチが押下され、モードを設定する旨の指示信号が入力された場合に、信号処理のモードの設定変更を行う。具体的に、本実施の形態では、左眼用画像データおよび右眼用画像データをもとに生成された視差画像を表示装置４に表示する三次元観察モードと、計測装置６において計測を行う画像データを記録媒体５に記録する画像データを選択し、その選択された画像データを記録媒体５に記録させる計測モード（記録用画像選択モード）との設定が可能である。通常、設定モードは三次元観察モードに設定されており、モード設定部３３は、モードを設定する旨の指示信号が入力された場合に、計測モードに設定の変更を行う。モード設定部３３は、ＣＰＵ等の汎用プロセッサや、ＡＳＩＣ、ＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　入力部３４は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３４は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
　制御部３５は、撮像部２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３５は、記憶部３６に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像部２４４へ送信する。
　また、制御部３５は、入力部３４が受け付けた指示信号に基づいて、フリーズ処理部３１４によるフリーズ制御またはレリーズ制御を行う。フリーズ制御では、通常よりも長い時間、例えば、数フレームの画像を表示する時間、同じ画像を表示装置４に静止画表示させる制御が行われる。レリーズ制御では、例えば、その指示信号の入力を受け付けたタイミングの画像データを記録媒体５に記録させるための制御が行われる。制御部３５は、ＣＰＵ等の汎用プロセッサや、ＡＳＩＣ、ＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　記憶部３６は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３６は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
　また、記憶部３６は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。
　以上の構成を有する記憶部３６は、各種プログラム等が予めインストールされたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。
　図３は、本発明の一実施の形態にかかる内視鏡システムの信号処理部の構成を説明するブロック図である。信号処理部３１は、前処理部３１１と、歪補正部３１２と、デモザイキング処理部３１３と、フリーズ処理部３１４と、色補正部３１５と、明るさ補正部３１６と、ズーム処理部３１７と、エンハンス処理部３１８と、境界領域重畳部３１９と、表示画像データ生成部３２０と、記録用画像データ生成部３２１と、を有する。
　前処理部３１１は、左眼用撮像素子２４４ａから出力された左眼用画像データ（アナログ）、および右眼用撮像素子２４４ｂから出力された右眼用画像データ（アナログ）に対して、黒レベルを決定するＯＢクランプ処理や、ホワイトバランス等の補正処理、ゲイン調整処理、ノイズ除去処理、Ａ／Ｄ変換処理、ノイズ低減処理を施す。前処理部３１１は、三次元観察モード時、上述した信号処理によりＲＧＢの色成分が付与された左眼用画像を含む左眼用画像データ（デジタル）、および右眼用画像を含む右眼用画像データ（デジタル）を生成し、歪補正部３１２およびフレームメモリ３２に出力する。これに対し、前処理部３１１は、計測モード時、上述した信号処理によりＲＧＢの色成分が付与された左眼用画像を含む左眼用画像データ（デジタル）、および右眼用画像を含む右眼用画像データ（デジタル）を生成し、左眼用画像データおよび右眼用画像データのうちの一方（本実施の形態では左眼用画像データ）を歪補正部３１２に出力するとともに、左眼用画像データおよび右眼用画像データをフレームメモリ３２に出力する。以下、左眼用画像データおよび右眼用画像データをまとめて画像データということもある。
　歪補正部３１２は、前処理部３１１から入力された左眼用画像データおよび右眼用画像データに対し、歪補正処理を施す。歪補正処理では、例えば、左眼用画像データおよび右眼用画像データを用いて歪曲収差を測定し、左眼用画像データおよび右眼用画像データの歪みがそれぞれ補正される。
　デモザイキング処理部３１３は、各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。これにより、各色成分の画像データにおいて、すべての画素位置に画素値（または補間値）が付与される。
　フリーズ処理部３１４は、三次元観察モード時に、スイッチ２２３の押下によりフリーズ指示信号の入力を受け付けた場合に、フレームメモリ３２から、表示装置４にフリーズ表示させ、記録媒体５に記録させる画像を選択して色補正部３１５に出力する。また、フリーズ処理部３１４は、計測モード時に、スイッチ２２３の押下によるレリーズ指示信号の入力を受け付けた場合に、左眼用画像を静止画表示させるフリーズ処理を行うとともに、その左眼用画像に対応する記録用の画像データを選択する。具体的に、フリーズ処理部３１４は、フレームメモリ３２に記憶されているフレームのうち最新の左眼用画像データを、表示装置４にフリーズ表示する左眼用画像データを選択して色補正部３１５に出力するとともに、最新のフレームの左眼用画像データおよび右眼用画像データを記録用画像データ生成部３２１に出力する。なお、フリーズ処理部３１４は、レリーズ指示信号の入力を受け付けた場合、左眼用画像のフリーズ処理は行わずに最新の左眼用画像を順次表示し、記録処理をさらに行うようにしてもよい。
　フリーズ処理部３１４は、フリーズ指示信号またはレリーズ指示信号の入力を受け付けていない場合は、フレームメモリ３２における所定の画像データ、例えば取得（撮像）時刻が最新の画像データを色補正部３１５に出力する。なお、フリーズ処理部３１４は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、デモザイキング処理部３１３から入力される画像データをフレームメモリ３２に出力する処理のみを行う。フリーズ処理部３１４は、フリーズ処理が解除された後、デモザイキング処理部３１３から新たに入力される画像データを含めて、フレームメモリ３２から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置４に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列的に間があいた画像が表示されることになる。このため、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
　フリーズ処理部３１４は、三次元観察モード時には、フレームメモリ３２に記憶されている画像、例えば左眼用画像からぶれの小さい左眼用画像をベストフレームとして選択する。フリーズ処理部３１４は、選択したベストフレームの左眼用画像と右眼用画像とをフレームメモリ３２から取得して、色補正部３１５に出力する。具体的に、フリーズ処理部３１４は、フリーズ指示信号の入力があった際に、フレームメモリ３２に記憶されている複数の左眼用画像のぶれを算出し、算出したぶれに基づいてベストフレームを選択してもよいし、前処理部３１から画像データが入力される都度、この画像データに応じた左眼用画像のぶれを算出して、算出したぶれと当該左眼用画像のフレーム番号とを対応付けてフレームメモリ３２に記憶させるものであってもよい。画像のぶれは、公知の算出方法を用いて算出される。
　色補正部３１５は、フリーズ処理部３１４から入力される画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、例えば、内視鏡２、処理装置３および表示装置４の間の色を統一的に管理する。色補正部３１５は、ＣＭＳ（Color　Management　System）を用いて構成される。
　明るさ補正部３１６は、色補正部３１５から入力される画像データに対して、明るさ補正処理を施す。具体的に、明るさ補正部３１６は、左眼用画像データおよび右眼用画像データに対して、予め設定されているγ値を用いて、輝度の小さい暗い部分の明るさを明るくする階調補正を行う。
　ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像または視差画像のサイズを大きくする処理を施す。ズーム処理３１７による拡大処理は、画像の外縁が、後述する画像表示領域Ｒ2内に収まる範囲内で可能である。また、設定により拡大できないようにすることも可能である。ズーム処理の可否は、例えば入力部３４を介して切り替え可能としてもよい。
　エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データおよび右眼用画像データに対し、輪郭強調処理を施す。これにより、輪郭がより明確に表現された画像データが生成される。
　境界領域重畳部３１９は、計測モード時において、左眼用画像に、境界領域を示す枠画像を重畳する。この枠画像は、枠の内部では計測精度が保証されることを案内する画像である。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。枠画像における枠の色は、照明光の波長帯域によって異なっていることが好ましい。例えば、青色、緑色および赤色の波長帯域を含む白色の照明光により照明される場合、枠の色は緑色とし、青色の狭帯域、および緑色の狭帯域からなる狭帯域光により照明される場合、枠の色は赤色とする。狭帯域による照明を行う場合、例えば、枠の色を、狭帯域が含まれる色の補色とすることが、枠の視認性の観点で好ましい。この際、境界領域重畳部３１９は、計測モード時に、出射されている照明光の波長帯域から枠の色を選択して、選択した色の枠画像を左眼用画像に重畳する。
　図４は、本発明の一実施の形態にかかる内視鏡システムの表示装置が表示する画像の一例を示す図である。図４では、計測モード時の画像を示している。表示装置４の表示画像Ｗは、被検体や内視鏡の設定などの情報を表示する情報表示領域Ｒ1と、信号処理部３１により生成された画像を表示する画像表示領域Ｒ2とを有する。画像表示領域Ｒ2には、三次元観察モードでは視差画像が表示され、計測モードでは左眼用画像Ｇに枠画像Ｑが重畳された画像が表示される。
　ユーザは、計測装置６で計測する部分（計測部位）が枠画像Ｑの内部に位置するように調整し、調整後の画像を記録媒体５に記録させる。このように記録された画像を計測装置６にて計測することによって、光学系の歪みの影響の少ない計測が行われることになる。
　表示画像データ生成部３２０は、三次元観察モード時、画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。具体的に、表示画像データ生成部３２０は、予め設定されているシフト量に基づいて右眼用画像と左眼用画像とを相対的にシフトさせて、表示用の画像信号を生成する。三次元観察モード時に表示画像データ生成部３２０が生成する視差画像は、三次元座標系で表現される画像となる。
　ここで、表示画像データ生成部３２０が生成する視差画像について、図５を参照して説明する。図５は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。表示画像データ生成部３２０は、図５に示すように、左眼用画像ＩＭLにおける水平ラインのライン画像ＤLと、右眼用画像ＩＭRの水平ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置することによって視差画像ＩＭDを生成する。具体的に、表示画像データ生成部３２０は、左眼用画像ＩＭLが有する奇数ラインのライン画像ＤLと、右眼用画像ＩＭRが有する偶数ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置する。このような視差画像ＩＭDは、ラインバイライン画像ともいわれる。ここでいう水平ラインとは、複数の画素がマトリックス状に配置された撮像素子において、一方の配列方向に沿って配置されている画素が形成するラインに相当する。
　これに対し、表示画像データ生成部３２０は、計測モード時、枠画像が重畳された左眼用画像データに対し、表示装置４で表示可能な態様の信号となるように信号処理を施して、表示用の画像信号を生成する。計測モード時に表示用画像生成部３４が生成する表示用の左眼用画像は、二次元座標系で表現される被写体画像となる。
　表示画像データ生成部３２０は、上述した視差画像データ、または左眼用画像データを、上述した画像表示領域Ｒ2に配置し、情報表示領域Ｒ1とともに表示装置４に表示させる表示用画像データを生成する（例えば、図４参照）。表示画像データ生成部３２０は、生成した表示用画像の画像データを表示装置４に送信する。
　また、表示用画像生成部３４は、入力される画像データがフリーズ対象の画像データである場合は、予め設定されている期間、例えば、数フレームの画像を表示する期間、表示装置４に対象の画像を静止画表示させる。
　記録用画像データ生成部３２１は、前処理部３１１による前処理後の画像データであって、かつ歪補正等の処理が施されていない画像データ（左眼用画像データおよび右眼用画像データ）と、歪補正処理以降の処理に要するパラメータとを関連付けた記録用データを生成する。記録用画像データ生成部３２１は、例えば、フリーズ処理部３１４によって選択された前処理後の左眼用画像データおよび右眼用画像データと、歪補正用のパラメータ、ズーム処理等のパラメータ、および内視鏡２の固有情報などとを記録媒体５に記録させる。記録用画像データ生成部３２１が記録媒体５に記録する歪補正用のパラメータは、歪補正部３１２が用いる歪補正用のパラメータよりもデータ量が大きい高精度に歪補正可能なパラメータである。この際、パラメータや内視鏡２の固有情報は、画像データのヘッダ部分等に埋め込むようにしてもよいし、画像データとは別に、該画像データと対応付けたテキストファイルとして記録するようにしてもよい。
　なお、記録用画像データ生成部３２１は、フリーズ処理部３１４が選択した画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、これを記録用の画像データとする。視差画像としては、上述したラインバイライン画像や、左眼用画像と右眼用画像とを水平ラインの方向に並べたサイドバイサイド画像、左眼用画像と右眼用画像とを垂直ラインの方向に並べたトップアンドボトム画像が挙げられる。この際、パラメータや内視鏡２の固有情報は、ラインバイライン化した視差画像のヘッダ部分等に埋め込むようにしてもよいし、画像データとは別に、該画像データと対応付けたテキストファイルとして記録するようにしてもよい。
　続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。
　光源３０１ａは、白色光を出射する光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。本実施の形態では、白色光を出射するものとして説明するが、ＮＢＩ観察を行うため、光源３０１ａが、青色の狭帯域の光（例えば３９０ｎｍ～４４５ｎｍ）および緑色の狭帯域の光（例えば５３０ｎｍ～５５０ｎｍ）からなる狭帯域光を照明光として出射するようにしてもよいし、白色光と狭帯域光とを切り替え可能としてもよい。また、光源３０１ａは、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかを用いて実現される。
　光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電力を供給することにより、光源３０１ａに照明光を出射させる。
　照明制御部３０２は、制御部３５からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。
　表示装置４は、映像ケーブルを介して処理装置３（表示用画像生成部３４）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　計測装置６は、記録媒体５からデータを読み込んで記録用画像データ生成部３２１が生成したデータを取得し、取得した画像データおよびパラメータから視差画像を生成して、該視差画像を表示する。計測装置６では、視差画像において指定された位置について、内視鏡２から被写体までの距離を計測する。ユーザが、表示された画像に対して入力部３４等を介して計測する箇所を指示することによって、計測装置６が、計測点における距離の計測を行う。計測方法は、ステレオ計測（例えば三角測量）等、公知の方法により計測することができる。
　続いて、内視鏡システム１が行う画像処理について説明する。図６は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部３５の制御のもと、各部が動作するものとして説明する。
　まず、処理装置３が、内視鏡２から画像データを受信する（ステップＳ１０１）。制御部３５は、設定モードが計測モードに設定されているか否かを判断する（ステップ１０２）。制御部３５は、計測モードに設定されていない、すなわち三次元観察モードである場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。一方、制御部３５は、設定モードが計測モードである場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１１３に移行する。
　ステップＳ１０３において、前処理部３１１は、受信した画像データ（左眼用画像データおよび右眼用画像データ）に対して上述した前処理を施して、処理後の画像データを歪補正部３１２およびフレームメモリ３２に出力する。
　ステップＳ１０３に続くステップＳ１０４において、歪補正部３１２は、前処理部３１１から入力された左眼用画像データおよび右眼用画像データに対し、歪補正処理を施す。歪補正部３１２は、左眼用画像データおよび右眼用画像データの歪みを色成分ごとに補正する。歪補正部３１２は、歪補正後の左眼用画像データおよび右眼用画像データをデモザイキング処理部３１３に出力する。
　ステップＳ１０４に続くステップＳ１０５において、デモザイキング処理部３１３は、各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。デモザイキング処理部３１３は、補間処理後の画像データを、フリーズ処理部３１４を介して色補正部３１５に出力する。
　ステップＳ１０５に続くステップＳ１０６において、フリーズ処理部３１４は、スイッチ２２３の押下によってフリーズ指示が入力されたか否かを判断する。フリーズ処理部３１４は、フリーズ指示が入力されたと判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。これに対し、フリーズ処理部３１４は、フリーズ指示が入力されていないと判断すると（ステップＳ１０６：Ｎｏ）、フレームメモリ３２に記憶されている最新のフレームの画像データ（左眼用画像データおよび右眼用画像データ）を色補正部３１５に出力し、ステップＳ１０８に移行する。
　ステップＳ１０７において、フリーズ処理部３１４は、フレームメモリ３２に記憶されている画像、例えば左眼用画像からぶれの小さい左眼用画像をベストフレームとして選択する。フリーズ処理部３１４は、選択したベストフレームの画像データ（左眼用画像データおよび右眼用画像データ）を色補正部３１５に出力する。
　ステップＳ１０８において、色補正部３１５は、フリーズ処理部３１４から入力された画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、例えば、表示装置４の色空間に合わせて画像データの色空間を変換する。色補正部３１５は、変換後の画像データを、明るさ補正部３１６に出力する。
　ステップＳ１０８に続くステップＳ１０９において、明るさ補正部３１６は、左眼用画像データおよび右眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の画像データをズーム処理部３１７に出力する。
　ステップＳ１０９に続くステップＳ１１０において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データおよび右眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の画像データをエンハンス処理部３１８に出力する。
　ステップＳ１１０に続くステップＳ１１１において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データおよび右眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の画像データを、境界領域重畳部３１９を介して表示画像データ生成部３２０に出力する。
　ステップＳ１１１に続くステップＳ１１２において、表示画像データ生成部３２０は、画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
　一方、ステップＳ１１３において、前処理部３１１は、受信した画像データ（左眼用画像データおよび右眼用画像データ）に対して上述した前処理を施して、前処理後の左眼用画像データを、歪補正部３１２を介してデモザイキング処理部３１３に出力するとともに、前処理後の左眼用画像データおよび右眼用画像データをフレームメモリ３２に出力する。この際に、デモザイキング処理部３１３およびフレームメモリ３２に出力される画像データは、歪補正が施されていないデータである。
　ステップＳ１１３に続くステップＳ１１４において、デモザイキング処理部３１３は、左眼用画像データの各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。デモザイキング処理部３１３は、補間処理後の左眼用画像データを、フリーズ処理部３１４に出力する。
　ステップＳ１１４に続くステップＳ１１５において、フリーズ処理部３１４は、スイッチ２２３の押下によってレリーズ指示が入力されたか否かを判断する。フリーズ処理部３１４は、レリーズ指示が入力されたと判断すると（ステップＳ１１５：Ｙｅｓ）、フレームメモリ３２に記憶されている最新のフレームの左眼用画像データを色補正部３１５に出力するとともに、最新のフレームの画像データ(左眼用画像データおよび右眼用画像データ）を記録用画像データ生成部３２１に出力し、ステップＳ１１６およびステップＳ１２２に移行する。これに対し、フリーズ処理部３１４は、レリーズ指示が入力されていないと判断すると（ステップＳ１１５：Ｎｏ）、最新のフレームの左眼用画像データを色補正部３１５に出力し、ステップＳ１２４に移行する。
　ステップＳ１１５に続くステップＳ１１６において、色補正部３１５は、フリーズ処理部３１４から入力された左眼用画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、変換後の画像データを、明るさ補正部３１６に出力する。
　ステップＳ１１６に続くステップＳ１１７において、明るさ補正部３１６は、左眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の左眼用画像データをズーム処理部３１７に出力する。
　ステップＳ１１７に続くステップＳ１１８において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の左眼用画像データをエンハンス処理部３１８に出力する。
　ステップＳ１１８に続くステップＳ１１９において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の左眼用画像データを境界領域重畳部３１９に出力する。
　ステップＳ１１９に続くステップＳ１２０において、境界領域重畳部３１９は、左眼用画像に、境界領域を示す枠画像を重畳する（例えば、図４参照）。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。この際、境界領域重畳部３１９は、照明光の波長帯域が複数パターン存在する場合、出射されている照明光の波長帯域から枠の色を選択して、選択した色の枠画像を左眼用画像に重畳する。境界領域重畳部３１９は、重畳処理後の重畳画像データを表示画像データ生成部３２０に出力する。
　ステップＳ１２０に続くステップＳ１２１において、表示画像データ生成部３２０は、重畳画像データに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
　また、ステップＳ１１６～Ｓ１２１と並行して、記録用画像データ生成部３２１が、記録媒体５に記録させる記録用の画像データの生成を行う（ステップＳ１２２）。記録用画像データ生成部３２１は、フリーズ処理部３１４により選択された最新のフレームの左眼用画像データおよび右眼用画像データに、歪補正処理以降の処理に要するパラメータを関連付けた記録用データを生成する。
　ステップＳ１２２に続くステップＳ１２３において、記録用画像データ生成部３２１は、ステップＳ１２１において生成された記録用データを記録媒体５に記録させる処理を行う。制御部３５は、記録媒体５への記録後、ステップＳ１３０に移行する。
　一方、ステップＳ１２４において、色補正部３１５は、フリーズ処理部３１４から入力された左眼用画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、変換後の左眼用画像データを、明るさ補正部３１６に出力する。
　ステップＳ１２４に続くステップＳ１２５において、明るさ補正部３１６は、左眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の左眼用画像データをズーム処理部３１７に出力する。
　ステップＳ１２５に続くステップＳ１２６において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の左眼用画像データをエンハンス処理部３１８に出力する。
　ステップＳ１２６に続くステップＳ１２７において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の左眼用画像データを境界領域重畳部３１９に出力する。
　ステップＳ１２７に続くステップＳ１２８において、境界領域重畳部３１９は、左眼用画像に、境界領域を示す枠画像を重畳する（例えば、図４参照）。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。境界領域重畳部３１９は、重畳処理後の重畳画像データを表示画像データ生成部３２０に出力する。
　ステップＳ１２８に続くステップＳ１２９において、表示画像データ生成部３２０は、重畳画像データに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
　ステップＳ１３０において、表示画像データ生成部３２０は、制御部３５の制御のもと、ステップＳ１１２で生成した視差画像を含む表示画像、ステップＳ１２１で生成した左眼用画像を含む表示画像、またはステップＳ１２９で生成した左眼用画像を含む表示画像を、表示装置４に表示させる。
　なお、ステップＳ１２３における記録処理と、ステップＳ１３０における表示処理とは、ステップＳ１３０を先に行ってもよいし、同時に行うようにしてもよい。
　上述した本発明の一実施の形態によれば、計測モード時に、内視鏡２により取得された画像に枠画像を重畳して表示するようにしたので、ユーザが、計測した箇所を枠画像の内部に位置するように調整し、調整後の画像を記録媒体５に記録させることができる。この結果、計測装置６において計測を行う際に、計測精度が保証された領域に計測箇所が位置している状態で計測が行われるため、計測精度の低下を抑制することができる。
　また、上述した本実施の形態によれば、計測モード時、枠画像の重畳処理をエンハンス処理よりも後段で行うようにした。例えば、エンハンス処理よりも前に枠画像を重畳すると、重畳後のエンハンス処理によって、枠画像に強調処理が施され、不自然な画像となる場合があった。本実施の形態によれば、重畳した枠画像が不自然に強調されていない表示用の画像を生成することができる。なお、枠画像が強調されても視認性等が確保されれば、エンハンス処理前に枠画像を重畳するようにしてもよい。
　また、上述した本実施の形態によれば、計測モード時、左眼用画像をもとに二次元の表示画像を生成する際、歪補正を行わないようにした。これにより、計測モードにおいて、ユーザが二次元画像を観察する際の疲労感を低減させることができる。
　なお、上述した本実施の形態において、計測モード時の照明光の光量を、三次元観察モード時の照明光の光量よりも小さくするようにしてもよい。制御部３５は、上述したフローチャートのステップＳ１０２において、計測モードに設定されていると判断された場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１１３に移行する際に照明光の光量を小さくする制御を行う。また、照明光の光量を小さくせずに、明るさ補正用のパラメータを、三次元画像データを生成する際に用いる明るさ補正のパラメータよりも出力値が小さいものにしてもよい。計測モード時の画像の明るさを、三次元観察モード時の明るさよりも暗めにすることによって、計測対象のハレーションを抑制して、一層確実に計測することが可能となる。
　また、上述した本実施の形態では、フリーズ処理部３１４が、三次元観察モード時にはぶれの小さいベストフレームを選択し、計測モード時には、最新のフレームを選択するものとして説明したが、これに限らない。例えば、フリーズ処理部３１４は、三次元観察モード時に最新のフレームを選択するようにしてもよいし、計測モード時にベストフレームを選択するようにしてもよい。
　また、上述した実施の形態では、記録用画像データ生成部３２１が、画像データと、歪補正などのパラメータ、および内視鏡２の固有情報とを対応付けて、記録媒体５に記録させるものとして説明したが、内視鏡２の固有情報を含まないデータを記録用のデータとしてもよい。なお、記録用のデータが内視鏡２の固有情報を有していれば、計測装置６において、内視鏡２の固有のばらつき情報を加味した計測処理を行うことが可能である。
　また、上述した実施の形態では、視差画像が、ラインバイライン画像であるものを例に説明したが、これに限らず、視差を有する画像、例えば、左眼用画像ＩＭLと、右眼用画像ＩＭRとを水平ラインの方向に並べたサイドバイサイド画像や、垂直ラインの方向に並べたトップアンドボトム画像であってもよい。また、一枚の視差画像に限らず、例えばフレームシーケンシャル方式のように、左眼用画像と、右眼用画像とを交互に出力して、記録媒体５に記録させるようにしてもよい。
　また、上述した実施の形態では、撮像部２４４が照明光による反射光を受光する同時式の照明／撮像方式であるものを前提に説明したが、光源部３ａが、各色成分の波長帯域の光を個別に順次出射して、撮像部２４４が、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。
　また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。
　また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。
　また、上述した実施の形態では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
　また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic　View　Finder）に映像を出力する場合にも適用可能である。
　以上のように、本発明にかかる画像処理装置、画像処理システムおよび画像処理方法は、計測精度の低下を抑制するのに有用である。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　３ａ　光源部
　４　表示装置
　５　記録媒体
　６　計測装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　信号処理部
　３２　フレームメモリ
　３３　モード設定部
　３４　入力部
　３５　制御部
　３６　記憶部
　３０１　照明部
　３０２　照明制御部
　３１１　前処理部
　３１２　歪補正部
　３１３　デモザイキング処理部
　３１４　フリーズ処理部
　３１５　色補正部
　３１６　明るさ補正部
　３１７　ズーム処理部
　３１８　エンハンス処理部
　３１９　境界領域重畳部
　３２０　表示画像データ生成部
　３２１　記録用画像データ生成部

Claims (8)

  1. 　同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理装置であって、
    　前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、
    　前記記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、
    　前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記境界領域重畳部は、照明光の波長帯域に応じて前記枠画像の色を変えて前記第１画像に重畳する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記視差画像または前記二次元画像を、設定された拡大率により拡大するズーム処理部、
    　をさらに備え、
    　前記境界領域重畳部は、前記ズーム処理部による拡大率に基づいて前記枠画像を拡大して、前記第１画像に重畳する
    　ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記三次元観察モード時に、前記視差画像における前記光学系による像の歪みを補正する歪補正部、
    　をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  5. 　前記記録用画像選択モードに設定されている場合に、前記外部の記録媒体に記録する記録用の画像データを生成する記録用画像データ生成部をさらに備え、
    　前記記録用画像データ生成部は、前記歪補正部が前記視差画像を補正する際に用いるパラメータよりもデータ量の多いパラメータを、前記画像データと対応付けた前記記録用の画像データを生成する
    　ことを特徴とする請求項４に記載の画像処理装置。
  6. 　前記記録用画像選択モードにおいて生成される前記二次元画像の明るさを、前記三次元観察モードにおいて生成される前記視差画像の明るさと異ならせる制御を行う制御部、
    　をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  7. 　被写体像を結像する光学系と、光学系が結像した光を受光して光電変換する撮像素子とを有し、同一の被写体を異なる方向から撮像した第１および第２画像データを生成する撮像部と、
    　前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、
    　前記記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、
    　前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、
    　を備えることを特徴とする画像処理システム。
  8. 　同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理方法であって、
    　観察モードが、前記第１画像データをもとに生成される二次元画像を表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳ステップと、
    　前記観察モードが、前記第１および第２画像データをもとに生成される視差画像を前記表示装置に表示させる三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳ステップで生成された画像データをもとに前記二次元画像を生成する表示画像データ生成ステップと、
    　を含むことを特徴とする画像処理方法。
PCT/JP2018/014720 2017-06-30 2018-04-06 画像処理装置、画像処理システムおよび画像処理方法 WO2019003556A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018566608A JP6503522B1 (ja) 2017-06-30 2018-04-06 画像処理装置、画像処理システムおよび画像処理方法
US16/596,977 US20200037865A1 (en) 2017-06-30 2019-10-09 Image processing device, image processing system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017129630 2017-06-30
JP2017-129630 2017-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/596,977 Continuation US20200037865A1 (en) 2017-06-30 2019-10-09 Image processing device, image processing system, and image processing method

Publications (1)

Publication Number Publication Date
WO2019003556A1 true WO2019003556A1 (ja) 2019-01-03

Family

ID=64740551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014720 WO2019003556A1 (ja) 2017-06-30 2018-04-06 画像処理装置、画像処理システムおよび画像処理方法

Country Status (3)

Country Link
US (1) US20200037865A1 (ja)
JP (1) JP6503522B1 (ja)
WO (1) WO2019003556A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7253302B1 (ja) * 2022-11-14 2023-04-06 株式会社ASED Lab. 情報処理システム、プログラム及び情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036060A (ja) * 2013-08-13 2015-02-23 オリンパスメディカルシステムズ株式会社 ３次元画像システム
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2016194178A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036060A (ja) * 2013-08-13 2015-02-23 オリンパスメディカルシステムズ株式会社 ３次元画像システム
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2016194178A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7253302B1 (ja) * 2022-11-14 2023-04-06 株式会社ASED Lab. 情報処理システム、プログラム及び情報処理方法

Also Published As

Publication number Publication date
US20200037865A1 (en) 2020-02-06
JP6503522B1 (ja) 2019-04-17
JPWO2019003556A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
WO2013024788A1 (ja) 撮像装置
JP6109456B1 (ja) 画像処理装置および撮像システム
WO2019235492A1 (ja) 内視鏡プロセッサ、表示設定方法および表示設定プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JPWO2017221738A1 (ja) 画像処理装置
JP6463512B2 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2018150627A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6503522B1 (ja) 画像処理装置、画像処理システムおよび画像処理方法
US10729309B2 (en) Endoscope system
US10462440B2 (en) Image processing apparatus
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP6937902B2 (ja) 内視鏡システム
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP2017123997A (ja) 撮像システムおよび処理装置
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2018079387A1 (ja) 画像処理装置および画像処理システム
JP2018007840A (ja) 画像処理装置
WO2019130834A1 (ja) 画像処理装置および画像処理方法
JP2017221276A (ja) 画像処理装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018566608

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18823632

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18823632

Country of ref document: EP

Kind code of ref document: A1