WO2022131016A1 - 内視鏡システム、画像処理装置、及び、画像処理方法 - Google Patents

内視鏡システム、画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2022131016A1
WO2022131016A1 PCT/JP2021/044417 JP2021044417W WO2022131016A1 WO 2022131016 A1 WO2022131016 A1 WO 2022131016A1 JP 2021044417 W JP2021044417 W JP 2021044417W WO 2022131016 A1 WO2022131016 A1 WO 2022131016A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
angle
optical system
endoscope
Prior art date
Application number
PCT/JP2021/044417
Other languages
English (en)
French (fr)
Inventor
素明 小林
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022131016A1 publication Critical patent/WO2022131016A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present technology relates to an endoscopic system, an image processing apparatus, and an image processing method, and in particular, an endoscopic system, an image processing apparatus, and an image processing apparatus capable of providing an endoscopic image with little distortion over a wide viewing range.
  • image processing method relates to an endoscopic system, an image processing apparatus, and an image processing method, and in particular, an endoscopic system, an image processing apparatus, and an image processing apparatus capable of providing an endoscopic image with little distortion over a wide viewing range.
  • Patent Document 1 discloses an endoscope capable of acquiring an image of a wide field of view in the abdominal cavity in laparoscopic surgery.
  • the image of the endoscope not only an image having a wide field of view but also an image with less distortion is desired.
  • This technology was made in view of such a situation, and makes it possible to provide an endoscopic image with little distortion in a wide field of view.
  • the endoscope system on the first side surface of the present technology has a direction orthogonal to the optical axis of the first optical system including the first wide-angle optical system and the optical axis of the first wide-angle optical system at the tip of the endoscope insertion portion.
  • an endoscope having a second optical system including a second wide-angle optical system having an optical axis toward a first wide-angle image captured by the first optical system, and the second optical system.
  • the first optical system including the first wide-angle optical system and the optical axis of the first wide-angle optical system are orthogonal to the tip of the endoscope insertion portion.
  • a second optical system including a second wide-angle optical system having an optical axis directed in a direction is provided, and a first wide-angle image captured by the first optical system and an image captured by using the second optical system are provided.
  • a composite image is generated by synthesizing the second wide-angle image.
  • the image processing apparatus on the second side of the present technology includes a first wide-angle image captured by using a first optical system including a first wide-angle optical system arranged at the tip of an endoscope insertion portion, and the first wide-angle image.
  • a single composite image is generated by synthesizing a second wide-angle image captured by a second optical system including a second wide-angle optical system having an optical axis oriented in a direction orthogonal to the optical axis of the wide-angle optical system. It is an image processing device having a processing unit.
  • the image processing method of the second aspect of the present technology uses a first optical system in which the processing unit of the image processing apparatus having the processing unit includes a first wide-angle optical system arranged at the tip of the endoscope insertion unit.
  • a second wide-angle image captured using a second wide-angle image including a first wide-angle image captured by the camera and a second wide-angle optical system having an optical axis oriented in a direction orthogonal to the optical axis of the first wide-angle optical system.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of an endoscope system to which the present technology is applied.
  • the endoscope system 1 in FIG. 1 is an endoscope system to which this technique is applied.
  • the endoscope system 1 inserts an insertion portion (endoscope insertion portion) of an endoscope (scope) into the body (inside the body cavity) to acquire an image (endoscope image) inside the body.
  • the endoscope system 1 includes an endoscope tip portion 11, a CCU (camera control unit) 31, and an external device 51.
  • the endoscope insertion portion may be a soft flexible endoscope, or the endoscope insertion portion may be a rigid rigid endoscope.
  • the endoscope tip portion 11 is a tip portion provided with an imaging unit of the endoscope insertion portion inserted into the body.
  • the image captured by the image pickup unit of the endoscope tip portion 11 is supplied to the CCU 31.
  • the endoscope tip portion 11 has three first imaging units 21, a second imaging unit 22, and a third imaging unit 23 as imaging units.
  • the first image pickup unit 21, the second image pickup unit 22, and the third image pickup unit 23 take images (images of the subject) in different viewing angle ranges (field of view ranges) and supply them to the CCU 31.
  • the image captured by the first image pickup unit 21, the second image pickup unit 22, and the third image pickup unit 23 may be a moving image composed of frames having a predetermined period, or may be a still image. You may.
  • the CCU 31 comprehensively controls the image pickup unit of the endoscope tip portion 11 and the light source device (not shown).
  • the light source device generates illumination light and emits it from the endoscope tip 11 via a light guide such as an optical fiber to illuminate a portion to be imaged in the body.
  • the CCU 31 controls the irradiation timing, irradiation intensity, type of light source, and the like of the illumination light from the light source device.
  • the CCU 31 performs predetermined image processing such as compositing processing on the image supplied from the endoscope tip portion 11 and supplies the image to the external device 51.
  • the CCU 31 has an image pickup control unit 41, a signal processing unit 42, and an output control unit 43.
  • the image pickup control unit 41 performs image pickup operations such as charge accumulation time and image (pixel signal) readout timing in the first image pickup unit 21, the second image pickup unit 22, and the third image pickup unit 23 of the endoscope tip portion 11. Control.
  • the signal processing unit 42 captures the images captured by the first imaging unit 21, the second imaging unit 22, and the third imaging unit 23, respectively, and performs a compositing process of synthesizing the captured images.
  • the compositing process is a process of correcting the distortion of each image and joining the images to generate one composite image such as a spherical image.
  • the signal processing unit 42 performs general image processing such as white balance, interpolation processing (demosaiking processing), color conversion, gradation conversion, noise reduction, etc., but these general images The processing shall not be specified.
  • the signal processing unit 42 supplies a composite image such as a spherical image generated by the composite processing to the output control unit 43.
  • the output control unit 43 supplies the composite image from the signal processing unit 42 to the external device 51 as a transmission signal of a predetermined standard.
  • the external device 51 is one or more devices of any kind such as a display device, a recording device, and an IP converter.
  • the external device 51 performs processing according to the type on the composite image from the CCU 31. For example, when the external device 51 is a display device, the external device 51 displays the composite image from the CCU 31 on the display.
  • the external device 51 is a recording device, the external device 51 stores the composite image from the CCU 31.
  • the external device 51 is an IP converter
  • the external device 51 transmits a composite image from the CCU 31 as IP (Internet Protocol) transmission data (IP packet) to a device communicably connected by IP.
  • IP Internet Protocol
  • a composite image such as a spherical image generated by the CCU 31 can be output to an IP network such as in a hospital via the IP converter.
  • the IP network can also be connected to an external network
  • the composite image output to the IP network can be any device connected to the IP network (display device, etc.) or any device connected to the external network (display). Can be transmitted to a device, etc.). Therefore, for example, it is possible for a doctor at a remote location to perform an operation using a robot while observing the surgical site with a composite image such as a spherical image transmitted from the CCU 31.
  • Endoscope tip 11 The configuration of the endoscope tip portion 11 will be described.
  • FIG. 2 is a diagram illustrating the configuration of the endoscope tip portion 11. Note that FIG. 2 is a cross-sectional view of the endoscope insertion portion cut along a plane including its axis (central axis).
  • a first imaging unit 21, a second imaging unit 22, and a third imaging unit 23 are arranged at the endoscope tip portion 11, which is the tip portion of the tubular endoscope insertion portion 10.
  • the first imaging unit 21 is provided on the front end surface, and the first imaging unit 21 is provided on the peripheral surface. Is provided with a second imaging unit 22 and a third imaging unit 23.
  • the first imaging unit 21 captures an image in a viewing angle (angle of view) of about 140 degrees with the direction along the axis of the endoscope insertion unit 10 (longitudinal direction of the endoscope insertion unit 10) as the central axis. Take an image.
  • the first image pickup unit 21 has an optical system 21A and an image pickup element 21B.
  • the optical system 21A has an objective lens (objective window) constituting the front surface, and the objective lens is arranged at a position on the front end surface of the endoscope insertion portion 10.
  • the optical axis of the optical system 21A is arranged in a direction along the axis of the endoscope insertion portion 10.
  • the optical system 21A is, for example, a wide-angle optical system (fixed focus lens) having a viewing angle of about 140 degrees.
  • the optical system 21A collects the light from the subject incident from the objective lens and forms an image of the subject on the light receiving surface of the image pickup device 21B.
  • the optical system 21A may be a wide-angle optical system having a projection method of central projection, or a wide-angle optical system (fish-eye optical system) having a projection method such as normal projection, stereographic projection, or equidistant projection. You may.
  • the term wide-angle optical system refers to an optical system having a viewing angle of 120 degrees or more.
  • the term fish-eye optical system refers to a wide-angle optical system of a projection method other than the central projection such as orthographic projection, stereographic projection, or equidistant projection.
  • the optical axis of the first imaging unit 21 means the optical axis of the optical system 21A.
  • the optical axis of the image pickup unit such as the optical axis of the second image pickup unit 22 and the optical axis of the third image pickup unit 23, also refers to the optical axis of the optical system of the image pickup unit.
  • the image sensor 21B is arranged at a position where the optical axis (central axis) of the light receiving surface coincides with the optical axis of the optical system 21A.
  • the image pickup device 21B converts the image formed on the light receiving surface by the optical system 21A into an electric signal (pixel signal) and transmits the image to the CCU 31.
  • the image pickup device 21B is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image pickup device. However, it may be a CCD (Charge Coupled Device) type image sensor.
  • the image pickup device 21B is preferably an image pickup device having a Bayer array and capable of color photographing.
  • the image pickup element 21B is, for example, 4K (horizontal number of pixels 3840 ⁇ number of vertical pixels 2160), 8K (number of horizontal pixels 7680 ⁇ number of vertical pixels 4320) or square 4K (number of horizontal pixels 3840 or more ⁇ number of vertical pixels 3840 or more). It is preferable that the image pickup element has the number of pixels corresponding to the resolution.
  • the image pickup device 21B may be a single sensor chip or a plurality of sensor chips. For example, a prism that separates incident light into predetermined wavelength bands may be provided, and each wavelength band may be imaged by a different image sensor.
  • the reason (advantage) that the viewing angle of the first imaging unit 21 (optical system 21A) is about 140 degrees will be described.
  • an imaging unit having a viewing angle of about 70 to 80 degrees is provided at the tip of the rigid scope in either a direct speculum or a perspective mirror.
  • the optical axis of the imaging unit is directed to the front in the axial direction of the endoscope insertion unit.
  • the optical axis of the imaging unit is generally oriented in a direction forming about 30 degrees with respect to the axis of the endoscope insertion unit.
  • the image pickup unit of the perspective mirror rotates the endoscope insertion unit to be about 30 degrees + about 30 degrees with respect to the axis of the endoscope insertion unit.
  • the optical system 21A of the first imaging unit 21 has a smaller angle of view than the optical systems 22A and 23A of the second imaging unit 22 and the third imaging unit 23, so that it is easy to design an optical system with relatively high image quality. Is. For example, in an optical system having a wide angle of view, the smaller the angle of view, the higher the resolution and the smaller the distortion, the easier it is to design. Therefore, the optical system of the first image pickup unit 21 can be designed with higher resolution and less distortion than the optical system of the second image pickup unit 22 and the third image pickup unit 23.
  • the field of view imaged by a general perspective mirror is imaged with at least higher image quality than the second image pickup unit 22 and the third image pickup unit 23 described later, and the endoscope is viewed internally.
  • the mirror insertion portion 10 can also be used as a perspective mirror, and an operation such as rotating the perspective mirror becomes unnecessary.
  • the optical axis of the first imaging unit 21 does not necessarily have to coincide with the axial direction of the endoscope insertion unit 10, and the field of view of the first imaging unit 21 is also about 140 degrees. It does not have to be.
  • the viewing angle of the first imaging unit 21 may be 120 degrees or more when a wide-angle optical system is used as the optical system 21A. The viewing angle of the first imaging unit 21 is effective even if the viewing angle is within the range of about 70 to 80 degrees as in the conventional case.
  • the second imaging unit 22 captures an image in a viewing angle range of about 180 degrees with the direction orthogonal to the axis of the endoscope insertion unit 10 as the central axis. That is, the second imaging unit 22 sets the direction orthogonal to the optical axis (central axis of the visual field range) of the first imaging unit 21 as the direction of the central axis of the visual field range.
  • the second image pickup unit 22 has an optical system 22A, a prism 22B, and an image pickup element 22C.
  • the optical system 22A has an objective lens (objective window) constituting the front surface, and the objective lens is arranged at a position on the peripheral surface of the endoscope insertion portion 10.
  • the optical axis of the optical system 22A is arranged along a direction orthogonal to the axis of the endoscope insertion portion 10.
  • the optical system 22A is, for example, a fish-eye optical system (wide-angle optical system) having a larger viewing angle than the optical system 21A of the first imaging unit 21 and having a viewing angle of about 180 degrees. In FIG. 2, only the objective lens among the lenses constituting the optical system 22A is shown, and the other lenses are omitted.
  • the optical system 22A collects light from the subject incident from the objective lens and forms an image of the subject on the light receiving surface of the image pickup device 22C.
  • the optical system 22A may be a fish-eye optical system (wide-angle optical system) having a projection method such as normal projection, stereographic projection, or equidistant projection, or a wide-angle optical system having a projection method of central projection. You may.
  • the viewing angle of the optical system 22A does not have to be 180 degrees, may be 180 degrees or more, or may be less than 180 degrees. The same applies to the optical system 23A described later.
  • the prism 22B is, for example, a right-angle prism mirror and has a reflecting surface that reflects incident light.
  • the prism 22B is arranged at a position where the center of the reflecting surface intersects the optical axis of the optical system 22A, and the optical axis of the reflecting surface is at an angle of about 45 degrees with respect to the optical axis of the optical system 22A. Is placed in.
  • the prism 22B bends the optical axis of the optical system 22A at a right angle. As a result, the prism 22B reflects the light that has passed through the optical system 22A in the direction along the axis of the endoscope insertion portion 10 and in the direction toward the proximal end side of the endoscope insertion portion 10.
  • the image sensor 22C is arranged at a position where the optical axis (central axis) of the light receiving surface coincides with the optical axis of the optical system 22A bent by the prism 22B.
  • the image pickup device 22C converts the image formed on the light receiving surface by the optical system 22A into an electric signal (pixel signal) and transmits the image to the CCU 31.
  • the image pickup element 22C is, for example, a CMOS type image pickup element like the image pickup element 21B, and the form of the image pickup element 22C is the same as that of the image pickup element 21B, so the description thereof will be omitted.
  • the third imaging unit 23 captures an image in a viewing angle range of about 180 degrees with the direction orthogonal to the axis of the endoscope insertion unit 10 as the central axis.
  • the central axis of the visual field range of the third imaging unit 23 is coaxial with the central axis of the visual field range of the second imaging unit 22 and is in the opposite direction. That is, the third imaging unit 23 captures an image in the field of view on the opposite side of the second imaging unit 22.
  • the third image pickup unit 23 has an optical system 23A, a prism 23B, and an image pickup element 23C.
  • the optical system 23A has an objective lens (objective window) constituting the front surface, and the objective lens is arranged on the peripheral surface of the endoscope insertion portion 10.
  • the optical axis of the optical system 23A is arranged along a direction orthogonal to the axis of the endoscope insertion portion 10.
  • the optical axis of the optical system 23A is arranged coaxially with the optical axis of the optical system 22A and in the opposite direction.
  • the optical system 23A is, for example, a fish-eye optical system (wide-angle optical system) having a viewing angle of about 180. In FIG. 2, only the objective lens among the lenses constituting the optical system 23A is shown, and the other lenses are omitted.
  • the optical system 22A and the optical system 23A have the same configuration and characteristics, and are arranged in the endoscope insertion portion 10 at positions symmetrical with respect to the axis.
  • the optical system 23A collects the light from the subject incident from the objective lens and forms an image of the subject on the light receiving surface of the image pickup device 23C.
  • the prism 23B is, for example, a right-angle prism mirror and has a reflecting surface that reflects incident light.
  • the prism 23B is arranged at a position where the center of the reflecting surface intersects the optical axis of the optical system 22A, and the optical axis of the reflecting surface is at an angle of about 45 degrees with respect to the optical axis of the optical system 22A. Is placed in.
  • the reflective surface (slope) of the prism 23B is arranged in the opposite direction to the position where it abuts on the reflective surface (slope) of the prism 22B.
  • the prism 23B bends the optical axis of the optical system 23A at a right angle. As a result, the prism 23B reflects the light that has passed through the optical system 23A in the direction along the axis of the endoscope insertion portion 10 and in the direction toward the tip end side of the endoscope insertion portion 10.
  • the image sensor 23C is arranged at a position where the optical axis (central axis) of the light receiving surface coincides with the optical axis of the optical system 23A bent by the prism 23B.
  • the image pickup device 23C converts the image formed on the light receiving surface by the optical system 23A into an electric signal (pixel signal) and transmits the image to the CCU 31.
  • the image pickup element 23C is, for example, a CMOS type image pickup element like the image pickup element 21B, and the form of the image pickup element 23C is the same as that of the image pickup element 21B, so the description thereof will be omitted.
  • the optical axes of the second imaging unit 22 and the third imaging unit 23 are in a direction orthogonal to the axis of the endoscope insertion unit 10, that is, the light of the first imaging unit 21.
  • the direction is not limited to the direction orthogonal to the axis (optical axis of the optical system 21A).
  • the optical axis of the second imaging unit 22 and the third imaging unit 23 includes, for example, a direction orthogonal to the optical axis of the first imaging unit 21 or a direction orthogonal to the axis of the endoscope insertion unit 10 in the viewing range. It may be a direction, and may be a direction orthogonal to the optical axis of the first imaging unit 21.
  • FIG. 3 is a diagram illustrating a synthesis process performed by the signal processing unit 42 of the CCU 31.
  • the light receiving surface 21F represents the light receiving surface of the image pickup device 21B of the first image pickup unit 21.
  • the light receiving surface 22F represents the light receiving surface of the image pickup device 22C of the second image pickup unit 22.
  • the light receiving surface 23F represents the light receiving surface of the image pickup device 23C of the third image pickup unit 23.
  • Image circles 21M, 22M, and 23M of images formed by the optical systems 21A, 22A, and 23A are shown on the light receiving surfaces 21F, 22F, and 23F, respectively.
  • the signal processing unit 42 of the CCU 31 captures one frame of an image captured by the image sensor 21B of the first image sensor 21, the image sensor 22C of the second image sensor 22, and the image sensor 23C of the third image sensor 23, respectively. take in. It is assumed that the images captured by the image sensors 21B, 22C, and 23C are moving images.
  • the signal processing unit 42 cuts out the images of the image circles 21M, 22M, and 23M on the light receiving surfaces 21F, 22F, and 23F, respectively. ..
  • the signal processing unit 42 When the images of the image circles 21M, 22M, and 23M are cut out, the signal processing unit 42 performs a compositing process for synthesizing those images to generate a spherical image 101.
  • the signal processing unit 42 performs distortion correction processing for reducing distortion of each image of the image circles 21M, 22M, and 23M. At this time, since the distortion is larger and the resolution is lower in the peripheral portions of the image circles 21M, 22M, and 23M, the pixels are appropriately interpolated.
  • the same type of projection optical system for example, a central projection projection wide-angle optical system or a fish-eye optical system
  • the signal processing unit 42 can commonly apply the distortion correction processing algorithm for the distortion of the image caused by the optical systems 21A to 23A, and can simplify the distortion correction processing.
  • the signal processing unit 42 joins the distortion-corrected images to generate the spherical image 101 of FIG. 3 in the equirectangular format (equirectangular projection).
  • the spherical image 101 in the equirectangular format represents an image having a viewing angle range of 360 degrees in the horizontal direction (horizontal direction) and an image having a viewing angle range of 180 degrees in the vertical direction (vertical direction).
  • the aspect ratio of the spherical image 101 is 1: 2.
  • the spherical image in the equirectangular format is a commonly used image format, has a high affinity in many display devices that display spherical images, and can be displayed in many display devices. For example, it can be displayed not only by a flat panel type display device but also by a head-mounted VR goggles, AR glass, and a dome type projection type display device.
  • the surgeon can enlarge the affected area during surgery, move the line of sight to the surrounding area to check the surrounding condition, and seamlessly enlarge / reduce the area. It becomes.
  • the efficiency of the surgery can be improved.
  • a scopist who grips and operates the endoscope was required, but even if the endoscope (endoscope insertion part 10) is fixed with a holder or the like, a free field of view can be obtained. Since it can be observed, endoscopic surgery is possible without a scopist.
  • the spherical image 101 is generated by synthesizing the partial image 21N, the partial image 22N, and the partial image 23N.
  • the partial image 21N is an image generated from the image of the image circle 21M, and is an image cut out from the image captured by the first imaging unit 21 and generated.
  • the partial image 22N is an image generated from the image of the image circle 22M, and is an image cut out from the image captured by the second image pickup unit 22 and generated.
  • the partial image 23N is an image generated from the image of the image circle 23M, and is an image cut out from the image captured by the third image pickup unit 23 and generated.
  • the size of the image circle 21M on the light receiving surface 21F in FIG. 3 is smaller than that of the image circles 22M and 23M because the angle of view of the optical system 21A of the first imaging unit 21 is 140 degrees. This is because the angle of view of the optical system 22A of 22 and the optical system 23A of the third image pickup unit 23 is 180 degrees.
  • the size of the image circle can be reduced by reducing the angle of view.
  • the optical system can be designed to be compact. Even if the optical system 21A of the first imaging unit 21 has an angle of view of 140 degrees, the optical system may be designed so that the image circle is inscribed in the light receiving surface 21F.
  • the optical system 21A of the first imaging unit 21 has a larger shooting magnification than the optical system 22A of the second imaging unit 22 and the optical system 23A of the third imaging unit 23.
  • the central portion of the spherical image 101 is an image obtained by capturing the front visual field range in the axial direction of the endoscope insertion portion 10. It is the image captured by the first imaging unit 21 that the subject in the field of view in front of the subject appears in high image quality (high resolution (clear) and low distortion). Therefore, the image captured by the first imaging unit 21 is used as the partial image 21N at the center of the spherical image 101.
  • the left half of the spherical image 101 is an image of the visual field range of the second imaging unit 22. Therefore, the image captured by the second imaging unit 22 is used for the partial image 22N on the left half of the spherical image 101.
  • the image in the field of view that overlaps with the partial image 21N has a higher resolution in the image captured by the first imaging unit 21 than in the second imaging unit 22. Therefore, the image captured by the first imaging unit 21 is preferentially used as the image that generates the range.
  • the right half of the spherical image 101 is an image of the visual field range of the third imaging unit 23. Therefore, the image captured by the third imaging unit 23 is used for the partial image 23N on the right half of the spherical image 101.
  • the image in the visual field range overlapping with the partial image 21N has a higher resolution in the image captured by the first imaging unit 21 than in the third imaging unit 23. Therefore, the image captured by the first imaging unit 21 is preferentially used as the image that generates the range.
  • the synthesis processing performed by the signal processing unit 42 of the CCU 31 is not limited to the above case.
  • the partial image 21N that generates the central portion of the spherical image 101 may be an image obtained by cutting out a part of the image of the image circle 21M captured by the first imaging unit 21. That is, the partial image 21N may not be an image having a viewing angle range of about 140 degrees, but may be an image limited to a viewing angle range smaller than 140 degrees.
  • the signal processing unit 42 cuts out an image of the image circle 21M captured by the first imaging unit 21 or an image having a viewing angle smaller than the viewing angle of the image circle 21M (for example, about 70 to 80 degrees), and operates the operation. Only high-quality (high-resolution and low-distortion) images in the visual field range for which the doctor desires detailed observation may be generated as the main image separately from the all-sky sphere image.
  • the main image thus generated can be displayed on a display device such as a flat display and used as an image to be observed by the surgeon when performing the procedure.
  • the signal processing unit 42 may generate a spherical image as a sub-image using only the images captured by the second imaging unit 22 and the third imaging unit 23.
  • the sub-image corresponds to an image generated by an image in which the central partial image 21N of the spherical image 101 is captured by the second imaging unit 22 and the third imaging unit 23.
  • Such a sub-image may be displayed on a display device different from the above-mentioned main image, or may be superimposed and displayed on the main image as a sub screen in the display device for displaying the main image. May be good.
  • the signal processing unit 42 reduces distortion of the images of the image circles 21M, 22M, and 23M cut from the images captured by the first imaging unit 21, the second imaging unit 22, and the third imaging unit 23. Although the correction processing is performed, the distortion correction processing of only a part of those images may be performed, or the distortion correction of all the images may not be performed.
  • FIG. 4 is a flowchart illustrating the procedure of processing performed by the signal processing unit 42.
  • step S11 the signal processing unit 42 captures the images captured by the first imaging unit 21, the second imaging unit 22, and the third imaging unit 23. The process proceeds from step S11 to step S12.
  • step S12 the signal processing unit 42 cuts out an image in the range of the image circle from the images captured from each of the first image pickup unit 21, the second image pickup unit 22, and the third image pickup unit 22. The process proceeds from step S12 to step S13.
  • step S13 the signal processing unit 42 performs image processing such as distortion correction processing on each of the cut out images. The process proceeds from step S13 to step S14.
  • step S14 the signal processing unit 42 joins (stitches) the images processed in step S13 to generate a spherical image.
  • step S13 As the spherical image obtained by the image processing in step S13 and the connection in step S14, for example, an image in the widely used equirectangular format is output.
  • the image processing of step S13 the image is converted into an image in the equirectangular format, and then the images are joined in step S14.
  • step S15 the signal processing unit 42 outputs the spherical image generated in step S14 to the output control unit 43.
  • the process returns from step S15 to step S11 and repeats from step S11.
  • the visual field range is limited to a viewing angle range of approximately 70 to 80 degrees, and the visual field range is limited to a part (procedure part) where a procedure is performed. Therefore, compared to open surgery, in which surgery is performed while grasping not only the surgical site but also the entire surrounding area, endoscopic surgery is inefficient and may take longer. Even in endoscopic surgery, in order to improve the efficiency of surgery, it is ideal to be able to observe the inside of the body with a wide field of view as in open surgery.
  • a squint mirror may be used as a method of observing the periphery of the procedure site.
  • endoscopic surgery using a squint mirror it is possible to observe the periphery of the procedure site by rotating the squint mirror when necessary while observing the procedure site.
  • an endoscope different from the endoscope for observing the procedure site may be inserted into the body.
  • all of these methods have drawbacks such as prolonged operation time and increased invasiveness.
  • a doctor who is a scopist can hold and operate the endoscope separately from the surgeon so that the surgeon can observe the necessary parts as appropriate as the surgery progresses.
  • the operation to change the field of view is performed.
  • whether or not the surgeon can see the intended image depends on the experience of the scoopist and the degree of communication with the surgeon. Therefore, depending on the skill of the scopist, the efficiency of the operation may be inefficient and the operation time may be prolonged.
  • Patent Document 1 International Publication No. 2019/003613
  • an imaging unit that captures a normal viewing angle range (approximately 70 to 80 degrees) at the tip of the endoscope insertion unit, and also includes an endoscope insertion unit.
  • An endoscope having an imaging unit that captures a hemispherical field of view in a face-to-face manner is presented on the side (peripheral surface) of the endoscope.
  • Patent Document 1 does not suggest how to present each image captured by those imaging units to the surgeon.
  • the surgeon can observe a wide field of view in the body. As a result, the number of observation sites that become blind spots is reduced, so that problems such as oversights are prevented from occurring, and the efficiency of surgery is improved.
  • the surgeon can freely observe the intended direction and range in the body without being influenced by the skill of the scopist or instructing the scopist. As a result, the surgery is easy to perform and the efficiency of the surgery is improved.
  • the endoscope system 1 it is possible to observe the direct viewing direction of a procedure site or the like that requires detailed observation with a high-quality image. As a result, the surgery is easy to perform and the efficiency of the surgery is improved.
  • a display device for displaying an all-sky image when an all-sky image is acquired, in addition to a flat display, an all-sky display, AR (Augmented Reality:)
  • An HMD Head Mounted Display
  • an HMD for VR Virtual Reality
  • an appropriate display device can be used according to the surgical content and the purpose of observation.
  • FIG. 5 is a block diagram showing a configuration example of a second embodiment of the endoscope system to which the present technique is applied.
  • the parts corresponding to the endoscope system 1 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the endoscope system 2 of FIG. 5 which is the second embodiment of the endoscope system to which the present technique is applied, has an endoscope tip portion 12, a CCU 31, and an external device 51. Therefore, the endoscope system 2 of FIG. 5 is common to the endoscope system 1 of FIG. 1 in that it has a CCU 31 and an external device 51.
  • the endoscope system 2 of FIG. 5 differs from the endoscope system 1 of FIG. 1 in that it has the endoscope tip portion 12 instead of the endoscope tip portion 11 of FIG. That is, the endoscope tip portion 12 of FIG. 5 is different in that the endoscope tip portion 11 of FIG. 1 has three imaging units, whereas the endoscope tip portion 12 has four imaging units.
  • the endoscope tip portion 12 has a first imaging unit 131, a second imaging unit 132, a third imaging unit 133, and a fourth imaging unit 134.
  • the first image pickup unit 131, the second image pickup unit 132, the third image pickup unit 133, and the fourth image pickup unit 134 capture images of subjects having different visual field ranges and supply them to the signal processing unit 42 of the CCU 31. ..
  • the signal processing unit 42 of the CCU 31 performs a compositing process of synthesizing the images captured by the first image pickup unit 131, the second image pickup unit 132, the third image pickup unit 133, and the fourth image pickup unit 134, and performs a spherical image. To generate.
  • Endoscope tip 12 The configuration of the endoscope tip portion 12 will be described.
  • FIG. 6 and 7 are views illustrating the configuration of the endoscope tip portion 12.
  • FIG. 6 is a cross-sectional view of the endoscope insertion portion cut along a plane including its axis (central axis)
  • FIG. 7 is a cross-sectional view of the endoscope insertion portion 10 cut along a plane orthogonal to the axis. Yes, it is a cross-sectional view taken along the line AA of FIG.
  • the endoscope tip portion 12 which is the tip portion of the tubular endoscope insertion portion 10, has a first imaging unit 131, a second imaging unit 132, a third imaging unit 133, and a third imaging unit 133. 134 is placed.
  • the first image pickup unit 131 is provided for the front end surface, and the first imaging unit 131 is provided with respect to the peripheral surface. Is provided with a second imaging unit 132 to a fourth imaging unit 134.
  • the first image pickup unit 131 is the same as the first image pickup unit 21 in FIG. That is, the first imaging unit 131 captures an image of a subject within a viewing angle (angle of view) of about 140 degrees with the direction along the axis of the endoscope insertion unit 10 as the central axis.
  • the first image pickup unit 131 includes an optical system 131A and an image pickup element 131B. Since the optical system 131A and the image sensor 131B are the same as the optical system 21A and the image sensor 21B of the first image pickup unit 21 in FIG. 2, description thereof will be omitted.
  • the second image pickup unit 132 to the fourth image pickup unit 134 are all image pickup units having the same configuration and characteristics as the first image pickup unit 131.
  • the second imaging unit 132 to the fourth imaging unit 134 have an even angular interval (120 degrees) around the axis (optical axis of the first imaging unit 131) of the endoscope insertion unit 10 (endoscope tip portion 12). It is placed in the position where.
  • the second image pickup unit 132 to the fourth image pickup unit 134 are axes orthogonal to the axis of the endoscope insertion unit 10, respectively, and the central axis is an axis every 120 degrees around the axis of the endoscope insertion unit 10. As a result, an image in a viewing angle range of about 140 degrees is taken.
  • the second imaging unit 132 to the fourth imaging unit 134 have the same configuration and are similarly arranged at the endoscope tip portion 12.
  • a cross section of the second imaging unit 132 in a plane including the optical axis is shown as a cross section of the endoscope insertion unit 10.
  • the second image pickup unit 132 has an optical system 132A and an image pickup element 132B.
  • the optical system 132A and the image pickup device 132B have the same configuration and characteristics as the optical system 131A and the image pickup device 131B of the first image pickup unit 131.
  • the optical system 132A has an objective lens (objective window) constituting the front surface, and the objective lens is arranged at a position on the peripheral surface of the endoscope insertion portion 10.
  • the optical axis of the optical system 132A is arranged along a direction orthogonal to the axis of the endoscope insertion portion 10.
  • the optical system 132A is a wide-angle optical system (fixed focus lens) having a viewing angle of about 140 degrees.
  • the optical system 132A collects the light from the subject incident from the objective lens and forms an image of the subject on the light receiving surface of the image pickup device 132B.
  • the image sensor 132B is arranged at a position where the optical axis (central axis) of the light receiving surface coincides with the optical axis of the optical system 132A.
  • the image pickup device 132B converts the image formed on the light receiving surface by the optical system 132A into an electric signal (pixel signal) and transmits the image to the CCU 31.
  • the image pickup element 132B is, for example, a CMOS type image pickup element like the image pickup element 131B, and the form of the image pickup element 132B is the same as that of the image pickup element 131B, so the description thereof will be omitted.
  • the third image pickup unit 133 has an optical system 133A and an image pickup element 133B
  • the fourth image pickup unit 134 has an optical system 134A and an image pickup element 134B.
  • the optical system 133A and the optical system 134A correspond to the optical system 132A of the second imaging unit 132, and their respective optical axes are 120 degrees and 240 degrees around the axis of the endoscope insertion unit 10 with respect to the optical axis of the optical system 132A. Arranged along the direction of the optics.
  • the image sensor 133B and the image sensor 134B correspond to the image sensor 132B of the second image sensor 132, and the optical axis of each light receiving surface is around the axis of the endoscope insertion unit 10 with respect to the optical axis of the second image sensor 132. It is arranged along the direction forming 120 degrees and 240 degrees.
  • the optical systems 131A to 134A of the first imaging unit 131 to the fourth imaging unit 134 may be a wide-angle optical system of a projection method of central projection, orthographic projection, stereoscopic projection, equal-distance projection, or the like. It may be a projection type fisheye optical system.
  • the optical systems 131A to 134A of the first imaging unit 131 to the fourth imaging unit 134 may have a viewing angle of 120 degrees or more instead of a viewing angle of about 140 degrees.
  • first imaging unit 131 to the fourth imaging unit 134 are said to be imaging units having the same configuration and characteristics, they may be imaging units having different configurations and characteristics. However, when the first image pickup unit 131 to the fourth image pickup unit 134 are image pickup units having the same configuration and characteristics, investment in manufacturing equipment and cost reduction of parts can be achieved by standardizing the units. There is an advantage.
  • the optical axes of the second imaging unit 132 to the fourth imaging unit 134 are in a direction orthogonal to the axis of the endoscope insertion unit 10, that is, the first imaging unit 131.
  • the direction is not limited to the direction orthogonal to the optical axis of the optical system 131A (optical axis of the optical system 131A).
  • the optical axis of the second imaging unit 132 to the fourth imaging unit 134 includes, for example, a direction orthogonal to the optical axis of the first imaging unit 131 or a direction orthogonal to the axis of the endoscope insertion unit 10 in the viewing range. It may be a direction, and may be a direction orthogonal to the optical axis of the first imaging unit 131.
  • FIG. 8 is a diagram illustrating a synthesis process performed by the signal processing unit 42 of the CCU 31.
  • the light receiving surface 131F represents the light receiving surface of the image pickup device 131B of the first image pickup unit 131.
  • the light receiving surface 132F represents the light receiving surface of the image pickup device 132B of the second image pickup unit 132.
  • the light receiving surface 133F represents the light receiving surface of the image pickup device 133B of the third image pickup unit 133.
  • the light receiving surface 134F represents the light receiving surface of the image pickup device 134B of the fourth image pickup unit 134.
  • Image circles 131M, 132M, 133M, and 134M of images formed by the optical systems 131A, 132A, 133A, and 134A are shown on the light receiving surfaces 131F, 132F, 133F, and 134F, respectively.
  • the optical system may be set so that the image circle is inscribed.
  • the image circle 132M on the light receiving surface 132F, the image circle 133M on the light receiving surface 133F, and the image circle 134M on the light receiving surface 134F are also the same. In that case, since the magnification is large, it is possible to acquire an image having a higher resolution.
  • the signal processing unit 42 of the CCU 31 includes an image sensor 131B of the first image sensor 131, an image sensor 132B of the second image sensor 132, an image sensor 133B of the third image sensor 133, and an image sensor 134B of the fourth image sensor 134. Each image is captured one frame at a time.
  • the signal processing unit 42 receives the image circles 131M, 132M, 133M, and the image circles 131M, 132M, 133M, and , 134M image is cut out.
  • the signal processing unit 42 When the images of the image circles 131M, 132M, 133M, and 134M are cut out, the signal processing unit 42 performs a compositing process for synthesizing those images to generate a spherical image 151.
  • the signal processing unit 42 performs distortion correction processing for reducing distortion of each image of the image circles 131M, 132M, 133M, and 134M. At this time, since the distortion is larger and the resolution is lower in the peripheral portions of the image circles 131M, 132M, 133M, and 134M, the pixels are appropriately interpolated.
  • the signal processing unit 42 distorts the image due to the optical systems 131A to 134A.
  • the distortion correction processing algorithm for the above can be applied in common, and the distortion correction processing can be simplified.
  • the signal processing unit 42 joins the distortion-corrected images to generate the spherical image 151 of FIG. 8 in the equirectangular format (equirectangular projection).
  • the spherical image 151 represents an image having a viewing angle range of 360 degrees in the horizontal direction (horizontal direction) and an image having a viewing angle range of 180 degrees in the vertical direction (vertical direction).
  • the aspect ratio of the spherical image 151 is 1: 2.
  • the spherical image 151 is generated by synthesizing the partial image 131N, the partial image 132N, the partial image 133N, and the partial image 134N.
  • the partial image 131N is an image generated from the image of the image circle 131M, and is an image cut out from the image captured by the first imaging unit 131.
  • the partial image 132N is an image generated from the image of the image circle 132M, and is an image cut out from the image captured by the second image pickup unit 132 and generated.
  • the partial image 133N is an image generated from the image of the image circle 133M, and is an image cut out from the image captured by the third image pickup unit 133 and generated.
  • the partial image 134N is an image generated from the image of the image circle 134M, and is an image cut out from the image captured by the fourth image pickup unit 134 and generated.
  • the central portion of the spherical image 151 is an image of the front viewing range in the axial direction of the endoscope insertion portion 10. It is the image captured by the first image pickup unit 131 that the subject in the field of view in front of the subject is reflected in high image quality (high resolution (clear) and low distortion). Therefore, the image captured by the first imaging unit 131 is used as the partial image 131N at the center of the spherical image 101.
  • the upper 120-degree range around the center of the spherical image 151 is an image of the visual field range of the second imaging unit 132. Therefore, the image captured by the second imaging unit 132 is used as the partial image 132N of the spherical image 151.
  • the images in the field of view that overlap with the partial images 131N have higher resolution in the images captured by the first imaging unit 131 than in the second imaging unit 132. Since the distortion is low, the image captured by the first imaging unit 131 is preferentially used as the image that generates the range.
  • the range of 120 degrees on the lower left side around the center of the spherical image 151 is an image of the visual field range of the third imaging unit 133. Therefore, the image captured by the third imaging unit 133 is used as the partial image 133N of the spherical image 151. However, among the partial images 133N of the spherical image 151, the image of the field of view that overlaps with the partial image 131N has a higher resolution in the image captured by the first imaging unit 131 than that of the third imaging unit 133. Since the distortion is low, the image captured by the first imaging unit 131 is used as the image that generates the range.
  • the range of 120 degrees on the lower right side around the center of the spherical image 151 is an image of the visual field range of the fourth imaging unit 134. Therefore, the image captured by the fourth imaging unit 134 is used for the partial image 134N of the spherical image 151.
  • the image of the visual field range overlapping with the partial image 131N has a higher resolution than the image captured by the first imaging unit 131 than the fourth imaging unit 134. Since the distortion is low, the image captured by the first imaging unit 131 is used as the image that generates the range.
  • the image is taken by any of the first imaging unit 131 to the fourth imaging unit 134 in the viewing range of the whole celestial sphere.
  • the image in the visual field range that becomes the blind spot may be, for example, a monochromatic image, or may be interpolated with a nearby image.
  • the synthesis processing performed by the signal processing unit 42 of the CCU 31 is not limited to the above-mentioned case as in the case of the endoscope system 1.
  • the partial image 131N that generates the central portion of the spherical image 101 may be an image obtained by cutting out a part of the image of the image circle 131M captured by the first imaging unit 131. That is, the partial image 131N may be an image generated from an image in a range limited to a predetermined viewing angle, instead of an image of the entire range having a viewing angle of about 140 degrees.
  • the signal processing unit 42 cuts out an image of the image circle 131M captured by the first imaging unit 131 or an image having a viewing angle smaller than the viewing angle of the image circle 131M (for example, about 70 to 80 degrees), and operates the operation. Only high-quality (high-resolution and low-distortion) images in the visual field range for which the doctor desires detailed observation may be generated as the main image separately from the all-sky sphere image.
  • the main image thus generated can be displayed on a display device such as a flat display and used as an image to be observed by the surgeon when performing the procedure.
  • the signal processing unit 42 may generate a spherical image as a sub-image using only the images captured by the second imaging unit 132 to the fourth imaging unit 134.
  • the sub-image corresponds to an image generated by an image in which the central partial image 131N of the spherical image 151 is captured by the second imaging unit 132 to the fourth imaging unit 134.
  • Such a sub-image may be displayed on a display device different from the above-mentioned main image, or may be superimposed and displayed on the main image as a sub screen in the display device for displaying the main image. May be good.
  • the signal processing unit 42 performed distortion correction processing for reducing the distortion of the images of the image circles 131M to 134M cut out from the images captured by the first imaging unit 131 to the fourth imaging unit 134.
  • the distortion correction processing of only a part of the images may be performed, or the distortion correction of all the images may not be performed.
  • the endoscope system 2 to which this technique is applied can obtain an image of the inside of the body with a much wider field of view than before, and at the same time, the part to be performed has high image quality (high resolution and low distortion). An image is obtained. Therefore, regardless of the skill of the scopist, the image intended by the surgeon can be obtained, and as a result, efficient surgery can be performed.
  • the surgeon can observe a wide field of view in the body. As a result, the number of observation sites that become blind spots is reduced, so that problems such as oversights are prevented from occurring, and the efficiency of surgery is improved.
  • the surgeon can freely observe the intended direction and range in the body without being influenced by the skill of the scoopist or instructing the scoopist. As a result, the surgery is easy to perform and the efficiency of the surgery is improved.
  • the endoscope system 2 it is possible to observe the direct viewing direction of a procedure site or the like that requires detailed observation with a high-quality image. As a result, the surgery is easy to perform and the efficiency of the surgery is improved.
  • an all-sky display As a display device (external device 51) for displaying an all-sky image when an all-sky image is acquired, in addition to a flat display, an all-sky display, AR (Augmented Reality:) An HMD (Head Mounted Display) for augmented reality and an HMD for VR (Virtual Reality) can be used.
  • AR Augmented Reality:
  • HMD Head Mounted Display
  • VR Virtual Reality
  • the first imaging units 21 and 131 that image the axial direction (front) of the endoscope insertion unit 10 and the direction (sideways) orthogonal to the axis of the endoscope insertion unit 10 ) Is included in the endoscope tip portions 11 and 12 as an example.
  • This technology is not limited to this.
  • the number of image pickup units that image the sides of the endoscope insertion unit 10 may be one, or may be four or more.
  • a plurality of image pickup units that image the sides of the endoscope insertion unit 10 may be arranged in a direction along the axis of the endoscope insertion unit 10.
  • the imaging unit (first imaging unit 21, 131) that images the front of the endoscope insertion unit 10 includes the axial direction of the endoscope insertion unit 10 within the visual field range, the light of the imaging unit is included.
  • the axis may be oriented in a direction different from the axial direction of the endoscope insertion portion 10. However, it is assumed that the angle formed by the optical axis of the optical axis of the image pickup unit that images the front with the axis of the endoscope insertion unit 10 is smaller than that of other image pickup units.
  • the imaging unit that images the side of the endoscope insertion unit 10 is an imaging unit that captures a field of view that does not match the imaging unit that images the front
  • the optical axis of the imaging unit is the endoscope insertion unit 10. It may be oriented in a direction different from the direction orthogonal to the axis of.
  • the signal processing unit 42 of the CCU 31 synthesizes images captured by a plurality of imaging units arranged at the tip portion (endoscope tip portion) of the endoscope insertion unit 10 to generate a composite image.
  • the signal processing unit 42 overlaps the field of view of the image pickup unit (front image pickup unit) that images the front of the endoscope insertion unit 10 and the image pickup unit (side image pickup unit) that images the side surface.
  • the signal processing unit 42 overlaps.
  • a composite image is generated using the image captured by the front image pickup unit.
  • the image taken by each imaging unit may be transmitted to the external device 51 so that the external device 51 performs the compositing process.
  • the synthesis process may be performed by the IP converter, or the synthesis process may be performed by another device connected to the IP converter. ..
  • the series of processes in the CCU 31 described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 9 is a block diagram showing a configuration example of computer hardware when the computer executes each process executed by the CCU 31 by a program.
  • a CPU Central Processing Unit
  • ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • the input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the above-mentioned series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 211 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by mounting the removable media 211 in the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208. In addition, the program can be pre-installed in the ROM 202 or the storage unit 208.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also take the following configurations.
  • a first optical system including a first wide-angle optical system and a second wide-angle optical system having an optical axis oriented in a direction orthogonal to the optical axis of the first wide-angle optical system are included.
  • An endoscope having two optical systems and An image processing device that combines a first wide-angle image captured by using the first optical system and a second wide-angle image captured by using the second optical system to generate a single composite image.
  • Endoscopic system to have.
  • the image processing apparatus generates the composite image by using the first wide-angle image as an image of the field-of-view range in which the field-of-view range of the first wide-angle image and the field-of-view range of the second wide-angle image overlap.
  • the endoscopic system according to any one of (6).
  • the endoscope has a third wide-angle optical axis having an optical axis directed in a direction orthogonal to the optical axis of the first wide-angle optical system and having an optical axis in a direction different from the optical axis of the second wide-angle optical system. It has a third optical system including the system, The image processing apparatus synthesizes the first wide-angle image, the second wide-angle image, and the third wide-angle image captured by the third optical system to generate the composite image (1).
  • the endoscopic system according to any one of (8).
  • the third wide-angle image is a lateral field of view along a direction orthogonal to the axis of the endoscope insertion portion, and is an image obtained by capturing a field of view on the opposite side of the field of view of the second wide-angle image.
  • the endoscopic system according to (9) or (10) above.
  • the image processing apparatus generates the composite image by using the first wide-angle image as an image of the field-of-view range in which the field-of-view range of the first wide-angle image and the field-of-view range of the third wide-angle image overlap.
  • the endoscopic system according to any one of (11).
  • the image processing apparatus has a field of view in which the field of view of the first wide-angle image and the field of view of the second wide-angle image overlap, a field of view of the first wide-angle image, and a field of view of the third wide-angle image.
  • the image processing apparatus generates a spherical image as the composite image.
  • the image processing device generates an image of a central portion of the spherical image by the first wide-angle image.
  • the endoscope has an optical axis directed in a direction orthogonal to the optical axis of the first wide-angle optical system, and light in a direction different from the optical axes of the second wide-angle optical system and the third wide-angle optical system.
  • the image processing apparatus synthesizes the first wide-angle image, the second wide-angle image, the third wide-angle image, and the fourth wide-angle image captured by the fourth optical system, and the combined image.
  • the endoscopic system according to any one of (9) to (16) above.
  • An image processing apparatus having a processing unit that synthesizes a second wide-angle image captured by using a second optical system including a second wide-angle optical system having an axis to generate one composite image.
  • a single composite image is generated by synthesizing a second wide-angle image captured by a second optical system including a second wide-angle optical system having an optical axis oriented in a direction orthogonal to the optical axis of the wide-angle optical system.
  • 1,2 Endoscope system 10 Endoscope insertion part, 11,12 Endoscope tip part, 21,131 1st image pickup part, 22,132 2nd image pickup part, 23,133 3rd image pickup part, 31 CCU , 41 Imaging control unit, 42 Signal processing unit, 43 Output control unit, 51 External device, 134 4th imaging unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

本技術は、広い視野範囲で歪みの少ない内視鏡画像を提供できるようにする内視鏡システム、画像処理装置、及び、画像処理方法に関する。 内視鏡挿入部の先端部に、第１広角光学系を含む第１光学系と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系とが備えられ、前記第１光学系を用いて撮像された第１広角画像と、前記第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像が生成される。本技術は内視鏡システムに適用され得る。

Description

内視鏡システム、画像処理装置、及び、画像処理方法
　本技術は、内視鏡システム、画像処理装置、及び、画像処理方法に関し、特に、広い視野範囲で歪みの少ない内視鏡画像を提供できるようにした内視鏡システム、画像処理装置、及び、画像処理方法に関する。
　特許文献１には、腹腔鏡下外科手術において、腹腔内の広視野範囲の画像を取得できる内視鏡が開示されている。
国際公開第２０１９/００３６１３号
　内視鏡の画像としては、広視野範囲の画像だけでなく、歪みの少ない画像が望まれている。
　本技術はこのような状況に鑑みてなされたものであり、広い視野範囲で歪みの少ない内視鏡画像を提供できるようにする。
　本技術の第１の側面の内視鏡システムは、内視鏡挿入部の先端部に、第１広角光学系を含む第１光学系と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系とを有する内視鏡と、前記第１光学系を用いて撮像された第１広角画像と、前記第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する画像処理装置とを有する内視鏡システムである。
　本技術の第１の側面の内視鏡システムにおいては、内視鏡挿入部の先端部に、第１広角光学系を含む第１光学系と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系とが備えられ、前記第１光学系を用いて撮像された第１広角画像と、前記第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像が生成される。
　本技術の第２の側面の画像処理装置は、内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する処理部を有する画像処理装置である。
　本技術の第２の側面の画像処理方法は、処理部を有する画像処理装置の前記処理部が、内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する画像処理方法である。
　本技術の第２の側面の画像処理装置及び画像処理方法においては、内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像が生成される。
本技術が適用された内視鏡システムの第１の実施の形態の構成例を示したブロック図である。 内視鏡先端部の構成を例示した図である。 CCUの信号処理部が行う合成処理を説明する図である。 信号処理部が行う処理手順を例示したフローチャートである。 本技術が適用された内視鏡システムの第２の実施の形態の構成例を示したブロック図である。 内視鏡先端部の構成を例示した図である。 内視鏡先端部の構成を例示した図である。 CCUの信号処理部が行う合成処理を説明する図である。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜内視鏡システムの第１の実施の形態＞
　図１は、本技術が適用された内視鏡システムの第１の実施の形態の構成例を示したブロック図である。
　図１の内視鏡システム１は、本技術が適用された内視鏡システムである。内視鏡システム１は、体内（体腔内）に内視鏡（スコープ）の挿入部（内視鏡挿入部）を挿入して体内の画像（内視鏡画像）を取得する。内視鏡システム１は、内視鏡先端部１１、CCU（カメラコントロールユニット）３１、及び、外部装置５１を有する。なお、内視鏡は、内視鏡挿入部が軟性の軟性内視鏡であってもよいし、内視鏡挿入部が硬性の硬性内視鏡であってもよい。
　内視鏡先端部１１は、体内に挿入される内視鏡挿入部の撮像部が設けられる先端部分である。内視鏡先端部１１の撮像部で撮像された画像は、CCU３１に供給される。
　内視鏡先端部１１は、撮像部として３つの第１撮像部２１、第２撮像部２２、及び、第３撮像部２３を有する。これらの第１撮像部２１、第２撮像部２２、及び、第３撮像部２３は、それぞれ異なる視野角の範囲（視野範囲）の画像（被写体の画像）を撮像し、CCU３１に供給する。なお、第１撮像部２１、第２撮像部２２、及び、第３撮像部２３で撮像される画像は、所定周期のフレーム（コマ）からなる動画像であってもよいし、静止画像であってもよい。
　CCU３１は、内視鏡先端部１１の撮像部や不図示の光源装置を統括的に制御する。なお、光源装置は、照明光を生成し、光ファイバ等のライトガイドを介して内視鏡先端部１１から出射し、体内の被撮影部位を照明する。CCU３１は、光源装置からの照明光の照射タイミング、照射強度、及び、光源の種類等を制御する。
　CCU３１は、内視鏡先端部１１から供給された画像に対して合成処理等の所定の画像処理を行い、外部装置５１に供給する。
　CCU３１は、撮像制御部４１、信号処理部４２、及び、出力制御部４３を有する。
　撮像制御部４１は、内視鏡先端部１１の第１撮像部２１、第２撮像部２２、及び、第３撮像部２３における電荷蓄積時間、画像（画素信号）の読出しタイミングなどの撮像動作を制御する。
　信号処理部４２は、第１撮像部２１、第２撮像部２２、及び、第３撮像部２３でそれぞれ撮像された画像を取り込み、取り込んだ各画像を合成する合成処理などを行う。合成処理は、各画像の歪みを補正し、各画像をつなぎ合わせて全天球画像等の１枚の合成画像を生成する処理をいう。なお、信号処理部４２は、合成処理以外に、ホワイトバランス、補間処理（デモザイキング処理）、色変換、階調変換、ノイズリダクション等の一般的な画像処理を行うが、これらの一般的な画像処理については明示しないものとする。
　信号処理部４２は、合成処理により生成した全天球画像等の合成画像を出力制御部４３に供給する。
　出力制御部４３は、信号処理部４２からの合成画像を所定規格の伝送信号として外部装置５１に供給する。
　外部装置５１は、表示装置、記録装置、IPコンバータ等の任意の種類の１又は複数の装置である。外部装置５１は、種類に応じた処理をCCU３１からの合成画像に対して行う。例えば、外部装置５１が表示装置の場合には、外部装置５１は、CCU３１からの合成画像をディスプレイに表示する。外部装置５１が記録装置の場合には、外部装置５１は、CCU３１からの合成画像を保存する。外部装置５１がIPコンバータの場合には、外部装置５１は、CCU３１からの合成画像をIP（Internet Protocol）の伝送データ（IPパケット）としてIPにより通信可能に接続された装置に送信する。
　外部装置５１がIPコンバータの場合に、CCU３１で生成された全天球画像等の合成画像をIPコンバータを介して病院内等のIPネットワークに出力することができる。IPネットワークは外部のネットワークにも接続し得るので、IPネットワークに出力された合成画像はIPネットワークに接続された任意の装置（表示装置等）や、外部のネットワークに接続された任意の装置（表示装置等）に伝送され得る。したがって、例えば、遠隔地にいる医師がCCU３１から伝送された全天球画像等の合成画像で術部を観察しながら、ロボットを使用して手術を行うことも可能となる。
＜内視鏡先端部１１＞
　内視鏡先端部１１の構成について説明する。
　図２は、内視鏡先端部１１の構成を例示した図である。なお、図２は、内視鏡挿入部をその軸線（中心軸）を含む平面で切断した断面図である。
　筒状の内視鏡挿入部１０の先端部分である内視鏡先端部１１には、第１撮像部２１、第２撮像部２２、及び、第３撮像部２３が配置される。内視鏡挿入部１０（内視鏡先端部１２）の外壁面を形成する先端面と周面とのうち、先端面に対しては、第１撮像部２１が設けられ、周面に対しては、第２撮像部２２及び第３撮像部２３が設けられる。
（第１撮像部２１）
　第１撮像部２１は、内視鏡挿入部１０の軸線に沿った方向（内視鏡挿入部１０の長手方向）を中心軸として、約１４０度の視野角（画角）の範囲の画像を撮像する。
　第１撮像部２１は、光学系２１Ａと撮像素子２１Ｂとを有する。
　光学系２１Ａは、前面を構成する対物レンズ（対物窓）を有し、対物レンズが内視鏡挿入部１０の先端面の位置に配置される。光学系２１Ａの光軸は、内視鏡挿入部１０の軸線に沿った方向に配置される。光学系２１Ａは、例えば、約１４０度の視野角を有する広角光学系（固定焦点レンズ）である。光学系２１Ａは、対物レンズから入射する被写体からの光を集光し、撮像素子２１Ｂの受光面に被写体の画像を結像する。
　なお、光学系２１Ａは、中心射影の投影方式の広角光学系であってもよいし、正射影、立体射影、又は、等距離射影等の投影方式の広角光学系（魚眼光学系）であってもよい。広角光学系という場合には、１２０度以上の視野角を有する光学系をいうこととする。魚眼光学系という場合には、正射影、立体射影、又は、等距離射影等の中心射影以外の投影方式の広角光学系をいうこととする。
　第１撮像部２１の光軸という場合には光学系２１Ａの光軸をいうものとする。第２撮像部２２の光軸、及び、第３撮像部２３の光軸等のように撮像部の光軸という場合も同様に撮像部が有する光学系の光軸をいうものとする。
　撮像素子２１Ｂは、受光面の光軸（中心軸）が光学系２１Ａの光軸に一致する位置に配置される。撮像素子２１Ｂは、光学系２１Ａにより受光面に結像された画像を電気信号（画素信号）に変換し、CCU３１に伝送する。撮像素子２１Ｂは、例えばCMOS（Complementary Metal Oxide Semiconductor）タイプの撮像素子である。ただし、CCD（Charge Coupled Device）タイプの撮像素子であってもよい。撮像素子２１Ｂは、Ｂａｙｅｒ配列を有するカラー撮影可能な撮像素子であることが好ましい。また、撮像素子２１Ｂは、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）、８Ｋ（水平画素数７６８０×垂直画素数４３２０）又は正方形４Ｋ（水平画素数３８４０以上×垂直画素数３８４０以上）の解像度に対応した画素数を有する撮像素子であることが好ましい。撮像素子２１Ｂは、１枚のセンサチップであってもよいし、複数のセンサチップでもよい。例えば、入射光を所定の波長帯域ごとに分離するプリズムを設けて、各波長帯域を異なる撮像素子で撮像する構成であってもよい。
　ここで、第１撮像部２１（光学系２１Ａ）の視野角が約１４０度であることの理由（利点）について説明する。一般的に硬性鏡を用いた内視鏡手術では、直視鏡又は斜視鏡のいずれにおいても視野角が約７０乃至８０度の撮像部が硬性鏡の先端部に設けられている。直視鏡では、撮像部の光軸が内視鏡挿入部の軸線方向のうちの前方に向けられている。これに対して、斜視鏡では、一般的に撮像部の光軸が、内視鏡挿入部の軸線に対して約３０度をなす方向に向けられている。したがって、斜視鏡の撮像部の視野角を約８０度とすると、斜視鏡の撮像部は、内視鏡挿入部を回転させることで、内視鏡挿入部の軸線に対して約３０度＋約４０度＝約７０度をなす方向までの視野範囲を撮像する。図２の第１撮像部２１は、その斜視鏡で撮像され得る視野範囲を、内視鏡挿入部１０を回転させることなく撮像することができるように視野角が約７０度×２＝約１４０度に設定されている。したがって、第１撮像部２１によれば、一般的な直視鏡で撮像される手技部位等の執刀医が詳細観察を望む視野範囲が高画質で撮像される。これは第１撮像部２１の光学系２１Ａが第２撮像部２２、第３撮像部２３の光学系２２Ａ、２３Ａよりも画角が小さいため、相対的に高画質の光学系に設計しやすいためである。例えば、画角が広画角の光学系においては一般的に画角が小さいほど解像度を高く、かつ、歪みを小さく設計しやすい。したがって、第１撮像部２１の光学系は、第２撮像部２２、第３撮像部２３の光学系よりも解像度が高く、歪みが小さく設計可能である。これに加えて、第１撮像部２１によれば、一般的な斜視鏡で撮像される視野範囲が少なくとも後述の第２撮像部２２及び第３撮像部２３よりも高画質で撮像され、内視鏡挿入部１０が斜視鏡としての用途もみたし、かつ、斜視鏡を回転させる等の操作が不要となる。ただし、第１撮像部２１（光学系２１Ａ）の光軸は、必ずしも内視鏡挿入部１０の軸線方向と一致していなくてもよいし、第１撮像部２１の視野範囲も約１４０度でなくてもよい。第１撮像部２１の視野角は、光学系２１Ａとして広角光学系を用いた場合の１２０度以上であってよい。第１撮像部２１の視野角は、従来と同じく約７０乃至８０度の範囲内の角度であっても有効である。
（第２撮像部２２）
　第２撮像部２２は、内視鏡挿入部１０の軸線に対して直交する方向を中心軸として、約１８０度の視野角の範囲の画像を撮像する。即ち、第２撮像部２２は、第１撮像部２１の光軸（視野範囲の中心軸）に対して直交する方向を視野範囲の中心軸の方向とする。
　第２撮像部２２は、光学系２２Ａ、プリズム２２Ｂ、及び、撮像素子２２Ｃを有する。
　光学系２２Ａは、前面を構成する対物レンズ（対物窓）を有し、対物レンズが内視鏡挿入部１０の周面の位置に配置される。光学系２２Ａの光軸は、内視鏡挿入部１０の軸線に直交する方向に沿って配置される。光学系２２Ａは、例えば、第１撮像部２１の光学系２１Ａよりも視野角が大きく、約１８０度の視野角を有する魚眼光学系（広角光学系）である。図２では、光学系２２Ａを構成するレンズのうちの対物レンズのみを表し、他のレンズは省略している。光学系２２Ａは、対物レンズから入射する被写体からの光を集光し、撮像素子２２Ｃの受光面に被写体の画像を結像する。
　なお、光学系２２Ａは、正射影、立体射影、又は、等距離射影等の投影方式の魚眼光学系（広角光学系）であってもよいし、中心射影の投影方式の広角光学系であってもよい。光学系２２Ａの視野角は１８０度でなくてもよく、１８０度以上であってもよいし、１８０度未満であってもよい。後述の光学系２３Ａも同様である。
　プリズム２２Ｂは、例えば、直角プリズムミラーであり、入射した光を反射する反射面を有する。プリズム２２Ｂは、反射面の中心が、光学系２２Ａの光軸と交差する位置に配置され、かつ、反射面の光軸が光学系２２Ａの光軸に対して約４５度をなす角度となる位置に配置される。プリズム２２Ｂは、光学系２２Ａの光軸を直角に曲げる。これによって、プリズム２２Ｂは、光学系２２Ａを通過した光を、内視鏡挿入部１０の軸線に沿った方向に、かつ、内視鏡挿入部１０の基端側への向きに反射する。
　撮像素子２２Ｃは、受光面の光軸（中心軸）がプリズム２２Ｂにより屈曲された光学系２２Ａの光軸に一致する位置に配置される。撮像素子２２Ｃは、光学系２２Ａにより受光面に結像された画像を電気信号（画素信号）に変換し、CCU３１に伝送する。撮像素子２２Ｃは、撮像素子２１Ｂと同様に例えばCMOSタイプの撮像素子であり、撮像素子２２Ｃの形態は、撮像素子２１Ｂと同様であるので説明を省略する。
（第３撮像部２３）
　第３撮像部２３は、内視鏡挿入部１０の軸線に対して直交する方向を中心軸として、約１８０度の視野角の範囲の画像を撮像する。第３撮像部２３の視野範囲の中心軸は、第２撮像部２２の視野範囲の中心軸と同軸上で、かつ、反対向きである。即ち、第３撮像部２３は、第２撮像部２２と反対側の視野範囲の画像を撮像する。
　第３撮像部２３は、光学系２３Ａ、プリズム２３Ｂ、及び、撮像素子２３Ｃを有する。
　光学系２３Ａは、前面を構成する対物レンズ（対物窓）を有し、対物レンズが内視鏡挿入部１０の周面に配置される。光学系２３Ａの光軸は、内視鏡挿入部１０の軸線に直交する方向に沿って配置される。光学系２３Ａの光軸は、光学系２２Ａの光軸と同軸上で、かつ、反対向きに配置される。光学系２３Ａは、例えば、約１８０の視野角を有する魚眼光学系（広角光学系）である。なお、図２では、光学系２３Ａを構成するレンズのうちの対物レンズのみを表し、他のレンズは省略している。光学系２２Ａと光学系２３Ａとは、同一の構成及び特性を有し、内視鏡挿入部１０に軸線に対して対称となる位置に配置されている。光学系２３Ａは、対物レンズから入射する被写体からの光を集光し、撮像素子２３Ｃの受光面に被写体の画像を結像する。
　プリズム２３Ｂは、例えば、直角プリズムミラーであり、入射した光を反射する反射面を有する。プリズム２３Ｂは、反射面の中心が、光学系２２Ａの光軸と交差する位置に配置され、かつ、反射面の光軸が光学系２２Ａの光軸に対して約４５度をなす角度となる位置に配置される。なお、プリズム２３Ｂの反射面（斜面）はプリズム２２Ｂの反射面（斜面）と当接する位置に逆向きに配置される。プリズム２３Ｂは、光学系２３Ａの光軸を直角に曲げる。これによって、プリズム２３Ｂは、光学系２３Ａを通過した光を、内視鏡挿入部１０の軸線に沿った方向に、かつ、内視鏡挿入部１０の先端側への向きに反射する。
　撮像素子２３Ｃは、受光面の光軸（中心軸）がプリズム２３Ｂにより屈曲された光学系２３Ａの光軸に一致する位置に配置される。撮像素子２３Ｃは、光学系２３Ａにより受光面に結像された画像を電気信号（画素信号）に変換し、CCU３１に伝送する。撮像素子２３Ｃは、撮像素子２１Ｂと同様に例えばCMOSタイプの撮像素子であり、撮像素子２３Ｃの形態は、撮像素子２１Ｂと同様であるので説明を省略する。
　なお、第２撮像部２２及び第３撮像部２３の光軸（光学系２２Ａ、２３Ａの光軸）は、内視鏡挿入部１０の軸線に直交する方向、即ち、第１撮像部２１の光軸（光学系２１Ａの光軸）に直交する方向に限らない。第２撮像部２２及び第３撮像部２３の光軸は、例えば、第１撮像部２１の光軸に直交する方向、又は、内視鏡挿入部１０の軸線に直交する方向を視野範囲に含む方向であってよく、第１撮像部２１の光軸に直交する方向に向かう方向であってよい。
＜CCU３１の信号処理部４２の処理＞
　図３は、CCU３１の信号処理部４２が行う合成処理を説明する図である。
　図３において、受光面２１Ｆは、第１撮像部２１の撮像素子２１Ｂの受光面を表す。受光面２２Ｆは、第２撮像部２２の撮像素子２２Ｃの受光面を表す。受光面２３Ｆは、第３撮像部２３の撮像素子２３Ｃの受光面を表す。
　受光面２１Ｆ、２２Ｆ、及び、２３Ｆには、それぞれ光学系２１Ａ、２２Ａ、及び、２３Ａにより結像される画像のイメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍが示されている。
　CCU３１の信号処理部４２は、第１撮像部２１の撮像素子２１Ｂ、第２撮像部２２の撮像素子２２Ｃ、及び、第３撮像部２３の撮像素子２３Ｃでそれぞれ撮像された１フレームずつの画像を取り込む。なお、各撮像素子２１Ｂ、２２Ｃ、２３Ｃで撮像される画像は動画像である場合を想定している。
　撮像素子２１Ｂ、２２Ｃ、及び、２３Ｃで撮像された画像を取り込むと、信号処理部４２は、受光面２１Ｆ、２２Ｆ、及び、２３Ｆのそれぞれでのイメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍの画像を切り出す。
　イメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍの画像を切り出すと、信号処理部４２は、それらの画像を合成する合成処理を行い、全天球画像１０１を生成する。
　合成処理では、まず、信号処理部４２は、イメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍの各々の画像の歪みを低減する歪み補正処理を行う。このとき、イメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍの周辺部ほど歪みが大きく、解像度も低いので適宜画素を補間する。
　ここで、第１撮像部２１乃至第３撮像部２３の光学系２１Ａ乃至２３Ａとして同種の投影方式の光学系（例えば、中心射影の投影方式の広角光学系、又は、魚眼光学系）を用いた場合、信号処理部４２は、光学系２１Ａ乃至２３Ａに起因する画像の歪みに対する歪み補正処理のアルゴリズムを共通に適用することができ、歪み補正処理の簡素化を図ることができる。
　歪み補正処理を行うと、信号処理部４２は、歪み補正した各画像をつなぎ合わせてエクイレクタングラー形式（正距円筒図法）の図３の全天球画像１０１を生成する。
　エクイレクタングラー形式の全天球画像１０１は、左右方向（横方向）に３６０度の視野角の範囲の画像を表し、上下方向（縦方向）に１８０度の視野角の範囲の画像を表す。全天球画像１０１の縦横のアスペクト比は１：２である。エクイレクタングラー形式の全天球画像は、一般的に使用されている画像形式であり、全天球表示を行う多くの表示装置で親和性が高く、多くの表示装置で表示され得る。例えば、フラットパネル型の表示装置に限らず、ヘッドマウント式のVRゴーグル、ARグラス、ドーム型の投影式表示装置で表示可能である。全天球表示が可能となることで、執刀医が、手術時に患部を拡大すること、その周辺に視線を移動して周囲状態を確認すること、及び、拡大縮小をシームレスに行うこと等が可能となる。その結果、従来の内視鏡手術と同様の内視鏡画像の表示だけでなく、より自由度の高い自由な視点での観察が可能となり、手術の効率性の向上を図ることができる。従来、執刀医の他に、内視鏡を把持して操作するスコピストが必要であったが、内視鏡（内視鏡挿入部１０）をホルダ等で固定しても、自由な視野範囲を観察できるので、スコピストがいなくても内視鏡手術が可能となる。
　全天球画像１０１は、部分画像２１Ｎ、部分画像２２Ｎ、及び、部分画像２３Ｎを合成して生成される。部分画像２１Ｎは、イメージサークル２１Ｍの画像から生成された画像であり、第１撮像部２１で撮像された画像から切り出されて生成された画像である。部分画像２２Ｎは、イメージサークル２２Ｍの画像から生成された画像であり、第２撮像部２２で撮像された画像から切り出されて生成された画像である。部分画像２３Ｎは、イメージサークル２３Ｍの画像から生成された画像であり、第３撮像部２３で撮像された画像から切り出されて生成された画像である。
　なお、図３の受光面２１Ｆにおけるイメージサークル２１Ｍの大きさがイメージサークル２２Ｍ、２３Ｍに比べて小さいのは、第１撮像部２１の光学系２１Ａの画角が１４０度であり、第２撮像部２２の光学系２２Ａおよび第３撮像部２３の光学系２３Ａの画角が１８０度であるためである。撮影倍率を同じにした場合に、画角を小さくすることでイメージサークルの大きさを小さくすることができる。これにより、倍率が同じであれば、光学系を小型に設計できる。第１撮像部２１の光学系２１Ａが１４０度の画角であっても、受光面２１Ｆにイメージサークルが内接するように、光学系を設計しても良い。その場合、第１撮像部２１の光学系２１Ａは第２撮像部２２の光学系２２Ａや第３撮像部２３の光学系２３Ａに比べて、撮影倍率が大きくなる。倍率を大きくしてイメージサークルを受光面に対して大きく設計することで、より解像度が高い映像の取得が可能である。
　ここで、全天球画像１０１の中心部は、内視鏡挿入部１０の軸線方向のうちの前方の視野範囲を撮像した画像である。その前方の視野範囲の被写体が高画質（高解像度（鮮明）、かつ、低歪み）で映るのは第１撮像部２１で撮像された画像である。したがって、全天球画像１０１の中心部の部分画像２１Ｎには、第１撮像部２１で撮像された画像が用いられる。
　全天球画像１０１の左半分は、第２撮像部２２の視野範囲の画像である。したがって、全天球画像１０１の左半分の部分画像２２Ｎには、第２撮像部２２で撮像された画像が用いられる。ただし、全天球画像１０１の左半分の画像のうち、部分画像２１Ｎと重複する視野範囲の画像は、第２撮像部２２よりも第１撮像部２１で撮像された画像の方が高解像度であるので、その範囲を生成する画像には、第１撮像部２１で撮像された画像が優先的に用いられる。
　全天球画像１０１の右半分は、第３撮像部２３の視野範囲の画像である。したがって、全天球画像１０１の右半分の部分画像２３Ｎには、第３撮像部２３で撮像された画像が用いられる。ただし、全天球画像１０１の右半分の画像のうち、部分画像２１Ｎと重複する視野範囲の画像は、第３撮像部２３よりも第１撮像部２１で撮像された画像の方が高解像度であるので、その範囲を生成する画像には、第１撮像部２１で撮像された画像が優先的に用いられる。
　ここで、CCU３１の信号処理部４２が行う合成処理は、上述の場合に限らない。例えば全天球画像１０１の中央部を生成する部分画像２１Ｎは、第１撮像部２１で撮像されたイメージサークル２１Ｍの画像の一部を切り出した画像であってもよい。即ち、部分画像２１Ｎは、約１４０度の視野角の範囲の画像ではなく、１４０度より小さい視野角の範囲に制限された画像であってもよい。
　信号処理部４２は、第１撮像部２１で撮像されたイメージサークル２１Ｍの画像、又は、イメージサークル２１Ｍの視野角よりも小さい視野角（例えば、約７０乃至８０度）の画像を切り出して、執刀医が詳細観察を望む視野範囲の高画質（高解像度、かつ、低歪み）の画像のみを全天球画像とは別に主画像として生成してもよい。このように生成された主画像は、フラットディスプレイ等の表示装置に表示されるようにして、執刀医が手技を行う際に観察する画像として用いることができる。
　信号処理部４２は、第２撮像部２２及び第３撮像部２３で撮像された画像のみを用いて全天球画像を副画像として生成してもよい。副画像は、全天球画像１０１の中央の部分画像２１Ｎが第２撮像部２２及び第３撮像部２３で撮像された画像で生成された画像に相当する。このような副画像は、上述の主画像とは別の表示装置で表示されるようにしてもよいし、主画像を表示する表示装置において、子画面として主画像に重畳表示されるようにしてもよい。
　信号処理部４２は、第１撮像部２１、第２撮像部２２、及び、第３撮像部２３で撮像された画像から切り取ったイメージサークル２１Ｍ、２２Ｍ、及び、２３Ｍの画像の歪みを低減する歪み補正処理を行ったが、それらの画像のうちの一部の画像のみの歪み補正処理を行う場合であってもよいし、全ての画像の歪み補正を行わない場合であってもよい。
＜信号処理部４２の処理手順＞
　図４は、信号処理部４２が行う処理の手順を例示したフローチャートである。
　ステップＳ１１では、信号処理部４２は、第１撮像部２１、第２撮像部２２、及び、第３撮像部２３で撮像された画像を取り込む。処理はステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、信号処理部４２は、第１撮像部２１、第２撮像部２２、及び、第３撮像部のそれぞれから取り込んだ画像からイメージサークルの範囲の画像を切り出す。処理はステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、信号処理部４２は、切り出した各画像に対して歪み補正処理等の画像処理を行う。処理はステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、信号処理部４２は、ステップＳ１３での処理後の各画像をつなぎ合わせて（ステッチ）、全天球画像を生成する。
　ステップＳ１３の画像処理、ステップＳ１４のつなぎ合わせによって得られる全天球画像は、例えば、広く用いられているエクイレクタングラー形式の画像が出力される。ここでは、ステップＳ１３の画像処理で、エクイレクタングラー形式の画像に変換してから、ステップＳ１４でつなぎ合わせる。
　ステップＳ１５では、信号処理部４２は、ステップＳ１４で生成した全天球画像を出力制御部４３に出力する。処理はステップＳ１５からステップＳ１１に戻り、ステップＳ１１から繰り返す。
（内視鏡システム１の利点）
　以上の本技術が適用された内視鏡システム１によれば、次のような利点がある。
　内視鏡を用いた手術を効率的に行うためには、処置を行っている部分以外の腹腔や胸腔等の体内の状況を把握することが望ましい。従来、一般的な内視鏡では、視野範囲が概ね７０乃至８０度の視野角の範囲に限られており、視野範囲が手技を行う部位（手技部位）に限られている。そのため、手技部位だけでなく、周囲全体も把握しながら手術を進める開腹手術と比べると、内視鏡手術では、効率が悪く手術時間が長くなる場合があった。内視鏡手術においても、手術の効率性をより高めるためには、開腹手術並みに広い視野で体内を観察できることが理想的である。
　手技部位の周辺を観察する方法として、斜視鏡を用いる場合がある。斜視鏡を用いた内視鏡手術では、手技部位を観察しつつ、必要なときに斜視鏡を回転させることで、手技部位の周辺を観察することができる。手技部位の周辺を観察する別の方法としては、手技部位を観察する内視鏡とは別の内視鏡を体内に挿入する場合がある。しかしながら、これらの方法は、いずれも手術時間が長引くという欠点や侵襲性が高まるなどの欠点がある。
　内視鏡を用いた手術では、執刀医とは別に、スコピストとなる医師が内視鏡を把持して操作を行い、手術の進行に合わせて、適宜、執刀医が必要な部位を観察できるように視野を変える操作を行っている。しかしながら、執刀医が意図する映像を見ることができるかどうかは、スコピストの経験や執刀医との意思疎通の度合い等に左右される。そのため、スコピストのスキルによっては、手術の効率が悪く、手術時間が長引くという事態が生じる場合がある。
　特許文献１（国際公開第２０１９/００３６１３号）には、内視鏡挿入部の先端に通常の視野角の範囲（概ね７０乃至８０度）を撮像する撮像部を備えるとともに、内視鏡挿入部の側方（周面）に対面で半球の視野範囲を撮像する撮像部を備える内視鏡が提示されている。しかしながら、特許文献１には、それらの撮像部で撮像された各々の画像をどのようにして執刀医に提示するかが示唆されていない。腹腔内の内視鏡手術等で使用される斜視鏡では、内視鏡挿入部の軸線に対して約３０度の方向を中心軸として約８０度の視野角の範囲の画像が撮像される。特許文献１では、斜視鏡で撮像される視野範囲に対して高画質（高解像度、かつ、低歪み）の画像が得られない。
　これに対して、本技術が適用された内視鏡システム１では、従来よりも格段に広い視野範囲の画像が得られると同時に、手技を行う部位については、高画質（高解像度、かつ、低歪み）の画像が得られる。したがって、スコピストのスキルに左右されず、執刀医の意図する画像を得ることができる。その結果、手術を効率的に行えるようになる。
　即ち、内視鏡システム１によれば、執刀医が体内の広視野範囲を観察することができる。その結果、死角となる観察部位が低減されるので、見落とし等の問題発生が未然に防止され、手術の効率性が高まる。内視鏡システム１によれば、スコピストのスキルに左右されることなく、又は、スコピストに指示することなく、執刀医が体内の意図した方向、範囲を自由に観察することできる。その結果、手術が行い易く、手術の効率性が向上する。内視鏡システム１によれば、細部の観察が必要な手技部位等の直視方向を高画質の画像で観察できる。その結果、手術が行い易く、手術の効率性が向上する。内視鏡システム１によれば、全天球画像を取得した場合に、全天球画像を表示する表示装置（外部装置５１）として、フラットディスプレイ以外に、全天球ディスプレイ、AR（Augmented Reality：拡張現実）用のHMD（Head Mounted Display）、及び、VR（Virtual Reality：仮想現実）用のHMDを用いることができる。その結果、手術内容や観察目的に合わせて適切な表示装置を用いることができる。
＜内視鏡システムの第２の実施の形態＞
　図５は、本技術が適用された内視鏡システムの第２の実施の形態の構成例を示したブロック図である。図中、図１の内視鏡システム１と対応する部分には同一符号を付してあり、その説明は省略する。
　本技術が適用された内視鏡システムの第２の実施の形態である図５の内視鏡システム２は、内視鏡先端部１２、CCU３１、及び、外部装置５１を有する。したがって、図５の内視鏡システム２は、CCU３１、及び、外部装置５１を有する点で、図１の内視鏡システム１と共通する。ただし、図５の内視鏡システム２は、図１の内視鏡先端部１１の代わりに内視鏡先端部１２を有する点で、図１の内視鏡システム１と相違する。即ち、図５の内視鏡先端部１２は、図１の内視鏡先端部１１が３つの撮像部を有するのに対して、４つの撮像部を有する点で相違する。
　内視鏡先端部１２は、第１撮像部１３１、第２撮像部１３２、第３撮像部１３３、及び、第４撮像部１３４を有する。これらの第１撮像部１３１、第２撮像部１３２、第３撮像部１３３、及び、第４撮像部１３４は、それぞれ異なる視野範囲の被写体の画像を撮像し、CCU３１の信号処理部４２に供給する。
　CCU３１の信号処理部４２は、第１撮像部１３１、第２撮像部１３２、第３撮像部１３３、及び、第４撮像部１３４で撮像された画像を合成する合成処理を行って全天球画像を生成する。
＜内視鏡先端部１２＞
　内視鏡先端部１２の構成について説明する。
　図６及び図７は、内視鏡先端部１２の構成を例示した図である。図６は、内視鏡挿入部をその軸線（中心軸）を含む平面で切断した断面図であり、図７は、内視鏡挿入部１０をその軸線に直交する平面で切断した断面図であり、図６のＡ－Ａ矢視断面図である。
　図６及び図７において、筒状の内視鏡挿入部１０の先端部分である内視鏡先端部１２には、第１撮像部１３１、第２撮像部１３２、第３撮像部１３３、及び、１３４が配置される。内視鏡挿入部１０（内視鏡先端部１２）の外壁面を形成する先端面と周面とのうち、先端面に対しては、第１撮像部１３１が設けられ、周面に対しては、第２撮像部１３２乃至第４撮像部１３４が設けられる。
（第１撮像部１３１）
　第１撮像部１３１は、図１の第１撮像部２１と同じである。即ち、第１撮像部１３１は、内視鏡挿入部１０の軸線に沿った方向を中心軸として、約１４０度の視野角（画角）の範囲の被写体の画像を撮像する。第１撮像部１３１は、光学系１３１Ａと撮像素子１３１Ｂとを有する。光学系１３１Ａ及び撮像素子１３１Ｂは、図２の第１撮像部２１の光学系２１Ａ及び撮像素子２１Ｂと同じであるので説明を省略する。
（第２撮像部１３２）
　第２撮像部１３２乃至第４撮像部１３４は、いずれも第１撮像部１３１と同一の構成及び特性を有する撮像部である。第２撮像部１３２乃至第４撮像部１３４は、内視鏡挿入部１０（内視鏡先端部１２）の軸線（第１撮像部１３１の光軸）周りの均等な角度間隔（１２０度）となる位置に配置される。第２撮像部１３２乃至第４撮像部１３４は、それぞれ内視鏡挿入部１０の軸線に対して直交する軸であって、内視鏡挿入部１０の軸線周りの１２０度ごとの軸を中心軸として、約１４０度の視野角の範囲の画像を撮像する。
　第２撮像部１３２乃至第４撮像部１３４は、同様の構成を有し、内視鏡先端部１２に同様に配置される。図６では、内視鏡挿入部１０の断面として第２撮像部１３２の光軸を含む平面での断面が示されている。
　第２撮像部１３２は、光学系１３２Ａ、及び、撮像素子１３２Ｂを有する。光学系１３２Ａ及び撮像素子１３２Ｂは、第１撮像部１３１の光学系１３１Ａ及び撮像素子１３１Ｂと同一の構成及び特性を有する。
　光学系１３２Ａは、前面を構成する対物レンズ（対物窓）を有し、対物レンズが内視鏡挿入部１０の周面の位置に配置される。光学系１３２Ａの光軸は、内視鏡挿入部１０の軸線に直交する方向に沿って配置される。光学系１３２Ａは、約１４０度の視野角を有する広角光学系（固定焦点レンズ）である。光学系１３２Ａは、対物レンズから入射する被写体からの光を集光し、撮像素子１３２Ｂの受光面に被写体の画像を結像する。
　撮像素子１３２Ｂは、受光面の光軸（中心軸）が光学系１３２Ａの光軸に一致する位置に配置される。撮像素子１３２Ｂは、光学系１３２Ａにより受光面に結像された画像を電気信号（画素信号）に変換し、CCU３１に伝送する。撮像素子１３２Ｂは、撮像素子１３１Ｂと同様に例えばCMOSタイプの撮像素子であり、撮像素子１３２Ｂの形態は、撮像素子１３１Ｂと同様であるので説明を省略する。
（第３撮像部１３３、第４撮像部１３４）
　第３撮像部１３３は、光学系１３３Ａ及び撮像素子１３３Ｂを有し、第４撮像部１３４は、光学系１３４Ａ及び撮像素子１３４Ｂを有する。光学系１３３Ａ及び光学系１３４Ａは、第２撮像部１３２の光学系１３２Ａに対応し、それぞれの光軸が光学系１３２Ａの光軸に対して内視鏡挿入部１０の軸線周りに１２０度及び２４０度をなす方向に沿って配置される。撮像素子１３３Ｂ及び撮像素子１３４Ｂは、第２撮像部１３２の撮像素子１３２Ｂに対応し、それぞれの受光面の光軸が第２撮像部１３２の光軸に対して内視鏡挿入部１０の軸線周りに１２０度及び２４０度をなす方向に沿って配置される。
　なお、第１撮像部１３１乃至第４撮像部１３４の光学系１３１Ａ乃至１３４Ａは、中心射影の投影方式の広角光学系であってもよいし、正射影、立体射影、又は、等距離射影等の投影方式の魚眼光学系であってもよい。第１撮像部１３１乃至第４撮像部１３４の光学系１３１Ａ乃至１３４Ａは、約１４０度の視野角ではなく、１２０度以上の視野角であってよい。
　第１撮像部１３１乃至第４撮像部１３４は、同一の構成及び特性の撮像部であるとしたが、異なる構成及び特性の撮像部であってもよい。ただし、第１撮像部１３１乃至第４撮像部１３４が同一の構成及び特性の撮像部である場合には、ユニットの共通化によって、製造設備の投資、及び、部品のコスト削減を図ることができるという利点がある。
　第２撮像部１３２乃至第４撮像部１３４の光軸（光学系１３２Ａ、１３３Ａ、及び、１３４Ａの光軸）は、内視鏡挿入部１０の軸線に直交する方向、即ち、第１撮像部１３１の光軸（光学系１３１Ａの光軸）に直交する方向に限らない。第２撮像部１３２乃至第４撮像部１３４の光軸は、例えば、第１撮像部１３１の光軸に直交する方向、又は、内視鏡挿入部１０の軸線に直交する方向を視野範囲に含む方向であってよく、第１撮像部１３１の光軸に直交する方向に向かう方向であってよい。
＜CCU３１の信号処理部４２の処理＞
　図８は、CCU３１の信号処理部４２が行う合成処理を説明する図である。
　図８において、受光面１３１Ｆは、第１撮像部１３１の撮像素子１３１Ｂの受光面を表す。受光面１３２Ｆは、第２撮像部１３２の撮像素子１３２Ｂの受光面を表す。受光面１３３Ｆは、第３撮像部１３３の撮像素子１３３Ｂの受光面を表す。受光面１３４Ｆは、第４撮像部１３４の撮像素子１３４Ｂの受光面を表す。
　受光面１３１Ｆ、１３２Ｆ、１３３Ｆ、及び、１３４Ｆには、それぞれ光学系１３１Ａ、１３２Ａ、１３３Ａ、及び、１３４Ａにより結像される画像のイメージサークル１３１Ｍ、１３２Ｍ、１３３Ｍ、及び、１３４Ｍが示されている。
　なお、図８の受光面１３１Ｆにおけるイメージサークル１３１Ｍの大きさが受光面１３１Ｆに内接していない例を示したが、イメージサークルが内接するように光学系を設定しても良い。また、その際、受光面１３２Ｆにおけるイメージサークル１３２Ｍ、受光面１３３Ｆにおけるイメージサークル１３３Ｍ、受光面１３４Ｆにおけるイメージサークル１３４Ｍも同等である。その場合、倍率が大きくなるため、より解像度が高い映像の取得が可能である。
　CCU３１の信号処理部４２は、第１撮像部１３１の撮像素子１３１Ｂ、第２撮像部１３２の撮像素子１３２Ｂ、第３撮像部１３３の撮像素子１３３Ｂ、及び、第４撮像部１３４の撮像素子１３４Ｂでそれぞれ撮像された１フレームずつの画像を取り込む。
　撮像素子１３１Ｂ、１３２Ｂ、１３３Ｂ、及び、１３４Ｂで撮像された画像を取り込むと、信号処理部４２は、受光面１３１Ｆ、１３２Ｆ、１３３Ｆ、及び、１３４Ｆのそれぞれでのイメージサークル１３１Ｍ、１３２Ｍ、１３３Ｍ、及び、１３４Ｍの画像を切り出す。
　イメージサークル１３１Ｍ、１３２Ｍ、１３３Ｍ、及び、１３４Ｍの画像を切り出すと、信号処理部４２は、それらの画像を合成する合成処理を行い、全天球画像１５１を生成する。
　合成処理では、まず、信号処理部４２は、イメージサークル１３１Ｍ、１３２Ｍ、１３３Ｍ、及び、１３４Ｍの各々の画像の歪みを低減する歪み補正処理を行う。このとき、イメージサークル１３１Ｍ、１３２Ｍ、１３３Ｍ、及び、１３４Ｍの周辺部ほど歪みが大きく、解像度も低いので適宜画素を補間する。
　ここで、第１撮像部１３１乃至第４撮像部１３４の光学系１３１Ａ乃至１３４Ａとして同種の投影方式の光学系を用いた場合、信号処理部４２は、光学系１３１Ａ乃至１３４Ａに起因する画像の歪みに対する歪み補正処理のアルゴリズムを共通に適用することができ、歪み補正処理の簡素化を図ることができる。
　歪み補正処理を行うと、信号処理部４２は、歪み補正した各画像をつなぎ合わせてエクイレクタングラー形式（正距円筒図法）の図８の全天球画像１５１を生成する。
　全天球画像１５１は、左右方向（横方向）に３６０度の視野角の範囲の画像を表し、上下方向（縦方向）に１８０度の視野角の範囲の画像を表す。全天球画像１５１の縦横のアスペクト比は１：２である。
　全天球画像１５１は、部分画像１３１Ｎ、部分画像１３２Ｎ、部分画像１３３Ｎ、及び、部分画像１３４Ｎを合成して生成される。部分画像１３１Ｎは、イメージサークル１３１Ｍの画像から生成された画像であり、第１撮像部１３１で撮像された画像から切り出されて生成された画像である。部分画像１３２Ｎは、イメージサークル１３２Ｍの画像から生成された画像であり、第２撮像部１３２で撮像された画像から切り出されて生成された画像である。部分画像１３３Ｎは、イメージサークル１３３Ｍの画像から生成された画像であり、第３撮像部１３３で撮像された画像から切り出されて生成された画像である。部分画像１３４Ｎは、イメージサークル１３４Ｍの画像から生成された画像であり、第４撮像部１３４で撮像された画像から切り出されて生成された画像である。
　ここで、全天球画像１５１の中心部は、内視鏡挿入部１０の軸線方向のうちの前方の視野範囲の画像である。その前方の視野範囲の被写体が高画質（高解像度（鮮明）、かつ、低歪み）で映るのは第１撮像部１３１で撮像された画像である。したがって、全天球画像１０１の中心部の部分画像１３１Ｎには、第１撮像部１３１で撮像された画像が用いられる。
　全天球画像１５１の中心周りの上側の１２０度の範囲は、第２撮像部１３２の視野範囲の画像である。したがって、全天球画像１５１の部分画像１３２Ｎには、第２撮像部１３２で撮像された画像が用いられる。ただし、全天球画像１５１の部分画像１３２Ｎのうち、部分画像１３１Ｎと重複する視野範囲の画像は、第２撮像部１３２よりも第１撮像部１３１で撮像された画像の方が高解像度、かつ、低歪みであるので、その範囲を生成する画像には、第１撮像部１３１で撮像された画像が優先的に用いられる。
　全天球画像１５１の中心周りの左下側の１２０度の範囲は、第３撮像部１３３の視野範囲の画像である。したがって、全天球画像１５１の部分画像１３３Ｎには、第３撮像部１３３で撮像された画像が用いられる。ただし、全天球画像１５１の部分画像１３３Ｎのうち、部分画像１３１Ｎと重複する視野範囲の画像は、第３撮像部１３３よりも第１撮像部１３１で撮像された画像の方が高解像度、かつ、低歪みであるので、その範囲を生成する画像には、第１撮像部１３１で撮像された画像が用いられる。
　全天球画像１５１の中心周りの右下側の１２０度の範囲は、第４撮像部１３４の視野範囲の画像である。したがって、全天球画像１５１の部分画像１３４Ｎには、第４撮像部１３４で撮像された画像が用いられる。ただし、全天球画像１５１の部分画像１３４Ｎのうち、部分画像１３１Ｎと重複する視野範囲の画像は、第４撮像部１３４よりも第１撮像部１３１で撮像された画像の方が高解像度、かつ、低歪みであるので、その範囲を生成する画像には、第１撮像部１３１で撮像された画像が用いられる。
　なお、第２撮像部１３２乃至第４撮像部１３４が約１４０度の視野角である場合に、全天球の視野範囲のうち、第１撮像部１３１乃至第４撮像部１３４のいずれにも撮影されない死角となる視野範囲が存在する。しかしながら、死角となる視野範囲は、内視鏡挿入部１０の基端側の周面付近であるので実質上の不具合はない。全天球画像１５１において、死角となる視野範囲の画像は例えば単色の画像としてもよいし、近傍の画像で補間してもよい。
　内視鏡システムの第２の実施の形態におけるCCU３１の信号処理部４２が行う処理の手順については、図４に示した第１の実施の形態におけるCCU３１の信号処理部４２と同じであるので説明を省略する。
　ここで、CCU３１の信号処理部４２が行う合成処理は、内視鏡システム１の場合の同様に上述の場合に限らない。例えば全天球画像１０１の中央部を生成する部分画像１３１Ｎは、第１撮像部１３１で撮像されたイメージサークル１３１Ｍの画像の一部を切り出した画像であってもよい。即ち、部分画像１３１Ｎは、視野角が約１４０度の範囲全体の画像ではなく、所定の視野角に制限された範囲の画像から生成された画像であってもよい。
　信号処理部４２は、第１撮像部１３１で撮像されたイメージサークル１３１Ｍの画像、又は、イメージサークル１３１Ｍの視野角よりも小さい視野角（例えば、約７０乃至８０度）の画像を切り出して、執刀医が詳細観察を望む視野範囲の高画質（高解像度、かつ、低歪み）の画像のみを全天球画像とは別に主画像として生成してもよい。このように生成された主画像は、フラットディスプレイ等の表示装置に表示されるようにして、執刀医が手技を行う際に観察する画像として用いることができる。
　信号処理部４２は、第２撮像部１３２乃至第４撮像部１３４で撮像された画像のみを用いて全天球画像を副画像として生成してもよい。副画像は、全天球画像１５１の中央の部分画像１３１Ｎが第２撮像部１３２乃至第４撮像部１３４で撮像された画像で生成された画像に相当する。このような副画像は、上述の主画像とは別の表示装置で表示されるようにしてもよいし、主画像を表示する表示装置において、子画面として主画像に重畳表示されるようにしてもよい。
　信号処理部４２は、第１撮像部１３１乃至第４撮像部１３４で撮像された画像から切り取ったイメージサークル１３１Ｍ乃至１３４Ｍの画像の歪みを低減する歪み補正処理を行ったが、それらの画像のうちの一部の画像のみの歪み補正処理を行う場合であってもよいし、全ての画像の歪み補正を行わない場合であってもよい。
（内視鏡システム２の利点）
　本技術が適用された内視鏡システム２では、従来よりも格段に広い視野範囲の体内の画像が得られると同時に、手技を行う部位については、高画質（高解像度、かつ、低歪み）の画像が得られる。したがって、スコピストのスキルに左右されず、執刀医の意図する画像を得ることができ、その結果、効率的な手術が行えるようになる。
　即ち、内視鏡システム２によれば、執刀医が体内の広視野範囲を観察することができる。その結果、死角となる観察部位が低減されるので、見落とし等の問題発生が未然に防止され、手術の効率性が高まる。内視鏡システム２によれば、スコピストのスキルに左右されることなく、又は、スコピストに指示することなく、執刀医が体内の意図した方向、範囲を自由に観察することできる。その結果、手術が行い易く、手術の効率性が向上する。内視鏡システム２によれば、細部の観察が必要な手技部位等の直視方向を高画質の画像で観察できる。その結果、手術が行い易く、手術の効率性が向上する。内視鏡システム２によれば、全天球画像を取得した場合に、全天球画像を表示する表示装置（外部装置５１）として、フラットディスプレイ以外に、全天球ディスプレイ、AR（Augmented Reality：拡張現実）用のHMD（Head Mounted Display）、及び、VR（Virtual Reality：仮想現実）用のHMDを用いることができる。その結果、手術内容や観察目的に合わせて適切な表示装置を用いることができる。
　以上の内視鏡システム１、２では、内視鏡挿入部１０の軸線方向（前方）を撮像する第１撮像部２１、１３１と、内視鏡挿入部１０の軸線に直交する方向（側方）を撮像する複数の撮像部（第２撮像部２２、１３２、第３撮像部２３、１３３、第４撮像部１３４）とを内視鏡先端部１１、１２が有する場合を例に説明したが、本技術はこれに限らない。例えば、内視鏡挿入部１０の側方を撮像する撮像部は１つであってもよいし、４つ以上であってもよい。内視鏡挿入部１０の側方を撮像する撮像部は、内視鏡挿入部１０の軸線に沿った方向に複数配置されてもよい。
　内視鏡挿入部１０の前方を撮像する撮像部（第１撮像部２１、１３１）は、内視鏡挿入部１０の軸線方向を視野範囲内の含む撮像部であれば、その撮像部の光軸は、内視鏡挿入部１０の軸線方向と異なる方向に向いていてもよい。ただし、前方を撮像する撮像部は、光軸が内視鏡挿入部１０の軸線とのなす角が他の撮像部よりも小さいものとする。内視鏡挿入部１０の側方を撮像する撮像部は、前方を撮像する撮像部と一致しない視野範囲を撮像する撮像部であれば、その撮像部の光軸は、内視鏡挿入部１０の軸線に直交する方向と異なる方向に向いていてもよい。
　CCU３１の信号処理部４２は、内視鏡挿入部１０の先端部（内視鏡先端部）に配置された複数の撮像部で撮像された画像を合成して合成画像を生成する。このとき、信号処理部４２は、内視鏡挿入部１０の前方を撮像する撮像部（前方撮像部）と側方を撮像する撮像部（側方撮像部）との視野範囲が重複する場合、その重複する視野範囲の画像には、前方撮像部で撮像された画像を用いて合成画像を生成する。
　内視鏡システム１、２では、CCU３１において内視鏡先端部１１、１２の撮像部で撮像された画像を合成する合成処理を行う場合について説明したがこれに限らない。各撮像部で撮影された画像を外部装置５１に伝送して外部装置５１で合成処理が行われるようにしてもよい。外部装置５１としてIPコンバータをCCU３１に接続する場合には、IPコンバータで合成処理が行われるようにしてもよいし、IPコンバータに接続された他の装置で合成処理が行われるようにしてもよい。
＜プログラム＞
　上述したCCU３１での一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図９は、CCU３１が実行する各処理をコンピュータがプログラムにより実行する場合の、コンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術は以下のような構成も取ることができる。
（１）
　内視鏡挿入部の先端部に、第１広角光学系を含む第１光学系と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系とを有する内視鏡と、
　前記第１光学系を用いて撮像された第１広角画像と、前記第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する画像処理装置と
　を有する内視鏡システム。
（２）
　前記第１広角光学系は、前記第２広角光学系よりも視野角が小さい
　前記（１）に記載の内視鏡システム。
（３）
　前記第１広角光学系は、１２０度以上の視野角を有する
　前記（１）に記載の内視鏡システム。
（４）
　前記第１広角画像は、前記内視鏡挿入部の軸線に沿った方向のうちの前方の視野範囲を撮像した画像である
　前記（１）乃至（３）のいずれかに記載の内視鏡システム。
（５）
　前記第２広角光学系は、１８０度以上の視野角を有する
　前記（１）乃至（４）のいずれかに記載の内視鏡システム。
（６）
　前記第２広角画像は、前記内視鏡挿入部の軸線に直交する方向に沿った側方の視野範囲を撮像した画像である
　前記（１）乃至（５）のいずれかに記載の内視鏡システム。
（７）
　前記画像処理装置は、前記第１広角画像の視野範囲と前記第２広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
　前記（１）乃至（６）のいずれかに記載の内視鏡システム。
（８）
　前記内視鏡は、前記第２広角光学系よりも前記第１広角光学系の方が歪みが小さく設計されている
　前記（１）乃至（７）のいずれかに記載の内視鏡システム。
（９）
　前記内視鏡は、前記第１広角光学系の光軸に直交する方向に向かう光軸を有し、かつ、前記第２広角光学系の光軸と異なる方向の光軸を有する第３広角光学系を含む第３光学系を有し、
　前記画像処理装置は、前記第１広角画像と、前記第２広角画像と、前記第３光学系を用いて撮像された第３広角画像とを合成して前記合成画像を生成する
　前記（１）乃至（８）のいずれかに記載の内視鏡システム。
（１０）
　前記第３広角光学系は、１８０度以上の視野角を有する
　前記（９）に記載の内視鏡システム。
（１１）
　前記第３広角画像は、前記内視鏡挿入部の軸線に直交する方向に沿った側方の視野範囲であって、前記第２広角画像の視野範囲と反対側の視野範囲を撮像した画像である
　前記（９）又は（１０）に記載の内視鏡システム。
（１２）
　前記画像処理装置は、前記第１広角画像の視野範囲と前記第３広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
　前記（９）乃至（１１）のいずれかに記載の内視鏡システム。
（１３）
　前記画像処理装置は、前記第１広角画像の視野範囲と、前記第２広角画像の視野範囲とが重複する視野範囲、及び、前記第１広角画像の視野範囲と、前記第３広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
　前記（９）乃至（１２）のいずれかに記載の内視鏡システム。
（１４）
　前記画像処理装置は、前記合成画像として全天球画像を生成する
　前記（９）乃至（１３）のいずれかに記載の内視鏡システム。
（１５）
　前記画像処理装置は、前記全天球画像の中心部の画像を前記第１広角画像により生成する
　前記（１４）に記載の内視鏡システム。
（１６）
　前記第１広角光学系、前記第２広角光学系、及び、前記第３広角光学系は、魚眼光学系である
　前記（９）乃至（１５）のいずれかに記載の内視鏡システム。
（１７）
　前記内視鏡は、前記第１広角光学系の光軸に直交する方向に向かう光軸を有し、かつ、前記第２広角光学系及び前記第３広角光学系の光軸と異なる方向の光軸を有する第４広角光学系を含む第４光学系を有し、
　前記画像処理装置は、前記第１広角画像と、前記第２広角画像と、前記第３広角画像と、前記第４光学系を用いて撮像された第４広角画像とを合成して前記合成画像を生成する
　前記（９）乃至（１６）のいずれかに記載の内視鏡システム。
（１８）
　内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する処理部
　を有する画像処理装置。
（１９）
　処理部
　を有する画像処理装置の
　前記処理部が、内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する
　画像処理方法。
　１，２　内視鏡システム，　１０　内視鏡挿入部，　１１，１２　内視鏡先端部，　２１，１３１　第１撮像部，　２２，１３２　第２撮像部，　２３，１３３　第３撮像部，　３１　CCU，　４１　撮像制御部，　４２　信号処理部，　４３　出力制御部，　５１　外部装置，　１３４　第４撮像部

Claims (19)

  1. 　内視鏡挿入部の先端部に、第１広角光学系を含む第１光学系と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系とを有する内視鏡と、
    　前記第１光学系を用いて撮像された第１広角画像と、前記第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する画像処理装置と
    　を有する内視鏡システム。
  2. 　前記第１広角光学系は、前記第２広角光学系よりも視野角が小さい
    　請求項１に記載の内視鏡システム。
  3. 　前記第１広角光学系は、１２０度以上の視野角を有する
    　請求項１に記載の内視鏡システム。
  4. 　前記第１広角画像は、前記内視鏡挿入部の軸線に沿った方向のうちの前方の視野範囲を撮像した画像である
    　請求項１に記載の内視鏡システム。
  5. 　前記第２広角光学系は、１８０度以上の視野角を有する
    　請求項１に記載の内視鏡システム。
  6. 　前記第２広角画像は、前記内視鏡挿入部の軸線に直交する方向に沿った側方の視野範囲を撮像した画像である
    　請求項１に記載の内視鏡システム。
  7. 　前記画像処理装置は、前記第１広角画像の視野範囲と前記第２広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
    　請求項１に記載の内視鏡システム。
  8. 　前記内視鏡は、前記第２広角光学系よりも前記第１広角光学系の方が歪みが小さく設計されている
    　請求項１に記載の内視鏡システム。
  9. 　前記内視鏡は、前記第１広角光学系の光軸に直交する方向に向かう光軸を有し、かつ、前記第２広角光学系の光軸と異なる方向の光軸を有する第３広角光学系を含む第３光学系を有し、
    　前記画像処理装置は、前記第１広角画像と、前記第２広角画像と、前記第３光学系を用いて撮像された第３広角画像とを合成して前記合成画像を生成する
    　請求項１に記載の内視鏡システム。
  10. 　前記第３広角光学系は、１８０度以上の視野角を有する
    　請求項９に記載の内視鏡システム。
  11. 　前記第３広角画像は、前記内視鏡挿入部の軸線に直交する方向に沿った側方の視野範囲であって、前記第２広角画像の視野範囲と反対側の視野範囲を撮像した画像である
    　請求項９に記載の内視鏡システム。
  12. 　前記画像処理装置は、前記第１広角画像の視野範囲と前記第３広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
    　請求項９に記載の内視鏡システム。
  13. 　前記画像処理装置は、前記第１広角画像の視野範囲と、前記第２広角画像の視野範囲とが重複する視野範囲、及び、前記第１広角画像の視野範囲と、前記第３広角画像の視野範囲とが重複する視野範囲の画像として前記第１広角画像を用いて前記合成画像を生成する
    　請求項９に記載の内視鏡システム。
  14. 　前記画像処理装置は、前記合成画像として全天球画像を生成する
    　請求項９に記載の内視鏡システム。
  15. 　前記画像処理装置は、前記全天球画像の中心部の画像を前記第１広角画像により生成する
    　請求項１４に記載の内視鏡システム。
  16. 　前記第１広角光学系、前記第２広角光学系、及び、前記第３広角光学系は、魚眼光学系である
    　請求項９に記載の内視鏡システム。
  17. 　前記内視鏡は、前記第１広角光学系の光軸に直交する方向に向かう光軸を有し、かつ、前記第２広角光学系及び前記第３広角光学系の光軸と異なる方向の光軸を有する第４広角光学系を含む第４光学系を有し、
    　前記画像処理装置は、前記第１広角画像と、前記第２広角画像と、前記第３広角画像と、前記第４光学系を用いて撮像された第４広角画像とを合成して前記合成画像を生成する
    　請求項９に記載の内視鏡システム。
  18. 　内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する処理部
    　を有する画像処理装置。
  19. 　処理部
    　を有する画像処理装置の
    　前記処理部が、内視鏡挿入部の先端に配置された第１広角光学系を含む第１光学系を用いて撮像された第１広角画像と、前記第１広角光学系の光軸に直交する方向に向かう光軸を有する第２広角光学系を含む第２光学系を用いて撮像された第２広角画像とを合成して１枚の合成画像を生成する
    　画像処理方法。
PCT/JP2021/044417 2020-12-16 2021-12-03 内視鏡システム、画像処理装置、及び、画像処理方法 WO2022131016A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020208154 2020-12-16
JP2020-208154 2020-12-16

Publications (1)

Publication Number Publication Date
WO2022131016A1 true WO2022131016A1 (ja) 2022-06-23

Family

ID=82057622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044417 WO2022131016A1 (ja) 2020-12-16 2021-12-03 内視鏡システム、画像処理装置、及び、画像処理方法

Country Status (1)

Country Link
WO (1) WO2022131016A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2016080118A1 (ja) * 2014-11-18 2016-05-26 オリンパス株式会社 内視鏡システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2016080118A1 (ja) * 2014-11-18 2016-05-26 オリンパス株式会社 内視鏡システム

Similar Documents

Publication Publication Date Title
JP5368198B2 (ja) ソリッドステート型の観察方向可変型内視鏡
EP1685790A1 (en) Endoscope device and imaging method using the same
EP3366190A2 (en) Endoscope incorporating multiple image sensors for increased resolution
WO2005102147A1 (ja) 内視鏡及び内視鏡システム
JP7095693B2 (ja) 医療用観察システム
EP3534620A1 (en) Signal processing device and method, and program
WO2013179760A1 (ja) 内視鏡システム
KR20200024209A (ko) 촬상 장치 및 화상 생성 방법
WO2022044897A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
JP2017034656A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
US20230181017A1 (en) Endoscopic Camera Head Incorporating Multiple Image Sensors and Related System
Roulet et al. 360 endoscopy using panomorph lens technology
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
JP3070022B2 (ja) 超広角内視鏡
JP2019004978A (ja) 手術システムおよび手術用撮像装置
JPH0820603B2 (ja) ビデオスコ−プ装置
JP3396190B2 (ja) 画像処理装置
JP2012205619A (ja) 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
WO2022131016A1 (ja) 内視鏡システム、画像処理装置、及び、画像処理方法
JP3353949B2 (ja) 撮像システム
EP3952304A1 (en) Image processing device, image processing method, and program
JP3093875B2 (ja) 立体視内視鏡
JP3540351B2 (ja) 立体視硬性内視鏡
JPS63274911A (ja) 電子内視鏡装置
JP5818265B2 (ja) 立体内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP