WO2017145606A1 - 画像処理装置、画像処理方法及び内視鏡システム - Google Patents

画像処理装置、画像処理方法及び内視鏡システム Download PDF

Info

Publication number
WO2017145606A1
WO2017145606A1 PCT/JP2017/002119 JP2017002119W WO2017145606A1 WO 2017145606 A1 WO2017145606 A1 WO 2017145606A1 JP 2017002119 W JP2017002119 W JP 2017002119W WO 2017145606 A1 WO2017145606 A1 WO 2017145606A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
mask
enlargement
correction amount
Prior art date
Application number
PCT/JP2017/002119
Other languages
English (en)
French (fr)
Inventor
岳志 宮井
高橋　健治
一木　洋
憲治 池田
真人 山根
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017145606A1 publication Critical patent/WO2017145606A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an endoscope system.
  • Patent Document 1 describes a technique that assumes that a good image without vignetting is obtained even when the mounting accuracy of a solid-state imaging device or an observation optical system is low.
  • an image in a circular mask corresponding to an imaging range is picked up by an image pickup device, but the image pickup region of the image pickup device is rectangular while the mask is usually circular. For this reason, when there is an error between the mask and the imaging region of the imaging device, a shift occurs between the center of the mask and the center of the imaging region of the imaging device, and an image in which the mask is missing is obtained.
  • a rotation correction amount calculation unit that calculates a rotation correction amount of an image, and an enlargement factor that calculates an enlargement factor for taking out image defects that appear when the image is rotated by the rotation correction amount.
  • An image processing apparatus includes a calculation unit, an image enlargement unit that enlarges an image based on the enlargement magnification, and an image rotation unit that rotates an image based on the rotation correction amount.
  • calculating the rotation correction amount of the image calculating an enlargement magnification for taking out a loss of the image that appears when the image is rotated by the rotation correction amount
  • an image processing method comprising enlarging an image based on an enlargement magnification and rotating the image based on the rotation correction amount.
  • a camera head provided in an endoscope and having an image sensor, a camera control unit having an image processing unit that processes an image captured by the image sensor, and processing performed by the image processor
  • a display device for displaying the image, wherein the image processing unit calculates a rotation correction amount for calculating the rotation correction amount of the image, and an image defect that appears when the image is rotated by the rotation correction amount.
  • An enlargement factor calculating unit for calculating an enlargement factor for taking out of the screen, an image enlarging unit for enlarging an image based on the enlargement factor, and an image rotating unit for rotating an image based on the rotation correction amount,
  • An endoscope system is provided.
  • FIG. 6 is a schematic diagram illustrating an original image captured by an imaging unit and images obtained in steps S4, S5, and S6 in FIG.
  • FIG. 6 is a schematic diagram illustrating an original image captured by an imaging unit and images obtained in steps S4, S5, and S6 in FIG.
  • FIG. 7 is a schematic diagram for explaining a method of calculating a center position correction amount and an enlargement magnification in steps S2 and S3 of FIG. It is a schematic diagram which shows the example which provides the table which calculates
  • FIG. 1 is a diagram illustrating an example of a surgical operation to which a system according to the present embodiment is applied.
  • the ceiling camera 3701 and the operating room camera 3703 are provided on the ceiling of the operating room, and can photograph the state of the operator (doctor) 3501 who performs treatment on the affected part of the patient 3505 on the patient bed 3503 and the entire operating room. It is.
  • the ceiling camera 3701 and the operating field camera 3703 can be provided with a magnification adjustment function, a focal length adjustment function, a photographing direction adjustment function, and the like.
  • the illumination 3705 is provided on the ceiling of the operating room and irradiates at least the hand of the operator 3501.
  • the illumination 3705 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
  • the endoscopic surgery system 3050, the patient bed 3503, the ceiling camera 3701, the operating field camera 3703, and the illumination 3705 are connected to each other via an audiovisual controller and an operating room control device (not shown).
  • a centralized operation panel 3011 is provided in the operating room. As described above, the user can appropriately operate these apparatuses existing in the operating room via the centralized operating panel 3011.
  • an endoscopic surgery system 3050 includes an endoscope 3100, other surgical tools 3200, a support arm device 3300 that supports the endoscope 3100, and various devices for endoscopic surgery. And a cart 3400 on which is mounted.
  • trocars 3207a to 3207d are punctured into the abdominal wall. Then, the lens barrel 3101 of the endoscope 3100 and other surgical tools 3200 are inserted into the body cavity of the patient 3505 from the trocars 3207a to 3207d.
  • an insufflation tube 3201, an energy treatment tool 3203, and forceps 3205 are inserted into the body cavity of the patient 3505.
  • the energy treatment tool 3203 is a treatment tool that performs tissue incision and peeling, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 3200 is merely an example, and as the surgical tool 3200, for example, various surgical tools generally used in endoscopic surgery, such as a lever and a retractor, may be used.
  • the image of the surgical site in the body cavity of the patient 3505 captured by the endoscope 3100 is displayed on the display device 3403.
  • the surgeon 3501 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 3203 and the forceps 3205 while viewing the image of the surgical part displayed on the display device 3403 in real time.
  • the pneumoperitoneum tube 3201, the energy treatment tool 3203, and the forceps 3205 are supported by an operator 3501 or an assistant during surgery.
  • the support arm device 3300 includes an arm portion 3303 extending from the base portion 3301.
  • the arm portion 3303 is composed of joint portions 3305 a, 3305 b, 3305 c and links 3307 a, 3307 b, and is driven by control from the arm control device 3407.
  • the endoscope 3100 is supported by the arm portion 3303, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 3100 can be realized.
  • the endoscope 3100 includes a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
  • a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
  • an endoscope 3100 configured as a so-called rigid mirror having a rigid lens barrel 3101 is illustrated, but the endoscope 3100 is configured as a so-called flexible mirror having a flexible lens barrel 3101. Also good.
  • the present embodiment can also be applied to a capsule endoscope.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 3101.
  • a light source device 3405 is connected to the endoscope 3100, and light generated by the light source device 3405 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 3101. Irradiation is performed toward the observation target in the body cavity of the patient 3505 through the lens.
  • the endoscope 3100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 3103, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 3401 as RAW data.
  • CCU camera control unit
  • the camera head 3103 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 3103 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 3101 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 3401 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 3100 and the display device 3403. Specifically, the CCU 3401 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 3103.
  • the CCU 3401 provides the display device 3403 with the image signal subjected to the image processing.
  • the CCU 3401 is connected to an audiovisual controller (not shown).
  • the CCU 3401 also provides an image signal subjected to image processing to an audiovisual controller (not shown).
  • the CCU 3401 transmits a control signal to the camera head 3103 to control its driving.
  • the control signal can include information regarding imaging conditions such as magnification and focal length. Information regarding the imaging conditions may be input via the input device 3409 or may be input via the centralized operation panel 3011 described above.
  • the display device 3403 displays an image based on an image signal subjected to image processing by the CCU 3401 under the control of the CCU 3401.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • a display device 3403 that can display a high-resolution image and / or can display a 3D image can be used.
  • a display device 3403 having a size of 55 inches or more can provide a more immersive feeling.
  • a plurality of display devices 3403 having different resolutions and sizes may be provided depending on applications.
  • the light source device 3405 is composed of a light source such as an LED (light emitting diode), and supplies irradiation light for imaging the surgical site to the endoscope 3100.
  • a light source such as an LED (light emitting diode)
  • the arm control device 3407 is configured by a processor such as a CPU, for example, and operates according to a predetermined program, thereby controlling driving of the arm portion 3303 of the support arm device 3300 according to a predetermined control method.
  • the input device 3409 is an input interface to the endoscopic surgery system 3050.
  • a user can input various information and instructions to the endoscopic surgery system 3050 via the input device 3409.
  • the user inputs various kinds of information related to the operation, such as the patient's physical information and information about the surgical technique, through the input device 3409.
  • the user instructs the arm unit 3303 to be driven via the input device 3409 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 3100.
  • An instruction to drive the energy treatment device 3203 is input.
  • the type of the input device 3409 is not limited, and the input device 3409 may be various known input devices.
  • the input device 3409 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 3419, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 3403.
  • the input device 3409 is a device worn by a user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 3409 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 3409 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 3409 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, the operator 3501) operates a device belonging to the unclean area in a non-contact manner. Is possible.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 3411 controls driving of the energy treatment instrument 3203 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum 3413 gas is introduced into the body cavity through the pneumothorax tube 3201. Send in.
  • the recorder 3415 is an apparatus capable of recording various types of information related to surgery.
  • the printer 3417 is a device that can print various types of information related to surgery in various formats such as text, images, and graphs.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the camera head 3103 and CCU 3401 shown in FIG.
  • the camera head 3103 has a lens unit 3105, an imaging unit 3107, a drive unit 3109, a communication unit 3111, and a camera head control unit 3113 as its functions.
  • the CCU 3401 includes a communication unit 3421, an image processing unit 3423, and a control unit 3425 as its functions.
  • the camera head 3103 and the CCU 3401 are connected to each other via a transmission cable 3427 so that they can communicate with each other.
  • the lens unit 3105 is an optical system provided at a connection portion with the lens barrel 3101. Observation light captured from the tip of the lens barrel 3101 is guided to the camera head 3103 and enters the lens unit 3105.
  • the lens unit 3105 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 3105 are adjusted so that the observation light is condensed on the light receiving surface of the image pickup device of the image pickup unit 3107. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 3107 is configured by an imaging element, and is arranged at the subsequent stage of the lens unit 3105.
  • the observation light that has passed through the lens unit 3105 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 3107 is provided to the communication unit 3111.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 3107 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 3501 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 3107 is configured as a multi-plate type, a plurality of lens units 3105 are also provided corresponding to each imaging element.
  • the imaging unit 3107 is not necessarily provided in the camera head 3103.
  • the imaging unit 3107 may be provided inside the lens barrel 3101 immediately after the objective lens.
  • the driving unit 3109 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 3105 by a predetermined distance along the optical axis under the control of the camera head control unit 3113. Thereby, the magnification and the focus of the image captured by the imaging unit 3107 can be adjusted as appropriate.
  • the communication unit 3111 includes a communication device for transmitting and receiving various types of information to and from the CCU 3401.
  • the communication unit 3111 transmits the image signal obtained from the imaging unit 3107 as RAW data to the CCU 3401 via the transmission cable 3427.
  • the image signal is preferably transmitted by optical communication.
  • the operator 3501 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operated part is displayed in real time as much as possible for a safer and more reliable operation. Because it is required.
  • the communication unit 3111 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 3401 via the transmission cable 3427.
  • the communication unit 3111 receives a control signal for controlling driving of the camera head 3103 from the CCU 3401.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 3111 provides the received control signal to the camera head control unit 3113.
  • the control signal from the CCU 3401 may also be transmitted by optical communication.
  • the communication unit 3111 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
  • the control signal is converted into an electrical signal by the photoelectric conversion module, and then provided to the camera head control unit 3113.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 3425 of the CCU 3401 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 3100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 3113 controls driving of the camera head 3103 based on a control signal from the CCU 3401 received via the communication unit 3111. For example, the camera head control unit 3113 controls driving of the imaging element of the imaging unit 3107 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 3113 appropriately moves the zoom lens and the focus lens of the lens unit 3105 via the drive unit 3109 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 3113 may further have a function of storing information for identifying the lens barrel 3101 and the camera head 3103.
  • the camera head 3103 can be resistant to autoclave sterilization by disposing the lens unit 3105, the imaging unit 3107, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 3421 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 3103.
  • the communication unit 3421 receives an image signal transmitted from the camera head 3103 via the transmission cable 3427.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 3421 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 3421 provides the image processing unit 3423 with the image signal converted into the electrical signal.
  • the communication unit 3421 transmits a control signal for controlling driving of the camera head 3103 to the camera head 3103.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 3423 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 3103. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 3423 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 3423 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 3423 is configured by a plurality of GPUs, the image processing unit 3423 appropriately divides information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the control unit 3425 performs various controls relating to imaging of the surgical site by the endoscope 3100 and display of the captured image. For example, the control unit 3425 generates a control signal for controlling driving of the camera head 3103. At this time, when the imaging condition is input by the user, the control unit 3425 generates a control signal based on the input by the user. Alternatively, when the endoscope 3100 is equipped with the AE function, the AF function, and the AWB function, the control unit 3425 determines an optimal exposure value, focal length, and the like according to the detection processing result by the image processing unit 3423. A white balance is appropriately calculated and a control signal is generated.
  • control unit 3425 causes the display device 3403 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 3423.
  • the control unit 3425 recognizes various objects in the surgical unit image using various image recognition techniques.
  • the control unit 3425 detects a surgical tool such as forceps, a specific living body part, bleeding, a mist when using the energy treatment tool 3203, and the like by detecting the shape and color of the edge of an object included in the surgical site image. Can be recognized.
  • the control unit 3425 uses the recognition result to superimpose and display various types of surgery support information on the image of the surgical site. Surgery support information is displayed in a superimposed manner and presented to the operator 3501, so that the surgery can be performed more safely and reliably.
  • the transmission cable 3427 connecting the camera head 3103 and the CCU 3401 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 3427.
  • communication between the camera head 3103 and the CCU 3401 may be performed wirelessly.
  • communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 3427 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 3427 can be solved.
  • FIG. 3 is a schematic diagram showing an image captured by the camera head 3103 in the system configured as described above.
  • an endoscope such as a rigid endoscope
  • the diameter of a circle (hereinafter referred to as a mask) in which an object is reflected is short in the vertical or horizontal direction of the image sensor, depending on the specifications of the rigid endoscope and optical system to be connected. May exceed the size. For this reason, an image may be captured and displayed in a state where a part of the mask is missing. Such a positional shift is caused by a backlash of the rigid mirror mounting portion or an error in the sensor fixing position.
  • the image processing for the endoscopic image is performed so that the center of gravity is always downward even when the endoscope is rotated by correcting the center position of the mask and the center position of the screen. It is assumed that rotation correction for rotation, and camera shake correction for detecting an image shake and deforming the image so as to cancel the shake in order to stop the image from shaking when the hand holding the endoscope shakes.
  • FIG. 6 is a flowchart for explaining center position correction.
  • FIG. 7 is a schematic diagram for explaining the center position correction.
  • step S1 of FIG. 6 the center position and radius of the mask are detected from the original image.
  • step S2 a center position correction amount is calculated from the center position of the mask.
  • step S3 the minimum necessary enlargement magnification that does not cause chipping in the screen is calculated from the correction amount, the center position and the radius of the mask.
  • next step S4 geometric transformation for correcting the center position is performed.
  • the image is enlarged at the calculated magnification.
  • a mask of the size of the original image is put on.
  • next step S7 it is determined whether or not the observation is finished. If the observation is finished, the process is finished (END). On the other hand, if the observation has not ended, the process returns to step S1 and the subsequent processing is performed again.
  • step S4 shows the original image picked up by the image pickup unit 3107 and the images obtained in steps S4, S5, and S6 in FIG. 5 in order from the left.
  • the center position of the endoscopic image is shifted from the center position of the imaging region of the imaging unit 3107.
  • the center position of the endoscopic image is corrected, and the center position of the endoscopic image matches the center position of the imaging area (monitor display area) of the imaging unit 3107.
  • the upper part of the endoscopic image is missing horizontally.
  • step S5 the missing image is eliminated.
  • step S6 the endoscopic image becomes the same as the original size.
  • the center position correction amount and the enlargement magnification are calculated as follows. As shown in FIG. 8, the height H of the screen, the width W of the screen, the radius R of the mask, the coordinates (Xm, Ym) of the mask center, and the coordinates (Xc, Yc) of the screen center. Further, the absolute value of x is abs (x).
  • step S2 of FIG. 6 the center position correction amount is ( ⁇ Ex, ⁇ Ey).
  • step S3 in FIG. 6 the minimum enlargement magnification Z at which no chipping occurs in the screen is set to the larger of Zx and Zy.
  • step S3 of FIG. 6 in order to prevent the image quality from deteriorating due to the calculation of an abnormally large enlargement magnification, a maximum value of the enlargement magnification is provided, and if the calculated enlargement magnification exceeds this maximum value, the enlargement is performed.
  • the magnification may be the maximum value.
  • a table for obtaining an enlargement magnification that is actually used from the calculated enlargement magnification may be provided, and control may be performed so as to smoothly change to the maximum enlargement magnification.
  • the magnification from changing frequently and becoming difficult to see, when the magnification is increased, it is reflected instantly so as not to be chipped, but when the magnification is made smaller than the present, it takes time. It may be changed slowly.
  • FIG. 10 is a flowchart for explaining rotation correction.
  • FIG. 11 is a schematic diagram for explaining the rotation correction.
  • step S11 the center position and radius of the mask are detected from the image.
  • step S12 a rotation correction amount is calculated from information such as a gyro.
  • step S13 the minimum necessary enlargement magnification that does not cause chipping in the screen is calculated from the correction amount, the center position and the radius of the mask.
  • next step S14 geometric transformation for correcting the rotation is performed.
  • the image is enlarged at the calculated magnification.
  • the next step S16 the original size mask is put on.
  • next step S17 it is determined whether or not the observation is finished. If the observation is finished, the process is finished (END). On the other hand, if the observation has not ended, the process returns to step S11 and the subsequent processing is performed again.
  • the original image captured by the imaging unit 3107, the image obtained in step S14 in FIG. 10, and the image obtained in step S15 are shown in order from the left.
  • the gravity direction of the image (indicated by an arrow in the figure) is deviated from the vertical direction of the imaging region of the imaging unit 3107.
  • the gravity direction of the image is detected by a gyro sensor or the like.
  • the rotation correction amount in step S12 is calculated from the difference between the angular position of the imaging surface of the imaging unit 3107 and the gravitational direction detected by a gyro sensor or the like.
  • step S14 the rotational position of the endoscopic image is corrected, and the gravitational direction of the image matches the vertical direction of the imaging region of the imaging unit 3107.
  • step S14 a part of the endoscopic image is missing.
  • step S15 the lack of image is eliminated.
  • step S16 the endoscopic image becomes the same as the original size.
  • step S13 of FIG. 10 the minimum enlargement magnification Z that does not cause a chip in the screen is calculated as follows. As shown in FIG. 12, the height H of the screen, the width W of the screen, the radius R of the mask, and the rotation correction angle ⁇ (calculated in step S12). Further, the absolute value of x is abs (x), the angle (inverse cosine) at which the cosine is x is acos (x), and the smaller of the width W and the height H is U.
  • FIG. 13 is a block diagram illustrating a configuration of the image processing unit 3423.
  • the image processing unit 3423 includes a rotation correction amount calculation unit 110, a mask center position detection unit 115, an enlargement magnification calculation unit 120, an image rotation / movement unit 230, an image enlargement unit 240, and a mask radius detection unit 250. , And a mask adding unit (mask processing unit) 260.
  • the rotation correction amount calculation unit 110 calculates the rotation correction amount in step S12 of FIG.
  • the enlargement factor calculator 120 calculates the enlargement factor in step S13 of FIG.
  • the image rotation / movement unit 130 performs geometric transformation for correcting the rotation in step S14 of FIG.
  • the image enlargement unit 140 enlarges the image at the enlargement magnification calculated by the enlargement magnification calculation unit 120 in step S15 of FIG.
  • the mask radius detection unit 150 detects the radius of the original size mask. In step S16 in FIG. 10, the mask adding unit 160 puts the mask of the original size.
  • the mask center position detection unit 115 detects the center position of the mask in step S1 of FIG.
  • the enlargement factor calculator 120 calculates the enlargement factor in step S3 of FIG.
  • the image rotation / movement unit 130 performs geometric transformation for correcting the center position in step S4 of FIG.
  • the image enlargement unit 140 enlarges the image at the enlargement magnification calculated by the enlargement magnification calculation unit 120 in step S15 of FIG.
  • the mask radius detection unit 150 detects the radius of the original size mask in step S1 of FIG.
  • the mask adding unit 160 puts the mask of the original size in step S6 of FIG.
  • the aspect ratio and the number of pixels of the image sensor of the camera head 3103 are as shown in FIG. 14 for each of DCI4K and 4K UHD.
  • the aspect ratio and the number of pixels on the monitor side (display device 3403) can be changed as appropriate.
  • the entire processing of the center position correction and rotation correction may be turned on / off by monitoring the image and the user operation status. For example, corrective processing is turned off (OFF) when the rigid endoscope is removed for replacement, and correction processing is turned off (OFF) when the illumination is too dark to detect the mask. You can go.
  • an enlargement magnification for removing an image defect that appears when the image is rotated by the rotation correction amount By enlarging the image, it is possible to reliably suppress the chipping generated in the mask.
  • a rotation correction amount calculation unit for calculating an image rotation correction amount
  • An enlargement ratio calculating unit for calculating an enlargement ratio for taking out a loss of an image that appears when the image is rotated by the rotation correction amount
  • An image enlarging unit for enlarging an image based on the magnification,
  • An image rotation unit for rotating an image based on the rotation correction amount
  • An image processing apparatus comprising: (2) a mask center position calculation unit for calculating the center position of the mask of the image; An enlargement factor calculating unit for calculating an enlargement factor for taking out a loss of an image that appears when the center position of the mask is arranged at the center of the screen; An image enlarging unit for enlarging an image based on the magnification, An image position correction unit that corrects the center position of the mask to be the center position of the screen;
  • the image processing apparatus according to (1) further comprising: (3) The image processing apparatus according to (1) or (2), further including
  • a camera head provided in the endoscope and having an image sensor;
  • a camera control unit having an image processing unit for processing an image captured by the image sensor;
  • a display device for displaying an image processed by the image processing unit,
  • the image processing unit A rotation correction amount calculation unit for calculating the rotation correction amount of the image;
  • An enlargement ratio calculating unit for calculating an enlargement ratio for taking out a loss of an image that appears when the image is rotated by the rotation correction amount;
  • An image enlarging unit for enlarging an image based on the magnification, An image rotation unit for rotating an image based on the rotation correction amount;
  • An endoscope system comprising:

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

【課題】マスク内の画像を回転させた場合に、マスクに生じる欠けを抑える。 【解決手段】本開示に係る画像処理装置は、画像の回転補正量を算出する回転補正量算出部と、前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、前記拡大倍率に基づいて画像を拡大する画像拡大部と、前記回転補正量に基づいて、画像を回転する画像回転部と、を備える。この構成により、マスク内の画像を回転させた場合に、マスクに生じる欠けを抑えることが可能となる。

Description

画像処理装置、画像処理方法及び内視鏡システム
　本開示は、画像処理装置、画像処理方法及び内視鏡システムに関する。
　従来、例えば下記の特許文献１には、固体撮像素子や観察光学系の取り付け精度が低い場合でもケラレのない良好な画像を得ることを想定した技術が記載されている。
特開２０１５－２０５１２６号公報
　内視鏡画像等においては、撮像範囲に相当する円形のマスク内の画像が撮像素子に撮像されるが、撮像素子の撮像領域が矩形である一方、マスクは円形であることが通常である。このため、マスクと撮像素子の撮像領域に誤差があると、マスクの中心と撮像素子の撮像領域の中心にズレが生じ、マスクに欠けが生じた画像が得られる。
　また、内視鏡画像等においては、マスク内の画像の回転角度位置を撮像素子の矩形に適合させることが望ましい。例えば、マスク内の画像の重力方向を撮像素子の矩形の上下方向に設定すると、観察者が違和感なく画像を視認できる。しかしながら、マスク内の画像の重力方向を撮像素子の矩形の上下方向に一致させるため、マスク内の画像を回転させると、マスクに欠けが生じてしまう。上記特許文献１に記載された技術は、画像を回転させた際に生じるマスクの欠けの影響について何ら考慮していなかった。
　そこで、マスク内の画像を回転させた場合に、マスクに生じる欠けを抑えることが求められていた。
　本開示によれば、画像の回転補正量を算出する回転補正量算出部と、前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、前記拡大倍率に基づいて画像を拡大する画像拡大部と、前記回転補正量に基づいて、画像を回転する画像回転部と、を備える、画像処理装置が提供される。
　また、本開示によれば、画像の回転補正量を算出することと、前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出することと、前記拡大倍率に基づいて画像を拡大することと、前記回転補正量に基づいて、画像を回転することと、を備える、画像処理方法が提供される。
　また、本開示によれば、内視鏡に設けられ、撮像素子を有するカメラヘッドと、前記撮像素子により撮像された画像を処理する画像処理部を有するカメラコントロールユニットと、前記画像処理部により処理された画像を表示する表示装置と、を備え、前記画像処理部は、画像の回転補正量を算出する回転補正量算出部と、前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、前記拡大倍率に基づいて画像を拡大する画像拡大部と、前記回転補正量に基づいて、画像を回転する画像回転部と、を備える、内視鏡システムが提供される。
　以上説明したように本開示によれば、マスク内の画像を回転させた場合に、マスクに生じる欠けを抑えることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係るシステムが適用された手術の様子の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 カメラヘッドが撮像した画像を示す模式図である。 マスクが欠けた画像に対して、中心位置補正を行った場合を示す模式図である。 マスクが欠けた画像に対して回転補正を行った場合を示す模式図である。 中心位置補正を説明するためのフローチャートである。 撮像部で撮像された元画像、図５のステップＳ４、ステップＳ５、ステップＳ６で得られた画像をそれぞれ示す模式図である。 図６のステップＳ２，Ｓ３で中心位置補正量と拡大倍率を算出する方法を説明するための模式図である。 算出された拡大倍率から実際に使用する拡大倍率を求めるテーブルを設けて、最大拡大倍率に滑らかに変化するように制御する例を示す模式図である。 回転補正を説明するためのフローチャートである。 回転補正を説明するための模式図である。 図１０のステップＳ１３で画面内に欠けが生じない最小拡大倍率Ｚを算出する方法を説明するための模式図である。 画像処理部の構成を示すブロック図である。 撮像素子のアスペクト比、画素数を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの構成例
　２．中心位置補正、回転補正の例
　３．本実施形態に係る中心位置補正
　４．本実施形態に係る回転補正
　５．画像処理部の構成例
　１．システムの構成例
　図１は、本実施形態に係るシステムが適用された手術の様子の一例を示す図である。シーリングカメラ３７０１及び術場カメラ３７０３は、手術室の天井に設けられ、患者ベッド３５０３上の患者３５０５の患部に対して処置を行う術者（医者）３５０１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ３７０１及び術場カメラ３７０３には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明３７０５は、手術室の天井に設けられ、少なくとも術者３５０１の手元を照射する。照明３７０５は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
　内視鏡手術システム３０５０、患者ベッド３５０３、シーリングカメラ３７０１、術場カメラ３７０３及び照明３７０５は、視聴覚コントローラ及び手術室制御装置（不図示）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル３０１１が設けられており、上述したように、ユーザは、当該集中操作パネル３０１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
　以下、内視鏡手術システム３０５０の構成について詳細に説明する。図示するように、内視鏡手術システム３０５０は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ～３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ～３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。また、エネルギー処置具３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３２０３や鉗子３２０５を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、関節部３３０５ａ、３３０５ｂ、３３０５ｃ、及びリンク３３０７ａ、３３０７ｂから構成されており、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。図示する例では、硬性の鏡筒３１０１を有するいわゆる硬性鏡として構成される内視鏡３１００を図示しているが、内視鏡３１００は、軟性の鏡筒３１０１を有するいわゆる軟性鏡として構成されてもよい。また、本実施形態は、カプセル内視鏡にも適用可能である。
　鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡３１００には光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象に向かって照射される。なお、内視鏡３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられてもよい。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ３４０１は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡３１００及び表示装置３４０３の動作を統括的に制御する。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ３４０１は、当該画像処理を施した画像信号を表示装置３４０３に提供する。また、ＣＣＵ３４０１には、視聴覚コントローラ（不図示）が接続される。ＣＣＵ３４０１は、画像処理を施した画像信号を視聴覚コントローラ（不図示）にも提供する。また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置３４０９を介して入力されてもよいし、上述した集中操作パネル３０１１を介して入力されてもよい。
　表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡３１００が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置３４０３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置３４０３が設けられてもよい。
　光源装置３４０５は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡３１００に供給する。
　アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。
　入力装置３４０９は、内視鏡手術システム３０５０に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０５０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３２０３を駆動させる旨の指示等を入力する。
　入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。
　あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置３４０９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　（カメラヘッド及びＣＣＵ）
　図２を参照して、内視鏡３１００のカメラヘッド３１０３及びＣＣＵ３４０１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド３１０３及びＣＣＵ３４０１の機能構成の一例を示すブロック図である。
　図２を参照すると、カメラヘッド３１０３は、その機能として、レンズユニット３１０５と、撮像部３１０７と、駆動部３１０９と、通信部３１１１と、カメラヘッド制御部３１１３と、を有する。また、ＣＣＵ３４０１は、その機能として、通信部３４２１と、画像処理部３４２３と、制御部３４２５と、を有する。カメラヘッド３１０３とＣＣＵ３４０１とは、伝送ケーブル３４２７によって双方向に通信可能に接続されている。
　まず、カメラヘッド３１０３の機能構成について説明する。レンズユニット３１０５は、鏡筒３１０１との接続部に設けられる光学系である。鏡筒３１０１の先端から取り込まれた観察光は、カメラヘッド３１０３まで導光され、当該レンズユニット３１０５に入射する。レンズユニット３１０５は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット３１０５は、撮像部３１０７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部３１０７は撮像素子によって構成され、レンズユニット３１０５の後段に配置される。レンズユニット３１０５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部３１０７によって生成された画像信号は、通信部３１１１に提供される。
　撮像部３１０７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者３５０１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部３１０７を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者３５０１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部３１０７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット３１０５も複数系統設けられる。
　また、撮像部３１０７は、必ずしもカメラヘッド３１０３に設けられなくてもよい。例えば、撮像部３１０７は、鏡筒３１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部３１０９は、アクチュエータによって構成され、カメラヘッド制御部３１１３からの制御により、レンズユニット３１０５のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部３１０７による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部３１１１は、ＣＣＵ３４０１との間で各種の情報を送受信するための通信装置によって構成される。通信部３１１１は、撮像部３１０７から得た画像信号をＲＡＷデータとして伝送ケーブル３４２７を介してＣＣＵ３４０１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者３５０１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部３１１１には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル３４２７を介してＣＣＵ３４０１に送信される。
　また、通信部３１１１は、ＣＣＵ３４０１から、カメラヘッド３１０３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部３１１１は、受信した制御信号をカメラヘッド制御部３１１３に提供する。なお、ＣＣＵ３４０１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部３１１１には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部３１１３に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ３４０１の制御部３４２５によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡３１００に搭載される。
　カメラヘッド制御部３１１３は、通信部３１１１を介して受信したＣＣＵ３４０１からの制御信号に基づいて、カメラヘッド３１０３の駆動を制御する。例えば、カメラヘッド制御部３１１３は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部３１０７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部３１１３は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部３１０９を介してレンズユニット３１０５のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部３１１３は、更に、鏡筒３１０１やカメラヘッド３１０３を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット３１０５や撮像部３１０７等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド３１０３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ３４０１の機能構成について説明する。通信部３４２１は、カメラヘッド３１０３との間で各種の情報を送受信するための通信装置によって構成される。通信部３４２１は、カメラヘッド３１０３から、伝送ケーブル３４２７を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部３４２１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部３４２１は、電気信号に変換した画像信号を画像処理部３４２３に提供する。
　また、通信部３４２１は、カメラヘッド３１０３に対して、カメラヘッド３１０３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部３４２３は、カメラヘッド３１０３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部３４２３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部３４２３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部３４２３が複数のＧＰＵによって構成される場合には、画像処理部３４２３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部３４２５は、内視鏡３１００による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部３４２５は、カメラヘッド３１０３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部３４２５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡３１００にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部３４２５は、画像処理部３４２３による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部３４２５は、画像処理部３４２３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置３４０３に表示させる。この際、制御部３４２５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部３４２５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３２０３使用時のミスト等を認識することができる。制御部３４２５は、表示装置３４０３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者３５０１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド３１０３及びＣＣＵ３４０１を接続する伝送ケーブル３４２７は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル３４２７を用いて有線で通信が行われていたが、カメラヘッド３１０３とＣＣＵ３４０１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル３４２７を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル３４２７によって妨げられる事態が解消され得る。
　２．中心位置補正、回転補正の例
　図３は、以上のように構成されたシステムにおいて、カメラヘッド３１０３が撮像した画像を示す模式図である。硬性内視鏡などの内視鏡では、図３に示すように、接続する硬性鏡や光学系の仕様によって、被写体が映る円（以下、マスク）の直径が、イメージセンサの縦または横の短い方のサイズを超えることがある。このため、マスクの一部が欠けた状態で撮像、表示されることがある。このような位置ずれは、硬性鏡の取り付け部のガタやセンサ固定位置の誤差によって生じる。
　ここで、内視鏡画像に対する画像処理によって、マスクの中心位置と画面の中心位置のずれを補正する中心位置補正、内視鏡を回転させた場合でも常に重力方向が下になるように画像を回転させる回転補正、内視鏡を持つ手が振れた場合などに画像が振れるのを止めるために画像の振れを検出してそれを打ち消すように画像を変形させる手振れ補正を行うことを想定する。
　しかし、図４に示すように、マスクが欠けた画像に対して、中心位置補正を行うと、画面内にマスクの欠けが表れてしまい、内視鏡画像として好ましくない画像になる。同様に、図５に示すように、マスクが欠けた画像に対して回転補正を行うと、画面内にマスクの欠けが表れてしまい、内視鏡画像として好ましくない画像になる。
　このため、本実施形態では、マスクが欠けている内視鏡画像に対して中心位置補正、回転補正、手振れ補正などの幾何補正を行う際に、幾何補正後に画面内に欠けが生じないような必要最低限の拡大倍率を自動で算出して、幾何補正後にその拡大倍率で拡大する。そして、拡大後の画像に対して元のサイズのマスクをかけることにより、画面内に欠けが無い適切な幾何補正結果を得る。
　これにより、マスクが欠けている内視鏡画像に対して、中心位置補正、回転補正、手振れ補正、などの幾何補正を行った場合でも、画面内に欠けが無い適切な幾何補正結果を得ることができる。以下、詳細に説明する。
　３．本実施形態に係る中心位置補正
　図６は、中心位置補正を説明するためのフローチャートである。また、図７は、中心位置補正を説明するための模式図である。先ず、図６のステップＳ１では、元画像からマスクの中心位置と半径を検出する。次のステップＳ２では、マスクの中心位置から中心位置補正量を算出する。次のステップＳ３では、補正量とマスクの中心位置と半径から画面内に欠けが生じない必要最低限の拡大倍率を算出する。
　次のステップＳ４では、中心位置を補正する幾何変換を行う。次のステップＳ５では、算出した倍率で画像を拡大する。次のステップＳ６では、元画像のサイズのマスクをかける。次のステップＳ７では、観察が終了したか否かを判定し、観察が終了した場合は処理を終了する（ＥＮＤ）。一方、観察が終了していない場合は、ステップＳ１へ戻り、以降の処理を再度行う。
　図７では、撮像部３１０７で撮像された元画像、図５のステップＳ４、ステップＳ５、ステップＳ６で得られた画像を左から順にそれぞれ示している。元画像では、撮像部３１０７の撮像領域の中心位置に対して、内視鏡画像の中心位置がずれている。ステップＳ４の処理の結果、内視鏡画像の中心位置が補正され、撮像部３１０７の撮像領域（モニタの表示領域）の中心位置に対して、内視鏡画像の中心位置が一致する。一方、ステップＳ４の処理の結果、内視鏡画像の上部が水平に欠けてしまう。これに対し、ステップＳ５の処理を行うことで、画像の欠けが無くなる。更にステップＳ６の処理を行うことで、内視鏡画像が元のサイズと同一となる。これにより、内視鏡画像の中心位置を補正するとともに、画像が欠けてしまうことを確実に回避できる。
　図６のステップＳ２，Ｓ３では、以下のようにして中心位置補正量と拡大倍率を算出する。図８に示すように、画面の高さＨ、画面の幅Ｗ、マスクの半径Ｒ、マスク中心の座標（Ｘｍ，Ｙｍ）、画面中心の座標（Ｘｃ，Ｙｃ）とする。また、ｘの絶対値をａｂｓ（ｘ）とする。
　マスク中心と画面中心の水平のずれは以下の式で表すことができる。
Ｅｘ＝Ｘｍ－Ｘｃ
　また、マスク中心と画面中心の垂直のずれは以下の式で表すことができる。
Ｅｙ＝Ｙｍ－Ｙｃ
　従って、図６のステップＳ２において、中心位置補正量は、（－Ｅｘ，－Ｅｙ）となる。
　また、Ｒ＋ａｂｓ（Ｅｘ）＞Ｗ/２の場合、Ｚｘ＝Ｗ／（Ｗ－２ａｂｓ（Ｅｘ））となる。Ｒ＋ａｂｓ（Ｅｘ）≦Ｗ/２の場合は、Ｚｘ＝１となる。
　また、Ｒ＋ａｂｓ（Ｅｙ）＞Ｈ／２の場合、Ｚｙ＝Ｈ／（Ｈ－２ａｂｓ（Ｅｙ））となり、Ｒ＋ａｂｓ（Ｅｙ）≦Ｈ／２の場合、Ｚｙ＝１となる。
　図６のステップＳ３では、画面内に欠けが生じない最小拡大倍率Ｚを、ＺｘとＺｙの大きい方とする。
　図６のステップＳ３では、異常に大きな拡大倍率が算出されて画質が低下することを防ぐために、拡大倍率の最大値を設けて、算出された拡大倍率がこの最大値を超えた場合は、拡大倍率をこの最大値としても良い。図９に示すように、算出された拡大倍率から実際に使用する拡大倍率を求めるテーブルを設けて、最大拡大倍率に滑らかに変化するように制御しても良い。また、拡大倍率が頻繁に変化して見にくくなることを防ぐために、拡大倍率を大きくする時は欠けを出さないために瞬時に反映するが、拡大倍率を現在よりも小さくする時は時間をかけてゆっくりと変化させるようにしても良い。
　４．本実施形態に係る回転補正
　図１０は、回転補正を説明するためのフローチャートである。また、図１１は、回転補正を説明するための模式図である。先ず、ステップＳ１１では、画像からマスクの中心位置と半径を検出する。次のステップＳ１２では、ジャイロ等の情報から回転補正量を算出する。次のステップＳ１３では、補正量とマスクの中心位置と半径から画面内に欠けが生じない必要最低限の拡大倍率を算出する。
　次のステップＳ１４では、回転を補正する幾何変換を行う。次のステップＳ１５では、算出した倍率で画像を拡大する。次のステップＳ１６では、元のサイズのマスクをかける。次のステップＳ１７では、観察が終了したか否かを判定し、観察が終了した場合は処理を終了する（ＥＮＤ）。一方、観察が終了していない場合は、ステップＳ１１へ戻り、以降の処理を再度行う。
　図１１では、撮像部３１０７で撮像された元画像、図１０のステップＳ１４で得られた画像、ステップＳ１５で得られた画像、を左から順にそれぞれ示している。元画像では、撮像部３１０７の撮像領域の上下方向に対して、画像の重力方向（図中に矢印で示す）がずれている。なお、画像の重力方向は、ジャイロセンサ等により検出する。撮像部３１０７の撮像面の角度位置と、ジャイロセンサ等により検出された重力方向との差から、ステップＳ１２の回転補正量が算出される。ステップＳ１４の処理の結果、内視鏡画像の回転位置が補正され、撮像部３１０７の撮像領域の上下方向に対して、画像の重力方向が一致する。一方、ステップＳ１４の処理の結果、内視鏡画像の一部が欠けてしまう。これに対し、ステップＳ１５の処理を行うことで、画像の欠けが無くなる。更にステップＳ１６の処理を行うことで、内視鏡画像が元のサイズと同一となる。これにより、内視鏡画像の回転位置を補正するとともに、画像が欠けてしまうことを確実に回避できる。
　図１０のステップＳ１３では、以下のようにして画面内に欠けが生じない最小拡大倍率Ｚを算出する。図１２に示すように、画面の高さＨ、画面の幅Ｗ、マスクの半径Ｒ、回転補正角度θ（ステップＳ１２で算出）とする。また、ｘの絶対値をａｂｓ（ｘ）とし、コサインがｘとなる角度（逆余弦）をａｃｏｓ（ｘ）とし、幅Ｗと高さＨの小さい方をＵとする。
　中心からマスク欠けが大きい方の辺に垂直に下ろした線と、中心とその辺とマスクが交わる点を結んだ線が成す角度をθtとすると、以下の式が成立する。
Ｒｃｏｓ（θｔ）＝Ｕ／２
∴θｔ＝ａｃｏｓ（Ｕ／（２Ｒ））
　画面内に欠けが生じない最小拡大倍率Ｚは、以下の通りとなる。
　ａｂｓ（θ）＜θｔの場合、Ｌ＝Ｒｃｏｓ（θｔ－θ）、Ｚ＝２Ｌ／Ｕ
　ａｂｓ（θ）≧θｔの場合、Ｚ＝２Ｒ／Ｕ
　５．画像処理部の構成例
　図１３は、画像処理部３４２３の構成を示すブロック図である。図１３に示すように、画像処理部３４２３は、回転補正量算出部１１０、マスク中心位置検出部１１５、拡大倍率算出部１２０、画像回転・移動部２３０、画像拡大部２４０、マスク半径検出部２５０、マスク追加部（マスク処理部）２６０、を有して構成される。
　図１３に示す構成において、回転補正量算出部１１０は、図１０のステップＳ１２において、回転補正量を算出する。拡大倍率算出部１２０は、図１０のステップＳ１３において、拡大倍率を算出する。画像回転・移動部１３０は、図１０のステップＳ１４で回転を補正する幾何変換を行う。画像拡大部１４０は、図１０のステップＳ１５において、拡大倍率算出部１２０が算出した拡大倍率で画像を拡大する。マスク半径検出部１５０は、元のサイズのマスクの半径を検出する。マスク追加部１６０は、図１０のステップＳ１６において、元のサイズのマスクをかける。
　また、図６で説明した中心位置補正を行う場合、マスク中心位置検出部１１５は、図６のステップＳ１において、マスクの中心位置を検出する。拡大倍率算出部１２０は、図６のステップＳ３において、拡大倍率を算出する。画像回転・移動部１３０は、図６のステップＳ４で中心位置を補正する幾何変換を行う。画像拡大部１４０は、図６のステップＳ１５において、拡大倍率算出部１２０が算出した拡大倍率で画像を拡大する。マスク半径検出部１５０は、図６のステップＳ１において、元のサイズのマスクの半径を検出する。マスク追加部１６０は、図６のステップＳ６において、元のサイズのマスクをかける。
　カメラヘッド３１０３の撮像素子のアスペクト比、画素数は、ＤＣＩ４Ｋの場合、４Ｋ　ＵＨＤの場合のそれぞれについて、図１４に示す通りである。モニター側（表示装置３４０３）のアスペクト比、画素数については適宜変更することが可能である。
　異常な動作を防ぐために、画像やユーザの操作状況を監視して、この中心位置補正、回転補正の処理全体をオン／オフしても良い。例えば、交換のために硬性鏡を外している時は補正処理をオフ（ＯＦＦ）にする、照明が暗くてマスクの検出が出来ない時は補正処理をオフ（ＯＦＦ）にする、などの対処を行っても良い。
　以上説明したように本実施形態によれば、画像の回転補正量に基づいて画像を回転する際に、回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率で画像を拡大することで、マスクに生じる欠けを確実に抑えることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　画像の回転補正量を算出する回転補正量算出部と、
　前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、
　前記拡大倍率に基づいて画像を拡大する画像拡大部と、
　前記回転補正量に基づいて、画像を回転する画像回転部と、
　を備える、画像処理装置。
（２）　画像のマスクの中心位置を算出するマスク中心位置算出部と、
　前記マスクの中心位置を画面の中心に配置した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、
　前記拡大倍率に基づいて画像を拡大する画像拡大部と、
　前記マスクの中心位置が画面の中心位置となるように補正する画像位置補正部と、
　を備える、前記（１）に記載の画像処理装置。
（３）　拡大された画像に対して、拡大前の元のサイズのマスクをかけるマスク処理部を備える、前記（１）又は（２）に記載の画像処理装置。
（４）　前記画像拡大部は、前記拡大倍率が予め設定された所定値を超える場合は、前記所定値に基づいて画像を拡大する、前記（１）～（３）のいずれかに記載の画像処理装置。
（５）　前記画像拡大部は、前記拡大倍率が前記所定値に近づくと、前記拡大倍率を前記所定値に漸近させた漸近値に基づいて画像を拡大する、前記（４）に記載の画像処理装置。
（６）　前記画像のアスペクト比が１７：９又は１６：９である、前記（１）～（５）のいずれかに記載の画像処理装置。
（７）　内視鏡に設けられ、撮像素子を有するカメラヘッドと、
　前記撮像素子により撮像された画像を処理する画像処理部を有するカメラコントロールユニットと、
　前記画像処理部により処理された画像を表示する表示装置と、を備え、
　前記画像処理部は、
　画像の回転補正量を算出する回転補正量算出部と、
　前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、
　前記拡大倍率に基づいて画像を拡大する画像拡大部と、
　前記回転補正量に基づいて、画像を回転する画像回転部と、
　を備える、内視鏡システム。
　１１０　　回転補正量算出部
　１１５　　マスク中心位置算出部
　１２０　　拡大倍率算出部
　２３０　　画像回転・移動部
　２４０　　画像拡大部
　２６０　　マスク追加部
　３１０３　カメラヘッド
　３４０１　ＣＣＵ
　３４０３　表示装置
　３４２３　画像処理部

Claims (8)

  1. 　画像の回転補正量を算出する回転補正量算出部と、
    　前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、
    　前記拡大倍率に基づいて画像を拡大する画像拡大部と、
    　前記回転補正量に基づいて、画像を回転する画像回転部と、
    　を備える、画像処理装置。
  2. 　画像のマスクの中心位置を算出するマスク中心位置算出部と、
    　前記マスクの中心位置が画面の中心位置となるように補正する画像位置補正部と、を備え、
    　前記拡大倍率算出部は、マスクの中心位置を画面の中心に配置した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する、請求項１に記載の画像処理装置。
  3. 　拡大された画像に対して、拡大前の元のサイズのマスクをかけるマスク処理部を備える、請求項１に記載の画像処理装置。
  4. 　前記画像拡大部は、前記拡大倍率が予め設定された所定値を超える場合は、前記所定値に基づいて画像を拡大する、請求項１に記載の画像処理装置。
  5. 　前記画像拡大部は、前記拡大倍率が前記所定値に近づくと、前記拡大倍率を前記所定値に漸近させた漸近値に基づいて画像を拡大する、請求項４に記載の画像処理装置。
  6. 　前記画像のアスペクト比が１７：９又は１６：９である、請求項１に記載の画像処理装置。
  7. 　画像の回転補正量を算出することと、
    　前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出することと、
    　前記拡大倍率に基づいて画像を拡大することと、
    　前記回転補正量に基づいて、画像を回転することと、
    　を備える、画像処理方法。
  8. 　内視鏡に設けられ、撮像素子を有するカメラヘッドと、
    　前記撮像素子により撮像された画像を処理する画像処理部を有するカメラコントロールユニットと、
    　前記画像処理部により処理された画像を表示する表示装置と、を備え、
    　前記画像処理部は、
    　画像の回転補正量を算出する回転補正量算出部と、
    　前記回転補正量により画像を回転した場合に現れる画像の欠損を画面外に出すための拡大倍率を算出する拡大倍率算出部と、
    　前記拡大倍率に基づいて画像を拡大する画像拡大部と、
    　前記回転補正量に基づいて、画像を回転する画像回転部と、
    　を備える、内視鏡システム。
PCT/JP2017/002119 2016-02-24 2017-01-23 画像処理装置、画像処理方法及び内視鏡システム WO2017145606A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016033407 2016-02-24
JP2016-033407 2016-02-24

Publications (1)

Publication Number Publication Date
WO2017145606A1 true WO2017145606A1 (ja) 2017-08-31

Family

ID=59686065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002119 WO2017145606A1 (ja) 2016-02-24 2017-01-23 画像処理装置、画像処理方法及び内視鏡システム

Country Status (1)

Country Link
WO (1) WO2017145606A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
JP2020032170A (ja) * 2018-07-09 2020-03-05 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 管腔内画像を表示するための方法およびシステム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314113A (ja) * 1997-05-15 1998-12-02 Fuji Photo Optical Co Ltd 電子内視鏡の電気コネクタ
JP2000227560A (ja) * 1999-02-08 2000-08-15 Olympus Optical Co Ltd 内視鏡用撮像装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP4772826B2 (ja) * 2008-04-30 2011-09-14 オリンパス株式会社 撮像装置
WO2012029357A1 (ja) * 2010-08-30 2012-03-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2013192803A (ja) * 2012-03-21 2013-09-30 Hoya Corp 内視鏡システム
JP2015156938A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法
JP2015205126A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに画像調整方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314113A (ja) * 1997-05-15 1998-12-02 Fuji Photo Optical Co Ltd 電子内視鏡の電気コネクタ
JP2000227560A (ja) * 1999-02-08 2000-08-15 Olympus Optical Co Ltd 内視鏡用撮像装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP4772826B2 (ja) * 2008-04-30 2011-09-14 オリンパス株式会社 撮像装置
WO2012029357A1 (ja) * 2010-08-30 2012-03-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2013192803A (ja) * 2012-03-21 2013-09-30 Hoya Corp 内視鏡システム
JP2015156938A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法
JP2015205126A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに画像調整方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
US11455722B2 (en) 2018-03-20 2022-09-27 Sony Corporation System with endoscope and image sensor and method for processing medical images
US11986156B2 (en) 2018-03-20 2024-05-21 Sony Group Corporation System with endoscope and image sensor and method for processing medical images
JP2020032170A (ja) * 2018-07-09 2020-03-05 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 管腔内画像を表示するための方法およびシステム

Similar Documents

Publication Publication Date Title
US11033338B2 (en) Medical information processing apparatus, information processing method, and medical information processing system
US9307894B2 (en) Endoscope comprising a system with multiple cameras for use in minimal-invasive surgery
US11109927B2 (en) Joint driving actuator and medical system
EP3603562B1 (en) Medical observation apparatus and observation field correction method
JP2019084334A (ja) 医療用保持装置、医療用アームシステム、及びドレープ装着機構
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
WO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
WO2018235608A1 (ja) 手術システムおよび手術用撮像装置
CN110913787B (zh) 手术支持系统、信息处理方法和信息处理装置
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
US20190154953A1 (en) Control apparatus, control system, and control method
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2018168571A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
WO2023176133A1 (ja) 内視鏡用保持装置、内視鏡手術システム、及び制御方法
WO2021010020A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2019150743A1 (ja) 撮像装置、イメージセンサユニット、カメラユニット及び制御方法
WO2019202860A1 (ja) 医療用システム、接続構造、及び接続方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756048

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17756048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP