WO2016043063A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2016043063A1
WO2016043063A1 PCT/JP2015/075161 JP2015075161W WO2016043063A1 WO 2016043063 A1 WO2016043063 A1 WO 2016043063A1 JP 2015075161 W JP2015075161 W JP 2015075161W WO 2016043063 A1 WO2016043063 A1 WO 2016043063A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
view
direct
image processing
processing apparatus
Prior art date
Application number
PCT/JP2015/075161
Other languages
English (en)
French (fr)
Inventor
浩司 鹿島
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/510,124 priority Critical patent/US10701339B2/en
Priority to JP2016548833A priority patent/JPWO2016043063A1/ja
Publication of WO2016043063A1 publication Critical patent/WO2016043063A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method that enable an image obtained by a direct-view camera and a side-view camera to be presented in an easy-to-understand manner.
  • An endoscopic probe used for endoscopic surgery in addition to a direct-view camera for capturing a direct-viewing direction that is the tip direction of the probe, a side-viewing camera for capturing a side-viewing direction that is the side of the probe Those have been proposed (see, for example, Patent Documents 1 and 2).
  • the side-viewing camera By providing the side-viewing camera, it is possible to expand the field of view other than the operative field in the direct-viewing direction, but it is required to present the images obtained by the direct-viewing camera and the side-viewing camera in an easy-to-understand manner for the operator. .
  • the present disclosure has been made in view of such a situation, and makes it possible to present images obtained by a direct-view camera and a side-view camera in an easy-to-understand manner.
  • An image processing apparatus places a direct-view image obtained by imaging an object in a direct-view direction, which is the tip direction of the probe, in a circular area, and a side-view direction that is the side of the probe.
  • an image combining unit configured to generate a composite image in which a side view image obtained by capturing an image of the subject is arranged in a fan shape along the outer periphery of the circular shape.
  • the image processing apparatus arranges a direct-view image obtained by imaging an object in the direct-view direction which is the tip direction of the probe in a circular area, and the side of the probe A composite image is generated in which a side-view image obtained by imaging a subject in the side-view direction is arranged in a fan shape along the outer periphery of the circular shape.
  • a direct-view image obtained by imaging an object in the direct-view direction that is the tip direction of the probe is disposed in a circular area, and the subject in the side-view direction that is the side of the probe is A composite image is generated in which a side view image obtained by imaging is arranged in a fan shape along the outer periphery of the circular shape.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • an image obtained by the direct-view camera and the side-view camera can be presented in an easy-to-understand manner.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an endoscope system according to the present disclosure. It is a figure which shows the front-end
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an endoscope system according to the present disclosure.
  • the endoscope system 1 of FIG. 1 includes an endoscope probe 11, an image processing device 12, and a display 13.
  • the endoscope system 1 is used in an endoscopic surgery in which a portion (operative portion) in the body to be operated on is imaged as a portion to be observed and displayed on the display 13 and the portion to be observed is treated while looking at the display 13 Be
  • the endoscope probe 11 is inserted into the patient's body, emits light to the operation site, captures an image of the operation site, and supplies the image to the image processing apparatus 12.
  • the image processing device 12 processes (image-processes) an image captured by the endoscope probe 11 so as to be easily viewed by the operator.
  • the display 13 displays the processed image supplied from the image processing device 12 and presents it to the operator.
  • the endoscope probe 11 includes a direct-view camera 21, side-view cameras 22A and 22B, a zoom drive unit 23, and an illumination unit 24.
  • the image processing apparatus 12 includes a direct-view camera data acquisition unit 31, side-view camera data acquisition units 32A and 32B, an image combining unit 33, a display control unit 34, an operation unit 35, and a setting unit 36.
  • the direct-view camera 21 captures an object in the direct-view direction, which is the tip direction of the endoscope probe 11, and generates an image obtained as a result.
  • the side-viewing cameras 22A and 22B capture an object in the side-viewing direction that is the side of the endoscope probe 11, and generate an image obtained as a result.
  • the direct-view camera 21 and the side-view cameras 22A and 22B are configured by, for example, an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • FIG. 2 is a view showing a distal end portion of the endoscope probe 11 provided with the direct-view camera 21 and the side-view cameras 22A and 22B.
  • the direct-view camera 21 is configured by a stereo camera of a first camera 21A and a second camera 21B, and the endoscope probe 11 is configured so that the direct-viewing direction of the endoscope probe 11 is an imaging direction. It is attached to the tip of 11.
  • the side-viewing cameras 22A and 22B are symmetrical with respect to the axial center of the endoscope probe 11 so that the imaging range becomes uniform on the cylindrical side surface within a predetermined distance from the tip of the endoscope probe 11. It is attached in the proper position.
  • the direct-view camera 21 captures an image of the operative site
  • the side-viewing cameras 22A and 22B capture the peripheral area of the operative site as auxiliary information. Therefore, for example, a high resolution image sensor having so-called 4K camera, having a pixel count of about 4000 ⁇ about 2000 in the horizontal direction ⁇ vertical direction, is adopted as the direct view camera 21, and the camera 22A for side view
  • a low-resolution image sensor having a pixel count of about 2000 ⁇ about 1000 in the horizontal and vertical directions is adopted for each of Image sensors with different resolutions can be used.
  • the direct-view camera 21 and the side-view cameras 22A and 22B are Chip-On-Tip types in which the image sensor is attached to the tip of the endoscope probe 11.
  • An image sensor is disposed at a CCU (camera control unit) or the like at the root of the endoscope probe 11, and the light taken in at the tip of the endoscope probe 11 is transmitted to the image sensor by an optical fiber or the like. It can also be done.
  • the zoom drive unit 23 drives the optical lens of the imaging optical system based on the control signal supplied from the operation unit 35 of the image processing apparatus 12. Thereby, the focus and zoom magnification of the direct-view camera 21 displayed on the display 13 are changed.
  • the zoom magnifications of the side-viewing cameras 22A and 22B are fixed, but the zoom magnifications of the side-viewing cameras 22A and 22B may be changeable similarly to the direct-viewing camera 21.
  • the illumination unit 24 includes, for example, a halogen lamp, a xenon lamp, an LED (Light Emitting Diode) light source, and the like, and emits light for illuminating the surgical site.
  • the illumination unit 24 may be configured to arrange an LED light source in the vicinity of the direct-view camera 21 and the side-view cameras 22A and 22B in FIG. 2, or the direct-view camera 21 and the side-view camera 22A. It is also possible to provide only the light emitting part in the vicinity of each of the light source unit 22 and the light emitting element 22B and transmit the light from the light source unit such as a halogen lamp or xenon lamp to the light emitting part by an optical fiber etc.
  • the on / off and the light amount of the illumination of the illumination unit 24 are controlled by a control signal from the operation unit 35.
  • the direct-view camera data acquisition unit 31 acquires imaging data obtained by the direct-view camera 21 and supplies the imaging data to the image combining unit 33.
  • the side-viewing camera data acquisition unit 32A acquires the imaging data obtained by the side-viewing camera 22A, and supplies the imaging data to the image combining unit 33.
  • the side-view camera data acquisition unit 32 ⁇ / b> B acquires imaging data acquired by the side-view camera 22 ⁇ / b> B and supplies the imaging data to the image combining unit 33.
  • the image combining unit 33 generates a combined image in which captured images obtained by the direct-view camera 21, the side-view camera 22A, and the side-view camera 22B are arranged at predetermined positions, and supplies the combined image to the display control unit 34. Do. Parameters are supplied from the setting unit 36 to the image combining unit 33, and the image combining unit 33 generates a combined image according to the parameters. Details of the combined image generated by the image combining unit 33 will be described later.
  • the display control unit 34 displays the synthesized image on the display 13 by converting the image data of the synthesized image supplied from the image synthesizing unit 33 into an image signal corresponding to the input format of the display 13 and outputting the image signal to the display 13.
  • the display 13 is configured by, for example, an LCD (Liquid Crystal Display) or the like, and enables 2D display and 3D display corresponding to a stereo camera.
  • the display 13 can be a display capable of only 2D display.
  • the display 13 may be a head mounted display or the like.
  • the operation unit 35 receives the operation of the operator (user) on the endoscope probe 11 such as the zoom magnification and the illumination light amount, and outputs a control signal to the zoom drive unit 23 and the illumination unit 24 according to the received operation content. .
  • the operation unit 35 also receives input of parameters for generating a composite image, and outputs the input parameters to the setting unit 36.
  • the setting unit 36 acquires various parameters supplied from the operation unit 35 and stores the parameters in an internal memory. Further, the setting unit 36 supplies various parameters stored in the memory to the image combining unit 33 as needed.
  • the endoscope system 1 is configured as described above.
  • FIG. 3 shows an example of a combined image generated by the image combining unit 33 and displayed on the display 13.
  • the composite image 50 includes a first circle C1 and a second circle C2 having a larger diameter.
  • the direct-view image display area 51 is provided inside the first circle C1.
  • the direct-view image display area 51 is an area in which an image captured by the direct-view camera 21 is displayed.
  • an image captured by the direct-view camera 21 is also referred to as a direct-view image.
  • a side-view A camera display area 52A and a side-view B camera display area 52B are provided in an area between the first circle C1 and the second circle C2.
  • the side view A camera display area 52A is an area where an image taken by the side view camera 22A is displayed
  • the side view B camera display area 52B is an image where the image taken by the side view camera 22B is displayed It is an area.
  • Each of the side view A camera display area 52A and the side view B camera display area 52B has a fan shape.
  • the side view A camera display area 52A and the side view B camera display area 52B are disposed at symmetrical positions corresponding to the positions of the side view cameras 22A and 22B.
  • an image captured by the side-viewing camera 22A or 22B is also referred to as a side-viewing image.
  • the side-viewing cameras 22A and 22B are also simply referred to as side-viewing cameras 22.
  • Scan conversion processing used in an algorithm of B-mode display using a convex type probe of an ultrasonic diagnostic apparatus for processing of converting a rectangular side view image obtained by the side view camera 22 into a fan shape Can be adopted.
  • the scan conversion process is a process of converting image data represented by a signal line of scanning lines into image data represented by an orthogonal coordinate system. Since the data becomes sparser toward the outside of the fan shape, it is appropriately interpolated using linear interpolation or the like.
  • the non-display area 53 other than the side view A camera display area 52A and the side view B camera display area 52B is captured by the side view camera 22. It is an area where an image is not displayed.
  • the non-display area 53 is a display that allows the operator to clearly recognize that there is no display of an image, for example, a gray display or the like.
  • parameter information such as a zoom factor is displayed.
  • the image processing apparatus 12 arranges the direct-view image captured by the direct-view camera 21 in the circular area of the inner first circle C1, and the side captured by the side-view cameras 22A and 22B.
  • a composite image in which the visual image is arranged in a fan shape along the outer periphery of the first circle C1 is generated and displayed on the display 13.
  • the display 13 for surgery tends to be high definition and large screen.
  • the display area of the display 13 can be effectively used by presenting the side view image as additional information on the circumference of the direct view image as described above.
  • FIG. 4A is a perspective view of the tip portion of the endoscope probe 11 as viewed obliquely from below
  • FIG. 4B is a view of the tip portion of the endoscope probe 11 as viewed from directly below.
  • a predetermined position (direction) of the direct-view camera 21 is a reference position (reference direction)
  • the position (direction) at which the side-view camera 22A is disposed is the direct-view camera 21 as shown in A of FIG.
  • view angle ⁇ of the side-view camera 22A shown in B of FIG. 4 is also uniquely determined by the lens design.
  • the side-view A camera display area 52A in the composite image is between the first circle C1 and the second circle C2, as shown in FIG. Is determined at a predetermined position in the area of That is, the center position of the side view A camera display area 52A in the arc direction is a position at an angle ⁇ with respect to the reference position of the direct view image, and the sectorial angle of the side view A camera display area 52A is ⁇ .
  • the side-view A camera display area 52A is disposed in the area between the first circle C1 and the second circle C2. The same applies to the positional relationship between the side-viewing B camera display area 52B and the direct-view image display area 51.
  • a notch that indicates the reference position (reference direction) of the direct-view camera 21 is provided at the tip portion of the endoscope probe 11 so that the notch appears in the direct-view image, and the notch in the direct-view image
  • the angle .alpha is provided at the tip portion of the endoscope probe 11 so that the notch appears in the direct-view image, and the notch in the direct-view image
  • the space in the body into which the endoscope probe 11 is inserted is regarded as the space inside the cylindrical shape 61 as shown in A of FIG.
  • the letter “F” is described on the bottom of the cylindrical shape 61, and the letter “A” and the letter “B” face the inner side surface (inner wall) of the cylindrical shape 61. Is described in.
  • the image combining unit 33 of the image processing device 12 generates a combined image 50 as shown in C of FIG. That is, the character “F” is displayed in the direct-view image display area 51 of the composite image 50, the character “A” is displayed in the side-view A camera display area 52A, and the character “B” is displayed in the side-view B camera display area 52B. Is projected.
  • the display of the composite image 50 on the display 13 is also rotated in accordance with the movement of the endoscope probe 11. You can do so.
  • the display of the composite image 50 may be fixed.
  • the 3D image is a 2D image for performing 3D display, and is configured of a set of an image for the left eye and an image for the right eye.
  • Parallax is set to the image for the left eye and the image for the right eye, and by displaying the image for the left eye and the image for the right eye alternately, a stereoscopic effect (a feeling of depth) for the person who saw the displayed image Can be perceived.
  • the image combining unit 33 also applies parallax to the side-view A camera display area 52A and the side-view B camera display area 52B from the image obtained by the corresponding single-eye side-view camera 22.
  • An image and an image for the right eye may be generated to display a 3D image.
  • the positions (coordinate points) in the side view A camera display area 52A and the side view B camera display area 52B are farther from the direct view image display area 51, in other words, the sense of depth
  • the parallax image can be generated so as to feel less and in front.
  • a display method in which rectangular direct view images and side view images are arranged side by side a display method in which a monitor on which direct view images are displayed and a monitor on which side view images are displayed are displayed side by side It is necessary to move the viewpoint greatly to see the image.
  • the display method of the present disclosure it is not necessary to move the viewpoint, and the positional relationship between the direct-view image and the side-view image can also be determined instantaneously.
  • the operator can easily and instantaneously determine the positional relationship between the direct-view image and the side-view image, and not only the operative part in the direct-view direction but also the operation field around it. Can be easily grasped. Therefore, the images obtained by the direct-view camera 21 and the side-view camera 22 can be presented in an easy-to-understand manner.
  • the operative field in the periphery other than the direct viewing direction can be easily grasped, it is possible to prevent, for example, the endoscope probe 11 or forceps from coming into contact with an organ in an area other than the direct viewing direction. .
  • the diameter P1 of the first circle C1 of the composite image 50 and the diameter P2 of the second circle C2 as shown in FIG. 8 can be set.
  • the height of the fan-shaped side view image is determined by the relationship between the diameter P1 and the diameter P2.
  • the diameter P1 of the first circle C1 and the diameter P2 of the second circle C2 set here may be fixed values, but as default values in the initial state, for example, as shown in FIG.
  • the image combining unit 33 may perform control to change according to the zoom operation on the direct-view image.
  • FIG. 9 shows an example of control for changing the diameter P1 of the first circle C1 of the composite image according to the zoom operation.
  • the image combining unit 33 sets the diameter of the first circle C1 on which the direct-view image is displayed. , Control to change to a value P1 'larger than the default value P1.
  • the position on the display 13 where the composite image 50 is displayed can also be set by parameters such as the right side, the center, and the left side.
  • the display mode in which the side view A camera display area 52A for displaying the side view image and the side view B camera display area 52B protrude from the display area of the display 13 As shown in 14, setting a display mode or the like for adjusting the height of the side-view image so that the side-view A camera display area 52A and the side-view B camera display area 52B do not protrude from the display area of the display 13 it can.
  • step S1 the image processing device 12 acquires a direct view image and a side view image.
  • the direct-view camera data acquisition unit 31 acquires the direct-view image supplied from the direct-view camera 21 and supplies the direct-view image to the image combining unit 33.
  • the side-view camera data acquisition unit 32A acquires the side-view image supplied from the side-view camera 22A
  • the side-view camera data acquisition unit 32B receives the side-view image supplied from the side-view camera 22B. Are respectively supplied to the image combining unit 33.
  • step S2 the image combining unit 33 arranges the direct-view image inside the first circle C1 using the acquired direct-view image and the side-view image, and the side on the outer circumference of the first circle C1.
  • a composite image in which the side view images captured by the viewing camera 22A and the side viewing camera 22B are arranged in a fan shape is generated and supplied to the display control unit 34.
  • step S 3 the display control unit 34 converts the image data of the combined image supplied from the image combining unit 33 into an image signal corresponding to the input format of the display 13 and outputs the image signal to the display 13.
  • the display 13 is displayed.
  • steps S1 to S3 described above are continuously performed while the direct-view image and the side-view image are supplied from the endoscope probe 11.
  • the operator can simultaneously observe not only the operative part in the direct view direction but also a wide range including the side by viewing the composite image displayed by the image composition display process.
  • FIG. 16 shows an example in which four side-viewing cameras 22A to 22D are attached to the side surface of the endoscope probe 11 so as to equally divide the periphery of the side in four directions and to capture an image. .
  • the mounting position of the side-viewing camera 22D is a position not visible in FIG. 16, so the side-viewing camera 22D is not shown in FIG.
  • the side-view A camera display area 52A is provided in the area between the first circle C1 and the second circle C2, as shown in FIG.
  • the side-viewing B camera display area 52B, the side-viewing C camera display area 52C, and the side-viewing D camera display area 52D are arranged in accordance with the imaging direction.
  • the imaging range may overlap in the side-viewing images captured by the four side-viewing cameras 22A to 22D. In the area where the imaging ranges overlap, a plurality of side view images including the overlapping ranges are connected seamlessly using any stitching technique.
  • the hatched areas indicate areas where imaging ranges overlap between adjacent side-view images.
  • a side view image of an area where such imaging ranges overlap for example, two side view images are combined at a synthesis ratio ⁇ to generate a side view image of an overlapping portion, and adjacent side view images are generated.
  • the priorities of the side-viewing images captured by the four side-viewing cameras 22A to 22D are set in advance, and any of the overlapping side-viewing images is set according to the set priorities. Adjacent side-view images may be connected by adopting one of them.
  • ⁇ Modification 2> In the embodiment described above, an example has been described in which the side-viewing cameras 22 are equally disposed on the side surface of the endoscope probe 11 so that the entire periphery of the side of the endoscope probe 11 is imaged as much as possible.
  • the side-viewing cameras 22A and 22B are disposed adjacent to only certain sides of the side periphery of the endoscope probe 11, and the side-viewing camera 22A is And 22B may function as a stereo camera.
  • the two side-viewing cameras 22A and 22B are disposed along the longitudinal direction of the endoscope probe 11, the distance between the side-viewing cameras 22A and 22B can be secured to a certain extent. Therefore, distance information by stereo vision can be accurately obtained.
  • the endoscope probe 11 includes one side-viewing camera 22 together with a rotation mechanism, and the side-viewing camera 22 rotates 360 degrees to make the side of the endoscope probe 11.
  • a side view image obtained by imaging the entire surroundings may be acquired and displayed.
  • the endoscope probe 11 is mounted with an angle sensor capable of detecting the rotation angle of the camera 22 for side vision, and the angle sensor rotates the camera 22 for side vision at the moment when the side vision image is acquired. Detect corners And based on the angle information on the moment the side view image was acquired, the display position of the side view image in a synthetic image can be determined.
  • the above-described series of processes may be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 20 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 101 a read only memory (ROM) 102, and a random access memory (RAM) 103 are mutually connected by a bus 104.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • an input / output interface 105 is connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 109 includes a network interface and the like.
  • the drive 110 drives a removable recording medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the program to execute the above-described image.
  • a series of processing including composite display processing is performed.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by mounting the removable recording medium 111 in the drive 110.
  • the program can be received by the communication unit 109 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and can be installed in the storage unit 108.
  • the program can be installed in advance in the ROM 102 or the storage unit 108.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also have the following configurations.
  • a direct-view image obtained by imaging a subject in the direct-view direction which is the tip direction of the probe is disposed in a circular area, and a side-view obtained by imaging the subject in the side-view direction which is the side of the probe
  • An image processing apparatus comprising: an image combining unit configured to generate a composite image in which an image is arranged in a fan-like shape along the outer periphery of the circular shape.
  • the image processing apparatus wherein the plurality of side-view images are disposed at the position of the outer periphery of the circular shape corresponding to the position of the plurality of imaging elements of the probe.
  • the image processing apparatus according to (2) or (3), wherein the plurality of side-view images including the area where the imaging ranges overlap are connected by stitching.
  • the image processing apparatus according to any one of (1) to (4), in which continuity of video is secured at the boundary between the direct-view image and the side-view image.
  • the image combining unit performs control of changing the diameter of the circular shape in which the direct-view image is arranged according to the zoom operation of the direct-view image.
  • the image processing device according to any one of (1) to (5) .
  • the image processing apparatus according to any one of (1) to (6), wherein the direct-view image is a 3D image.
  • the image processing apparatus according to any one of (1) to (9), wherein the direct-view image is an image of higher resolution than the side-view image.
  • the image processing apparatus according to any one of (1) to (10), further including: a setting unit configured to set a display method of the composite image.
  • the image processing device A direct-view image obtained by imaging a subject in the direct-view direction which is the tip direction of the probe is disposed in a circular area, and a side-view obtained by imaging the subject in the side-view direction which is the side of the probe An image processing method for generating a composite image in which an image is arranged in a fan shape along the outer periphery of the circular shape.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　本開示は、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。 画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、プローブの側方である側視方向の被写体を撮像して得られた側視画像を、円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。本開示は、例えば、画像処理装置等に適用できる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。
　内視鏡手術に用いられる内視鏡プローブにおいて、プローブの先端方向である直視方向を撮像する直視用カメラの他に、プローブの側方である側視方向を撮像する側視用カメラを備えたものが提案されている（例えば、特許文献１,２参照）。
特開２０１２－１２０６２１号公報 国際公開第２０１２／７７１１７号
　側視用カメラを備えることにより、直視方向の術野以外の視野を拡大させることができるが、直視用カメラと側視用カメラで得られた画像を術者にとって分かり易く提示することが求められる。
　本開示は、このような状況に鑑みてなされたものであり、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにするものである。
　本開示の一側面の画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。
　本開示の一側面の画像処理方法は、画像処理装置が、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する。
　本開示の一側面においては、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像が円形状の領域内に配置され、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像が、前記円形状の外周に沿わせて扇形状に配置された合成画像が生成される。
　画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本開示の一側面によれば、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。 内視鏡プローブの先端部分を示す図である。 ディスプレイに表示された合成画像の例を示す図である。 直視画像と側視画像の位置関係について説明する図である。 直視画像と側視画像の位置関係について説明する図である。 合成画像の表示を説明する図である。 合成画像の表示を説明する図である。 設定可能な合成画像のパラメータを説明する図である。 ズーム操作に応じたパラメータ制御を説明する図である。 設定可能な合成画像のパラメータを説明する図である。 設定可能な合成画像のパラメータを説明する図である。 設定可能な合成画像のパラメータを説明する図である。 設定可能な合成画像のパラメータを説明する図である。 設定可能な合成画像のパラメータを説明する図である。 画像合成表示処理を説明するフローチャートである。 第１の変形例を説明する図である。 第１の変形例を説明する図である。 第２の変形例を説明する図である。 第３の変形例を説明する図である。 本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
＜内視鏡システムの構成例＞
　図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。
　図１の内視鏡システム１は、内視鏡プローブ１１、画像処理装置１２、及びディスプレイ１３により構成される。
　内視鏡システム１は、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１３に映し出し、ディスプレイ１３を見ながら被観察部に処置を施す内視鏡下手術で用いられる。
　内視鏡プローブ１１は、患者の体内に挿入され、術部に光を照射して術部の画像を撮像し、画像処理装置１２に供給する。画像処理装置１２は、内視鏡プローブ１１で撮像された画像を、術者に見やすいように処理（画像処理）する。ディスプレイ１３は、画像処理装置１２から供給される処理後の画像を表示し、術者に提示する。
　内視鏡プローブ１１は、直視用カメラ２１、側視用カメラ２２A及び２２B、ズーム駆動部２３、並びに、照明部２４を備える。
　画像処理装置１２は、直視用カメラデータ取得部３１、側視用カメラデータ取得部３２A及び３２B、画像合成部３３、表示制御部３４、操作部３５、並びに、設定部３６を備える。
　直視用カメラ２１は、内視鏡プローブ１１の先端方向である直視方向の被写体を撮像し、その結果得られる画像を生成する。側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の側方である側視方向の被写体を撮像し、その結果得られる画像を生成する。直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサで構成される。
　図２は、直視用カメラ２１並びに側視用カメラ２２A及び２２Bが設けられている内視鏡プローブ１１の先端部分を示す図である。
　図２に示されるように、直視用カメラ２１は、第１カメラ２１Aと第２カメラ２１Bのステレオカメラで構成され、内視鏡プローブ１１の直視方向が撮像方向となるように、内視鏡プローブ１１の先端に取り付けられている。
　また、側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の先端から所定の距離内の円筒状の側面に、撮像範囲が均等になるように内視鏡プローブ１１の軸中心に対して対称な位置に取り付けられている。
　直視用カメラ２１が術部を撮像するものであるのに対して、側視用カメラ２２A及び２２Bは、補助的な情報として、術部周辺部を撮像する。従って、例えば、直視用カメラ２１には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のイメージセンサを採用し、側視用カメラ２２A及び２２Bのそれぞれには、水平方向×垂直方向の画素数が約２０００×約１０００の画素数を有する低解像度のイメージセンサを採用するなど、直視用カメラ２１と側視用カメラ２２A及び２２Bとで解像度の異なるイメージセンサとすることができる。
　なお、本実施の形態では、直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプであることとするが、イメージセンサを内視鏡プローブ１１の根元のCCU（カメラコントロールユニット）等に配置して、そのイメージセンサに、内視鏡プローブ１１の先端部で取り込んだ光を光ファイバ等で伝送する構造とすることもできる。
　図１に戻り、ズーム駆動部２３は、画像処理装置１２の操作部３５から供給される制御信号に基づいて、撮像光学系の光学レンズを駆動する。これにより、ディスプレイ１３に表示される直視用カメラ２１のフォーカス及びズーム倍率が変更される。なお、本実施の形態では、側視用カメラ２２A及び２２Bのズーム倍率は固定とするが、側視用カメラ２２A及び２２Bのズーム倍率も、直視用カメラ２１と同様に変更可能としてもよい。
　照明部２４は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。照明部２４は、例えば、図２の直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍に、LED光源を配置する構成とすることもできるし、直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍には光の出射部のみを設け、ハロゲンランプ、キセノンランプ等の光源ユニットからの光を光ファイバ等で出射部に伝送させ、出力する構造としてもよい。照明部２４の照明のオンオフ及び光量は、操作部３５からの制御信号により制御される。
　直視用カメラデータ取得部３１は、直視用カメラ２１により得られた撮像データを取得し、画像合成部３３に供給する。
　側視用カメラデータ取得部３２Aは、側視用カメラ２２Aにより得られた撮像データを取得し、画像合成部３３に供給する。側視用カメラデータ取得部３２Bは、側視用カメラ２２Bにより得られた撮像データを取得し、画像合成部３３に供給する。
　画像合成部３３は、直視用カメラ２１、側視用カメラ２２A、及び、側視用カメラ２２Bそれぞれにより得られた撮像画像を所定の位置に配置した合成画像を生成し、表示制御部３４に供給する。画像合成部３３には、設定部３６からパラメータが供給され、画像合成部３３は、パラメータに応じて合成画像を生成する。画像合成部３３が生成する合成画像の詳細については後述する。
　表示制御部３４は、画像合成部３３から供給される合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。
　ディスプレイ１３は、例えばLCD(Liquid Crystal Display)などで構成され、２D表示と、ステレオカメラに対応した３D表示を可能とする。勿論、３D表示が不要である場合には、ディスプレイ１３は、２D表示のみが可能なディスプレイとすることができる。また、ディスプレイ１３は、ヘッドマウントディスプレイなどでもよい。
　操作部３５は、ズーム倍率、照明光量などの内視鏡プローブ１１に対する術者（ユーザ）の操作を受け付け、受け付けた操作内容に応じて、ズーム駆動部２３及び照明部２４に制御信号を出力する。
　また、操作部３５は、合成画像を生成するためのパラメータの入力も受け付け、入力されたパラメータを設定部３６に出力する。
　設定部３６は、操作部３５から供給された各種のパラメータを取得し、内部のメモリに保存する。また、設定部３６は、メモリに記憶されている各種のパラメータを、必要に応じて画像合成部３３に供給する。
　内視鏡システム１は、以上のように構成されている。
＜合成画像の説明＞
　図３は、画像合成部３３によって生成されてディスプレイ１３に表示された合成画像の例を示している。
　合成画像５０には、第１の円C1と、それよりも直径の大きい第２の円C2が含まれる。第１の円C1の内側には、直視画像表示領域５１が設けられている。直視画像表示領域５１は、直視用カメラ２１で撮像された画像が表示される領域である。以下、直視用カメラ２１で撮像された画像を直視画像ともいう。
　また、第１の円C1と第２の円C2の間の領域には、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bが設けられている。側視Aカメラ表示領域５２Aは、側視用カメラ２２Aで撮像された画像が表示される領域であり、側視Bカメラ表示領域５２Bは、側視用カメラ２２Bで撮像された画像が表示される領域である。
　側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bのそれぞれは扇形状となっている。また、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bは、側視用カメラ２２A及び２２Bの位置に対応した対称な位置に配置されている。以下では、側視用カメラ２２Aまたは２２Bで撮像された画像を、側視画像ともいう。また、側視用カメラ２２A及び２２Bのそれぞれを区別する必要がない場合には、単に、側視用カメラ２２ともいう。
　側視用カメラ２２で得られた矩形の側視画像を、扇形状に変換する処理には、超音波診断装置のコンベックス型プローブを使ったBモード表示のアルゴリズムに用いられている、スキャンコンバージョン処理を採用することができる。スキャンコンバージョン処理は、走査線の信号列で表される画像データを、直交座標系で表される画像データに変換する処理である。扇形状の外側になるほどデータが疎になるため、線形補間などを用いて適切に補間される。スキャンコンバージョン処理の詳細は、例えば、”http://www.cse.wustl.edu/~jain/cse567-08/ftp/scan/”,”http://ece.gmu.edu/~ssikdar/papers/conference%20papers/Sikdar_SPIE_2001.pdf”,”http://www.ti.com/lit/an/sprab32/sprab32.pdf”などに開示されている。
　第１の円C1と第２の円C2の間の領域のうち、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２B以外の非表示領域５３は、側視用カメラ２２で撮像された画像が表示されない領域である。非表示領域５３は、画像の表示がないことが術者に明確に認識できるような表示、例えば、グレー表示などとされる。
　ディスプレイ１３の表示領域のうちの、合成画像５０の外側の領域５４には、例えば、ズーム倍率等のパラメータ情報が表示される。
　以上のように、画像処理装置１２は、内側の第１の円C1の円形領域内に、直視用カメラ２１で撮像された直視画像を配置し、側視用カメラ２２A及び２２Bで撮像された側視画像を、第１の円C1の外周に沿わせて扇形状に配置した合成画像を生成し、ディスプレイ１３に表示させる。
　近年、手術用のディスプレイ１３は高精細化及び大画面化する傾向にある。このように直視画像の円周上に側視画像も付加情報として提示することで、ディスプレイ１３の表示エリアを有効に活用することができる。
　図４及び図５を参照して、合成画像における直視画像と側視画像の位置関係について説明する。
　図４のAは、内視鏡プローブ１１の先端部分を斜め下方向から見た斜視図であり、図４のBは、内視鏡プローブ１１の先端部分を真下から見た図である。
　直視用カメラ２１の所定の位置（方向）を基準位置（基準方向）とすると、図４のAに示されるように、側視カメラ２２Aが配置されている位置（方向）は、直視用カメラ２１の基準位置に対して所定の角度αで一意に定められる。
　また、図４のBに示される側視用カメラ２２Aの視野角βについても、レンズ設計によって一意に定められる。
　この側視カメラ２２Aの配置角度αと視野角βに基づいて、合成画像における側視Aカメラ表示領域５２Aは、図５に示されるように、第１の円C1と第２の円C2の間の領域内の所定位置に決定される。すなわち、側視Aカメラ表示領域５２Aの円弧方向の中心位置が、直視画像の基準位置に対して角度αの位置となり、側視Aカメラ表示領域５２Aの扇形状の角度がβとなるように、側視Aカメラ表示領域５２Aが、第１の円C1と第２の円C2の間の領域に配置される。直視画像表示領域５１に対する側視Bカメラ表示領域５２Bの位置関係についても同様である。これにより、合成画像において、直視画像と側視画像の映像の連続性が確保された表示となり、術者の術野の視認性が向上する。
　なお、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプではなく、イメージセンサの向きと内視鏡プローブ１１の先端部分の向きの位置関係が変わり得る場合には、例えば、直視用カメラ２１の基準位置（基準方向）を示すような切欠きを内視鏡プローブ１１の先端部分に設け、切欠きが直視画像内に映るようにして、直視画像内の切欠きを画像処理により検出することで、直視用カメラ２１の向きを検出し、検出された向きに基づいて側視カメラ２２Aの角度αを算出し、側視Aカメラ表示領域５２Aの配置を決定することができる。
　次に、図６及び図７を参照して、合成画像の表示について説明する。
　内視鏡プローブ１１が挿入される体内の空間を、図６のAに示されるように、円柱形状６１の内側の空間に見立てる。例えば、図６のBに示されるように、円柱形状６１の底面に文字「F」が記載され、円柱形状６１の内側面（内壁）に文字「A」と文字「B」が、対向する位置に記載されているとする。
　この場合、画像処理装置１２の画像合成部３３によれば、図６のCに示されるような合成画像５０が生成される。すなわち、合成画像５０の直視画像表示領域５１には文字「F」が映し出され、側視Aカメラ表示領域５２Aには文字「A」が映し出され、側視Bカメラ表示領域５２Bには文字「B」が映し出される。
　また、図７に示されるように、内視鏡プローブ１１が術者の操作によって回転された場合には、ディスプレイ１３の合成画像５０の表示も、内視鏡プローブ１１の動きに合わせて回転させるようにすることができる。あるいは、内視鏡プローブ１１の動きに関係なく、合成画像５０の表示は固定としてもよい。
　直視画像表示領域５１には、２眼の直視用カメラ２１で撮像された３D画像が表示される。ここで、３D画像とは、３D表示を行うための２D画像であり、左眼用画像と右眼用画像の組で構成される。左眼用画像と右眼用画像には視差が設定されており、左眼用画像と右眼用画像を交互に表示させることにより、表示された映像を見た人に立体感（奥行き感）を知覚させることができる。
　一方、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bには、対応する単眼の側視用カメラ２２（２２A及び２２B）により得られた平面的な画像（２D画像）が表示される。
　あるいはまた、画像合成部３３は、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bについても、対応する単眼の側視用カメラ２２で得られた画像から、視差を設けた左眼用画像と右眼用画像を生成し、３D画像を表示させるようにしてもよい。この場合、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２B内の位置（座標点）が、直視画像表示領域５１から遠くなるほど、換言すれば、扇形状の外側になるほど、奥行き感が少なく、より手前に感じるように視差画像を生成することができる。
　以上のように合成画像を生成してディスプレイ１３に表示させることにより、術部の上部から、術部を覗き込んだときに見えるような表示が可能となる。
　例えば、矩形状の直視画像及び側視画像を並べて配置する表示方法や、直視画像を表示したモニタと、側視画像を表示したモニタを並べて表示する表示方法などの場合は、術者が側視画像を見るために視点を大きく動かす必要がある。これに対して、本開示の表示方法によれば、視点を動かす必要がなく、直視画像と側視画像との位置関係も瞬時に判断することができる。
　すなわち、本開示の表示方法によれば、術者は、直視画像と側視画像との位置関係を容易かつ瞬時に判断することができ、直視方向の術部だけでなく、その周辺の術野も容易に把握することができる。したがって、直視用カメラ２１と側視用カメラ２２で得られた画像を分かり易く提示することができる。
　また、直視方向以外の周辺の術野も容易に把握することができるので、直視方向以外のエリアで、例えば、内視鏡プローブ１１や鉗子が臓器に接触するようなことも防止することができる。
＜パラメータの例＞
　図８乃至図１４を参照して、設定部３６で設定可能な合成画像のパラメータについて説明する。
　設定部３６では、例えば、図８に示されるような、合成画像５０の第１の円C1の直径P１と、第２の円C2の直径P2を設定することができる。直径P１と直径P2の関係により、扇形状の側視画像の高さが決定される。
　ここで設定される第１の円C1の直径P１と、第２の円C2の直径P2は、固定的な値としてもよいが、初期状態のデフォルトの値として、例えば、図９に示されるように、画像合成部３３が、直視画像に対するズーム操作に応じて変更する制御を行ってもよい。
　すなわち、図９は、ズーム操作に応じて、合成画像の第１の円C1の直径P１を変更する制御の例を示している。
　直視画像のズームイン操作がなされた場合、ユーザが直視画像を注視することが重量な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも大きい値P1’に変更する制御を行う。
　一方、直視画像のズームアウト操作がなされた場合、ユーザが直視画像の周囲を広く確認することが重要な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも小さい値P1”に変更する制御を行う。
　また、設定部３６では、図１０に示されるように、合成画像５０が表示されるディスプレイ１３上の位置も、例えば、右側、中央、左側のように、パラメータで設定することができる。
　また、図１１に示されるように、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bの扇形状の横幅Wも設定することができる。
　図１２に示されるように、直視画像表示領域５１が含まれる第１の円C1の直径が、直視用カメラ２１のズーム倍率に応じて変化する表示モード、第１の円C1の直径がズーム倍率に応じて変化した場合に、図１３に示されるように、側視画像を表示する側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出す表示モードや、図１４に示されるように、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出ないように側視画像の高さを調整する表示モードなどを設定することができる。
　以上説明した各種の表示設定が、術者の嗜好に応じて適切に選択される。なお、使用者は、全てのパラメータを必ず設定する必要はなく、未設定の場合には、画像合成部３３が自動で調整する。
＜画像合成処理の処理フロー＞
　図１５のフローチャートを参照して、画像処理装置１２による画像合成表示処理について説明する。
　初めに、ステップＳ１において、画像処理装置１２は、直視画像と側視画像を取得する。具体的には、直視用カメラデータ取得部３１が、直視用カメラ２１から供給された直視画像を取得して画像合成部３３に供給する。また、側視用カメラデータ取得部３２Aが、側視用カメラ２２Aから供給された側視画像を取得し、側視用カメラデータ取得部３２Bが、側視用カメラ２２Bから供給された側視画像を取得し、それぞれ、画像合成部３３に供給する。
　ステップＳ２において、画像合成部３３は、取得した直視画像と側視画像を用いて、第１の円C1の内側に直視画像を配置し、第１の円C1の外側の円周上に、側視用カメラ２２Aと側視用カメラ２２Bで撮像された側視画像を扇形状に配置した合成画像を生成し、表示制御部３４に供給する。
　ステップＳ３において、表示制御部３４は、画像合成部３３から供給された合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。
　上述したステップＳ１乃至Ｓ３の処理は、直視画像と側視画像が内視鏡プローブ１１から供給されている間、継続的に実行される。
　術者は、画像合成表示処理により表示された合成画像を見ることにより、直視方向の術部だけでなく、側方を含む広域な範囲を同時に観察することができる。
＜変形例１＞
　上述した例では、円筒状の内視鏡プローブ１１の側面に取り付けられている側視用カメラ２２の個数が２個である例について説明したが、側視用カメラ２２の個数は、１個でもよいし、３個以上でもよい。
　図１６は、４個の側視用カメラ２２A乃至２２Dが、側方の周囲を均等に４方向に分割して撮像するように内視鏡プローブ１１の側面に取り付けられている例を示している。なお、側視用カメラ２２Dの取り付け位置は図１６では見えない位置となるため、図１６では、側視用カメラ２２Dは示されていない。
　４個の側視用カメラ２２A乃至２２Dが設けられている場合、第１の円C1と第２の円C2の間の領域には、図１７に示されるように、側視Aカメラ表示領域５２A、側視Bカメラ表示領域５２B、側視Cカメラ表示領域５２C、及び、側視Dカメラ表示領域５２Dが、撮像方向に応じて配置される。
　このように、本開示の表示方法によれば、側視用カメラ２２の位置や個数の変更に容易に対応することができる。
　４個の側視用カメラ２２A乃至２２Dそれぞれで撮像された側視画像において、撮像範囲が重複している場合もある。撮像範囲が重複している領域は、任意のスティッチング技術を用いて、重複範囲を含む複数の側視画像がシームレスに接続される。
　図１７では、斜線を付した領域が、隣り合う側視画像どうしで撮像範囲が重複している領域を示している。このような撮像範囲が重複している領域の側視画像としては、例えば、２枚の側視画像を合成比αで合成して重複部分の側視画像を生成し、隣り合う側視画像どうしを接続することができる。また例えば、４個の側視用カメラ２２A乃至２２Dそれぞれで撮像される側視画像の優先度を予め設定しておいて、その設定された優先度に応じて、重複する側視画像のいずれか一方を採用することで隣り合う側視画像どうしを接続するようにしてもよい。
＜変形例２＞
　上述した実施の形態では、内視鏡プローブ１１の側方の周囲全体が出来るだけ撮像されるように、内視鏡プローブ１１の側面に側視用カメラ２２が均等配置される例について説明した。
　しかし、図１８に示されるように、側視用カメラ２２A及び２２Bを、内視鏡プローブ１１の側方の周囲のうち、ある一定の側方のみに隣接して配置させ、側視用カメラ２２A及び２２Bがステレオカメラとして機能する配置とすることもできる。この場合、２個の側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の長手方向に沿って配置されるため、側視用カメラ２２A及び２２B間の距離をある程度長めに確保することができるので、ステレオ視による距離情報を正確に得ることができる。
＜変形例３＞
　図１９に示されるように、内視鏡プローブ１１は１個の側視用カメラ２２を回転機構とともに備え、側視用カメラ２２が３６０度回転することにより、内視鏡プローブ１１の側方の周囲全体を撮像した側視画像を取得して表示してもよい。この場合、内視鏡プローブ１１には、側視用カメラ２２の回転角を検出できる角度センサを搭載しておき、角度センサが、側視画像が取得された瞬間の側視用カメラ２２の回転角を検出する。そして、側視画像が取得された瞬間の角度情報に基づいて、合成画像における側視画像の表示位置を決定することができる。
＜コンピュータのハードウエア構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した画像合成表示処理を含む一連の処理が行われる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の機能の全てまたは一部を適宜組み合わせた形態を採用することができる。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示は以下のような構成も取ることができる。
（１）
　プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
　画像処理装置。
（２）
　前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
　前記（１）に記載の画像処理装置。
（３）
　複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
　前記（２）に記載の画像処理装置。
（４）
　撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
　前記（２）または（３）に記載の画像処理装置。
（５）
　前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記画像合成部は、前記直視画像のズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記直視画像は、３D画像である
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記側視画像は、３D画像である
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
　前記（８）に記載の画像処理装置。
（１０）
　前記直視画像は、前記側視画像より高解像度の画像である
　前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
　前記合成画像の表示方法を設定する設定部をさらに備える
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記設定部は、扇形状の前記側視画像の横幅を設定する
　前記（１１）に記載の画像処理装置。
（１３）
　前記設定部は、前記円形状の径を設定する
　前記（１１）または（１２）に記載の画像処理装置。
（１４）
　前記設定部は、扇形状の前記側視画像の高さを設定する
　前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
　前記設定部は、画面内の前記合成画像の表示位置を設定する
　前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
　画像処理装置が、
　プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
　画像処理方法。
　１１　内視鏡プローブ，　１２　画像処理装置，　１３　ディスプレイ，　３３　画像合成部，　３４　表示制御部，　３５　操作部，　３６　設定部，　１０１　CPU，　１０２　ROM，　１０３　RAM，　１０６　入力部，　１０７　出力部，　１０８　記憶部，　１０９　通信部，　１１０　ドライブ

Claims (16)

  1. 　プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
    　画像処理装置。
  2. 　前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
    　請求項１に記載の画像処理装置。
  3. 　複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
    　請求項２に記載の画像処理装置。
  4. 　撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
    　請求項２に記載の画像処理装置。
  5. 　前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
    　請求項１に記載の画像処理装置。
  6. 　前記画像合成部は、前記直視画像に対するズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
    　請求項１に記載の画像処理装置。
  7. 　前記直視画像は、３D画像である
    　請求項１に記載の画像処理装置。
  8. 　前記側視画像は、３D画像である
    　請求項１に記載の画像処理装置。
  9. 　前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
    　請求項８に記載の画像処理装置。
  10. 　前記直視画像は、前記側視画像より高解像度の画像である
    　請求項１に記載の画像処理装置。
  11. 　前記合成画像の表示方法を設定する設定部をさらに備える
    　請求項１に記載の画像処理装置。
  12. 　前記設定部は、扇形状の前記側視画像の横幅を設定する
    　請求項１１に記載の画像処理装置。
  13. 　前記設定部は、前記円形状の径を設定する
    　請求項１１に記載の画像処理装置。
  14. 　前記設定部は、扇形状の前記側視画像の高さを設定する
    　請求項１１に記載の画像処理装置。
  15. 　前記設定部は、画面内の前記合成画像の表示位置を設定する
    　請求項１１に記載の画像処理装置。
  16. 　画像処理装置が、
    　プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
    　画像処理方法。
PCT/JP2015/075161 2014-09-18 2015-09-04 画像処理装置および画像処理方法 WO2016043063A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/510,124 US10701339B2 (en) 2014-09-18 2015-09-04 Image processing device and image processing method
JP2016548833A JPWO2016043063A1 (ja) 2014-09-18 2015-09-04 画像処理装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014190164 2014-09-18
JP2014-190164 2014-09-18

Publications (1)

Publication Number Publication Date
WO2016043063A1 true WO2016043063A1 (ja) 2016-03-24

Family

ID=55533103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075161 WO2016043063A1 (ja) 2014-09-18 2015-09-04 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US10701339B2 (ja)
JP (1) JPWO2016043063A1 (ja)
WO (1) WO2016043063A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019530508A (ja) * 2016-09-29 2019-10-24 ２７０ サージカル リミテッド 剛性医療手術用照明装置
WO2020004259A1 (ja) * 2018-06-29 2020-01-02 富士フイルム株式会社 内視鏡画像表示システムおよび内視鏡画像表示装置
JP2020144166A (ja) * 2019-03-04 2020-09-10 株式会社タムロン 観察撮像装置
JP2021045339A (ja) * 2019-09-18 2021-03-25 Hoya株式会社 内視鏡、内視鏡用プロセッサ及び内視鏡システム
WO2022070782A1 (ja) * 2020-10-02 2022-04-07 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
US10454897B1 (en) 2016-01-21 2019-10-22 Amazon Technologies, Inc. Proxy captive portal traffic for input-limited devices
US10292570B2 (en) * 2016-03-14 2019-05-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
WO2019051019A1 (en) * 2017-09-08 2019-03-14 Covidien Lp FUNCTIONAL IMAGING OF OPERATIVE FIELD WITH AN AUXILIARY CAMERA FOLLOWED
US11310481B2 (en) * 2017-10-26 2022-04-19 Sony Corporation Imaging device, system, method and program for converting a first image into a plurality of second images
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
EP3737276A4 (en) * 2018-01-10 2021-10-20 ChemImage Corporation MODULATION OF TIME-CORRELATED SOURCES FOR ENDOSCOPY
US11224330B2 (en) * 2018-01-28 2022-01-18 Surgical Ltd 270. Medical imaging device with camera magnification management system
EP3686610A1 (en) 2019-01-24 2020-07-29 Rohde & Schwarz GmbH & Co. KG Probe, measuring system and method for applying a probe
US20210113765A1 (en) * 2019-10-17 2021-04-22 National Guard Health Affairs Smart device and system for treatment of gastric reflux
US20240127931A1 (en) * 2020-02-21 2024-04-18 Raytrx, Llc Surgery visualization theatre

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279539A (ja) * 2009-06-04 2010-12-16 Fujifilm Corp 診断支援装置および方法並びにプログラム。
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
WO2014088076A1 (ja) * 2012-12-05 2014-06-12 オリンパスメディカルシステムズ株式会社 内視鏡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH06269403A (ja) * 1993-03-19 1994-09-27 Olympus Optical Co Ltd 電子式内視鏡装置
JP2001078960A (ja) * 1999-09-14 2001-03-27 Olympus Optical Co Ltd 内視鏡装置
US20050197533A1 (en) * 2000-03-16 2005-09-08 Medivision, Inc. Endoscope and camera mount
JP2005261557A (ja) * 2004-03-17 2005-09-29 Olympus Corp 視野方向可変型内視鏡および内視鏡システム
JP2009268657A (ja) * 2008-05-07 2009-11-19 I Systems:Kk 立体内視鏡
CN102469930B (zh) * 2009-11-06 2014-09-10 奥林巴斯医疗株式会社 内窥镜系统
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックＩｐマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
KR102043439B1 (ko) * 2012-11-21 2019-11-12 삼성전자주식회사 내시경 장치
WO2015191784A1 (en) * 2014-06-10 2015-12-17 Nitesh Ratnakar Endoscope with multiple views and novel configurations adapted thereto

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279539A (ja) * 2009-06-04 2010-12-16 Fujifilm Corp 診断支援装置および方法並びにプログラム。
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
WO2014088076A1 (ja) * 2012-12-05 2014-06-12 オリンパスメディカルシステムズ株式会社 内視鏡装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019530508A (ja) * 2016-09-29 2019-10-24 ２７０ サージカル リミテッド 剛性医療手術用照明装置
EP3518725A4 (en) * 2016-09-29 2020-05-13 270 Surgical Ltd. RIGID MEDICAL SURGERY LIGHTING DEVICE
WO2020004259A1 (ja) * 2018-06-29 2020-01-02 富士フイルム株式会社 内視鏡画像表示システムおよび内視鏡画像表示装置
JP2020144166A (ja) * 2019-03-04 2020-09-10 株式会社タムロン 観察撮像装置
JP7265376B2 (ja) 2019-03-04 2023-04-26 株式会社タムロン 観察撮像装置
JP2021045339A (ja) * 2019-09-18 2021-03-25 Hoya株式会社 内視鏡、内視鏡用プロセッサ及び内視鏡システム
JP7353886B2 (ja) 2019-09-18 2023-10-02 Hoya株式会社 内視鏡及び内視鏡システム
WO2022070782A1 (ja) * 2020-10-02 2022-04-07 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
JP2022059877A (ja) * 2020-10-02 2022-04-14 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
JP7440392B2 (ja) 2020-10-02 2024-02-28 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム

Also Published As

Publication number Publication date
JPWO2016043063A1 (ja) 2017-07-06
US20170257619A1 (en) 2017-09-07
US10701339B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
WO2016043063A1 (ja) 画像処理装置および画像処理方法
JP6549711B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20190051039A1 (en) Image processing apparatus, image processing method, program, and surgical system
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
WO2018096987A1 (ja) 情報処理装置および方法、並びにプログラム
JP2015228954A (ja) 画像処理装置および画像処理方法
EP3571662B1 (en) Video signal processing apparatus, video signal processing method, and program for dynamic range compression
JP7544034B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6256872B2 (ja) 内視鏡システム
WO2013179855A1 (ja) 立体視内視鏡システム
JPWO2019012857A1 (ja) 撮像装置、画像生成方法
US20120271102A1 (en) Stereoscopic endoscope apparatus
JP2019004978A (ja) 手術システムおよび手術用撮像装置
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
JP7146735B2 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
WO2020065756A1 (ja) 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法
JPWO2018225346A1 (ja) 医療用システム及び制御ユニット
EP3598735A1 (en) Imaging device, video signal processing device, and video signal processing method
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2019146882A (ja) 医療用制御装置、医療用観察装置、および制御方法
JPWO2018163499A1 (ja) 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
WO2020054193A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6064091B2 (ja) 内視鏡システム
US12070185B2 (en) Observation device and method of operating an observation device
JP7552593B2 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15841688

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016548833

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15510124

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15841688

Country of ref document: EP

Kind code of ref document: A1