WO2021024804A1 - 手術撮像システム、信号処理装置、及び、信号処理方法 - Google Patents

手術撮像システム、信号処理装置、及び、信号処理方法 Download PDF

Info

Publication number
WO2021024804A1
WO2021024804A1 PCT/JP2020/028388 JP2020028388W WO2021024804A1 WO 2021024804 A1 WO2021024804 A1 WO 2021024804A1 JP 2020028388 W JP2020028388 W JP 2020028388W WO 2021024804 A1 WO2021024804 A1 WO 2021024804A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
signal
image
unit
image pickup
Prior art date
Application number
PCT/JP2020/028388
Other languages
English (en)
French (fr)
Inventor
勝木　信二
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021537689A priority Critical patent/JP7484922B2/ja
Priority to EP20850257.5A priority patent/EP4013050A4/en
Priority to US17/630,926 priority patent/US20220273161A1/en
Publication of WO2021024804A1 publication Critical patent/WO2021024804A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects

Definitions

  • the present technology relates to a surgical imaging system, a signal processing device, and a signal processing method, and in particular, a surgical imaging system, a signal processing device, and a signal processing that improve the image quality of a 3D (three-dimensional) image of a surgical site. Regarding the method.
  • the image for the left eye and the image for the right eye are displayed alternately in time division, so that the depth shift occurs when the subject moves, and the image quality may deteriorate.
  • This technology was made in view of such a situation, and makes it possible to improve the image quality of the 3D image of the surgical site.
  • the surgical imaging system of the first aspect of the present technology has the first imaging unit that images the surgical site and outputs the first imaging signal, and the first imaging unit from a different angle from the first imaging unit.
  • a second imaging unit that images the surgical site and outputs a second imaging signal in the same frame cycle as the unit, and an imaging control unit that controls the imaging timing of the first imaging unit and the second imaging unit.
  • a signal generation unit that generates a 3D image signal based on the first imaging signal and the second imaging signal, and the imaging control unit includes the first imaging unit and the second imaging unit.
  • the imaging timing of the unit is controlled so as to be deviated by half of the frame period.
  • the signal processing device on the second aspect of the present technology is the first imaging unit that images the surgical site and outputs the first imaging signal, and the first imaging unit from an angle different from that of the first imaging unit.
  • An imaging control unit that controls the imaging timing of the second imaging unit that images the surgical site and outputs a second imaging signal in the same frame cycle as the imaging unit, and the first imaging signal and the second imaging.
  • a signal generation unit that generates a 3D image signal based on the signal is provided, and the image pickup control unit is such that the image pickup timings of the first image pickup unit and the second image pickup unit are deviated by half of the frame period. To control.
  • the first imaging unit that images the surgical site and outputs the first imaging signal and the first imaging unit from a different angle from the first imaging unit is controlled so as to be deviated by half of the frame period, and the first imaging signal And a 3D image signal is generated based on the second image pickup signal.
  • the surgical site is imaged by the first imaging unit, the first imaging signal is output, and the second imaging unit outputs the first imaging unit from an angle different from that of the first imaging unit.
  • the surgical site is imaged in the same frame cycle as that of the first imaging unit, a second imaging signal is output, and the imaging timings of the first imaging unit and the second imaging unit are shifted by half of the frame period.
  • a 3D image signal is generated based on the first image pickup signal and the second image pickup signal.
  • the first imaging unit that images the surgical site and outputs the first imaging signal is the same as the first imaging unit from an angle different from that of the first imaging unit.
  • the imaging timing with the second imaging unit that images the surgical site in the frame cycle and outputs the second imaging signal is controlled so as to deviate by half of the frame cycle, and the first imaging signal and the first imaging signal are controlled.
  • a 3D image signal is generated based on the image pickup signal of 2.
  • FIG. 1 schematically shows a configuration example of a pattern retarder type 3D display system 100, which is one of the passive type 3D display systems.
  • the 3D display system 100 includes a display device 101 and polarized glasses 102.
  • the display device 101 includes a display panel 111, a polarizing plate 112, and a pattern retarder 113, and the display panel 111, the polarizing plate 112, and the pattern retarder 113 are stacked in this order from the light source side for a backlight (not shown).
  • an image for the left eye (hereinafter referred to as an image for the left eye) and an image for the right eye (hereinafter referred to as an image for the right eye) alternate for each pixel row (horizontal scanning line).
  • a line-by-line 3D image arranged in is displayed. For example, the image for the left eye is displayed on the odd-numbered rows of the display panel 111, and the image for the right eye is displayed on the even-numbered rows.
  • the polarizing plate 112 is a polarizing plate whose transmission axis coincides with the vertical direction of the display panel 111.
  • the pattern retarder 113 is a retardation plate in which the phase difference changes alternately for each pixel row (horizontal scanning line).
  • the phase difference of the odd-numbered rows of the pattern retarder 113 is set to + ⁇ / 4 ( ⁇ is the wavelength used), and the phase difference of the even-numbered rows is set to ⁇ / 4.
  • the light that is incident on the odd rows of the display panel 111 from the light source for the backlight and forms the transmitted image for the right eye (hereinafter referred to as the image light for the right eye) is the odd rows of the polarizing plate 112 and the pattern retarder 113. Is converted into right-handed circularly polarized light.
  • the light that is incident on the even rows of the display panel 111 from the light source for the backlight and forms the transmitted image for the left eye (hereinafter referred to as the image light for the left eye) is transmitted through the even rows of the polarizing plate 112 and the pattern retarder 113. By doing so, it is converted into counterclockwise circularly polarized light.
  • the polarized glasses 102 include a left eye lens 131L and a right eye lens 131R.
  • the left eye lens 131L includes a retarder 141L and a polarizing plate 142L, and the retarder 141L and the polarizing plate 142L are laminated in this order from the display device 101 side.
  • the retardation of the retarder 141L is ⁇ / 4, and the transmission axis of the polarizing plate 142L coincides with the horizontal direction of the display panel 111. Therefore, the left eye lens 131L has optical characteristics corresponding to counterclockwise circular polarization of the left eye image of the display device 101.
  • the right eye lens 131R includes a retarder 141R and a polarizing plate 142R, and the retarder 141R and the polarizing plate 142R are laminated in this order from the display device 101 side.
  • the phase difference of the retarder 141R is + ⁇ / 4, and the transmission axis of the polarizing plate 142R coincides with the horizontal direction of the display panel 111. Therefore, the right eye lens 131R has optical characteristics corresponding to the clockwise circular polarization of the right eye image of the display device 101.
  • the counterclockwise circularly polarized image light for the left eye output from the display device 101 passes through the left eye lens 131L and is incident on the user's left eye 103L, while the polarizing plate 142R of the right eye lens 131R allows the light to be incident on the user's left eye 103L. It is shielded from light and does not enter the right eye 103R.
  • the clockwise circularly polarized image light for the right eye output from the display device 101 passes through the right eye lens 131R and is incident on the user's right eye 103R, while the polarizing plate 142L of the left eye lens 131L allows the light to be incident on the user's right eye 103R. It is shielded from light and does not enter the left eye 103L.
  • the user visually recognizes the left eye image with the left eye 103L and the right eye image with the right eye 103R by viewing the three-dimensional image displayed by the display device 101 through the polarized glasses 102. It can be viewed stereoscopically.
  • a phenomenon called crosstalk may occur depending on the position of the user with respect to the display device 101. That is, the image light for the right eye is incident on the left eye 103L, the image light for the left eye is incident on the right eye 103R, the image for the right eye is visually recognized by the left eye 103L, and the image for the left eye is visually recognized by the right eye 103R. May be done.
  • FIG. 2 schematically shows an enlarged side surface of a display device 101a having an FHD (Full HD) resolution.
  • FHD Full HD
  • the beam splitter 152a provided on the pattern retarder 113a in front of a certain pixel 151a in addition to the light from the pixel 151a, the light from the vertically adjacent pixels 151a is emitted. It may leak. Then, outside the vertical viewing angle ⁇ a, the left and right eyes visually recognize an image opposite to the image to be visually recognized, and the outline of the object is blurred or the stereoscopic effect is impaired.
  • FIG. 3 is a graph showing an example of the characteristics of the vertical viewing angle ⁇ a of the display device 101a of FIG. 2A.
  • the horizontal axis of FIG. 3 indicates the size (unit: inch) of the display panel 111a of the display device 101a, and the vertical axis indicates the vertical viewing angle (unit: degree).
  • B in FIG. 2 schematically shows an enlarged side surface of the display device 101b having a resolution of 4K.
  • the illustration of the polarizing plate 112 is omitted.
  • the pitches of the pixels 151b and the beam splitter 152b are narrowed due to the increase in resolution.
  • the glass thickness db of the display panel 111b is substantially the same as the glass thickness da of the display panel 111a.
  • the vertical viewing angle ⁇ b becomes narrower, and crosstalk is likely to occur.
  • the vertical viewing angle becomes narrower and crosstalk occurs. It will be easier.
  • the resolution of the display device 101 will be further increased in the future, and the vertical viewing angle will be further narrowed.
  • it is conceivable to reduce the glass thickness of the display panel 111 but considering durability, productivity, and the like, there is a limit to reducing the glass thickness of the display panel 111.
  • the resolution of the display device 101 increases and the display panel 111 becomes finer, it is expected that the demand for the sticking accuracy of the pattern retarder 113 will become stricter and the productivity will decrease.
  • the production scale and production equipment of display panels equipped with a pattern retarder are shrinking due to sluggish sales of 3D TVs for consumers. Therefore, for example, the cost and risk of designing a new display panel or introducing production equipment for a medical 3D display device are increasing.
  • FIG. 4 schematically shows the configuration of an active retarder type 3D display system 200, which is one of the passive type 3D display systems.
  • the parts corresponding to the 3D display system 100 in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the 3D display system 200 is different from the 3D display system 100 in that it is provided with polarized glasses 102, and is provided with a display device 201 instead of the display device 101.
  • the display device 201 includes a display panel 211, a polarizing plate 212, and an active retarder 213, and the display panel 211, the polarizing plate 212, and the active retarder 213 are laminated in this order from the light source side for a backlight (not shown).
  • the display panel 211 displays a frame sequential 3D image in which the left eye image and the right eye image are alternately arranged in a time division manner.
  • the polarizing plate 212 is a polarizing plate whose transmission axis coincides with the vertical direction of the display panel 211, similarly to the polarizing plate 112 of the display device 101.
  • the active retarder 213 is arranged in front of the polarizing plate 212 and constitutes a shutter mechanism together with the polarizing plate 212.
  • the phase difference is switched to + ⁇ / 4 or ⁇ / 4 ( ⁇ is the wavelength used) by applying an electric signal.
  • the display device 201 alternately displays the left-eye image and the right-eye image on the display panel 111 in frame units, and switches the phase difference of the active retarder 213 in synchronization with the switching of the images.
  • the voltage applied to the active retarder 213 is turned on (Von), and the phase difference of the active retarder 213 becomes ⁇ / 4. Set.
  • the light incident on the display panel 211 from the light source for the backlight (not shown) and forming the transmitted image for the left eye uses the polarizing plate 212 and the active retarder 213. By transmitting, it is converted into counterclockwise circularly polarized light.
  • the image light for the left eye emitted from the display device 201 passes through the lens 131L for the left eye and is incident on the left eye 103L of the user, while being shielded by the polarizing plate 142R of the lens 131R for the right eye, and is blocked by the right eye. It does not enter the 103R.
  • the voltage applied to the active retarder 213 is turned off (Voff), and the phase difference of the active retarder 213 is set to + ⁇ / 4.
  • the light incident on the display panel 211 from the light source for the backlight (not shown) and forming the transmitted image for the right eye uses the polarizing plate 212 and the active retarder 213. By transmitting, it is converted into clockwise circularly polarized light.
  • the image light for the right eye emitted from the display device 201 is incident on the user's right eye 103R by passing through the right eye lens 131R, while being shielded by the polarizing plate 142L of the left eye lens 131L and left. It does not enter the eye 103L.
  • the user visually recognizes the left eye image with the left eye 103L and the right eye image with the right eye 103R by viewing the three-dimensional image displayed by the display device 201 through the polarized glasses 102. It can be viewed stereoscopically.
  • the parallax amount recognized by the user may be deviated when the moving image is displayed, and the depth may be deviated. is there.
  • FIG. 7 shows the timing of capturing or generating the left-eye image and the right-eye image of the three-dimensional image input to the display device 201.
  • L indicates an image for the left eye
  • R indicates an image for the right eye
  • the numbers attached to L and R indicate the sequence number.
  • the sequence number indicates the imaging order or generation order of each image.
  • left eye image L0 and right eye image R0, left eye image L1 and right eye image R1, left eye image L2 and right eye image R2, left eye image L3 and right eye image R3. ⁇ ⁇ Are imaged or generated at the same time.
  • left eye images L0, L1, L2, L3 ... They are simply referred to as the left eye image L, and the right eye images R0, R1, R2, R3 ... When it is not necessary to distinguish each of them, it is simply referred to as an image R for the right eye.
  • the left eye image L and the right eye image R are alternately input to and displayed on the display device 201.
  • the image L for the left eye and the image R for the right eye which should be visually recognized by the left and right eyes at the same time, are visually recognized with a time difference of 0.5 frames.
  • the image R0 for the right eye is visually recognized with a delay of 0.5 frames from the image L0 for the left eye. Therefore, the apparent parallax may change depending on the moving direction and speed of the subject.
  • FIG. 10 shows a state in which the moving images are displayed rearranged as L0-R0-L1-R1-L2-R2- ... As shown in FIG.
  • the right-eye image R0 is displayed 0.5 frames behind the left-eye image L0
  • the right-eye image R1 is displayed 0.5 frames behind the left-eye image L1. ..
  • the subject moves to the right by ⁇ x pixels between the left eye image L0 and the left eye image L1. Therefore, at the time when the right eye image R0 is displayed 0.5 frames later than the left eye image L0, between the left eye image L0 and the left eye image L1 in the user's head.
  • the subject moves to the right by ⁇ x / 2 pixels.
  • the subject in the right eye image R0 displayed at the same time as the left eye image L0.5 is on the right side by d pixels as compared with the left eye image L0, but it is recalled in the user's mind.
  • the disparity is reduced by ⁇ x / 2 pixels from the left eye image L0.5. Therefore, the user feels that the subject is closer than it actually is.
  • a subject having a d-pixel parallax between the left-eye image L and the right-eye image R moves from right to left in the image at a speed of ⁇ x pixels per frame period.
  • the case of displaying the moving image to be performed will be described.
  • FIG. 12 shows a state in which the moving images are displayed rearranged as L0-R0-L1-R1-L2-R2- ... As shown in FIG.
  • the right-eye image R0 is displayed 0.5 frames behind the left-eye image L0
  • the right-eye image R1 is displayed 0.5 frames behind the left-eye image L1. ..
  • the subject moves to the left by ⁇ x pixels between the left eye image L0 and the left eye image L1. Therefore, at the time when the right eye image R0 is displayed 0.5 frames later than the left eye image L0, between the left eye image L0 and the left eye image L1 in the user's head.
  • the subject moves to the left by ⁇ x / 2 pixels.
  • the subject in the right eye image R0 displayed at the same time as the left eye image L0.5 is on the left side by d pixels as compared with the left eye image L0, but it is recalled in the user's mind.
  • the difference between the left eye image L0.5 and the left eye image L0.5 is increased by ⁇ x / 2 pixels. Therefore, the user feels that the subject is farther than it actually is.
  • the 3D display system 200 when used as a monitor in an operating room, if a phenomenon occurs in which the anteroposterior relationship of the subject is reversed due to this depth deviation, a fatal mistake such as damaging the organ which is the subject may occur. ..
  • an interpolated image for the right eye corresponding to the image L0.5 for the left eye is generated based on the image R0 for the right eye and the image R1 for the right eye. It is expected to be displayed.
  • a passive 3D display system using the above-mentioned polarized glasses 102 is mainly used.
  • the active shutter type 3D glasses used in the active method and the polarized glasses 102 used in the passive method are not compatible. Therefore, when there are a plurality of display devices in the operating room, it is necessary to unify all the display devices to the active method or to change the glasses by the user depending on the display devices.
  • FIG. 13 shows a configuration example of the microscopic surgery system 301 to which the present technique is applied.
  • the microscope surgery system 301 includes a microscope device 311 and a control device 312, and a display device 313-1 to a display device 313-n.
  • the surgical imaging system is composed of the microscope device 311 and the control device 312.
  • the display device 313 when it is not necessary to individually distinguish the display device 313-1 to the display device 313-n, it is simply referred to as the display device 313.
  • the microscope device 311 includes a microscope unit 321 for magnifying and observing an observation target (surgical site of a patient), an arm unit 322 that supports the microscope unit 321 at the tip, and a base unit 323 that supports the base end of the arm unit 322. Be prepared.
  • the microscope unit 321 includes a substantially cylindrical tubular portion 331, an imaging unit (not shown) provided inside the tubular portion 331, and an operation unit 332 provided in a part of the outer periphery of the tubular portion 331. Be prepared.
  • the microscope unit 321 is an electronic imaging type microscope unit (video type microscope unit) that electronically captures an image captured by the imaging unit.
  • a cover glass is provided on the opening surface at the lower end of the tubular portion 331 to protect the internal imaging portion.
  • the light from the observation target (hereinafter, also referred to as observation light) passes through the cover glass and is incident on the imaging portion inside the tubular portion 331.
  • a light source made of, for example, an LED (Light Emitting Diode) may be provided inside the tubular portion 331, and at the time of imaging, light is emitted from the light source to the observation target through the cover glass. You may.
  • the image pickup unit includes an optical system that collects the observation light and an image pickup element that receives the observation light collected by the optical system.
  • the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and its optical characteristics are adjusted so as to form an image of observation light on a light receiving surface of an image pickup device.
  • the image sensor receives the observation light and performs photoelectric conversion to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • the image sensor is composed of an image sensor of any type, such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the imaging unit has a drive mechanism for moving the zoom lens and the focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the drive mechanism, the magnification of the captured image and the focal length at the time of imaging can be adjusted.
  • the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging type microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • the microscope device 311 includes two imaging units for capturing an image for the left eye and an image for the right eye corresponding to stereoscopic vision (3D display).
  • the 3D display enables the operator to more accurately grasp the depth of the surgical site.
  • the operation unit 332 is composed of, for example, a cross lever or a switch, and is an input means for receiving a user's operation input.
  • the user can input an instruction to change the magnification and the focal length (focus) of the observation image via the operation unit 332.
  • the magnification and focus can be adjusted by the drive mechanism of the imaging unit moving the zoom lens and the focus lens as appropriate according to the instruction.
  • the arm portion 322 is configured by connecting a plurality of links (first link 342a to sixth link 342f) rotatably to each other by a plurality of joint portions (first joint portion 341a to sixth joint portion 341f). Will be done.
  • the first joint portion 341a has a substantially cylindrical shape, and at the tip (lower end) thereof, the upper end of the tubular portion 331 of the microscope portion 321 is a rotation axis (first axis) parallel to the central axis of the tubular portion 331.
  • A1 Support it so that it can rotate around.
  • the first joint portion 341a may be configured such that the first axis A1 coincides with the optical axis of the imaging unit of the microscope unit 321. This makes it possible to change the field of view so as to rotate the captured image by rotating the microscope unit 321 around the first axis A1.
  • the first link 342a fixedly supports the first joint portion 341a at the tip.
  • the first link 342a is a rod-shaped member having a substantially L-shape, and one side of the tip side extends in a direction orthogonal to the first axis A1, and the end of the one side is the first joint. It is connected to the first joint portion 341a so as to abut the upper end portion of the outer periphery of the portion 341a.
  • the second joint portion 341b is connected to the other end of the first link 342a on the base end side of the substantially L-shape.
  • the second joint portion 341b has a substantially cylindrical shape, and at the tip thereof, the base end of the first link 342a is rotatably supported around a rotation axis (second axis A2) orthogonal to the first axis A1. ..
  • the tip of the second link 342b is fixedly connected to the base end of the second joint portion 341b.
  • the second link 342b is a rod-shaped member having a substantially L-shape, and one side of the tip side extends in a direction orthogonal to the second axis A2, and the end of the one side is the base of the second joint portion 341b. Fixedly connected to the end.
  • the third joint portion 341c is connected to the other side of the second link 342b on the base end side of the substantially L-shape.
  • the third joint portion 341c has a substantially cylindrical shape, and at the tip thereof, the base end of the second link 342b is placed around a rotation axis (third axis A3) orthogonal to the first axis A1 and the second axis A2. Supports rotatably.
  • the tip of the third link 342c is fixedly connected to the base end of the third joint portion 341c.
  • the microscope unit 321 is moved so as to change the position of the microscope unit 321 in the horizontal plane by rotating the configuration on the tip side including the microscope unit 321 around the second axis A2 and the third axis A3. Can be done. That is, by controlling the rotation around the second axis A2 and the third axis A3, the field of view of the captured image can be moved in a plane.
  • the third link 342c is configured so that its tip side has a substantially cylindrical shape, and the base end of the third joint portion 341c has a substantially same central axis at the tip of the cylindrical shape. It is fixedly connected.
  • the base end side of the third link 342c has a prismatic shape, and the fourth joint portion 341d is connected to the end end.
  • the fourth joint portion 341d has a substantially cylindrical shape, and its tip rotatably supports the base end of the third link 342c around a rotation axis (fourth axis A4) orthogonal to the third axis A3. ..
  • the tip of the fourth link 342d is fixedly connected to the base end of the fourth joint portion 341d.
  • the fourth link 342d is a rod-shaped member that extends substantially linearly, and while extending so as to be orthogonal to the fourth axis A4, the end of the tip thereof hits the side surface of the fourth joint portion 341d in a substantially cylindrical shape. It is fixedly connected to the fourth joint portion 341d so as to be in contact with the fourth joint portion 341d.
  • a fifth joint portion 341e is connected to the base end of the fourth link 342d.
  • the fifth joint portion 341e has a substantially cylindrical shape, and the base end of the fourth link 342d is rotatably supported around a rotation axis (fifth axis A5) parallel to the fourth axis A4 on the tip end side thereof. To do.
  • the tip of the fifth link 342e is fixedly connected to the base end of the fifth joint portion 341e.
  • the fourth axis A4 and the fifth axis A5 are rotation axes capable of moving the microscope unit 321 in the vertical direction.
  • the height of the microscope unit 321, that is, the distance between the microscope unit 321 and the observation target can be adjusted by rotating the configuration on the tip side including the microscope unit 321 around the fourth axis A4 and the fifth axis A5. ..
  • the fifth link 342e has a first member having a substantially L-shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and the first member extends vertically downward from a portion extending in the horizontal direction. It is configured by combining with a rod-shaped second member to be stretched.
  • the base end of the fifth joint portion 341e is fixedly connected to the vicinity of the upper end of the portion extending in the vertical direction of the first member of the fifth link 342e.
  • the sixth joint portion 341f is connected to the base end (lower end) of the second member of the fifth link 342e.
  • the sixth joint portion 341f has a substantially cylindrical shape, and on the tip end side thereof, the base end of the fifth link 342e is rotatably supported around a rotation axis (sixth axis A6) parallel to the vertical direction.
  • the tip of the sixth link 342f is fixedly connected to the base end of the sixth joint portion 341f.
  • the sixth link 342f is a rod-shaped member extending in the vertical direction, and its base end is fixedly connected to the upper surface of the base portion 323.
  • the rotatable range of the first joint portion 341a to the sixth joint portion 341f is appropriately set so that the microscope unit 321 can perform a desired movement.
  • a total of 6 degrees of freedom of translation 3 degrees of freedom and rotation 3 degrees of freedom can be realized with respect to the movement of the microscope unit 321.
  • the position and posture of the microscope unit 321 can be freely controlled within the movable range of the arm unit 322. It will be possible. Therefore, the surgical site can be observed from all angles, and the surgery can be performed more smoothly.
  • the configuration of the arm portion 322 shown in the figure is merely an example, and the number and shape (length) of the links constituting the arm portion 322, the number of joint portions, the arrangement position, the direction of the rotation axis, and the like are desired. It may be appropriately designed so that the degree of freedom can be realized.
  • the first joint portion 341a to the sixth joint portion 341f are provided with an actuator equipped with a drive mechanism such as a motor and an encoder or the like that detects a rotation angle at each joint portion. Then, the posture of the arm portion 322, that is, the position and posture of the microscope portion 321 can be controlled by appropriately controlling the drive of each actuator provided in the first joint portion 341a to the sixth joint portion 341f by the control device 312. ..
  • the control device 312 grasps the current posture of the arm portion 322 and the current position and posture of the microscope portion 321 based on the information about the rotation angle of each joint portion detected by the encoder. be able to.
  • the control device 312 calculates a control value (for example, rotation angle or generated torque) for each joint portion that realizes the movement of the microscope unit 321 according to the operation input from the user by using the grasped information. Then, the drive mechanism of each joint is driven according to the control value.
  • the control method of the arm unit 322 by the control device 312 is not limited, and various known control methods such as force control or position control may be applied.
  • the control device 312 includes, for example, a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), a control board on which a processor and a storage element such as a memory are mounted, a CCU (Camera Control Unit), and the like. ..
  • the control device 312 comprehensively controls the operation of the microscope surgery system 301 by controlling the operations of the microscope device 311 and the display device 313.
  • control device 312 controls the drive of the arm portion 322 by operating the actuators of the first joint portion 341a to the sixth joint portion 341f according to a predetermined control method.
  • control device 312 controls the imaging process of the surgical site of the patient by controlling the imaging unit of the microscope unit 321 of the microscope device 311.
  • control device 312 generates a 3D image signal for display by performing various signal processing on the image pickup signal acquired by the image pickup unit of the microscope unit 321 of the microscope device 311 to generate a 3D image signal for display in each display device 313.
  • signal processing for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), enlargement processing (that is, electron Various signal processing such as zoom processing) and 3D image generation processing are performed.
  • the communication between the control device 312 and the microscope unit 321 and the communication between the control device 312 and the first joint portion 341a to the sixth joint portion 341f may be wired communication or wireless communication. ..
  • control device 312 is provided as a device separate from the microscope device 311.
  • the control device 312 is installed inside the base portion 323 of the microscope device 311 and is integrated with the microscope device 311. It may be configured.
  • the control device 312 may be composed of a plurality of devices.
  • a microcomputer, a control board, and the like are arranged in the microscope unit 321 and the first joint portion 341a to the sixth joint portion 341f of the arm portion 322, respectively, and these are connected to each other so as to be communicable with the control device 312. Similar functionality may be realized.
  • Each display device 313 includes a pattern retarder type display device (for example, the display device 101 of FIG. 1) or an active retarder type display device (for example, the display device 201 of FIG. 4).
  • Each display device 313 is provided in the operating room, and under the control of the control device 312, displays a 3D image of the surgical site of the patient imaged by the microscope unit 321.
  • each display device 313 may or may not be unified to either the pattern retarder method or the active retarder method. Further, each display device 313 may supply a signal indicating the display method to the control device 312. Further, it is not always necessary to provide a plurality of display devices 313, and one display device 313 may be provided.
  • FIG. 14 shows a configuration example of the imaging function of the microscopic surgery system 301 of FIG.
  • the microscope device 311 includes an imaging unit 401L and an imaging unit 401R.
  • the control device 312 includes CCU 421L and CCU 421R, and a 3D signal synthesizer 422.
  • the 3D signal synthesizer 422 includes a signal generation unit 431 and an image pickup control unit 432.
  • the imaging unit 401L captures an image for the left eye that is visually recognized by the user's left eye.
  • the imaging unit 401L generates an imaging signal including an image for the left eye (hereinafter, referred to as an imaging signal for the left eye) and supplies it to the signal generation unit 431.
  • the image pickup unit 401R captures an image for the right eye visually recognized by the user's right eye from an angle different from that of the image pickup unit 401L at the same frame cycle as the image pickup unit 401.
  • the imaging unit 401R generates an imaging signal including an image for the right eye (hereinafter, referred to as an imaging signal for the right eye) and supplies it to the signal generation unit 431.
  • CCU421L controls the imaging unit 401L.
  • the CCU 421L controls the imaging timing of the imaging unit 401L based on the left image imaging control signal supplied from the imaging control unit 432.
  • CCU421R controls the imaging unit 401R.
  • the CCU 421R controls the imaging timing of the imaging unit 401R based on the right image imaging control signal supplied from the imaging control unit 432.
  • the signal generation unit 431 detects the display method (pattern retarder method or active retarder method) of the display device 313, and notifies the imaging control unit 432 of the detection result. Further, the signal generation unit 431 generates a 3D image corresponding to the display method of the display device 313 based on the left eye image pickup signal and the right eye image pickup signal, and generates a 3D image signal including the generated 3D image. .. The signal generation unit 431 outputs a 3D image signal to each display device 313. Further, the signal generation unit 431 generates a reference clock signal that serves as a reference for the operation of the control device 312, and supplies the reference clock signal to the image pickup control unit 432.
  • the image pickup control unit 432 controls the image pickup timing of the image pickup unit 401L and the image pickup unit 401R based on the display method of the display device 313. Specifically, the imaging control unit 432 controls the left image imaging control signal for controlling the imaging timing of the imaging unit 401L and the imaging timing of the imaging unit 401R based on the display method of the display device 313. Generates the right image imaging control signal. The image pickup control unit 432 supplies the left image image pickup control signal to the CCU 421L and supplies the right image image pickup control signal to the CCU 421R.
  • this process is performed, for example, at the start of imaging of the surgical site by the microscopic surgery system 301.
  • step S1 the signal generation unit 431 detects the display method of the main display device 313.
  • the main display device 313 is, for example, a display device 313 (for the main surgeon) set to be viewed by the main surgeon (for example, a surgeon).
  • the display method detection method is not particularly limited.
  • the signal generation unit 431 detects the display method of the main display device 313 based on the signal indicating the display method output from the main display device 313.
  • the user inputs the display method of the main display device 313 via an input unit of the control device 312 (not shown).
  • the signal generation unit 431 detects the display method of the main display device 313 based on the user input.
  • the signal generation unit 431 notifies the image pickup control unit 432 of the display method of the main display device 313.
  • step S2 the image pickup control unit 432 determines whether or not the main display device 313 is of the active retarder method. If it is determined that the main display device 313 is of the active retarder method, the process proceeds to step S3.
  • step S3 the microscopic surgery system 301 shifts the imaging timing of the left and right images by 1/2 frame.
  • the signal generation unit 431 starts a process of generating, for example, a 120 Hz reference clock signal and supplying it to the image pickup control unit 432.
  • the imaging control unit 432 generates a left image imaging control signal and a right image imaging control signal based on the reference clock signal, supplies the left image imaging control signal to the CCU421L, and supplies the right image imaging control signal to the CCU421R. To start.
  • the left image imaging control signal and the right image imaging control signal include, for example, information indicating the timing at which the CCU 421L and the CCU 421R output the vertical synchronization signal. Then, the image pickup control unit 432 controls so that the timing at which the vertical synchronization signal is output from the CCU 421L and the timing at which the vertical synchronization signal is output from the CCU 421R are deviated by a 1/2 frame period (half of the frame period). That is, the image pickup control unit 432 controls so that the time difference between the timing at which the vertical synchronization signal is output from the CCU 421L and the timing at which the vertical synchronization signal is output from the CCU 421R is 1/2 frame period.
  • the one-frame cycle is the time from the start of image imaging to the start of imaging of the next image.
  • the CCU 421L generates a vertical synchronization signal of 60 Hz and outputs it to the imaging unit 401L.
  • the CCU 421R generates a vertical synchronization signal of 60 Hz and outputs it to the imaging unit 401R at a timing deviated from the CCU 421 L by 1/2 frame period.
  • the imaging unit 401L starts a process of capturing an image for the left eye having a resolution of 4K and a frame rate of 60P, for example, according to the vertical synchronization signal from the CCU 421L. Further, the imaging unit 401L starts a process of generating an imaging signal for the left eye including the captured image for the left eye and supplying it to the signal generation unit 431.
  • the imaging unit 401R starts a process of capturing an image for the right eye having a resolution of 4K and a frame rate of 60P at a timing deviated from the imaging unit 401 by 1/2 frame period according to the vertical synchronization signal from the CCU 421R. To do. Further, the imaging unit 401R starts a process of generating an imaging signal for the right eye including the captured image for the right eye and supplying it to the signal generation unit 431.
  • the signal generation unit 431 alternately arranges the left eye image included in the left eye imaging signal and the right eye image included in the right eye imaging signal for each frame, so that the resolution is 4K and the frame rate is increased.
  • the process of generating a 120P frame sequential 3D image is started. Further, the signal generation unit 431 starts a process of generating a 3D image signal including the generated 3D image and outputting it to each display device 313.
  • Each display device 313 starts a process of displaying a 3D image based on the 3D image signal.
  • FIG. 16 is a timing chart showing the imaging timing of the left eye image, the imaging timing of the right eye image, and the generation timing of the 3D image when the main display device 313 is the active retarder system.
  • L indicates an image for the left eye
  • R indicates an image for the right eye
  • the numbers attached to L and R indicate the sequence number.
  • the sequence number indicates the imaging order of each image.
  • the image L1 for the left eye is first imaged, and after the 1/2 frame cycle elapses, the image R2 for the right eye is imaged. After that, the image L for the left eye and the image R for the right eye are imaged at timings shifted by 1/2 frame period from each other.
  • the imaging unit 401L starts outputting the left eye image L1 to the signal generation unit 431 after a time of about 1/2 frame cycle has elapsed from the start of imaging of the left eye image L1.
  • the output of the left eye image L1 is performed in a time of about 1/2 frame cycle, and ends almost at the same time as the end of the imaging of the left eye image L1.
  • the imaging unit 401R starts outputting the right eye image R2 to the signal generation unit 431 after a time of about 1/2 frame cycle has elapsed from the start of imaging of the right eye image R2.
  • the output of the right eye image R2 is performed in a time of about 1/2 frame cycle, and ends almost at the same time as the end of the imaging of the right eye image R2.
  • the left eye image L and the right eye image R are alternately output to the signal generation unit 431 at 1/2 frame intervals.
  • the signal generation unit 431 generates a frame sequential 3D image by arranging the left eye image L and the right eye image R alternately supplied at 1/2 frame intervals in the order of acquisition.
  • the signal generation unit 431 outputs a 3D image signal including the generated 3D image to the display device 313.
  • each image at the timing of displaying each left eye image L and each right eye image R is displayed.
  • the positional relationship of the subject inside is substantially equal to the actual positional relationship. As a result, the occurrence of depth deviation is suppressed, and the image quality of the 3D image is improved.
  • step S2 when it is determined in step S2 that the main display device 313 is not the active retarder system, that is, when the main display device 313 is determined to be the pattern retarder system, the process is stepped. Proceed to S4.
  • step S4 the microsurgery system 301 synchronizes the imaging timings of the left and right images.
  • the signal generation unit 431 starts a process of generating, for example, a 60 Hz reference clock signal and supplying it to the image pickup control unit 432.
  • the imaging control unit 432 generates a left image imaging control signal and a right image imaging control signal based on the reference clock signal, supplies the left image imaging control signal to the CCU421L, and supplies the right image imaging control signal to the CCU421R. To start.
  • the left image imaging control signal and the right image imaging control signal include information indicating the timing at which the CCU 421L and the CCU 421R output the vertical synchronization signal. Then, the image pickup control unit 432 controls so that the timing at which the vertical synchronization signal is output from the CCU 421L and the timing at which the vertical synchronization signal is output from the CCU 421R are synchronized.
  • the CCU 421L starts a process of generating a vertical synchronization signal of 60 Hz and outputting it to the imaging unit 401L.
  • the CCU 421R starts a process of generating a 60 Hz vertical synchronization signal in synchronization with the CCU 421L and outputting it to the imaging unit 401R.
  • the imaging unit 401L starts a process of capturing an image for the left eye having a resolution of 4K and a frame rate of 60P, for example, according to the vertical synchronization signal from the CCU 421L. Further, the imaging unit 401L starts a process of generating an imaging signal for the left eye including the captured image for the left eye and supplying it to the signal generation unit 431.
  • the imaging unit 401R starts a process of capturing an image for the right eye having a resolution of 4K and a frame rate of 60P, for example, in synchronization with the imaging unit 401 according to the vertical synchronization signal from the CCU 421R. Further, the imaging unit 401R starts a process of generating an imaging signal for the right eye including the captured image for the right eye and supplying it to the signal generation unit 431.
  • the signal generation unit 431 alternately arranges each pixel row of the left eye image included in the left eye imaging signal and each pixel row of the right eye image included in the right eye imaging signal for each pixel row. As a result, the process of generating a line-by-line 3D image is started. Further, the signal generation unit 431 starts a process of generating a 3D image signal including the generated 3D image and outputting it to each display device 313.
  • Each display device 313 starts a process of displaying a 3D image based on the 3D image signal.
  • FIG. 17 is a timing chart showing the imaging timing of the left eye image, the imaging timing of the right eye image, and the generation timing of the 3D image when the main display device 313 uses the pattern retarder method.
  • L indicates an image for the left eye
  • R indicates an image for the right eye
  • the numbers attached to L and R indicate the sequence number.
  • the sequence number indicates the imaging order of each image.
  • imaging of the left eye image L1 and the right eye image R1 is started at the same time, and thereafter, each frame of the left eye image L and the right eye image R is synchronized and imaged at the same timing.
  • the image pickup unit 401L and the image pickup unit 401R synchronize the output of the left eye image L and the right eye image R to the signal generation unit 431.
  • the signal generation unit 431 generates a line-by-line 3D image in which each pixel row of the left eye image L and each pixel row of the right eye image R are alternately arranged for each pixel row.
  • the signal generation unit 431 outputs a 3D image signal including the generated 3D image to the display device 313.
  • the occurrence of depth deviation when the active retarder type display device 313 is used can be suppressed, and the image quality of the 3D image is improved.
  • the vertical resolution of the 3D image is improved as compared with the case where the pattern retarder type display device 313 is used. Further, since there is no limitation of the vertical viewing angle described above with reference to FIG. 2, it is possible to increase the resolution of the display device 313 to increase the definition of the image or to reduce the size of the display device 313.
  • compatibility with the system conventionally used in the surgical field can be ensured.
  • inexpensive and lightweight polarized glasses 102 that are generally used in conventional surgical sites can be used.
  • a pattern retarder type display device 313 conventionally used in a surgical site can be used.
  • the configuration of the microsurgery system 301 in FIGS. 13 and 14 is an example thereof and can be changed.
  • the imaging unit 401L and the imaging unit 401R may be provided in imaging devices having different housings, respectively.
  • CCU421L and CCU421R may be provided separately from the control device 312, or CCU421L and CCU421R may be integrated.
  • the image pickup control unit 432 may detect the display method of each display device 313.
  • the main display device 313 used for controlling the imaging timing to the display device 313 viewed by the main operator is shown, but the main display device 313 is set based on different conditions. You may do so.
  • the display device 313 that is viewed by the most users may be set as the main display device 313.
  • the imaging timing may be controlled based on the most common display method among the plurality of display devices 313.
  • this technique can be applied not only to the above-mentioned video microsurgery, but also to various surgical 3D surgical systems using 3D images such as video endoscopic surgery and open imaging surgery (video laparotomy).
  • this technology can also be applied to capture and display 3D images used for purposes other than surgery.
  • FIG. 18 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order in the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a first imaging unit that images the surgical site and outputs a first imaging signal
  • a second imaging unit that images the surgical site from an angle different from that of the first imaging unit at the same frame cycle as the first imaging unit and outputs a second imaging signal.
  • An imaging control unit that controls the imaging timing of the first imaging unit and the second imaging unit, and A signal generation unit that generates a 3D image signal based on the first image pickup signal and the second image pickup signal is provided.
  • the imaging control unit is a surgical imaging system that controls the imaging timings of the first imaging unit and the second imaging unit so as to deviate by half of the frame period.
  • the imaging control unit controls the imaging timing of the first imaging unit and the second imaging unit based on the display method of the display device that displays the 3D image based on the 3D image signal in (1).
  • the image pickup control unit controls so that the image pickup timings of the first image pickup unit and the second image pickup unit are deviated by half of the frame period, and the display device causes the display device.
  • the surgical imaging system according to (2) wherein in the case of the pattern retarder method, the imaging timings of the first imaging unit and the second imaging unit are controlled to be synchronized.
  • the signal generation unit When the display device is of the active retarder system, the signal generation unit generates the 3D image signal of the frame sequential system based on the first image pickup signal and the second image pickup signal, and the display device generates the 3D image signal of the frame sequential system.
  • the surgical imaging system according to (3) wherein in the case of the pattern retarder system, the line-by-line system 3D image signal is generated based on the first imaging signal and the second imaging signal.
  • the imaging control unit controls the imaging timing of the first imaging unit and the second imaging unit based on a signal indicating a display method from the display device, which is any of (2) to (4).
  • the image pickup control unit of the first image pickup unit and the second image pickup unit based on the display method of the display device for the main operator.
  • the surgical imaging system according to any one of (2) to (5) above, which controls the imaging timing.
  • the signal generation unit generates the 3D image signal of a frame sequential method based on the first imaging signal and the second imaging signal.
  • the first imaging unit and the second imaging unit imaged at a resolution of 4K and a frame rate of 60P.
  • the surgical imaging system according to any one of (1) to (8) above, wherein the signal generation unit generates the 3D image signal having a resolution of 4K and a frame rate of 120P.
  • the surgical site is imaged at the same frame cycle as the first imaging unit from a position different from that of the first imaging unit that images the surgical site and outputs the first imaging signal and the first imaging unit.
  • An imaging control unit that controls the imaging timing of the second imaging unit that outputs the second imaging signal,
  • a signal generation unit that generates a 3D image signal based on the first image pickup signal and the second image pickup signal is provided.
  • the image pickup control unit is a signal processing device that controls that the image pickup timings of the first image pickup unit and the second image pickup unit are deviated by half of the frame period.
  • the surgical site is imaged at the same frame cycle as the first imaging unit from a different angle from the first imaging unit that images the surgical site and outputs the first imaging signal and the first imaging unit.
  • the imaging timing with the second imaging unit that outputs the second imaging signal is controlled so as to deviate by half of the frame period.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技術は、手術部位の３Ｄ画像の画質を向上させることができるようにする手術撮像システム、信号処理装置、及び、信号処理方法に関する。 手術撮像システムは、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部とを備え、前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する。本技術は、例えば、手術用の３Ｄ撮像システムに適用できる。

Description

手術撮像システム、信号処理装置、及び、信号処理方法
　本技術は、手術撮像システム、信号処理装置、及び、信号処理方法に関し、特に、手術部位の３Ｄ（３次元）画像の画質を向上させるようにした手術撮像システム、信号処理装置、及び、信号処理方法に関する。
　従来、アクティブシャッタ方式の３Ｄメガネを用いたアクティブ方式の３Ｄ表示システムを用いて、患者の手術部位の３Ｄ画像の表示を行うことが提案されている（例えば、特許文献１参照）。
特開２０１８－１５２６５７号公報
　しかしながら、アクティブ方式では、左眼用の画像と右眼用の画像とが時分割に交互に表示されるため、被写体が移動する場合に奥行きズレが生じ、画質が低下するおそれがある。
　本技術は、このような状況に鑑みてなされたものであり、手術部位の３Ｄ画像の画質を向上できるようにするものである。
　本技術の第１の側面の手術撮像システムは、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部とを備え、前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する。
　本技術の第２の側面の信号処理装置は、手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部とを備え、前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する。
　本技術の第２の側面の信号処理方法は、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが、前記フレーム周期の半分だけずれるように制御し、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する。
　本技術の第１の側面においては、第１の撮像部により手術部位が撮像され、第１の撮像信号が出力され、第２の撮像部により前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位が撮像され、第２の撮像信号が出力され、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御され、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号が生成される。
　本技術の第２の側面においては、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが、前記フレーム周期の半分だけずれるように制御され、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号が生成される。
パターンリターダ方式の３Ｄ表示システムの構成例を模式的に示す図である。 パターンリターダ方式の表示装置の垂直視野角の例を示す図である。 パターンリターダ方式の表示装置の垂直視野角の特性の例を示すグラフである。 アクティブリターダ方式の３Ｄ表示システムの構成例を模式的に示す図である。 アクティブリターダ方式の３Ｄ表示システムの動作を説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの動作を説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 本技術を適用した顕微鏡手術システムの構成例を示す図である。 図１３の顕微鏡手術システムの撮像機能の構成例を示すブロック図である。 顕微鏡手術システムの撮像タイミング設定処理を説明するためのフローチャートである。 表示装置がアクティブリターダ方式の場合の３Ｄ画像信号の生成方法を説明するための図である。 表示装置がパターンリターダ方式の場合の３Ｄ画像信号の生成方法を説明するための図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．各方式の３Ｄ表示システムの問題点
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．各方式の３Ｄ表示システムの問題点＞＞
　まず、図１乃至図１２を参照して、各方式の３Ｄ表示システムの問題点について説明する。
　　＜パターンリターダ方式の３Ｄ表示システムの問題点＞
　図１は、パッシブ方式の３Ｄ表示システムの１つであるパターンリターダ方式の３Ｄ表示システム１００の構成例を模式的に示している。
　３Ｄ表示システム１００は、表示装置１０１及び偏光メガネ１０２を備える。
　表示装置１０１は、表示パネル１１１、偏光板１１２、及び、パターンリターダ１１３を備え、図示せぬバックライト用の光源側から、表示パネル１１１、偏光板１１２、パターンリターダ１１３の順に積層されている。
　表示パネル１１１は、１画素行（水平走査線）毎に左眼用の画像（以下、左眼用画像と称する）、及び、右眼用の画像（以下、右眼用画像と称する）が交互に配置されたラインバイライン方式の３Ｄ画像を表示する。例えば、表示パネル１１１の奇数行には左眼用画像が表示され、偶数行には右眼用画像が表示される。
　偏光板１１２は、透過軸が表示パネル１１１の垂直方向と一致する偏光板である。
　パターンリターダ１１３は、１画素行（水平走査線）毎に位相差が交互に変化する位相差板である。例えば、パターンリターダ１１３の奇数行の位相差は＋λ／４（λは使用波長）に設定され、偶数行の位相差は－λ／４に設定される。
　従って、バックライト用の光源から表示パネル１１１の奇数行に入射し、透過した右眼用画像をなす光（以下、右眼用画像光と称する）は、偏光板１１２及びパターンリターダ１１３の奇数行を透過することにより、右回り円偏光に変換される。バックライト用の光源から表示パネル１１１の偶数行に入射し、透過した左眼用画像をなす光（以下、左眼用画像光と称する）は、偏光板１１２及びパターンリターダ１１３の偶数行を透過することにより、左回り円偏光に変換される。
　偏光メガネ１０２は、左眼用レンズ１３１Ｌ及び右眼用レンズ１３１Ｒを備える。
　左眼用レンズ１３１Ｌは、リターダ１４１Ｌ及び偏光板１４２Ｌを備え、表示装置１０１側からリターダ１４１Ｌ、偏光板１４２Ｌの順に積層されている。リターダ１４１Ｌの位相差は－λ／４であり、偏光板１４２Ｌは、透過軸が表示パネル１１１の水平方向と一致する。従って、左眼用レンズ１３１Ｌは、表示装置１０１の左眼用画像の左回り円偏光に対応した光学特性を有する。
　右眼用レンズ１３１Ｒは、リターダ１４１Ｒ及び偏光板１４２Ｒを備え、表示装置１０１側からリターダ１４１Ｒ、偏光板１４２Ｒの順に積層されている。リターダ１４１Ｒの位相差は＋λ／４であり、偏光板１４２Ｒは、透過軸が表示パネル１１１の水平方向と一致する。従って、右眼用レンズ１３１Ｒは、表示装置１０１の右眼用画像の右回り円偏光に対応した光学特性を有する。
　従って、表示装置１０１から出力された左回り円偏光の左眼用画像光は、左眼用レンズ１３１Ｌを透過し、ユーザの左眼１０３Ｌに入射する一方、右眼用レンズ１３１Ｒの偏光板１４２Ｒにより遮光され、右眼１０３Ｒには入射しない。また、表示装置１０１から出力された右回り円偏光の右眼用画像光は、右眼用レンズ１３１Ｒを透過し、ユーザの右眼１０３Ｒに入射する一方、左眼用レンズ１３１Ｌの偏光板１４２Ｌにより遮光され、左眼１０３Ｌには入射しない。
　このように、ユーザは、偏光メガネ１０２を介して表示装置１０１が表示する３次元画像を見ることにより、左眼用画像を左眼１０３Ｌで視認し、右眼用画像を右眼１０３Ｒで視認して、立体視することができる。
　しかしながら、パターンリターダ方式の３Ｄ表示システム１００では、表示装置１０１に対するユーザの位置により、いわゆるクロストークと呼ばれる現象が発生する場合がある。すなわち、左眼１０３Ｌに右眼用画像光が入射し、右眼１０３Ｒに左眼用画像光が入射し、右眼用画像が左眼１０３Ｌで視認され、左眼用画像が右眼１０３Ｒで視認される場合がある。
　図２のＡは、ＦＨＤ（Full HD）の解像度を有する表示装置１０１ａの側面を拡大して模式的に示している。なお、図２のＡでは、偏光板１１２の図示は省略している。
　図２のＡに示されるように、ある画素１５１ａの前方のパターンリターダ１１３ａに設けられているビームスプリッタ１５２ａから、当該画素１５１ａからの光に加えて、垂直方向に隣接する画素１５１ａからの光が漏れ出る場合がある。そして、垂直視野角θａの外部において、左右の眼で、それぞれ視認されるべき画像とは逆の画像が視認され、物体の輪郭がぼやけたり、立体感が損なわれたりする。
　図３は、図２のＡの表示装置１０１ａの垂直視野角θａの特性の例を示すグラフである。図３の横軸は、表示装置１０１ａの表示パネル１１１ａのサイズ（単位はインチ）を示し、縦軸は垂直視野角（単位は度）を示している。線Ｌ１は、表示パネル１１１ａのガラス厚ｄａ＝０．１ｍｍの場合の垂直視野角θの特性を示し、線Ｌ２は、ガラス厚ｄａ＝０．２ｍｍの場合の垂直視野角θの特性を示し、線Ｌ３は、ガラス厚ｄａ＝０．３ｍｍの場合の垂直視野角θの特性を示し、線Ｌ４は、ガラス厚ｄａ＝０．５ｍｍの場合の垂直視野角θの特性を示している。
　このグラフに示されるように、表示パネル１１１ａのサイズが小さくなるほど、垂直視野角θａが狭くなり、クロストークが発生しやすくなる。また、表示パネル１１１ａのガラス厚が厚くなるほど、垂直視野角θａが狭くなり、クロストークが発生しやすくなる。
　また、図２のＢは、４Ｋの解像度を有する表示装置１０１ｂの側面を拡大して模式的に示している。なお、図２のＢでは、偏光板１１２の図示は省略している。
　図２のＢの表示装置１０１ｂを、図２のＡの表示装置１０１ａと比較すると、解像度が上がることにより、画素１５１ｂ及びビームスプリッタ１５２ｂのピッチが狭くなっている。一方、表示パネル１１１ｂのガラス厚ｄｂは、表示パネル１１１ａのガラス厚ｄａとほぼ同様である。その結果、垂直視野角θｂが狭くなり、クロストークが発生しやすくなる。
　以上のように、表示装置１０１では、解像度が上がるほど、又は、表示パネル１１１のサイズが小さくなるほど、又は、表示パネル１１１のガラス厚が厚くなるほど、垂直視野角が狭くなり、クロストークが発生しやすくなる。
　また、今後、表示装置１０１の高解像度化がさらに進むことが予想され、垂直視野角がさらに狭くなることが想定される。これに対して、例えば、表示パネル１１１のガラス厚を薄くすることが考えられるが、耐久性や生産性等を考慮すると、表示パネル１１１のガラス厚を薄くするのには限界がある。
　さらに、表示装置１０１の高解像度化が進み、表示パネル１１１の微細化が進むことにより、パターンリターダ１１３の貼り付け精度に対する要求が厳しくなり、生産性が低下することが想定される。
　また、コンシューマ向けの３Ｄ方式のＴＶの販売低迷等により、パターンリターダを備える表示パネルの生産規模及び生産設備が縮小傾向にある。従って、例えば、医療用の３Ｄの表示装置のために新たな表示パネルを設計したり、生産設備を導入したりすることに対するコスト及びリスクが増大している。
　　＜アクティブリターダ方式の３Ｄ表示システムの課題＞
　図４は、パッシブ方式の３Ｄ表示システムの１つであるアクティブリターダ方式の３Ｄ表示システム２００の構成を模式的に示している。なお、図中、図１の３Ｄ表示システム１００と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　３Ｄ表示システム２００は、３Ｄ表示システム１００と比較して、偏光メガネ１０２を備える点で一致し、表示装置１０１の代わりに表示装置２０１を備える点が異なる。
　表示装置２０１は、表示パネル２１１、偏光板２１２、及び、アクティブリターダ２１３を備え、図示せぬバックライト用の光源側から、表示パネル２１１、偏光板２１２、アクティブリターダ２１３の順に積層されている。
　表示パネル２１１は、左眼用画像と右眼用画像が時分割で交互に配置されたフレームシーケンシャル方式の３Ｄ画像を表示する。
　偏光板２１２は、表示装置１０１の偏光板１１２と同様に、透過軸が表示パネル２１１の垂直方向と一致する偏光板である。
　アクティブリターダ２１３は、偏光板２１２の前面に配置され、偏光板２１２とともにシャッタ機構を構成する。アクティブリターダ２１３は、電気信号の印加により、位相差が＋λ／４又は－λ／４（λは使用波長）に切り替わる。
　表示装置２０１は、表示パネル１１１に左眼用画像と右眼用画像をフレーム単位で交互に表示するとともに、画像の切り替わりに同期して、アクティブリターダ２１３の位相差を切り替える。
　具体的には、図５に示されるように、左眼用画像の表示期間には、アクティブリターダ２１３への印加電圧がオン（Ｖｏｎ）にされ、アクティブリターダ２１３の位相差が－λ／４に設定される。これにより、バックライト用の光源（不図示）から表示パネル２１１に入射し、透過した左眼用画像をなす光（以下、左眼用画像光と称する）は、偏光板２１２及びアクティブリターダ２１３を透過することにより、左回り円偏光に変換される。従って、表示装置２０１から出射された左眼用画像光は、左眼用レンズ１３１Ｌを透過し、ユーザの左眼１０３Ｌに入射する一方、右眼用レンズ１３１Ｒの偏光板１４２Ｒにより遮光され、右眼１０３Ｒには入射しない。
　また、図６に示されるように、右眼用画像の表示期間には、アクティブリターダ２１３への印加電圧がオフ（Ｖｏｆｆ）にされ、アクティブリターダ２１３の位相差が＋λ／４に設定される。これにより、バックライト用の光源（不図示）から表示パネル２１１に入射し、透過した右眼用画像をなす光（以下、右眼用画像光と称する）は、偏光板２１２及びアクティブリターダ２１３を透過することにより、右回り円偏光に変換される。従って、表示装置２０１から出射された右眼用画像光は、右眼用レンズ１３１Ｒを透過することによりユーザの右眼１０３Ｒに入射する一方、左眼用レンズ１３１Ｌの偏光板１４２Ｌにより遮光され、左眼１０３Ｌには入射しない。
　このように、ユーザは、偏光メガネ１０２を介して表示装置２０１が表示する３次元画像を見ることにより、左眼用画像を左眼１０３Ｌで視認し、右眼用画像を右眼１０３Ｒで視認して、立体視することができる。
　しかしながら、３Ｄ表示システム２００では、左眼用画像と右眼用画像が時分割で表示されるため、動画像の表示時に、ユーザが認識する視差量のズレが生じ、奥行きズレが発生する場合がある。
　具体的には、図７は、表示装置２０１に入力される３次元画像の左眼用画像及び右眼用画像の撮像又は生成タイミングを示している。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順又は生成順を示す。例えば、左眼用画像Ｌ０と右眼用画像Ｒ０、左眼用画像Ｌ１と右眼用画像Ｒ１、左眼用画像Ｌ２及び右眼用画像Ｒ２、左眼用画像Ｌ３及び右眼用画像Ｒ３・・・は、それぞれ同じ時刻に撮像又は生成される。
　なお、以下、左眼用画像Ｌ０、Ｌ１、Ｌ２、Ｌ３・・・を個々に区別する必要がない場合、単に左眼用画像Ｌと称し、右眼用画像Ｒ０、Ｒ１、Ｒ２、Ｒ３・・・を個々に区別する必要がない場合、単に右眼用画像Ｒと称する。
　一方、図８に示されるように、左眼用画像Ｌと右眼用画像Ｒとは、表示装置２０１に交互に入力され、表示される。
　従って、本来は左右の眼で同時に視認されるべき左眼用画像Ｌと右眼用画像Ｒとが、０．５フレーム分の時間差で視認されるようになる。例えば、左眼用画像Ｌ０より０．５フレーム分だけ遅れて右眼用画像Ｒ０が視認される。そのため、被写体の動く向きや速度によって、見かけ上の視差が変化してしまう場合がある。
　例えば、左眼用画像Ｌが右眼用画像Ｒより先に表示される場合において、図９に示されるように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある被写体が、フレーム周期当たりΔｘ画素の速度で画像内の左から右へ移動する動画を表示する場合について説明する。
　図１０は、図８のようにＬ０－Ｒ０－Ｌ１－Ｒ１－Ｌ２－Ｒ２－・・・と並べ替えて動画を表示した様子を示している。
　上述したように、右眼用画像Ｒ０が左眼用画像Ｌ０よりも０．５フレーム分だけ遅れ、右眼用画像Ｒ１が左眼用画像Ｌ１よりも０．５フレーム分だけ遅れて表示される。また、左眼用画像Ｌ０と左眼用画像Ｌ１との間に、被写体はΔｘ画素だけ右へ移動する。従って、左眼用画像Ｌ０よりも０．５フレーム分だけ遅れて右眼用画像Ｒ０が表示される時刻において、ユーザの頭の中で、左眼用画像Ｌ０と左眼用画像Ｌ１の間の仮想の左眼用画像Ｌ０．５内において、被写体がΔｘ／２画素だけ右へ移動する。
　一方、左眼用画像Ｌ０．５と同じ時刻に表示される右眼用画像Ｒ０内の被写体は、左眼用画像Ｌ０と比較してｄ画素だけ右側にあるが、ユーザの頭の中で想起されている左眼用画像Ｌ０．５との間では、Δｘ／２画素だけ視差が小さくなる。従って、ユーザは、被写体が実際よりも近くにあると感じてしまうようになる。
　また、例えば、図１１に示されるように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある被写体が、フレーム周期当たりΔｘ画素の速度で画像内の右から左へ移動する動画を表示する場合について説明する。
　図１２は、図８のようにＬ０－Ｒ０－Ｌ１－Ｒ１－Ｌ２－Ｒ２－・・・と並べ替えて動画を表示した様子を示している。
　上述したように、右眼用画像Ｒ０が左眼用画像Ｌ０よりも０．５フレーム分だけ遅れ、右眼用画像Ｒ１が左眼用画像Ｌ１よりも０．５フレーム分だけ遅れて表示される。また、左眼用画像Ｌ０と左眼用画像Ｌ１との間に、被写体はΔｘ画素だけ左へ移動する。したがって、左眼用画像Ｌ０よりも０．５フレーム分だけ遅れて右眼用画像Ｒ０が表示される時刻において、ユーザの頭の中で、左眼用画像Ｌ０と左眼用画像Ｌ１の間の仮想の左眼用画像Ｌ０．５内において、被写体がΔｘ／２画素だけ左へ移動する。
　一方、左眼用画像Ｌ０．５と同じ時刻に表示される右眼用画像Ｒ０内の被写体は、左眼用画像Ｌ０と比較してｄ画素だけ左側にあるが、ユーザの頭の中で想起されている左眼用画像Ｌ０．５との間では、Δｘ／２画素だけ視差が大きくなる。従って、ユーザは、被写体が実際よりも遠くにあると感じてしまうようになる。
　例えば、３Ｄ表示システム２００を手術室のモニタとして用いる場合、この奥行きズレにより、被写体の前後関係が逆転する現象が発生すると、被写体である臓器を傷つける等の致命的なミスが発生するおそれがある。
　これに対して、例えば、奥行きズレを軽減するために、右眼用画像Ｒ０及び右眼用画像Ｒ１に基づいて、左眼用画像Ｌ０．５に対応する右眼用の補間画像を生成し、表示することが想定される。
　しかし、手術用の画像では、見やすさや見た目の美しさではなく、実体を正しく表現することが重要であり、補間画像を用いることは一般的に認められていない。また、補間画像を生成するために、１フレーム後の右眼用画像の撮像を待つ必要があり、画像の表示の遅延が発生する。これは、リアルタイム性が要求される手術現場では、致命的な問題となるおそれがある。
　　＜アクティブ方式の３Ｄ表示システムの問題点＞
　アクティブ方式の３Ｄ表示システムでは、アクティブリターダ方式の３Ｄ表示システム２００と同様に、左眼用画像及び右眼用画像が時分割に交互に表示される。従って、３Ｄ表示システム２００と同様に、奥行きズレが発生する場合がある。
　また、従来、手術用の３Ｄ画像のモニタとして、上述した偏光メガネ１０２を用いるパッシブ方式の３Ｄ表示システムが主に用いられている。一方、アクティブ方式で用いられるアクティブシャッタ方式の３Ｄメガネと、パッシブ方式で用いられる偏光メガネ１０２とは互換性がない。従って、手術室内に複数の表示装置がある場合、全ての表示装置をアクティブ方式に統一するか、又は、ユーザが表示装置によってメガネを変える必要がある。
　さらに、手術室内にアクティブ方式の表示装置が複数あり、複数のユーザが各表示装置を見る場合、各表示装置と各ユーザの３Ｄメガネとの同期を取る必要があり、制御が複雑になる。
　＜＜２．実施の形態＞＞
　次に、図１３乃至図１７を参照して、本技術の実施の形態について説明する。
　　＜顕微鏡手術システム３０１の構成例＞
　図１３は、本技術を適用した顕微鏡手術システム３０１の構成例を示している。
　顕微鏡手術システム３０１は、顕微鏡装置３１１、制御装置３１２、及び、表示装置３１３－１乃至表示装置３１３－ｎを備える。顕微鏡装置３１１及び制御装置３１２により、手術撮像システムが構成される。
　なお、以下、表示装置３１３－１乃至表示装置３１３－ｎを個々に区別する必要がない場合、単に表示装置３１３と称する。
　顕微鏡装置３１１は、観察対象（患者の手術部位）を拡大観察するための顕微鏡部３２１、顕微鏡部３２１を先端で支持するアーム部３２２、及び、アーム部３２２の基端を支持するベース部３２３を備える。
　顕微鏡部３２１は、略円筒形状の筒状部３３１、当該筒状部３３１の内部に設けられる撮像部（不図示）、並びに、筒状部３３１の外周の一部領域に設けられる操作部３３２を備える。顕微鏡部３２１は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（ビデオ式の顕微鏡部）である。
　筒状部３３１の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部３３１の内部の撮像部に入射する。なお、筒状部３３１の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
　撮像部は、観察光を集光する光学系、及び、当該光学系が集光した観察光を受光する撮像素子を備える。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、任意の方式のイメージセンサにより構成される。
　また、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有する。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
　なお、後述するように、顕微鏡装置３１１は、立体視（３Ｄ表示）に対応する左眼用画像及び右眼用画像をそれぞれ撮像する２つの撮像部を備える。３Ｄ表示が行われることにより、術者は術部の奥行きをより正確に把握することが可能になる。
　操作部３３２は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部３３２を介して、観察像の拡大倍率及び焦点距離（フォーカス）を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及びフォーカスが調整され得る。
　アーム部３２２は、複数のリンク（第１リンク３４２ａ乃至第６リンク３４２ｆ）が、複数の関節部（第１関節部３４１ａ乃至第６関節部３４１ｆ）によって互いに回動可能に連結されることによって構成される。
　第１関節部３４１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部３２１の筒状部３３１の上端を、当該筒状部３３１の中心軸と平行な回転軸（第１軸Ａ１）まわりに回動可能に支持する。ここで、第１関節部３４１ａは、第１軸Ａ１が顕微鏡部３２１の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ａ１まわりに顕微鏡部３２１を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
　第１リンク３４２ａは、先端で第１関節部３４１ａを固定的に支持する。具体的には、第１リンク３４２ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ａ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部３４１ａの外周の上端部に当接するように、第１関節部３４１ａに接続される。第１リンク３４２ａの略Ｌ字形状の基端側の他辺の端部に第２関節部３４１ｂが接続される。
　第２関節部３４１ｂは、略円柱形状を有し、その先端で、第１リンク３４２ａの基端を、第１軸Ａ１と直交する回転軸（第２軸Ａ２）まわりに回動可能に支持する。第２関節部３４１ｂの基端には、第２リンク３４２ｂの先端が固定的に接続される。
　第２リンク３４２ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ａ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部３４１ｂの基端に固定的に接続される。第２リンク３４２ｂの略Ｌ字形状の基端側の他辺には、第３関節部３４１ｃが接続される。
　第３関節部３４１ｃは、略円柱形状を有し、その先端で、第２リンク３４２ｂの基端を、第１軸Ａ１及び第２軸Ａ２と互いに直交する回転軸（第３軸Ａ３）まわりに回動可能に支持する。第３関節部３４１ｃの基端には、第３リンク３４２ｃの先端が固定的に接続される。第２軸Ａ２及び第３軸Ａ３まわりに顕微鏡部３２１を含む先端側の構成を回動させることにより、水平面内での顕微鏡部３２１の位置を変更するように、当該顕微鏡部３２１を移動させることができる。つまり、第２軸Ａ２及び第３軸Ａ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
　第３リンク３４２ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部３４１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク３４２ｃの基端側は角柱形状を有し、その端部に第４関節部３４１ｄが接続される。
　第４関節部３４１ｄは、略円柱形状を有し、その先端で、第３リンク３４２ｃの基端を、第３軸Ａ３と直交する回転軸（第４軸Ａ４）まわりに回動可能に支持する。第４関節部３４１ｄの基端には、第４リンク３４２ｄの先端が固定的に接続される。
　第４リンク３４２ｄは、略直線状に延伸する棒状の部材であり、第４軸Ａ４と直交するように延伸しつつ、その先端の端部が第４関節部３４１ｄの略円柱形状の側面に当接するように、第４関節部３４１ｄに固定的に接続される。第４リンク３４２ｄの基端には、第５関節部３４１ｅが接続される。
　第５関節部３４１ｅは、略円柱形状を有し、その先端側で、第４リンク３４２ｄの基端を、第４軸Ａ４と平行な回転軸（第５軸Ａ５）まわりに回動可能に支持する。第５関節部３４１ｅの基端には、第５リンク３４２ｅの先端が固定的に接続される。第４軸Ａ４及び第５軸Ａ５は、顕微鏡部３２１を上下方向に移動させ得る回転軸である。第４軸Ａ４及び第５軸Ａ５まわりに顕微鏡部３２１を含む先端側の構成を回動させることにより、顕微鏡部３２１の高さ、すなわち顕微鏡部３２１と観察対象との距離を調整することができる。
　第５リンク３４２ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク３４２ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部３４１ｅの基端が固定的に接続される。第５リンク３４２ｅの第２の部材の基端（下端）には、第６関節部３４１ｆが接続される。
　第６関節部３４１ｆは、略円柱形状を有し、その先端側で、第５リンク３４２ｅの基端を、鉛直方向と平行な回転軸（第６軸Ａ６）まわりに回動可能に支持する。第６関節部３４１ｆの基端には、第６リンク３４２ｆの先端が固定的に接続される。
　第６リンク３４２ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部３２３の上面に固定的に接続される。
　第１関節部３４１ａ乃至第６関節部３４１ｆの回転可能範囲は、顕微鏡部３２１が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部３２２においては、顕微鏡部３２１の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部３２１の動きに関して６自由度が実現されるようにアーム部３２２を構成することにより、アーム部３２２の可動範囲内において顕微鏡部３２１の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
　なお、図示するアーム部３２２の構成はあくまで一例であり、アーム部３２２を構成するリンクの数及び形状（長さ）、並びに、関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。
　ここで、第１関節部３４１ａ乃至第６関節部３４１ｆには、モータ等の駆動機構、及び、各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられる。そして、第１関節部３４１ａ乃至第６関節部３４１ｆに設けられる各アクチュエータの駆動が制御装置３１２によって適宜制御されることにより、アーム部３２２の姿勢、すなわち顕微鏡部３２１の位置及び姿勢が制御され得る。
　具体的には、制御装置３１２は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部３２２の現在の姿勢、並びに、顕微鏡部３２１の現在の位置及び姿勢を把握することができる。制御装置３１２は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部３２１の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置３１２によるアーム部３２２の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　制御装置３１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、ＣＣＵ（Camera Control Unit）等のいくつかを備える。制御装置３１２は、顕微鏡装置３１１及び表示装置３１３の動作を制御することにより、顕微鏡手術システム３０１の動作を統括的に制御する。
　例えば、制御装置３１２は、所定の制御方式に従って、第１関節部３４１ａ乃至第６関節部３４１ｆのアクチュエータを動作させることにより、アーム部３２２の駆動を制御する。
　また、例えば、制御装置３１２は、顕微鏡装置３１１の顕微鏡部３２１の撮像部を制御することにより、患者の手術部位の撮像処理を制御する。
　さらに、例えば、制御装置３１２は、顕微鏡装置３１１の顕微鏡部３２１の撮像部によって取得された撮像信号に各種の信号処理を施すことにより、表示用の３Ｄ画像信号を生成し、各表示装置３１３に出力する。当該信号処理では、例えば、現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、拡大処理（すなわち、電子ズーム処理）、３Ｄ画像生成処理等の各種の信号処理が行われる。
　なお、制御装置３１２と顕微鏡部３２１との通信、及び、制御装置３１２と第１関節部３４１ａ乃至第６関節部３４１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。
　なお、この例では、制御装置３１２は、顕微鏡装置３１１と別個の装置として設けられているが、制御装置３１２は、顕微鏡装置３１１のベース部３２３の内部に設置され、顕微鏡装置３１１と一体的に構成されてもよい。あるいは、制御装置３１２は、複数の装置によって構成されてもよい。例えば、顕微鏡部３２１や、アーム部３２２の第１関節部３４１ａ乃至第６関節部３４１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置３１２と同様の機能が実現されてもよい。
　各表示装置３１３は、パターンリターダ方式の表示装置（例えば、図１の表示装置１０１）、又は、アクティブリターダ方式の表示装置（例えば、図４の表示装置２０１）からなる。各表示装置３１３は、手術室内に設けられ、制御装置３１２の制御の下に、顕微鏡部３２１により撮像された患者の手術部位の３Ｄ画像を表示する。
　なお、各表示装置３１３の表示方式は、パターンリターダ方式又はアクティブリターダ方式の一方に統一されてもよいし、統一されなくてもよい。また、各表示装置３１３が、それぞれ表示方式を示す信号を制御装置３１２に供給するようにしてもよい。さらに、表示装置３１３は、必ずしも複数台設ける必要はなく、１台でもよい。
　　＜顕微鏡手術システム３０１の撮像機能の構成例＞
　図１４は、図１３の顕微鏡手術システム３０１の撮像機能の構成例を示している。
　顕微鏡装置３１１は、撮像部４０１Ｌ及び撮像部４０１Ｒを備える。
　制御装置３１２は、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒ、並びに、３Ｄ信号合成器４２２を備える。３Ｄ信号合成器４２２は、信号生成部４３１及び撮像制御部４３２を備える。
　撮像部４０１Ｌは、ＣＣＵ４２１Ｌの制御の下に、ユーザの左眼により視認される左眼用画像の撮像を行う。撮像部４０１Ｌは、左眼用画像を含む撮像信号（以下、左眼用撮像信号と称する）を生成し、信号生成部４３１に供給する。
　撮像部４０１Ｒは、ＣＣＵ４２１Ｒの制御の下に、撮像部４０１Ｌとは異なる角度から撮像部４０１と同じフレーム周期で、ユーザの右眼により視認される右眼用画像の撮像を行う。撮像部４０１Ｒは、右眼用画像を含む撮像信号（以下、右眼用撮像信号と称する）を生成し、信号生成部４３１に供給する。
　ＣＣＵ４２１Ｌは、撮像部４０１Ｌの制御を行う。例えば、ＣＣＵ４２１Ｌは、撮像制御部４３２から供給される左画像撮像制御信号に基づいて、撮像部４０１Ｌの撮像タイミングを制御する。
　ＣＣＵ４２１Ｒは、撮像部４０１Ｒの制御を行う。例えば、ＣＣＵ４２１Ｒは、撮像制御部４３２から供給される右画像撮像制御信号に基づいて、撮像部４０１Ｒの撮像タイミングを制御する。
　信号生成部４３１は、表示装置３１３の表示方式（パターンリターダ方式又はアクティブリターダ方式）を検出し、検出結果を撮像制御部４３２に通知する。また、信号生成部４３１は、左眼用撮像信号及び右眼用撮像信号に基づいて、表示装置３１３の表示方式に対応した３Ｄ画像を生成し、生成した３Ｄ画像を含む３Ｄ画像信号を生成する。信号生成部４３１は、３Ｄ画像信号を各表示装置３１３に出力する。さらに、信号生成部４３１は、制御装置３１２の動作の基準となる基準クロック信号を生成し、撮像制御部４３２に供給する。
　撮像制御部４３２は、表示装置３１３の表示方式に基づいて、撮像部４０１Ｌ及び撮像部４０１Ｒの撮像タイミングを制御する。具体的には、撮像制御部４３２は、表示装置３１３の表示方式に基づいて、撮像部４０１Ｌの撮像タイミングを制御するための左画像撮像制御信号、及び、撮像部４０１Ｒの撮像タイミングを制御するための右画像撮像制御信号を生成する。撮像制御部４３２は、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する。
　　＜撮像タイミング設定処理＞
　次に、図１５のフローチャートを参照して、顕微鏡手術システム３０１により実行される撮像タイミング設定処理について説明する。
　なお、この処理は、例えば、顕微鏡手術システム３０１による手術部位の撮像の開始時に行われる。
　ステップＳ１において、信号生成部４３１は、メインの表示装置３１３の表示方式を検出する。ここで、メインの表示装置３１３とは、例えば、メインの術者（例えば、執刀医）が見るように設定されている（メインの術者用の）表示装置３１３である。
　なお、表示方式の検出方法は、特に限定されない。
　例えば、信号生成部４３１は、メインの表示装置３１３から出力される表示方式を示す信号に基づいて、メインの表示装置３１３の表示方式を検出する。
　又は、例えば、ユーザは、図示せぬ制御装置３１２の入力部を介して、メインの表示装置３１３の表示方式を入力する。信号生成部４３１は、そのユーザ入力に基づいて、メインの表示装置３１３の表示方式を検出する。
　信号生成部４３１は、メインの表示装置３１３の表示方式を撮像制御部４３２に通知する。
　ステップＳ２において、撮像制御部４３２は、メインの表示装置３１３がアクティブリターダ方式であるか否かを判定する。メインの表示装置３１３がアクティブリターダ方式であると判定された場合、処理はステップＳ３に進む。
　ステップＳ３において、顕微鏡手術システム３０１は、左右の画像の撮像タイミングを１／２フレーム分ずらす。
　具体的には、信号生成部４３１は、例えば、１２０Ｈｚの基準クロック信号を生成し、撮像制御部４３２に供給する処理を開始する。
　撮像制御部４３２は、基準クロック信号に基づいて、左画像撮像制御信号及び右画像撮像制御信号を生成し、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する処理を開始する。
　左画像撮像制御信号及び右画像撮像制御信号は、例えば、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒが垂直同期信号を出力するタイミングを示す情報を含む。そして、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとが、１／２フレーム周期（フレーム周期の半分）だけずれるように制御する。すなわち、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとの時間差が、１／２フレーム周期となるように制御する。
　ここで、１フレーム周期とは、画像の撮像が開始されてから次の画像の撮像が開始されるまでの時間である。
　例えば、ＣＣＵ４２１Ｌは、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｌに出力する。一方、ＣＣＵ４２１Ｒは、６０Ｈｚの垂直同期信号を生成し、ＣＣＵ４２１Ｌと１／２フレーム周期だけずれたタイミングで撮像部４０１Ｒに出力する。
　撮像部４０１Ｌは、ＣＣＵ４２１Ｌからの垂直同期信号に従って、例えば、解像度が４Ｋでフレームレートが６０Ｐの左眼用画像を撮像する処理を開始する。また、撮像部４０１Ｌは、撮像した左眼用画像を含む左眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
　撮像部４０１Ｒは、ＣＣＵ４２１Ｒからの垂直同期信号に従って、撮像部４０１とは１／２フレーム周期だけずれたタイミングで、例えば、解像度が４Ｋでフレームレートが６０Ｐの右眼用画像を撮像する処理を開始する。また、撮像部４０１Ｒは、撮像した右眼用画像を含む右眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
　信号生成部４３１は、左眼用撮像信号に含まれる左眼用画像と、右眼用撮像信号に含まれる右眼用画像とをフレーム毎に交互に並べることにより、解像度が４Ｋでフレームレートが１２０Ｐのフレームシーケンシャル方式の３Ｄ画像を生成する処理を開始する。また、信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を生成し、各表示装置３１３に出力する処理を開始する。
　各表示装置３１３は、３Ｄ画像信号に基づく３Ｄ画像を表示する処理を開始する。
　その後、撮像タイミング設定処理は終了する。
　図１６は、メインの表示装置３１３がアクティブリターダ方式の場合の、左眼用画像の撮像タイミング、右眼用画像の撮像タイミング、及び、３Ｄ画像の生成タイミングを示すタイミングチャートである。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順を示す。
　例えば、まず左眼用画像Ｌ１の撮像が開始され、１／２フレーム周期が経過した後、右眼用画像Ｒ２の撮像が開始される。その後、左眼用画像Ｌと右眼用画像Ｒは、互いに１／２フレーム周期だけずれたタイミングで撮像される。
　また、撮像部４０１Ｌは、左眼用画像Ｌ１の撮像開始から約１／２フレーム周期の時間が経過した後、信号生成部４３１への左眼用画像Ｌ１の出力を開始する。左眼用画像Ｌ１の出力は約１／２フレーム周期の時間で行われ、左眼用画像Ｌ１の撮像の終了とほぼ同時に終了する。
　一方、撮像部４０１Ｒは、右眼用画像Ｒ２の撮像開始から約１／２フレーム周期の時間が経過した後、信号生成部４３１への右眼用画像Ｒ２の出力を開始する。右眼用画像Ｒ２の出力は約１／２フレーム周期の時間で行われ、右眼用画像Ｒ２の撮像の終了とほぼ同時に終了する。
　従って、左眼用画像Ｌと右眼用画像Ｒとは、１／２フレーム間隔で交互に信号生成部４３１に出力される。
　信号生成部４３１は、１／２フレーム間隔で交互に供給される左眼用画像Ｌと右眼用画像Ｒとを取得した順に時系列に並べることにより、フレームシーケンシャル方式の３Ｄ画像を生成する。信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を表示装置３１３に出力する。
　このように、左眼用画像Ｌと右眼用画像Ｒとの撮像タイミングを１／２フレーム周期だけずらすことにより、各左眼用画像Ｌ及び各右眼用画像Ｒを表示するタイミングにおける各画像内の被写体の位置関係が、現実の位置関係と略等しくなる。その結果、奥行きズレの発生が抑制され、３Ｄ画像の画質が向上する。
　図１５に戻り、一方、ステップＳ２において、メインの表示装置３１３がアクティブリターダ方式ではないと判定された場合、すなわち、メインの表示装置３１３がパターンリターダ方式であると判定された場合、処理はステップＳ４に進む。
　ステップＳ４において、顕微鏡手術システム３０１は、左右の画像の撮像タイミングを同期させる。
　具体的には、信号生成部４３１は、例えば、６０Ｈｚの基準クロック信号を生成し、撮像制御部４３２に供給する処理を開始する。
　撮像制御部４３２は、基準クロック信号に基づいて、左画像撮像制御信号及び右画像撮像制御信号を生成し、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する処理を開始する。
　左画像撮像制御信号及び右画像撮像制御信号は、上述したように、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒが垂直同期信号を出力するタイミングを示す情報を含む。そして、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとが同期するように制御する。
　例えば、ＣＣＵ４２１Ｌは、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｌに出力する処理を開始する。また、ＣＣＵ４２１Ｒは、ＣＣＵ４２１Ｌと同期して、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｒに出力する処理を開始する。
　撮像部４０１Ｌは、ＣＣＵ４２１Ｌからの垂直同期信号に従って、例えば、解像度が４Ｋでフレームレートが６０Ｐの左眼用画像を撮像する処理を開始する。また、撮像部４０１Ｌは、撮像した左眼用画像を含む左眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
　撮像部４０１Ｒは、ＣＣＵ４２１Ｒからの垂直同期信号に従って、撮像部４０１と同期して、例えば、解像度が４Ｋでフレームレートが６０Ｐの右眼用画像を撮像する処理を開始する。また、撮像部４０１Ｒは、撮像した右眼用画像を含む右眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
　信号生成部４３１は、左眼用撮像信号に含まれる左眼用画像の各画素行と、右眼用撮像信号に含まれる右眼用画像の各画素行とを、画素行毎に交互に並べることにより、ラインバイライン方式の３Ｄ画像を生成する処理を開始する。また、信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を生成し、各表示装置３１３に出力する処理を開始する。
　各表示装置３１３は、３Ｄ画像信号に基づく３Ｄ画像を表示する処理を開始する。
　その後、撮像タイミング設定処理は終了する。
　図１７は、メインの表示装置３１３がパターンリターダ方式の場合の、左眼用画像の撮像タイミング、右眼用画像の撮像タイミング、及び、３Ｄ画像の生成タイミングを示すタイミングチャートである。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順を示す。
　例えば、左眼用画像Ｌ１と右眼用画像Ｒ１の撮像が同時に開始され、以下、左眼用画像Ｌと右眼用画像Ｒの各フレームが同期して、同じタイミングで撮像される。
　また、撮像部４０１Ｌと撮像部４０１Ｒは、左眼用画像Ｌと右眼用画像Ｒの信号生成部４３１への出力を同期して行う。
　信号生成部４３１は、左眼用画像Ｌの各画素行と右眼用画像Ｒの各画素行とを、画素行毎に交互に並べたラインバイライン方式の３Ｄ画像を生成する。信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を表示装置３１３に出力する。
　その後、撮像タイミング設定処理は終了する。
　以上のようにして、アクティブリターダ方式の表示装置３１３を用いた場合の奥行きズレの発生を抑制することができ、３Ｄ画像の画質が向上する。
　また、アクティブリターダ方式の表示装置３１３を用いた場合、パターンリターダ方式の表示装置３１３を用いた場合と比較して、３Ｄ画像の縦方向の解像度が向上する。また、図２を参照して上述した垂直視野角の制限がないため、表示装置３１３の解像度を上げて、画像を高精細化したり、表示装置３１３を小型化したりすることが可能になる。
　また、従来手術現場で用いられているシステムとの互換性を確保することができる。例えば、従来手術現場で一般的に使用されている安価で軽量な偏光メガネ１０２を用いることができる。また、例えば、従来手術現場で使用されているパターンリターダ方式の表示装置３１３を用いることができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　図１３及び図１４の顕微鏡手術システム３０１の構成は、その一例であり、変更することが可能である。
　例えば、撮像部４０１Ｌ及び撮像部４０１Ｒを筐体が異なる撮像装置にそれぞれ設けるようにしてもよい。
　例えば、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒを制御装置３１２とは別に設けたり、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒを一体化したりするようにしてもよい。
　例えば、撮像制御部４３２が、各表示装置３１３の表示方式を検出するようにしてもよい。
　また、以上の説明では、撮像タイミングの制御に用いるメインの表示装置３１３をメインの術者が見る表示装置３１３に設定する例を示したが、異なる条件に基づいてメインの表示装置３１３を設定するようにしてもよい。例えば、最も多くのユーザが見る表示装置３１３をメインの表示装置３１３に設定するようにしてもよい。
　さらに、例えば、複数の表示装置３１３の中で最も多い表示方式に基づいて、撮像タイミングを制御するようにしてもよい。
　また、本技術は、上述したビデオ顕微鏡手術だけでなく、例えば、ビデオ内視鏡手術、オープンイメージング手術（ビデオ開腹手術）等の３Ｄ画像を用いた各種の手術用の３Ｄ手術システムに適用できる。
　さらに、本技術は、手術以外の用途に用いられる３Ｄ画像の撮像及び表示を行う場合にも適用できる。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理（例えば、制御装置３１２の処理）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、
　前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、
　前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、
　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
　を備え、
　前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
　手術撮像システム。
（２）
　前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
　前記（１）に記載の手術撮像システム。
（３）
　前記撮像制御部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが前記フレーム周期の半分だけずれるように制御し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが同期するように制御する
　前記（２）に記載の手術撮像システム。
（４）
　前記信号生成部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、ラインバイライン方式の前記３Ｄ画像信号を生成する
　前記（３）に記載の手術撮像システム。
（５）
　前記撮像制御部は、前記表示装置からの表示方式を示す信号に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
　前記（２）乃至（４）のいずれかに記載の手術撮像システム。
（６）
　前記撮像制御部は、前記３Ｄ画像を表示する前記表示装置が複数ある場合、メインの術者用の前記表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
　前記（２）乃至（５）のいずれかに記載の手術撮像システム。
（７）
　前記信号生成部は、アクティブリターダ方式の表示装置に前記３Ｄ画像信号を出力する
　前記（１）に記載の手術撮像システム。
（８）
　前記信号生成部は、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成する
　前記（７）に記載の手術撮像システム。
（９）
　前記第１の撮像部及び前記第２の撮像部は、４Ｋの解像度及び６０Ｐのフレームレートで撮像し、
　前記信号生成部は、４Ｋの解像度及び１２０Ｐのフレームレートの前記３Ｄ画像信号を生成する
　前記（１）乃至（８）のいずれかに記載の手術撮像システム。
（１０）
　手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、
　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
　を備え、
　前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
　信号処理装置。
（１１）
　手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが、前記フレーム周期の半分だけずれるように制御し、
　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する
　信号処理方法。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１００　３Ｄ表示システム，　１０１　表示装置，　１０２　偏光メガネ，　１１１　表示パネル，　１１２　偏光板，　１１３　パターンリターダ，　２００　３Ｄ表示システム，　２０１　表示装置，　２１１　表示パネル，　２１２　偏光板，　２１３　アクティブリターダ，　３０１　顕微鏡手術システム，　３１１　顕微鏡装置，　３１２　制御装置，　３１３－１乃至３１３－ｎ　表示装置，　４０１Ｌ，４０１Ｒ　撮像部，　４２１Ｌ，４２１Ｒ　ＣＣＵ，　４２２　３Ｄ信号合成器，　４３１　信号生成部，　４３２　撮像制御部

Claims (11)

  1. 　手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、
    　前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、
    　前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、
    　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
    　を備え、
    　前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
    　手術撮像システム。
  2. 　前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    　請求項１に記載の手術撮像システム。
  3. 　前記撮像制御部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが前記フレーム周期の半分だけずれるように制御し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが同期するように制御する
    　請求項２に記載の手術撮像システム。
  4. 　前記信号生成部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、ラインバイライン方式の前記３Ｄ画像信号を生成する
    　請求項３に記載の手術撮像システム。
  5. 　前記撮像制御部は、前記表示装置からの表示方式を示す信号に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    　請求項２に記載の手術撮像システム。
  6. 　前記撮像制御部は、前記３Ｄ画像を表示する前記表示装置が複数ある場合、メインの術者用の前記表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    　請求項２に記載の手術撮像システム。
  7. 　前記信号生成部は、アクティブリターダ方式の表示装置に前記３Ｄ画像信号を出力する
    　請求項１に記載の手術撮像システム。
  8. 　前記信号生成部は、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成する
    　請求項７に記載の手術撮像システム。
  9. 　前記第１の撮像部及び前記第２の撮像部は、４Ｋの解像度及び６０Ｐのフレームレートで撮像し、
    　前記信号生成部は、４Ｋの解像度及び１２０Ｐのフレームレートの前記３Ｄ画像信号を生成する
    　請求項１に記載の手術撮像システム。
  10. 　手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、
    　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
    　を備え、
    　前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
    　信号処理装置。
  11. 　手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが、前記フレーム周期の半分だけずれるように制御し、
    　前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する
    　信号処理方法。
PCT/JP2020/028388 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法 WO2021024804A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021537689A JP7484922B2 (ja) 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法
EP20850257.5A EP4013050A4 (en) 2019-08-05 2020-07-22 SURGICAL IMAGING SYSTEM, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD
US17/630,926 US20220273161A1 (en) 2019-08-05 2020-07-22 Surgical image-capturing system, signal processing device, and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-143718 2019-08-05
JP2019143718 2019-08-05

Publications (1)

Publication Number Publication Date
WO2021024804A1 true WO2021024804A1 (ja) 2021-02-11

Family

ID=74503476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028388 WO2021024804A1 (ja) 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法

Country Status (4)

Country Link
US (1) US20220273161A1 (ja)
EP (1) EP4013050A4 (ja)
JP (1) JP7484922B2 (ja)
WO (1) WO2021024804A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313448A (ja) * 1994-05-27 1995-12-05 Olympus Optical Co Ltd 立体内視鏡撮像装置
JP2013070165A (ja) * 2011-09-21 2013-04-18 Canon Inc ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
WO2017138208A1 (ja) * 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
WO2018163499A1 (ja) * 2017-03-10 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2018152657A (ja) 2017-03-10 2018-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828357B (zh) * 2011-09-30 2016-01-20 李汶基 图像处理系统以及图像处理方法
EA032105B1 (ru) * 2014-12-31 2019-04-30 Ооо "Альт" Способ и система для отображения трехмерных объектов
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313448A (ja) * 1994-05-27 1995-12-05 Olympus Optical Co Ltd 立体内視鏡撮像装置
JP2013070165A (ja) * 2011-09-21 2013-04-18 Canon Inc ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
WO2017138208A1 (ja) * 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
WO2018163499A1 (ja) * 2017-03-10 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2018152657A (ja) 2017-03-10 2018-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4013050A4

Also Published As

Publication number Publication date
EP4013050A4 (en) 2022-12-21
JPWO2021024804A1 (ja) 2021-02-11
EP4013050A1 (en) 2022-06-15
JP7484922B2 (ja) 2024-05-16
US20220273161A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP5641200B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP4131818B2 (ja) 光軸合わせ能力を有する単軸立体ビデオ撮像装置
US10681339B2 (en) Surgical microscope, image processing device, and image processing method
JP2004524553A6 (ja) 光軸合わせ能力を有する単軸立体ビデオ撮像装置
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
JP2013106189A (ja) 撮像装置
US20190281227A1 (en) Medical observation device and control method
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2001238229A (ja) 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
US20080158671A1 (en) Three-Dimensional Image Display Apparatus Using Flat Panel Display
WO2021024804A1 (ja) 手術撮像システム、信号処理装置、及び、信号処理方法
WO2012108187A1 (ja) 立体視用画像生成装置および方法、並びにプログラム
JP2011053564A (ja) 表示装置および撮像装置
JP2014007648A (ja) 画像処理装置と画像処理方法およびプログラム
JP2013090180A (ja) 立体映像撮影表示装置
TWI746370B (zh) 頭戴式顯示裝置
WO2013046833A1 (ja) 画像表示装置及びその視差調整表示方法並びに画像撮像装置
JP2013105000A (ja) 映像表示装置及び映像表示方法
JPH01319721A (ja) 実体顕微鏡
JP2011182003A (ja) パノラマカメラ及び３６０度パノラマ立体映像システム
JP2005266569A (ja) 三次元ディスプレイシステム
US20060077545A1 (en) Apparatus to align stereoscopic display
JP2013167746A (ja) 撮像装置
JP2011158644A (ja) 表示装置
JP2006023599A (ja) ２ｄ／３ｄ切換式ディスプレイシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20850257

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021537689

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020850257

Country of ref document: EP

Effective date: 20220307