WO2018225346A1 - 医療用システム及び制御ユニット - Google Patents

医療用システム及び制御ユニット Download PDF

Info

Publication number
WO2018225346A1
WO2018225346A1 PCT/JP2018/012730 JP2018012730W WO2018225346A1 WO 2018225346 A1 WO2018225346 A1 WO 2018225346A1 JP 2018012730 W JP2018012730 W JP 2018012730W WO 2018225346 A1 WO2018225346 A1 WO 2018225346A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal processing
processing unit
medical system
surgical imaging
Prior art date
Application number
PCT/JP2018/012730
Other languages
English (en)
French (fr)
Inventor
菊地　大介
雄生 杉江
幸弘 中村
健太郎 深沢
憲治 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18813871.3A priority Critical patent/EP3636135A4/en
Priority to US16/617,528 priority patent/US11451698B2/en
Priority to CN201880035116.5A priority patent/CN110678116B/zh
Priority to JP2019523359A priority patent/JP7163913B2/ja
Publication of WO2018225346A1 publication Critical patent/WO2018225346A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • This disclosure relates to medical systems and control units.
  • multiple cameras may be used simultaneously.
  • an exoscope may be used when observing the front of the operative field
  • an endoscope may be used when observing a deep part of the operative field.
  • the images captured by a plurality of cameras are displayed as they are, the two images are viewed differently, which makes the viewer feel uncomfortable.
  • the same subject is captured and displayed, there is a problem that it is difficult to recognize that the subject is the same subject when the appearance is different, and it is difficult to recognize the relationship between two images. .
  • Patent Document 1 determines the enlargement / reduction magnification and the phase shift amount based on the protruding length of the probe tip and the bending angle of the scope tip, and normally observes the size of an observation target such as a lesion. It matches the observation target size of the image.
  • the technique described in Patent Document 1 is to match the image sizes when the positional relationship of the other image with respect to one image is determined in advance, and both images according to images captured by different devices. I don't expect anything to be seen.
  • a plurality of surgical imaging devices and a control unit that is connected to each of the surgical imaging devices and includes a signal processing unit that links images captured by the surgical imaging devices.
  • a medical system is provided.
  • control unit that includes a signal processing unit that is connected to each of a plurality of surgical imaging apparatuses and cooperates with images captured by the surgical imaging apparatuses.
  • a plurality of surgical imaging devices a control unit to which each of the surgical imaging devices is connected, and each of the plurality of control units are connected, and each of the surgical imaging devices is
  • a medical system including an integrated device having a signal processing unit that links captured images.
  • FIG. 1 It is a schematic diagram which shows the example in the case of using together the exoscope image which can be image
  • 2 is a schematic diagram showing a system in which a plurality of CCUs to which a plurality of camera units are connected are provided and each CCU is connected to an integrated device 600.
  • FIG. 1 is a schematic diagram showing a system in which a plurality of CCUs to which a plurality of camera units are connected are provided and each CCU is connected to an integrated device 600.
  • System configuration example 2 2. Configuration of signal processing unit 3. Adjustment of color of exoscope image and endoscope image 4. Adjustment of shake between exoscope image and endoscope image 5. Adjustment of brightness and contrast of exoscope image and endoscope image 6. Adjustment of exoscope image and endoscopic image resolution, depth of field 7. Adjustment of noise between exoscope image and endoscope image 8. Adjustment of orientation and angle of view of exoscope image and endoscope image 10. Adjustment of depth feeling between exoscope image and endoscope image Configuration example including a plurality of CCUs to which a plurality of camera units are connected
  • the surgical system 1000 includes a plurality of camera units 100, a CCU (control unit) 200 that can connect a plurality of cameras and can output a plurality of outputs, and a plurality of monitors 300. .
  • the surgical system 1000 generates a plurality of output images by signal processing from information of a plurality of input signals from the plurality of camera units 100 and outputs the generated images to the monitor 300.
  • FIG. 2 further includes an input module (camera head unit) 400 that relays between the camera unit 100 and the CCU 200 with respect to the configuration shown in FIG. It is a schematic diagram which shows the structural example of the system which inputs an image into CCU200 above.
  • the input module 400 is used to ensure compatibility between the camera unit 100 and the CCU 200.
  • the plurality of camera units 100 are a plurality of cameras used for surgery.
  • an endoscope rigid endoscope, flexible endoscope
  • an external endoscope exoscope
  • the surgical system 1000 may include a light source device that irradiates the subject when the camera unit 100 images the subject.
  • the plurality of camera units 100 may be used simultaneously during surgery.
  • an exoscope may be used when observing the front of the operative field
  • an endoscope may be used when observing a deep part of the operative field.
  • processing for matching the appearance of the images of the plurality of camera units 100 is performed.
  • processing for linking the images of the plurality of camera units 100 is performed.
  • Examples of combinations of a plurality of camera units 100 used at the same time include an endoscope and an exoscope, an endoscope and a surgical microscope, a rigid endoscope and a flexible endoscope, an endoscope and an operative field camera, and the like.
  • the endoscope is suitable for observing the details of the subject, but if the endoscope is moved away from the subject in order to capture a wider range, the image is distorted.
  • the exoscope is equipped with a dedicated optical system, and in such cases, it is possible to capture images without causing distortion, and a sufficient distance can be secured between the subject and the exoscope. There is an advantage that it is easy.
  • the operative field camera is a camera that captures the entire surgical situation.
  • FIG. 3 is a schematic diagram illustrating the configuration and operation of the signal processing unit 210 in the CCU 200 in a system in which an exoscope and an endoscope are connected to the CCU 200 as the plurality of camera units 100.
  • the signal processing unit 210 is provided in the CCU 200 to which the plurality of camera units 100 are connected, and based on an image generated based on an imaging signal obtained from one camera unit 100 and an imaging signal obtained from the other camera unit 100. Processing is performed to match the appearance of the generated image.
  • the signal processing unit 210 includes an adjustment parameter calculation unit 212, an adjustment parameter application unit 214, and an adjustment parameter application unit 216.
  • the adjustment parameter calculation unit 212 receives exoscope image information (hereinafter also referred to as an exoscope image) 10 and endoscope image information (hereinafter also referred to as an endoscopic image) 12.
  • the adjustment trigger 14 is input to the adjustment parameter calculation unit 212.
  • the adjustment trigger 14 is information determined from the outside or an input image, and is information serving as a trigger for performing adjustment using an adjustment parameter. For example, when it is detected that the exoscope image 10 and the endoscope image 12 are the same subject, an adjustment trigger is generated.
  • the adjustment parameter is a parameter for performing processing for matching the appearance of the exoscope image 10 and the endoscope image 12.
  • the adjustment trigger 14 does not occur, the process of matching the appearance of the exoscope image 10 and the endoscope image 12 is not performed, and the exoscope image 10 and the endoscope image 12 are processed independently.
  • the adjustment parameter calculation unit 212 receives the color, brightness, contrast, and field from the exoscope image 10, the endoscope image 12, or both. Adjustment parameters relating to depth, noise, angle of view, image orientation, and the like are calculated.
  • the adjustment parameter is sent to one or both of the adjustment parameter application unit 214 and the adjustment parameter application unit 216.
  • the adjustment parameter application unit 214 Upon receiving the adjustment parameter, the adjustment parameter application unit 214 applies the adjustment parameter to the exos image 10.
  • the adjustment parameter application unit 216 applies the adjustment parameter to the endoscopic image 12.
  • the signal processing unit 210 applies the adjustment parameter to one or both of the exoscope image 10 and the endoscope image 12, and generates each output image.
  • the appearance of the exoscope image 10 and the endoscopic image 12 can be matched, and after the user observes the image obtained from one camera unit 100, the image obtained from the other camera unit 100 is observed. In this case, it is possible to prevent a difference in the appearance of the subject.
  • the adjustment trigger 14 depends on the user operation, the operator's state (position), information on the connected device, and the like. Can be generated.
  • the adjustment trigger 14 is generated when the user operates the operation input unit of the CCU 200.
  • the adjustment trigger 14 is generated according to the condition of the operator, for example, the position of the operator is determined from an image of a surgical field camera installed in the operating room, and the observation by the exoscope is performed based on the position of the operator
  • the adjustment trigger 14 is generated when it is determined that the operator is performing observation with an endoscope.
  • the adjustment trigger is generated based on the information of the connected device, it is predetermined that the device identification information is acquired from each of the plurality of camera units 100 connected to the CCU 200 and the adjustment trigger 14 is generated.
  • the adjustment trigger 14 is generated.
  • the endoscopic image 12 may be matched with the exoscopic image 10 based on the exoscopic image 10, or the endoscopic image 12 may be used as a reference.
  • the exoscopic image 10 may be matched with the endoscopic image 12.
  • FIG. 4 is a schematic diagram showing a case where the subject is observed using the exoscope 110 and the endoscope 120 simultaneously.
  • the exoscope 110 is used when observing the front of the operative field
  • the endoscope 120 is used when observing a deep part of the operative field.
  • the case where 110 and the endoscope 120 are used together is conceivable.
  • the exoscope 110 and the endoscope 120 irradiate the subject using illumination by different light sources.
  • the exoscope 110 irradiates the subject with illumination by the light source device (1) 400
  • the endoscope 120 irradiates the subject 500 with illumination by the light source device (2) 410.
  • the exoscope 110 and the endoscope 120 receive light passing through different lenses with different sensors. For this reason, the exoscope 110 and the endoscope 120 usually have different colors even when development processing is performed with the same parameters.
  • FIG. 5 is a schematic diagram showing a display method of the exoscope image 10 and the endoscopic image 12.
  • a method for displaying two images there are a method in which two monitors 300 are arranged side by side and two images are displayed, and a method in which the two images are temporally switched and displayed on one monitor 300.
  • the viewers feel uncomfortable because the colors of the two images are different. For example, even if the same subject is captured and displayed, if the colors are different, it is difficult to recognize that the subject is the same subject, and it is difficult to associate the two images.
  • FIG. 6 is a schematic diagram illustrating a processing method for displaying the color of the image of the endoscope 120 in accordance with the color of the image of the exoscope 110.
  • the same subject and area are captured in the two images. At that time, by matching the two images, it is possible to detect whether or not they are the same subject, and it is possible to detect a common area. In the example illustrated in FIG. 6, it is detected by block matching that the region A of the exoscope image 10 and the region B of the endoscopic image 12 are the same subject and a common region.
  • the linear form of the equation (1) is the RGB value from the endoscopic image 12 to the exoscope image 10.
  • the coefficients (a to i) for conversion correspond to adjustment parameters. Therefore, the color of the endoscopic image 12 can be matched with the color of the exoscope image 10.
  • FIG. 8 is a schematic diagram showing a processing method for matching the blur between the exoscope image 10 and the endoscopic image 12. Similar to FIG. 6, in FIG. 8, it is detected by block matching that the region A of the exoscope image 10 and the region B of the endoscopic image 12 are the same subject and a common region.
  • the exoscope image 10 of the exoscope 110 fixed by the fixing tool 20 has no shake as shown in the region A of FIG.
  • the endoscope 120 is supported by a person, the endoscope image 12 is shaken as shown in a region B in FIG. Therefore, the endoscopic image 12 in which the shake is generated is matched with the exoscopic image 10 in which the shake is not generated.
  • the endoscope image 12 is tracked in accordance with the exoscope image 10 and the shake component of the endoscope image 12 is determined. By removing, the shake of the endoscopic image 12 is corrected. Thereby, since the shake of the endoscopic image 12 is removed according to the stationary exoscope image 10, when the user moves his / her line of sight between the exoscopic image 10 and the endoscopic image 12, It is possible to suppress a sense of incongruity.
  • the shake of the endoscope image 12 is corrected without using the exoscope image 10.
  • the shake of the endoscope image 12 is corrected by recognizing the shake of the endoscope image 12 from the translation, enlargement, and rotation components of the endoscope image 12 and multiplying by the inverse matrix of the shake.
  • FIG. 9 is a schematic diagram showing an example in which the brightness (brightness) and contrast of the exoscope image 10 and the endoscopic image 12 are matched.
  • the method for calculating the conversion coefficient for the brightness of each color can be performed in the same manner as in the case of matching the colors described in FIG.
  • the luminance Y1 of the exoscopic image 10 is converted from the luminance Y1 of the endoscopic image 12 by the following equation (2).
  • the brightness value at the corresponding position (indicated by x in the figure) in each region A and B is the endoscopic image.
  • FIG. 9 shows an example in which the exoscopic image 10 is combined with the endoscopic image 12.
  • the conversion coefficient may be applied to the entire screen by calculating one coefficient mainly from the center area of the image, or by calculating the coefficient for each corresponding area in the image and applying the coefficient for each area. Also good. By calculating a coefficient for each corresponding region and applying the coefficient for each region, the contrast of the exoscope image 10 and the endoscopic image 12 can be matched.
  • FIG. 10 is a schematic diagram showing an example of matching the resolution and depth of field between the exoscope image 10 and the endoscopic image 12. is there.
  • the conversion coefficient is calculated by replacing the RGB values in FIG. 6 and Equation (1) with a value DR indicated by the difference between the maximum value and the minimum value of the pixel values in the predetermined area around the target pixel.
  • the value of the difference DR in the corresponding position (indicated by x in the figure) in each of the areas A and B is the endoscope.
  • one coefficient may be calculated mainly from the central area of the image and applied to the entire screen, or the coefficient may be calculated for each corresponding area and applied to each area.
  • FIG. 11 is a schematic diagram showing an example of matching noise between the exoscope image 10 and the endoscope image 12.
  • the calculation method of the conversion coefficient is the same as that in the case where the colors described in FIG.
  • the conversion coefficient is calculated assuming that the RGB value in FIG. 6 and Equation (1) is replaced with the standard deviation ⁇ of the pixel value in the predetermined area around the target pixel.
  • noise standard deviation ⁇ of the corresponding positions (indicated by x in the drawing) in each of the areas A and B that are matched to each other in the same position of the same subject.
  • ⁇ B in the endoscopic image 12 and ⁇ A in the exoscope image 10 the noise relationship of each image is expressed in a linear form as shown in the following equation (4). be able to.
  • equation (4) a is a conversion coefficient.
  • ⁇ A a ⁇ ⁇ B (4)
  • FIG. 12 is a schematic diagram showing an example in which the directions and angles of view of the exoscope image 10 and the endoscope image 12 are matched. In this case, geometric correction is performed based on the matching result between the exoscopic image 10 and the endoscopic image 12, and correction is performed to align the direction of the endoscopic image 12 with the direction of the exoscopic image 10.
  • the positional relationship and correspondence between the exoscope image 10 and the endoscopic image 1 are acquired by block matching or the like, and geometric correction is performed based on the result.
  • the orientation of the endoscope image 12 is adapted to the orientation of the exoscope image 10. It should be noted that the orientation of the endoscope shown in the exoscope image 10 may be detected, and correction on / off may be automatically switched according to the orientation. For example, if the endoscope is oriented so that the top and bottom of the endoscopic image 12 and the exoscopic image 10 are reversed, the correction is turned on.
  • FIG. 13 is a schematic diagram showing an example in which an exoscope image 10 that can be photographed in 3D and an endoscope image 12 that can be photographed in 3D are used together. is there.
  • the viewpoint is switched from the monitor 300 that displays the 3D image of the exoscope image 10 to the monitor 300 that displays the 3D image of the endoscopic image 12
  • the sense of depth of the attention point on the exoscope image 10 and the internal If the sense of depth differs greatly from the corresponding point of interest (corresponding point) on the endoscopic image 12, the user feels uncomfortable when switching the line of sight.
  • the sense of depth of the attention point on the exoscope image 10 and the corresponding point on the endoscopic image 12 are aligned to the same extent, so that it is possible to reduce a sense of incongruity when the user switches the line of sight.
  • the depth range is greatly different between the endoscopic image 12 and the exoscope image 10
  • the parallax is adjusted to one side, there is a possibility that a subject that protrudes too much or is retracted excessively on the 3D image may exist. is there. Therefore, when the depth estimation is performed from the left and right eye images in each of the endoscopic image 12 and the exoscope image 10, and one depth range is extremely larger than the other depth range (one depth range and the other depth range). If the difference between the two exceeds a predetermined value), the parallax adjustment may not be performed, or the degree of parallax adjustment may be reduced.
  • the point of interest on the image in the present embodiment may be designated by a user using a user interface (UI) such as a pointing device, or may be detected automatically by a line-of-sight detection device.
  • UI user interface
  • a surgical instrument such as an electric knife or forceps may be detected, and for example, the tip of an electric knife or forceps that is easily noticed by a doctor as a user on the image may be set as a point of interest.
  • a central portion of an image that is generally easy to gather viewpoints may be set as a point of interest.
  • FIG. 14 is a schematic diagram illustrating a system 2000 that includes a plurality of CCUs 200 to which a plurality of camera units 100 are connected, and each CCU 200 is connected to an integrated apparatus 600.
  • image information of the camera unit 100 is sent to the integrated device 600 via the CCU 200.
  • the signal processing unit 210 illustrated in FIG. 3 is provided in the integrated device 600 instead of the CCU 200.
  • the integration apparatus 600 performs processing for matching the appearance of images sent from the camera units 100 by the function of the signal processing unit 210. Therefore, according to the system 2000 illustrated in FIG. 14, it is possible to unify the appearance of the images of the camera units 100 connected to the CCUs 200 connected to the integration apparatus 600.
  • a medical system comprising: (2) The medical system according to (1), wherein the plurality of surgical imaging devices include at least two of an endoscope, an external endoscope, a microscope, and a surgical field camera. (3) The medical system according to (1) or (2), wherein the signal processing unit switches whether to perform the cooperation according to the occurrence of an adjustment trigger. (4) The signal processing unit performs processing for the cooperation according to the occurrence of the adjustment trigger, The medical system according to any one of (1) to (3), wherein the adjustment trigger is generated by a user operation.
  • the signal processing unit performs processing for the cooperation according to the occurrence of the adjustment trigger, The medical system according to any one of (1) to (3), wherein the adjustment trigger is generated when the plurality of surgical imaging devices capture the same subject.
  • the signal processing unit performs processing for the cooperation according to the occurrence of the adjustment trigger, The medical system according to any one of (1) to (3), wherein the adjustment trigger is generated according to a state of an operator who performs an operation.
  • the signal processing unit performs processing for the cooperation according to the occurrence of the adjustment trigger, The medical system according to any one of (1) to (3), wherein the adjustment trigger is generated according to identification information for identifying the plurality of surgical imaging apparatuses.
  • a medical system comprising:

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】手術用に複数の撮像装置が使用される場合に、各撮像装置が撮像した画像の見え方を揃える。 【解決手段】本開示によれば、複数の手術用撮像装置と、前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、を備える、医療用システムが提供される。この構成により、手術用に複数の撮像装置が配置される場合に、各撮像装置が撮像した画像の見え方を揃えることが可能となる。

Description

医療用システム及び制御ユニット
　本開示は、医療用システム及び制御ユニットに関する。
　従来、例えば下記の特許文献１には、プローブ型内視鏡を使用可能な内視鏡装置においては、プローブ先端部の位置およびスコープ先端部の湾曲程度に関係なく、２つの画像を正確にマッチングさせて合成画像を生成することが記載されている。
特開２０１１－５５９３９号公報
　医療用撮像装置において、複数のカメラが同時に使用される場合がある。例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープが用いられ、術野の奥まった部分を観察する際に内視鏡が用いられる場合がある。このような場合に、複数のカメラが撮像した画像をそのまま表示すると、２つの画像の見え方が異なるため、観察者に違和感が生じる。また、例えば同じ被写体を撮像して表示していても、見え方が異なると同じ被写体であることの認識が困難になる、２つの画像間の関係の認識が困難になる、等の問題が生じる。
　上記特許文献１に記載された技術は、プローブ先端部の突出長さおよびスコープ先端部の湾曲角に基づき、拡大／縮小倍率および位相シフト量を決定し、病変部などの観察対象サイズを通常観察画像の観察対象サイズと一致させるものである。特許文献１に記載された技術は、一方の画像に対する他方の画像の位置関係が予め定まっている場合に画像サイズを一致させるものであり、異なる装置で撮像された画像に応じて、双方の画像の見え方を揃えることは何ら想定していない。
　そこで、手術用に複数の撮像装置が使用される場合に、各撮像装置が撮像した画像の見え方を揃えることが望まれていた。
　本開示によれば、複数の手術用撮像装置と、前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、を備える、医療用システムが提供される。
　また、本開示によれば、複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備える、制御ユニットが提供される。
　また、本開示によれば、複数の手術用撮像装置と、前記手術用撮像装置のそれぞれが接続された制御ユニットと、複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、を備える、医療用システムが提供される。
　以上説明したように本開示によれば、手術用に複数の撮像装置が使用される場合に、各撮像装置が撮像した画像の見え方を揃えることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の各実施形態に係る手術用システムの概略構成を示す模式図である。 図１の構成に対して、カメラ部とＣＣＵとの間を中継する入力モジュールを更に備える構成を示す模式図である。 ＣＣＵ内の信号処理部の構成及び動作を示す模式図である。 エクソスコープと内視鏡を同時に併用して被写体を観察する場合を示す模式図である。 エクソスコープ画像と内視鏡画像の表示方法を示す模式図である。 内視鏡の画像の色味をエクソスコープの画像の色味に合わせて表示するための処理方法を示す模式図である。 エクソスコープ画像と内視鏡画像のブレを合わせる例を説明するための模式図である。 エクソスコープ画像と内視鏡画像のブレを合わせる例を説明するための模式図である。 エクソスコープ画像と内視鏡画像の明るさ（輝度）、コントラストを合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像の解像感、被写界深度を合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像のノイズを合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像の画像の向きを合わせる例を示す模式図である。 ３Ｄで撮影が可能なエクソスコープ画像と３Ｄで撮影が可能な内視鏡画像を併用する場合の例を示す模式図である。 複数のカメラ部が接続されたＣＣＵを複数備え、各ＣＣＵが統合装置６００に接続されたシステムを示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．信号処理部の構成
３．エクソスコープ画像と内視鏡画像の色の調整
４．エクソスコープ画像と内視鏡画像の振れの調整
５．エクソスコープ画像と内視鏡画像の明るさ、コントラストの調整
６．エクソスコープ画像と内視鏡画像の解像感、被写界深度の調整
７．エクソスコープ画像と内視鏡画像のノイズの調整
８．エクソスコープ画像と内視鏡画像の向き、画角の調整
９．エクソスコープ画像と内視鏡画像の奥行き感の調整
１０．複数のカメラ部が接続されたＣＣＵを複数備える構成例
１．システムの構成例
　まず、図１を参照して、本開示の各実施形態に係る手術用システム１０００の概略構成について説明する。図１に示すように、この手術用システム１０００は、複数のカメラ部１００と、複数のカメラを接続可能で複数の出力が可能なＣＣＵ（制御ユニット）２００と、複数のモニタ３００から構成される。手術用システム１０００は、複数のカメラ部１００からの複数の入力信号の情報から、信号処理によって複数の出力画像を生成し、モニタ３００へ出力する。
　図２は、図１の構成に対して、カメラ部１００とＣＣＵ２００との間を中継する入力モジュール（カメラヘッド部）４００を更に備え、手術用システム１０００が入力モジュール４００にて前処理を行った上でＣＣＵ２００に画像を入力するシステムの構成例を示す模式図である。入力モジュール４００は、カメラ部１００とＣＣＵ２００との互換性を確保するため等に用いられる。
　本実施形態において、複数のカメラ部１００は、手術に用いられる複数のカメラであって、例えば内視鏡（硬性内視鏡、軟性内視鏡）、体外視鏡（エクソスコープ）、顕微鏡、術野カメラ、などが該当する。手術用システム１０００は、カメラ部１００が被写体を撮像する際に被写体を照射する光源装置を含んでいても良い。
　複数のカメラ部１００は、手術の際に同時に使用される場合がある。例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープが用いられ、術野の奥まった部分を観察する際に内視鏡が用いられる場合がある。一例として、開頭した脳内の動脈瘤について、患部の表側をエクソスコープで観察し、患部の裏側は内視鏡を挿入して観察する場合などが考えられる。このような場合に、本実施形態では、複数のカメラ部１００のそれぞれの画像の見え方を合わせる処理を行う。換言すれば、本実施形態では、複数のカメラ部１００のそれぞれの画像を連携させる処理を行う。同時に使用される複数のカメラ部１００の組み合わせとして、例えば、内視鏡とエクソスコープ、内視鏡と手術用顕微鏡、硬性内視鏡と軟性内視鏡、内視鏡と術野カメラ、等が挙げられる。なお、内視鏡鏡は被写体の細部を観察する場合に適しているが、より広範囲を撮影しようとして被写体から内視鏡を遠ざけると、画像が歪んでしまう。エクソスコープは、専用の光学系を備えることで、このような場合に画像に歪みを生じることなく撮像が可能であり、被写体とエクソスコープとの間に十分な距離を確保できるため、手術を行い易いといった利点がある。また、術野カメラは、手術状況を全体的に撮影するカメラである。
２．信号処理部の構成
　図３は、複数のカメラ部１００としてエクソスコープと内視鏡の２つをＣＣＵ２００に接続したシステムにおいて、ＣＣＵ２００内の信号処理部２１０の構成及び動作を示す模式図である。信号処理部２１０は、複数のカメラ部１００が接続されるＣＣＵ２００に設けられ、一方のカメラ部１００から得た撮像信号に基づいて生成する画像と他方のカメラ部１００から得た撮像信号に基づいて生成する画像の見え方を合わせるように処理を行う。
　図３に示すように、信号処理部２１０は、調整パラメータ算出部２１２、調整パラメータ適用部２１４、調整パラメータ適用部２１６を有する。調整パラメータ算出部２１２には、エクソスコープの画像情報（以下、エクソスコープ画像とも称する）１０と内視鏡の画像情報（以下、内視鏡画像とも称する）１２が入力される。
　また、調整パラメータ算出部２１２には、調整トリガ１４が入力される。調整トリガ１４は、外部あるいは入力画像から定められる情報であって、調整パラメータによる調整を行うトリガとなる情報である。例えば、エクソスコープ画像１０と内視鏡画像１２がともに同じ被写体であることが検出された場合、調整トリガが発生する。
　調整トリガ１４が発生すると、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理が行われる。調整パラメータは、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理を行うためのパラメータである。一方、調整トリガ１４が発生しない場合は、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理は行われず、エクソスコープ画像１０と内視鏡画像１２は独立して処理される。
　調整トリガ１４が発生して調整パラメータ算出部２１２に入力されると、調整パラメータ算出部２１２は、エクソスコープ画像１０、内視鏡画像１２、あるいはその両方から、色、輝度、コントラスト、被写界深度、ノイズ、画角、画像向き等に関する調整パラメータを算出する。調整パラメータは、調整パラメータ適用部２１４と調整パラメータ適用部２１６のいずれか一方、または双方に送られる。調整パラメータ適用部２１４は、調整パラメータを受け取ると、調整パラメータをエクソス画像１０に適用する。また、調整パラメータ適用部２１６は、調整パラメータを受け取ると、調整パラメータを内視鏡画像１２に適用する。以上のようにして、信号処理部２１０は、調整パラメータをエクソスコープ画像１０、内視鏡画像１２のいずれか、あるいはその両方に適用し、それぞれの出力画像を生成する。これにより、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせることができ、ユーザが一方のカメラ部１００から得られる画像を観察した後、他方のカメラ部１００から得られる画像を観察した際に、被写体の見え方に相違が生じてしまうことを抑止できる。
　調整トリガ１４は、上述したようにエクソスコープ画像１０と内視鏡画像１２が同一被写体である場合の他にも、ユーザ操作、術者の状態（位置）、接続した機器の情報、等々に応じて発生させることができる。ユーザ操作によって発生させる場合、ユーザがＣＣＵ２００の操作入力部を操作すると、調整トリガ１４が発生する。術者の状態に応じて調整トリガ１４を発生させる場合、例えば、手術室に設置される術野カメラの画像から術者の位置を判定し、術者の位置に基づいて、エクソスコープによる観察に加えて内視鏡による観察を術者が行っていると判定される場合に調整トリガ１４を発生させる。また、接続した機器の情報に基づいて調整トリガを発生させる場合、ＣＣＵ２００に接続された複数のカメラ部１００のそれぞれから機器の識別情報を取得し、調整トリガ１４を発生させることが予め定められている複数のカメラ部１００がＣＣＵ２００に接続されている場合に、調整トリガ１４を発生させる。
　エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる場合に、エクソスコープ画像１０を基準としてエクソスコープ画像１０に内視鏡画像１２を合わせても良いし、内視鏡画像１２を基準として内視鏡画像１２にエクソスコープ画像１０を合わせても良い。また、見え方を合わせる基準となるターゲット画像に対して、エクソスコープ画像１０と内視鏡画像１２のそれぞれを合わせても良い。
３．エクソスコープ画像と内視鏡画像の色の調整
　図４は、エクソスコープ１１０と内視鏡１２０を同時に併用して被写体を観察する場合を示す模式図である。上述のように、例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープ１１０が用いられ、術野の奥まった部分を観察する際に内視鏡１２０が用いられるため、エクソスコープ１１０と内視鏡１２０を同時に併用する場合が考えられる。
　このとき、エクソスコープ１１０と内視鏡１２０は、異なる光源による照明を用いて被写体を照射する。図４に示すように、エクソスコープ１１０は光源装置（１）４００による照明で被写体を照射し、内視鏡１２０は光源装置（２）４１０による照明で被写体５００を照射する。
　また、エクソスコープ１１０と内視鏡１２０は、異なるレンズを通った光を異なるセンサで受光する。このため、エクソスコープ１１０と内視鏡１２０とでは、同じパラメータで現像処理を行っても互いの色味が異なるのが通常である。
　図５は、エクソスコープ画像１０と内視鏡画像１２の表示方法を示す模式図である。図５に示すように、２つの画像を表示する方法として、モニタ３００を２つ並べて２つの画像を表示する方法と、２つの画像を時間的に切り替えて１つのモニタ３００に表示する方法がある。しかし、色味が異なる２つの画像をそのまま表示すると、２つの画像の色味が異なることで観察者に違和感が生じる。また、例えば同じ被写体を撮像して表示していても、色味が異なると同じ被写体であることの認識が難しくなり、２つの画像の対応付けをすることが困難となる。
　このため、本実施形態では、内視鏡画像１２の色味とエクソスコープ画像１０の色味を合わせて表示する。この際、調整パラメータをエクソスコープ画像、内視鏡画像、あるいはその両方に適用することで、エクソスコープ１１０の画像と内視鏡１２０の画像の色味を揃える。図６は、内視鏡１２０の画像の色味をエクソスコープ１１０の画像の色味に合わせて表示するための処理方法を示す模式図である。
　まず、２つの画像で同じ被写体及び領域が写っているかどうかを判定する。その際、２つの画像のマッチングを取ることにより、同じ被写体かどうかを検出することができ、また共通の領域を検出することができる。図６に示す例では、ブロックマッチングにより、エクソスコープ画像１０の領域Ａと内視鏡画像１２の領域Ｂとが同じ被写体であり、共通の領域であることを検出している。
　次に、内視鏡画像１２の色味をエクソスコープ画像１０の色味に合わせる場合の処理方法の例を説明する。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の色の値が、内視鏡画像１２では（Ｒ１,Ｇ１,Ｂ１）、エクソスコープ画像１０では（Ｒ２,Ｇ２,Ｂ２）であった場合、それぞれの画像の色（ＲＧＢ値）の関係は以下の式（１）で示すような線形式で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　このとき、複数の点のＲＧＢ値から最小二乗法で上記の方程式を解き、係数ａ～ｉを求めると、式（１）の線形式が内視鏡画像１２からエクソスコープ画像１０へのＲＧＢ値の変換式となる。ここで、変換のための係数（ａ～ｉ）は、調整パラメータに相当する。よって、内視鏡画像１２の色味をエクソスコープ画像１０の色味に合わせることができる。
４．エクソスコープ画像と内視鏡画像の振れの調整
　次に、図７及び図８に基づいて、エクソスコープ１１０と内視鏡１２０を同時に併用して観察する場合に、エクソスコープ画像１０と内視鏡画像１２のブレを合わせる処理（手振れ除去処理）について説明する。図７に示すように、通常、エクソスコープ１１０は固定具２０によって固定されているが、内視鏡１２０はスコピストまたは術者が手で持つことになる。従って、内視鏡画像１２にブレが生じる場合がある。
　図８は、エクソスコープ画像１０と内視鏡画像１２のブレを合わせるための処理方法を示す模式図である。図６と同様に、図８では、ブロックマッチングにより、エクソスコープ画像１０の領域Ａと内視鏡画像１２の領域Ｂとが同じ被写体であり、共通の領域であることを検出している。固定具２０で固定されたエクソスコープ１１０のエクソスコープ画像１０は、図８の領域Ａに示すように振れが生じていない。一方、内視鏡１２０は人が支えているため、内視鏡画像１２では、図８の領域Ｂに示すように振れが生じている。従って、振れの生じていないエクソスコープ画像１０に対して振れの生じている内視鏡画像１２を合わせる。
　ブロックマッチングにより、領域Ａと領域Ｂが同じ被写体および領域であることが判定されると、エクソスコープ画像１０に合わせて内視鏡画像１２のトラッキングを行い、内視鏡画像１２の振れの成分を除去することで、内視鏡画像１２の振れの補正を行う。これにより、静止しているエクソスコープ画像１０に合わせて内視鏡画像１２の振れが除去されるため、ユーザがエクソスコープ画像１０と内視鏡画像１２との間で視線を移した際に、違和感が生じることを抑制できる。
　また、ブロックマッチングの結果、エクソスコープ画像１０と内視鏡画像１２とで異なる領域が映っていた場合には、エクソスコープ画像１０を用いずに、内視鏡画像１２の振れの補正を行う。この場合、内視鏡画像１２の並進、拡大、回転成分から内視鏡画像１２の振れを認識し、振れの逆行列を掛け合わせることにより、内視鏡画像１２の振れ補正を行う。
５．エクソスコープ画像と内視鏡画像の明るさ、コントラストの調整
　図９は、エクソスコープ画像１０と内視鏡画像１２の明るさ（輝度）、コントラストを合わせる例を示す模式図である。各色の明るさの変換係数の算出方法は、図６で説明した色味を合わせる場合と同様に行うことができる。ＲＧＢ値から変換して得られる輝度Ｙを合わせる際には、以下の式（２）によりエクソスコープ画像１０の輝度Ｙ１から内視鏡画像１２の輝度Ｙ２へ変換を行う。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の輝度の値が、内視鏡画像１２ではＹ２であり、エクソスコープ画像１０ではＹ１であった場合、それぞれの画像のノイズの関係は以下の式（２）で示すような線形式で表すことができる。なお、式（２）において、ａは変換係数である。
Ｙ２＝ａ・Ｙ１　　　・・・（２）
　Ｒ,Ｇ,ＢもしくはＹの関係を元に、暗い画像にゲインをかけて明るさを調整する。図９では、内視鏡画像１２にエクソスコープ画像１０を合わせた例を示している。変換係数は、画像の主に中心領域から一つの係数を算出して全画面に適用してもよいし、画像内の対応する領域毎それぞれで係数を算出して領域毎に係数を適用してもよい。対応する領域毎それぞれで係数を算出して領域毎に係数を適用することで、エクソスコープ画像１０と内視鏡画像１２のコントラストを一致させることができる。
６．エクソスコープ画像と内視鏡画像の解像感、被写界深度の調整
　図１０は、エクソスコープ画像１０と内視鏡画像１２の解像感、被写界深度を合わせる例を示す模式図である。図６及び式（１）におけるＲＧＢ値を、注目画素周辺の所定領域の画素値の最大値と最小値の差分で示される値ＤＲに置き換えて変換係数を算出する。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の差分ＤＲの値が、内視鏡画像１２ではＤＲＢであり、エクソスコープ画像１０ではＤＲＡであった場合、それぞれの画像の注目画素周辺の最大値と最小値の差分は以下の式（３）で示すような線形式で表すことができる。なお、式（３）において、ａは変換係数である。
ＤＲＢ＝ａ・ＤＲＡ　　　・・・（３）
　ＤＲの比率を元に、ＤＲが小さい方の強調処理の強度を強める。この場合も、画像の主に中心領域から一つの係数を算出して全画面に適用してもよいし、対応する領域毎それぞれで係数を算出して領域毎に係数を適用してもよい。被写界深度の深い一方の画像に合わせて強調処理を行うことで、他方の画像の被写界深度も深くすることができる。
７．エクソスコープ画像と内視鏡画像のノイズの調整
　図１１は、エクソスコープ画像１０と内視鏡画像１２のノイズを合わせる例を示す模式図である。変換係数の算出方法は、図６で説明した色味を合わせる場合と同様である。図６及び式（１）におけるＲＧＢ値を、注目画素周辺の所定領域の画素値の標準偏差σに置き換えたものとして変換係数を算出する。
　この場合も、互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）のノイズ（標準偏差σ）の値が、内視鏡画像１２ではσＢであり、エクソスコープ画像１０ではσＡであった場合、それぞれの画像のノイズの関係は以下の式（４）で示すような線形式で表すことができる。なお、式（４）において、ａは変換係数である。
σＡ＝ａ・σＢ　　　・・・（４）
　ノイズσの比率に基づいて、ノイズが多い方の画像のノイズリダクション（ＮＲ）の強度を強める。また、単純にノイズリダクションの強度の強弱を調整するだけでなく、ノイズが多い方の画像にノイズリダクションを適用する際に、ノイズが少ない方の画像のエッジ情報を用いてノイズリダクションを適用するようにして、より高性能なノイズリダクションを行うようにしてもよい。
８．エクソスコープ画像と内視鏡画像の向き、画角の調整
　図１２は、エクソスコープ画像１０と内視鏡画像１２の画像の向き、画角を合わせる例を示す模式図である。この場合、エクソスコープ画像１０と内視鏡画像１２のマッチング結果に基づき幾何補正を行い、エクソスコープ画像１０の向きに対して内視鏡画像１２の向きを合わせる補正を行う。
　具体的には、例えばブロックマッチングなどでエクソスコープ画像１０と内視鏡画像１との間の位置関係、対応関係を取得し、その結果を元に幾何補正を行う。図１２に示す例では、内視鏡画像１２の画像の向きがエクソスコープ画像１０の画像に向きに適合されている。なお、エクソスコープ画像１０内に映る内視鏡の向きを検出して、その向きに応じて補正のオン／オフを自動で切り替えてもよい。例えば、内視鏡画像１２とエクソスコープ画像１０の天地が逆になる向きに内視鏡が向いていれば、補正をオンにする。
９．エクソスコープ画像と内視鏡画像の奥行き感の調整
　図１３は、３Ｄで撮影が可能なエクソスコープ画像１０と３Ｄで撮影が可能な内視鏡画像１２を併用する場合の例を示す模式図である。例えば、エクソスコープ画像１０の３Ｄ画像を表示するモニタ３００から、内視鏡画像１２の３Ｄ画像を表示するモニタ３００へ視点を切り替える際に、エクソスコープ画像１０上での注目点の奥行き感と内視鏡画像１２上で対応する注目点（対応点）との奥行き感が大きく異なっていると、ユーザにおける視線切り換え時の違和感が大きくなる。
　このため、エクソスコープ画像１０の左右眼画像からブロックマッチング処理等により注目点の視差ｄを検出し、同様に内視鏡画像１２の左右眼画像からもブロックマッチング処理等により対応点の視差ｄ’を検出する。そして、ｄ’＝ｄとなるように内視鏡画像１２の左右眼画像の視差調整処理を行う。
　また、内視鏡画像１２の３Ｄ画像を表示するモニタ３００から、エクソスコープ画像１０の３Ｄ画像を表示するモニタ３００へ視線を切り換える際には、逆にｄ＝ｄ’となるような視差調整をエクソスコープ画像１０側の左右眼画像に対して行う。
　以上のような視差調整により、エクソスコープ画像１０上の注目点と内視鏡画像１２上の対応点の奥行き感が同程度に揃うため、ユーザによる視線切り換え時の違和感を軽減することができる。
　内視鏡画像１２とエクソスコープ画像１０とで、奥行のレンジが大きく異なっている場合、視差を一方に合わせると、３Ｄ画像上で飛び出し過ぎ、または引っ込み過ぎな被写体が存在してしまう可能性がある。そこで、内視鏡画像１２とエクソスコープ画像１０の各々で左右眼画像から奥行推定を行い、一方の奥行レンジが他方の奥行レンジよりも極端に大きい場合（一方の奥行レンジと他方の奥行レンジとの差分が所定値を超える場合）は、視差調整を行わない、あるいは、視差調整の程度を低減する等の処理を行っても良い。
　なお、本実施形態における画像上の注目点は、ポインティングデバイス等のユーザインタフェース（ＵＩ）を用いてユーザが指定してもよいし、視線検出デバイスによる自動での注目点検出を行ってもよい。また、電気メスや鉗子等の術具検出を行い、例えば画像上でユーザである医師が注目しやすい電気メスや鉗子の先端を注目点に設定してもよい。また、一般的に視点が集まりやすい画像の中央部分を注目点に設定してもよい。
１０．複数のカメラ部が接続されたＣＣＵを複数備える構成例
　上述の例では、複数のカメラ部１００がＣＣＵ２００に接続された手術用システム１０００について説明したが、複数のカメラ部１００が接続されたＣＣＵ２００を複数備え、各ＣＣＵ２００が統合装置６００に接続されたシステムに適用することもできる。図１４は、複数のカメラ部１００が接続されたＣＣＵ２００を複数備え、各ＣＣＵ２００が統合装置６００に接続されたシステム２０００を示す模式図である。
　図１４に示すシステム２０００では、カメラ部１００の画像の情報はＣＣＵ２００を経由して統合装置６００に送られる。図１４に示すシステム２０００では、図３に示した信号処理部２１０は、ＣＣＵ２００ではなく統合装置６００に設けられている。統合装置６００は、信号処理部２１０の機能により、各カメラ部１００から送られた画像の見え方を合わせる処理を行う。従って、図１４に示すシステム２０００によれば、統合装置６００に接続されている各ＣＣＵ２００に接続された、各カメラ部１００の画像の見え方を統一することが可能となる。
　なお、上述の説明では、主としてエクソスコープ画像１０と内視鏡画像１２を同時に併用して観察する場合について説明したが、図５で説明したように、エクソスコープ画像１０と内視鏡画像１２切り換えて観察する場合にも適用可能である。その際は、切り換える直前の画像を保持しておき、その画像を用いて、切り換え後の画像の各種補正を行う。また、補正する画像はエクソスコープ画像１０もしくは内視鏡画像１２に限定されるものではなく、状況に応じて変えるようにしてもよい。
　以上説明したように本実施形態によれば、異なる２つのカメラ部１００を併用して同じ被写体を撮像した場合に、同じ見え方の画像を生成することができる。従って、２つの出力画像を並べて表示した場合、または、２つの出力画像を切り換えて表示した場合に、共に違和感のない観察が可能であり、２つの画像の互いの関係を把握することが容易になる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　複数の手術用撮像装置と、
　前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
　を備える、医療用システム。
（２）　複数の前記手術用撮像装置は、内視鏡、体外視鏡、顕微鏡、及び術野カメラの少なくとも２つ含む、前記（１）に記載の医療用システム。
（３）　前記信号処理部は、調整トリガの発生に応じて、前記連携を行うか否かを切り換える、前記（１）又は（２）に記載の医療用システム。
（４）　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
　前記調整トリガは、ユーザの操作によって発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（５）　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
　前記調整トリガは、複数の前記手術用撮像装置が同一の被写体を撮像する場合に発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（６）　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
　前記調整トリガは、手術を行う術者の状態に応じて発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（７）　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
　前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（８）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の色を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（９）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の明るさを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１０）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のコントラストを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１１）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の解像度を合わせる処理を行う、請求項１に記載の医療用システム。
（１２）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のノイズを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１３）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の被写界深度を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１４）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、請求項１に記載の医療用システム。
（１５）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１６）　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の画角を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１７）　前記信号処理部は、複数の前記手術用撮像装置の１つが撮像した画像を基準として他の手術用撮像装置が撮像した画像を連携させる、前記（１）～（１６）のいずれかに記載の医療用システム。
（１８）　前記信号処理部は、任意の目標画像を基準として複数の前記手術用撮像装置が撮像した画像を連携させる、前記（１）～（１６）のいずれかに記載の医療用システム。
（１９）　複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備える、制御ユニット。
（２０）　複数の手術用撮像装置と、
　前記手術用撮像装置のそれぞれが接続された制御ユニットと、
　複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
　を備える、医療用システム。
　１００　　カメラ部
　２００　　ＣＣＵ
　２１０　　信号処理部
　６００　　統合装置
　１０００　手術用システム

Claims (20)

  1. 　複数の手術用撮像装置と、
    　前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
    　を備える、医療用システム。
  2. 　複数の前記手術用撮像装置は、内視鏡、体外視鏡、顕微鏡、及び術野カメラの少なくとも２つ含む、請求項１に記載の医療用システム。
  3. 　前記信号処理部は、調整トリガの発生に応じて、前記連携を行うか否かを切り換える、請求項１に記載の医療用システム。
  4. 　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    　前記調整トリガは、ユーザの操作によって発生する、請求項１に記載の医療用システム。
  5. 　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    　前記調整トリガは、複数の前記手術用撮像装置が同一の被写体を撮像する場合に発生する、請求項１に記載の医療用システム。
  6. 　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    　前記調整トリガは、手術を行う術者の状態に応じて発生する、請求項１に記載の医療用システム。
  7. 　前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    　前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、請求項１に記載の医療用システム。
  8. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の色を合わせる処理を行う、請求項１に記載の医療用システム。
  9. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の明るさを合わせる処理を行う、請求項１に記載の医療用システム。
  10. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のコントラストを合わせる処理を行う、請求項１に記載の医療用システム。
  11. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の解像度を合わせる処理を行う、請求項１に記載の医療用システム。
  12. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のノイズを合わせる処理を行う、請求項１に記載の医療用システム。
  13. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の被写界深度を合わせる処理を行う、請求項１に記載の医療用システム。
  14. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、請求項１に記載の医療用システム。
  15. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、請求項１に記載の医療用システム。
  16. 　前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の画角を合わせる処理を行う、請求項１に記載の医療用システム。
  17. 　前記信号処理部は、複数の前記手術用撮像装置の１つが撮像した画像を基準として他の手術用撮像装置が撮像した画像を連携させる、請求項１に記載の医療用システム。
  18. 　前記信号処理部は、任意の目標画像を基準として複数の前記手術用撮像装置が撮像した画像を連携させる、請求項１に記載の医療用システム。
  19. 　複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備える、制御ユニット。
  20. 　複数の手術用撮像装置と、
    　前記手術用撮像装置のそれぞれが接続された制御ユニットと、
    　複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
    　を備える、医療用システム。
PCT/JP2018/012730 2017-06-05 2018-03-28 医療用システム及び制御ユニット WO2018225346A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18813871.3A EP3636135A4 (en) 2017-06-05 2018-03-28 MEDICAL SYSTEM AND CONTROL UNIT
US16/617,528 US11451698B2 (en) 2017-06-05 2018-03-28 Medical system and control unit
CN201880035116.5A CN110678116B (zh) 2017-06-05 2018-03-28 医疗系统和控制单元
JP2019523359A JP7163913B2 (ja) 2017-06-05 2018-03-28 医療用システム及び制御ユニット

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-110569 2017-06-05
JP2017110569 2017-06-05

Publications (1)

Publication Number Publication Date
WO2018225346A1 true WO2018225346A1 (ja) 2018-12-13

Family

ID=64567111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012730 WO2018225346A1 (ja) 2017-06-05 2018-03-28 医療用システム及び制御ユニット

Country Status (5)

Country Link
US (1) US11451698B2 (ja)
EP (1) EP3636135A4 (ja)
JP (1) JP7163913B2 (ja)
CN (1) CN110678116B (ja)
WO (1) WO2018225346A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7566907B2 (ja) 2019-12-10 2024-10-15 アースレックス インコーポレイテッド 二つ以上の自己照明カメラシステムの色補正のための方法および装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193231B (zh) * 2022-10-24 2023-07-18 成都与睿创新科技有限公司 用于处理微创手术视野异常的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61268239A (ja) * 1985-05-24 1986-11-27 株式会社東芝 総合画像診断装置
JP2004024835A (ja) * 2003-02-10 2004-01-29 Olympus Corp 手術用顕微鏡
JP2011055939A (ja) 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置
WO2016098736A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像システム
JP2016174809A (ja) * 2015-03-20 2016-10-06 テルモ株式会社 画像診断装置、その制御方法、プログラム及びコンピュータ可読記憶媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614943A (en) * 1991-12-19 1997-03-25 Olympus Optical Co., Ltd. Dissimilar endoscopes usable with a common control unit
JPH0785248A (ja) * 1993-09-13 1995-03-31 Toshiba Medical Eng Co Ltd イメージャへの送信時における輝度調整方式
JPH07261094A (ja) * 1994-03-25 1995-10-13 Olympus Optical Co Ltd 手術用顕微鏡
JP3744620B2 (ja) * 1996-09-25 2006-02-15 ソニー株式会社 画像照合装置及び画像照合方法
JP4638783B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 ３ｄ画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び３ｄ画像ファイルの生成方法
JP4529840B2 (ja) * 2005-08-15 2010-08-25 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2007117469A (ja) * 2005-10-28 2007-05-17 Konica Minolta Medical & Graphic Inc 小規模診断システム
US20140320684A1 (en) * 2007-04-03 2014-10-30 David Chatenever Universal Control Unit and Display With Non-Contact Adjustment Functionality
WO2009148041A1 (ja) * 2008-06-03 2009-12-10 株式会社 日立メディコ 医用画像処理装置及び医用画像処理方法
JP2010069208A (ja) * 2008-09-22 2010-04-02 Olympus Corp 画像処理装置、画像処理方法および画像処理用プログラム
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP5234139B2 (ja) 2010-05-20 2013-07-10 株式会社日本自動車部品総合研究所 無線通信装置
JPWO2012005108A1 (ja) 2010-07-09 2013-09-02 オリンパスメディカルシステムズ株式会社 画像記録再生システム
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
JP5697515B2 (ja) * 2011-04-01 2015-04-08 株式会社日立メディコ 医用画像表示装置
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックＩｐマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
US8882662B2 (en) * 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
JP2014123896A (ja) * 2012-12-21 2014-07-03 Olympus Imaging Corp 撮像装置、撮像方法、及びプログラム
JP6329557B2 (ja) * 2013-10-08 2018-05-23 オリンパス株式会社 撮像装置及び電子機器
CN104103053B (zh) * 2013-11-25 2017-10-20 北京华科创智健康科技股份有限公司 一种电子内窥镜图像增强的方法和装置
JP5790858B2 (ja) * 2014-09-03 2015-10-07 カシオ計算機株式会社 画像合成装置、画像合成方法、及びプログラム
US9936879B2 (en) * 2015-01-07 2018-04-10 Synaptive Medical (Barbados) Inc. Method, system and apparatus for adaptive image acquisition
EP3277152A4 (en) * 2015-03-25 2018-12-26 Camplex, Inc. Surgical visualization systems and displays
CN107613841B (zh) * 2015-05-27 2019-08-27 奥林巴斯株式会社 图像记录装置
JP2016225861A (ja) 2015-06-01 2016-12-28 ソニー株式会社 情報処理装置、情報処理方法、及び生体内撮像システム
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
JP2017072625A (ja) * 2015-10-05 2017-04-13 三菱電機株式会社 マルチ画面表示装置
JP2017086648A (ja) * 2015-11-13 2017-05-25 ソニー株式会社 手術システム、手術用制御方法、およびプログラム
WO2017091704A1 (en) * 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61268239A (ja) * 1985-05-24 1986-11-27 株式会社東芝 総合画像診断装置
JP2004024835A (ja) * 2003-02-10 2004-01-29 Olympus Corp 手術用顕微鏡
JP2011055939A (ja) 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置
WO2016098736A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像システム
JP2016174809A (ja) * 2015-03-20 2016-10-06 テルモ株式会社 画像診断装置、その制御方法、プログラム及びコンピュータ可読記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3636135A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7566907B2 (ja) 2019-12-10 2024-10-15 アースレックス インコーポレイテッド 二つ以上の自己照明カメラシステムの色補正のための方法および装置

Also Published As

Publication number Publication date
EP3636135A4 (en) 2020-06-10
CN110678116A (zh) 2020-01-10
EP3636135A1 (en) 2020-04-15
CN110678116B (zh) 2022-11-04
US20200128169A1 (en) 2020-04-23
JPWO2018225346A1 (ja) 2020-04-02
US11451698B2 (en) 2022-09-20
JP7163913B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2018084003A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP6908039B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
EP3598733B1 (en) Imaging device and video signal processing method
US10838189B2 (en) Operating microscope having an image sensor and a display, and method for operating an operating microscope
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
US11045090B2 (en) Apparatus and method for augmented visualization employing X-ray and optical data
CN110536629B (zh) 手术图像处理设备、图像处理方法和手术系统
WO2018225346A1 (ja) 医療用システム及び制御ユニット
US20140088353A1 (en) Stereo endoscope apparatus and image processing method in stereo endoscope apparatus
JP7063321B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
CN112334055A (zh) 医学观察系统、医学观察设备及医学观察设备的驱动方法
US11676242B2 (en) Image processing apparatus and image processing method
EP3595299A1 (en) Medical image display control device, medical image display device, medical information processing system, and medical image display control method
JP5989283B1 (ja) 撮像システム及び信号処理装置
US20220261967A1 (en) Endoscopic surgery system, image processing apparatus, and image processing method
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2022080008A1 (ja) 医療用画像処理装置及び医療用観察システム
CN112602115A (zh) 医疗系统、信息处理设备和信息处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18813871

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019523359

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018813871

Country of ref document: EP

Effective date: 20200107