WO2015001807A1 - 投影システム - Google Patents

投影システム Download PDF

Info

Publication number
WO2015001807A1
WO2015001807A1 PCT/JP2014/003557 JP2014003557W WO2015001807A1 WO 2015001807 A1 WO2015001807 A1 WO 2015001807A1 JP 2014003557 W JP2014003557 W JP 2014003557W WO 2015001807 A1 WO2015001807 A1 WO 2015001807A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
image data
control unit
imaging
Prior art date
Application number
PCT/JP2014/003557
Other languages
English (en)
French (fr)
Inventor
美馬　邦啓
雅明 中村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015525060A priority Critical patent/JP6152951B2/ja
Priority to EP14819736.1A priority patent/EP3018901A4/en
Publication of WO2015001807A1 publication Critical patent/WO2015001807A1/ja
Priority to US14/640,636 priority patent/US9354493B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a projection system that projects an image of a captured subject onto the surface of the subject.
  • Patent Document 1 discloses a surgical operation support system in which image data indicating a diseased part of a living body undergoing surgery is output from a fluorescent image capturing device, an image based on the image data is reproduced by an image projection device, and displayed on the actual diseased part.
  • a substance that fluoresces when irradiated with light of a predetermined wavelength is preliminarily administered to an affected part of a living body. That is, this system supports confirmation of a lesioned part by displaying a fluorescent image in which the affected part fluoresces on an actual affected part.
  • the projection system includes a light source, an imaging unit, a control unit, and a projection unit.
  • the light source emits light having a predetermined wavelength.
  • the imaging unit images a subject irradiated with light of a predetermined wavelength.
  • the control unit generates image data for projection based on the image captured by the imaging unit.
  • the projection unit projects a projection image based on the projection image data onto the subject.
  • the imaging unit captures a projected image together with an image of a region that has reacted to light of a predetermined wavelength on the subject.
  • the controller controls the projection image so that the image of the region responding to the light of the predetermined wavelength matches the projection image so that the image of the region responding to the light of the predetermined wavelength matches the projection image. Correct the image data.
  • the projection system of the present disclosure it is possible to project an image that allows the user to more accurately recognize the state of the subject by reducing the deviation of the projected image from the region that has responded to light of a predetermined wavelength.
  • FIG. The figure which shows the example of the image data of the catheter stored in memory
  • the figure which shows the example of the image data of the variation of the balloon Cross-sectional view of the affected area for explaining the state of use of the balloon during surgery Table showing an example of feature data for each type of surgical instrument 6 is a flowchart for explaining a projection image generation process in the surgery support system according to the first embodiment;
  • generation process of a projection image Flowchart for explaining image data generation processing in the surgery support system according to the first exemplary embodiment.
  • FIG. Schematic which shows the structure of the surgery assistance system concerning Embodiment 2.
  • FIG. Flowchart for explaining projection image generation processing according to the second embodiment The figure which shows an example of the projection image of the surgery assistance system concerning Embodiment 2.
  • FIG. The figure which shows the example of a display of the projection image by the image data correction process of Embodiment 2.
  • FIG. 10 is a diagram illustrating an example of image data for projection in the image data correction processing according to the second embodiment.
  • the figure explaining the view of the correction of the image data for projection in the surgery support system of Embodiment 2 Flowchart for explaining image data correction processing according to the second embodiment
  • FIG. 1 is a schematic diagram illustrating a configuration of a surgery support system according to a first embodiment.
  • the surgery support system is an example of a projection system.
  • the surgery support system projects an image representing the shape of the medical device onto the surface of the region where the medical device is inserted. Thereby, the user of the present surgery support system can check the position of the medical device inserted into the patient's body.
  • the surgery support system 100 includes an imaging device 1, a control unit 2, a projection unit 3, and a memory 4.
  • a medical device 20 is inserted into an operative field 101 of a patient 10 undergoing surgery.
  • the imaging device 1 includes a light source 11 and an imaging unit 12 and images the operative field 101.
  • the control unit 2 controls each unit of the surgery support system 100.
  • the control unit 2 performs processing described later on image data (image data) indicating an image captured by the image capturing apparatus 1 to generate image data for projection.
  • the projection unit 3 generates a projection image based on the projection image data, and projects the projection image onto the operative field 101.
  • the memory 4 stores an image database 41 and feature amount data 42. Details of the image database 41 and the feature data 42 will be described later.
  • the medical device 20 used for surgery is coated or kneaded with a photosensitive material that emits fluorescence when excited.
  • the photosensitive substance is, for example, a substance that excites and emits fluorescence when irradiated with near-infrared light, such as indocyanine green.
  • Photosensitive substances are drugs that can be used on the human body or animals.
  • the medical device 20 is an imaging target that is an imaging target of the imaging device 1.
  • the light source 11 of the imaging device 1 irradiates excitation light having a wavelength within the excitation wavelength region of the photosensitive substance.
  • the light source 11 emits light in the near-infrared wavelength band.
  • the light source 11 is arranged so as to surround the periphery of the imaging unit 12.
  • the imaging unit 12 is composed of, for example, a highly sensitive CCD camera or the like.
  • the imaging unit 12 captures a fluorescence image by fluorescence emission of the photosensitive substance of the medical device 20 and generates imaging data.
  • the imaging data is image data indicating a fluorescent image of the fluorescent light emitting area, and is output to the control unit 2.
  • the imaging unit 12 captures a visible light image of the surgical field 101 together with the fluorescent image.
  • the imaging unit 12 is configured by a camera group in which a plurality of cameras capable of detecting one or more types of light among, for example, visible light, fluorescence, and excitation light are configured, so that all the types of light described above can be obtained. It can be detected.
  • the imaging unit 12 generates imaging data indicating a fluorescent image. Note that the imaging unit 12 may output the entire image of the imaging result including the fluorescent image and the visible light image to the control unit 2, and in that case, the control unit 2 extracts the fluorescent image from the entire image of the imaging result. You may make it do.
  • the control unit 2 has a function of controlling the operations of the imaging device 1 and the projection unit 3. Further, the control unit 2 acquires imaging data from the imaging device 1 and reads shape information (described later) from the memory 4 to perform predetermined processing described later. Thereby, the control unit 2 generates image data to be projected from the projection unit 3 and outputs the image data to the projection unit 3.
  • the control unit 2 is configured by, for example, a CPU or MPU, and realizes its function by executing a predetermined program.
  • the function of the control unit 2 may be realized by an electronic circuit designed exclusively.
  • the projection unit 3 generates a projection image based on the image data from the control unit 2, and projects the projection image onto the surface of the affected part where the medical device 20 is inserted.
  • the projection unit 3 is composed of a projector, for example.
  • the memory 4 is connected to the control unit 2 so that the control unit 2 can read the shape information and perform the processing described later.
  • the shape information is image data indicating the shape of the medical device.
  • the shape information is not limited to the shape of the medical device, and may be image data of an object having a predetermined shape.
  • the memory 4 is an example of a storage unit.
  • the image database 41 manages shape information related to a plurality of medical devices.
  • 2A to 2C show examples of shape information of a plurality of types of surgical instruments included in the image database 41.
  • FIG. 2A shows the image data 51 of the catheter
  • FIG. 2B shows the image data 52 of the forceps
  • FIG. 2C shows the image data 51 of the Standing Retriever (hereinafter referred to as Treatment).
  • Each of the image data 51 to 53 is an example of shape information of each surgical instrument.
  • the catheter is a tubular surgical instrument inserted into the body of the patient 10.
  • One of the features of the catheter image data 51 is that it extends with a certain width along the longitudinal direction 51b to the distal end portion 51a.
  • a forceps is a surgical instrument used for grasping or pulling an affected part or a suture.
  • endoscope forceps are used by being inserted into the body of the patient 10.
  • One of the features of the forceps image data 52 is a bifurcated grip 52a provided at the tip.
  • MERCY is a surgical instrument that is inserted into a blood vessel or the like to remove the thrombus, and has a loop wire and a filament for entwining the thrombus.
  • One of the features of the Standing image data 53 is a spiral loop wire 53a provided at the tip.
  • the Merci image data 53 includes the filamentary filament 53b, but the image database 41 may include the Merci image data 53 excluding the filament 53b.
  • the image database 41 has image data of a plurality of types of surgical instruments as shown in FIGS. 2A to 2C, and also has image data of variations of each surgical instrument.
  • Variation image data is image data showing different shapes for each type of surgical instrument, for example, image data in which the orientation of the surgical instrument is changed, image data obtained by deforming the surgical instrument, or different shapes of the same type This is image data of the surgical instrument.
  • FIG. 3 shows an example of image data of the variation of the forceps in FIG. 2B.
  • the gripping portions 52a are opened at different angles.
  • the image database 41 may include image data of further variations regarding forceps.
  • the image database 41 further includes variation image data obtained by rotating the image data 52A to 52C about the forceps in the longitudinal direction 52b.
  • FIG. 4A shows an example of balloon variation image data.
  • the balloon is a surgical instrument that is used by inflating the distal end portion inserted into the body of the patient 10, and another balloon having a different shape is used according to the insertion location or the like.
  • 4A for example, image data 54 of a balloon having an elliptical tip 54a and image data of a balloon having an elliptical tip 54b flattened in the longitudinal direction from the tip 54a. 54 '.
  • the distal end portion 204a of the actual balloon 204 is deformed so as to expand within the body of the patient 10 by, for example, an external pump.
  • the image database 41 further includes image data of variations obtained by deforming the tip portions 54a and 54b, for example, for each of the balloon image data 54 and 54 '.
  • Feature amount data 42 is data representing the feature amount of each surgical instrument in the shape information included in the image database 41.
  • FIG. 5 shows an example of the feature data 42 relating to each type of surgical instrument of FIGS. 2A to 2C.
  • feature amounts a, b, and c are set for surgical instruments such as a catheter, forceps, and Giveaway.
  • a value indicating a representative shape feature for each surgical instrument in the image database 41 is set.
  • the catheter feature values a 1, b 1, and c 1 are values extracted from the image data 51.
  • the feature amount a is, for example, an amount representing the similarity between the shape of each surgical instrument and the tubular shape, and is defined by the length in the longitudinal direction extending with a certain width in each image data.
  • the feature amount b is, for example, an amount representing the similarity between the distal end portion of each surgical instrument and the bifurcated shape, and is defined by the degree of opening of the distal end portion of each image data.
  • FIG. 6 is a flowchart for explaining projection image generation processing in the surgery support system 100.
  • the imaging device 1 when an operation is performed in the surgery support system 100 shown in FIG. 1, the imaging device 1 first drives the light source 11 to irradiate the surgical field 101 including the medical device 20 with excitation light (step S ⁇ b> 110).
  • the excitation light from the light source 11 also reaches the medical device 20 inserted into the patient 10. Therefore, the photosensitive material applied to the surface of the medical device 20 or kneaded into the medical device 20 is excited to emit fluorescence.
  • the imaging apparatus 1 images the surgical field 101 from the imaging unit 12 (step S120).
  • the imaging unit 12 detects fluorescence emission from the medical device 20 inserted into the body of the patient 10 and generates imaging data indicating a fluorescent image of the medical device 20.
  • the imaging data is output to the control unit 2.
  • the control unit 2 performs image data generation processing based on the imaging data and the shape information stored in the memory 4 (step S130).
  • the image data generation process is a process of generating image data for projection including an image of a medical device so that an image of the medical device corresponding to the fluorescence image of the imaging data is projected onto the operative field 101 (details will be described later). ).
  • the control unit 2 outputs the generated image data to the projection unit 3.
  • the projection unit 3 generates a projection image based on the input image data, and projects the generated projection image on the surface of the operative field 101 (step S140). Thereby, an image showing the shape of the medical device 20 is displayed at the position where the medical device 20 is inserted in the operative field 101. Therefore, the user can visually recognize the position where the medical device 20 is inserted in the operative field 101.
  • the above processing is repeatedly executed in a predetermined cycle (for example, 1/60 seconds). Thereby, for example, an image captured once every 1/60 seconds is projected, and the user can visually recognize the position where the medical device 20 is inserted as a real-time video.
  • a predetermined cycle for example, 1/60 seconds.
  • the imaging unit 12 detects a light beam transmitted through the skin or the like. Therefore, it is difficult to detect the clear shape of the medical device 20 based on the fluorescent image of the medical device 20.
  • the fluorescent image 31 shown in FIG. 7A becomes a blurred image on the surface of the affected area 102 because the fluorescence emitted from the tip of the medical device 20 diffuses inside the affected area 102 such as a blood vessel.
  • the projection unit 3 projects the same image as the fluorescent image 31, the shape of the region into which the medical device 20 is inserted is displayed unclearly.
  • the control unit 2 first compares the shape of the medical device 20 indicated by the imaging data with each shape information of the medical device group stored in the memory 4 to actually Determine which medical device is being used. Furthermore, the control part 2 produces
  • the control unit 2 corrects the shape of the fluorescent image of the medical device 20 based on the imaging data based on the determined shape information of the medical device, and the corrected image data is supplied to the projection unit 3 as image data for projection. You may enter.
  • FIG. 8 is a flowchart for explaining the image data generation process.
  • the image data generation process starts after the fluorescent image 31 shown in FIG. 7A is captured in step S120 of FIG.
  • a fluorescent image 31 of the medical device 20 inserted into the affected part 102 such as a blood vessel of the patient 10 is reflected on the surface of the affected part 102.
  • the shape of the fluorescent image 31 is unclear.
  • the excited fluorescent light may diffuse in the subcutaneous tissue or the like, and the shape of the fluorescent image 31 may become unclear.
  • control unit 2 performs noise filter processing on such imaging data (step S210).
  • the noise filter process is a Gaussian filter process or the like, and removes noise with respect to the fluorescence image of the imaging data.
  • control unit 2 performs binarization processing (step S220) and clarifies the edge of the fluorescent image.
  • the binarization process is performed, for example, by rewriting a luminance level equal to or higher than a predetermined value to a value 255 for luminance levels 0 to 255 of each pixel, and rewriting a luminance level lower than the predetermined value to a value 0.
  • control unit 2 extracts a feature amount from the binarized fluorescent image (step S230). For example, the control unit 2 first detects the longitudinal direction of the binarized fluorescent image and measures the length in the longitudinal direction extending with a certain width, thereby extracting the value of the feature amount a. Further, the control unit 2 extracts the feature amount at the tip of the fluorescent image with reference to the detected longitudinal direction.
  • the control unit 2 performs an appliance determination process based on the extracted feature amount (step S240).
  • the instrument determination process is a process for determining the type of surgical instrument indicated by the fluorescence image by comparing the feature amount extracted from the fluorescence image with the feature amount stored in the feature amount data 42 of the memory 4. Details of the instrument determination process will be described later.
  • the control unit 2 generates image data for the projection image based on the shape information regarding the surgical instrument determined in the instrument determination process (step S240) (step S250).
  • the control unit 2 calculates the similarity based on the comparison between the feature amount of the fluorescent image and the feature amount extracted from each shape information. Thereby, the control part 2 determines the similarity of the imaging data which has a fluorescent image with a blurred shape, and each shape information stored in the image database 41 regarding the determined medical device. And the control part 2 selects the shape information with the highest similarity among the shape information stored in the memory 4, and shows the state of the medical device in which the selected shape information is actually used for the operation. It is determined that the information is the shape information of the image. The control unit 2 replaces the fluorescent image of the imaging data with an image of shape information determined to have the highest similarity, and generates image data for projection.
  • the control unit 2 obtains the shape of the fluorescent image and the image data 52A to 52C of the forceps shown in FIG. In comparison, image data having the shape closest to the fluorescent image is selected from the image data 52A to 52C of the forceps. Next, the control unit 2 replaces the fluorescent image in the imaging data with the image of the selected image data, and generates image data for projection.
  • the control unit 2 also detects the state such as the size and orientation of the medical device 20 based on the imaging data.
  • the state such as the size and orientation of the medical device 20 based on the imaging data.
  • the longitudinal direction of the fluorescent image is detected as a reference for orientation. May be.
  • the control unit 2 performs a process of adjusting the enlargement or reduction magnification and the rotation angle in accordance with the detected size and orientation of the image data determined to have the highest similarity.
  • the control unit 2 matches the position of the fluorescent image, which is the fluorescent light emitting region on the surface of the affected part, with the position of the projection image in the imaging data.
  • control unit 2 When the control unit 2 generates the image data for projection, the control unit 2 ends the image data generation process.
  • step S240 of FIG. 8 The instrument determination process in step S240 of FIG. 8 will be described.
  • the control unit 2 reads the feature amount data 42 from the memory 4, and compares the feature amount of each surgical instrument in the feature amount data 42 with the feature amount of the fluorescent image extracted in the process of step S230. By doing so, the type of surgical instrument of the imaging data is determined.
  • FIGS. 1-10 a description will be given with reference to FIGS.
  • FIG. 9 is a flowchart for explaining an example of the instrument determination process.
  • the control unit 2 determines whether the surgical instrument of the imaging data is a catheter, forceps, or Giveaway based on the feature amount data 42 of FIG. 5.
  • the control unit 2 determines whether or not the fluorescent image extends with a certain width to the tip in order to compare the fluorescent image and the catheter (step S310). This determination is performed, for example, by determining whether or not the feature amount a exceeds a predetermined threshold value. When the fluorescent image extends with a certain width to the tip (YES in step S310), the control unit 2 determines that the surgical instrument of the fluorescent image is a catheter (step S311).
  • the control unit 2 determines the feature amount of the distal end shape of the fluorescent image and the surgical instrument other than the catheter in the feature amount data 42. Compare with features. Specifically, it is determined whether or not the tip of the fluorescent image is similar to a bifurcated branch (step S320). If the tip of the fluorescent image is similar to the bifurcated branch (YES in step S320), the control unit 2 determines that the surgical instrument is a catheter (step S321). On the other hand, if the tip of the fluorescent image is not similar to the bifurcated branch (NO in step S320), the control unit 2 determines that the surgical instrument is Standing (step S322).
  • the control unit 2 determines the type of surgical instrument in the fluorescent image
  • the control unit 2 ends the instrument determination process.
  • the type of surgical instrument determined in the instrument determination process is not limited to the combination of the catheter, forceps, and Giveaway.
  • it may be determined whether or not the fluorescent image is a balloon by detecting a feature amount related to the bulge of the tip of the fluorescent image.
  • the processing amount of the control unit 2 can be reduced.
  • step S130 the projection image 32 based on the image data for projection is projected from the projection unit 3 onto the fluorescently emitted region on the surface of the affected part 102 (see FIG. 7B).
  • step S140 the image of the medical device 20 can be clearly displayed on the affected area 102.
  • the imaging unit 12 is configured to be able to detect both visible light and fluorescence.
  • the imaging unit that detects only visible light and the detection of only fluorescence are performed. It is good also as a structure provided with the imaging part separately. Thereby, the fluorescence image of the medical device 20 and the projection image from the projection unit 3 can be separated and detected. As a result, the similarity can be determined by comparing only the fluorescent image with the shape information stored in the memory 4. Therefore, the determination accuracy of the similarity is improved by providing the imaging units separately.
  • the surgery support system 100 includes the light source 11, the imaging unit 12, the control unit 2, the memory 4, and the projection unit 3.
  • the light source 11 emits excitation light having a predetermined wavelength.
  • the imaging unit 12 images the medical device 20 in the operative field 101 that is a subject irradiated with excitation light.
  • the control unit 2 generates image data for projection based on the imaging data captured by the imaging unit 12.
  • the memory 4 stores a plurality of data groups having a plurality of shape information indicating the shape of the image of the medical device.
  • the projection unit 3 projects a projection image based on the projection image data onto the operative field 101.
  • the control unit 2 is based on the similarity between the plurality of pieces of shape information stored in the memory 4 and a fluorescence image captured by the imaging unit 12 that is an image of a region emitting fluorescence in response to excitation light. Select shape information.
  • the control unit 2 generates image data for projection so that the image having the shape indicated by the selected shape information is projected onto the fluorescent region of the operative field 101.
  • the surgery support system 100 compares the fluorescent image with the shape information of the medical device group even when the fluorescent image of the medical device 20 inserted into the patient's body is unclear due to the influence of the skin or the like.
  • the medical device 20 being used can be determined.
  • the surgery support system 100 can project an image of the medical device 20 with a clear and accurate position, size, and orientation on the surface of the affected area, using the projection image data generated using the shape information. Therefore, an image that allows a doctor or the like to recognize the state of the subject more accurately can be projected.
  • the operation support system 100 makes it easy for the user to understand the state of the medical device, such as the type and position of the projection image projected onto the affected part in which the actual medical device is inserted. .
  • an image of a medical device inserted into a patient's body is projected.
  • an image of a diseased affected part of a patient is projected.
  • FIG. 10 is a schematic diagram illustrating a configuration of a surgery support system according to the second embodiment.
  • the surgery support system is an example of a projection system.
  • the surgery support system captures a fluorescent image of the affected area in the surgical field, detects a fluorescent emission area of the affected area from the captured image, and projects an image projected on the subject area corresponding to the detected area with visible light Project. Thereby, the user of this surgery assistance system can confirm the position of the affected part of a patient, etc. visually.
  • the surgical operation support system captures the fluorescence image of the affected part and the projected image projected on the affected part, detects the difference, and corrects the projected image, thereby correcting the deviation of the projected image. Eliminate. Thereby, the user (doctor or the like) can correctly confirm the region of the affected area of the patient.
  • the surgery support system 200 includes the imaging device 1, the control unit 2, and the projection unit 3, similarly to the surgery support system 100 according to the first embodiment. It does not have the memory 4 it has.
  • the patient 10 undergoing surgery is pre-administered with blood, lymph, etc., a photosensitive substance that fluoresces when excited by light of a predetermined wavelength (excitation light), and the flow of blood or lymph is stagnant.
  • Photosensitive substances are accumulated in the affected area 103.
  • the photosensitive substance is, for example, a substance that excites and emits fluorescence when irradiated with near-infrared light, such as indocyanine green.
  • the affected part 103 in which the photosensitive substance is accumulated emits fluorescence when irradiated with excitation light from the light source 11.
  • the imaging unit 12 captures a fluorescence image of the photosensitive substance of the affected area 103 by fluorescence emission and a visible light image of visible light in the operative field 101 to generate imaging data.
  • the imaging data is image data including not only a fluorescent image of a fluorescent emission region but also a visible light image by visible light.
  • FIG. 11 is a flowchart for explaining a projection image generation process in the surgery support system 200.
  • the imaging apparatus 1 drives the light source 11 to irradiate the surgical field 101 including the affected area 103 with excitation light (step S110).
  • the excitation light from the light source 11 excites the photosensitive substance accumulated in the affected area 103 of the patient 10, the affected area 103 emits fluorescence.
  • the imaging apparatus 1 images the surgical field 101 from the imaging unit 12 (step S120).
  • the imaging unit 12 generates imaging data indicating a visible light image in the operative field 101 together with a fluorescent image of the photosensitive substance accumulated in the affected part 103.
  • the imaging data is output to the control unit 2.
  • the control unit 2 generates image data for projection based on the imaging data (step S130A).
  • the control unit 2 extracts a fluorescent image of the affected part 103 from the imaging data, and generates image data for projection so that a projected image indicating the shape of the extracted fluorescent image is displayed with visible light. To do.
  • the control unit 2 outputs the image data for projection to the projection unit 3.
  • the projection unit 3 projects a projection image showing the shape of the affected part 103 on the fluorescent light emitting area on the affected part 103 surface in the surgical field 101 (step S140). With this projection image, a doctor or the like can clearly see the position and shape of the affected area 103 in the surgical field 101.
  • the control unit 2 performs an image data correction process (step S160).
  • the image data correction process is a process of detecting a projection image and a fluorescent image actually projected on the operative field 101 and correcting the image data for projection (details will be described later).
  • the projection image data corrected by the control unit 2 is output to the projection unit 3 again.
  • the projection unit 3 projects a projection image based on the corrected image data for projection onto the affected area 103 of the operative field 101 (step S140).
  • the above processing is repeatedly executed in a predetermined cycle (for example, 1/60 seconds) until an operation for termination is performed (step S150). Thereby, for example, an image captured once every 1/60 seconds is projected, and the user can visually recognize the position and shape of the affected area 103 as a real-time video.
  • a predetermined cycle for example, 1/60 seconds
  • the actual position of the affected part 103 and the position where the projection image of the projection part 3 is projected are attributed to the fact that the arrangement positions of the imaging device 1 and the projection part 3 are different. Deviation may occur between the two. In addition, even when the surface shape of the affected part 103 or the affected part 103 moves, a deviation occurs between the actual position of the affected part 103 and the position where the projection image is projected.
  • FIGS. 12A to 12C show display examples by the surgery support system 200 when the imaging device 1 and the projection unit 3 are arranged at different positions.
  • the imaging device 1 is arranged to face the affected area 103 from above the surgical field 101.
  • the projection unit 3 is inclined with respect to the operative field 101 and arranged toward the affected part 103.
  • the affected part 103 has a circular shape.
  • a region 33a where the affected part 103 that has emitted fluorescence and the projection image 33 overlap is indicated by a black region.
  • the imaging device 1 captures a circular fluorescent image.
  • the control unit 2 generates image data for projection indicating a circular projection image.
  • FIG. 12A shows a state when the control unit 2 outputs the image data for projection to the projection unit 3 without correction. Then, since the projection unit 3 is disposed to be inclined with respect to the operative field 101, the projection image 33 that is actually projected onto the operative field 101 is an elliptical image. Therefore, the affected part 103 and the projection image 33 are shifted as shown in FIG. 12A.
  • the surgery support system 200 performs an image data correction process (step S160). Specifically, the control unit 2 detects a difference between the fluorescent image of the affected part 103 and the projection image 33, and corrects the image data for projection according to the difference (see FIG. 12C). For example, the surgery support system 200 erases the region 33b that protrudes from the affected area 103 while displaying the projected image area 33a that matches the affected area 103 as shown in FIG. 12B. Therefore, the shift of the projection image 33 can be reduced and the region of the affected part 103 can be shown more accurately. Further, the processing amount of the control unit 2 can be reduced by correcting the image data for projection according to the detected difference.
  • FIG. 13 is a diagram for explaining the idea of correcting image data for projection.
  • the control unit 2 in the operative field 101 a region that emits fluorescence (hereinafter referred to as “fluorescence emission region”) and a region where a projection image is projected (hereinafter referred to as “projection region”).
  • the image data for projection is corrected on the basis of the overlap of the area with the above.
  • the control unit 2 maintains the projection image data without changing the area where the fluorescence emission area and the projection area overlap (left column in the upper stage of FIG. 13A).
  • control unit 2 corrects the image data for projection so that a projected image is additionally displayed in the fluorescent light emitting region that does not overlap with the projected region (the right column in the upper part of FIG. 13A).
  • control unit 2 corrects the image data for projection so that the projection image is erased in the projection area that does not overlap with the fluorescent light emission area (the left column in the lower part of FIG. 13A).
  • control unit 2 does not change the image data for projection for the region that is neither the fluorescent light emission region nor the projection region (the right column at the bottom of FIG. 13A).
  • the image data for projection is obtained as shown in FIG.
  • the region D3A before correction is corrected to the region D3B after correction.
  • FIG. 14 is a flowchart for explaining the image data correction process (step S160).
  • the image data correction process will be described more specifically with reference to the flowchart of FIG. In the following, it is assumed that the affected area 103 emits fluorescence and a projected image is projected in the operative field 101.
  • the imaging device 1 captures the projection image from the projection unit 3 together with the fluorescent image in the operative field 101 (step S410).
  • the control unit 2 detects the fluorescent light emission region and the projection region in the operative field 101 based on the imaging data from the imaging device 1 (step S420). Specifically, the control unit 2 detects an area occupied by each of the fluorescent image and the projection image in the imaging data.
  • the control unit 2 determines whether or not there is a fluorescent light emission region that does not overlap with the projection region in the imaging data (step S430). When there is a fluorescent light emitting region that does not overlap with the projection region (YES in step S430), the control unit 2 corrects the image data for projection so as to additionally display the projection image in such a region (step S440). Specifically, the control unit 2 adds an image to an area on the image data for projection corresponding to the fluorescent light emission area that does not overlap the projection area on the imaging data.
  • control unit 2 determines whether or not there is a projection area that does not overlap with the fluorescence emission area (step S450). If there is a projection area that does not overlap with the fluorescent light emission area (YES in step S450), the control unit 2 corrects the image data for projection so as to erase the projection image of such area (step S460). Specifically, the projection image of the area on the image data for projection corresponding to the projection area that does not overlap with the fluorescence emission area on the imaging data is erased.
  • FIG. 12A shows the state of the surgical field 101 after being corrected by the above-described processing.
  • FIG. 12C shows the corrected image data for projection.
  • the control unit 2 determines the shaded area 33b as a projection area that does not overlap with the fluorescent light emitting area (YES in step S450), and projects the projected image so as to erase the shaded area 33b.
  • the data D33 is corrected (step S460). Specifically, the control unit 2 erases the image of the region D33b corresponding to the region 33b in the image of the affected part in the projection image data D33.
  • the black area 33a of the projection image 33 shown in FIG. 12A is an area where the fluorescence emission area and the projection area overlap, so the control unit 2 maintains the area 33a of the projection image displayed. Specifically, the control unit 2 maintains an image of a region D33a corresponding to the region 33a in the image of the affected part in the projection image data D33.
  • the shape of the image of the affected area that was circular before the correction in the projection image data D33 is changed to an ellipse as shown in the region D33a.
  • the image of the region D33a of the image data D33 for projection is projected from the projection unit 3 arranged to be inclined with respect to the operative field 101, so that the shape of the projected image becomes circular.
  • the area 33b displayed in the area shifted from the affected area 103 is deleted, and only the area 33a matching the affected area 103 is maintained.
  • the deviation of the projected image can be eliminated by the image data correction processing in the present embodiment.
  • the imaging unit 12 can detect both visible light and fluorescence. However, when performing the above-described processing, the imaging unit that detects only visible light and only the fluorescence is detected. It is good also as a structure provided with the imaging part separately. With such a configuration, the fluorescence image and the projection image can be processed as independent images, so signal processing for distinguishing between the fluorescence emission region and the fluorescence emission region and between the projection region and the projection region can be performed at high speed and with high accuracy. It can be carried out.
  • FIGS. 15A to 15C the imaging device 1 and the projection unit 3 are arranged adjacently in parallel above the surgical field 101.
  • FIG. FIG. 15A shows a state where the position of the projection image 34 from the projection unit 3 and the position of the affected part 103 match and the projection image 34 is projected.
  • FIG. 15B shows a state where the affected area 103 has moved from the state of the operative field 101 shown in FIG. 15A. As the affected area 103 moves, a shift occurs between the fluorescence emission region of the affected area 103 ′ after movement and the projection area of the projection image 34 from the projection unit 3 as shown in FIG. 15B.
  • the control unit 2 of the surgery support system 200 performs the above-described image data correction process as follows.
  • an area 103a indicated by hatching in FIG. 15B is an area of the affected area 103 and the projection image 34 is not displayed.
  • the control unit 2 corrects the image data for projection so that the projected image is displayed in the area 103a (step S440).
  • a region 34a indicated by shading in FIG. 15B is a region where fluorescence is not emitted and the projected image 34 is displayed shifted.
  • the control unit 2 corrects the image data for projection so as to stop displaying the projection image 34 in the region 34a (step S460).
  • the projected image of the region 34b shown in black in FIG. 15B is projected onto the affected area 103.
  • the control unit 2 maintains the image of the region corresponding to the region 34b in the image data for projection without changing (the left column in the upper stage of FIG. 13A).
  • the image of the affected area can be projected at an appropriate position. .
  • the surgery support system 200 includes the light source 11, the imaging unit 12, the control unit 2, and the projection unit 3.
  • the light source 11 emits excitation light having a predetermined wavelength.
  • the imaging unit 12 images the affected area 103 of the operative field 101, which is a subject irradiated with excitation light.
  • the control unit 2 generates image data for projection based on the imaging data captured by the imaging unit 12.
  • the projection unit 3 projects a projection image based on the projection image data onto the operative field 101.
  • the imaging unit 12 captures a projection image together with the fluorescence image of the fluorescence emission region that has reacted to the excitation light on the surgical field 101.
  • the control unit 2 corrects the image data for projection according to the difference between the fluorescence image captured by the imaging unit 12 and the projection image.
  • the surgery support system 200 can reduce the deviation of the projected image and more accurately indicate the region of the affected area 103. Therefore, in an image of a subject projected on an actual subject, a doctor or the like can more easily recognize an accurate subject state. Further, by correcting the image data for projection according to the detected difference, the processing amount of the control unit 2 in the correction process can be reduced.
  • control unit 2 displays the projection image data so that the projection image is additionally displayed in the fluorescence emission region 103a that has reacted with the light having a predetermined wavelength that does not overlap the projection region on which the projection image is projected. to correct.
  • control unit 2 corrects the image data for projection so as to erase the projection image of the projection area 34a that does not overlap with the fluorescence emission area. By such processing, the processing amount of the control unit 2 in the correction processing can be reduced.
  • the subject by the imaging unit 12 is the affected part 103 of the patient 10, but the subject is not limited to the human body. It may be.
  • the image data correction process of the present embodiment can also be applied when the projected image is shifted due to the surface shape of the affected part 103.
  • the distortion of the projection image can be eliminated by the image data correction processing in the present embodiment.
  • the control unit 2 sets the size and / or orientation of the projection image in the region that fluoresces on the operative field 101, as in the first embodiment.
  • a process for adjusting the magnification and the rotation angle of enlargement or reduction of the image data for projection may be performed so as to match.
  • the control unit 2 may match the position of the fluorescent light emitting region of the affected part with the position of the projection image in the imaging data based on the visible light image of the imaging data.
  • the surgery support system according to the present embodiment is configured in the same manner as the surgery support system 200 according to the second embodiment (see FIG. 10).
  • the surgical operation support system according to the present embodiment performs the same projection image generation processing as that of the second embodiment as a medical device with an imaging target by the imaging device 1 and a projection target by the projection unit 3 (see FIG. 11). .
  • the control unit 2 extracts a fluorescent image of the medical device and generates projection image data indicating the shape of the extracted fluorescent image (step S130A).
  • the control unit 2 may generate image data for projection by a process similar to the image data generation process (step S130) of the first embodiment (see FIG. 8).
  • the surgery support system according to the present embodiment further includes a memory 4 similar to that of the surgery support system 100 according to the first embodiment.
  • the control unit 2 performs the same image data correction process (step S160) as in the second embodiment on the projection image data indicating the shape of the medical device generated as described above. At this time, the control unit 2 detects the difference between the projection image indicating the shape of the medical device and the fluorescent image of the medical device 20, and corrects the image data for projection according to the difference.
  • Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • Embodiments 1 to 3 have been described taking medical applications such as surgery as an example, but the present invention is not limited to this.
  • the present invention can be applied when it is necessary to work on an object whose state change cannot be visually confirmed, such as a construction site, a mining site, a construction site, or a factory that processes materials.
  • fluorescent materials are applied to objects that cannot be visually confirmed in a construction site, a mining site, a construction site, a factory for processing materials, or the like. It is applied, kneaded, or poured into an imaging object that is an object of imaging by the imaging unit 12.
  • the present invention can be applied as in the first and third embodiments.
  • image data 51 to 54 of surgical instruments stored in the memory 4 are exemplified.
  • the memory 4 may store image data of medical devices including surgical instruments.
  • the image database 41 and the feature amount data 42 may be configured as in the first embodiment. Thereby, not only a surgical instrument but the kind of medical device can be determined.
  • the image database 41 may include Standing image data 53 excluding the filament 53b.
  • the image database 41 may include Standing image data 53 excluding the filament 53b.
  • the shape information stored in the memory 4 may be, for example, image data imaged in advance by the imaging device 1. As a result, it is possible to project image data indicating an instrument that is actually used.
  • the shape information is image data indicating the shape of the medical device.
  • the shape information is not limited to the medical device, and may be image data of an object having a predetermined shape.
  • the image data of an object having a predetermined shape is not limited to image data of an object such as a medical device.
  • the shape information may be image data that schematically represents the object.
  • the shape information may be a diagram depicting the object or a mark such as an arrow.
  • the control unit 2 performs a process of adjusting the magnification and the rotation angle on the image data determined to have the highest similarity based on the imaging data.
  • the method for adjusting the magnification and / or rotation angle of the projected image is not limited to this.
  • the control unit 2 may adjust the magnification and the angle with reference to the visible light image of the operative field 101 captured by the imaging device 1, or by installing a fluorescent marker in the vicinity of the operative field 101 in advance. The magnification and angle may be adjusted based on the above.
  • the control unit 2 may generate image data for projection reflecting the adjustment of the magnification and / or the rotation angle based on such a reference, and controls an optical system such as a lens of the projection unit 3. May be.
  • control unit 2 generates projection image data so that the position of the fluorescent image on the surface of the affected area matches the position of the projection image based on the imaging data.
  • the present invention is not limited to this, and the control unit 2 may change the projection position so that the position of the fluorescent light emission region on the surface of the subject matches the position of the projection image.
  • the control unit 2 may control the projection unit 3 so as to change the projection position of the projection image.
  • the control unit 2 matches the position of the fluorescent image on the surface of the affected area with the position of the projected image on the basis of the fluorescent image of the medical device in the imaging data.
  • the reference for alignment of the projected image is not limited to this.
  • a visible light image of the operative field 101 captured by the imaging device 1 may be used as a reference, or a fluorescent marker may be installed in the vicinity of the operative field 101 in advance and the fluorescent marker may be used as a reference.
  • a projection image is generated and projected for one medical device.
  • the control unit 2 may compare the fluorescent image with a plurality of pieces of shape information at the same time. Thereby, when a plurality of types of surgical instruments are inserted into the body of the patient 10 at the same time, the respective medical devices can be identified.
  • control unit 2 replaces the fluorescent image of the imaging data with the image of the image data determined to be similar to generate image data for projection.
  • control unit 2 may generate image data for projection by correcting the shape of the unclear fluorescent image in the imaging data with reference to the determined image data.
  • the control unit 2 determines the type of the medical device using the feature amount data 42 stored in the memory 4.
  • the similarity between the shape information of a plurality of types of medical devices stored in the image database 41 and the fluorescence image may be directly determined without using the feature amount data 42 to determine the types of medical devices. .
  • the amount of data held in the memory 4 can be reduced.
  • the feature amount data 42 not only the type of medical device but also feature amount data of medical devices having different orientations and shapes may be used. Thereby, in the image database 41, the shape information to be compared with the fluorescent image can be further narrowed down.
  • the imaging unit 12 is configured to be able to detect all types of light of visible light, fluorescence, and excitation light, but may be configured to be capable of detecting at least fluorescence.
  • the imaging unit 12 may be configured by combining cameras that can detect only visible light and fluorescence, or may be configured by a camera that can detect only fluorescence.
  • Embodiments 1 to 3 although indocyanine green is exemplified as the photosensitive substance, other photosensitive substances may be used. For example, porphyrin, luciferin, Akalumine (registered trademark), or the like may be used.
  • the light source 11 emits excitation light in the excitation wavelength band of each photosensitive substance
  • the imaging unit 12 detects a fluorescent image in the fluorescence emission wavelength band of each photosensitive substance.
  • the projection system according to the present disclosure can be applied when working on an object whose state change cannot be confirmed visually, such as medical use, construction site, mining site, construction site, factory for processing materials, etc. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　手術支援システム２００は、光源１１と、撮像部１２と、制御部２と、メモリ４と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、術野１０１の患部１０３を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。撮像部１２は、術野１０１上で、励起光に反応した蛍光発光領域の蛍光像とともに、投影画像を撮像する。制御部２は、撮像部１２により撮像された蛍光像と、投影画像との差分に応じて、蛍光像と投影画像とが一致するように投影用の画像データを補正する。

Description

投影システム
　本開示は、撮像した被写体の画像を、その被写体の表面に投影する投影システムに関する。
　特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。
特開平９－２４０５３号公報
　本開示は、実際の被写体上に投影する被写体の画像において、ユーザが被写体の状態をより正確に認識できる画像を投影する投影システムを提供することを目的とする。
　本開示にかかる投影システムは、光源と、撮像部と、制御部と、投影部とを備える。光源は、所定の波長の光を照射する。撮像部は、所定の波長の光が照射された被写体を撮像する。制御部は、撮像部が撮像した画像に基づいて、投影用の画像データを生成する。投影部は、投影用の画像データに基づく投影画像を、被写体上に投影する。撮像部は、被写体上で、所定の波長の光に反応した領域の画像とともに、投影画像を撮像する。記制御部は、所定の波長の光に反応した領域の画像と、投影画像との差分に応じて、所定の波長の光に反応した領域の画像と投影画像とが一致するように、投影用の画像データを補正する。
　本開示における投影システムによれば、所定の波長の光に反応した領域からの投影画像のずれを低減することで、ユーザが被写体の状態をより正確に認識できる画像を投影することができる。
実施の形態１にかかる手術支援システムの構成を示す概略図 メモリに格納されるカテーテルの画像データの例を示す図 メモリに格納される鉗子の画像データの例を示す図 メモリに格納されるメルシーの画像データの例を示す図 鉗子のバリエーションの画像データの例を示す図 バルーンのバリエーションの画像データの例を示す図 手術中のバルーンの使用状態を説明するための患部の断面図 各種類の手術器具に関する特徴量データの一例を示す表 実施の形態１にかかる手術支援システムにおける投影画像の生成処理を説明するためのフローチャート 投影画像の生成処理における蛍光像の一例を示す図 投影画像の生成処理における投影画像の一例を示す図 実施の形態１にかかる手術支援システムにおける画像データ生成処理を説明するためのフローチャート 実施の形態１にかかる手術支援システムにおける器具の判定処理の一例を説明するためのフローチャート 実施の形態２にかかる手術支援システムの構成を示す概略図 実施の形態２にかかる投影画像の生成処理を説明するためのフローチャート 実施の形態２にかかる手術支援システムの投影画像の一例を示す図 実施の形態２の画像データ補正処理による投影画像の表示例を示す図 実施の形態２の画像データ補正処理における投影用の画像データの一例を示す図 実施の形態２の手術支援システムにおける投影用の画像データの補正の考え方を説明した図 実施の形態２の画像データ補正処理を説明するためのフローチャート 実施の形態２の手術支援システムにおいて移動する患部の例を示す図 実施の形態２の手術支援システムにおいて移動した患部の例を示す図 実施の形態２の手術支援システムにおいて補正した投影画像の例を示す図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
　以下、図１～９を用いて、実施の形態１を説明する。
１－１．構成
１－１－１．手術支援システムの概要
　図１は、実施の形態１にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。
　手術が行われる場合、チューブやカテーテルなどの医療機器が患者の体内に挿入される。通常、患者の体内に挿入された医療機器は、外部から目視で確認することができない。そこで、本実施の形態の手術支援システムは、医療機器が挿入された領域の表面に、その医療機器の形状を表す画像を投影する。これにより、本手術支援システムのユーザは、患者の体内に挿入された医療機器の位置などを確認することができる。
１－１－２．手術支援システムの構成
　以下、手術支援システム１００の構成を詳細に説明する。
　手術支援システム１００は、撮像装置１と、制御部２と、投影部３と、メモリ４とから構成されている。
　図１に示すように、手術を受ける患者１０の術野１０１には、医療機器２０が挿入されている。撮像装置１は、光源１１と撮像部１２を含み、術野１０１を撮像する。制御部２は、手術支援システム１００の各部を制御する。制御部２は、撮像装置１が撮像した画像を示す画像データ（撮像データ）に対して後述の処理を行って、投影用の画像データを生成する。投影部３は、投影用の画像データに基づいて投影画像を生成して、術野１０１に投影する。メモリ４は、画像データベース４１と、特徴量データ４２とを格納する。画像データベース４１と、特徴量データ４２の詳細は後述する。
　手術に使用される医療機器２０は、励起されると蛍光を発する光感受性物質が、表面に塗布され、または練り込まれている。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質は、人体もしくは動物に使用可能な薬剤である。医療機器２０は、撮像装置１の撮像の対象となる撮像対象物である。
　撮像装置１の光源１１は、光感受性物質の励起波長領域内の波長を有する励起光を照射する。例えば、光源１１は、近赤外の波長帯の光を照射する。光源１１は、撮像部１２の周囲を取り囲むように配置されている。
　撮像部１２は、例えば高感度のＣＣＤカメラ等で構成される。撮像部１２は、医療機器２０の光感受性物質の蛍光発光による蛍光像を撮像して、撮像データを生成する。撮像データは、蛍光発光した領域の蛍光像を示す画像データであり、制御部２に出力される。また、撮像部１２は、蛍光像とともに術野１０１の可視光像を撮像する。撮像部１２は、例えば可視光、蛍光、および励起光の内で一つまたは複数の種類の光を検出できるカメラを複数組み合わせたカメラ群から構成されることで、上記の全ての種類の光を検出できる。本実施の形態では、撮像部１２は、蛍光像を示す撮像データを生成する。なお、撮像部１２は、蛍光像と可視光像を含む撮像結果の画像全体のデータを制御部２に出力してもよく、その場合、制御部２が撮像結果の画像全体から蛍光像を抽出するようにしてもよい。
　制御部２は、撮像装置１と投影部３の動作を制御する機能を有する。また、制御部２は、撮像装置１から撮像データを取得するとともに、メモリ４から形状情報（後述）を読み出して、後述の所定の処理を行う。これにより、制御部２は、投影部３から投影するための画像データを生成して、投影部３に出力する。制御部２は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御部２の機能は、専用に設計された電子回路により実現されてもよい。
　投影部３は、制御部２からの画像データに基づいて投影画像を生成し、医療機器２０が挿入された患部などの表面上に、投影画像を投影する。投影部３は、例えばプロジェクタ等からなる。
　メモリ４は、制御部２が形状情報を読み出して後述の処理を行えるように、制御部２に接続されている。形状情報は、医療機器の形状を示す画像データである。なお、形状情報は、医療機器の形状に限らず、所定の形状を有する物体の画像データであってもよい。メモリ４は、記憶部の一例である。メモリ４としては、例えば不揮発性メモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）が用いられる。
　画像データベース４１は、複数の医療機器に関する形状情報を管理する。図２Ａ～２Ｃは、画像データベース４１に含まれる複数種類の手術器具のそれぞれの形状情報の例を示す。図２Ａは、カテーテルの画像データ５１を示し、図２Ｂは、鉗子の画像データ５２を示し、図２Ｃは、メルシーリトリーバ（以下、メルシーという。）の画像データ５１を示す。各画像データ５１～５３は、それぞれの手術器具の形状情報の一例である。
　カテーテルは、患者１０の体内に挿入される管状の手術器具である。カテーテルの画像データ５１の特徴の１つは、長手方向５１ｂに沿って先端部５１ａまで一定の幅で延在することである。
　鉗子は、患部や縫合糸を把持したり、牽引したりするために用いられる手術器具である。例えば、内視鏡用の鉗子は、患者１０の体内に挿入して用いられる。鉗子の画像データ５２の特徴の１つは、先端に設けられた二股形状の把持部５２ａである。
　メルシーは、血栓を取り除くために血管等に挿入される手術器具であり、血栓を絡め取るためのループワイヤとフィラメントを有する。メルシーの画像データ５３の特徴の１つは、先端に設けられたらせん形状のループワイヤ５３ａである。なお、メルシーの画像データ５３は、糸状のフィラメント５３ｂを有するが、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。
　画像データベース４１は、図２Ａ～２Ｃに示すように複数種類の手術器具の画像データを有するとともに、各手術器具のバリエーションの画像データも有する。バリエーションの画像データは、各種類の手術器具において異なる形状を示す画像データであり、例えば、手術器具の向きを変えた画像データや、手術器具を変形させた画像データや、同一の種類で別形状の手術器具の画像データである。
　図３は、図２Ｂの鉗子のバリエーションの画像データの例を示す。鉗子の画像データ５２Ａ～５２Ｃにおいて、把持部５２ａはそれぞれ異なる角度で開いている。画像データベース４１は、鉗子に関して、さらなるバリエーションの画像データを有してもよい。例えば、画像データベース４１は、画像データ５２Ａ～５２Ｃのそれぞれに対して、鉗子の長手方向５２ｂを回転軸として回転させたバリエーションの画像データをさらに有する。
　図４Ａは、バルーンのバリエーションの画像データの例を示す。バルーンは、患者１０の体内に挿入した先端部を膨らませて使用する手術器具であり、挿入箇所などに応じて、異なる形状を有する別のバルーンが使用される。画像データベース４１は、例えば図４Ａに示すような、楕円形状の先端部５４ａを有するバルーンの画像データ５４と、先端部５４ａよりも長手方向に扁平した楕円形状の先端部５４ｂを有するバルーンの画像データ５４’とを有する。図４Ｂに示すように、実際のバルーン２０４の先端部２０４ａは、例えば外付けのポンプなどにより、患者１０の体内で拡張するように変形する。これに応じて、画像データベース４１は、例えばバルーンの画像データ５４，５４’毎に、先端部５４ａ，５４ｂを変形させたバリエーションの画像データをさらに有する。
　特徴量データ４２は、画像データベース４１が有する形状情報の各手術器具の特徴量を表すデータである。図５は、図２Ａ～２Ｃの各種類の手術器具に関する特徴量データ４２の一例を示す。図５において、カテーテル、鉗子、メルシーの各手術器具に対して、特徴量ａ，ｂ，ｃが設定されている。
　各手術器具の特徴量ａ，ｂ，ｃには、画像データベース４１における手術器具毎の代表的な形状の特徴を示す値が設定される。例えば、カテーテルの特徴量ａ１，ｂ１，ｃ１は、画像データ５１から抽出された値である。特徴量ａは、例えば各手術器具の形状と管状との類似度を表す量であり、各画像データにおいて一定の幅で延在している長手方向の長さによって規定される。また、特徴量ｂは、例えば各手術器具の先端部と二股形状との類似度を表す量であり、各画像データの先端部の開き具合によって規定される。
１－２．動作
　以上のように構成された手術支援システム１００の動作を、以下説明する。
　図６は、手術支援システム１００における投影画像の生成処理を説明するためのフローチャートである。
　図１に示す手術支援システム１００において手術が行われる際、まず撮像装置１は、光源１１を駆動して、医療機器２０を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光は、患者１０の体内に挿入された医療機器２０にも到達する。そのため、医療機器２０の表面に塗布され、或いは医療機器２０に練り込まれた光感受性物質が、励起されて蛍光を発する。
　次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患者１０の体内に挿入された医療機器２０からの蛍光発光を検出して、医療機器２０の蛍光像を示す撮像データを生成する。撮像データは、制御部２に出力される。
　制御部２は、撮像データと、メモリ４に格納された形状情報に基づいて、画像データ生成処理を行う（ステップＳ１３０）。画像データ生成処理は、撮像データの蛍光像に対応する医療機器の画像が術野１０１に投影されるように、医療機器の画像を含む投影用の画像データを生成する処理である（詳細は後述）。制御部２は、生成した画像データを投影部３に出力する。
　投影部３は、入力した画像データに基づいて投影画像を生成し、生成した投影画像を術野１０１の表面上に投影する（ステップＳ１４０）。これにより、術野１０１において医療機器２０が挿入されている位置に、医療機器２０の形状を示す画像が表示される。そのため、ユーザは、術野１０１において医療機器２０が挿入されている位置を視認できる。
　以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として医療機器２０が挿入されている位置を視認できる。
　ここで、患者１０の体内に挿入された医療機器２０の蛍光発光を検出する際、撮像部１２は皮膚などを透過した光線を検出することになる。そのため、医療機器２０の蛍光像に基づいて医療機器２０の鮮明な形状を検出することは困難である。例えば、図７Ａに示す蛍光像３１は、医療機器２０の先端から発した蛍光が血管などの患部１０２内部で拡散することにより、患部１０２の表面上ではぼやけた像となる。このとき、投影部３が蛍光像３１と同一の画像を投影すると、医療機器２０が挿入された領域の形状が不鮮明に表示されてしまう。
　さらに、複数種類の医療機器が同時に患者１０の体内に挿入されている場合、ユーザがそれぞれの医療機器を識別することは困難である。
　そこで、本実施の形態の画像データ生成処理において、制御部２は、まず撮像データが示す医療機器２０の形状と、メモリ４に格納された医療機器群の各形状情報とを比較して、実際に使用されている医療機器を判定する。さらに、制御部２は、撮像データにおいて、蛍光像を、判定した医療機器の形状情報に置き換えることにより、投影画像の画像データを生成する。これにより、図７Ｂに示すように、投影画像３２によって血管などの患部１０２に挿入された医療機器２０の状態（例えば、形状や種類）を明瞭に表示することができる。また、蛍光像を複数の形状情報と比較することにより、複数種類の医療機器の識別を行うこともできる。
　なお、制御部２は、判定した医療機器の形状情報に基づいて、撮像データに基づく医療機器２０の蛍光像の形状を補正し、補正後の画像データを投影用の画像データとして投影部３に入力してもよい。
１－２－１．画像データ生成処理
　図８を用いて、図６の画像データ生成処理（ステップＳ１３０）を説明する。図８は、画像データ生成処理を説明するためのフローチャートである。ここでは、図６のステップＳ１２０において、図７Ａに示す蛍光像３１が撮像された後に、画像データ生成処理（ステップＳ１３０）が開始するとする。
　図７Ａにおいて、患者１０の血管などの患部１０２に挿入された医療機器２０の蛍光像３１が、患部１０２の表面に映っている。図７Ａに破線で示すように、蛍光像３１の形状は不鮮明である。医療機器２０が挿入された深度によっては、励起された蛍光光線が皮下組織などで拡散してしまい、蛍光像３１の形状が不鮮明になる場合がある。
　このような撮像データに対して、まず、制御部２は、ノイズフィルタ処理を行う（ステップＳ２１０）。ノイズフィルタ処理は、ガウシアンフィルタ処理などであり、撮像データの蛍光像に対するノイズを取り除く。
　さらに、制御部２は、二値化処理を行い（ステップＳ２２０）、蛍光像のエッジを明瞭化する。二値化処理は、例えば各画素の輝度レベル０～２５５に対して、所定値以上の輝度レベルを値２５５に書き換える一方、当該所定値未満の輝度レベルを値０に書き換えることで行う。
　次に、制御部２は、二値化した蛍光像から、特徴量を抽出する（ステップＳ２３０）。例えば、制御部２は、まず二値化した蛍光像の長手方向を検出して、一定の幅で延在する長手方向の長さを測定することにより、特徴量ａの値を抽出する。さらに、制御部２は、検出した長手方向を基準にして、蛍光像の先端部の特徴量を抽出する。
　制御部２は、抽出した特徴量に基づいて、器具の判定処理を行う（ステップＳ２４０）。器具の判定処理は、蛍光像から抽出した特徴量と、メモリ４の特徴量データ４２に格納された特徴量とを比較することにより、蛍光像が示す手術器具の種類を判定する処理である。器具の判定処理の詳細については、後述する。
　制御部２は、器具の判定処理（ステップＳ２４０）において判定した手術器具に関する形状情報に基づいて、投影画像のための画像データを生成する（ステップＳ２５０）。
　具体的には、制御部２は、蛍光像の特徴量と、各形状情報から抽出した特徴量との比較に基づいて、類似度を算出する。これにより、制御部２は、不鮮明な形状の蛍光像を有する撮像データと、判定した医療機器に関して画像データベース４１に格納された各形状情報との類似度を判定する。そして、制御部２は、メモリ４に格納されている形状情報のうち、類似度が最も高い形状情報を選択して、選択した形状情報が実際に手術に使用されている医療機器の状態を示す画像の形状情報であると判定する。制御部２は、撮像データの蛍光像を、類似度が最も高いと判定した形状情報の画像に置き換えて、投影用の画像データを生成する。
　例えば、器具の判定処理（ステップＳ２４０）において蛍光像が示す手術器具が鉗子であると判定された場合、制御部２は蛍光像の形状と、図３に示す鉗子の画像データ５２Ａ～５２Ｃとを比較して、鉗子の画像データ５２Ａ～５２Ｃの中で形状が最も蛍光像に近い画像データを選択する。次に、制御部２は、撮像データにおける蛍光像を、選択した画像データの画像に置き換えて、投影用の画像データを生成する。
　ここで、制御部２は、撮像データに基づいて、医療機器２０の大きさや向きなどの状態も検出する。例えば、患部１０２に挿入される医療機器２０の蛍光像は、略管状であって先端部に特徴を有することが多いため（図７Ａ参照）、蛍光像の長手方向を、向きの基準として検出してもよい。制御部２は、類似度が最も高いと判定した画像データに対して、検出した大きさや向きに合わせて、拡大または縮小の倍率および回転角度を調整する処理を行う。さらに、制御部２は、撮像データにおいて、患部の表面上の蛍光発光した領域である蛍光像の位置と、投影画像の位置とを合致させる。
　制御部２は、投影用の画像データを生成すると、画像データ生成処理を終了する。
　図８のステップＳ２４０の器具の判定処理について説明する。器具の判定処理において、制御部２は、メモリ４から特徴量データ４２を読み出して、特徴量データ４２の各手術器具の特徴量と、ステップＳ２３０の処理において抽出した蛍光像の特徴量とを比較することにより、撮像データの手術器具の種類を判定する。以下、図５，９を用いて説明する。
　図９は、器具の判定処理の一例を説明するためのフローチャートである。なお、図９の例では、一例として制御部２は、図５の特徴量データ４２に基づいて、撮像データの手術器具が、カテーテルと、鉗子と、メルシーのいずれであるかを判断するとする。
　制御部２は、蛍光像とカテーテルを比較するため、蛍光像が先端まで一定の幅で延在しているか否かを判定する（ステップＳ３１０）。この判定は、例えば特徴量ａが所定のしきい値を超えるか否かを判断することで実行される。蛍光像が先端まで一定の幅で延在している場合（ステップＳ３１０でＹＥＳ）、制御部２は、蛍光像の手術器具がカテーテルであると判定する（ステップＳ３１１）。
　一方、蛍光像が先端まで一定の幅で延在していない場合（ステップＳ３２０でＹＥＳ）、制御部２は、蛍光像の先端形状の特徴量と、特徴量データ４２におけるカテーテル以外の手術器具の特徴量とを比較する。具体的には、蛍光像の先端が、二股の分岐と類似するか否かを判定する（ステップＳ３２０）。蛍光像の先端が二股の分岐と類似していれば（ステップＳ３２０でＹＥＳ）、制御部２は、手術器具がカテーテルであると判定する（ステップＳ３２１）。一方、蛍光像の先端が二股の分岐と類似していなければ（ステップＳ３２０でＮＯ）、制御部２は、手術器具がメルシーであると判定する（ステップＳ３２２）。
　制御部２は、蛍光像の手術器具の種類を判定すると、器具の判定処理を終了する。なお、器具の判定処理において判定する手術器具の種類は、上記のカテーテルと、鉗子と、メルシーの組み合わせに限らない。例えば、蛍光像の先端の膨らみに関する特徴量を検出して、蛍光像がバルーンであるか否かを判定してもよい。
　器具の判定処理により、あらかじめ特徴量データ４２に格納された特徴量に基づいて、蛍光像が示す手術器具の種類が判定できるので、制御部２の処理量を低減することができる。
　以上の画像データ生成処理（ステップＳ１３０）により、図７Ｂに示すように、投影用の画像データに基づく投影画像３２が、投影部３から患部１０２の表面の蛍光発光した領域上に投影される（ステップＳ１４０）。上述の処理を行うことにより、医療機器２０の画像を鮮明に患部１０２上に表示することができる。
　なお、本実施の形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述の各処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。これにより、医療機器２０の蛍光像と投影部３からの投影画像とを分離して検出することができる。その結果、蛍光像のみとメモリ４に格納された形状情報とを比較して、類似度を判定することができる。したがって、撮像部を別々に設けることで、類似度の判定精度が向上する。
１－３．効果等
　以上のように、本実施の形態において、手術支援システム１００は、光源１１と、撮像部１２と、制御部２と、メモリ４と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の医療機器２０を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。メモリ４は、医療機器の画像の形状を示す形状情報を複数有するデータ群を複数格納する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。制御部２は、メモリ４に格納された複数の形状情報の中から、撮像部１２により撮像された、励起光に反応して蛍光発光した領域の画像である蛍光像との類似度に基づいて形状情報を選択する。制御部２は、選択した形状情報が示す形状を有する画像が、術野１０１の蛍光発光した領域に投影されるように、投影用の画像データを生成する。
　上述の構成により、手術支援システム１００は、患者の体内に挿入された医療機器２０の蛍光像が皮膚等の影響により不鮮明であった場合でも、蛍光像と医療機器群の形状情報とを比較することで、使用されている医療機器２０を判別できる。さらに、手術支援システム１００は、形状情報を用いて生成した投影用の画像データによって、明瞭で正確な位置、大きさ、及び向きの医療機器２０の映像を患部の表面に投影することができる。そのため、医師等が被写体の状態をより正確に認識できる画像を投影することができる。
　このように、実施の形態１の手術支援システム１００により、実際の医療機器が挿入された患部上に投影する投影画像において、医療機器の種類や位置などの状態を、ユーザにとってわかり易くすることができる。
（実施の形態２）
　以下、図１０～１５Ｃを用いて、実施の形態２を説明する。実施の形態１では、患者の体内に挿入された医療機器の画像を投影したが、本実施の形態では、患者の病変した患部の画像を投影する。
２－１．構成
２－１－１．手術支援システムの概要
　図１０は、実施の形態２にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。
　本実施の形態の手術支援システムは、術野における患部の蛍光像を撮像し、撮像した画像から患部の蛍光発光した領域を検出し、検出した領域に対応する被写体の領域に可視光で投影画像を投影する。これにより、本手術支援システムのユーザは、患者の患部の位置などを目視で確認することができる。
　ここで、患部に投影した投影画像の領域と、術野における蛍光発光した患部の領域とがずれると、患部の位置が誤認されるという問題がある。そこで、本実施の形態の手術支援システムは、患部の蛍光像と、患部に投影された投影画像とを撮像して、その差分を検出して投影画像を補正することで、投影画像のずれを解消する。これにより、ユーザ（医師等）は患者の患部の領域を正しく確認することができる。
　以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、手術支援システム２００を説明する。
２－１－２．手術支援システムの構成
　図１０を用いて、手術支援システム２００の構成を詳細に説明する。
　本実施の形態に係る手術支援システム２００は、実施の形態１に係る手術支援システム１００と同様に、撮像装置１と、制御部２と、投影部３とを備えるが、医療機器の形状情報を有するメモリ４を備えていない。
　手術を受ける患者１０には、所定の波長の光（励起光）によって励起されると蛍光を発する光感受性物質が、あらかじめ血液やリンパ液等に投与されており、血液やリンパ液の流れが滞っている患部１０３に光感受性物質が蓄積される。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質が蓄積された患部１０３は、光源１１から励起光を照射されることで蛍光発光する。
　本実施の形態において、撮像部１２は、術野１０１において、患部１０３の光感受性物質の蛍光発光による蛍光像と、可視光による可視光像とを撮像して、撮像データを生成する。すなわち、撮像データは、蛍光発光した領域の蛍光像だけでなく、可視光による可視光像をも含む画像データである。
２－２．動作
　以上のように構成された手術支援システム２００の動作を、以下説明する。
　図１１は、手術支援システム２００における投影画像の生成処理を説明するためのフローチャートである。
　まず撮像装置１は、光源１１を駆動して、患部１０３を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光が、患者１０の患部１０３に蓄積された光感受性物質を励起することにより、患部１０３は蛍光発光する。
　次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患部１０３に蓄積された光感受性物質による蛍光像とともに、術野１０１における可視光像を示す撮像データを生成する。撮像データは、制御部２に出力される。
　制御部２は、撮像データに基づいて、投影用の画像データを生成する（ステップＳ１３０Ａ）。本実施の形態においては、制御部２は、撮像データから患部１０３の蛍光像を抽出して、抽出した蛍光像の形状を示す投影画像を可視光で表示するように投影用の画像データを生成する。制御部２は、投影用の画像データを投影部３に出力する。
　投影部３は、術野１０１において、患部１０３表面の蛍光発光している領域に、患部１０３の形状を示す投影画像を投影する（ステップＳ１４０）。この投影画像によって、医師等は、術野１０１において患部１０３の位置や形状を明瞭に視認することができる。
　さらに、制御部２は、画像データ補正処理を行う（ステップＳ１６０）。画像データ補正処理は、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影用の画像データを補正する処理である（詳細は後述）。制御部２によって補正された投影用の画像データは、再度、投影部３に出力される。投影部３は、補正された投影用の画像データに基づく投影画像を、術野１０１の患部１０３に投影する（ステップＳ１４０）。
　以上の処理は、終了のための操作が行われるまで（ステップＳ１５０）に所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として患部１０３の位置や形状を視認できる。
２－２－１．画像データ補正処理
　以下、画像データ補正処理（ステップＳ１６０）の詳細を説明する。
　以上で説明した投影画像の生成処理においては、撮像装置１と投影部３の配置位置が異なることに起因して、実際の患部１０３の位置と、投影部３の投影画像が投影される位置との間にずれが生じることがある。また、患部１０３の表面形状や、患部１０３が移動することによっても、実際の患部１０３の位置と、投影画像が投影される位置との間にずれが生じる。
　図１２Ａ～１２Ｃは、撮像装置１と投影部３とが互いに異なる位置に配置された場合の手術支援システム２００による表示例を示す。図１２Ａ～１２Ｃに示す例において、撮像装置１は、術野１０１の上方から患部１０３に対向して配置されている。一方、投影部３は、術野１０１に対して傾斜して、患部１０３に向いて配置されている。
　図１２Ａ～１２Ｃの例では、患部１０３の形状は円形であるとする。また、蛍光発光した患部１０３と投影画像３３とが重なった領域３３ａを黒塗りの領域で示す。この場合、撮像装置１は、円形の蛍光像を撮像する。制御部２は、円形の投影画像を示す投影用の画像データを生成する。図１２Ａは、制御部２が投影用の画像データを補正せずに投影部３に出力したときの状態を示す。すると、投影部３が術野１０１に対して傾いて配置されているため、実際に術野１０１に投影される投影画像３３は楕円形の画像となる。そのため、患部１０３と投影画像３３とが、図１２Ａに示すようにずれてしまう。
　このような画像のずれを補正するため、本実施の形態の手術支援システム２００は、画像データ補正処理（ステップＳ１６０）を行う。具体的には、制御部２は、患部１０３の蛍光像と、投影画像３３との差分を検出して、差分に応じて投影用の画像データを補正する（図１２Ｃ参照）。例えば、手術支援システム２００は、図１２Ｂに示すように患部１０３と一致した投影画像の領域３３ａを表示したまま、患部１０３からはみ出した領域３３ｂを消去する。そのため、投影画像３３のずれを低減し、患部１０３の領域をより正確に示すことができる。また、検出した差分に応じて投影用の画像データを補正することにより、制御部２の処理量を低減することができる。
　画像データ補正処理における補正の考え方を説明する。図１３は、投影用の画像データの補正の考え方を説明した図である。画像データ補正処理において、制御部２は、術野１０１において、蛍光発光している領域（以下、「蛍光発光領域」という。）と、投影画像が投影されている領域（以下、「投影領域」という。）との領域の重なりに基づいて、投影用の画像データを補正する。
　制御部２は、蛍光発光領域と投影領域とが重なっている領域に対しては、投影用の画像データを変更せずに維持する（図１３（ａ）上段の左欄）。
　また、投影領域と重ならない蛍光発光領域には、投影画像が追加表示されるように、制御部２は投影用の画像データを補正する（図１３（ａ）上段の右欄）。
　また、蛍光発光領域と重ならない投影領域には、投影画像が消去されるように、制御部２は投影用の画像データを補正する（図１３（ａ）下段の左欄）。
　また、蛍光発光領域でも投影領域でもない領域に対しては、制御部２は、投影用の画像データを変更しない（図１３（ａ）下段の右欄）。
　例えば、投影領域と蛍光発光領域とが図１３（ｂ）に示すような状態にあるとき、以上のような処理を行うことによって、投影用の画像データは、図１３（ｃ）に示すように補正前の領域Ｄ３Ａから補正後の領域Ｄ３Ｂに補正される。
　図１４は、画像データ補正処理（ステップＳ１６０）を説明するためのフローチャートである。図１４のフローチャートを参照して、画像データ補正処理をより具体的に説明する。以下では、術野１０１において、患部１０３が蛍光発光しているとともに、投影画像が投影されているとする。
　まず、撮像装置１は、術野１０１における蛍光像とともに、投影部３からの投影画像を撮像する（ステップＳ４１０）。制御部２は、撮像装置１からの撮像データに基づいて、術野１０１における蛍光発光領域と、投影領域とを検出する（ステップＳ４２０）。具体的には、制御部２は、撮像データにおいて蛍光像と投影画像のそれぞれが占める領域を検出する。
　制御部２は、撮像データにおいて、投影領域と重ならない蛍光発光領域があるか否かを判定する（ステップＳ４３０）。投影領域と重ならない蛍光発光領域がある場合（ステップＳ４３０でＹＥＳ）、制御部２は、そのような領域に投影画像を追加表示するように、投影用の画像データを補正する（ステップＳ４４０）具体的には、制御部２は、撮像データ上の投影領域と重ならない蛍光発光領域に対応する、投影用の画像データ上の領域に、画像を追加する。
　次に、制御部２は、蛍光発光領域と重ならない投影領域があるか否かを判定する（ステップＳ４５０）。蛍光発光領域と重ならない投影領域がある場合（ステップＳ４５０でＹＥＳ）、制御部２は、そのような領域の投影画像を消去するように、投影用の画像データを補正する（ステップＳ４６０）
具体的には、撮像データ上の蛍光発光領域と重ならない投影領域に対応する、投影用の画像データ上の領域の投影画像を消去する。
　図１２Ａ～１２Ｃの例を用いて、上述の処理を具体的に説明する。図１２Ａに網掛けで示した領域３３ｂは、患部１０３ではないのに、投影画像３３がずれて表示されている領域である。図１２Ｂは、上述の処理によって補正された後の術野１０１の状態を示す。図１２Ｃは、補正後の投影用の画像データを示す。
　上述の処理において、制御部２は、網掛けで示した領域３３ｂを蛍光発光領域と重ならない投影領域として判定し（ステップＳ４５０でＹＥＳ）、網掛けの領域３３ｂを消去するように投影用の画像データＤ３３を補正する（ステップＳ４６０）。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ｂに対応する領域Ｄ３３ｂの画像を消去する。
　また、図１２Ａに示す投影画像３３の黒塗りの領域３３ａは、蛍光発光領域と投影領域が重なっている領域であるため、制御部２は、投影画像の領域３３ａを表示したままで維持する。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ａに対応する領域Ｄ３３ａの画像を維持する。
　上述の処理により、投影用の画像データＤ３３において、補正前には円形であった患部の画像の形状が、領域Ｄ３３ａに示すような楕円状に変更される。そのため、投影用の画像データＤ３３の領域Ｄ３３ａの画像が、術野１０１に対して傾いて配置された投影部３から投影されることで、投影画像の形状が円形となる。
　これにより、図１２Ｂに示すように、投影画像３３において、患部１０３からずれた領域に表示されていた領域３３ｂが消去され、患部１０３に一致した領域３３ａのみが維持される。このように、本実施の形態における画像データ補正処理によって、投影画像のずれが解消できる。
　なお、本実施形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述のような処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。このような構成により、蛍光像と投影像を独立した画像として処理できるため、蛍光発光領域と蛍光発光領域の外部、および、投影領域と投影領域の外部を区別する信号処理を高速、高精度に行うことができる。
　以下、患部が時間経過とともに移動した場合における画像データ補正処理の適用例を、図１５Ａ～１５Ｃを用いて説明する。
　図１５Ａ～１５Ｃに示す例において、撮像装置１と投影部３とは、術野１０１の上方において、隣接して並列に配置されている。図１５Ａは、投影部３からの投影画像３４の位置と患部１０３の位置とが一致して、投影画像３４が投影された状態を示す。
　図１５Ｂは、図１５Ａに示す術野１０１の状態から、患部１０３が移動した状態を示す。患部１０３が移動することで、図１５Ｂに示すように移動後の患部１０３’の蛍光発光領域と、投影部３からの投影画像３４の投影領域との間に、ずれが発生する。これに対して、手術支援システム２００の制御部２は、以下のように上述の画像データ補正処理を行う。
　まず、図１５Ｂにおいて斜線で示す領域１０３ａは、患部１０３の領域であって、かつ投影画像３４が表示されていない領域である。制御部２は、その領域１０３ａに投影画像の表示を行うように、投影用の画像データを補正する（ステップＳ４４０）。
　また、図１５Ｂに網掛けで示す領域３４ａは、蛍光発光していない領域であって、かつ投影画像３４がずれて表示されている領域である。制御部２は、その領域３４ａにおいて投影画像３４の表示を止めるように、投影用の画像データを補正する（ステップＳ４６０）。
　また、図１５Ｂに黒塗りで示す領域３４ｂの投影画像は、患部１０３に投影されている。制御部２は、投影用の画像データにおいて領域３４ｂに対応する領域の画像は変更せずに維持する（図１３（ａ）上段の左欄）。
　以上の画像データ補正処理を行うことにより、図１５Ｃに示すように、移動後の患部１０３’と投影画像３４’とが一致し、投影部３による表示のずれを解消することができる。
　以上のように、患部の蛍光像と投影部３の投影画像の差分を検出することで、患部の表面形状や動きによってずれが生じても、適正な位置に患部の画像を投影することができる。
２－３．効果等
　以上のように、本実施の形態において、手術支援システム２００は、光源１１と、撮像部１２と、制御部２と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の患部１０３を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。撮像部１２は、術野１０１上で、励起光に反応した蛍光発光領域の蛍光像とともに、投影画像を撮像する。制御部２は、撮像部１２により撮像された蛍光像と、投影画像との差分に応じて、投影用の画像データを補正する。
　上述の構成により、手術支援システム２００は、投影画像のずれを低減し、患部１０３の領域をより正確に示すことができる。そのため、実際の被写体上に投影する被写体の画像において、医師等は正確な被写体の状態をより認識しやすくなる。また、検出した差分に応じて投影用の画像データを補正することにより、補正処理における制御部２の処理量を低減することができる。
　また、制御部２は、投影画像が投影されている投影領域とは重ならない、所定の波長の光に反応した蛍光発光領域１０３ａに、投影画像を追加表示するように、投影用の画像データを補正する。また、制御部２は、蛍光発光領域と重ならない投影領域３４ａの投影画像を消去するように、投影用の画像データを補正する。このような処理により、補正処理における制御部２の処理量を低減できる。
　本実施の形態において、撮像部１２による被写体は患者１０の患部１０３であったが、被写体は人体に限らず、例えば生物の体内に、所定の光の波長に反応する蛍光物質が投与された患部であってもよい。
　なお、実施の形態２においては、撮像装置１と投影部３とが異なる位置に配置される場合、及び手術中に患部１０３が移動する場合に、ずれた投影画像を補正する例を説明した。しかし、本実施形態の画像データ補正処理は、患部１０３の表面形状によって投影画像がずれた場合にも、適用できる。患部の立体的な表面形状によって投影画像が歪み、蛍光発光領域と投影領域がずれる場合、本実施の形態における画像データ補正処理によって、投影画像の歪みを解消することができる。
　本実施の形態における投影画像の生成処理におけるステップＳ１３０Ａの処理において、制御部２は、実施の形態１と同様に、術野１０１上で蛍光発光した領域に投影画像の大きさ及び／又は向きに合わせるように、投影用の画像データの拡大または縮小の倍率および回転角度を調整する処理を行ってもよい。また、制御部２は、撮像データの可視光像に基づいて、撮像データにおいて患部の蛍光発光領域の位置と、投影画像の位置とを合致させてもよい。
（実施の形態３）
　以下、実施の形態３を説明する。実施の形態２では、患者の患部の画像を投影して、その投影用の画像データを補正したが、本実施の形態では、医療機器の画像を投影して、その投影用の画像データを補正する。
　以下、実施の形態１，２に係る手術支援システム１００，２００と同様の構成、動作の説明は適宜、省略して、本実施の形態の手術支援システムを説明する。
　本実施の形態の手術支援システムは、実施の形態２の手術支援システム２００と同様に構成される（図１０参照）。本実施の形態の手術支援システムは、実施の形態２と同様の投影画像の生成処理を、撮像装置１による撮像の対象、及び投影部３による投影の対象を医療機器として行う（図１１参照）。
　本実施の形態における投影画像の生成処理において、制御部２は、医療機器の蛍光像を抽出して、抽出した蛍光像の形状を示す投影用の画像データを生成する（ステップＳ１３０Ａ）。なお、制御部２は、実施形態１の画像データ生成処理（ステップＳ１３０）と同様の処理によって、投影用の画像データを生成してもよい（図８参照）。この場合、本実施の形態の手術支援システムは、実施の形態１の手術支援システム１００と同様のメモリ４をさらに備える。
　以上のように生成した医療機器の形状を示す投影用の画像データに対して、制御部２は、実施の形態２と同様の画像データ補正処理（ステップＳ１６０）を行う。このとき、制御部２は、医療機器の形状を示す投影画像と、医療機器２０の蛍光像との差分を検出し、差分に応じて投影用の画像データを補正する。
　これにより、医療機器の形状を示す投影画像の位置と、医療機器によって蛍光発光した領域の位置とのずれが解消され、ユーザは医療機器の位置を、より正確に視認することができる。また、一度生成した投影用の画像データを繰り返し補正することにより、投影用の画像データを新たに生成する頻度を減らして、制御部２の処理量を低減することができる。
（その他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　実施の形態１～３では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。
具体的には、実施の形態１，３の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、撮像部１２による撮像の対象である撮像対象物とする。それとともに、上記対象物の形状に関する形状情報を、メモリ４に格納することにより、実施の形態１，３と同様に、本発明を適用することができる。
　実施の形態１においては、メモリ４に格納した手術器具の画像データ５１～５４を例示した。しかし、メモリ４は、手術器具を含む医療機器の画像データを格納してもよい。このとき、医療機器の画像データに関して、実施の形態１と同様に、画像データベース４１および特徴量データ４２を構成してもよい。これにより、手術器具に限らず医療機器の種類を判定することができる。
　実施の形態１において、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。これにより、メルシーのフィラメントには蛍光材料を含ませずに手術を行う際、その蛍光像との比較が行い易くなる。たとえば、撮像データの蛍光像と、ループワイヤのらせん状の形状との類似度を比較することにより、蛍光像がメルシーであるか否かの判定を容易に実行できる。また、メルシーのフィラメントにおける蛍光材料の有無にかかわらず、投影画像としてフィラメントのないメルシーの画像データを用いてもよい。このように、各医療機器の部分的な形状の画像データをメモリ４に格納してもよい。
　また、メモリ４に格納する形状情報は、例えば、撮像装置１によって予め撮像した画像データであってもよい。これにより、より実際に使用する器具を示す画像データを投影することができる。
実施の形態１において、形状情報は、医療機器の形状を示す画像データであったが、形状情報は、医療機器に限らず、所定の形状を有する物体の画像データであってもよい。ここで、所定の形状を有する物体の画像データは、医療機器などの物体自体の画像データに限らない。形状情報は、当該物体を模式的に表す画像データであってもよく、例えば、当該物体を描いた図や、矢印などのマークであってもよい。
　実施の形態１において、制御部２は、撮像データに基づいて、類似度が最も高いと判定した画像データに対して、倍率および回転角度を調整する処理を行った。しかし、投影画像の倍率及び／又は回転角度の調整方法はこれに限らない。例えば、制御部２は、撮像装置１が撮像した術野１０１の可視光像を基準に倍率や角度を調整してもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準に倍率や角度を調整してもよい。また、制御部２は、このような基準による倍率及び／又は回転角度の調整を反映して、投影用の画像データを生成してもよいし、投影部３のレンズなどの光学系を制御してもよい。
　実施の形態１～３において、制御部２は、撮像データに基づいて、患部の表面上の蛍光像の位置と、投影画像の位置とが合致するように、投影用の画像データを生成した。しかし、これに限らず、制御部２は、被写体の表面上で蛍光発光した領域の位置と、投影画像の位置とが合致するように、投影位置を変更してもよい。例えば、制御部２は、投影画像の投影位置を変更するように、投影部３を制御してもよい。
　実施の形態１～３において、制御部２は、撮像データにおける医療機器の蛍光像を基準に、患部の表面上の蛍光像の位置と、投影画像の位置とを合致させた。しかし、投影画像の位置合わせの基準は、これに限らない。例えば、撮像装置１が撮像した術野１０１の可視光像を基準にしてもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準にしてもよい。
　実施の形態１において、１つの医療機器について投影画像を生成し、投影した。しかし、制御部２は、蛍光像を同時に複数の形状情報と比較してもよい。これにより、複数種類の手術器具が同時に患者１０の体内に挿入されている場合、それぞれの医療機器を識別することができる。
　実施の形態１の画像データ生成処理において、制御部２は、撮像データの蛍光像を、類似すると判定した画像データの画像に置き換えて、投影用の画像データを生成した。しかし、制御部２は、判定した画像データを参照して、撮像データにおける不鮮明な蛍光像の形状を補正することで、投影用の画像データを生成してもよい。
　実施の形態１において、制御部２は、メモリ４に格納される特徴量データ４２を用いて医療機器の種類を判定した。しかし、特徴量データ４２を用いて医療機器の種類を判定せずに、直接、画像データベース４１に格納される複数種類の医療機器の形状情報と、蛍光像との類似度を判定してもよい。このとき、メモリ４に特徴量データ４２を格納しなくてよいので、メモリ４に保持するデータ量を削減できる。また、特徴量データ４２として、医療機器の種類だけでなく、向きや形状の異なる医療機器の特徴量のデータを用いてもよい。これにより、画像データベース４１において、蛍光像の比較対象となる形状情報を、さらに絞り込むことができる。
　実施の形態１～３において、撮像部１２は、可視光、蛍光、および励起光の全ての種類の光を検出できるように構成されたが、少なくとも蛍光が検出できるように構成されればよい。例えば、撮像部１２は、可視光と蛍光のみを検出できるカメラを組み合わせて構成されてもよいし、蛍光のみを検出できるカメラによって構成されてもよい。
　実施の形態１～３においては、光感受性物質としてインドシアニングリーンを例示したが、他の光感受性物質を用いてもよい。例えば、ポルフィリン、ルシフェリン、アカルミネ（登録商標）などを用いてもよい。この場合、光源１１はそれぞれの光感受性物質の励起波長帯における励起光を照射し、撮像部１２はそれぞれの光感受性物質の蛍光発光の波長帯において蛍光像を検出する。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
　本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。
　１　撮像装置
　１１　光源
　１２　撮像部
　２　制御部
　３　投影部
　４　メモリ
　１０　患者
　２０　医療機器
　１００，２００　手術支援システム

Claims (6)

  1. 　所定の波長の光を照射する光源と、
    　前記所定の波長の光が照射された被写体を撮像する撮像部と、
    　前記撮像部が撮像した画像に基づいて、投影用の画像データを生成する制御部と、
    　前記投影用の画像データに基づく投影画像を、前記被写体上に投影する投影部とを備え、
    　前記撮像部は、前記被写体上で、前記所定の波長の光に反応した領域の画像とともに、前記投影画像を撮像し、
    　前記制御部は、前記撮像部により撮像された前記所定の波長の光に反応した領域の画像と前記投影画像との差分に応じて、前記所定の波長の光に反応した領域の画像と前記投影画像とが一致するように、前記投影用の画像データを補正する、
    投影システム。
  2. 　前記制御部は、
    　前記投影画像が投影されている領域とは重ならない、前記所定の波長の光に反応した領域に、前記投影画像を追加表示するように、前記投影用の画像データを補正し、
    　前記所定の波長の光に反応した領域とは重ならない、前記投影画像が投影されている領域の前記投影画像を消去するように、前記投影用の画像データを補正する、
    　請求項１に記載の投影システム。
  3. 　前記制御部により生成される投影用の画像データは、前記所定の波長の光に反応した領域を示す画像である
    請求項１または２に記載の投影システム。
  4. 　所定の形状を有する物体の画像データである形状情報を複数格納する記憶部をさらに備え、
    　前記制御部は、
    　前記記憶部に格納された複数の形状情報の中から、前記撮像部により撮像された前記所定の波長の光に反応した領域の画像との類似度に基づいて形状情報を選択して、
    　前記選択した形状情報が示す形状を有する画像が、前記所定の波長の光に反応した領域に投影されるように、前記投影用の画像データを生成する、
    請求項１または２に記載の投影システム。
  5. 　前記被写体は、患者の患部、及び医療機器を含む、
    請求項１～４のいずれか１つに記載の投影システム。
  6. 　前記被写体は、前記所定の光の波長に反応する蛍光材料が、塗布され、練りこまれ、或いは流し込まれた撮像対象物を含む
    請求項１～５のいずれか１つに記載の投影システム。
PCT/JP2014/003557 2013-07-05 2014-07-03 投影システム WO2015001807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015525060A JP6152951B2 (ja) 2013-07-05 2014-07-03 投影システム
EP14819736.1A EP3018901A4 (en) 2013-07-05 2014-07-03 PROJECTION SYSTEM
US14/640,636 US9354493B2 (en) 2013-07-05 2015-03-06 Projection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-141489 2013-07-05
JP2013141489 2013-07-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/640,636 Continuation US9354493B2 (en) 2013-07-05 2015-03-06 Projection system

Publications (1)

Publication Number Publication Date
WO2015001807A1 true WO2015001807A1 (ja) 2015-01-08

Family

ID=52143406

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2014/003557 WO2015001807A1 (ja) 2013-07-05 2014-07-03 投影システム
PCT/JP2014/003556 WO2015001806A1 (ja) 2013-07-05 2014-07-03 投影システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003556 WO2015001806A1 (ja) 2013-07-05 2014-07-03 投影システム

Country Status (4)

Country Link
US (2) US9354493B2 (ja)
EP (2) EP3018900A4 (ja)
JP (2) JP6152951B2 (ja)
WO (2) WO2015001807A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105963027A (zh) * 2016-06-08 2016-09-28 陈自强 一种与术中影像透视装置配合使用的手术定位装置
WO2016157260A1 (ja) * 2015-03-31 2016-10-06 パナソニックＩｐマネジメント株式会社 可視光投影装置
WO2017043539A1 (ja) * 2015-09-11 2017-03-16 国立研究開発法人産業技術総合研究所 画像処理システム、画像処理装置、投影装置、及び投影方法
WO2018221599A1 (ja) * 2017-05-31 2018-12-06 カリーナシステム株式会社 手術器具検出システムおよびコンピュータプログラム
JPWO2017164101A1 (ja) * 2016-03-22 2019-01-24 国立研究開発法人産業技術総合研究所 光照射システム、制御装置、光照射制御方法、及び手術用顕微鏡装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198578A1 (ja) * 2014-06-25 2015-12-30 パナソニックＩｐマネジメント株式会社 投影システム
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
US10524666B2 (en) 2018-05-09 2020-01-07 Inner Ray, Inc. White excitation light generating device and white excitation light generating method
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
CN111107289B (zh) * 2018-10-29 2022-04-19 青岛海尔多媒体有限公司 激光电视主机及激光电视
CN113395928A (zh) * 2019-01-25 2021-09-14 直观外科手术操作公司 增强医疗视觉系统和方法
FI130350B (fi) * 2019-03-12 2023-07-05 Planmeca Oy Operaatiovalaisin hammashoitoa varten
JP7312394B2 (ja) * 2019-03-27 2023-07-21 学校法人兵庫医科大学 脈管認識装置、脈管認識方法および脈管認識システム
US11442254B2 (en) 2019-04-05 2022-09-13 Inner Ray, Inc. Augmented reality projection device
JP7543640B2 (ja) * 2019-11-18 2024-09-03 コベルコ建機株式会社 自動車の解体支援システム
JP7426248B2 (ja) 2020-01-29 2024-02-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
CN111563932B (zh) * 2020-05-18 2022-03-11 常州市第二人民医院 一种交叠共轴外科手术控制方法、系统及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0924053A (ja) 1995-07-12 1997-01-28 Fuji Photo Film Co Ltd 外科手術支援システム
JP2005038118A (ja) * 2003-07-18 2005-02-10 Casio Comput Co Ltd 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP2006180926A (ja) * 2004-12-24 2006-07-13 Mitaka Koki Co Ltd 医療用表示装置
US20080004533A1 (en) * 2006-06-30 2008-01-03 General Electric Company Optical imaging systems and methods
JP2012065698A (ja) * 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
JP2013009949A (ja) * 2011-06-28 2013-01-17 Christie Digital Systems Usa Inc 静脈内アクセスのためにカテーテルの位置を検出するための方法および装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102360A (ja) * 2004-10-08 2006-04-20 Matsushita Electric Ind Co Ltd 生体情報提示装置
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8463364B2 (en) * 2009-07-22 2013-06-11 Accuvein Inc. Vein scanner
CN101686820A (zh) 2007-02-14 2010-03-31 路耐狄斯公司 用于将表面下结构投影到对象表面上的系统和方法
US20110001935A1 (en) * 2007-06-25 2011-01-06 Spotless, Llc Digital image projection system
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
JP2010273289A (ja) * 2009-05-25 2010-12-02 Seiko Epson Corp 電子情報ボードシステム、コンピューター端末およびキャリブレーション方法
DE102009025077A1 (de) * 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
US8610761B2 (en) * 2009-11-09 2013-12-17 Prohectionworks, Inc. Systems and methods for optically projecting three-dimensional text, images and/or symbols onto three-dimensional objects
JP5435796B2 (ja) 2010-02-18 2014-03-05 富士フイルム株式会社 画像取得装置の作動方法および画像撮像装置
US20120050688A1 (en) * 2010-09-01 2012-03-01 Wu Taychang Fabrication system having template projection
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
US9962563B2 (en) * 2012-04-03 2018-05-08 Koninklijke Philips N.V. Energy density map calculating using a thermo acoustic mode

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0924053A (ja) 1995-07-12 1997-01-28 Fuji Photo Film Co Ltd 外科手術支援システム
JP2005038118A (ja) * 2003-07-18 2005-02-10 Casio Comput Co Ltd 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP2006180926A (ja) * 2004-12-24 2006-07-13 Mitaka Koki Co Ltd 医療用表示装置
US20080004533A1 (en) * 2006-06-30 2008-01-03 General Electric Company Optical imaging systems and methods
JP2012065698A (ja) * 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
JP2013009949A (ja) * 2011-06-28 2013-01-17 Christie Digital Systems Usa Inc 静脈内アクセスのためにカテーテルの位置を検出するための方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3018901A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157260A1 (ja) * 2015-03-31 2016-10-06 パナソニックＩｐマネジメント株式会社 可視光投影装置
JP6176582B2 (ja) * 2015-03-31 2017-08-09 パナソニックＩｐマネジメント株式会社 可視光投影装置
JPWO2016157260A1 (ja) * 2015-03-31 2017-08-17 パナソニックＩｐマネジメント株式会社 可視光投影装置
US10080623B2 (en) 2015-03-31 2018-09-25 Panasonic Intellectual Property Management Co., Ltd. Visible light projection device for surgery to project images on a patient
WO2017043539A1 (ja) * 2015-09-11 2017-03-16 国立研究開発法人産業技術総合研究所 画像処理システム、画像処理装置、投影装置、及び投影方法
JPWO2017043539A1 (ja) * 2015-09-11 2018-08-30 国立研究開発法人産業技術総合研究所 画像処理システム、画像処理装置、投影装置、及び投影方法
JPWO2017164101A1 (ja) * 2016-03-22 2019-01-24 国立研究開発法人産業技術総合研究所 光照射システム、制御装置、光照射制御方法、及び手術用顕微鏡装置
CN105963027A (zh) * 2016-06-08 2016-09-28 陈自强 一种与术中影像透视装置配合使用的手术定位装置
WO2018221599A1 (ja) * 2017-05-31 2018-12-06 カリーナシステム株式会社 手術器具検出システムおよびコンピュータプログラム
JPWO2018221599A1 (ja) * 2017-05-31 2020-03-26 Eizo株式会社 手術器具検出システムおよびコンピュータプログラム
US11256963B2 (en) 2017-05-31 2022-02-22 Eizo Corporation Surgical instrument detection system and computer program

Also Published As

Publication number Publication date
WO2015001806A1 (ja) 2015-01-08
US9354493B2 (en) 2016-05-31
JPWO2015001806A1 (ja) 2017-02-23
JPWO2015001807A1 (ja) 2017-02-23
EP3018900A4 (en) 2016-07-27
EP3018901A1 (en) 2016-05-11
US20150181153A1 (en) 2015-06-25
JP6152951B2 (ja) 2017-06-28
JP5958875B2 (ja) 2016-08-02
US9235108B2 (en) 2016-01-12
EP3018900A1 (en) 2016-05-11
EP3018901A4 (en) 2016-07-13
US20150177598A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
JP6152951B2 (ja) 投影システム
JP5074044B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP4566754B2 (ja) 画像処理装置
US8428329B2 (en) Image processing apparatus, image processing method, and computer-readable medium
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US20160252716A1 (en) Projection system
JP2012170774A (ja) 内視鏡システム
JP2009077765A (ja) 内視鏡システム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JP7304951B2 (ja) コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
JPWO2017122431A1 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US20220400931A1 (en) Endoscope system, method of scanning lumen using endoscope system, and endoscope
JP2006334044A (ja) 眼科測定装置
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
WO2022202400A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
JP2021065293A (ja) 画像処理方法、画像処理装置、画像処理プログラム、教師データ生成方法、教師データ生成装置、教師データ生成プログラム、学習済みモデル生成方法、学習済みモデル生成装置、診断支援方法、診断支援装置、診断支援プログラム、およびそれらのプログラムを記録した記録媒体
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
US12133626B2 (en) Endoscope system and endoscope system operation method
JP7448923B2 (ja) 情報処理装置、情報処理装置の作動方法、及びプログラム
US20230240511A1 (en) Endoscope system and endoscope system operation method
JP6120758B2 (ja) 医用システム
WO2024185357A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2023162216A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20240188798A1 (en) Endoscope system, medical information processing apparatus, medical information processing method, medical information processing program, and recording medium

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015525060

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14819736

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE