WO2019146904A1 - 수술 지원 영상을 제공하는 헤드 마운트 시스템 - Google Patents

수술 지원 영상을 제공하는 헤드 마운트 시스템 Download PDF

Info

Publication number
WO2019146904A1
WO2019146904A1 PCT/KR2018/015371 KR2018015371W WO2019146904A1 WO 2019146904 A1 WO2019146904 A1 WO 2019146904A1 KR 2018015371 W KR2018015371 W KR 2018015371W WO 2019146904 A1 WO2019146904 A1 WO 2019146904A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
near infrared
infrared ray
optical system
Prior art date
Application number
PCT/KR2018/015371
Other languages
English (en)
French (fr)
Inventor
김법민
강용국
권기혁
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US16/955,527 priority Critical patent/US11356651B2/en
Publication of WO2019146904A1 publication Critical patent/WO2019146904A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to a head mount system for providing an operation assisted image, and more particularly, to a head mount system for providing a surgery assisted image that allows a home surgeron to more accurately confirm a surgical site through a near infrared ray image.
  • Sentinel lymph node is a primary lymph node in the primary tumor where metastasis of cancer cells is a priority, and is an important indicator for determining whether metastasis to the lymph node is present. If the cancer cells are not found through the biopsy of the surveillance lymph node, it is judged that there is no metastasis in the other lymph nodes and no further surgery is performed.
  • surveillance lymph node detection using target drugs is being used as a standard technique in early breast cancer or melanoma surgery.
  • the method of searching for the surveillance lymph node in the body using the target medicines includes a method of obtaining a visible light image by using a blue dye and a visible light camera, a method of obtaining a near infrared ray fluorescent image by using a near infrared ray camera and a near infrared ray fluorescent dye
  • radiological images obtained by imaging radiopharmaceuticals integrated in the surveillance lymph nodes with a gamma imaging apparatus have been proposed.
  • IGF Indocyanine Green
  • the surgeon looks at the surgical site of the actual patient, and when the surgeon searches the surveillance lymph node, Matching can determine the extent of abstinence.
  • a method has been proposed in which a near infrared ray fluorescent dye is injected into a cancer cell, a surgical site is photographed with a visible light camera and a near infrared ray fluorescent camera, and a visible light image and a near infrared ray image are matched and displayed on a monitor installed in an operating room .
  • the operator of the collecting apparatus confirms the fluorescence image portion displayed on the monitor 10 installed in the operating room, and then performs the operation while looking at the surgical site of the patient lying on the operating table.
  • the operator of the collecting apparatus confirms the fluorescence image portion displayed on the monitor 10 installed in the operating room, and then performs the operation while looking at the surgical site of the patient lying on the operating table.
  • Korean Patent No. 10-1355348, 'Surgical Guided Imaging System and its Method' a lesion image of a patient photographed by CT, MRI, Type transparent display, and the operation of the operation is performed while viewing the affected part displayed on the transparent display and the actual affected part transmitted through the transparent display.
  • a gyro sensor is used to match a pre-photographed lesion image and an actual lesion viewed through a transparent display, or a lesion image is transformed using a specific region of a patient as a reference point have.
  • a positional change occurs in a surgical site of a patient, that is, a lesion, or when an organ or the like is moved during operation, the lesion image does not exactly coincide with the actual lesion, There is a concern that it may interfere with recognition.
  • the near infrared ray camera and the visible ray camera Infrared ray image and visible light image are used and the photographing direction and size of the near infrared ray image are converted based on the visible light image and displayed on the screen of the smart glass so that the near infrared ray image displayed on the screen of the smart glass And the near-infrared fluorescence image provides the same effect as that displayed on the actual operation site of the patient.
  • Korean Patent No. 10-1667152 a near-infrared camera and a visible light camera should all be used.
  • the structure is somewhat complicated and there is an inconvenience that image processing technology must be applied.
  • an object of the present invention to solve the above-mentioned problems, and it is an object of the present invention to provide an image display apparatus capable of capturing near-infrared rays in the same line of sight as a user's eyes, And it is an object of the present invention to provide a head mount system that provides a surgical support image that can simplify a procedure.
  • a head mount system for providing an operation assist image
  • the head mount system comprising: a head mount body that can be worn on a user's head; A near infrared ray camera installed in the head mount body and photographing near infrared rays; A near infrared ray image projecting unit installed in the head mount body and projecting a near infrared ray image; A near infrared ray image processing unit for receiving the photographed image taken by the near infrared ray camera to generate the near infrared ray image and transmitting the near infrared ray image to the near infrared ray image projecting unit; Mountable on a head of a user when the head-mount body is worn on the user's head, the head-mount body is provided on the head-mount body to transmit a visible ray so that a user can see the front, And a transparent optical system that reflects the near-infrared image projected from the near-infrared image projecting
  • the wireless communication unit may further include a wireless communication unit installed in the head mount body to perform wireless communication;
  • the near infrared ray image processing unit is installed outside the head mount body, receives the photographed image of the near infrared ray camera through the wireless communication unit, and transmits the near infrared ray image to the near infrared ray image projecting unit.
  • the transparent optical system includes a left image optical system positioned in front of the left eye of the user and a right image optical system positioned in front of the right eye of the user;
  • the near infrared ray camera includes a left image near infrared ray camera for photographing near infrared rays coming in through the left image optical system and a right image near infrared ray camera for photographing near infrared rays coming in through the right image optical system;
  • the near infrared ray image projecting unit includes a left image projecting unit for projecting a near infrared ray left image to the left image optical system and a right image projecting unit for projecting a near infrared ray right image to the right image optical system;
  • the near infrared ray image processing unit may generate the near infrared ray left and right infrared ray right images respectively from the left image near infrared ray camera and the right image near infrared ray camera to the left image projecting unit
  • the left image optical system includes a first left image dichroic mirror for transmitting visible light coming from a front side of a user and reflecting near infrared rays coming from a front side of the user to the left image near infrared camera, And a second left image dichroic mirror disposed at the front or rear of the wing mirror for transmitting visible light coming from the front of the user and reflecting the near infrared ray left image projected from the left image projecting part to the user's eyes ;
  • the right image optical system includes a first right image dichroic mirror for transmitting visible light coming from a front side of a user and reflecting near infrared rays coming from a user's front side to the right image near infrared camera, And a second right image dichroic mirror disposed at the front or rear of the user and transmitting the visible light incoming from the front of the user and reflecting the near-infrared right image projected from the right image projecting unit to the user's eyes have.
  • the left image optical system may include a left image transparent plate made of a transparent material, a transparent plate coated on one side of the left transparent plate, transmitting visible light coming in from the user's front side, and near- A first left image dichroic layer that reflects the left-infrared ray image from the left side image-transparent part, and a second left side image dichroic layer that reflects the near-infrared ray left image, which is coated on the other side of the left image- And a second left image dichroic layer reflecting the image with the user's eyes;
  • the right image optical system includes a right image transparent plate coated with a transparent material and one side of the right image transparent plate.
  • the right image optical system transmits near infrared rays coming from the front side of the user to the right image near infrared ray camera
  • a first right image dichroic layer for reflecting the right-infrared ray right image projected from the right-eye image projecting part and a second right- And may include a second right image dichroic layer that reflects with the eye.
  • the left image near infrared ray camera is disposed at one of the upper and lower sides of the left image optical system, and the left image projection unit is disposed at another side of the upper and lower portions of the left image optical system;
  • the right image near-infrared ray camera may be disposed at either one of the upper and lower sides of the right image optical system, and the right image projection unit may be disposed at another side of the upper and lower sides of the right image optical system.
  • the transparent optical system includes a left image optical system located in front of the left eye of the user and a right image optical system located in front of the right eye of the user;
  • the near-infrared image projecting unit comprises: a left image projecting unit for projecting a near-infrared left image from the left side surface of the left image optical system to the left image optical system; and a right image projecting unit for projecting a near-infrared right image from the right side of the right image optical system to the right image optical system
  • the near-infrared camera may be disposed at an upper portion or a lower portion between the left image optical system and the right image optical system.
  • the left image optical system transmits visible light coming in from the front of the user, reflects the near-infrared ray coming in from the front of the user to the right side, and reflects the near-infrared left image coming from the left image- And a left image reflection mirror disposed on the right side of the left image dichroic unit for reflecting near infrared rays reflected from the left image dichroquis unit to the near infrared ray camera;
  • the right image optical system includes a right image dichroic mirror for transmitting visible light coming in from the front of the user, reflecting the near-infrared rays coming in from the front of the user to the left, and reflecting the near-infrared right image coming from the right- And a right image reflection mirror disposed on a left side of the right image dichroic film unit and reflecting near infrared rays reflected from the right image dichroquis unit to the near infrared ray camera;
  • the near infrared ray image processing unit divides the photographed
  • a head mount system for providing a surgical assistant image including a surgeon's lymph node and allowing the user to visualize the ablation site where cancer cells have metastasized, do.
  • a simpler image processing procedure can be applied to the near-infrared image generation by making the user's line of sight and the near-infrared ray camera take the same line of sight through the transparent optical system.
  • the image projected from the near-infrared image projecting unit can be directly projected to the user's eye through the transparent optical system without using expensive equipment such as a smart glass, so that it can be realized with a less expensive manufacturing cost and simple structure.
  • the stereoscopic image can be implemented by separately capturing the left image and the right image, and projecting the left and right images to the user's left and right eyes, respectively.
  • FIG. 1 is a view showing an example of a surgical environment in a conventional operating room
  • FIG. 2 is a view for explaining a configuration of a head mount system for providing a surgery assist image according to the present invention
  • FIG. 3 and 4 are views showing an example of implementing a head mount system for providing a surgery assist image according to the first embodiment of the present invention
  • FIG. 5 and 6 are views showing an example of implementing a head mount system for providing a surgery assist image according to a second embodiment of the present invention
  • FIG. 7 and 8 are views showing an example of implementing a head mount system for providing a surgery assist image according to the third embodiment of the present invention.
  • FIG. 9 is a view for explaining the principle of overlapping near infrared rays images in a head mount system for providing an operation assist image according to the present invention
  • FIG. 10 is a diagram illustrating an experimental example using a head mount system for providing a surgery assist image according to the present invention.
  • the present invention relates to a head mount system for providing an operation assisted image, comprising: a head mount body that can be worn on a user's head; A near infrared ray camera installed in the head mount body and photographing near infrared rays; A near infrared ray image projecting unit installed in the head mount body and projecting a near infrared ray image; A near infrared ray image processing unit for receiving the photographed image taken by the near infrared ray camera to generate the near infrared ray image and transmitting the near infrared ray image to the near infrared ray image projecting unit; Mountable on a head of a user when the head-mount body is worn on the user's head, the head-mount body is provided on the head-mount body to transmit a visible ray so that a user can see the front, And a transparent optical system that reflects the near infrared ray image projected from the near infrared ray image projecting unit to a user's
  • a head mount system 100 for providing an operation assist image according to the present invention
  • a head mount system 100 includes a near infrared ray camera 120, an image projecting unit, An image processing unit 140, and a transparent optical system 110.
  • the near infrared ray camera 120, the image projecting unit, and the transparent optical system 110 are installed in a head mount body that can be worn on the user's head, and a head mount body having various structures Descriptions of the structure are omitted, if possible.
  • the near-infrared camera 120 is installed in the head mount main body and photographs near infrared rays. For example, when a fluorescent material is injected into a surgical site of a patient, the fluorescent material can be photographed by the near-infrared camera 120.
  • the image projecting unit is installed in the head mount main body, and projects the near infrared ray image transmitted from the near infrared ray image processing unit 140.
  • the near infrared ray image processing unit 140 receives the photographed image photographed by the near infrared ray camera 120, processes the photographed image to generate a near infrared ray image, and transmits the near infrared ray image to the near infrared ray image projecting unit 130.
  • the transparent optical system 110 is installed in the head mount body so as to be positioned in front of the user's eyes when the head mount body is worn on the user's head. At this time, the transparent optical system 110 transmits a visible ray (a dot-dash line in Fig. 2) entering from the front of the user so that the user can see the front. Accordingly, even if the user puts the head mount body according to the present invention on his / her head and the transparent optical system 110 is positioned in front of the user's eyes, the user can visually confirm the front side in the same manner as wearing transparent glasses.
  • a visible ray a dot-dash line in Fig. 2
  • the transparent optical system 110 reflects the near-infrared ray (dotted line in FIG. 2) coming in from the front of the user to the near-infrared ray camera 120, and the near-infrared ray camera 120 photographs the near-
  • the transparent optical system 110 reflects the near infrared ray image projected from the near infrared ray image projecting unit 130 (the two-dot chain line in FIG. 2) to the user's eyes so that the user can visually confirm the near infrared ray image.
  • the near infrared ray image projected through the near infrared ray image projecting unit 130 is an image of the near infrared ray photographed by the near infrared ray camera 120 and corresponds to the image of the visible ray region visible to the human eye.
  • the near-infrared ray camera 120 reflects the near-infrared rays that the transparent optical system 110 enters into the user's eye and photographs the near-infrared rays.
  • the near-infrared ray image processing unit 140 converts the near- The near infrared ray camera 120 can take a near-infrared ray in the same direction as the direction of the user's eyes. This makes it possible to greatly simplify the image processing process that has been required as the photographing direction of the near infrared ray camera 120 is different from the user's gaze.
  • the near infrared ray image projecting unit 130 projects the near infrared ray image generated by the near infrared ray image processing unit 140 to the transparent optical system 110 and the transparent optical system 110 reflects the near infrared ray image to the user's eye,
  • the near infrared ray image is formed as an image and the same effect as that of visible light rays passing through the transparent optical system 110, that is, the near-infrared ray image overlaps with the front view viewed by the actual user, can be obtained.
  • FIG. 9 when the user views the surgical site of the patient while wearing the head mount body on the head, the surgical site of the patient appears as shown in FIG. 9 (a).
  • the photographed image photographed by the near-infrared camera 120 is as shown in Fig. 9 (b).
  • the near-infrared image processor 140 extracts only the fluorescent region to generate the near-infrared image.
  • the near-infrared image projecting unit 130 projects the image, the image is formed on the user's eye. As a result, it is visually recognized as an overlapped state in a near-infrared image at a real surgical site.
  • the near infrared ray camera 120 takes a picture in the same direction as the user's gaze by the transparent optical system 110, The near infrared ray image can be overlapped with the correct position.
  • FIG. 4 (a) is a front view of the transparent optical system 110 of FIG. 3 viewed from the front
  • FIG. 4 (b) is a plan view of the transparent optical system 110 of FIG. 3 as viewed from above.
  • a dotted line represents a visible ray
  • a one-dot chain line represents a near-infrared ray
  • a two-dot chain line represents a near-infrared ray image projected from the near-
  • a head mount system 100 includes a near infrared ray camera 120 and a near infrared ray image projecting unit 130.
  • a right image projection unit 130a In the head mount system 100 according to the first embodiment of the present invention, And a right image projection unit 130a.
  • the transparent optical system 110 includes left visual optical systems 111b and 112b and right visual optical systems 111a and 112a, as shown in Figs. 3 and 4.
  • the left image optical systems 111b and 112b are located in front of the left eye of the user and the right image optical systems 111a and 112a are located in front of the right eye of the user.
  • the left image projection unit 130b of the near infrared ray image projecting unit 130 projects the near infrared ray left image from the left side of the left image optics 111b and 112b to the left image optics 111b and 112b
  • the right image projection section 130a projects the near infrared ray right image from the right side of the right image optical systems 111a and 112a to the right image optical systems 111a and 112a.
  • the near infrared ray camera 120 is disposed at the upper portion or the lower portion between the left image optical systems 111b and 112b and the right image optical systems 111a and 112a. In the present invention, as shown in FIG. 3, do.
  • the left image optical systems 111b and 112b include a left image dichroic unit 111b and a left image reflection mirror 112b.
  • the left image dichroic unit 111b transmits a visible light coming in from the front of the user so that the user can see the front with his left eye.
  • the left image dichroic unit 111b reflects the near-infrared rays coming in from the front of the user to the right.
  • the left image reflection mirror 112b is disposed on the right side of the left image dichroic unit 111b and reflects the near-infrared ray reflected from the left image dichroquis unit 111b to the near-infrared camera 120.
  • the near-infrared camera 120 positioned at the upper portion between the left image optical systems 111b and 112b and the right image optical systems 111a and 112a can take near-infrared rays coming into the left eye of the user.
  • the left image dichroic unit 111b reflects the near infrared ray left image coming from the left image projection unit 130b disposed on the left side thereof to the user's eye and recognizes the near infrared ray left image overlapping with the left eye of the user .
  • the right image optical systems 111a and 112a include a right image dichroic unit 111a and a right image reflection mirror.
  • the right image dichroic unit 111a transmits visible light coming in from the front of the user so that the user can see the front with his right eye. Then, the right image dichroic unit 111a reflects the near-infrared ray coming from the front of the user to the left.
  • the right image reflection mirror is disposed on the left side of the right image dichroic unit 111a and reflects the near-infrared ray reflected from the right image dichroquis unit 111a to the near-infrared camera 120.
  • the near infrared ray camera 120 located at the upper portion between the left image optical systems 111b and 112b and the right image optical systems 111a and 112a can take a near-infrared ray coming into the user's right eye.
  • the right image dichroic mirror unit 111a reflects the near-infrared right image coming from the right image projecting unit 130a disposed on the right side thereof to the user's eye, and recognizes the near-infrared right image overlapped with the right eye of the user .
  • the near-infrared camera 120 captures both the near-infrared rays coming in the direction of the left eye of the user and the near-infrared rays coming in the direction of the right eye of the user. It can be adjusted so that the visual field, especially the surgical site, is included.
  • the near infrared ray image processing unit 140 divides the photographed image reflected by the left image reflection mirror 112b and the right image reflection mirror and imaged by the near infrared ray camera 120 into the near infrared ray left image and the near infrared ray right image, respectively .
  • the near infrared ray image processing unit 140 transmits the generated near infrared ray left image and near infrared ray right image to the left image projection unit 130b and the right image projection unit 130a, respectively.
  • the left image projection unit 130b and the right image projection unit 130a respectively project the near infrared ray left image and the near infrared ray right image to the left image dichroic unit 111b and the right image dichroic unit 111a .
  • the left and right eye images of the left and right eyes of the user are overlapped with the left eye and right eye of the user so that the fluorescent substance is recognizable as shown in the user's surgical site as shown in FIG. 9 (c).
  • the configurations of the left image dichroic unit 111b and the right image dichroic unit 111a according to the first embodiment of the present invention are the same as those of the left image optics 111b and 112b of the second and third embodiments of the present invention, And right image optical systems 111a and 112a can be applied, and a detailed description thereof will be described later.
  • FIG. 6 is a side view of the transparent optical systems 311a and 311b of FIG. 5 viewed from the side.
  • a dotted line represents a visible ray
  • a one-dot chain line represents a near-infrared ray
  • a two-dot chain line represents a near-infrared image projected from the near-infrared image projecting units 330a and 330b.
  • the transparent optical systems 311a and 311b may include a left image optical system 311b and a right image optical system 311a.
  • the left image optical system 311b and the right image optical systems 111a and 112a are positioned in front of the left eye and right eye of the user, respectively .
  • the near infrared ray cameras 320a and 320b may include a left image near infrared ray camera 320b and a right image near infrared ray camera 320a as shown in FIG.
  • the left image near infrared ray camera 320b photographs the near infrared ray coming in through the left image optical system 311b
  • the right image near infrared ray camera 320a photographs the near infrared ray coming in through the right image optical systems 111a and 112a.
  • the near infrared ray image projecting parts 330a and 330b may include a left image projecting part 330b and a right image projecting part 330a.
  • the left image projection unit 330b projects the near infrared ray left image transmitted from the near infrared ray image processing unit 140 to the left image optical system 311b.
  • the right image projection unit 330a projects the near-infrared right image transmitted from the near-infrared image processing unit 140 to the right image optical systems 111a and 112a.
  • the near infrared ray image processing unit 140 generates a near infrared ray left image using the photographed image photographed by the left image near infrared ray camera 320b and transmits the left image to the left image projection unit 330b.
  • the near-infrared ray captured by the left image near-infrared camera 320b corresponds to the near-infrared ray coming in the direction of the left eye of the user
  • the near-infrared image generated through the near infrared ray corresponds to the image coming into the left eye of the user.
  • the near-infrared image processor 140 generates a near-infrared right image using the photographed image photographed by the right image near-infrared camera 320a, and transmits the right eye image to the right image projecting unit 330a.
  • the near-infrared ray captured by the right-eye near-infrared camera 320a corresponds to the near-infrared ray coming in the direction of the right eye of the user
  • the near-infrared right image generated through the near-infrared ray corresponds to the image coming into the right eye of the user.
  • the near-infrared left-eye image and the near-infrared right-eye image are respectively projected to the left image optical system 311b and the right image optical systems 111a and 112a in the left image projection unit 330b and the right image projection unit 330a, respectively
  • the near infrared ray left and right infrared ray images reflected from the left image optical system 311b and the right image optical systems 111a and 112a are formed on the left and right eyes of the user respectively, Can be recognized as shown.
  • the left image optical system 311b includes a left image transparent plate 312b, a first left image dichroic layer 313b, And a second left image dichroic layer 314b. That is, a dichroic mirror forms a layer on both sides of the transparent plate.
  • the left image transparent layer is made of a transparent material, and both visible light and near infrared light are transmitted.
  • the first left image dichroic layer 313b is coated on one side of the left image transparent plate 312b.
  • the first left image dichroic layer 313b is coated on the front side of the left image transparent plate 312b and the second left image dichroic layer 314b is coated on the rear side
  • the direction may be changed.
  • the first left image dichroic layer 313b transmits visible light coming from the front of the user and reflects near infrared rays coming from the front of the user to the left image near infrared ray camera 320b.
  • the second left image dichroic layer 314b is coated on the other side of the left image transparent plate 312b.
  • the second left image dichroic layer 314b transmits the visible light coming in front of the user and reflects the near-infrared left image projected from the left image projection unit 330b to the user's eyes.
  • the right image optical systems 111a and 112a include right image transparent plates 312a and first right image dichroic layers 312a and 312b, as shown in FIGS. 5 and 6, 313a, and a second right image dichroic layer 314a. That is, like the left image optical summer, a dichroic mirror forms a layer on both sides of the transparent plate.
  • the right image transparent layer is made of a transparent material, and both the visible light and the near-infrared light are transmitted.
  • the first right image dichroic layer 313a is coated on one side of the right image transparent plate 312a.
  • the first right image dichroic layer 313a is coated on the front side of the right image transparent plate 312a, and the second right image dichroobe layer 314a is coated on the rear side
  • the direction may be changed.
  • the first right image dichroic layer 313a transmits visible light coming in from the front of the user, and reflects near infrared rays coming in from the front of the user to the right image near infrared ray camera 320a.
  • the second right image dichroic layer 314a is coated on the other surface of the right image transparent plate 312a.
  • the second right image dichroic layer 314a transmits the visible light coming in from the front of the user and reflects the near-infrared right image projected from the right image projection part 330a to the user's eyes.
  • near-infrared rays can be taken in the same direction as the user's gaze, and the near-infrared rays coming into the left eye and the right eye are picked up by the left-eye near-infrared camera 320b and the right- Infrared near-infrared image and near-infrared right image on the user's eye.
  • more stereoscopic near-infrared image can be obtained as shown on the actual operation site.
  • the configuration of the left imaging optical system 311b and the right imaging optical systems 111a and 112a according to the second embodiment of the present invention is the same as the configuration of the left imaging dichroic unit 111b and the right imaging dichroic Unit 111a, respectively, and the arrangement thereof has a structure as shown in Fig.
  • FIG. 8 is a side view of the transparent optical systems 511a and 511b of FIG. 7 viewed from the side.
  • a dotted line represents a visible ray
  • a one-dot chain line represents a near-infrared ray
  • a two-dot chain line represents a near-infrared image projected from the near-infrared image projecting units 530a and 530b.
  • the head mount system 500 according to the third embodiment of the present invention differs from the second embodiment in the configuration of the transparent optical systems 511a and 511b in that the configuration of the transparent optical systems 511a and 511b Will be described in detail.
  • the transparent optical systems 511a and 511b may include left and right optical systems 513b and 514b and right optical systems 513a and 514a.
  • the left image optical systems 513b and 514b and the right image optical systems 513a and 514a are located in front of the user's left eye And is positioned in front of the right eye.
  • the left imaging optical system 513b and 514b includes a first left image dichroic mirror 513b and a second left image dichroic mirror 513b, Mirror 514b.
  • the first left image dichroic mirror 513b and the second left image dichroic mirror 514b are arranged in a state of being spaced apart at regular intervals, but they may be in contact with each other.
  • the first left image dichroic mirror 513b transmits visible light coming from the front of the user and reflects near infrared rays coming from the front of the user to the left image near infrared ray camera 520b.
  • the second left image dichroic mirror 514b transmits the visible light coming in from the front of the user and reflects the near-infrared left image projected from the left image projection unit 530b to the user's eyes.
  • the right image optical systems 513a and 514a include first right image dichroic mirror 513a and second right image dichroic mirror 513a as shown in Figs. 7 and 8, And may include a wiping mirror 514a.
  • the first right image dichroic mirror 513a and the second right image dichroic mirror 514a are arranged to be spaced apart from each other at regular intervals, but they may be in contact with each other.
  • the first right image dichroic mirror 513a transmits visible light coming in from the front of the user and reflects near infrared rays coming from the front of the user to the right image near infrared ray camera 520a.
  • the second right image dichroic mirror 514a transmits the visible light coming in from the front of the user and reflects the near-infrared right image projected from the right image projection unit 530a to the user's eyes.
  • the positions of the left image near infrared ray camera 520b and the left image projection unit 530b located at the upper and lower portions of the left image optical systems 513b and 514b are the same as those of the first left image dichroic mirror 513b,
  • the position of the right image near infrared ray camera 520a and the position of the right image projection unit 530a can be adjusted in the same manner.
  • the near-infrared rays can be taken in the same direction as the user's gaze, and the near-infrared rays coming in from the left eye and the right eye are picked up by the left and right near infrared ray cameras 520b and 520a, Infrared near-infrared image and near-infrared right image on the user's eye.
  • more stereoscopic near-infrared image can be obtained as shown on the actual operation site.
  • the configuration of the left image optical systems 513b and 514b and the right image optical systems 513a and 514a according to the third embodiment of the present invention is the same as the configuration of the left image dichroic unit 111b and the right image dichroic Respectively, and the arrangement thereof may have a structure as shown in Fig.
  • the left image near infrared ray cameras 320b and 520b and the right image near infrared ray cameras 320a and 520a are located above the transparent optical systems 311a, 311b, 511a and 511b,
  • the projection units 330b and 530b and the right image projection units 330a and 530a are located below the transparent optical systems 311a and 311b and 511a and 511b.
  • the near-infrared image processing unit 140 transmits the image to the near-infrared image projecting units 130, 130a, 130b, 330a, 330b, 530a, and 530b, Infrared image processing unit 140.
  • Infrared image processor 140 is installed in the head mount main body, a wireless communication unit (not shown) may be installed in the head mount main body and a near infrared ray image processing unit 140 may be installed outside the head mount main body Infrared camera 120, 320a, 320b, 520a, and 520b and the near-infrared image projectors 130, 130a, 130b, 330a, and 330b through a wireless communication unit in a state in which the near- 330b, 530a, and 530b.
  • FIG. 10 is a diagram illustrating an experimental example using a head mount system for providing a surgery assist image according to the present invention. As shown in the upper left part of FIG. 10, the experiment was conducted by injecting a fluorescent molding agent into a model using a chicken breasts calf. 10 is a view showing a state in which the fluorescent molding agent is injected.
  • FIG. 10 is a view showing an actual visual field image of the operation, and the lower right side is a diagram showing a displayed image of a projected near-infrared fluorescent image.
  • head mount system 110 transparent optical system
  • 311a and 511a Right image optical systems 311b and 511b: Left image optical system
  • 312a right image transparent plate 312b: left image transparent plate
  • 313a first right image dichroic layer 313b: first left image dichroic layer
  • the present invention relates to a head mount system for providing an operation assisted image, and can be operated while confirming a surgical site through a near infrared ray image, thereby being applicable to a surgical system of a patient.

Abstract

본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로, 사용자의 머리에 착용 가능하는 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 한다. 이에 따라, 집도의가 수술 부위를 근적외선 영상을 통해 보다 정확하게 확인할 수 있게 된다.

Description

수술 지원 영상을 제공하는 헤드 마운트 시스템
본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로서, 보다 상세하게는 집도의가 수술 부위를 근적외선 영상을 통해 보다 정확하게 확인할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것이다.
감시림프절(Sentinel lymph node, SLN)은 원발 종양에서 암세포의 전이가 우선적으로 이루어지는 림프절로, 림프절로의 전이 여부를 판단할 수 있는 중요한 지표이다. 이에 감시림프절에 대한 조직검사를 통해 암세포가 발견되지 않는다면 다른 림프절에도 전이가 없다고 판단하고 더 이상의 수술을 진행하지 않는다.
이와 같이 암 전이 여부를 판단하는데 있어 중요한 지표로 작용하는 감시림프절의 정확한 탐색을 통하여 감시림프절 In-vivo 검사를 수행하면 림프부종과 같은 수술 후유증을 줄여주고 환자의 몸에 남는 흉터를 최소화 할 수 있다. 이로 인해 초기 유방암이나 흑색종 수술에서는 표적의약품을 이용한 감시림프절 탐색방법이 표준기법으로 활용되고 있다.
표적의약품을 이용하여 체내에 감시림프절을 탐색하는 방법으로는 청색염료(Blue dye)와 가시광 카메라를 이용하여 가시광 영상을 얻는 방법, 근적외선 형광염료(Fluorescent dye)와 근적외선 카메라를 이용하여 근적외선 형광 영상을 얻는 방법, 그리고 감시림프절에 집적된 방사성 의약품을 감마영상 장치로 촬영하여 방사선 영상을 얻는 방법등이 제안되고 있다.
근래에 근적외선 형광 염료 중 IOG(Indocyanine Green) FDA 승인을 받아 근적외선 형광 염료를 이용한 감시림프절의 탐색이 임상에서 사용될 수 있는 길이 마련된 상태이다.
한편, 상기와 같은 정확한 감시림프절의 탐색과 함께, 실제 종양을 제거하는 수술을 시행할 때, 집도의가 실제 환자의 수술 부위를 보며 수술할 때 상기와 같이 탐색된 감시림프절과 실제 환자의 수술 부위와 매칭시켜야 절제하여야할 범위를 결정할 수 있다.
이는, 암세포가 전이된 감시림프절까지 절제하지 않고 일부 남는 경우 수술 이후에 암세포의 전이가 발생하여 재수술을 시행하게 되는 문제가 있고, 필요 이상으로 넓은 범위의 절제가 이루어지는 경우 해당 장기의 기능 저하 등으로 인해 환자의 삶의 질을 저하시키는 문제가 있어, 감시림프절의 정확한 탐색 뿐만 아니라 수술시 정확한 절제가 이루어져야 한다.
이에, 수술시 근적외선 형광 염료(Fluorescent dye)를 암세포에 주입하고, 가시광 카메라와 근적외선 형광 카메라로 수술 부위를 촬영하고, 가시광 영상과 근적외선 영상을 정합하여 수술실에 설치된 모니터에 표시해주는 방법이 제안되고 있다.
그런데, 도 1에 도시된 바와 같이, 집도의는 수술실에 설치된 모니터(10)에 나타난 형광 영상 부위를 눈으로 확인하고, 다시 수술대에 누워있는 환자의 수술 부위를 보면서 수술을 진행하게 되어, 두 곳을 번갈아 주시하며 수술하여야 하는 불편함이 있다. 특히, 환자의 실제 수술 부위를 주시할 때 형광 부분이 확인되지 않아 정확한 절제가 이루어질 수 없는 한계가 있다.
이와 같은 문제점을 해소하기 위해, 한국등록특허 제10-1355348호에서는 '수술 유도영상 시스템 및 그 방법'에서는 미리 촬영된 CT, MRI, X-ray로 촬영된 환자의 환부영상을 집도의가 착용하는 안경 형태의 투명 디스플레이에 표시하고, 집도의가 투명 디스플레이에 표시된 환부영상과 투명 디스플레이를 투과하여 오는 실제 환부를 함께 보면서 수술을 진행하는 기술을 개시하고 있다.
상기 한국등록특허 제10-1355348호에 개시된 방법은 미리 촬영된 환부영상과 집도의가 투명 디스플레이를 통해 보는 실제 환부를 일치시키기 위해 자이로센서를 이용하거나 환자의 특정 부위를 기준점으로 하여 환부영상을 변환하고 있다.
그런데, 자이로센서 등을 이용하여 집도의의 움직임을 감지하는 경우, 환자의 움직임을 반영할 수 없어 환부영상을 실제 영상에 정확히 일치시킬 수 없는 단점이 있다.
또한, 미리 촬영된 환부영상을 이용하는 경우, 환자의 수술 부위, 즉 환부에 위치적인 변화가 생기거나 수술 중 장기 등을 움직이게 되면 환부영상이 실제 환부와 정확히 일치하지 않게 되고, 이는 집도의가 환부를 정확하게 인식하는데 오히려 방해가 될 우려가 있다.
이에, 본 발명의 발명자에 의해 출원된 한국등록특허 제10-1667152호에 개시된 "수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에서는 근적외선 카메라, 가시광 카메라에 의해 각각 촬영된 근적외선 영상과 가시광 영상을 이용하고, 가시광 영상에 기초하여 근적외선 영상의 촬영 방향 및 사이즈를 변환하여 스마트 글라스이 화면상에 디스플레이함으로써, 집도의가 실제 보는 수술 부위에 스마트 글라스의 화면 상에 표시된 근적외선 영상이 오버랩되도록 하여, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하고 있다.
그런데, 한국등록특허 제10-1667152호에서는 근적외선 카메라와, 가시광 카메라를 모두 사용해야하고, 근적외선 카메라의 촬영 방향과 위치 등이 집도의의 시선과 달라 이를 조절하기 위해 가시광 영상을 이용한 영상 처리 절차를 수행하여야 하는 등, 구조가 다소 복잡하고 영상 처리 기술이 적용되어야 하는 불편함이 있다.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 집도의와 같은 사용자의 시선과 동일한 시선에서 근적외선의 촬영이 가능하고, 가시광 카메라나 스마트 글라스의 사용을 배제하여 기구적인 구조 뿐만 아니라 영상 처리 절차도 간소화시킬 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서, 사용자의 머리에 착용 가능하는 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 의해서 달성된다.
여기서, 상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며; 상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 상기 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달할 수 있다.
또한, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 카메라는 상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와, 상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외산 카메라를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.
그리고, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와, 상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와, 상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 미러를 포함할 수 있다.
또한, 상기 좌 영상 광학계는 투명한 재질의 좌 영상 투명판과, 상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과, 상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며; 상기 우 영상 광학계는 투명한 재질의 우 영상 투명판과, 상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과, 상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 층을 포함할 수 있다.
그리고, 상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며; 상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치될 수 있다.
그리고, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며; 상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치될 수 있다.
그리고, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 좌 영상 다이크로익 유닛과, 상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 우 영상 다이크로익 유닛과, 상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.
상기와 같은 구성에 따라 본 발명에 따르면, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의와 같은 사용자가 실시간으로 시각적으로 보하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템이 제공된다.
또한, 투명 광학계를 통해 사용자의 시선과 근적외선 카메라의 촬영 시선을 동일하게 하여, 근적외선 영상을 생성하는데 있어 보다 간소한 영상 처리 절차의 적용이 가능하게 된다.
그리고, 스마트 글라스와 같은 고가의 장비를 사용하지 않고 근적외선 영상 투사부에서 투사된 영상이 투명 광학계를 통해 직접 사용자의 눈에 직접 투사되어 보다 저렴한 제조 비용과 간단한 구조로 구현이 가능하게 된다.
그리고, 좌 영상과 우 영상을 구분하여 촬영하고, 이를 사용자의 좌측 및 우측 눈에 각각 투사시킴으로써, 입체적인 영상의 구현이 가능하게 된다.
도 1은 종래의 수술실의 수술 환경의 예를 나타낸 도면이고,
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템의 구성을 설명하기 위한 도면이고,
도 3 및 도 4는 본 발명에 제1 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 5 및 도 6은 본 발명에 제2 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 7 및 도 8은 본 발명에 제3 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 9는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템에서 근적외선 영상이 오버랩되어 인식되는 원리를 설명하기 위한 도면이고,
도 10은 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 이용한 실험 예를 나타낸 도면이다.
본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로, 사용자의 머리에 착용 가능하는 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 한다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)의 구성을 설명하기 위한 도면이다. 도 2를 참조하여 설명하면, 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)(이하, '헤드 마운트 시스템(100)'이라 함)은 근적외선 카메라(120), 영상 투사부, 근적외선 영상 처리부(140) 및 투명 광학계(110)를 포함한다.
여기서, 본 발명에서는 근적외선 카메라(120), 영상 투사부 및 투명 광학계(110)는 사용자의 머리에 착용 가능한 헤드 마운트 본체에 설치되는데, 사용자가 머리에 착용할 수 있는 다양한 구조의 헤드 마운트 본체가 적용 가능한 바, 그 구조에 대한 설명은 생략한다.
근적외선 카메라(120)는 헤드 마운트 본체에 설치되어 근적외선을 촬영한다. 일 예로, 환자의 수술 부위에 형광 물질이 주입되는 경우, 해당 형광 물질이 근적외선 카메라(120)에 의해 촬영 가능하게 된다.
영상 투사부는 헤드 마운트 본체에 설치되고, 근적외선 영상 처리부(140)로부터 전달되는 근적외선 영상을 투사하게 된다. 여기서, 근적외선 영상 처리부(140)는 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 전달받고, 해당 촬영 영상을 영상 처리하여 근적외선 영상을 생성하여 근적외선 영상 투사부(130)로 전달한다.
투명 광학계(110)는 사용자의 머리에 헤드 마운트 본체가 착용될 때, 사용자의 눈 전방에 위치하도록 헤드 마운트 본체에 설치된다. 이 때, 투명 광학계(110)는 사용자가 전방을 볼 수 있도록 사용자의 전방에서 들어오는 가시광선(도 2의 일점 쇄선)을 투과시킨다. 이에 따라, 사용자가 본 발명에 따른 헤드 마운트 본체를 머리에 착용하고 투명 광학계(110)가 사용자의 눈 전방에 위치하더라도 투명한 안경을 착용한 것과 동일하게 전방을 육안으로 확인할 수 있게 된다.
또한, 투명 광학계(110)는 사용자의 전방으로부터 들어오는 근적외선(도 2의 점선)을 근적외선 카메라(120)로 반사시켜, 근적외선 카메라(120)가 근적외선을 촬영하여 촬영 영상을 형성하다록 한다. 그리고, 투명 광학계(110)는 근적외선 영상 투사부(130)로부터 투사된 근적외선 영상(도 2의 이점 쇄선)을 사용자의 눈으로 반사시켜 사용자가 근적외선 영상을 눈으로 확인 가능하게 한다. 여기서, 근적외선 영상 투사부(130)를 통해 투사되는 근적외선 영상은 근적외선 카메라(120)에 의해 촬영된 근적외선을 영상화한 것으로, 사람의 눈으로 확인 가능한 가시광선 영역의 영상에 해당한다.
상기와 같은 구성에 따라, 투명 광학계(110)가 사용자의 눈으로 들어오는 근적외선을 근적외선 카메라(120)로 반사시켜 이를 촬영하도록 하고, 이와 같이 촬영된 촬영 영상을 근적외선 영상 처리부(140)가 근적외선 영상으로 생성하도록 함으로써, 사용자의 시선과 동일한 방향으로 근적외선 카메라(120)가 근적외선을 촬영할 수 있게 된다. 이는, 기존에 근적외선 카메라(120)의 촬영 방향이 사용자의 시선과 다름에 따라 필요했던 영상 처리 과정을 현저히 간소화시킬 수 있게 된다.
또한, 근적외선 영상 처리부(140)에 의해 생성된 근적외선 영상을 근적외선 영상 투사부(130)가 투명 광학계(110)로 투사하고, 투명 광학계(110)가 근적외선 영상을 사용자의 눈으로 반사시켜 사용자의 눈에 근적외선 영상이 상으로 맺쳐, 투명 광학계(110)을 투과하여 들어오는 가시광선, 즉 실제 사용자가 보고 있는 전방 뷰에 근적외선 영상이 오버랩되는 것과 동일한 효과를 얻을 수 있게 된다.
도 9를 참조하여 보다 구체적으로 설명하면, 사용자가 헤드 마운트 본체를 머리에 착용한 상태로 환자의 수술 부위를 보게 되면, 환자의 수술 부위는 도 9의 (a)에 도시된 바와 같이 보인다. 그리고, 근적외선 카메라(120)에 의해 촬영된 촬영 영상은 도 9의 (b)에 도시된 바와 같다. 이 때 근적외선 영상 처리부(140)가 형광 부위 만을 추출하여 근적외선 영상을 생성하게 되고, 이를 근적외선 영상 투사부(130)가 투사하여 사용자의 눈에 상이 맺히게 되면, 사용자는 도 9의 (c)에 도시된 바와 같이, 실제 수술 부위에 근적외선 영상에 오버랩된 상태로 시각적으로 인식하게 된다.
이에 따라, 사용자는 실제 수술 부위에 형광 물질이 칠해진 것과 동일하게 인식하게 되고, 수술 중 사용자가 움직이더라도 투명 광학계(110)에 의해 근적외선 카메라(120)가 사용자의 시선과 동일한 방향으로 촬영하게 되어 보다 정확한 위치에 근적외선 영상이 오버랩 가능하게 된다.
이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)을 구현한 예에 대해 설명한다. 여기서, 도 4의 (a)는 도 3의 투명 광학계(110)를 전방에서 바라본 정면도이고, 도 4의 (b)는 도 3의 투명 광학계(110)를 상부에서 바라본 평면도이다. 도 3 및 도 4에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(130)에서 투사되는 근적외선 영상을 나타낸다.
도 3 및 도 4에 도시된 예에서, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)은 하나의 근적외선 카메라(120)가 적용되고, 근적외선 영상 투사부(130)가 좌 영상 투사부(130b)와 우 영상 투사부(130a)를 포함하는 것을 예로 한다.
그리고, 투명 광학계(110)는, 도 3 및 도 4에 도시된 바와 같이, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)를 포함한다. 여기서, 사용자가 헤드 업 본체를 머리에 착용하게 되면, 좌 영상 광학계(111b,112b)는 사용자의 좌측 눈 전방에 위치하고, 우 영상 광학계(111a,112a)는 사용자의 우측 눈 전방에 위치한다.
근적외선 영상 투사부(130)의 좌 영상 투사부(130b)는, 도 3에 도시된 바와 같이, 좌 영상 광학계(111b,112b)의 좌측 측면에서 좌 영상 광학계(111b,112b)로 근적외선 좌 영상을 투사하고, 우 영상 투사부(130a)는 우 영상 광학계(111a,112a)의 우측 측면에서 우 영상 광학계(111a,112a)로 근적외선 우 영상을 투사한다.
근적외선 카메라(120)는 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)의 사이의 상부 또는 하부에 배치되는데, 본 발명에서는 도 3에 도시된 바와 같이, 상부에 위치하는 것을 예로 한다.
여기서, 본 발명의 제1 실시예에서는 좌 영상 광학계(111b,112b)가 좌 영상 다이크로익 유닛(111b)과, 좌 영상 반사 미러(112b)를 포함하는 것을 예로 한다. 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 왼쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시킨다. 이 때, 좌 영상 반사 미러(112b)는 좌 영상 다이크로익 유닛(111b)의 우측에 배치되어 좌 영상 다이크로익 유닛(111b)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 왼쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.
그리고, 좌 영상 다이크로익 유닛(111b)은 그 좌측에 배치된 좌 영상 투사부(130b)로부터 들어오는 근적외선 좌 영상을 사용자의 눈으로 반사시켜 사용자의 왼쪽 눈에 근적외선 좌 영상이 오버랩되어 인식할 수 있게 된다.
마찬가지로, 본 발명의 제1 실시예에서는 우 영상 광학계(111a,112a)가 우 영상 다이크로익 유닛(111a)과, 우 영상 반사 미러를 포함하는 것을 예로 한다. 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 오른쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시킨다. 이 때, 우 영상 반사 미러는 우 영상 다이크로익 유닛(111a)의 좌측에 배치되어 우 영상 다이크로익 유닛(111a)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 오른쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.
그리고, 우 영상 다이크로익 유닛(111a)은 그 우측에 배치된 우 영상 투사부(130a)로부터 들어오는 근적외선 우 영상을 사용자의 눈으로 반사시켜 사용자의 오른쪽 눈에 근적외선 우 영상이 오버랩되어 인식할 수 있게 된다.
여기서, 근적외선 카메라(120)에는 상술한 바와 같이, 사용자의 좌측 눈 방향으로 들어오는 근적외선과 사용자의 우측 눈 방향으로 들어오는 근적외선이 모두 촬영되는데, 근적외선 카메라(120)의 렌지 배율의 조절을 통해 사용자가 양측 눈으로 보는 시야, 특히 수술 부위가 모두 포함될 수 있도록 조절될 수 있다.
그리고, 근적외선 영상 처리부(140)는 좌 영상 반사 미러(112b) 및 우 영상 반사 미러에 의해 반사되어 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 분할하여 각각 근적외선 좌 영상 및 근적외선 우 영상으로 생성한다. 그리고, 근적외선 영상 처리부(140)는 생성된 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 투사부(130b) 및 우 영상 투사부(130a)로 전달한다. 그리고, 좌 영상 투사부(130b) 및 우 영상 투사부(130a)가 각각 근적외선 좌 영상과 근적외선 우 영상을 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)으로 투사하게 되면, 사용자의 좌측 눈 및 우측 눈에 깍각 근적외선 좌 영상 및 근적외선 우 영상이 오버랩되어, 도 9의 (c)에 도시된 바와 같이, 사용자의 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.
본 발명의 제1 실시예에 따른 좌 영상 다이크로익 유닛(111b)과 우 영상 다이크로익 유닛(111a)의 구성은 본 발명의 제2 실시예 및 제3 실시예의 좌 영상 광학계(111b,112b) 및 우 영상 광학계(111a,112a)의 구성이 적용될 수 있는 바, 그 구체적인 설명은 후술한다.
이하에서는, 도 5 및 도 6을 참조하여, 본 발명의 제2 실시예에 따른 헤드 마운트 시스템(300)을 구현한 예에 대해 설명한다. 여기서, 도 6은 도 5의 투명 광학계(311a,311b)를 측면에서 바라본 측면도이다. 그리고, 도 5 및 도 6에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(330a,330b)에서 투사되는 근적외선 영상을 나타낸다.
본 발명의 제2 실시예에 따른 투명 광학계(311a,311b)는 좌 영상 광학계(311b)와 우 영상 광학계(311a)를 포함할 수 있다. 제1 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(311b)와 우 영상 광학계(111a,112a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.
근적외선 카메라(320a,320b)는, 도 5에 도시된 바와 같이, 좌 영상 근적외선 카메라(320b)와 우 영상 근적외선 카메라(320a)를 포함할 수 있다. 좌 영상 근적외선 카메라(320b)는 좌 영상 광학계(311b)를 통해 들어오는 근적외선을 촬영하고, 우 영상 근적외선 카메라(320a)는 우 영상 광학계(111a,112a)를 통해 들어오는 근적외선을 촬영한다.
근적외선 영상 투사부(330a,330b)는 좌 영상 투사부(330b)와 우 영상 투사부(330a)를 포함할 수 있다. 좌 영상 투사부(330b)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 좌 영상을 좌 영상 광학계(311b)로 투사한다. 그리고, 우 영상 투사부(330a)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 우 영상을 우 영상 광학계(111a,112a)로 투사한다.
근적외선 영상 처리부(140)는 좌 영상 근적외선 카메라(320b)에 의해 촬영된 촬영 영상을 이용하여 근적외선 좌 영상을 생성하여 좌 영상 투사부(330b)로 전달한다. 여기서, 좌 영상 근적외선 카메라(320b)에 의해 촬영되는 근적외선은 사용자의 왼쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 좌 영상은 사용자의 왼쪽 눈으로 들어오는 영상에 대응하게 된다.
마찬가지로 근적외선 영상 처리부(140)는 우 영상 근적외선 카메라(320a)에 의해 촬영된 촬영 영상을 이용하여 근적외선 우 영상을 생성하여 우 영상 투사부(330a)로 전달한다. 여기서, 우 영상 근적외선 카메라(320a)에 의해 촬영되는 근적외선은 사용자의 오른쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 우 영상은 사용자의 오른쪽 눈으로 들어오는 영상에 대응하게 된다.
상기와 같은 구성에 따라 좌 영상 투사부(330b) 및 우 영상 투사부(330a)에서 각각 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)로 투사하고, 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)에서 반사된 근적외선 좌 영상 및 근적외선 우 영상은 각각 사용자의 왼쪽 및 오른쪽 눈에 맺히게 되어, 사용자는 자신이 직접 보고 있는 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.
여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b)는, 도 5 및 도 6에 도시된 바와 같이, 좌 영상 투명판(312b)과, 제1 좌 영상 다이크로익 층(313b)과, 제2 좌 영상 다이크로익 층(314b)을 포함하는 것을 예로 한다. 즉, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 좌 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.
제1 좌 영상 다이크로익 층(313b)은 좌 영상 투명판(312b)의 일측 면에 코팅된다. 본 발명에서는 제1 좌 영상 다이크로익 층(313b)이 좌 영상 투명판(312b)의 전방에 코팅되는 것을 예로 하고, 제2 좌 영상 다이크로익 층(314b)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.
여기서, 제1 좌 영상 다이크로익 층(313b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(320b)로 반사시킨다.
제2 좌 영상 다이크로익 층(314b)은 좌 영상 투명판(312b)의 타측 면에 코팅된다. 여기서, 제2 좌 영상 다이크로익 층(314b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(330b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다.
마찬가지로, 본 발명의 제2 실시예에 따른 우 영상 광학계(111a,112a)는, 도 5 및 도 6에 도시된 바와 같이, 우 영상 투명판(312a)과, 제1 우 영상 다이크로익 층(313a)과, 제2 우 영상 다이크로익 층(314a)을 포함하는 것을 예로 한다. 즉, 좌 영상 광하계와 마찬가지로, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 우 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.
제1 우 영상 다이크로익 층(313a)은 우 영상 투명판(312a)의 일측 면에 코팅된다. 본 발명에서는 제1 우 영상 다이크로익 층(313a)이 우 영상 투명판(312a)의 전방에 코팅되는 것을 예로 하고, 제2 우 영상 다이크로익 층(314a)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.
여기서, 제1 우 영상 다이크로익 층(313a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(320a)로 반사시킨다.
제2 우 영상 다이크로익 층(314a)은 우 영상 투명판(312a)의 타측 면에 코팅된다. 여기서, 제2 우 영상 다이크로익 층(314a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(330a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다.
상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(320b) 및 우 영상 근적외선 카메라(320a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.
여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.
이하에서는, 도 7 및 도 8을 참조하여, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)을 구현한 예에 대해 설명한다. 여기서, 도 8은 도 7의 투명 광학계(511a,511b)를 측면에서 바라본 측면도이다. 그리고, 도 7 및 도 8에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(530a,530b)에서 투사되는 근적외선 영상을 나타낸다.
여기서, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)은 제2 실시예의 구성에 대응하여, 투명 광학계(511a,511b)의 구성의 예가 상이한 바, 투명 광학계(511a,511b)의 구성에 대해 상세히 설명한다.
본 발명의 제3 실시예에 따른 투명 광학계(511a,511b)는 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)를 포함할 수 있다. 제1 실시예 및 제2 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.
여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b)는, 도 7 및 도 8에 도시된 바와 같이, 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)를 포함할 수 있다. 본 발명에서는 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.
제1 좌 영상 다이크로익 미러(513b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(520b)로 반사시킨다. 그리고, 제2 좌 영상 다이크로익 미러(514b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(530b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다.
마찬가지로, 본 발명의 제3 실시예에 따른 우 영상 광학계(513a,514a)는, 도 7 및 도 8에 도시된 바와 같이, 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)를 포함할 수 있다. 본 발명에서는 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.
제1 우 영상 다이크로익 미러(513a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(520a)로 반사시킨다. 그리고, 제2 우 영상 다이크로익 미러(514a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(530a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다.
여기서, 좌 영상 광학계(513b,514b)의 상부 및 하부에 각각 위치하는 좌 영상 근적외선 카메라(520b)와 및 좌 영상 투사부(530b)의 위치는 제1 좌 영상 다이크로익 미러(513b)와 제2 좌 영상 다이크로익 미러(514b)의 위치에 따라 조절될 수 있으며, 우 영상 근적외선 카메라(520a) 및 우 영상 투사부(530a)의 위치도 동일하게 조절될 수 있다.
상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(520b) 및 우 영상 근적외선 카메라(520a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.
여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b) 및 우 영상 광학계(513a,514a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.
전술한 제2 실시예 및 제3 실시예에서는 좌 영상 근적외선 카메라(320b,520b) 및 우 영상 근적외선 카메라(320a,520a)가 투명 광학계(311a,311b,511a,511b)의 상부에 위치하고, 좌 영상 투사부(330b,530b) 및 우 영상 투사부(330a,530a)가 투명 광학계(311a,311b,511a,511b)의 하부에 위치하는 것을 예로 하고 있으나, 그 위치가 바뀔 수 있음은 물론이다.
전술한 실시예들에서는 근적외선 영상 처리부(140)가 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)에 영상을 전달하고, 근적외선 카메라(120,320a,320b,520a,520b)에 의해 촬영된 촬영 영상이 근적외선 영상 처리부(140)에 전달되는 것으로 설명하였다. 본 발명에서는 근적외선 영상 처리부(140)가 헤드 마운트 본체에 설치되는 것을 예로 하고 있으나, 헤드 마운트 본체에 무선 통신부(미도시)가 설치되고, 근적외선 영상 처리부(140)가 헤드 마운트 본체의 외부에 설치된 상태, 예컨대 컴퓨터 등에 근적외선 영상 처리부(140)가 소프트웨어 또는 하드웨어적으로 구현된 상태에서, 무선 통신부를 통해 근적외선 카메라(120,320a,320b,520a,520b)와 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)와 연결되도록 마련할 수 있음은 물론이다.
도 10은 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 이용한 실험 예를 나타낸 도면이다. 도 10의 좌측 상단에 도시된 바와 같이, 닭가슴살 안심을 이용한 모형에 형광 조형제를 주입하여 실험을 진행하였다. 도 10의 우측 상단은 형광 조형제가 주입된 상태를 나타낸 도면이다.
도 10의 좌측 하단은 수술의 실제 시야 영상을 나타낸 도면이고, 우측 하단은 투사되는 근적외선 형광 영상의 표시된 영상을 나타낸 도면이다. 이를 통해, 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 통해 상술한 바와 같은 효과가 제공됨을 확인할 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
[부호의 설명]
100,300,500 : 헤드 마운트 시스템 110 : 투명 광학계
111a : 우 영상 다이크로익 유닛 111b : 좌 영상 다이크로익 유닛
112a : 우 영상 반사 미러 112b : 좌 영상 반사 미러
120 : 근적외선 카메라 130 : 근적외선 영상 투사부
130a,330a,530a : 우 영상 투사부 130b,330b,530b : 좌 영상 투사부
311a,511a : 우 영상 광학계 311b,511b : 좌 영상 광학계
312a : 우 영상 투명판 312b : 좌 영상 투명판
313a : 제1 우 영상 다이크로익 층 313b : 제1 좌 영상 다이크로익 층
314a : 제2 우 영상 다이크로익 층 313b : 제2 좌 영상 다이크로익 층
320a,520a : 우 영상 근적외선 카메라
320b,520b : 좌 영상 근적외선 카메라
513a : 제1 우영상 다이크로익 미러
513b : 제1 좌 영상 다이크로익 미러
514a : 제2 우영상 다이크로익 미러
514b : 제2 좌 영상 다이크로익 미러
140 : 근적외선 영상 처리부
본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로, 집도의가 수술 부위를 근적외선 영상을 통해 확인하면서 수술을 진행할 수 있어, 환자의 수술 시스템에 적용 가능하다.

Claims (9)

  1. 수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서,
    사용자의 머리에 착용 가능하는 헤드 마운트 본체와;
    상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와;
    상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와;
    상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와;
    사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  2. 제1항에 있어서,
    상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며;
    상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 상기 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  3. 제1항에 있어서,
    상기 투명 광학계는
    사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
    사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
    상기 근적외선 카메라는
    상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와,
    상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외산 카메라를 포함하고;
    상기 근적외선 영상 투사부는
    상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
    상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며;
    상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  4. 제3항에 있어서,
    상기 좌 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와,
    상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며;
    상기 우 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와,
    상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 미러를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  5. 제3항에 있어서,
    상기 좌 영상 광학계는
    투명한 재질의 좌 영상 투명판과,
    상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과,
    상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며;
    상기 우 영상 광학계는
    투명한 재질의 우 영상 투명판과,
    상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과,
    상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 층을 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  6. 제4항에 있어서,
    상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며;
    상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  7. 제5항에 있어서,
    상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며;
    상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  8. 제1항에 있어서,
    상기 투명 광학계는
    사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
    사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
    상기 근적외선 영상 투사부는
    상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
    상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며;
    상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  9. 제8항에 있어서,
    상기 좌 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 좌 영상 다이크로익 유닛과,
    상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고;
    상기 우 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 우 영상 다이크로익 유닛과,
    상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며;
    상기 근적외선 영상 처리부는
    상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
PCT/KR2018/015371 2018-01-29 2018-12-06 수술 지원 영상을 제공하는 헤드 마운트 시스템 WO2019146904A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/955,527 US11356651B2 (en) 2018-01-29 2018-12-06 Head mount system for providing surgery support image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0010410 2018-01-29
KR1020180010410A KR102055254B1 (ko) 2018-01-29 2018-01-29 수술 지원 영상을 제공하는 헤드 마운트 시스템

Publications (1)

Publication Number Publication Date
WO2019146904A1 true WO2019146904A1 (ko) 2019-08-01

Family

ID=67395432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015371 WO2019146904A1 (ko) 2018-01-29 2018-12-06 수술 지원 영상을 제공하는 헤드 마운트 시스템

Country Status (3)

Country Link
US (1) US11356651B2 (ko)
KR (1) KR102055254B1 (ko)
WO (1) WO2019146904A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112789543A (zh) * 2019-09-10 2021-05-11 Lg电子株式会社 电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
KR20150012243A (ko) * 2012-04-18 2015-02-03 엘지전자 주식회사 광간섭성 단층 촬영 장치 및 이의 제어 방법
JP2015521913A (ja) * 2012-06-27 2015-08-03 キャンプレックス インコーポレイテッド 手術可視化システム
US20160287081A1 (en) * 2015-04-03 2016-10-06 Chunxin Yang Method and apparatus for concurrent imaging at visible and infrared wavelengths
KR20170020186A (ko) * 2015-08-13 2017-02-22 고려대학교 산학협력단 듀얼 채널 근적외선 영상을 촬영하는 의료용 복합 영상 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
US20100113940A1 (en) * 2008-01-10 2010-05-06 The Ohio State University Research Foundation Wound goggles
WO2013112554A1 (en) * 2012-01-23 2013-08-01 Washington University Goggle imaging systems and methods
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US20150257735A1 (en) * 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
KR20150012243A (ko) * 2012-04-18 2015-02-03 엘지전자 주식회사 광간섭성 단층 촬영 장치 및 이의 제어 방법
JP2015521913A (ja) * 2012-06-27 2015-08-03 キャンプレックス インコーポレイテッド 手術可視化システム
US20160287081A1 (en) * 2015-04-03 2016-10-06 Chunxin Yang Method and apparatus for concurrent imaging at visible and infrared wavelengths
KR20170020186A (ko) * 2015-08-13 2017-02-22 고려대학교 산학협력단 듀얼 채널 근적외선 영상을 촬영하는 의료용 복합 영상 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112789543A (zh) * 2019-09-10 2021-05-11 Lg电子株式会社 电子设备
CN112789543B (zh) * 2019-09-10 2024-01-16 Lg电子株式会社 电子设备

Also Published As

Publication number Publication date
US20210006775A1 (en) 2021-01-07
KR102055254B1 (ko) 2019-12-12
US11356651B2 (en) 2022-06-07
KR20190091625A (ko) 2019-08-07

Similar Documents

Publication Publication Date Title
WO2016144005A1 (ko) 증강현실영상 투영 시스템
WO2010047478A2 (en) Laparoscope and setting method thereof
WO2015137741A1 (ko) 의료용 영상 시스템 및 이의 구동 방법
WO2012121459A1 (ko) 진단 및 디스플레이 일체형 광 단층 촬영 검이경
WO2014051196A1 (ko) 구강 스캐너
WO2017191920A1 (en) Wearable device and controlling method thereof
WO2013157673A1 (en) Optical coherence tomography and control method for the same
WO2011002209A2 (ko) 헤드 마운트 수술용 확대 장치
WO2016190607A1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
JPH07159723A (ja) 立体画像表示装置
JPH07222204A (ja) 立体画像表示装置
WO2018117427A1 (ko) 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
WO2017124651A1 (zh) 内窥镜、光机连接装置及改造二维内窥镜系统的方法
WO2019146904A1 (ko) 수술 지원 영상을 제공하는 헤드 마운트 시스템
WO2020116669A1 (ko) 가상현실 기반의 휴대용 안진 검사장치 및 이를 이용한 검진 방법
WO2021187775A1 (ko) 이동 통신 단말기
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2011078615A2 (en) Distance adaptive 3d camera
WO2018143651A1 (ko) 망막 촬영 장치 및 이를 이용한 망막 촬영 방법
WO2019142992A1 (ko) 실시간 입체 촬영장치
WO2021066335A1 (ko) 헤드 마운티드 디스플레이
SE8005270L (sv) Rontgenanleggning
WO2021241795A1 (ko) 실시간으로 관찰 및 촬영이 동시에 가능한 더마스코프 장치
WO2014185578A1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
WO2016195464A2 (ko) 의료용 복합 이미징 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902532

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902532

Country of ref document: EP

Kind code of ref document: A1