WO2016195401A1 - 증강현실을 이용한 외과 수술용 3d 안경 시스템 - Google Patents

증강현실을 이용한 외과 수술용 3d 안경 시스템 Download PDF

Info

Publication number
WO2016195401A1
WO2016195401A1 PCT/KR2016/005868 KR2016005868W WO2016195401A1 WO 2016195401 A1 WO2016195401 A1 WO 2016195401A1 KR 2016005868 W KR2016005868 W KR 2016005868W WO 2016195401 A1 WO2016195401 A1 WO 2016195401A1
Authority
WO
WIPO (PCT)
Prior art keywords
modeling
image
surgical
glasses
augmented reality
Prior art date
Application number
PCT/KR2016/005868
Other languages
English (en)
French (fr)
Inventor
황규민
윤홍원
김현성
Original Assignee
주식회사 메드릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메드릭스 filed Critical 주식회사 메드릭스
Publication of WO2016195401A1 publication Critical patent/WO2016195401A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges

Definitions

  • the present invention relates to a surgical surgical 3D glasses system using augmented reality, and more particularly to a surgical surgical 3D glasses system using a 3D imaging glasses that provides an augmented reality function.
  • the lesion is visually checked through the incision of the lesion, and in addition to the damage to the muscles and tissues in the process of securing the field of vision of the incision, the patient suffers a considerable amount of time, and a considerable time for recovery after surgery. need.
  • MIS Minially Invasive Surgery
  • C-arm Portable X-ray
  • the implant and surgical instruments are inserted in the desired direction and position, but during surgery Since the ray has to be irradiated several times, there is a problem that the disease of the surgeon and operating room personnel is exposed to radiation.
  • 3D surgical navigation system which is a method of outputting a 3D CT (Computed Tomography) image to an operating room monitor and performing surgery while viewing the same.
  • 3D CT Computer Tomography
  • the surgeon should refer to the 3D CT image output from the monitor at the time of operation, and there is a problem that the composition of the operating room equipment is complicated and the cost of the surgical equipment is not small.
  • Augmented Reality is a technology that allows computer graphics (CG) to coexist with the real world so that computer graphics can feel as if they exist in the real world.
  • Augmented reality a concept that complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. That is, the HMD is mainly used to provide additional information necessary for the real environment by overlapping the 3D virtual image with the live image that the user is viewing.
  • HMD Head Mounted Display and literally refers to a head display. It can be classified into an optical-based HMD and a video-based HMD.
  • Optical-based HMDs project real-world images directly to the user without editing.
  • a virtual world image generated by a computer is synthesized.
  • the optical-based HMD generates additional information by using head position and orientation information transmitted to the computer system, and the additional information is combined with the real environment image in the semi-transparent HMD.
  • the biggest difference from optical-based HMDs is the presence of a camera.
  • the HMD acquires a real world image through a camera.
  • the combined image obtained by combining the acquired image and the virtual image generated by the computer is displayed to the user through the HMD.
  • Korean Patent Application Publication No. 2014-0112207 (Augmented Reality Image Display System and Surgical Robot System Including The Same) includes a slave system performing a surgical operation on a patient, a master system controlling a surgical operation of the slave system, and a virtual body of a patient's body.
  • a camera for obtaining an actual image including an image system for generating an image and a plurality of markers attached to a patient's body or a human body model, a plurality of markers are detected from the actual image, and the position of the camera is detected using the detected plurality of markers.
  • an augmented reality image generating unit and the augmented reality image for generating an augmented reality image obtained by estimating a gaze direction, and overlaying a location corresponding to the estimated camera position and gaze direction of the virtual image on the real image. It relates to an augmented reality image display system comprising a display for displaying.
  • Korean Patent Laid-Open Publication No. 2014-0112207 uses a camera to obtain a real image including a plurality of markers attached to a model of a patient's body or a human body. According to this method, the HMD uses a real world image and a virtual image. There is a lot of problems such as delay that can not follow the change of the mixed image with respect to the user's movement that can occur during the mixing process, and also to solve the calibration problem by the camera.
  • an object of the present invention is to provide a surgical surgical 3D glasses system using augmented reality to enable MIS surgery that can minimize the incision of the affected area.
  • 3D models for surgery within a human body 3D models of implants that are inserted into the human body, and 3D models of surgical instruments used to perform implants, can be provided as augmented reality images to 3D glasses for surgery. It is an object to provide an eyeglass system.
  • the 3D imaging glasses receive position information from three or more sensors mounted on the inside of the human body or the skin surface, and match each of the three or more reference points set in 3D modeling of the body to each position of the sensor. It is an object of the present invention to provide a surgical surgical 3D glasses system using augmented reality that can be displayed by accurately matching the 3D modeling to the actual image of the human body projected through the glasses.
  • the present invention solves the calibration problem caused by the delay and the camera caused by mixing real-world and virtual images by acquiring real-world images through a camera when implementing augmented reality using a conventional video-based HMD.
  • the optical-based HMD is used to project the patient's actual image as it is, and the position and size of the marker attached to the patient's body is not extracted from the image information captured by the camera.
  • the human body is projected on the real image of the patient as it is projected through the 3D eyeglasses by using the location information received from the sensor mounted on or inside the patient's body.
  • Surgical operation 3 to express augmented reality images by accurately superimposing the internal 3D modeling 3 D It is an object to provide a glasses system.
  • the present invention for achieving the above object is attached to a surgical object inserted into the human body for transmitting the first position information;
  • a second sensor unit attached to a surgical instrument used to operate the surgical object on a human body to transmit second position information;
  • 3D modeling of the inside of the body having three or more reference points set to the 3D image glasses, 3D modeling of the surgical object at the point corresponding to the first position information and 3D of the surgical instrument at the point corresponding to the second position information
  • 3D modeling storage and transmission unit for transmitting the modeling to the 3D image glasses;
  • An affected part reference point sensor unit mounted on the human body having the same number as three or more reference points set in the 3D modeling of the body and transmitting the respective sensor position information;
  • the 3D modeling of the inside of the body is superimposed on the three or more sensor positions mounted on the human body to generate an augmented reality image. It includes; glasses for displaying the 3D image.
  • At least three sensors are attached to the surgical object and the surgical instrument to transmit sensor position information, and the 3D modeling storage and transmission unit performs 3D modeling of the surgical object and the surgical instrument at a point corresponding to the received sensor position information. Can transmit to 3D glasses.
  • the 3D modeling storage and transmission unit pre-stores the 3D modeling of the surgical target and the surgical instrument to be performed, the 3D modeling of the corresponding position surgical target according to the change of the first position information and the second position information 3D modeling of the corresponding position surgical instrument according to the change can be transmitted to the glasses for 3D imaging.
  • the affected part reference point sensor may be attached to the outer surface of the skin or inserted into the human body.
  • the 3D image glasses may be an optical-based head mounted display (HMD).
  • HMD head mounted display
  • the 3D image glasses for receiving the 3D modeling of the inside of the body transmitted from the 3D modeling storage and transmission unit, the 3D modeling of the surgical object, the 3D modeling of the surgical instruments, and the three reference point sensor unit transmitted Receiving unit for receiving the above sensor position information;
  • a storage unit storing 3D modeling of the received body and three or more pieces of sensor position information mounted on the human body; Match three or more reference points set in the 3D modeling of the body to each of the three or more sensor positions stored in the storage unit, and additionally place the 3D modeling of the surgical object in the first position, and the 3D of the surgical instrument in the second position.
  • Augmented reality image generation unit for generating an augmented reality image by positioning the modeling;
  • An augmented reality image display unit for displaying the generated augmented reality image superimposed on an actual image of a human body projected through glasses;
  • a camera for photographing an actual image of the human body;
  • a transmitter configured to synthesize an augmented reality image displayed on the augmented reality image display unit and an actual image of the human body photographed by the camera, and transmit the synthesized image to a display device.
  • the 3D modeling storage and transmission unit transmits the 3D modeling of the surgical object of the first position information and the corresponding point, the 3D modeling of the surgical position of the second position information and the corresponding point, the 3D modeling glasses are stored 3D modeling of the surgical object of the corresponding position and the first position information and the second position information and 3D modeling of the surgical instrument of the corresponding point after storing the first position information based on the three or more sensor positions mounted on the human body
  • the 3D modeling of the surgical object may be overlaid and displayed, and the 3D modeling of the surgical instrument may be overlaid and displayed at the second position.
  • the display apparatus may further include a display device configured to display the same image as that of the 3D image glasses by receiving and displaying the actual image of the human body projected onto the 3D image glasses and the 3D model displayed on the 3D image. have.
  • 3D modeling of the inside of the body may be generated using 3D CT (Computed Tomography) data.
  • the three or more reference points may be set near the point where the surgical object is inserted in the 3D modeling of the inside of the body generated by the 3D modeling transformation program.
  • the surgical object may be an implant.
  • the 3D model, the object and the surgical instrument 3D model of the inside of the human body is superimposed on the 3D image by displaying augmented reality images to minimize the incision of the affected area while accurately identifying the location of important areas such as arteries and nerve lines Surgery is possible.
  • the three set when generating 3D modeling of the inside of the human body at each sensor position By matching 3 or more reference points to display 3D modeling of the inside of the human body, 3D modeling of the inside of the body may be accurately superimposed on the actual image of the human body projected through the 3D image glasses.
  • 3D modeling of surgical objects and surgical instruments inserted into the human body is generated in advance, and 3D modeling of surgical objects and surgical instruments is also performed by using position signals transmitted from surgical objects (implants) and surgical instruments. Overlapping on the image can be displayed.
  • FIG. 1 is a block diagram of a surgical surgical 3D glasses system using augmented reality according to a preferred embodiment of the present invention.
  • FIG. 2 is a block diagram of glasses for 3D imaging.
  • Figure 3 is an illustration applied to the surgical surgical 3D glasses system using augmented reality of the present invention.
  • Figure 4a is an exemplary view of the affected area reference point sensor attached to the outer surface of the human body.
  • Figure 4b is an exemplary view of the affected area reference point sensor mounted inside the human body.
  • FIG 5 is an exemplary view showing a 3D modeling of the internal vertebrae of the human body and a 3D modeling of a surgical instrument as an augmented reality image through the 3D image glasses.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the term “and / or” includes any combination of a plurality of related items or any of a plurality of related items.
  • the 3D glasses system for surgery using augmented reality according to the present invention 100 is the first sensor unit 10, the second sensor unit 20, 3D modeling storage and transmission unit ( 30), the affected area reference point sensor unit 40 and the 3D image glasses 50 may be included, and the display device 60 may be further included.
  • the first sensor unit 10 is attached to a surgical object inserted into the human body to transmit the first position information.
  • the surgical object refers to an implant used in spinal surgery.
  • the second sensor unit 20 is attached to a surgical instrument used to operate the surgical object on the human body and transmits second position information.
  • the 3D modeling storage and transmission unit 30 transmits 3D modeling of the inside of the body in which three or more reference points are set to the 3D image glasses 50, and performs 3D modeling and operation of a surgical object at a point corresponding to the first location information.
  • the 3D modeling of the surgical instrument of the point corresponding to the 2 position information is transmitted to the glasses 50 for the 3D image worn by the surgeon.
  • the first sensor unit 10 and the second sensor unit 20 may each include three or more sensors. That is, three or more sensors are attached to the surgical object and the surgical instrument, and the position information is periodically transmitted when the surgical object and the surgical instrument move within the human body, and the 3D modeling storage and transmission unit 30 receives the received sensor. The 3D modeling of the surgical object and the surgical instrument at the point corresponding to the position information is transmitted to the 3D image glasses 50.
  • the 3D modeling storage and transmission unit 30 previously stores 3D modeling of the surgical object and the surgical instrument to be treated.
  • a 3D model of a surgical object and a surgical instrument is generated and stored in a storage unit, and the 3D modeling of the corresponding surgical position and the change of the second position information according to the change of the first positional information.
  • 3D modeling of the position surgical instrument according to the 3D imaging glasses 50 can be transmitted.
  • the first location information refers to a location transmitted by three or more sensors attached to a surgical object
  • the second location information refers to a location transmitted by three or more sensors attached to a surgical instrument.
  • the affected part reference point sensor unit 40 is mounted on the human body at the same position as three or more reference points set in 3D modeling of the inside of the body and transmits the respective sensor position information.
  • the affected area reference point sensor unit 40 is composed of three sensors, attached to the skin surface, and referring to Figure 4b, the affected area reference point sensor unit 40 is composed of three sensors, It is inserted and installed inside the human body.
  • the affected part reference point sensor unit 40 shows that it consists of three sensors, the present invention is not limited thereto and may be three or more.
  • Three or more reference points set in 3D modeling of the inside of the human body must be configured to match each sensor position so that 3D modeling of the inside of the human body can be expressed at the correct position.
  • the position information transmitted by three or more sensors inserted into the human body may refer to three-dimensional position coordinates of x, y, and z.
  • C-arm Portable X-ray
  • the sensor (affected reference point sensor unit) mounted on the skin surface of the patient or inside the human body to transmit position information is an important feature that is differentiated from the prior art.
  • the sensor for transmitting the location information of the present invention is different from the marker mounted on the outer surface of the body of the patient, and is not a method of extracting the marker from the photographed image by photographing the marker with a camera as in the prior art.
  • the present invention receives three or more location information transmitted wirelessly from a sensor mounted on a patient, and by matching three or more reference points set in advance in 3D modeling on the inside of the human body based on the three or more location information.
  • the key is to accurately match the 3D modeling of the inside of the human body to the real image of the patient projected through the 3D image glasses 50. In this way, problems such as a delay phenomenon and a calibration by the camera, which do not follow changes in the mixed image of the user's motion, which are problems of the prior art, can be solved.
  • 3D modeling of the inside of the human body is generated using a separate 3D modeling transformation program with 3D CT (Computed Tomography) data taken before surgery.
  • 3D CT Computer Tomography
  • the 3D image glasses 50 superimpose and display 3D modeling of the inside of the body received from the 3D modeling storage and transmission unit 30 on the actual image of the human body projected through the eyeglasses, and 3D modeling of the surgical object and the surgical instrument. 3D to the inside of the body based on the position of three or more sensors mounted on the human body by additionally displaying at the corresponding positions, respectively, by matching three or more reference points set in 3D modeling on the inside of the body to the same number of sensor positions. The modeling is superimposed to display an augmented reality image.
  • Three or more reference points are preferably set near the point where the surgical object is inserted in the 3D modeling of the inside of the body generated by a separate 3D modeling transformation program.
  • 3D image glasses 50 of the present invention is preferably using an optical-based HMD that can see where the eyes are directed.
  • the use of an optical based HMD is one of the other differences from the prior art.
  • the optical-based HMD By using the optical-based HMD, the real image of the patient viewed by the doctor is projected on the 3D image glasses 50 as it is.
  • the point of not taking the image of the patient with a camera is a part different from the conventional invention.
  • the 3D image glasses 50 includes a receiver 51, a storage 52, an augmented reality image generator 53, an augmented reality image display unit 54, a camera 55, and a transmitter 56.
  • the receiver 51 receives the 3D modeling of the inside of the body transmitted from the 3D modeling storage and transmission unit 30, the 3D modeling of the surgical object, and the 3D modeling of the surgical instrument, and the three reference point sensor unit 40 is transmitted. Receive more than one sensor location information.
  • the storage unit 52 stores 3D modeling of the received body and three or more sensor position information mounted on the human body.
  • the augmented reality image generating unit 53 matches three or more reference points set in 3D modeling of the body to three or more sensor positions stored in the storage unit 52, and additionally performs 3D modeling of the surgical object at the first position. In the second position, 3D modeling of the surgical instrument is placed to generate an augmented reality image. Whenever the first position of the surgical object and the second position of the surgical instrument are changed, the positions of the surgical object and the surgical instrument displayed on the augmented reality image will also be changed.
  • the augmented reality image generating unit 53 is three or more positions wirelessly received from the affected area reference point sensor unit 40 as the direction of the eye of the user wearing the 3D image glasses 50 and the distance from the patient is changed It is created by adjusting the direction and size (zoom / reduction) of 3D modeling inside the human body in the state of exactly matching three or more reference points set in 3D modeling inside the human body.
  • the augmented reality image display unit 54 displays the generated augmented reality image superimposed on the actual image of the human body projected through the glasses.
  • the camera 55 captures an actual image of the human body.
  • the transmitting unit 56 synthesizes the real image of the human body photographed by the camera 55 and the augmented reality image displayed on the augmented reality image display unit 54, and transmits the synthesized image to the display device 60 to thereby transmit the 3D image glasses 50.
  • Other people who are not wearing can also see an image, such as an augmented reality image appearing on the glasses 50 for 3D images.
  • the camera 55 is not intended for capturing an actual image of the human body and displaying the 3D modeling on the inside of the human body on the 3D image glasses 50. Only, the display device 60 is used for synthesizing and transmitting the real image and the augmented reality image of the human body. As a result, the image taken by the camera 55 is not used at all during surgery by the doctor using the glasses 50 for the 3D image.
  • the display apparatus 60 receives and displays the actual image of the human body projected onto the 3D image glasses 50 and the 3D modeling displayed on the 3D image glasses 50 from the 3D image glasses 50 to display the same as the 3D image glasses 50. Display the video.
  • the 3D modeling of the vertebral bone V inside the human body and a surgical instrument inserted into the human body is represented as an augmented reality image through the augmented reality image display unit 54 of the 3D image glasses 50. .
  • position information is wirelessly transmitted from the sensor objects 10 and 20 attached to the human body and the sensor units 10 and 20 attached to the surgical instrument to the 3D modeling storage and transmission unit 30 (1).
  • the 3D modeling storage and transmission unit 30 may be built using a computer or a medical server.
  • the 3D modeling storage and transmission unit 30 wirelessly transmits 3D modeling of the inside of the body in which three or more reference points are set, 3D modeling of a surgical object and a surgical instrument corresponding to the received position, to the 3D image glasses 50.
  • the affected part reference point sensor unit 40 mounted inside the human body or attached to the outer surface of the skin wirelessly transmits three or more sensor position information to the 3D image glasses 50 (3).
  • the augmented reality image displayed on the 3D image glasses 50 may also be transmitted to the display apparatus 60 (4).
  • the present invention is not a way to operate while watching a monitor provided with an image taken by a separate camera when the doctor is operating, the patient with the camera in the glasses 50 for 3D imaging worn by the doctor It's not the way to shoot the video. That is, the present invention uses a method in which the patient's figure is projected as it is through the eyeglasses on the 3D image glasses 50, and displays the augmented reality image by superimposing 3D modeling on the inside of the body to the actual figure of the patient as it is being projected. It is.
  • the 3D modeling storage and transmission unit 30 converts the 3D modeling of the surgical object of the first position information and the corresponding point and the 3D modeling of the second position information and the surgical instrument of the corresponding point into the 3D image glasses 50.
  • the 3D image glasses 50 stores the 3D modeling of the surgical object of the first position information and the corresponding point in the storage unit 52 and the 3D modeling of the surgical instrument of the corresponding position and the second position information.
  • the 3D modeling of the surgical object may be overlaid and displayed at the first position based on the position of three or more sensors 40 mounted at the second position, and the 3D modeling of the surgical instrument may be displayed at the second position.
  • the 3D modeling storage and transmission unit 30 When the 3D modeling storage and transmission unit 30 receives the 3D modeling and position of the surgical object and receives the 3D modeling and position of the surgical instrument, the position of three or more sensors mounted on the human body, that is, the lesion reference point sensor unit 40 The 3D modeling of the surgical object and the surgical instrument is displayed on the basis of the overlapping position.
  • 3D modeling of the inside of the human body is displayed by matching three or more reference points set when generating 3D modeling for the 3D modeling, so that 3D modeling of the inside of the body can be accurately superimposed on the actual image of the human body projected through the 3D image glasses.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 종래의 비디오 기반 HMD를 이용하여 증강현실을 구현하는 경우 카메라를 통해 실세계 영상을 취득함으로 인해 실세계 영상과 가상 영상을 혼합하는 과정에서 발생하는 지연현상 및 카메라에 의한 calibration 문제를 해결하기 위한 것으로서, 환자의 실제 영상을 그대로 투영하는 광학 기반 HMD를 이용하며, 환자의 신체에 부착한 마커의 위치 및 크기 등을 카메라가 촬영한 영상정보에서 추출하는 방식이 아닌 인체 내부 또는 표면에 장착된 세 개 이상의 센서로부터 무선으로 위치정보를 수신하는 방식을 이용함으로써, 환자의 인체 내부 또는 표면에 장착된 센서에서 수신되는 위치정보를 이용하여 3D 안경알을 통해 그대로 투영되는 환자의 실영상에 인체 내부의 3D 모델링을 정확히 중첩시켜 증강현실 영상을 표현하는 외과 수술용 3D 안경 시스템을 제공하는 것이다.

Description

증강현실을 이용한 외과 수술용 3D 안경 시스템
본 발명은 증강현실을 이용한 외과 수술용 3D 안경 시스템에 관한 것으로, 더욱 상세하게는 증강현실 기능을 제공하는 3D 영상용 안경을 이용한 외과 수술용 3D 안경 시스템에 관한 것이다.
종래 전통적인 수술의 경우 환부의 절개를 통해 병변 부위를 육안으로 확인하며 수술하는데, 절개 부위의 시야를 확보하는 과정에서 근육 및 조직에 손상이 갈 뿐만 아니라 환자에게도 상당한 고통을 주며 수술 후 회복에도 상당한 시간을 필요로 한다.
이를 해결하기 위한 MIS(Minimally Invasive Surgery) 수술로서 C-arm(Portable X-ray)을 지속적으로 가동하여 임플란트 및 수술기구가 원하는 방향과 위치로 삽입되는지 확인하면서 수술하는 방법이 있으나, 수술 시 X-ray를 여러 차례 조사해야 하므로, 집도의 및 수술방 인력이 방사선에 노출되어 질병이 발생하는 문제가 있다.
또한, 최근의 발전된 기술로서는 3D CT(Computed Tomography) 영상을 수술방 모니터에 출력하여 수술시 이를 보면서 수술하는 방법인 3D surgical navigation system이 있다. 3D surgical navigation system의 경우는 수술 시 의사가 모니터를 통해 출력되는 3D CT 영상을 수시로 참고해야 하며, 수술실 장비의 구성이 복잡하고 수술설비 비용이 적지 않게 드는 문제가 있다.
상기의 수술 방법을 개선하기 위해서 최근에는 증강현실 기법을 접목하고 있다.
증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로 주로 HMD를 사용한다.
HMD란 Head Mounted Display의 약자로써 말 그대로 머리에 쓰는 디스플레이를 말하는 것으로서, 광학 기반(optical-based) HMD와 비디오 기반(video-based) HMD로 구분할 수 있다.
광학 기반 HMD는 실세계 영상을 편집 없이 바로 사용자에게 투영한다. 여기에 컴퓨터에 의해 생성된 가상 세계 영상이 합성된다. 광학 기반 HMD는 컴퓨터 시스템에 전달된 머리의 위치, 방향 정보를 이용해 부가정보를 생성하고, 반투과성 HMD에 부가 정보가 실환경 영상과 결합되어 표현된다.
비디오 기반 HMD의 경우 광학 기반 HMD와의 가장 큰 차이는 카메라가 존재한다는 점이다. 해당 HMD는 카메라를 통하여 실세계 영상을 취득한다. 이렇게 취득한 영상과 컴퓨터에 의해 생성된 가상 영상을 조합하여 합쳐진 영상을 HMD를 통해 사용자에게 표시한다.
공개특허 제2014-0112207호(증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템)는 환자에게 수술 동작을 수행하는 슬레이브 시스템, 상기 슬레이브 시스템의 수술 동작을 제어하는 마스터 시스템, 환자 신체 내부에 대한 가상 영상을 생성하는 영상 시스템 및 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함하는 증강현실 영상 표시 시스템에 관한 것이다.
공개특허 제2014-0112207호는 환자의 신체 또는 인체의 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하기 위해 카메라를 이용하고 있는데, 이 방법에 의하는 경우 HMD는 실세계 영상과 가상 영상을 혼합하는 과정에서 생길 수 있는 사용자 움직임에 대한 혼합 영상의 변화를 쫓아가지 못하는 지연현상이 발생할 수 있으며, 또한 카메라에 의한 calibration 문제에 대해서도 해결해야 하는 등의 많은 문제를 가지고 있다.
상기한 문제점을 해결하기 위한 것으로 본 발명은 환부의 절개를 최소화 할 수 있는 MIS 수술을 가능하게 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
또한, 인체 내부의 3D 모델, 인체에 삽입되는 수술 대상물인 임플란트 및 임플란트를 시술하는데 사용되는 수술기구의 3D 모델을 3D 영상용 안경에 증강현실 영상으로 제공할 수 있는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
또한, 3D 영상용 안경은 인체 내부 또는 피부 겉표면에 장착된 세 개 이상의 센서에서 위치정보를 수신하고, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점 각각을 센서의 각 위치에 일치시킴으로써 신체 내부에 대한 3D 모델링을 안경을 통해 투영되는 인체의 실제 영상에 정확히 일치시켜 표시할 수 있는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
상기와 같이 본 발명은 종래의 비디오 기반 HMD를 이용하여 증강현실을 구현하는 경우 카메라를 통해 실세계 영상을 취득함으로 인해 실세계 영상과 가상 영상을 혼합하는 과정에서 발생하는 지연현상 및 카메라에 의한 calibration 문제를 해결하기 위한 것으로서, 환자의 실제 영상을 그대로 투영하는 광학 기반 HMD를 이용하며, 환자의 신체에 부착한 마커의 위치 및 크기 등을 카메라가 촬영한 영상정보에서 추출하는 방식이 아닌 인체 내부 또는 표면에 장착된 세 개 이상의 센서로부터 무선으로 위치정보를 수신하는 방식을 이용함으로써, 환자의 인체 내부 또는 표면에 장착된 센서에서 수신되는 위치정보를 이용하여 3D 안경알을 통해 그대로 투영되는 환자의 실영상에 인체 내부의 3D 모델링을 정확히 중첩시켜 증강현실 영상을 표현하는 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
상기한 목적을 달성하기 위한 본 발명은 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부; 상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부; 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부; 상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및 안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함한다.
또한, 상기 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 센서 위치정보를 전송하고, 상기 3D 모델링 저장 및 전송부는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경으로 전송할 수 있다.
또한, 상기 3D 모델링 저장 및 전송부는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있으며, 상기 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 상기 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경으로 전송할 수 있다.
또한, 상기 환부 기준점 센서부는 피부 겉표면에 부착되거나, 인체 내부에 삽입되어 장착될 수 있다.
또한, 상기 3D 영상용 안경은 광학 기반 HMD(Head Mounted Display)일 수 있다.
또한, 상기 3D 영상용 안경은 상기 3D 모델링 저장 및 전송부에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 상기 환부 기준점 센서부에서 전송되는 세 개 이상의 센서 위치정보를 수신하는 수신부; 상기 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장하는 저장부; 상기 저장부에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성하는 증강현실 영상생성부; 상기 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시하는 증강현실 영상표시부; 인체의 실제 영상을 촬영하는 카메라; 및 상기 카메라에서 촬영된 인체의 실제 영상과 증강현실 영상표시부에 표시되는 증강현실 영상을 합성하여 디스플레이장치로 전송하는 송신부;를 포함할 수 있다.
또한, 상기 3D 모델링 저장 및 전송부에서 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 전송하고, 상기 3D 영상용 안경은 저장부에 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 저장 후 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시할 수 있다.
또한, 상기 3D 영상용 안경에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 상기 3D 영상용 안경으로부터 수신하여 표시함으로써 3D 영상용 안경과 동일한 영상을 표시하는 디스플레이장치를 더 포함할 수 있다.
또한, 상기 신체 내부에 대한 3D 모델링은 3D CT(Computed Tomography) 데이터를 이용하여 생성될 수 있다.
또한, 상기 세 개 이상의 기준점은 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정될 수 있다.
또한, 상기 수술 대상물은 임플란트일 수 있다.
본 발명에 의하면, 3D 영상용 안경에 인체 내부의 3D 모델, 수술 대상물 및 수술기구의 3D 모델을 증강현실 영상으로 중첩하여 표시함으로써 환부의 절개를 최소화 하면서 동맥과 신경줄 같은 중요부위의 위치를 정확하게 파악하면서 수술이 가능하다.
또한, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착된 각각의 센서로부터 위치정보를 수신한 후 각각의 센서위치에 인체 내부에 대한 3D 모델링 생성시 설정된 세 개 이상의 기준점을 일치시켜 인체 내부에 대한 3D 모델링을 표시함으로써, 3D 영상용 안경을 통해 투영되는 인체의 실제 영상에 신체 내부에 대한 3D 모델링을 정확하게 중첩하여 표시할 수 있다.
또한, 인체 내부에 삽입된 수술 대상물 및 수술기구의 3D 모델링을 미리 생성하여 가지고 있으며, 수술 대상물(임플란트) 및 수술기구에서 전송되는 위치신호를 이용함으로써 수술 대상물 및 수술기구의 3D 모델링도 인체의 실제 영상에 정확하게 중첩하여 표시할 수 있다.
상기와 같이 본 발명에 의하면, 환자의 실영상을 3D 안경알을 통해 그대로 투영하는 광학 기반의 HMD를 이용하고, 환자의 인체 내부 또는 표면에 장착되는 센서로부터 3D 안경에 무선으로 수신되는 세 개 이상의 위치정보를 이용함으로써, 3D 안경알을 통해 그대로 투영되는 환자의 실영상에 인체 내부의 3D 모델링을 정확히 중첩시킬 수 있어, 종래의 기술에서 발생하는 지연현상 및 카메라에 의한 calibration 등의 문제를 말끔히 해결할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템의 블록도.
도 2는 3D 영상용 안경의 블록도.
도 3은 본 발명의 증강현실을 이용한 외과 수술용 3D 안경 시스템이 적용된 예시도.
도 4a는 인체의 겉표면에 부착된 환부 기준점 센서의 예시도.
도 4b는 인체 내부에 장착된 환부 기준점 센서의 예시도.
도 5는 인체 내부 척추뼈의 3D 모델링과 수술기구의 3D 모델링을 3D 영상용 안경을 통해 증강현실 영상으로 표시하는 모습을 나타낸 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대한 한정하려고 하는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하, 본 발명에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템의 구성을 첨부된 도면을 통해 상세하게 설명하면 다음과 같다.
도 1 내지 도 5를 참조하면, 본 발명에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템(100)은 제1센서부(10), 제2센서부(20), 3D 모델링 저장 및 전송부(30), 환부 기준점 센서부(40) 및 3D 영상용 안경(50)을 포함하고, 디스플레이장치(60)를 더 포함할 수 있다.
제1센서부(10)는 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송한다. 바람직하게는, 수술 대상물은 척추 수술 시 사용되는 임플란트를 말한다.
제2센서부(20)는 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송한다.
3D 모델링 저장 및 전송부(30)는 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경(50)으로 전송하고, 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 수술의가 착용하고 있는 3D 영상용 안경(50)으로 전송한다.
제1센서부(10) 및 제2센서부(20)는 각각 세 개 이상의 센서를 포함할 수 있다. 즉, 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 있으며, 수술 대상물 및 수술기구가 인체 내에서 이동할 때 주기적으로 위치정보를 전송하고, 3D 모델링 저장 및 전송부(30)는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송한다.
구체적으로, 3D 모델링 저장 및 전송부(30)는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있다. 별도의 3D 모델링 변환 프로그램을 이용하여 수술 대상물과 수술기구에 대한 3D 모델을 생성하여 저장부에 저장하고 있으며, 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송할 수 있다. 제1위치정보는 수술 대상물에 부착되는 세 개 이상의 센서가 전송하는 위치를 말하며, 제2위치정보는 수술기구에 부착되는 세 개 이상의 센서가 전송하는 위치를 말한다. 각각 세 개 이상의 센서가 전송하는 위치를 이용함으로써 수술 대상물 및 수술기구 3D 모델링의 정확한 위치 및 자세를 3D 영상용 안경(50)으로 전송할 수 있다.
환부 기준점 센서부(40)는 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송한다.
도 4a를 참조하면, 환부 기준점 센서부(40)가 세 개의 센서로 구성되고, 피부 겉표면에 부착되어 있으며, 도 4b를 참조하면, 환부 기준점 센서부(40)가 세 개의 센서로 구성되고, 인체 내부에 삽입되어 장착되어 있다. 환부 기준점 센서부(40)가 세 개의 센서로 구성된 것을 보여주고 있으나, 이에 한정되지 않으며 세 개 이상이면 무방하다. 세 개 이상으로 구성되어야 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 각각의 센서 위치에 일치시킴으로써 정확한 위치에 인체 내부에 대한 3D 모델링을 표현할 수 있다.
상기에서 설명하고 있는 수술 대상물에 부착된 세 개 이상의 센서가 전송하는 위치, 수술기구에 부착된 세 개 이상의 센서가 전송하는 위치, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점 및 피부의 겉표면 또는 인체 내부에 삽입되어 장착된 세 개 이상의 센서가 전송하는 위치 정보는 x, y, z의 3차원 위치좌표를 말한다.
처음에 신체 내부에 세 개 이상의 센서를 장착할 때 C-arm(Portable X-ray)을 이용하여 인체 내부에 장착되는 세 개 이상의 센서 위치를 확인하면서 장착한다. C-arm 을 이용하여 인체 내에 장착되는 각각의 센서 위치를 확인함으로써, 인체 내부에 대한 3D 모델링에 사전에 설정된 세 개 이상의 기준점과 동일한 위치에 장착이 가능하다. 환자의 피부 겉표면 또는 인체 내부에 장착되어 위치정보를 전송하는 센서(환부 기준점 센서부)는 종래 기술과 차별화되는 중요한 특징이다. 본 발명의 위치정보를 전송하는 센서는 종래 기술과 달리 환자의 신체 겉표면에 장착되는 마커와 다르며, 종래와 같이 마커를 카메라로 촬영하여 촬영된 영상에서 마커를 추출하는 방식이 아니다.
즉, 본 발명은 환자에 장착된 센서로부터 무선으로 전송되는 세 개 이상의 위치정보를 수신하고, 세 개 이상의 위치정보를 기준으로 하여 인체 내부에 대한 3D 모델링에 사전에 설정된 세 개 이상의 기준점을 일치시킴으로써 인체 내부에 대한 3D 모델링을 3D 영상용 안경(50)을 통해 투영되는 환자의 실영상에 정확히 일치시키는 것이 핵심이다. 이러한 방식에 의해 종래 기술의 문제점인 사용자의 움직임에 대한 혼합 영상의 변화를 쫓아가지 못하는 지연현상 및 카메라에 의한 calibration 등의 문제를 해결할 수 있는 것이다.
인체 내부에 대한 3D 모델링은 수술 전에 촬영된 3D CT(Computed Tomography) 데이터를 가지고 별도의 3D 모델링 변환 프로그램을 이용하여 생성한다.
3D 영상용 안경(50)은 안경알을 통해 투영된 인체의 실제 영상에 3D 모델링 저장 및 전송부(30)로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시한다.
세 개 이상의 기준점은 별도의 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정하는 것이 바람직하다.
본 발명의 3D 영상용 안경(50)은 시선이 향하는 곳이 다 보이는 광학 기반 HMD를 이용하는 것이 바람직하다. 광학 기반 HMD를 이용하는 점은 종래 기술과 다른 또 다른 차이점 중의 하나이다. 광학 기반 HMD를 이용함으로써 3D 영상용 안경(50)에 의사가 바라보는 환자의 실영상이 그대로 투영되어 나타난다. 환자의 영상을 카메라로 촬영하지 않는 점이 종래 발명과 차이가 있는 부분이다.
3D 영상용 안경(50)은 수신부(51), 저장부(52), 증강현실 영상생성부(53), 증강현실 영상표시부(54), 카메라(55) 및 송신부(56)를 포함한다.
수신부(51)는 3D 모델링 저장 및 전송부(30)에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 환부 기준점 센서부(40)에서 전송되는 세 개 이상의 센서 위치정보를 수신한다.
저장부(52)는 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장한다.
증강현실 영상생성부(53)는 저장부(52)에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성한다. 수술 대상물의 제1위치 및 수술기구의 제2위치가 변경될 때 마다 증강현실 영상에 표시되는 수술 대상물 및 수술기구의 위치도 변경될 것이다. 또한, 증강현실 영상생성부(53)는 3D 영상용 안경(50)을 착용한 사용자의 시선 방향 및 환자로부터의 거리가 변화됨에 따라 환부 기준점 센서부(40)에서 무선으로 수신한 세 개 이상의 위치에 인체 내부에 대한 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 정확히 일치시킨 상태에서 인체 내부 3D 모델링의 방향 및 크기(확대/축소)를 조절하여 생성한다.
증강현실 영상표시부(54)는 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시한다.
카메라(55)는 인체의 실제 영상을 촬영한다.
송신부(56)는 카메라(55)에서 촬영된 인체의 실제 영상과 증강현실 영상표시부(54)에 표시되는 증강현실 영상을 합성하여 디스플레이장치(60)로 전송함으로써, 3D 영상용 안경(50)을 착용하지 않은 다른 사람들도 3D 영상용 안경(50)에 나타나는 증강현실 영상과 같은 영상을 볼 수 있다. 카메라(55)는 종래 기술과 달리 인체의 실제 영상을 촬영하고 그 위에 인체 내부의 3D 모델링을 중첩하여 3D 영상용 안경(50)에 표시하기 위한 용도가 아니다. 단지, 디스플레이장치(60)로 인체의 실영상과 증강현실 영상을 합성하여 전송하기 위한 용도이다. 결국, 카메라(55)에서 촬영한 영상은 의사가 3D 영상용 안경(50)을 이용하여 수술 시에는 전혀 사용되지 않는다.
디스플레이장치(60)는 3D 영상용 안경(50)에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 3D 영상용 안경(50)으로부터 수신하여 표시함으로써 3D 영상용 안경(50)과 동일한 영상을 표시한다.
도 5를 참조하면, 3D 영상용 안경(50)의 증강현실 영상표시부(54)를 통해 인체 내부의 척추뼈(V)와 인체 내에 삽입되는 수술기구의 3D 모델링이 증강현실 영상으로 표현된 것을 보여준다.
도 3을 참조하면, 인체에 삽입되는 수술 대상물(임플란트)과 수술기구에 부착된 센서부(10, 20)에서 3D 모델링 저장 및 전송부(30)로 위치정보를 무선으로 전송한다(①). 3D 모델링 저장 및 전송부(30)는 컴퓨터 또는 의료용 서버를 이용하여 구축될 수 있다. 3D 모델링 저장 및 전송부(30)는 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링, 수신한 위치에 해당하는 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경(50)에 무선으로 전송한다(②). 인체의 내부에 장착되거나, 피부 겉표면에 부착되는 환부 기준점 센서부(40)는 세 개 이상의 센서 위치정보를 3D 영상용 안경(50)에 무선으로 전송한다(③). 마지막으로, 3D 영상용 안경(50)에 표시되는 증강현실 영상은 디스플레이장치(60)로도 전송될 수 있다(④).
도 3에서 보는 바와 같이, 본 발명은 의사가 수술할 때 별도의 카메라에 의해 촬영된 영상이 제공되는 모니터를 보면서 수술하는 방식이 아니며, 의사가 착용한 3D 영상용 안경(50)에서 카메라로 환자의 영상을 촬영하는 방식도 아니다. 즉, 본 발명은 3D 영상용 안경(50)에 환자의 모습이 안경알을 통해 그대로 투영되는 방식을 이용하며, 그대로 투영되는 환자의 실제 모습에 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 것이다.
한편, 3D 모델링 저장 및 전송부(30)에서 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송하고, 3D 영상용 안경(50)은 저장부(52)에 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 저장 후 인체에 장착된 세 개 이상의 센서(40) 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시할 수 있다.
3D 모델링 저장 및 전송부(30)에서 수술 대상물의 3D 모델링 및 위치를 수신하고 수술기구의 3D 모델링 및 위치를 수신하면, 인체에 장착된 세 개 이상의 센서, 즉 환부 기준점 센서부(40)의 위치를 기준으로 해당하는 위치에 수술 대상물 및 수술기구의 3D 모델링을 중첩적으로 표시하는 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착된 각각의 센서로부터 위치정보를 수신한 후 각각의 센서위치에 인체 내부에 대한 3D 모델링 생성시 설정된 세 개 이상의 기준점을 일치시켜 인체 내부에 대한 3D 모델링을 표시함으로써, 3D 영상용 안경을 통해 투영되는 인체의 실제 영상에 신체 내부에 대한 3D 모델링을 정확하게 중첩하여 표시할 수 있다.

Claims (11)

  1. 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부;
    상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부;
    세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부;
    상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및
    안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  2. 제1항에 있어서,
    상기 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 센서 위치정보를 전송하고,
    상기 3D 모델링 저장 및 전송부는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  3. 제1항에 있어서,
    상기 3D 모델링 저장 및 전송부는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있으며, 상기 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 상기 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  4. 제1항에 있어서,
    상기 환부 기준점 센서부는 피부 겉표면에 부착되거나, 인체 내부에 삽입되어 장착되는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  5. 제1항에 있어서,
    상기 3D 영상용 안경은 광학 기반 HMD(Head Mounted Display)인 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  6. 제1항에 있어서,
    상기 3D 영상용 안경은
    상기 3D 모델링 저장 및 전송부에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 상기 환부 기준점 센서부에서 전송되는 세 개 이상의 센서 위치정보를 수신하는 수신부;
    상기 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장하는 저장부;
    상기 저장부에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성하는 증강현실 영상생성부;
    상기 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시하는 증강현실 영상표시부;
    인체의 실제 영상을 촬영하는 카메라; 및
    상기 카메라에서 촬영된 인체의 실제 영상과 증강현실 영상표시부에 표시되는 증강현실 영상을 합성하여 디스플레이장치로 전송하는 송신부;를 포함하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  7. 제1항에 있어서,
    상기 3D 모델링 저장 및 전송부에서 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 전송하고,
    상기 3D 영상용 안경은 저장부에 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 저장 후 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  8. 제1항에 있어서,
    상기 3D 영상용 안경에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 상기 3D 영상용 안경으로부터 수신하여 표시함으로써 3D 영상용 안경과 동일한 영상을 표시하는 디스플레이장치를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  9. 제1항에 있어서,
    상기 신체 내부에 대한 3D 모델링은 3D CT(Computed Tomography) 데이터를 이용하여 생성된 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  10. 제1항에 있어서,
    상기 세 개 이상의 기준점은 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정되는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  11. 제1항에 있어서,
    상기 수술 대상물은 임플란트인 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
PCT/KR2016/005868 2015-06-05 2016-06-02 증강현실을 이용한 외과 수술용 3d 안경 시스템 WO2016195401A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0079598 2015-06-05
KR1020150079598A KR101647467B1 (ko) 2015-06-05 2015-06-05 증강현실을 이용한 외과 수술용 3d 안경 시스템

Publications (1)

Publication Number Publication Date
WO2016195401A1 true WO2016195401A1 (ko) 2016-12-08

Family

ID=56714292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005868 WO2016195401A1 (ko) 2015-06-05 2016-06-02 증강현실을 이용한 외과 수술용 3d 안경 시스템

Country Status (2)

Country Link
KR (1) KR101647467B1 (ko)
WO (1) WO2016195401A1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9861446B2 (en) 2016-03-12 2018-01-09 Philipp K. Lang Devices and methods for surgery
WO2018134140A1 (en) * 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
US10194131B2 (en) 2014-12-30 2019-01-29 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery and spinal procedures
WO2019164093A1 (ko) * 2018-02-23 2019-08-29 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
CN111465912A (zh) * 2017-10-11 2020-07-28 凯菲森有限公司 具有运动检测功能的增强现实眼镜
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11751944B2 (en) 2017-01-16 2023-09-12 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US12010285B2 (en) 2023-07-14 2024-06-11 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery with stereoscopic displays

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844175B1 (ko) 2017-01-04 2018-03-30 건양대학교산학협력단 증강현실을 이용한 운동치료 보조시스템
KR102024988B1 (ko) * 2017-08-11 2019-09-24 서울대학교병원 치아교정용 가이드 시스템 및 이를 이용한 치아교정 가이드 방법
KR102133219B1 (ko) * 2017-10-11 2020-07-14 주식회사 카이비전 움직임감지 증강현실 글라스
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
KR102186551B1 (ko) * 2018-12-05 2020-12-03 주식회사 피치랩 증강현실장치를 이용하여 비침습뇌자극용 자극기를 위치시키는 방법
KR102313319B1 (ko) * 2019-05-16 2021-10-15 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
KR102175066B1 (ko) * 2019-10-15 2020-11-05 주식회사 메디씽큐 머리에 착용하는 의료용 3d 디스플레이 장치 및 이를 이용한 3d 디스플레이 방법
KR102362149B1 (ko) * 2019-12-06 2022-02-10 서울대학교산학협력단 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
KR102458276B1 (ko) * 2020-06-18 2022-10-25 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR102460821B1 (ko) 2020-10-28 2022-10-28 재단법인대구경북과학기술원 증강 현실 장치 및 증강 현실 장치의 동작 방법
KR102539312B1 (ko) * 2021-03-25 2023-06-01 한상범 모발 이식용 모발 추출기
WO2024089564A1 (en) * 2022-10-28 2024-05-02 Covidien Lp Sensor-guided robotic surgery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080027256A (ko) * 2005-05-16 2008-03-26 인튜어티브 서지컬 인코포레이티드 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
KR20090093877A (ko) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 가상 터치 스크린을 갖는 위치추적 시스템
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
KR20130135476A (ko) * 2012-06-01 2013-12-11 의료법인 우리들의료재단 수술 유도영상 시스템 및 그 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080027256A (ko) * 2005-05-16 2008-03-26 인튜어티브 서지컬 인코포레이티드 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
KR20090093877A (ko) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 가상 터치 스크린을 갖는 위치추적 시스템
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
KR20130135476A (ko) * 2012-06-01 2013-12-11 의료법인 우리들의료재단 수술 유도영상 시스템 및 그 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951872B2 (en) 2014-12-30 2021-03-16 Onpoint Medical, Inc. Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays with real time visualization of tracked instruments
US11483532B2 (en) 2014-12-30 2022-10-25 Onpoint Medical, Inc. Augmented reality guidance system for spinal surgery using inertial measurement units
US11750788B1 (en) 2014-12-30 2023-09-05 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery with stereoscopic display of images and tracked instruments
US11652971B2 (en) 2014-12-30 2023-05-16 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10194131B2 (en) 2014-12-30 2019-01-29 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery and spinal procedures
US11272151B2 (en) 2014-12-30 2022-03-08 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery with display of structures at risk for lesion or damage by penetrating instruments or devices
US11153549B2 (en) 2014-12-30 2021-10-19 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery
US10326975B2 (en) 2014-12-30 2019-06-18 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery and spinal procedures
US11050990B2 (en) 2014-12-30 2021-06-29 Onpoint Medical, Inc. Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays with cameras and 3D scanners
US11350072B1 (en) 2014-12-30 2022-05-31 Onpoint Medical, Inc. Augmented reality guidance for bone removal and osteotomies in spinal surgery including deformity correction
US10594998B1 (en) 2014-12-30 2020-03-17 Onpoint Medical, Inc. Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and surface representations
US10742949B2 (en) 2014-12-30 2020-08-11 Onpoint Medical, Inc. Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and tracking of instruments and devices
US10511822B2 (en) 2014-12-30 2019-12-17 Onpoint Medical, Inc. Augmented reality visualization and guidance for spinal procedures
US10602114B2 (en) 2014-12-30 2020-03-24 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery and spinal procedures using stereoscopic optical see-through head mounted displays and inertial measurement units
US10841556B2 (en) 2014-12-30 2020-11-17 Onpoint Medical, Inc. Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays with display of virtual surgical guides
US10799296B2 (en) 2016-03-12 2020-10-13 Philipp K. Lang Augmented reality system configured for coordinate correction or re-registration responsive to spinal movement for spinal procedures, including intraoperative imaging, CT scan or robotics
US9980780B2 (en) 2016-03-12 2018-05-29 Philipp K. Lang Guidance for surgical procedures
US11957420B2 (en) 2016-03-12 2024-04-16 Philipp K. Lang Augmented reality display for spinal rod placement related applications
US11850003B2 (en) 2016-03-12 2023-12-26 Philipp K Lang Augmented reality system for monitoring size and laterality of physical implants during surgery and for billing and invoicing
US10405927B1 (en) 2016-03-12 2019-09-10 Philipp K. Lang Augmented reality visualization for guiding physical surgical tools and instruments including robotics
US10743939B1 (en) 2016-03-12 2020-08-18 Philipp K. Lang Systems for augmented reality visualization for bone cuts and bone resections including robotics
US10159530B2 (en) 2016-03-12 2018-12-25 Philipp K. Lang Guidance for surgical interventions
US11602395B2 (en) 2016-03-12 2023-03-14 Philipp K. Lang Augmented reality display systems for fitting, sizing, trialing and balancing of virtual implant components on the physical joint of the patient
US9861446B2 (en) 2016-03-12 2018-01-09 Philipp K. Lang Devices and methods for surgery
US10603113B2 (en) 2016-03-12 2020-03-31 Philipp K. Lang Augmented reality display systems for fitting, sizing, trialing and balancing of virtual implant components on the physical joint of the patient
US11013560B2 (en) 2016-03-12 2021-05-25 Philipp K. Lang Systems for augmented reality guidance for pinning, drilling, reaming, milling, bone cuts or bone resections including robotics
US10368947B2 (en) 2016-03-12 2019-08-06 Philipp K. Lang Augmented reality guidance systems for superimposing virtual implant components onto the physical joint of a patient
US10292768B2 (en) 2016-03-12 2019-05-21 Philipp K. Lang Augmented reality guidance for articular procedures
US11452568B2 (en) 2016-03-12 2022-09-27 Philipp K. Lang Augmented reality display for fitting, sizing, trialing and balancing of virtual implants on the physical joint of a patient for manual and robot assisted joint replacement
US10278777B1 (en) 2016-03-12 2019-05-07 Philipp K. Lang Augmented reality visualization for guiding bone cuts including robotics
US11172990B2 (en) 2016-03-12 2021-11-16 Philipp K. Lang Systems for augmented reality guidance for aligning physical tools and instruments for arthroplasty component placement, including robotics
US11311341B2 (en) 2016-03-12 2022-04-26 Philipp K. Lang Augmented reality guided fitting, sizing, trialing and balancing of virtual implants on the physical joint of a patient for manual and robot assisted joint replacement
US10849693B2 (en) 2016-03-12 2020-12-01 Philipp K. Lang Systems for augmented reality guidance for bone resections including robotics
US11751944B2 (en) 2017-01-16 2023-09-12 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
WO2018134140A1 (en) * 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
US11551380B2 (en) 2017-01-17 2023-01-10 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
CN111465912A (zh) * 2017-10-11 2020-07-28 凯菲森有限公司 具有运动检测功能的增强现实眼镜
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US11727581B2 (en) 2018-01-29 2023-08-15 Philipp K. Lang Augmented reality guidance for dental procedures
WO2019164093A1 (ko) * 2018-02-23 2019-08-29 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR102099415B1 (ko) 2018-02-23 2020-04-09 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US12010285B2 (en) 2023-07-14 2024-06-11 Onpoint Medical, Inc. Augmented reality guidance for spinal surgery with stereoscopic displays

Also Published As

Publication number Publication date
KR101647467B1 (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
US8504136B1 (en) See-through abdomen display for minimally invasive surgery
US11275249B2 (en) Augmented visualization during surgery
Chen et al. Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display
CN107374729B (zh) 基于ar技术的手术导航系统及方法
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CN104918572B (zh) 用于外科手术的视频捕获和显示的数字系统
WO2016144005A1 (ko) 증강현실영상 투영 시스템
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
CN101904770B (zh) 一种基于光学增强现实技术的手术导航系统及方法
WO2011122032A1 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
CN109730771A (zh) 一种基于ar技术的手术导航系统
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
KR101667152B1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2015186930A1 (ko) 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
EP1705513A1 (en) System for the stereoscopic viewing of real-time or static images
CN111035458A (zh) 一种手术综合视景智能辅助系统及图像处理方法
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
CN104887314A (zh) 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
EP3840645A1 (en) Patient viewing system
Sun et al. Virtually transparent epidermal imagery for laparo-endoscopic single-site surgery
WO2021045546A2 (ko) 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
Jiang et al. User's image perception improved strategy and application of augmented reality systems in smart medical care: A review

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16803756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16803756

Country of ref document: EP

Kind code of ref document: A1