KR102254456B1 - Head mount system for supplying surgery assist image - Google Patents

Head mount system for supplying surgery assist image Download PDF

Info

Publication number
KR102254456B1
KR102254456B1 KR1020190070728A KR20190070728A KR102254456B1 KR 102254456 B1 KR102254456 B1 KR 102254456B1 KR 1020190070728 A KR1020190070728 A KR 1020190070728A KR 20190070728 A KR20190070728 A KR 20190070728A KR 102254456 B1 KR102254456 B1 KR 102254456B1
Authority
KR
South Korea
Prior art keywords
image
infrared
user
camera
optical system
Prior art date
Application number
KR1020190070728A
Other languages
Korean (ko)
Other versions
KR20200143599A (en
KR102254456B9 (en
Inventor
김법민
김민섭
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020190070728A priority Critical patent/KR102254456B1/en
Publication of KR20200143599A publication Critical patent/KR20200143599A/en
Application granted granted Critical
Publication of KR102254456B1 publication Critical patent/KR102254456B1/en
Publication of KR102254456B9 publication Critical patent/KR102254456B9/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로, 사용자의 머리에 착용 가능한 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 사용자의 눈동자를 촬영하는 눈동자 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 눈동자 카메라에 의해 촬영된 눈동자의 위치에 따라 상기 근적외선 영상을 보정하여 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어오는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키고, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키며, 사용자의 눈으로부터 들어오는 가시광선을 상기 눈동자 카메라로 반사시켜 상기 눈동자 카메라가 촬영 가능하게 하는 투명 광학계를 포함하는 것을 특징으로 한다.The present invention relates to a head mount system for providing a surgical support image, comprising: a head mount body that can be worn on the user's head; A near-infrared camera installed on the head mount body to photograph near-infrared rays; A pupil camera installed on the head mounted body to photograph a user's pupils; A near-infrared image projection unit installed on the head mounted body to project a near-infrared image; A near-infrared image processing unit that receives the photographed image captured by the near-infrared camera, generates the near-infrared image, corrects the near-infrared image according to the position of the pupil captured by the pupil camera, and transmits it to the near-infrared image projection unit; When the head mount body is worn on the user's head, it is installed in the head mount body so that it is positioned in front of the user's eyes, and the visible light is transmitted so that the user can see the front, and the near infrared ray entering from the front of the user is the near-infrared camera Is reflected by the near-infrared camera so as to be able to be photographed, the near-infrared image projected from the near-infrared image projection unit is reflected to the user's eyes, and visible light coming from the user's eyes is reflected by the pupil camera so that the pupil camera can take pictures It characterized in that it comprises a transparent optical system to allow.

Description

수술 지원 영상을 제공하는 헤드 마운트 시스템{HEAD MOUNT SYSTEM FOR SUPPLYING SURGERY ASSIST IMAGE}Head mount system that provides surgical support images {HEAD MOUNT SYSTEM FOR SUPPLYING SURGERY ASSIST IMAGE}

본 발명은수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로서, 보다 상세하게는 집도의가 수술 부위를 근적외선 영상을 통해 보다 정확하게 확인할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것이다.The present invention relates to a head mount system that provides a surgical support image, and more particularly, to a head mount system that provides a surgical support image through which an operating surgeon can more accurately check a surgical site through a near-infrared image.

감시림프절(Sentinel lymph node, SLN)은 원발 종양에서 암세포의 전이가 우선적으로 이루어지는 림프절로, 림프절로의 전이 여부를 판단할 수 있는 중요한 지표이다. 이에 감시림프절에 대한 조직검사를 통해 암세포가 발견되지 않는다면 다른 림프절에도 전이가 없다고 판단하고 더 이상의 수술을 진행하지 않는다.Sentinel lymph node (SLN) is a lymph node in which metastasis of cancer cells is preferentially performed from a primary tumor, and is an important index for determining whether metastasis to a lymph node is present. Therefore, if cancer cells are not found through biopsy of the sentinel lymph node, it is determined that there is no metastasis to other lymph nodes and no further surgery is performed.

이와 같이 암 전이 여부를 판단하는데 있어 중요한 지표로 작용하는 감시림프절의 정확한 탐색을 통하여 감시림프절 In-vivo 검사를 수행하면 림프부종과 같은 수술 후유증을 줄여주고 환자의 몸에 남는 흉터를 최소화 할 수 있다. 이로 인해 초기 유방암이나 흑색종 수술에서는 표적의약품을 이용한 감시림프절 탐색방법이 표준기법으로 활용되고 있다.In this way, if the surveillance lymph node in-vivo test is performed through accurate detection of the surveillance lymph node, which is an important indicator in determining whether cancer has metastasized, it is possible to reduce the postoperative effects such as lymphedema and minimize the scar remaining on the patient's body. . For this reason, in early breast cancer or melanoma surgery, the surveillance lymph node detection method using targeted drugs is used as a standard technique.

표적의약품을 이용하여 체내에 감시림프절을 탐색하는 방법으로는 청색염료(Blue dye)와 가시광 카메라를 이용하여 가시광 영상을 얻는 방법, 근적외선 형광염료(Fluorescent dye)와 근적외선 카메라를 이용하여 근적외선 형광 영상을 얻는 방법, 그리고 감시림프절에 집적된 방사성 의약품을 감마영상 장치로 촬영하여 방사선 영상을 얻는 방법등이 제안되고 있다.To search for surveillance lymph nodes in the body using a target drug, a method of obtaining a visible light image using a blue dye and a visible light camera, and a method of obtaining a near-infrared fluorescent image using a near-infrared fluorescent dye and a near-infrared camera. A method of obtaining, and a method of obtaining a radiographic image by photographing a radiopharmaceutical accumulated in a surveillance lymph node with a gamma imaging device have been proposed.

근래에 근적외선 형광 염료 중 ICG(Indocyanine Green) FDA 승인을 받아 근적외선 형광 염료를 이용한 감시림프절의 탐색이 임상에서 사용될 수 있는 길이 마련된 상태이다.Recently, among the near-infrared fluorescent dyes, ICG (Indocyanine Green) was approved by the FDA, and the search for surveillance lymph nodes using near-infrared fluorescent dyes has been prepared for clinical use.

한편, 상기와 같은 정확한 감시림프절의 탐색과 함께, 실제 종양을 제거하는 수술을 시행할 때, 집도의가 실제 환자의 수술 부위를 보며 수술할 때 상기와 같이 탐색된 감시림프절과 실제 환자의 수술 부위와 매칭시켜야 절제하여야할 범위를 결정할 수 있다.On the other hand, when performing the surgery to remove the actual tumor along with the search for the above accurate surveillance lymph node, when the surgeon performs surgery while looking at the actual patient's surgical site, the searched surveillance lymph node and the actual patient's surgical site Matching can determine the extent to be understated.

이는, 암세포가 전이된 감시림프절까지 절제하지 않고 일부 남는 경우 수술 이후에 암세포의 전이가 발생하여 재수술을 시행하게 되는 문제가 있고, 필요 이상으로 넓은 범위의 절제가 이루어지는 경우 해당 장기의 기능 저하 등으로 인해 환자의 삶의 질을 저하시키는 문제가 있어, 감시림프절의 정확한 탐색 뿐만 아니라 수술시 정확한 절제가 이루어져야 한다.This is a problem in that cancer cell metastasis occurs after surgery and re-operation is performed if the cancer cells are not resected to the metastasized lymph node, and if a part of the cancer remains, and if a wider range of resection is performed than necessary, the function of the relevant organ is deteriorated. As a result, there is a problem of lowering the quality of life of the patient, so accurate resection during surgery as well as accurate search of the surveillance lymph node must be performed.

이에, 수술시 근적외선 형광 염료(Fluorescent dye)를 암세포에 주입하고, 가시광 카메라와 근적외선 형광 카메라로 수술 부위를 촬영하고, 가시광 영상과 근적외선 영상을 정합하여 수술실에 설치된 모니터에 표시해주는 방법이 제안되고 있다.Accordingly, a method of injecting a near-infrared fluorescent dye into cancer cells during surgery, photographing the surgical site with a visible light camera and a near-infrared fluorescent camera, and displaying the visible and near-infrared images on a monitor installed in the operating room has been proposed. .

그런데, 도 1에 도시된 바와 같이, 집도의는 수술실에 설치된 모니터(10)에 나타난 형광 영상 부위를 눈으로 확인하고, 다시 수술대에 누워있는 환자의 수술 부위를 보면서 수술을 진행하게 되어, 두 곳을 번갈아 주시하며 수술하여야 하는 불편함이 있다. 특히, 환자의 실제 수술 부위를 주시할 때 형광 부분이 확인되지 않아 정확한 절제가 이루어질 수 없는 한계가 있다.By the way, as shown in FIG. 1, the surgeon checks the fluorescent image area displayed on the monitor 10 installed in the operating room with the eyes, and proceeds with the operation while looking at the surgical site of the patient lying on the operating table again. There is a discomfort of having to perform surgery while watching alternately. In particular, there is a limitation in that accurate resection cannot be made because the fluorescent part is not identified when the patient's actual surgical site is observed.

이와 같은 문제점을 해소하기 위해, 한국등록특허 제10-1355348호에서는 '수술 유도영상 시스템 및 그 방법'에서는 미리 촬영된 CT, MRI, X-ray로 촬영된 환자의 환부영상을 집도의가 착용하는 안경 형태의 투명 디스플레이에 표시하고, 집도의가 투명 디스플레이에 표시된 환부영상과 투명 디스플레이를 투과하여 오는 실제 환부를 함께 보면서 수술을 진행하는 기술을 개시하고 있다.In order to solve this problem, Korean Patent Registration No. 10-1355348 discloses'Surgery Guidance Imaging System and Its Method', glasses that the surgeon wears the patient's affected image taken by CT, MRI, and X-ray in advance. A technology that displays on a transparent display in the form of a shape, and the surgeon sees the affected area image displayed on the transparent display and the actual affected area passing through the transparent display together to perform an operation.

상기 한국등록특허 제10-1355348호에 개시된 방법은 미리 촬영된 환부영상과 집도의가 투명 디스플레이를 통해 보는 실제 환부를 일치시키기 위해 자이로센서를 이용하거나 환자의 특정 부위를 기준점으로 하여 환부영상을 변환하고 있다.The method disclosed in Korean Patent Registration No. 10-1355348 uses a gyro sensor to match the previously photographed affected area image and the actual affected area that the surgeon sees through the transparent display, or converts the affected area image using a specific part of the patient as a reference point. have.

그런데, 자이로센서 등을 이용하여 집도의의 움직임을 감지하는 경우, 환자의 움직임을 반영할 수 없어 환부영상을 실제 영상에 정확히 일치시킬 수 없는 단점이 있다.However, in the case of detecting the movement of the surgeon using a gyro sensor or the like, there is a disadvantage in that the patient's movement cannot be reflected and the affected area image cannot be accurately matched with the actual image.

또한, 미리 촬영된 환부영상을 이용하는 경우, 환자의 수술 부위, 즉 환부에 위치적인 변화가 생기거나 수술 중 장기 등을 움직이게 되면 환부영상이 실제 환부와 정확히 일치하지 않게 되고, 이는 집도의가 환부를 정확하게 인식하는데 오히려 방해가 될 우려가 있다.In addition, in the case of using a pre-imaged wound image, if there is a positional change in the patient's surgical site, that is, the affected area, or when organs are moved during surgery, the affected area image does not exactly match the actual affected area. There is a concern that it will rather interfere with recognition.

이에, 본 발명의 발명자에 의해 출원된 한국등록특허 제10-1667152호에 개시된 "수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에서는 근적외선 카메라, 가시광 카메라에 의해 각각 촬영된 근적외선 영상과 가시광 영상을 이용하고, 가시광 영상에 기초하여 근적외선 영상의 촬영 방향 및 사이즈를 변환하여 스마트 글라스이 화면상에 디스플레이함으로써, 집도의가 실제 보는 수술 부위에 스마트 글라스의 화면 상에 표시된 근적외선 영상이 오버랩되도록 하여, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하고 있다.Accordingly, in the "Smart glass system providing surgery support image and the method of providing surgery support image using smart glass, respectively, as disclosed in Korean Patent No. 10-1667152 filed by the inventor of the present invention, photographing by a near-infrared camera and a visible light camera, respectively. The near-infrared image displayed on the screen of the smart glass is displayed on the screen by the smart glass by converting the photographing direction and size of the near-infrared image based on the visible light image and the near-infrared image and the visible light image. By overlapping, the near-infrared fluorescence image provides the same effect as displayed on the actual surgical site of the patient.

그런데, 한국등록특허 제10-1667152호에서는 근적외선 카메라와, 가시광 카메라를 모두 사용해야하고, 근적외선 카메라의 촬영 방향과 위치 등이 집도의의 시선과 달라 이를 조절하기 위해 가시광 영상을 이용한 영상 처리 절차를 수행하여야 하는 등, 구조가 다소 복잡하고 영상 처리 기술이 적용되어야 하는 불편함이 있다.However, in Korean Patent Registration No. 10-1667152, both a near-infrared camera and a visible-light camera must be used, and the photographing direction and location of the near-infrared camera are different from the gaze of the surgeon. As such, the structure is somewhat complicated and there is an inconvenience that an image processing technology must be applied.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 집도 등의 사용자의 시선과 동일한 시선에서 근적외선의 촬영이 가능하고, 가시광 카메라나 스마트 글라스의 사용을 배제하여 기구적인 구조 뿐만 아니라 영상 처리 절차도 간소화시킬 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템을 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised to solve the above problems, and it is possible to photograph near-infrared rays in the same line of sight as the user's gaze, such as a housekeeper, and by excluding the use of a visible light camera or smart glass, not only a mechanical structure but also an image The purpose of this is to provide a head mount system that provides surgical support images that can simplify processing procedures.

또한, 사용자가 헤드 마운트 시스템을 잘못 착용하더라도 정확한 근적외선 영상을 제공할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템을 제공하는데 또 다른 목적이 있다.In addition, there is another object to provide a head mount system that provides a surgical support image capable of providing an accurate near-infrared image even if the user wears the head mount system incorrectly.

상기 목적은 본 발명에 따라, 수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서, 사용자의 머리에 착용 가능한 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 사용자의 눈동자를 촬영하는 눈동자 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 눈동자 카메라에 의해 촬영된 눈동자의 위치에 따라 상기 근적외선 영상을 보정하여 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어오는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키고, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키며, 사용자의 눈으로부터 들어오는 가시광선을 상기 눈동자 카메라로 반사시켜 상기 눈동자 카메라가 촬영 가능하게 하는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 의해서 달성된다.According to the present invention, there is provided a head mount system for providing a surgical support image, comprising: a head mount body that can be worn on a user's head; A near-infrared camera installed on the head mount body to photograph near-infrared rays; A pupil camera installed on the head mounted body to photograph a user's pupils; A near-infrared image projection unit installed on the head mounted body to project a near-infrared image; A near-infrared image processing unit that receives the photographed image captured by the near-infrared camera, generates the near-infrared image, corrects the near-infrared image according to the position of the pupil captured by the pupil camera, and transmits it to the near-infrared image projection unit; When the head mount body is worn on the user's head, it is installed in the head mount body so that it is positioned in front of the user's eyes, and the visible light is transmitted so that the user can see the front, and the near infrared ray entering from the front of the user is the near-infrared camera Is reflected by the near-infrared camera so as to be able to be photographed, the near-infrared image projected from the near-infrared image projection unit is reflected to the user's eyes, and visible light coming from the user's eyes is reflected by the pupil camera so that the pupil camera can take pictures It is achieved by a head mounted system that provides a surgical support image, characterized in that it comprises a transparent optical system to allow.

여기서, 상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며; 상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 촬영 영상과 상기 눈동자 카메라의 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달할 수 있다.Here, further comprising a wireless communication unit installed in the head mounted body to perform wireless communication; The near-infrared image processing unit is installed outside the head mount body to receive the photographed image of the near-infrared camera and the photographed image of the pupil camera through the wireless communication unit, and transmits the near-infrared image to the wireless communication unit to the near-infrared image projection unit. I can deliver.

또한, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 카메라는 상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와, 상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외선 카메라를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.In addition, the transparent optical system includes a left imaging optical system located in front of the user's left eye, and a right imaging optical system located in front of the user's right eye; The near-infrared camera includes a left image near-infrared camera for photographing near-infrared rays entering through the left image optical system, and a right image near-infrared camera for photographing near-infrared rays entering through the right image optical system; The near-infrared image projection unit includes a left image projection unit for projecting a near-infrared left image to the left image optical system, and a right image projection unit for projecting a near-infrared right image to the right image optical system; The near-infrared image processing unit may generate a photographed image captured by the left image near-infrared camera and the right image near-infrared camera as the near-infrared left image and near-infrared right image, respectively, and transmitted to the left image projection unit and the right image projection unit.

그리고, 상기 눈동자 카메라는 상기 좌 영상 광학계를 통해 들어오는 가시광선을 촬영하는 좌측 눈동자를 촬영하는 좌 눈동자 카메라와, 상기 우 영상 광학계를 통해 들어오는 가시광선을 촬영하여 우측 눈동자를 촬영하는 우 눈동자 카메라를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 눈동자 카메라와 상기 우 눈동자 카메라에 의해 촬영된 촬영 영상에 기초하여 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 보정할 수 있다.In addition, the pupil camera includes a left pupil camera for photographing a left pupil for photographing visible light entering through the left image optical system, and a right pupil camera for photographing a right pupil by photographing visible light entering through the right image optical system. And; The near-infrared image processing unit may correct the near-infrared left image and the near-infrared right image, respectively, based on captured images captured by the left eye camera and the right eye camera.

여기서, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와, 상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와, 상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 제2 우 영상 다이크로익 미러를 포함할 수 있다.Here, the left image optical system transmits visible light coming from the front of the user and reflects the near infrared rays coming from the front of the user to the left image near-infrared camera, and the first left image dichroic. It is placed in front or rear of the wing mirror, transmits visible light coming from the front of the user, reflects the near-infrared left image projected from the left image projection unit to the user's eyes, and transmits visible light coming from the user's left eye. And a second left image dichroic mirror reflected by the left pupil camera; The right image optical system transmits visible light coming from the front of the user and reflects the near infrared rays coming from the front of the user to the right image near-infrared camera, and the first right image dichroic mirror. It is arranged in front of or behind the user's front, transmits visible light coming from the front of the user, reflects the near-infrared right image projected from the right image projection unit to the user's eye, and reflects the visible light coming from the user's right eye. It may include a second right image dichroic mirror reflected by the pupil camera.

또한, 상기 좌 영상 광학계는 투명한 재질의 좌 영상 투명판과, 상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과, 상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며; 상기 우 영상 광학계는 투명한 재질의 우 영상 투명판과, 상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과, 상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 제2 우 영상 다이크로익 층을 포함할 수 있다.In addition, the left image optical system is coated on a left image transparent plate made of a transparent material, and is coated on one side of the left image transparent plate, transmits visible light coming from the front of the user, and transmits the near infrared rays from the front of the user to the left image near infrared rays. The first left image dichroic layer reflected by the camera, coated on the other side of the left image transparent plate, transmits visible light coming from the front of the user, and transmits the near-infrared left image projected from the left image projection unit. A second left image dichroic layer reflecting to the user's eye and reflecting visible light coming from the user's left eye to the left eye camera; The right image optical system is coated on the right image transparent plate made of a transparent material, and is coated on one side of the right image transparent plate, transmits visible light coming from the front of the user, and transmits the near infrared rays coming from the front of the user to the right image near infrared camera. The first right image dichroic layer that reflects, is coated on the other side of the right image transparent plate, transmits visible light coming from the front of the user, and transmits the near-infrared right image projected from the right image projection unit. A second right image dichroic layer may be reflected to the eyes and reflect visible light coming from the user's right eye to the right eye camera.

그리고, 상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부 및 상기 좌 눈동자 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며; 상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부 및 상기 우 눈동자 카메라는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치될 수 있다.In addition, the left image near-infrared camera is disposed at one of an upper and a lower part of the left image optical system, and the left image projector and the left pupil camera are disposed at the other side of an upper and lower part of the left image optical system; The right image near-infrared camera may be disposed on either side of the upper or lower part of the right image optical system, and the right image projector and the right eye camera may be disposed on the other side of the upper and lower part of the right image optical system.

또한, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하고; 상기 눈동자 카메라는 상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로부터 들어오는 가시광선을 촬영하여 좌측 눈동자를 촬영하는 좌 눈동자 촬영부와, 상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로부터 들어오는 가시광선을 촬영하여 우측 눈동자를 촬영하는 우 눈동자 촬영부를 포함하며; 상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치될 수 있다.In addition, the transparent optical system includes a left imaging optical system located in front of the user's left eye, and a right imaging optical system located in front of the user's right eye; The near-infrared image projection unit is a left image projection unit for projecting a near-infrared left image from the left side of the left image optical system to the left image optical system, and a right side for projecting a near-infrared right image from the right side of the right image optical system to the right image optical system. Including an image projection unit; The pupil camera includes a left pupil photographing unit that photographs the left pupil by photographing visible light coming from the left image optical system from the left side of the left image optical system, and visible light coming from the right image optical system from the right side of the right image optical system. And a right pupil photographing unit for photographing a right pupil by photographing a picture; The near-infrared camera may be disposed above or below the left imaging optical system and the right imaging optical system.

여기서, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 좌 영상 다이크로익 유닛과, 상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 우 영상 다이크로익 유닛과, 상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.Here, the left image optical system transmits visible light coming from in front of the user, reflects near-infrared rays coming from in front of the user, and reflects the near-infrared left image coming from the left image projection unit to the user's eyes. A left image dichroic unit that reflects visible light coming from the eye to the left eye camera, and a near-infrared ray reflected from the left image dichroic unit, which is disposed on the right side of the left image dichroic unit, is reflected to the near-infrared camera And a left image reflection mirror to allow; The right image optical system transmits visible light coming from in front of the user, reflects near infrared rays coming from in front of the user, and reflects the near-infrared right image coming from the right image projection unit to the user's eyes, and from the user's right eye. A right image dichroic unit that reflects incoming visible light to the right eye camera, and a right image dichroic unit disposed on the left side of the right image dichroic unit to reflect the near-infrared rays reflected from the right image dichroic unit to the near-infrared camera. Including an image reflecting mirror; The near-infrared image processing unit generates the near-infrared left image and the near-infrared right image by dividing the photographed image reflected by the left image reflection mirror and the right image reflection mirror and photographed by the near-infrared camera, respectively, and the near-infrared left image And the near-infrared right image may be transmitted to the left image projection unit and the right image projection unit, respectively.

상기와 같은 구성에 따라 본 발명에 따르면, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의 등의 사용자가 실시간으로 시각적으로 보하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템이 제공된다.According to the present invention according to the configuration as described above, there is a head mount system that provides a surgical support image through which a user, such as an operating surgeon, can perform an operation while visually viewing a resection site to which cancer cells have metastasized, including a surveillance lymph node, in real time. Is provided.

또한, 투명 광학계를 통해 사용자의 시선과 근적외선 카메라의 촬영 시선을 동일하게 하여, 근적외선 영상을 생성하는데 있어 보다 간소한 영상 처리 절차의 적용이 가능하게 된다.In addition, a simpler image processing procedure can be applied in generating a near-infrared image by making the user's gaze and the photographed gaze of the near-infrared camera identical through the transparent optical system.

그리고, 스마트 글라스와 같은 고가의 장비를 사용하지 않고 근적외선 영상 투사부에서 투사된 영상이 투명 광학계를 통해 직접 사용자의 눈에 직접 투사되어 보다 저렴한 제조 비용과 간단한 구조로 구현이 가능하게 된다.In addition, without using expensive equipment such as smart glass, the image projected from the near-infrared image projection unit is directly projected to the user's eyes through a transparent optical system, so that it can be implemented with a lower manufacturing cost and a simple structure.

그리고, 좌 영상과 우 영상을 구분하여 촬영하고, 이를 사용자의 좌측 및 우측 눈에 각각 투사시킴으로써, 입체적인 영상의 구현이 가능하게 된다.In addition, by separating the left image and the right image and projecting them to the left and right eyes of the user, it is possible to implement a three-dimensional image.

그리고, 사용자가 헤드 마운트 시스템을 잘못 착용하여 근적외선 영상의 투사 위치가 잘못될 수 있는 상황에서도, 눈동자 카메라에 의해 촬영된 영상에 기초하여 눈동자의 위치를 분석하고, 이에 근거하여 근적외선 영상 투사부로부터 투사되는 근적외선 영상을 보정함으로써, 보다 정확한 위치에 근적외선 영상의 투사가 가능하게 된다.In addition, even in a situation where the projection position of the near-infrared image may be incorrect due to the user wearing the head mount system incorrectly, the position of the pupil is analyzed based on the image captured by the pupil camera, and the projection from the near-infrared image projection unit is based on this. By correcting the near-infrared image to be used, it is possible to project the near-infrared image to a more accurate position.

도 1은 종래의 수술실의 수술 환경의 예를 나타낸 도면이고,
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템의 구성을 설명하기 위한 도면이고,
도 3 및 도 4는 본 발명에 제1 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 5 및 도 6은 본 발명에 제2 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 7 및 도 8은 본 발명에 제3 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 9는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템에서 근적외선 영상이 오버랩되어 인식되는 원리를 설명하기 위한 도면이다.1 is a view showing an example of a surgery environment of a conventional operating room,
2 is a view for explaining the configuration of a head mount system for providing a surgical support image according to the present invention,
3 and 4 are views showing an example of implementing a head mount system that provides a surgical support image according to a first embodiment of the present invention,
5 and 6 are views showing an example of implementing a head mount system that provides a surgical support image according to a second embodiment of the present invention,
7 and 8 are views showing an example of implementing a head mount system that provides a surgical support image according to a third embodiment of the present invention,
9 is a diagram for explaining a principle in which a near-infrared image is overlapped and recognized in a head mount system that provides a surgical support image according to the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)의 구성을 설명하기 위한 도면이다. 도 2를 참조하여 설명하면, 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)(이하, '헤드 마운트 시스템(100)'이라 함)은 근적외선 카메라(120), 근적외선 영상 투사부(130), 근적외선 영상 처리부(140), 눈동자 카메라(150) 및 투명 광학계(110)를 포함한다.2 is a view for explaining the configuration of the head mount system 100 for providing a surgical support image according to the present invention. Referring to FIG. 2, the head mount system 100 (hereinafter referred to as'head mount system 100') providing a surgical support image according to the present invention includes a near-infrared camera 120, a near-infrared image projection unit ( 130), a near-infrared image processing unit 140, a pupil camera 150, and a transparent optical system 110.

여기서, 본 발명에서는 근적외선 카메라(120), 근적외선 영상 투사부(130) 및 투명 광학계(110)는 사용자의 머리에 착용 가능한 헤드 마운트 본체에 설치되는데, 사용자가 머리에 착용할 수 있는 다양한 구조의 헤드 마운트 본체가 적용 가능한 바, 그 구조에 대한 설명은 생략한다.Here, in the present invention, the near-infrared camera 120, the near-infrared image projection unit 130, and the transparent optical system 110 are installed on a head mount body that can be worn on the user's head. Since the mount body is applicable, a description of its structure will be omitted.

근적외선 카메라(120)는 헤드 마운트 본체에 설치되어 근적외선을 촬영한다. 일 예로, 환자의 수술 부위에 형광 물질이 주입되는 경우, 해당 형광 물질이 근적외선 카메라(120)에 의해 촬영 가능하게 된다.The near-infrared camera 120 is installed on the head mount body to photograph near-infrared rays. For example, when a fluorescent material is injected into a surgical site of a patient, the fluorescent material can be photographed by the near-infrared camera 120.

근적외선 영상 투사부(130)는 헤드 마운트 본체에 설치되고, 근적외선 영상 처리부(140)로부터 전달되는 근적외선 영상을 투사하게 된다. 그리고 눈동자 카메라(150)는 헤드 마운트 본체에 설치되어 사용자의 눈동자를 촬영한다. The near-infrared image projection unit 130 is installed on the head mount body and projects a near-infrared image transmitted from the near-infrared image processing unit 140. In addition, the pupil camera 150 is installed on the head mount body to photograph the user's pupils.

근적외선 영상 처리부(140)는 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 전달받고, 해당 촬영 영상을 영상 처리하여 근적외선 영상을 생성하여 근적외선 영상 투사부(130)로 전달한다. 이 때, 근적외선 영상 처리부(140)는 눈동자 카메라에 의해 촬영된 사용자의 눈동자의 위치에 따라 근적외선 영상을 보정하는데 이에 대한 설명은 후술한다.The near-infrared image processing unit 140 receives a photographed image captured by the near-infrared camera 120, processes the photographed image, generates a near-infrared image, and transmits it to the near-infrared image projector 130. In this case, the near-infrared image processing unit 140 corrects the near-infrared image according to the position of the user's pupils photographed by the pupil camera, which will be described later.

투명 광학계(110)는 사용자의 머리에 헤드 마운트 본체가 착용될 때, 사용자의 눈 전방에 위치하도록 헤드 마운트 본체에 설치된다. 이 때, 투명 광학계(110)는 사용자가 전방을 볼 수 있도록 사용자의 전방에서 들어오는 가시광선(도 2의 일점 쇄선)을 투과시킨다. 이에 따라, 사용자가 본 발명에 따른 헤드 마운트 본체를 머리에 착용하고 투명 광학계(110)가 사용자의 눈 전방에 위치하더라도 투명한 안경을 착용한 것과 동일하게 전방을 육안으로 확인할 수 있게 된다.The transparent optical system 110 is installed in the head mount body so that it is positioned in front of the user's eyes when the head mount body is worn on the user's head. At this time, the transparent optical system 110 transmits visible light (dashed-dotted line in FIG. 2) coming from the front of the user so that the user can see the front. Accordingly, even if the user wears the head mount body according to the present invention on the head and the transparent optical system 110 is positioned in front of the user's eyes, the front can be visually checked in the same manner as wearing transparent glasses.

또한, 투명 광학계(110)는 사용자의 전방으로부터 들어오는 근적외선(도 2의 점선)을 근적외선 카메라(120)로 반사시켜, 근적외선 카메라(120)가 근적외선을 촬영하여 촬영 영상을 형성하도록 한다. 그리고, 투명 광학계(110)는 근적외선 영상 투사부(130)로부터 투사된 근적외선 영상(도 2의 이점 쇄선)을 사용자의 눈으로 반사시켜 사용자가 근적외선 영상을 눈으로 확인 가능하게 한다. 여기서, 근적외선 영상 투사부(130)를 통해 투사되는 근적외선 영상은 근적외선 카메라(120)에 의해 촬영된 근적외선을 영상화한 것으로, 사람의 눈으로 확인 가능한 가시광선 영역의 영상에 해당한다.In addition, the transparent optical system 110 reflects the near-infrared rays (dotted lines in FIG. 2) coming from the front of the user to the near-infrared camera 120 so that the near-infrared camera 120 photographs the near-infrared rays to form a photographed image. In addition, the transparent optical system 110 reflects the near-infrared image projected from the near-infrared image projection unit 130 (the double-dotted line in FIG. 2) to the user's eyes so that the user can visually check the near-infrared image. Here, the near-infrared image projected through the near-infrared image projector 130 is an image of a near-infrared ray captured by the near-infrared camera 120, and corresponds to an image in a visible ray region that can be seen by the human eye.

그리고, 투명 광학계(110)는 사용자의 눈으로부터 들어오는 가시광선(도 2의 삼점 쇄선)을 눈동자 카메라(150)로 반사시켜 눈동자 카메라(150)가 사용자의 눈동자를 촬영 가능하게 한다.In addition, the transparent optical system 110 reflects visible light (three-dot chain lines in FIG. 2) coming from the user's eyes to the pupil camera 150 so that the pupil camera 150 can photograph the user's pupil.

상기와 같은 구성에 따라, 투명 광학계(110)가 사용자의 눈으로 들어오는 근적외선을 근적외선 카메라(120)로 반사시켜 이를 촬영하도록 하고, 이와 같이 촬영된 촬영 영상을 근적외선 영상 처리부(140)가 근적외선 영상으로 생성하도록 함으로써, 사용자의 시선과 동일한 방향으로 근적외선 카메라(120)가 근적외선을 촬영할 수 있게 된다. 이는, 기존에 근적외선 카메라(120)의 촬영 방향이 사용자의 시선과 다름에 따라 필요했던 영상 처리 과정을 현저히 간소화시킬 수 있게 된다.According to the above configuration, the transparent optical system 110 reflects the near-infrared rays entering the user's eyes to the near-infrared camera 120 to photograph them, and the photographed image is converted into a near-infrared image by the near-infrared image processing unit 140. By generating it, the near-infrared camera 120 can photograph the near-infrared ray in the same direction as the user's gaze. This makes it possible to significantly simplify the image processing process, which was required in the past because the photographing direction of the near-infrared camera 120 is different from the user's gaze.

또한, 근적외선 영상 처리부(140)에 의해 생성된 근적외선 영상을 근적외선 영상 투사부(130)가 투명 광학계(110)로 투사하고, 투명 광학계(110)가 근적외선 영상을 사용자의 눈으로 반사시켜 사용자의 눈에 근적외선 영상이 상으로 맺혀, 투명 광학계(110)을 투과하여 들어오는 가시광선, 즉 실제 사용자가 보고 있는 전방 뷰에 근적외선 영상이 오버랩되는 것과 동일한 효과를 얻을 수 있게 된다.In addition, the near-infrared image generated by the near-infrared image processing unit 140 is projected by the near-infrared image projection unit 130 to the transparent optical system 110, and the transparent optical system 110 reflects the near-infrared image to the user's eyes. The near-infrared image is imaged on the image, and the same effect can be obtained as the visible light transmitted through the transparent optical system 110, that is, the near-infrared image is overlapped with the front view viewed by the actual user.

도 9를 참조하여 보다 구체적으로 설명하면, 사용자가 헤드 마운트 본체를 머리에 착용한 상태로 환자의 수술 부위를 보게 되면, 환자의 수술 부위는 도 9의 (a)에 도시된 바와 같이 보인다. 그리고, 근적외선 카메라(120)에 의해 촬영된 촬영 영상은 도 9의 (b)에 도시된 바와 같다. 이 때 근적외선 영상 처리부(140)가 형광 부위 만을 추출하여 근적외선 영상을 생성하게 되고, 이를 근적외선 영상 투사부(130)가 투사하여 사용자의 눈에 상이 맺히게 되면, 사용자는 도 9의 (c)에 도시된 바와 같이, 실제 수술 부위에 근적외선 영상에 오버랩된 상태로 시각적으로 인식하게 된다. In more detail with reference to FIG. 9, when the user sees the patient's surgical site while wearing the head mounted body on the head, the patient's surgical site is seen as shown in (a) of FIG. 9. In addition, the photographed image captured by the near-infrared camera 120 is as shown in (b) of FIG. 9. At this time, the near-infrared image processing unit 140 extracts only the fluorescent area to generate a near-infrared image, and when the near-infrared image projection unit 130 projects this to create an image on the user's eyes, the user is shown in Fig. 9(c). As described above, the actual surgical site is visually recognized as being overlapped with the near-infrared image.

이에 따라, 사용자는 실제 수술 부위에 형광 물질이 칠해진 것과 동일하게 인식하게 되고, 수술 중 사용자가 움직이더라도 투명 광학계(110)에 의해 근적외선 카메라(120)가 사용자의 시선과 동일한 방향으로 촬영하게 되어 보다 정확한 위치에 근적외선 영상이 오버랩 가능하게 된다.Accordingly, the user perceives the same as the fluorescent material painted on the actual surgical site, and even if the user moves during the operation, the near-infrared camera 120 photographs in the same direction as the user's line of sight by the transparent optical system 110. The near-infrared image can be overlapped at the exact location.

또한, 근적외선 영상 처리부(140)가 근적외선 영상을 생성할 때, 상술한 바와 같이, 눈동자 카메라(150)에 의해 촬영된 눈동자의 위치에 기초하여 근적외선 영상을 보정함으로써, 근적외선 영상을 보다 정확한 위치에 상이 맺히게 할 수 있다.In addition, when the near-infrared image processing unit 140 generates a near-infrared image, as described above, by correcting the near-infrared image based on the position of the pupil captured by the pupil camera 150, the near-infrared image is different to a more accurate position. It can be made to bear.

보다 구체적으로 설명하면, 사용자가 헤드 마운트 본체를 머리에 착용할 때 착용 위치에 따라 투명 광학계(110)의 위치가 틀어질 수 있으며, 이 경우 사용자의 눈에 맺히는 근적외선 영상과 전방의 실제 영상의 위치 간에 오차가 발생할 수 있다. 이는 헤드 마운트 본체를 정확히 착용하더라도 사용자에 따라 투명 광학계(110)와 눈동자 간의 거리가 달라지는 등의 원인에 의해서도 발생할 수 있다.More specifically, when the user wears the head mounted body on the head, the position of the transparent optical system 110 may be changed according to the wearing position. In this case, the position of the near-infrared image and the actual image in front of the user's eyes. There may be errors in the liver. This may also occur due to causes such as that the distance between the transparent optical system 110 and the pupil varies depending on the user even if the head mounted body is correctly worn.

이에, 본 발명에서는 눈동자 카메라(150)에 의해 촬영된 눈동자의 위치에 따라 근적외선 영상을 보정해 줌으로써, 보다 정확한 위치에 근적외선 영상의 상이 눈동자에 맺힐 수 있게 된다.Accordingly, in the present invention, by correcting the near-infrared image according to the position of the pupil photographed by the pupil camera 150, the image of the near-infrared image can be formed on the pupil at a more accurate position.

이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)을 구현한 예에 대해 설명한다. 여기서, 도 4의 (a)는 도 3의 투명 광학계(110)를 전방에서 바라본 정면도이고, 도 4의 (b)는 도 3의 투명 광학계(110)를 상부에서 바라본 평면도이다. 도 3 및 도 4에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(130)에서 투사되는 근적외선 영상, 삼점 쇄선은 사용자의 눈 방향에서 투명 광학계(110)로 향하는 가시광선을 나타낸다.Hereinafter, an example of implementing the head mount system 100 according to the first embodiment of the present invention will be described with reference to FIGS. 3 and 4. Here, FIG. 4A is a front view of the transparent optical system 110 of FIG. 3 viewed from the front, and FIG. 4B is a plan view of the transparent optical system 110 of FIG. 3 viewed from above. In FIGS. 3 and 4, the dotted line represents visible light, the dashed-dotted line represents near-infrared ray, the two-dot chain line represents the near-infrared image projected from the near-infrared image projector 130, and the three-dot chain line represents the visible ray directed from the user's eye direction to the transparent optical system 110. Show.

도 3 및 도 4에 도시된 예에서, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)은 하나의 근적외선 카메라(120)가 적용되고, 근적외선 영상 투사부(130)가 좌 영상 투사부(130b)와 우 영상 투사부(130a)를 포함하고, 눈동자 카메라(150)가 좌 눈동자 카메라(150b)와 우 눈동자 카메라(150a)를 포함하는 것을 예로 한다.3 and 4, in the head mount system 100 according to the first embodiment of the present invention, one near-infrared camera 120 is applied, and the near-infrared image projection unit 130 is a left image projection unit. It is assumed that it includes (130b) and a right image projection unit (130a), and the pupil camera 150 includes a left pupil camera (150b) and a right pupil camera (150a).

그리고, 투명 광학계(110)는, 도 3 및 도 4에 도시된 바와 같이, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)를 포함한다. 여기서, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(111b,112b)는 사용자의 좌측 눈 전방에 위치하고, 우 영상 광학계(111a,112a)는 사용자의 우측 눈 전방에 위치한다.In addition, the transparent optical system 110 includes left image optical systems 111b and 112b and right image optical systems 111a and 112a, as shown in FIGS. 3 and 4. Here, when the user wears the head mounted body on the head, the left imaging optical systems 111b and 112b are located in front of the user's left eye, and the right imaging optical systems 111a and 112a are located in front of the user's right eye.

근적외선 영상 투사부(130)의 좌 영상 투사부(130b)는, 도 3에 도시된 바와 같이, 좌 영상 광학계(111b,112b)의 좌측 측면에서 좌 영상 광학계(111b,112b)로 근적외선 좌 영상을 투사하고, 우 영상 투사부(130a)는 우 영상 광학계(111a,112a)의 우측 측면에서 우 영상 광학계(111a,112a)로 근적외선 우 영상을 투사한다.The left image projector 130b of the near-infrared image projector 130 transmits the near-infrared left image to the left image optical systems 111b and 112b from the left side of the left image optical systems 111b and 112b, as shown in FIG. 3. After the projection, the right image projector 130a projects the near-infrared right image from the right side of the right image optical systems 111a and 112a to the right image optical systems 111a and 112a.

근적외선 카메라(120)는 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)의 사이의 상부 또는 하부에 배치되는데, 본 발명에서는 도 3에 도시된 바와 같이, 상부에 위치하는 것을 예로 한다.The near-infrared camera 120 is disposed above or below the left imaging optical systems 111b and 112b and the right imaging optical systems 111a, 112a. do.

여기서, 본 발명의 제1 실시예에서는 좌 영상 광학계(111b,112b)가 좌 영상 다이크로익 유닛(111b)과, 좌 영상 반사 미러(112b)를 포함하는 것을 예로 한다. 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 왼쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시킨다. 이 때, 좌 영상 반사 미러(112b)는 좌 영상 다이크로익 유닛(111b)의 우측에 배치되어 좌 영상 다이크로익 유닛(111b)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 왼쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.Here, in the first embodiment of the present invention, it is assumed that the left image optical systems 111b and 112b include a left image dichroic unit 111b and a left image reflection mirror 112b. The left image dichroic unit 111b transmits visible light coming from the front of the user, so that the user can see the front with the left eye. In addition, the left image dichroic unit 111b reflects the near-infrared rays coming from the front of the user to the right. In this case, the left image reflection mirror 112b is disposed on the right side of the left image dichroic unit 111b to reflect the near-infrared rays reflected from the left image dichroic unit 111b to the near-infrared camera 120. Accordingly, the near-infrared camera 120 located above the left imaging optical systems 111b and 112b and the right imaging optical systems 111a and 112a can capture near-infrared rays entering the user's left eye.

그리고, 좌 영상 다이크로익 유닛(111b)은 그 좌측에 배치된 좌 영상 투사부(130b)로부터 들어오는 근적외선 좌 영상을 사용자의 눈으로 반사시켜 사용자의 왼쪽 눈에 근적외선 좌 영상이 오버랩되어 인식할 수 있게 된다.In addition, the left image dichroic unit 111b reflects the near-infrared left image coming from the left image projection unit 130b disposed on the left side of the user's eyes to recognize the near-infrared left image overlapping the user's left eye. There will be.

또한, 좌 영상 다이크로익 유닛(111b)은 사용자의 좌측 눈으로부터 들어오는 가시광선을 좌 눈동자 카메라(150b)로 반사시켜, 좌 눈동자 카메라(150b)가 사용자의 좌측 눈동자를 촬영 가능하게 한다.In addition, the left image dichroic unit 111b reflects visible light coming from the user's left eye to the left eye camera 150b, so that the left eye camera 150b can photograph the user's left eye.

마찬가지로, 본 발명의 제1 실시예에서는 우 영상 광학계(111a,112a)가 우 영상 다이크로익 유닛(111a)과, 우 영상 반사 미러를 포함하는 것을 예로 한다. 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 오른쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시킨다. 이 때, 우 영상 반사 미러는 우 영상 다이크로익 유닛(111a)의 좌측에 배치되어 우 영상 다이크로익 유닛(111a)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 오른쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.Similarly, in the first embodiment of the present invention, it is assumed that the right image optical systems 111a and 112a include a right image dichroic unit 111a and a right image reflection mirror. The right image dichroic unit 111a transmits visible light coming from the front of the user, so that the user can see the front with the right eye. In addition, the right image dichroic unit 111a reflects the near-infrared rays coming from the front of the user to the left. In this case, the right image reflection mirror is disposed on the left side of the right image dichroic unit 111a to reflect the near-infrared rays reflected from the right image dichroic unit 111a to the near-infrared camera 120. Accordingly, the near-infrared camera 120 positioned above the left imaging optical systems 111b and 112b and the right imaging optical systems 111a and 112a can capture near-infrared rays entering the user's right eye.

그리고, 우 영상 다이크로익 유닛(111a)은 그 우측에 배치된 우 영상 투사부(130a)로부터 들어오는 근적외선 우 영상을 사용자의 눈으로 반사시켜 사용자의 오른쪽 눈에 근적외선 우 영상이 오버랩되어 인식할 수 있게 된다.In addition, the right image dichroic unit 111a reflects the near-infrared right image coming from the right image projection unit 130a disposed on the right side to the user's eyes, so that the near-infrared right image overlaps the user's right eye and can be recognized. There will be.

또한, 우 영상 다이크로익 유닛(111a)은 사용자의 우측 눈으로부터 들어오는 가시광선을 우 눈동자 카메라(150a)로 반사시켜, 우 눈동자 카메라(150a)가 사용자의 좌측 눈동자를 촬영 가능하게 한다.In addition, the right image dichroic unit 111a reflects visible light coming from the user's right eye to the right eye camera 150a, so that the right eye camera 150a can photograph the user's left eye.

여기서, 근적외선 카메라(120)에는 상술한 바와 같이, 사용자의 좌측 눈 방향으로 들어오는 근적외선과 사용자의 우측 눈 방향으로 들어오는 근적외선이 모두 촬영되는데, 근적외선 카메라(120)의 렌지 배율의 조절을 통해 사용자가 양측 눈으로 보는 시야, 특히 수술 부위가 모두 포함될 수 있도록 조절될 수 있다.Here, as described above, the near-infrared camera 120 captures both near-infrared rays entering the user's left eye and near-infrared rays entering the user's right eye. It can be adjusted to cover all of the visual field of view, especially the surgical site.

그리고, 근적외선 영상 처리부(140)는 좌 영상 반사 미러(112b) 및 우 영상 반사 미러에 의해 반사되어 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 분할하여 각각 근적외선 좌 영상 및 근적외선 우 영상으로 생성한다. 그리고, 근적외선 영상 처리부(140)는 생성된 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 투사부(130b) 및 우 영상 투사부(130a)로 전달한다.In addition, the near-infrared image processing unit 140 divides the captured image reflected by the left image reflection mirror 112b and the right image reflection mirror and photographed by the near infrared camera 120 to generate a near-infrared left image and a near-infrared right image, respectively. . In addition, the near-infrared image processing unit 140 transmits the generated near-infrared left image and near-infrared right image to the left image projection unit 130b and the right image projection unit 130a, respectively.

이 때, 근적외선 영상 처리부(140)는 좌 눈동자 카메라(150b)와 우 눈동자 카메라(150a)에 의해 촬영된 촬영 영상에 기초하여 근적외선 좌 영상 및 근적외선 우 영상을 각각 보정하게 된다.In this case, the near-infrared image processing unit 140 corrects the near-infrared left image and the near-infrared right image, respectively, based on the captured images taken by the left pupil camera 150b and the right pupil camera 150a.

또한, 좌 영상 투사부(130b) 및 우 영상 투사부(130a)가 각각 근적외선 좌 영상과 근적외선 우 영상을 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)으로 투사하게 되면, 사용자의 좌측 눈 및 우측 눈에 깍각 근적외선 좌 영상 및 근적외선 우 영상이 오버랩되어, 도 9의 (c)에 도시된 바와 같이, 사용자의 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.In addition, when the left image projection unit 130b and the right image projection unit 130a project the near-infrared left image and the near-infrared right image to the left image dichroic unit 111b and the right image dichroic unit 111a, , The left and right near-infrared images are overlapped with the left and right eyes of the user, so that, as shown in (c) of FIG. 9, a fluorescent material is displayed on the user's surgical site.

본 발명의 제1 실시예에 따른 좌 영상 다이크로익 유닛(111b)과 우 영상 다이크로익 유닛(111a)의 구성은 본 발명의 제2 실시예 및 제3 실시예의 좌 영상 광학계(111b,112b) 및 우 영상 광학계(111a,112a)의 구성이 적용될 수 있는 바, 그 구체적인 설명은 후술한다.The configurations of the left video dichroic unit 111b and the right video dichroic unit 111a according to the first embodiment of the present invention are the left video optical systems 111b and 112b of the second and third embodiments of the present invention. ) And the configurations of the right imaging optical systems 111a and 112a may be applied, and a detailed description thereof will be described later.

이하에서는, 도 5 및 도 6을 참조하여, 본 발명의 제2 실시예에 따른 헤드 마운트 시스템(300)을 구현한 예에 대해 설명한다. 여기서, 도 6은 도 5의 투명 광학계(311a,311b)를 측면에서 바라본 측면도이다. 그리고, 도 5 및 도 6에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(330a,330b)에서 투사되는 근적외선 영상, 삼점 쇄선은 사용자의 눈 방향에서 투명 광학계(311a,311b)로 향하는 가시광선을 나타낸다.Hereinafter, an example of implementing the head mount system 300 according to the second embodiment of the present invention will be described with reference to FIGS. 5 and 6. Here, FIG. 6 is a side view as viewed from the side of the transparent optical systems 311a and 311b of FIG. 5. 5 and 6, the dotted line is visible light, the dashed-dotted line is the near-infrared ray, the two-dotted line is the near-infrared image projected from the near-infrared image projectors 330a and 330b, and the tri-dotted line is transparent optical systems 311a and 311b in the direction of the user's eyes. Shows visible light directed to ).

본 발명의 제2 실시예에 따른 투명 광학계(311a,311b)는 좌 영상 광학계(311b)와 우 영상 광학계(311a)를 포함할 수 있다. 제1 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(311b)와 우 영상 광학계(111a,112a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.The transparent optical systems 311a and 311b according to the second embodiment of the present invention may include a left image optical system 311b and a right image optical system 311a. As in the first embodiment, when the user wears the head mounted body on the head, the left imaging optical system 311b and the right imaging optical systems 111a and 112a are positioned in front of the user's left and right eyes, respectively. .

근적외선 카메라(320a,320b)는, 도 5에 도시된 바와 같이, 좌 영상 근적외선 카메라(320b)와 우 영상 근적외선 카메라(320a)를 포함할 수 있다. 좌 영상 근적외선 카메라(320b)는 좌 영상 광학계(311b)를 통해 들어오는 근적외선을 촬영하고, 우 영상 근적외선 카메라(320a)는 우 영상 광학계(111a,112a)를 통해 들어오는 근적외선을 촬영한다.The near-infrared cameras 320a and 320b may include a left image near-infrared camera 320b and a right image near-infrared camera 320a, as shown in FIG. 5. The left image near-infrared camera 320b photographs near-infrared rays coming through the left image optical system 311b, and the right image near-infrared camera 320a photographs near-infrared rays entering through the right image optical systems 111a and 112a.

근적외선 영상 투사부(330a,330b)는 좌 영상 투사부(330b)와 우 영상 투사부(330a)를 포함할 수 있다. 좌 영상 투사부(330b)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 좌 영상을 좌 영상 광학계(311b)로 투사한다. 그리고, 우 영상 투사부(330a)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 우 영상을 우 영상 광학계(111a,112a)로 투사한다.The near-infrared image projection units 330a and 330b may include a left image projection unit 330b and a right image projection unit 330a. The left image projector 330b projects the near-infrared left image transmitted from the near-infrared image processing unit 140 to the left image optical system 311b. In addition, the right image projection unit 330a projects the near-infrared right image transmitted from the near-infrared image processing unit 140 to the right image optical systems 111a and 112a.

또한, 눈동자 카메라(350a,350b)가 좌 눈동자 카메라(350b)와 우 눈동자 카메라(350a)를 포함하는 것을 예로 한다. 여기서, 좌 눈동자 카메라(350b)는 사용자의 좌측 눈동자를 촬영하고, 우 눈동자 카메라(350a)는 사용자의 우측 눈동자를 촬영한다.In addition, it is assumed that the pupil cameras 350a and 350b include a left pupil camera 350b and a right pupil camera 350a. Here, the left pupil camera 350b photographs the user's left pupil, and the right pupil camera 350a photographs the user's right pupil.

근적외선 영상 처리부(140)는 좌 영상 근적외선 카메라(320b)에 의해 촬영된 촬영 영상을 이용하여 근적외선 좌 영상을 생성하여 좌 영상 투사부(330b)로 전달한다. 여기서, 좌 영상 근적외선 카메라(320b)에 의해 촬영되는 근적외선은 사용자의 왼쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 좌 영상은 사용자의 왼쪽 눈으로 들어오는 영상에 대응하게 된다.The near-infrared image processing unit 140 generates a near-infrared left image by using the left image captured by the near-infrared camera 320b and transmits it to the left image projection unit 330b. Here, the near-infrared ray photographed by the left image near-infrared camera 320b corresponds to a near-infrared ray entering the user's left eye, and the near-infrared left image generated through this corresponds to an image entering the user's left eye.

마찬가지로 근적외선 영상 처리부(140)는 우 영상 근적외선 카메라(320a)에 의해 촬영된 촬영 영상을 이용하여 근적외선 우 영상을 생성하여 우 영상 투사부(330a)로 전달한다. 여기서, 우 영상 근적외선 카메라(320a)에 의해 촬영되는 근적외선은 사용자의 오른쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 우 영상은 사용자의 오른쪽 눈으로 들어오는 영상에 대응하게 된다.Likewise, the near-infrared image processing unit 140 generates a near-infrared right image by using the photographed image captured by the right image near-infrared camera 320a and transmits it to the right image projection unit 330a. Here, the near-infrared ray photographed by the right image near-infrared camera 320a is a near-infrared ray entering the user's right eye, and the near-infrared right image generated through this corresponds to an image entering the user's right eye.

이 때, 근적외선 영상 처리부(140)는 좌 눈동자 카메라(350b)와 우 눈동자 카메라(350a)에 의해 촬영된 촬영 영상에 기초하여 근적외선 좌 영상 및 근적외선 우 영상을 각각 보정하게 된다.In this case, the near-infrared image processing unit 140 corrects the near-infrared left image and the near-infrared right image based on the captured images taken by the left pupil camera 350b and the right pupil camera 350a.

상기와 같은 구성에 따라 좌 영상 투사부(330b) 및 우 영상 투사부(330a)에서 각각 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)로 투사하고, 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)에서 반사된 근적외선 좌 영상 및 근적외선 우 영상은 각각 사용자의 왼쪽 및 오른쪽 눈에 맺히게 되어, 사용자는 자신이 직접 보고 있는 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.According to the above configuration, the left image projection unit 330b and the right image projection unit 330a project the near-infrared left image and the near-infrared right image to the left image optical system 311b and the right image optical system 111a, 112a, respectively. , The left and right near-infrared images reflected from the optical system 311b and the right optical systems 111a and 112a are condensed on the user's left and right eyes, respectively, so that the user has a fluorescent substance on the surgical site he is directly looking at. As indicated, it becomes recognizable.

여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b)는, 도 5 및 도 6에 도시된 바와 같이, 좌 영상 투명판(312b)과, 제1 좌 영상 다이크로익 층(313b)과, 제2 좌 영상 다이크로익 층(314b)을 포함하는 것을 예로 한다. 즉, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 좌 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.Here, the left image optical system 311b according to the second exemplary embodiment of the present invention includes a left image transparent plate 312b and a first left image dichroic layer 313b, as shown in FIGS. 5 and 6. And, as an example, the second left image dichroic layer 314b is included. That is, a dichroic mirror forms a layer on both sides of the transparent plate. Here, the left image transparent layer is made of a transparent material so that both visible and near-infrared rays are transmitted.

제1 좌 영상 다이크로익 층(313b)은 좌 영상 투명판(312b)의 일측 면에 코팅된다. 본 발명에서는 제1 좌 영상 다이크로익 층(313b)이 좌 영상 투명판(312b)의 전방에 코팅되는 것을 예로 하고, 제2 좌 영상 다이크로익 층(314b)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.The first left image dichroic layer 313b is coated on one side of the left image transparent plate 312b. In the present invention, it is assumed that the first left image dichroic layer 313b is coated on the front of the left image transparent plate 312b, and the second left image dichroic layer 314b is coated on the rear as an example. However, it is okay to change the direction.

여기서, 제1 좌 영상 다이크로익 층(313b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(320b)로 반사시킨다.Here, the first left image dichroic layer 313b transmits visible light coming from the front of the user, and reflects the near infrared light coming from the front of the user to the left image near infrared camera 320b.

제2 좌 영상 다이크로익 층(314b)은 좌 영상 투명판(312b)의 타측 면에 코팅된다. 여기서, 제2 좌 영상 다이크로익 층(314b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(330b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다.The second left image dichroic layer 314b is coated on the other side of the left image transparent plate 312b. Here, the second left image dichroic layer 314b transmits visible light coming from the front of the user and reflects the near-infrared left image projected from the left image projector 330b to the user's eyes.

또한, 제2 좌 영상 다이크로익 층(314b)은 사용자의 좌측 눈으로부터 들어오는 가시광선을 좌 눈동자 카메라(350b)로 반사시켜, 좌 눈동자 카메라(350b)가 사용자의 좌측 눈동자를 촬영 가능하게 한다.In addition, the second left image dichroic layer 314b reflects visible light coming from the user's left eye to the left eye camera 350b, so that the left eye camera 350b can photograph the user's left eye.

마찬가지로, 본 발명의 제2 실시예에 따른 우 영상 광학계(111a,112a)는, 도 5 및 도 6에 도시된 바와 같이, 우 영상 투명판(312a)과, 제1 우 영상 다이크로익 층(313a)과, 제2 우 영상 다이크로익 층(314a)을 포함하는 것을 예로 한다. 즉, 좌 영상 광하계와 마찬가지로, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 우 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.Likewise, the right image optical systems 111a and 112a according to the second embodiment of the present invention include a right image transparent plate 312a and a first right image dichroic layer ( 313a) and a second right image dichroic layer 314a. That is, like the left image optical system, a dichroic mirror forms a layer on both sides of the transparent plate. Here, the right image transparent layer is made of a transparent material so that both visible and near-infrared rays are transmitted.

제1 우 영상 다이크로익 층(313a)은 우 영상 투명판(312a)의 일측 면에 코팅된다. 본 발명에서는 제1 우 영상 다이크로익 층(313a)이 우 영상 투명판(312a)의 전방에 코팅되는 것을 예로 하고, 제2 우 영상 다이크로익 층(314a)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.The first right image dichroic layer 313a is coated on one side of the right image transparent plate 312a. In the present invention, it is assumed that the first right image dichroic layer 313a is coated on the front of the right image transparent plate 312a, and the second right image dichroic layer 314a is coated on the rear as an example. However, it is okay to change the direction.

여기서, 제1 우 영상 다이크로익 층(313a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(320a)로 반사시킨다.Here, the first right image dichroic layer 313a transmits visible light coming from the front of the user, and reflects the near infrared light coming from the front of the user to the right image near infrared camera 320a.

제2 우 영상 다이크로익 층(314a)은 우 영상 투명판(312a)의 타측 면에 코팅된다. 여기서, 제2 우 영상 다이크로익 층(314a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(330a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다.The second right image dichroic layer 314a is coated on the other side of the right image transparent plate 312a. Here, the second right image dichroic layer 314a transmits visible light coming from the front of the user, and reflects the near-infrared right image projected from the right image projector 330a to the user's eyes.

또한, 제2 우 영상 다이크로익 층(314a)은 사용자의 우측 눈으로부터 들어오는 가시광선을 우 눈동자 카메라(350a)로 반사시켜, 우 눈동자 카메라(350a)가 사용자의 우측 눈동자를 촬영 가능하게 한다.In addition, the second right image dichroic layer 314a reflects visible light coming from the user's right eye to the right eye camera 350a, so that the right eye camera 350a can photograph the user's right eye.

상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(320b) 및 우 영상 근적외선 카메라(320a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.According to the above configuration, it is possible to photograph near-infrared rays in the same direction as the user's gaze, and the near-infrared rays entering the left and right eyes are photographed by the left image near-infrared camera 320b and the right image near-infrared camera 320a, respectively. As a result, a near-infrared left image and a near-infrared right image are formed on the user's eyes, and as in the above-described embodiment, a more three-dimensional near-infrared image can obtain the same effect as displayed on an actual surgical site.

여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.Here, the configuration of the left image optical system 311b and the right image optical system 111a, 112a according to the second exemplary embodiment of the present invention is the left image dichroic unit 111b and the right image dichroic according to the first exemplary embodiment. Each of the units 111a may be applied, and the arrangement thereof has a structure as shown in FIG. 3.

이하에서는, 도 7 및 도 8을 참조하여, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)을 구현한 예에 대해 설명한다. 여기서, 도 8은 도 7의 투명 광학계(511a,511b)를 측면에서 바라본 측면도이다. 그리고, 도 7 및 도 8에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(530a,530b)에서 투사되는 근적외선 영상, 삼점 쇄선은 사용자의 눈 방향에서 투명 광학계(511a,511b)로 향하는 가시광선을 나타낸다.Hereinafter, an example of implementing the head mount system 500 according to the third embodiment of the present invention will be described with reference to FIGS. 7 and 8. Here, FIG. 8 is a side view of the transparent optical systems 511a and 511b of FIG. 7 viewed from the side. 7 and 8, the dotted line is visible light, the dashed-dotted line is near-infrared, the two-dotted line is the near-infrared image projected from the near-infrared image projectors 530a and 530b, and the tri-dotted line is transparent optical systems 511a and 511b in the direction of the user's eyes. Shows visible light directed to ).

여기서, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)은 제2 실시예의 구성에 대응하여, 투명 광학계(511a,511b)의 구성의 예가 상이한 바, 투명 광학계(511a,511b)의 구성에 대해 상세히 설명한다.Here, the head mount system 500 according to the third embodiment of the present invention corresponds to the configuration of the second embodiment, and has different configuration examples of the transparent optical systems 511a and 511b, and the configuration of the transparent optical systems 511a and 511b It will be described in detail.

본 발명의 제3 실시예에 따른 투명 광학계(511a,511b)는 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)를 포함할 수 있다. 제1 실시예 및 제2 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.The transparent optical systems 511a and 511b according to the third embodiment of the present invention may include left image optical systems 513b and 514b and right image optical systems 513a and 514a. As in the first and second embodiments, when the user wears the head mounted body on the head, the left imaging optical systems 513b and 514b and the right imaging optical systems 513a and 514a are respectively located in front of the user's left eye. It is located in front of the right eye.

여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b)는, 도 7 및 도 8에 도시된 바와 같이, 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)를 포함할 수 있다. 본 발명에서는 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.Here, the left image optical systems 513b and 514b according to the third embodiment of the present invention are, as shown in FIGS. 7 and 8, a first left image dichroic mirror 513b and a second left image dichroic. It may include a wing mirror (514b). In the present invention, the first left image dichroic mirror 513b and the second left image dichroic mirror 514b are arranged to be spaced apart at regular intervals, but they may be in contact with each other.

제1 좌 영상 다이크로익 미러(513b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(520b)로 반사시킨다. 그리고, 제2 좌 영상 다이크로익 미러(514b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(530b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다. 또한, 제2 좌 영상 다이크로익 미러(514b)는 사용자의 좌측 눈으로부터 들어오는 가시광선을 좌 눈동자 카메라(550b)로 반사시킨다.The first left image dichroic mirror 513b transmits visible light coming from the front of the user, and reflects the near infrared light coming from the front of the user to the left image near infrared camera 520b. In addition, the second left image dichroic mirror 514b transmits visible light coming from the front of the user and reflects the near-infrared left image projected from the left image projection unit 530b to the user's eyes. In addition, the second left image dichroic mirror 514b reflects visible light coming from the user's left eye to the left eye camera 550b.

마찬가지로, 본 발명의 제3 실시예에 따른 우 영상 광학계(513a,514a)는, 도 7 및 도 8에 도시된 바와 같이, 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)를 포함할 수 있다. 본 발명에서는 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.Similarly, the right image optical systems 513a and 514a according to the third embodiment of the present invention, as shown in Figs. 7 and 8, a first right image dichroic mirror 513a and a second right image dichroic. It may include a wing mirror (514a). In the present invention, it is assumed that the first right image dichroic mirror 513a and the second right image dichroic mirror 514a are arranged at a predetermined interval, but they may be in contact with each other.

제1 우 영상 다이크로익 미러(513a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(520a)로 반사시킨다. 그리고, 제2 우 영상 다이크로익 미러(514a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(530a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다. 또한, 제2 우 영상 다이크로익 미러(514a)는 사용자의 우측 눈으로부터 들어오는 가시광선을 우 눈동자 카메라(550a)로 반사시킨다.The first right image dichroic mirror 513a transmits visible light coming from the front of the user and reflects the near infrared light coming from the front of the user to the right image near infrared camera 520a. In addition, the second right image dichroic mirror 514a transmits visible light coming from the front of the user and reflects the near-infrared right image projected from the right image projection unit 530a to the user's eyes. In addition, the second right image dichroic mirror 514a reflects visible light coming from the user's right eye to the right eye camera 550a.

여기서, 좌 영상 광학계(513b,514b)의 상부 및 하부에 각각 위치하는 좌 영상 근적외선 카메라(520b)와 및 좌 영상 투사부(530b)의 위치는 제1 좌 영상 다이크로익 미러(513b)와 제2 좌 영상 다이크로익 미러(514b)의 위치에 따라 조절될 수 있으며, 우 영상 근적외선 카메라(520a) 및 우 영상 투사부(530a)의 위치도 동일하게 조절될 수 있다.Here, the positions of the left image near-infrared camera 520b and the left image projection unit 530b respectively positioned above and below the left image optical systems 513b and 514b are the first left image dichroic mirror 513b and the second. 2 It may be adjusted according to the position of the left image dichroic mirror 514b, and the positions of the right image near-infrared camera 520a and the right image projection unit 530a may be equally adjusted.

상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(520b) 및 우 영상 근적외선 카메라(520a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.According to the above configuration, it is possible to photograph near-infrared rays in the same direction as the user's gaze, and the near-infrared rays entering the left and right eyes are photographed by the left image near-infrared camera 520b and the right image near-infrared camera 520a, respectively. As a result, a near-infrared left image and a near-infrared right image are formed on the user's eyes, and as in the above-described embodiment, a more three-dimensional near-infrared image can obtain the same effect as displayed on an actual surgical site.

여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b) 및 우 영상 광학계(513a,514a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.Here, the configurations of the left image optical systems 513b and 514b and the right image optical systems 513a and 514a according to the third embodiment of the present invention are the left image dichroic unit 111b and the right image dyke according to the first embodiment. Each may be applied to the loic unit 111a, and at this time, the arrangement has a structure as shown in FIG. 3.

전술한 제2 실시예 및 제3 실시예에서는 좌 영상 근적외선 카메라(320b,520b) 및 우 영상 근적외선 카메라(320a,520a)가 투명 광학계(311a,311b,511a,511b)의 상부에 위치하고, 좌 영상 투사부(330b,530b) 및 우 영상 투사부(330a,530a)가 투명 광학계(311a,311b,511a,511b)의 하부에 위치하는 것을 예로 하고 있으나, 그 위치가 바뀔 수 있음은 물론이다. 이 때, 좌 눈동자 카메라(350b,550b)와 우 눈동자 카메라(350a,550a)의 위치는 좌 영상 투사부(330b,530b) 및 우 영상 투사부(330a,530a)에 대응한다.In the second and third embodiments described above, the left image near-infrared cameras 320b and 520b and the right image near-infrared cameras 320a and 520a are located above the transparent optical systems 311a, 311b, 511a, and 511b, and the left image It is assumed that the projection units 330b and 530b and the right image projection units 330a and 530a are positioned below the transparent optical systems 311a, 311b, 511a, and 511b, but the positions may be changed. In this case, the positions of the left eye cameras 350b and 550b and the right eye cameras 350a and 550a correspond to the left image projection units 330b and 530b and the right image projection units 330a and 530a.

전술한 실시예들에서는 근적외선 영상 처리부(140)가 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)에 영상을 전달하고, 근적외선 카메라(120,320a,320b,520a,520b)에 의해 촬영된 촬영 영상이 근적외선 영상 처리부(140)에 전달되는 것으로 설명하였다. 본 발명에서는 근적외선 영상 처리부(140)가 헤드 마운트 본체에 설치되는 것을 예로 하고 있으나, 헤드 마운트 본체에 무선 통신부(미도시)가 설치되고, 근적외선 영상 처리부(140)가 헤드 마운트 본체의 외부에 설치된 상태, 예컨대 컴퓨터 등에 근적외선 영상 처리부(140)가 소프트웨어 또는 하드웨어적으로 구현된 상태에서, 무선 통신부를 통해 근적외선 카메라(120,320a,320b,520a,520b)와 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)와 연결되도록 마련할 수 있음은 물론이다.In the above-described embodiments, the near-infrared image processing unit 140 transmits an image to the near-infrared image projection units 130, 130a, 130b, 330a, 330b, 530a, and 530b, and It has been described that the photographed image captured by the image is transmitted to the near-infrared image processing unit 140. In the present invention, the near-infrared image processing unit 140 is installed on the head mounted body as an example, but a wireless communication unit (not shown) is installed on the head mounted body, and the near-infrared image processing unit 140 is installed outside the head mounted body. , For example, in a state in which the near-infrared image processing unit 140 is implemented as software or hardware on a computer, etc., the near-infrared cameras 120,320a, 320b, 520a, 520b and the near-infrared image projection units 130,130a, 130b, 330a, through a wireless communication unit, It goes without saying that it can be provided to be connected to 330b, 530a, 530b).

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although some embodiments of the present invention have been illustrated and described, those skilled in the art of ordinary skill in the art to which the present invention pertains will appreciate that the present embodiments can be modified without departing from the principles or spirit of the present invention. . The scope of the invention will be determined by the appended claims and their equivalents.

100,300,500 : 헤드 마운트 시스템 110 : 투명 광학계
111a : 우 영상 다이크로익 유닛 111b : 좌 영상 다이크로익 유닛
112a : 우 영상 반사 미러 112b : 좌 영상 반사 미러
120 : 근적외선 카메라 130 : 근적외선 영상 투사부
130a,330a,530a : 우 영상 투사부 130b,330b,530b : 좌 영상 투사부
311a,511a : 우 영상 광학계 311b,511b : 좌 영상 광학계
312a : 우 영상 투명판 312b : 좌 영상 투명판
313a : 제1 우 영상 다이크로익 층 313b : 제1 좌 영상 다이크로익 층
314a : 제2 우 영상 다이크로익 층 313b : 제2 좌 영상 다이크로익 층
320a,520a : 우 영상 근적외선 카메라
320b,520b : 좌 영상 근적외선 카메라
513a : 제1 우영상 다이크로익 미러
513b : 제1 좌 영상 다이크로익 미러
514a : 제2 우영상 다이크로익 미러
514b : 제2 좌 영상 다이크로익 미러
140 : 근적외선 영상 처리부
150 : 눈동자 카메라
150a,350a,550a : 우 눈동자 카메라
150b,350b,550b : 좌 눈동자 카메라100,300,500: head mount system 110: transparent optical system
111a: right video dichroic unit 111b: left video dichroic unit
112a: right image reflection mirror 112b: left image reflection mirror
120: near-infrared camera 130: near-infrared image projection unit
130a,330a,530a: Right image projection unit 130b,330b,530b: Left image projection unit
311a,511a: right video optical system 311b,511b: left video optical system
312a: Right video transparent plate 312b: Left video transparent plate
313a: first right image dichroic layer 313b: first left image dichroic layer
314a: second right image dichroic layer 313b: second left image dichroic layer
320a,520a: Right video near-infrared camera
320b, 520b: Left video near-infrared camera
513a: first right video dichroic mirror
513b: first left image dichroic mirror
514a: 2nd right video dichroic mirror
514b: second left image dichroic mirror
140: near-infrared image processing unit
150: pupil camera
150a,350a,550a: Right eye camera
150b,350b,550b: left eye camera

Claims (9)

수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서,
사용자의 머리에 착용 가능한 헤드 마운트 본체와;
상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와;
상기 헤드 마운트 본체에 설치되어 사용자의 눈동자를 촬영하는 눈동자 카메라와;
상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와;
상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 눈동자 카메라에 의해 촬영된 눈동자의 위치에 따라 상기 근적외선 영상을 보정하여 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와;
사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어오는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키고, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키며, 사용자의 눈으로부터 들어오는 가시광선을 상기 눈동자 카메라로 반사시켜 상기 눈동자 카메라가 촬영 가능하게 하는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.In the head mount system that provides a surgical support image,
A head mount body that can be worn on the user's head;
A near-infrared camera installed on the head mount body to photograph near-infrared rays;
A pupil camera installed on the head mounted body to photograph a user's pupils;
A near-infrared image projection unit installed on the head mounted body to project a near-infrared image;
A near-infrared image processing unit that receives the photographed image captured by the near-infrared camera, generates the near-infrared image, corrects the near-infrared image according to the position of the pupil captured by the pupil camera, and transmits it to the near-infrared image projection unit;
When the head mount body is worn on the user's head, it is installed in the head mount body so that it is positioned in front of the user's eyes, and the visible light is transmitted so that the user can see the front, and the near infrared ray entering from the front of the user is the near-infrared camera Is reflected by the near-infrared camera so as to be able to be photographed, the near-infrared image projected from the near-infrared image projection unit is reflected to the user's eyes, and visible light coming from the user's eyes is reflected by the pupil camera so that the pupil camera can take pictures Head mount system for providing a surgical support image, characterized in that it comprises a transparent optical system to allow. 제1항에 있어서,
상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며;
상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 촬영 영상과 상기 눈동자 카메라의 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 1,
Further comprising a wireless communication unit installed in the head mounted body to perform wireless communication;
The near-infrared image processing unit is installed outside the head mount body to receive the photographed image of the near-infrared camera and the photographed image of the pupil camera through the wireless communication unit, and transmits the near-infrared image to the wireless communication unit to the near-infrared image projection unit. Head mount system that provides a surgical support image, characterized in that to deliver. 제1항에 있어서,
상기 투명 광학계는
사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
상기 근적외선 카메라는
상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와,
상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외선 카메라를 포함하고;
상기 근적외선 영상 투사부는
상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며;
상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 1,
The transparent optical system
A left imaging optical system located in front of the user's left eye,
And a right imaging optical system positioned in front of the user's right eye;
The near-infrared camera
A left image near-infrared camera for photographing near-infrared rays entering through the left image optical system,
And a right image near-infrared camera for photographing near-infrared rays entering through the right image optical system;
The near-infrared image projection unit
A left image projection unit for projecting a near-infrared left image to the left image optical system,
And a right image projection unit for projecting a near-infrared right image to the right image optical system;
The near-infrared image processing unit generates a photographed image captured by the left image near-infrared camera and the right image near-infrared camera as the near-infrared left image and near-infrared right image, respectively, and transmits it to the left image projection unit and the right image projection unit. A head mount system that provides a surgical support image. 제3항에 있어서,
상기 눈동자 카메라는
상기 좌 영상 광학계를 통해 들어오는 가시광선을 촬영하는 좌측 눈동자를 촬영하는 좌 눈동자 카메라와,
상기 우 영상 광학계를 통해 들어오는 가시광선을 촬영하여 우측 눈동자를 촬영하는 우 눈동자 카메라를 포함하며;
상기 근적외선 영상 처리부는 상기 좌 눈동자 카메라와 상기 우 눈동자 카메라에 의해 촬영된 촬영 영상에 기초하여 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 보정하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 3,
The pupil camera
A left pupil camera for photographing a left pupil photographing visible light entering through the left image optical system;
And a right pupil camera for photographing a right pupil by photographing visible light entering through the right image optical system;
The near-infrared image processing unit corrects the near-infrared left image and the near-infrared right image, respectively, based on captured images taken by the left eye camera and the right eye camera. 제4항에 있어서,
상기 좌 영상 광학계는
사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와,
상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며;
상기 우 영상 광학계는
사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와,
상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 제2 우 영상 다이크로익 미러를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 4,
The left image optical system is
A first left image dichroic mirror that transmits visible light coming from the front of the user and reflects the near infrared rays coming from the front of the user to the left image near infrared camera;
It is disposed in front or rear of the first left image dichroic mirror, transmits visible light coming from the front of the user, and reflects the near-infrared left image projected from the left image projection unit to the user's eyes. A second left image dichroic mirror reflecting visible light coming from the left eye to the left eye camera;
The right image optical system
A first right image dichroic mirror that transmits visible light coming from the front of the user and reflects the near infrared rays coming from the front of the user to the right image near infrared camera;
It is disposed in front or rear of the first right image dichroic mirror, transmits visible light coming from the front of the user, and reflects the near-infrared right image projected from the right image projection unit to the user's eyes. A head mount system that provides a surgical support image comprising a second right image dichroic mirror reflecting visible light coming from the right eye to the right eye camera. 제4항에 있어서,
상기 좌 영상 광학계는
투명한 재질의 좌 영상 투명판과,
상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과,
상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며;
상기 우 영상 광학계는
투명한 재질의 우 영상 투명판과,
상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과,
상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 제2 우 영상 다이크로익 층을 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 4,
The left image optical system is
The left image transparent plate made of transparent material,
A first left image dichroic layer coated on one side of the left image transparent plate to transmit visible light coming from the front of the user and reflect near infrared rays coming from the front of the user to the left image near infrared camera,
It is coated on the other side of the left image transparent plate, transmits visible light coming from the front of the user, reflects the near-infrared left image projected from the left image projection unit to the user's eyes, and visually enters the user's left eye. A second left image dichroic layer reflecting light rays to the left pupil camera;
The right image optical system
The right image transparent plate made of transparent material,
A first right image dichroic layer coated on one side of the right image transparent plate to transmit visible light coming from the front of the user and reflect near infrared rays coming from the front of the user to the right image near infrared camera,
It is coated on the other side of the right image transparent plate, transmits visible light coming from the front of the user, reflects the near-infrared right image projected from the right image projection unit to the user's eyes, and visually enters the user's right eye. A head mount system for providing a surgical support image comprising a second right image dichroic layer reflecting light rays to the right pupil camera. 제5항 또는 제6항에 있어서,
상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부 및 상기 좌 눈동자 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며;
상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부 및 상기 우 눈동자 카메라는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method according to claim 5 or 6,
The left image near-infrared camera is disposed on either side of the upper or lower side of the left image optical system, and the left image projection unit and the left pupil camera are disposed on the other side of the upper and lower side of the left image optical system;
The right image near-infrared camera is disposed on one of the upper and lower sides of the right image optical system, and the right image projection unit and the right eye camera are disposed on the other side of the upper and lower right image optical system. Head mount system that provides surgical support images. 제1항에 있어서,
상기 투명 광학계는
사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
상기 근적외선 영상 투사부는
상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하고;
상기 눈동자 카메라는
상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로부터 들어오는 가시광선을 촬영하여 좌측 눈동자를 촬영하는 좌 눈동자 촬영부와,
상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로부터 들어오는 가시광선을 촬영하여 우측 눈동자를 촬영하는 우 눈동자 촬영부를 포함하며;
상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 1,
The transparent optical system
A left imaging optical system located in front of the user's left eye,
And a right imaging optical system positioned in front of the user's right eye;
The near-infrared image projection unit
A left image projection unit for projecting a near-infrared left image from a left side of the left image optical system to the left image optical system,
A right image projection unit for projecting a near-infrared right image from a right side of the right image optical system to the right image optical system;
The pupil camera
A left pupil photographing unit for photographing a left pupil by photographing visible light coming from the left image optical system from a left side of the left image optical system;
And a right pupil photographing unit for photographing a right pupil by photographing visible light coming from the right image optical system from a right side of the right image optical system;
The near-infrared camera is a head mount system for providing a surgical support image, characterized in that disposed above or below the left imaging optical system and the right imaging optical system. 제8항에 있어서,
상기 좌 영상 광학계는
사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키며, 사용자의 좌측 눈으로부터 들어오는 가시광선을 상기 좌 눈동자 카메라로 반사시키는 좌 영상 다이크로익 유닛과,
상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고;
상기 우 영상 광학계는
사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키며, 사용자의 우측 눈으로부터 들어오는 가시광선을 상기 우 눈동자 카메라로 반사시키는 우 영상 다이크로익 유닛과,
상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며;
상기 근적외선 영상 처리부는
상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.The method of claim 8,
The left image optical system is
It transmits visible light coming from the front of the user, reflects near-infrared rays coming from the front of the user, reflects the near-infrared left image coming from the left image projection unit to the user's eyes, and recalls the visible light coming from the user's left eye. A left image dichroic unit reflecting by the left pupil camera,
A left image reflection mirror disposed on the right side of the left image dichroic unit to reflect the near-infrared rays reflected from the left image dichroic unit to the near-infrared camera;
The right image optical system
It transmits visible light coming from the front of the user, reflects near-infrared rays coming from the front of the user, reflects the near-infrared right image coming from the right image projection unit to the user's eyes, and recalls the visible light coming from the user's right eye. The right video dichroic unit reflecting it by the right eye camera,
A right image reflection mirror disposed on the left side of the right image dichroic unit to reflect the near-infrared rays reflected from the right image dichroic unit to the near-infrared camera;
The near-infrared image processing unit
By dividing a photographed image reflected by the left image reflection mirror and the right image reflection mirror and photographed by the near-infrared camera to generate the near-infrared left image and the near-infrared right image, respectively, the near-infrared left image and the near-infrared right image The head mount system for providing a surgical support image, characterized in that transmitting to the left image projection unit and the right image projection unit, respectively.
KR1020190070728A 2019-06-14 2019-06-14 Head mount system for supplying surgery assist image KR102254456B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190070728A KR102254456B1 (en) 2019-06-14 2019-06-14 Head mount system for supplying surgery assist image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190070728A KR102254456B1 (en) 2019-06-14 2019-06-14 Head mount system for supplying surgery assist image

Publications (3)

Publication Number Publication Date
KR20200143599A KR20200143599A (en) 2020-12-24
KR102254456B1 true KR102254456B1 (en) 2021-05-21
KR102254456B9 KR102254456B9 (en) 2021-08-23

Family

ID=74087429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190070728A KR102254456B1 (en) 2019-06-14 2019-06-14 Head mount system for supplying surgery assist image

Country Status (1)

Country Link
KR (1) KR102254456B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239452A1 (en) * 2007-03-26 2008-10-02 University Of Washington Smart sunglasses, helmet faceshields and goggles based on electrochromic polymers
KR101667152B1 (en) * 2015-05-22 2016-10-24 고려대학교 산학협력단 Smart glasses system for supplying surgery assist image and method for supplying surgery assist image using smart glasses

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100401047B1 (en) * 2000-12-22 2003-10-10 이종석 A device with a head posture aligner and a pupil position marker for use in radiographing
KR20090099307A (en) * 2008-03-17 2009-09-22 송정희 Nose pad, manufacture method thereof and a pair of spectacles therewith
KR102102643B1 (en) * 2013-11-12 2020-04-21 엘지전자 주식회사 Glass Type Terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239452A1 (en) * 2007-03-26 2008-10-02 University Of Washington Smart sunglasses, helmet faceshields and goggles based on electrochromic polymers
KR101667152B1 (en) * 2015-05-22 2016-10-24 고려대학교 산학협력단 Smart glasses system for supplying surgery assist image and method for supplying surgery assist image using smart glasses

Also Published As

Publication number Publication date
KR20200143599A (en) 2020-12-24
KR102254456B9 (en) 2021-08-23

Similar Documents

Publication Publication Date Title
US20230379449A1 (en) Systems for facilitating augmented reality-assisted medical procedures
ES2215985T3 (en) X-RAY IMAGE DATA SUPERPOSITION OF A PATIENT, OR SCANNER IMAGE DATA AND VIDEO IMAGES.
US11026763B2 (en) Projection mapping apparatus
US10448003B2 (en) System and method for triangulation-based depth and surface visualization
KR101667152B1 (en) Smart glasses system for supplying surgery assist image and method for supplying surgery assist image using smart glasses
US10307119B2 (en) Medical imaging system and operation method therefor
TWI825891B (en) Augmented reality system for real space navigation and surgical system using the same
KR102097390B1 (en) Smart glasses display device based on eye tracking
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
KR20220073756A (en) Miniature retina scanning device for tracking pupil movement and application accordingly
CN111297501B (en) Augmented reality navigation method and system for oral implantation operation
JPH1066678A (en) Non-contact line-of-sight measurement device
KR102055254B1 (en) Head mount system for supplying surgery assist image
KR102254456B1 (en) Head mount system for supplying surgery assist image
JP2018060011A (en) Display device
CN113876422B (en) Invisible light visual automatic registration type augmented reality glasses
KR102175066B1 (en) A medical 3D display apparatus worn on the head and 3D display method using the same
CN107137056B (en) Head position based on image rotates strabismus measuring system
JP2000254100A (en) Ophthalmographic device
KR20200063480A (en) Portable inspecting device and calibration method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction