KR102055254B1 - 수술 지원 영상을 제공하는 헤드 마운트 시스템 - Google Patents

수술 지원 영상을 제공하는 헤드 마운트 시스템 Download PDF

Info

Publication number
KR102055254B1
KR102055254B1 KR1020180010410A KR20180010410A KR102055254B1 KR 102055254 B1 KR102055254 B1 KR 102055254B1 KR 1020180010410 A KR1020180010410 A KR 1020180010410A KR 20180010410 A KR20180010410 A KR 20180010410A KR 102055254 B1 KR102055254 B1 KR 102055254B1
Authority
KR
South Korea
Prior art keywords
image
user
near infrared
infrared
optical system
Prior art date
Application number
KR1020180010410A
Other languages
English (en)
Other versions
KR20190091625A (ko
Inventor
김법민
강용국
권기혁
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020180010410A priority Critical patent/KR102055254B1/ko
Priority to PCT/KR2018/015371 priority patent/WO2019146904A1/ko
Priority to US16/955,527 priority patent/US11356651B2/en
Publication of KR20190091625A publication Critical patent/KR20190091625A/ko
Application granted granted Critical
Publication of KR102055254B1 publication Critical patent/KR102055254B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Toxicology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

본 발명은 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로, 사용자의 머리에 착용 가능하는 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 한다. 이에 따라, 집도의가 수술 부위를 근적외선 영상을 통해 보다 정확하게 확인할 수 있게 된다.

Description

수술 지원 영상을 제공하는 헤드 마운트 시스템{HEAD MOUNT SYSTEM FOR SUPPLYING SURGERY ASSIST IMAGE}
본 발명은수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것으로서, 보다 상세하게는 집도의가 수술 부위를 근적외선 영상을 통해 보다 정확하게 확인할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 관한 것이다.
감시림프절(Sentinel lymph node, SLN)은 원발 종양에서 암세포의 전이가 우선적으로 이루어지는 림프절로, 림프절로의 전이 여부를 판단할 수 있는 중요한 지표이다. 이에 감시림프절에 대한 조직검사를 통해 암세포가 발견되지 않는다면 다른 림프절에도 전이가 없다고 판단하고 더 이상의 수술을 진행하지 않는다.
이와 같이 암 전이 여부를 판단하는데 있어 중요한 지표로 작용하는 감시림프절의 정확한 탐색을 통하여 감시림프절 In-vivo 검사를 수행하면 림프부종과 같은 수술 후유증을 줄여주고 환자의 몸에 남는 흉터를 최소화 할 수 있다. 이로 인해 초기 유방암이나 흑색종 수술에서는 표적의약품을 이용한 감시림프절 탐색방법이 표준기법으로 활용되고 있다.
표적의약품을 이용하여 체내에 감시림프절을 탐색하는 방법으로는 청색염료(Blue dye)와 가시광 카메라를 이용하여 가시광 영상을 얻는 방법, 근적외선 형광염료(Fluorescent dye)와 근적외선 카메라를 이용하여 근적외선 형광 영상을 얻는 방법, 그리고 감시림프절에 집적된 방사성 의약품을 감마영상 장치로 촬영하여 방사선 영상을 얻는 방법등이 제안되고 있다.
근래에 근적외선 형광 염료 중 IOG(Indocyanine Green) FDA 승인을 받아 근적외선 형광 염료를 이용한 감시림프절의 탐색이 임상에서 사용될 수 있는 길이 마련된 상태이다.
한편, 상기와 같은 정확한 감시림프절의 탐색과 함께, 실제 종양을 제거하는 수술을 시행할 때, 집도의가 실제 환자의 수술 부위를 보며 수술할 때 상기와 같이 탐색된 감시림프절과 실제 환자의 수술 부위와 매칭시켜야 절제하여야할 범위를 결정할 수 있다.
이는, 암세포가 전이된 감시림프절까지 절제하지 않고 일부 남는 경우 수술 이후에 암세포의 전이가 발생하여 재수술을 시행하게 되는 문제가 있고, 필요 이상으로 넓은 범위의 절제가 이루어지는 경우 해당 장기의 기능 저하 등으로 인해 환자의 삶의 질을 저하시키는 문제가 있어, 감시림프절의 정확한 탐색 뿐만 아니라 수술시 정확한 절제가 이루어져야 한다.
이에, 수술시 근적외선 형광 염료(Fluorescent dye)를 암세포에 주입하고, 가시광 카메라와 근적외선 형광 카메라로 수술 부위를 촬영하고, 가시광 영상과 근적외선 영상을 정합하여 수술실에 설치된 모니터에 표시해주는 방법이 제안되고 있다.
그런데, 도 1에 도시된 바와 같이, 집도의는 수술실에 설치된 모니터(10)에 나타난 형광 영상 부위를 눈으로 확인하고, 다시 수술대에 누워있는 환자의 수술 부위를 보면서 수술을 진행하게 되어, 두 곳을 번갈아 주시하며 수술하여야 하는 불편함이 있다. 특히, 환자의 실제 수술 부위를 주시할 때 형광 부분이 확인되지 않아 정확한 절제가 이루어질 수 없는 한계가 있다.
이와 같은 문제점을 해소하기 위해, 한국등록특허 제10-1355348호에서는 '수술 유도영상 시스템 및 그 방법'에서는 미리 촬영된 CT, MRI, X-ray로 촬영된 환자의 환부영상을 집도의가 착용하는 안경 형태의 투명 디스플레이에 표시하고, 집도의가 투명 디스플레이에 표시된 환부영상과 투명 디스플레이를 투과하여 오는 실제 환부를 함께 보면서 수술을 진행하는 기술을 개시하고 있다.
상기 한국등록특허 제10-1355348호에 개시된 방법은 미리 촬영된 환부영상과 집도의가 투명 디스플레이를 통해 보는 실제 환부를 일치시키기 위해 자이로센서를 이용하거나 환자의 특정 부위를 기준점으로 하여 환부영상을 변환하고 있다.
그런데, 자이로센서 등을 이용하여 집도의의 움직임을 감지하는 경우, 환자의 움직임을 반영할 수 없어 환부영상을 실제 영상에 정확히 일치시킬 수 없는 단점이 있다.
또한, 미리 촬영된 환부영상을 이용하는 경우, 환자의 수술 부위, 즉 환부에 위치적인 변화가 생기거나 수술 중 장기 등을 움직이게 되면 환부영상이 실제 환부와 정확히 일치하지 않게 되고, 이는 집도의가 환부를 정확하게 인식하는데 오히려 방해가 될 우려가 있다.
이에, 본 발명의 발명자에 의해 출원된 한국등록특허 제10-1667152호에 개시된 "수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에서는 근적외선 카메라, 가시광 카메라에 의해 각각 촬영된 근적외선 영상과 가시광 영상을 이용하고, 가시광 영상에 기초하여 근적외선 영상의 촬영 방향 및 사이즈를 변환하여 스마트 글라스이 화면상에 디스플레이함으로써, 집도의가 실제 보는 수술 부위에 스마트 글라스의 화면 상에 표시된 근적외선 영상이 오버랩되도록 하여, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하고 있다.
그런데, 한국등록특허 제10-1667152호에서는 근적외선 카메라와, 가시광 카메라를 모두 사용해야하고, 근적외선 카메라의 촬영 방향과 위치 등이 집도의의 시선과 달라 이를 조절하기 위해 가시광 영상을 이용한 영상 처리 절차를 수행하여야 하는 등, 구조가 다소 복잡하고 영상 처리 기술이 적용되어야 하는 불편함이 있다.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 집도의와 같은 사용자의 시선과 동일한 시선에서 근적외선의 촬영이 가능하고, 가시광 카메라나 스마트 글라스의 사용을 배제하여 기구적인 구조 뿐만 아니라 영상 처리 절차도 간소화시킬 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서, 사용자의 머리에 착용 가능하는 헤드 마운트 본체와; 상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와; 상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와; 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와; 사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템에 의해서 달성된다.
여기서, 상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며; 상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 상기 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달할 수 있다.
또한, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 카메라는 상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와, 상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외산 카메라를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.
그리고, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와, 상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와, 상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 미러를 포함할 수 있다.
또한, 상기 좌 영상 광학계는 투명한 재질의 좌 영상 투명판과, 상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과, 상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며; 상기 우 영상 광학계는 투명한 재질의 우 영상 투명판과, 상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과, 상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 층을 포함할 수 있다.
그리고, 상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며; 상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치될 수 있다.
그리고, 상기 투명 광학계는 사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와, 사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고; 상기 근적외선 영상 투사부는 상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와, 상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며; 상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치될 수 있다.
그리고, 상기 좌 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 좌 영상 다이크로익 유닛과, 상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고; 상기 우 영상 광학계는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 우 영상 다이크로익 유닛과, 상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며; 상기 근적외선 영상 처리부는 상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달할 수 있다.
상기와 같은 구성에 따라 본 발명에 따르면, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의와 같은 사용자가 실시간으로 시각적으로 보하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 헤드 마운트 시스템이 제공된다.
또한, 투명 광학계를 통해 사용자의 시선과 근적외선 카메라의 촬영 시선을 동일하게 하여, 근적외선 영상을 생성하는데 있어 보다 간소한 영상 처리 절차의 적용이 가능하게 된다.
그리고, 스마트 글라스와 같은 고가의 장비를 사용하지 않고 근적외선 영상 투사부에서 투사된 영상이 투명 광학계를 통해 직접 사용자의 눈에 직접 투사되어 보다 저렴한 제조 비용과 간단한 구조로 구현이 가능하게 된다.
그리고, 좌 영상과 우 영상을 구분하여 촬영하고, 이를 사용자의 좌측 및 우측 눈에 각각 투사시킴으로써, 입체적인 영상의 구현이 가능하게 된다.
도 1은 종래의 수술실의 수술 환경의 예를 나타낸 도면이고,
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템의 구성을 설명하기 위한 도면이고,
도 3 및 도 4는 본 발명에 제1 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 5 및 도 6은 본 발명에 제2 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 7 및 도 8은 본 발명에 제3 실시예에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템을 구현한 예를 나타낸 도면이고,
도 9는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템에서 근적외선 영상이 오버랩되어 인식되는 원리를 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)의 구성을 설명하기 위한 도면이다. 도 2를 참조하여 설명하면, 본 발명에 따른 수술 지원 영상을 제공하는 헤드 마운트 시스템(100)(이하, '헤드 마운트 시스템(100)'이라 함)은 근적외선 카메라(120), 영상 투사부, 근적외선 영상 처리부(140) 및 투명 광학계(110)를 포함한다.
여기서, 본 발명에서는 근적외선 카메라(120), 영상 투사부 및 투명 광학계(110)는 사용자의 머리에 착용 가능한 헤드 마운트 본체에 설치되는데, 사용자가 머리에 착용할 수 있는 다양한 구조의 헤드 마운트 본체가 적용 가능한 바, 그 구조에 대한 설명은 생략한다.
근적외선 카메라(120)는 헤드 마운트 본체에 설치되어 근적외선을 촬영한다. 일 예로, 환자의 수술 부위에 형광 물질이 주입되는 경우, 해당 형광 물질이 근적외선 카메라(120)에 의해 촬영 가능하게 된다.
영상 투사부는 헤드 마운트 본체에 설치되고, 근적외선 영상 처리부(140)로부터 전달되는 근적외선 영상을 투사하게 된다. 여기서, 근적외선 영상 처리부(140)는 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 전달받고, 해당 촬영 영상을 영상 처리하여 근적외선 영상을 생성하여 근적외선 영상 투사부(130)로 전달한다.
투명 광학계(110)는 사용자의 머리에 헤드 마운트 본체가 착용될 때, 사용자의 눈 전방에 위치하도록 헤드 마운트 본체에 설치된다. 이 때, 투명 광학계(110)는 사용자가 전방을 볼 수 있도록 사용자의 전방에서 들어오는 가시광선(도 2의 일점 쇄선)을 투과시킨다. 이에 따라, 사용자가 본 발명에 따른 헤드 마운트 본체를 머리에 착용하고 투명 광학계(110)가 사용자의 눈 전방에 위치하더라도 투명한 안경을 착용한 것과 동일하게 전방을 육안으로 확인할 수 있게 된다.
또한, 투명 광학계(110)는 사용자의 전방으로부터 들어오는 근적외선(도 2의 점선)을 근적외선 카메라(120)로 반사시켜, 근적외선 카메라(120)가 근적외선을 촬영하여 촬영 영상을 형성하다록 한다. 그리고, 투명 광학계(110)는 근적외선 영상 투사부(130)로부터 투사된 근적외선 영상(도 2의 이점 쇄선)을 사용자의 눈으로 반사시켜 사용자가 근적외선 영상을 눈으로 확인 가능하게 한다. 여기서, 근적외선 영상 투사부(130)를 통해 투사되는 근적외선 영상은 근적외선 카메라(120)에 의해 촬영된 근적외선을 영상화한 것으로, 사람의 눈으로 확인 가능한 가시광선 영역의 영상에 해당한다.
상기와 같은 구성에 따라, 투명 광학계(110)가 사용자의 눈으로 들어오는 근적외선을 근적외선 카메라(120)로 반사시켜 이를 촬영하도록 하고, 이와 같이 촬영된 촬영 영상을 근적외선 영상 처리부(140)가 근적외선 영상으로 생성하도록 함으로써, 사용자의 시선과 동일한 방향으로 근적외선 카메라(120)가 근적외선을 촬영할 수 있게 된다. 이는, 기존에 근적외선 카메라(120)의 촬영 방향이 사용자의 시선과 다름에 따라 필요했던 영상 처리 과정을 현저히 간소화시킬 수 있게 된다.
또한, 근적외선 영상 처리부(140)에 의해 생성된 근적외선 영상을 근적외선 영상 투사부(130)가 투명 광학계(110)로 투사하고, 투명 광학계(110)가 근적외선 영상을 사용자의 눈으로 반사시켜 사용자의 눈에 근적외선 영상이 상으로 맺쳐, 투명 광학계(110)을 투과하여 들어오는 가시광선, 즉 실제 사용자가 보고 있는 전방 뷰에 근적외선 영상이 오버랩되는 것과 동일한 효과를 얻을 수 있게 된다.
도 9를 참조하여 보다 구체적으로 설명하면, 사용자가 헤드 마운트 본체를 머리에 착용한 상태로 환자의 수술 부위를 보게 되면, 환자의 수술 부위는 도 9의 (a)에 도시된 바와 같이 보인다. 그리고, 근적외선 카메라(120)에 의해 촬영된 촬영 영상은 도 9의 (b)에 도시된 바와 같다. 이 때 근적외선 영상 처리부(140)가 형광 부위 만을 추출하여 근적외선 영상을 생성하게 되고, 이를 근적외선 영상 투사부(130)가 투사하여 사용자의 눈에 상이 맺히게 되면, 사용자는 도 9의 (c)에 도시된 바와 같이, 실제 수술 부위에 근적외선 영상에 오버랩된 상태로 시각적으로 인식하게 된다.
이에 따라, 사용자는 실제 수술 부위에 형광 물질이 칠해진 것과 동일하게 인식하게 되고, 수술 중 사용자가 움직이더라도 투명 광학계(110)에 의해 근적외선 카메라(120)가 사용자의 시선과 동일한 방향으로 촬영하게 되어 보다 정확한 위치에 근적외선 영상이 오버랩 가능하게 된다.
이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)을 구현한 예에 대해 설명한다. 여기서, 도 4의 (a)는 도 3의 투명 광학계(110)를 전방에서 바라본 정면도이고, 도 4의 (b)는 도 3의 투명 광학계(110)를 상부에서 바라본 평면도이다. 도 3 및 도 4에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(130)에서 투사되는 근적외선 영상을 나타낸다.
도 3 및 도 4에 도시된 예에서, 본 발명의 제1 실시예에 따른 헤드 마운트 시스템(100)은 하나의 근적외선 카메라(120)가 적용되고, 근적외선 영상 투사부(130)가 좌 영상 투사부(130b)와 우 영상 투사부(130a)를 포함하는 것을 예로 한다.
그리고, 투명 광학계(110)는, 도 3 및 도 4에 도시된 바와 같이, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)를 포함한다. 여기서, 사용자가 헤드 업 본체를 머리에 착용하게 되면, 좌 영상 광학계(111b,112b)는 사용자의 좌측 눈 전방에 위치하고, 우 영상 광학계(111a,112a)는 사용자의 우측 눈 전방에 위치한다.
근적외선 영상 투사부(130)의 좌 영상 투사부(130b)는, 도 3에 도시된 바와 같이, 좌 영상 광학계(111b,112b)의 좌측 측면에서 좌 영상 광학계(111b,112b)로 근적외선 좌 영상을 투사하고, 우 영상 투사부(130a)는 우 영상 광학계(111a,112a)의 우측 측면에서 우 영상 광학계(111a,112a)로 근적외선 우 영상을 투사한다.
근적외선 카메라(120)는 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a)의 사이의 상부 또는 하부에 배치되는데, 본 발명에서는 도 3에 도시된 바와 같이, 상부에 위치하는 것을 예로 한다.
여기서, 본 발명의 제1 실시예에서는 좌 영상 광학계(111b,112b)가 좌 영상 다이크로익 유닛(111b)과, 좌 영상 반사 미러(112b)를 포함하는 것을 예로 한다. 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 왼쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 좌 영상 다이크로익 유닛(111b)은 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시킨다. 이 때, 좌 영상 반사 미러(112b)는 좌 영상 다이크로익 유닛(111b)의 우측에 배치되어 좌 영상 다이크로익 유닛(111b)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 왼쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.
그리고, 좌 영상 다이크로익 유닛(111b)은 그 좌측에 배치된 좌 영상 투사부(130b)로부터 들어오는 근적외선 좌 영상을 사용자의 눈으로 반사시켜 사용자의 왼쪽 눈에 근적외선 좌 영상이 오버랩되어 인식할 수 있게 된다.
마찬가지로, 본 발명의 제1 실시예에서는 우 영상 광학계(111a,112a)가 우 영상 다이크로익 유닛(111a)과, 우 영상 반사 미러를 포함하는 것을 예로 한다. 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 가시광선을 투과시켜, 사용자가 오른쪽 눈으로 전방을 볼 수 있도록 한다. 그리고, 우 영상 다이크로익 유닛(111a)은 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시킨다. 이 때, 우 영상 반사 미러는 우 영상 다이크로익 유닛(111a)의 좌측에 배치되어 우 영상 다이크로익 유닛(111a)으로부터 반사된 근적외선을 근적외선 카메라(120)로 반사시킨다. 이에 따라, 좌 영상 광학계(111b,112b)와 우 영상 광학계(111a,112a) 사이의 상부에 위치한 근적외선 카메라(120)가 사용자의 오른쪽 눈으로 들어오는 근적외선을 촬영할 수 있게 된다.
그리고, 우 영상 다이크로익 유닛(111a)은 그 우측에 배치된 우 영상 투사부(130a)로부터 들어오는 근적외선 우 영상을 사용자의 눈으로 반사시켜 사용자의 오른쪽 눈에 근적외선 우 영상이 오버랩되어 인식할 수 있게 된다.
여기서, 근적외선 카메라(120)에는 상술한 바와 같이, 사용자의 좌측 눈 방향으로 들어오는 근적외선과 사용자의 우측 눈 방향으로 들어오는 근적외선이 모두 촬영되는데, 근적외선 카메라(120)의 렌지 배율의 조절을 통해 사용자가 양측 눈으로 보는 시야, 특히 수술 부위가 모두 포함될 수 있도록 조절될 수 있다.
그리고, 근적외선 영상 처리부(140)는 좌 영상 반사 미러(112b) 및 우 영상 반사 미러에 의해 반사되어 근적외선 카메라(120)에 의해 촬영된 촬영 영상을 분할하여 각각 근적외선 좌 영상 및 근적외선 우 영상으로 생성한다. 그리고, 근적외선 영상 처리부(140)는 생성된 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 투사부(130b) 및 우 영상 투사부(130a)로 전달한다. 그리고, 좌 영상 투사부(130b) 및 우 영상 투사부(130a)가 각각 근적외선 좌 영상과 근적외선 우 영상을 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)으로 투사하게 되면, 사용자의 좌측 눈 및 우측 눈에 깍각 근적외선 좌 영상 및 근적외선 우 영상이 오버랩되어, 도 9의 (c)에 도시된 바와 같이, 사용자의 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.
본 발명의 제1 실시예에 따른 좌 영상 다이크로익 유닛(111b)과 우 영상 다이크로익 유닛(111a)의 구성은 본 발명의 제2 실시예 및 제3 실시예의 좌 영상 광학계(111b,112b) 및 우 영상 광학계(111a,112a)의 구성이 적용될 수 있는 바, 그 구체적인 설명은 후술한다.
이하에서는, 도 5 및 도 6을 참조하여, 본 발명의 제2 실시예에 따른 헤드 마운트 시스템(300)을 구현한 예에 대해 설명한다. 여기서, 도 6은 도 5의 투명 광학계(311a,311b)를 측면에서 바라본 측면도이다. 그리고, 도 5 및 도 6에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(330a,330b)에서 투사되는 근적외선 영상을 나타낸다.
본 발명의 제2 실시예에 따른 투명 광학계(311a,311b)는 좌 영상 광학계(311b)와 우 영상 광학계(311a)를 포함할 수 있다. 제1 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(311b)와 우 영상 광학계(111a,112a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.
근적외선 카메라(320a,320b)는, 도 5에 도시된 바와 같이, 좌 영상 근적외선 카메라(320b)와 우 영상 근적외선 카메라(320a)를 포함할 수 있다. 좌 영상 근적외선 카메라(320b)는 좌 영상 광학계(311b)를 통해 들어오는 근적외선을 촬영하고, 우 영상 근적외선 카메라(320a)는 우 영상 광학계(111a,112a)를 통해 들어오는 근적외선을 촬영한다.
근적외선 영상 투사부(330a,330b)는 좌 영상 투사부(330b)와 우 영상 투사부(330a)를 포함할 수 있다. 좌 영상 투사부(330b)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 좌 영상을 좌 영상 광학계(311b)로 투사한다. 그리고, 우 영상 투사부(330a)는 근적외선 영상 처리부(140)로부터 전달되는 근적외선 우 영상을 우 영상 광학계(111a,112a)로 투사한다.
근적외선 영상 처리부(140)는 좌 영상 근적외선 카메라(320b)에 의해 촬영된 촬영 영상을 이용하여 근적외선 좌 영상을 생성하여 좌 영상 투사부(330b)로 전달한다. 여기서, 좌 영상 근적외선 카메라(320b)에 의해 촬영되는 근적외선은 사용자의 왼쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 좌 영상은 사용자의 왼쪽 눈으로 들어오는 영상에 대응하게 된다.
마찬가지로 근적외선 영상 처리부(140)는 우 영상 근적외선 카메라(320a)에 의해 촬영된 촬영 영상을 이용하여 근적외선 우 영상을 생성하여 우 영상 투사부(330a)로 전달한다. 여기서, 우 영상 근적외선 카메라(320a)에 의해 촬영되는 근적외선은 사용자의 오른쪽 눈 방향으로 들어오는 근적외선으로, 이를 통해 생성되는 근적외선 우 영상은 사용자의 오른쪽 눈으로 들어오는 영상에 대응하게 된다.
상기와 같은 구성에 따라 좌 영상 투사부(330b) 및 우 영상 투사부(330a)에서 각각 근적외선 좌 영상과 근적외선 우 영상을 각각 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)로 투사하고, 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)에서 반사된 근적외선 좌 영상 및 근적외선 우 영상은 각각 사용자의 왼쪽 및 오른쪽 눈에 맺히게 되어, 사용자는 자신이 직접 보고 있는 수술 부위에 형광 물질이 표시된 것과 같이 인식 가능하게 된다.
여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b)는, 도 5 및 도 6에 도시된 바와 같이, 좌 영상 투명판(312b)과, 제1 좌 영상 다이크로익 층(313b)과, 제2 좌 영상 다이크로익 층(314b)을 포함하는 것을 예로 한다. 즉, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 좌 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.
제1 좌 영상 다이크로익 층(313b)은 좌 영상 투명판(312b)의 일측 면에 코팅된다. 본 발명에서는 제1 좌 영상 다이크로익 층(313b)이 좌 영상 투명판(312b)의 전방에 코팅되는 것을 예로 하고, 제2 좌 영상 다이크로익 층(314b)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.
여기서, 제1 좌 영상 다이크로익 층(313b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(320b)로 반사시킨다.
제2 좌 영상 다이크로익 층(314b)은 좌 영상 투명판(312b)의 타측 면에 코팅된다. 여기서, 제2 좌 영상 다이크로익 층(314b)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(330b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다.
마찬가지로, 본 발명의 제2 실시예에 따른 우 영상 광학계(111a,112a)는, 도 5 및 도 6에 도시된 바와 같이, 우 영상 투명판(312a)과, 제1 우 영상 다이크로익 층(313a)과, 제2 우 영상 다이크로익 층(314a)을 포함하는 것을 예로 한다. 즉, 좌 영상 광하계와 마찬가지로, 투명판의 양측에 다이크로익 미러(Dichroic mirror)가 층을 형성하는 형태를 갖는다. 여기서, 우 영상 투명층은 투명한 재질로 마련되어 가시광선 및 근적외선이 모두 투과된다.
제1 우 영상 다이크로익 층(313a)은 우 영상 투명판(312a)의 일측 면에 코팅된다. 본 발명에서는 제1 우 영상 다이크로익 층(313a)이 우 영상 투명판(312a)의 전방에 코팅되는 것을 예로 하고, 제2 우 영상 다이크로익 층(314a)이 후방에 코팅되는 것을 예로 하고 있으나 그 방향이 바뀌어도 무방하다.
여기서, 제1 우 영상 다이크로익 층(313a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(320a)로 반사시킨다.
제2 우 영상 다이크로익 층(314a)은 우 영상 투명판(312a)의 타측 면에 코팅된다. 여기서, 제2 우 영상 다이크로익 층(314a)은 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(330a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다.
상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(320b) 및 우 영상 근적외선 카메라(320a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.
여기서, 본 발명의 제2 실시예에 따른 좌 영상 광학계(311b) 및 우 영상 광학계(111a,112a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.
이하에서는, 도 7 및 도 8을 참조하여, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)을 구현한 예에 대해 설명한다. 여기서, 도 8은 도 7의 투명 광학계(511a,511b)를 측면에서 바라본 측면도이다. 그리고, 도 7 및 도 8에서 점선은 가시광선, 일점 쇄선은 근적외선, 이점 쇄선은 근적외선 영상 투사부(530a,530b)에서 투사되는 근적외선 영상을 나타낸다.
여기서, 본 발명의 제3 실시예에 따른 헤드 마운트 시스템(500)은 제2 실시예의 구성에 대응하여, 투명 광학계(511a,511b)의 구성의 예가 상이한 바, 투명 광학계(511a,511b)의 구성에 대해 상세히 설명한다.
본 발명의 제3 실시예에 따른 투명 광학계(511a,511b)는 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)를 포함할 수 있다. 제1 실시예 및 제2 실시예에서와 마찬가지로, 사용자가 헤드 마운트 본체를 머리에 착용하게 되면, 좌 영상 광학계(513b,514b)와 우 영상 광학계(513a,514a)는 각각 사용자의 좌측 눈 전방과 우측 눈 전방에 위치하게 된다.
여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b)는, 도 7 및 도 8에 도시된 바와 같이, 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)를 포함할 수 있다. 본 발명에서는 제1 좌 영상 다이크로익 미러(513b) 및 제2 좌 영상 다이크로익 미러(514b)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.
제1 좌 영상 다이크로익 미러(513b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌 영상 근적외선 카메라(520b)로 반사시킨다. 그리고, 제2 좌 영상 다이크로익 미러(514b)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 좌 영상 투사부(530b)로부터 투사되는 근적외선 좌 영상을 사용자의 눈으로 반사시킨다.
마찬가지로, 본 발명의 제3 실시예에 따른 우 영상 광학계(513a,514a)는, 도 7 및 도 8에 도시된 바와 같이, 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)를 포함할 수 있다. 본 발명에서는 제1 우 영상 다이크로익 미러(513a) 및 제2 우 영상 다이크로익 미러(514a)가 일정 간격으로 이격된 상태로 배치되는 것을 예로 하고 있으나, 서로 접하고 있어도 무방하다.
제1 우 영상 다이크로익 미러(513a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우 영상 근적외선 카메라(520a)로 반사시킨다. 그리고, 제2 우 영상 다이크로익 미러(514a)는 사용자의 전방에서 들어오는 가시광선을 투과시키고, 우 영상 투사부(530a)로부터 투사되는 근적외선 우 영상을 사용자의 눈으로 반사시킨다.
여기서, 좌 영상 광학계(513b,514b)의 상부 및 하부에 각각 위치하는 좌 영상 근적외선 카메라(520b)와 및 좌 영상 투사부(530b)의 위치는 제1 좌 영상 다이크로익 미러(513b)와 제2 좌 영상 다이크로익 미러(514b)의 위치에 따라 조절될 수 있으며, 우 영상 근적외선 카메라(520a) 및 우 영상 투사부(530a)의 위치도 동일하게 조절될 수 있다.
상기와 같은 구성에 따라, 사용자의 시선과 동일한 방향으로 근적외선의 촬영이 가능하게 되고, 좌측 눈과 우측 눈으로 들어오는 근적외선이 각각 좌 영상 근적외선 카메라(520b) 및 우 영상 근적외선 카메라(520a)에 의해 촬영되어 사용자의 눈에 근적외선 좌 영상 및 근적외선 우 영상으로 맺히게 되어, 상술한 실시예에서와 마찬가지로 보다 입체적인 근적외선 영상이 실제 수술 부위에 표시된 것과 같은 효과를 얻을 수 있게 된다.
여기서, 본 발명의 제3 실시예에 따른 좌 영상 광학계(513b,514b) 및 우 영상 광학계(513a,514a)의 구성은 상술한 제1 실시예의 좌 영상 다이크로익 유닛(111b) 및 우 영상 다이크로익 유닛(111a)에 각각 적용될 수 있으며, 이 때 그 배치는 도 3에 도시된 바와 같은 구조를 가지게 된다.
전술한 제2 실시예 및 제3 실시예에서는 좌 영상 근적외선 카메라(320b,520b) 및 우 영상 근적외선 카메라(320a,520a)가 투명 광학계(311a,311b,511a,511b)의 상부에 위치하고, 좌 영상 투사부(330b,530b) 및 우 영상 투사부(330a,530a)가 투명 광학계(311a,311b,511a,511b)의 하부에 위치하는 것을 예로 하고 있으나, 그 위치가 바뀔 수 있음은 물론이다.
전술한 실시예들에서는 근적외선 영상 처리부(140)가 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)에 영상을 전달하고, 근적외선 카메라(120,320a,320b,520a,520b)에 의해 촬영된 촬영 영상이 근적외선 영상 처리부(140)에 전달되는 것으로 설명하였다. 본 발명에서는 근적외선 영상 처리부(140)가 헤드 마운트 본체에 설치되는 것을 예로 하고 있으나, 헤드 마운트 본체에 무선 통신부(미도시)가 설치되고, 근적외선 영상 처리부(140)가 헤드 마운트 본체의 외부에 설치된 상태, 예컨대 컴퓨터 등에 근적외선 영상 처리부(140)가 소프트웨어 또는 하드웨어적으로 구현된 상태에서, 무선 통신부를 통해 근적외선 카메라(120,320a,320b,520a,520b)와 근적외선 영상 투사부(130,130a,130b,330a,330b,530a,530b)와 연결되도록 마련할 수 있음은 물론이다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100,300,500 : 헤드 마운트 시스템 110 : 투명 광학계
111a : 우 영상 다이크로익 유닛 111b : 좌 영상 다이크로익 유닛
112a : 우 영상 반사 미러 112b : 좌 영상 반사 미러
120 : 근적외선 카메라 130 : 근적외선 영상 투사부
130a,330a,530a : 우 영상 투사부 130b,330b,530b : 좌 영상 투사부
311a,511a : 우 영상 광학계 311b,511b : 좌 영상 광학계
312a : 우 영상 투명판 312b : 좌 영상 투명판
313a : 제1 우 영상 다이크로익 층 313b : 제1 좌 영상 다이크로익 층
314a : 제2 우 영상 다이크로익 층 313b : 제2 좌 영상 다이크로익 층
320a,520a : 우 영상 근적외선 카메라
320b,520b : 좌 영상 근적외선 카메라
513a : 제1 우영상 다이크로익 미러
513b : 제1 좌 영상 다이크로익 미러
514a : 제2 우영상 다이크로익 미러
514b : 제2 좌 영상 다이크로익 미러
140 : 근적외선 영상 처리부

Claims (8)

  1. 수술 지원 영상을 제공하는 헤드 마운트 시스템에 있어서,
    사용자의 머리에 착용 가능하는 헤드 마운트 본체와;
    상기 헤드 마운트 본체에 설치되어 근적외선을 촬영하는 근적외선 카메라와;
    상기 헤드 마운트 본체에 설치되어 근적외선 영상을 투사하는 근적외선 영상 투사부와;
    상기 근적외선 카메라에 의해 촬영된 촬영 영상을 전달받아 상기 근적외선 영상을 생성하고, 상기 근적외선 영상을 상기 근적외선 영상 투사부에 전달하는 근적외선 영상 처리부와;
    사용자의 머리에 상기 헤드 마운트 본체가 착용될 때 사용자의 눈 전방에 위치되도록 상기 헤드 마운트 본체에 설치되고, 사용자가 전방을 볼 수 있도록 가시광선은 투과시키고, 사용자의 전방으로부터 들어하는 근적외선을 상기 근적외선 카메라가 촬영 가능하도록 상기 근적외선 카메라로 반사시키며, 상기 근적외선 영상 투사부로부터 투사된 상기 근적외선 영상을 사용자의 눈으로 반사시키는 투명 광학계를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  2. 제1항에 있어서,
    상기 헤드 마운트 본체에 설치되어 무선 통신을 수행하는 무선 통신부를 더 포함하며;
    상기 근적외선 영상 처리부는 상기 헤드 마운트 본체 외부에 설치되어 상기 무선 통신부를 통해 상기 근적외선 카메라의 상기 촬영 영상을 전송받고, 상기 근적외선 영상을 상기 무선 통신부에 전송하여 상기 근적외선 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  3. 제1항에 있어서,
    상기 투명 광학계는
    사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
    사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
    상기 근적외선 카메라는
    상기 좌 영상 광학계를 통해 들어오는 근적외선을 촬영하는 좌 영상 근적외선 카메라와,
    상기 우 영상 광학계를 통해 들어오는 근적외선을 촬영하는 우 영상 근적외산 카메라를 포함하고;
    상기 근적외선 영상 투사부는
    상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
    상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며;
    상기 근적외선 영상 처리부는 상기 좌 영상 근적외선 카메라 및 상기 우 영상 근적외선 카메라에 의해 촬영된 촬영 영상을 각각 상기 상기 근적외선 좌 영상 및 근적외선 우 영상으로 생성하여 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  4. 제3항에 있어서,
    상기 좌 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 미러와,
    상기 제1 좌 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 미러를 포함하며;
    상기 우 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 미러와,
    상기 제1 우 영상 다이크로익 미러의 전방 또는 후방에 배치되며, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 미러를 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  5. 제3항에 있어서,
    상기 좌 영상 광학계는
    투명한 재질의 좌 영상 투명판과,
    상기 좌 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 좌 영상 근적외선 카메라로 반사시키는 제1 좌 영상 다이크로익 층과,
    상기 좌 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 좌 영상 투사부로부터 투사된 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 제2 좌 영상 다이크로익 층을 포함하며;
    상기 우 영상 광학계는
    투명한 재질의 우 영상 투명판과,
    상기 우 영상 투명판의 일측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 상기 우 영상 근적외선 카메라로 반사시키는 제1 우 영상 다이크로익 층과,
    상기 우 영상 투명판의 타측 면에 코팅되고, 사용자의 전방에서 들어오는 가시광선을 투과시키고, 상기 우 영상 투사부로부터 투사된 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 제2 우 영상 다이크로익 층을 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  6. 제4항 또는 제5항에 있어서,
    상기 좌 영상 근적외선 카메라는 상기 좌 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 좌 영상 투사부는 상기 좌 영상 광학계의 상부 및 하부 중 다른 일측에 배치되며;
    상기 우 영상 근적외선 카메라는 상기 우 영상 광학계의 상부 및 하부 중 어느 일측에 배치되고, 상기 우 영상 투사부는 상기 우 영상 광학계의 상부 및 하부 중 다른 일측에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  7. 제1항에 있어서,
    상기 투명 광학계는
    사용자의 좌측 눈 전방에 위치하는 좌 영상 광학계와,
    사용자의 우측 눈 전방에 위치하는 우 영상 광학계를 포함하고;
    상기 근적외선 영상 투사부는
    상기 좌 영상 광학계의 좌측 측면에서 상기 좌 영상 광학계로 근적외선 좌 영상을 투사하는 좌 영상 투사부와,
    상기 우 영상 광학계의 우측 측면에서 상기 우 영상 광학계로 근적외선 우 영상을 투사하는 우 영상 투사부를 포함하며;
    상기 근적외선 카메라는 상기 좌 영상 광학계와 상기 우 영상 광학계 사이의 상부 또는 하부에 배치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
  8. 제7항에 있어서,
    상기 좌 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 우측으로 반사시키고, 상기 좌 영상 투사부로부터 들어오는 상기 근적외선 좌 영상을 사용자의 눈으로 반사시키는 좌 영상 다이크로익 유닛과,
    상기 좌 영상 다이크로익 유닛의 우측에 배치되어 상기 좌 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 좌 영상 반사 미러를 포함하고;
    상기 우 영상 광학계는
    사용자의 전방에서 들어오는 가시광선을 투과시키고, 사용자의 전방에서 들어오는 근적외선을 좌측으로 반사시키고, 상기 우 영상 투사부로부터 들어오는 상기 근적외선 우 영상을 사용자의 눈으로 반사시키는 우 영상 다이크로익 유닛과,
    상기 우 영상 다이크로익 유닛의 좌측에 배치되어 상기 우 영상 다이크로익 유닛으로부터 반사된 근적외선을 상기 근적외선 카메라로 반사시키는 우 영상 반사 미러를 포함하며;
    상기 근적외선 영상 처리부는
    상기 좌 영상 반사 미러 및 상기 우 영상 반사 미러에 의해 반사되어 상기 근적외선 카메라에 의해 촬영된 촬영 영상을 분할하여 각각 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 생성하고, 상기 근적외선 좌 영상 및 상기 근적외선 우 영상을 각각 상기 좌 영상 투사부 및 상기 우 영상 투사부로 전달하는 것을 특징으로 하는 수술 지원 영상을 제공하는 헤드 마운트 시스템.
KR1020180010410A 2018-01-29 2018-01-29 수술 지원 영상을 제공하는 헤드 마운트 시스템 KR102055254B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180010410A KR102055254B1 (ko) 2018-01-29 2018-01-29 수술 지원 영상을 제공하는 헤드 마운트 시스템
PCT/KR2018/015371 WO2019146904A1 (ko) 2018-01-29 2018-12-06 수술 지원 영상을 제공하는 헤드 마운트 시스템
US16/955,527 US11356651B2 (en) 2018-01-29 2018-12-06 Head mount system for providing surgery support image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180010410A KR102055254B1 (ko) 2018-01-29 2018-01-29 수술 지원 영상을 제공하는 헤드 마운트 시스템

Publications (2)

Publication Number Publication Date
KR20190091625A KR20190091625A (ko) 2019-08-07
KR102055254B1 true KR102055254B1 (ko) 2019-12-12

Family

ID=67395432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010410A KR102055254B1 (ko) 2018-01-29 2018-01-29 수술 지원 영상을 제공하는 헤드 마운트 시스템

Country Status (3)

Country Link
US (1) US11356651B2 (ko)
KR (1) KR102055254B1 (ko)
WO (1) WO2019146904A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049694A1 (ko) * 2019-09-10 2021-03-18 엘지전자 주식회사 전자 디바이스
US20230065288A1 (en) * 2021-08-30 2023-03-02 Apple Inc. Electronic Devices with Body Composition Analysis Circuitry

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020013531A1 (en) 2000-04-25 2002-01-31 Katsumi Hayashi Sentinel lymph node detection method and system therefor
JP2008018015A (ja) 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100113940A1 (en) * 2008-01-10 2010-05-06 The Ohio State University Research Foundation Wound goggles
EP2806781B1 (en) * 2012-01-23 2018-03-21 Washington University Goggle imaging systems and methods
US20150043003A1 (en) 2012-04-18 2015-02-12 Lg Electronics Inc. Optical coherence tomography and control method for the same
US8882662B2 (en) 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US20150257735A1 (en) * 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US11206987B2 (en) * 2015-04-03 2021-12-28 Suzhou Caring Medical Co., Ltd. Method and apparatus for concurrent imaging at visible and infrared wavelengths
KR101780864B1 (ko) * 2015-08-13 2017-09-21 고려대학교 산학협력단 듀얼 채널 근적외선 영상을 촬영하는 의료용 복합 영상 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020013531A1 (en) 2000-04-25 2002-01-31 Katsumi Hayashi Sentinel lymph node detection method and system therefor
JP2008018015A (ja) 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム

Also Published As

Publication number Publication date
KR20190091625A (ko) 2019-08-07
WO2019146904A1 (ko) 2019-08-01
US11356651B2 (en) 2022-06-07
US20210006775A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
CN113876422B (zh) 不可见光可视化自动配准型增强现实眼镜
US12063345B2 (en) Systems for facilitating augmented reality-assisted medical procedures
US7198404B2 (en) Real-time acquisition of co-registered X-ray and optical images
KR101667152B1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
US10307119B2 (en) Medical imaging system and operation method therefor
JPH07159723A (ja) 立体画像表示装置
JPH07222204A (ja) 立体画像表示装置
JP2008018015A (ja) 医用ディスプレイ装置及び医用ディスプレイシステム
KR20220073756A (ko) 동공의 움직임을 추적하기 위한 소형 망막 스캐닝 장치 및 이에 따른 애플리케이션
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
KR102055254B1 (ko) 수술 지원 영상을 제공하는 헤드 마운트 시스템
JPH07218864A (ja) 立体画像表示装置
JPH1066678A (ja) 非接触視線測定装置
JP2018060011A (ja) 表示装置
KR102254456B1 (ko) 수술 지원 영상을 제공하는 헤드 마운트 시스템
TWI851916B (zh) 疊合虛擬影像於即時影像的系統與方法
JP2010249907A (ja) 撮影装置および撮像方法
JP2008227834A (ja) 頭部搭載型映像提示装置、頭部搭載型撮影装置、及び頭部搭載型映像装置
KR20140005418A (ko) 내시경 및 내시경 시스템
JP3273678B2 (ja) 立体画像表示装置
JP3236443B2 (ja) 立体画像表示装置
JP2020014761A (ja) 眼科用撮影装置
JPH07159726A (ja) 立体画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right