KR101734094B1 - 증강현실영상 투영 시스템 - Google Patents

증강현실영상 투영 시스템 Download PDF

Info

Publication number
KR101734094B1
KR101734094B1 KR1020150032371A KR20150032371A KR101734094B1 KR 101734094 B1 KR101734094 B1 KR 101734094B1 KR 1020150032371 A KR1020150032371 A KR 1020150032371A KR 20150032371 A KR20150032371 A KR 20150032371A KR 101734094 B1 KR101734094 B1 KR 101734094B1
Authority
KR
South Korea
Prior art keywords
augmented reality
image
reality image
subject
fluorescence
Prior art date
Application number
KR1020150032371A
Other languages
English (en)
Other versions
KR20160108926A (ko
Inventor
김석기
김성천
박선업
Original Assignee
국립암센터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국립암센터 filed Critical 국립암센터
Priority to KR1020150032371A priority Critical patent/KR101734094B1/ko
Priority to US15/556,945 priority patent/US10575920B2/en
Priority to PCT/KR2016/001049 priority patent/WO2016144005A1/ko
Publication of KR20160108926A publication Critical patent/KR20160108926A/ko
Application granted granted Critical
Publication of KR101734094B1 publication Critical patent/KR101734094B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 실사 촬영과 증강현실 영상투영이 동시에 가능하며, 정밀한 작업이 요구되는 피사체나 공간적 제약이 있는 환경에서 적용이 가능한 증강현실영상 투영 시스템에 관한 것으로, 본 발명에 따른 증강현실영상 투영 시스템은 가시광선과 간섭이 없는 비가시광선으로 피사체의 실사를 촬영하는 실사촬영장치 및 증강현실영상을 피사체에 투영하는 증강현실영상 투영장치를 포함하며, 상기 실사촬영장치 및 상기 증강현실영상 투영장치는 동일한 광축을 통해 실사영상을 촬영하고, 증강현실영상을 투영하는 것을 기술적 특징으로 한다. 또한 본 발명은 기본적인 실사촬영장치, 증강현실영상 투영장치 이외에 형광카메라등 추가적인 영상획득장치가 동일한 광축에 일체형으로 구성되며, 광원과 여기광등의 파장간섭을 피하도록 구성하는 것을 기술적 특징으로 한다.

Description

증강현실영상 투영 시스템{Augmented Reality Image Projection System}
본 발명은 증강현실영상을 투영하는 기술에 관한 것으로, 더 상세하게는 실사 촬영과 증강현실 영상투영이 동시에 가능하며, 정밀한 작업이 요구되는 피사체나 공간적 제약이 있는 환경에서 적용이 가능한 증강현실영상 투영 시스템에 관한 것이다.
일반적으로 증강현실(Augmented Reality)은 컴퓨터에서 생성한 컴퓨터그래픽(컴퓨터가상영상)을 실제영상과 함께 보여줌으로써, 마치 실세계에 컴퓨터그래픽이 존재하는 것처럼 느끼게 하는 기술이다. 실세계를 가상세계로 보완해주는 개념으로 증강현실의 주된 정보는 우리가 보고 있는 실사영상에 있다.
일반적인 실사영상 이외에도 컴퓨터 등으로 생성되는 컴퓨터 가상영상은 일반적인 영상형태 이외에도 피사체에 대한 텍스트 정보 등 비영상적 정보가 피사체의 위치에 정합된 영상을 포함하는 다양한 영상정보로 구성할 수 있다. 이러한 컴퓨터 가상영상은 실사영상과의 정합에 사용될 피사체의 위치정보를 포함하기 위하여 촬영 시 미리 마커 등을 붙여 촬영한 영상, 입체카메라 등으로 입체 촬영하여 추후 위치정보를 추출할 수 있는 영상, 혹은 의료분야의 경우에서는 미리 촬영된 CT, MRI, PET등의 의료영상이 될 수도 있다. 앞서 기술한 영상처럼 증강현실영상의 정합 전에 미리 얻어진 영상과는 달리, 실사영상을 촬영하는 것과 동시에 얻는 특수영상(실사영상을 영상처리한 영상포함)도 증강현실을 구현하는 가상영상(컴퓨터영상)으로 활용될 수 있다. 특수영상의 예로는 최근 여러 분야에서 주목받는 형광영상이 대표적인 예가 될 수 있다. 특히 가시광선영역 이외의 근적외선영역의 형광영상이 생체에 많이 활용되고 있다. 물론 이러한 다양한 정보는 동시에 컴퓨터가상영상을 구성하는 데 사용할 수 있다.
우리가 보는 실사영상에 컴퓨터가상영상을 겹치는 방법으로 주로 반투명디스플레이, 증강현실용 안경(AR glasses), 혹은 헤드 마운트 디스플레이(HMD-Head Mounted Reality)를 이용하는 방법을 들 수 있다.
증강현실을 구현하기 위해서는 가상영상과 실사영상의 정합이 필수적이다. 즉, 증강현실을 구현하기 위해서는 공간적으로 실사영상과 정확하게 겹치는 가상영상을 생성하는 것이 필수적이며, 특히 피사체와의 거리, 각도의 변화에 실시간으로 반응하기 위해서는 반드시 실사영상과 컴퓨터가상영상이 동일한 공간 좌표계에서 정합될 수 있는 공간 정보가 필요하다. HMD의 경우 실사영상을 출력하고 여기에 컴퓨터그래픽을 겹치기 위해서는 실사영상과 일치하는 3차원 컴퓨터그래픽을 생성하여야 피사체와의 거리, 각도에 관계없이 정확하게 겹칠 수 있다. 반투명디스플레이나 증강현실용안경의 경우도 반투명디스플레이 뒤쪽의 피사체와 디스플레이상에 표시되는 컴퓨터그래픽이 일치하기 위해서는 관찰자의 시야각도, 피사체와의 거리 등을 고려하여 컴퓨터가상영상을 송출해야 하므로 뒤쪽 피사체와 공간적으로 정합되는 3차원의 컴퓨터가상영상정보가 반드시 필요하다.
증강현실은 컴퓨터가상영상과 실사영상을 얼마나 정확하게 관찰자에게 위화감 없이 자연스럽게 보여줄 수 있는 가가 매우 중요한 요소이다. 특히, 증강현실을 정밀한 의료용 작업이나 위험한 작업에 활용하기 위해서는 증강현실영상이 실제 현실과 매우 비슷하여 위화감이 없는 것이 중요하다. 예를 들어 위험한 수술에 증강현실을 이용하는 경우 증강현실영상장비 등이 수술을 방해해서는 안 된다. 하지만 HMD나 반투명디스플레이 등은 수술부위와 수술자의 눈 사이에 존재하므로 수술부위와 가까워 감염의 위험성이 있고, 수술자의 시야를 일부 가리므로 위화감이 있다.
증강현실영상 투영시스템은, 일반적으로 컴퓨터 가상영상을 반투명디스플레이에 출력하고 반투명디스플레이 뒤쪽의 실사영상과 정합시키는 방법이 아니라, 컴퓨터가상영상을 피사체에 직접 투영하여 정합시키는 것이다. 피사체에 직접 가상영상을 뿌려(투영)하여 증강현실영상을 생성하는 경우 관찰자가 실제 피사체를 보고 있기 때문에 정밀하거나 위험한 작업에 위화감이 적은 증강현실을 구현할 수 있다.
종래 증강현실시스템은 도 5 에 도시된 바와 같이, 실사영상을 얻는 장치, 실사영상에 추가할 정보를 포함하는 컴퓨터 가상영상을 생성하는 장치, 실사영상의 좌표에 컴퓨터영상의 좌표를 맞추는(계산하여 변형하는) 장치(실사-컴퓨터 가상영상 정합장치), 실사영상에 컴퓨터영상을 겹쳐 만들어진 증강현실영상을 출력해 주는 장치가 필요하다.
피사체에 영상을 투영하는 증강현실영상 투영시스템은 일반적인 증강현실시스템의 장치에 더하여, 증강현실영상을 피사체에 투영해주는 장치가 필요하다. 이때 현재는 실사영상촬영장치와 투영장치가 일치하지 않으므로 피사체와 증강현실영상이 잘 정합되도록 하는 장치(피사체-컴퓨터 가상영상 정합장치)가 추가로 필요하다.
하지만 투영장치와 정합을 위한 실사영상촬영장치가 따로 만들어져 단순히 나란히 결합된 형태인 종래 증강현실영상 투영시스템은 다음과 같은 문제점이 있다.
첫째, 복잡한 피사체-투영 정합과정이 필요하다. 증강현실영상을 투사하는 투사장치와 증강현실영상의 기준이 되는 피사체의 실사영상촬영장치가 동일한 장치가 아니므로 방향과 거리가 일치하지 않는다. 피사체에 증강현실영상을 그대로 투사할 수 없고 증강현실영상을 피사체에 정합하는 과정이 필요하다. 정합을 위해서는 피사체를 촬영한 영상과 증강현실영상을 실시간으로 비교하고 일치시키는 특수한 알고리즘을 이용하거나 대한민국 등록특허 공보 제10-0726028호(2007. 05. 31)에 기재된 바와 같이, 피사체의 위치를 파악할 수 있는 소정의 마커 혹은 입체카메라 등을 이용하여 피사체의 위치를 파악하고(트래커), 트래커의 정보를 이용하여 피사체에 증강현실영상을 일치시키기 위하여 증강현실영상의 크기, 위치, 각도 등의 보정 처리를 하는 장치로 구성된다. 현재의 투영시스템은 피사체와 투영시스템과의 거리와 방향이 실시간으로 변하는 경우나 피사체의 움직임이 많은 경우 정합에 많은 계산량을 동반하기 때문에 투영된 영상과 실제 피사체간의 정합에 시간차가 나서 관찰자에게 위화감을 줄 수 있다. 또한 피사체가 두께가 있는 입체적인 형태를 띠는 경우 피사체와 투영시스템으로부터의 거리가 피사체 부분에서 다르므로 입체카메라를 이용한다고 하더라도 정합과정이 계산이 많이 필요하고, 도 5에 도시된 바와 같이, 각도차이에 의해 투영시스템의 음영부위에는 표지를 할 수가 없는 근본적인 단점이 있다.
둘째, 각 구성장치가 독립적으로 구성되어 소형화가 힘들다. 카메라와 투영장치가 따로 설치되므로 공간을 많이 차지해서, 1) 피사체에 투영된 증강현실영상을 보아야 하는 관찰자의 시야를 가릴 수 있어 활용도가 떨어지고, 피사체가 좁은 부위에 위치하는 경우나, 2) 내시경, 복강경 등 다른 광학기기를 거치는 경우, 3) 수술용 무영등과 같은 다른 장치에 설치하는 경우에 투영시스템과 위치정보를 얻는 카메라가 따로 구성되는 현재의 투영시스템은 시스템의 크기를 줄이는 데 제한이 있어 증강현실영상을 구현할 수가 없다. 시스템의 크기가 결정적인 역할을 할 수 있다.
셋째, 형광영상과 같은 실시간 영상촬영장치를 추가하는 것이 기술적으로 어렵다. 추가적인 촬영장치로 영상을 얻는 경우 이 영상을 증강현실영상에 추가하기 위해서는 매번 추가적인 트래커와 복잡한 계산을 필요로 하는 장치와 정합과정을 추가로 필요로 한다. 추가된 영상의 수만큼 추가적인 장치가 필요하므로 현실적으로 시스템을 구현하는 것은 어렵다. 예를 들어 피사체의 열화상을 촬영한 후 이를 다시 투영하거나 피사체에서 특수형광영상을 촬영한 후 이를 투영하거나 하는 경우 피사체촬영장치, 투영장치 옆에 덧붙여 구성해야 하므로, 공간을 많이 차지하는 매우 복잡한 시스템을 구성해야 한다.
넷째, 투영영상과 피사체촬영장치의 조명간의 간섭으로 피사체에 대조도가 좋은 증강현실영상을 투사하는 것이 어렵다. 또한 형광영상이 추가되는 경우 여기광원과의 간섭으로 더욱 구성이 어려워진다.
기존의 증강현실영상시스템이나 본 발명의 증강현실투영시스템이나 정합할 실사영상을 촬영할 때 사용할 조명이 필요하다. 증강현실영상을 얻기 위해서는 정합을 할 뼈대로 실사영상이 필요하기 때문이다. 일반적으로 실사영상은 가시광선영역을 촬영하므로 가시광선영역의 백색광을 조명으로 이용하게 되고, 증강현실영상투영장치에서 투영하는 영상의 파장대와 겹치게 된다. 이러한 경우, 1) 촬영영상을 질을 높이기 위해 조명광원의 세기를 높이면 투영영상이 피사체에 뚜렷하게 보이지 않게 되고, 2) 투영영상이 실사영상에 함께 촬영되어 정합에 좋지 않은 영향을 미친다. 이러한 간섭현상 때문에 좋은 대조도의 투영영상을 얻기 위해서는 조명장치를 따로 조절하는 복잡한 장치가 필요하다. 이러한 간섭을 배제하기 위해서 시분할로 조명과 투영영상을 번갈아 on-off하는 복잡한 방법이 필요하게 된다. 하지만 이런 방법은 장비를 복잡하게 만들기도 하거니와 번갈아 점멸하는 광원으로 사용자의 시야에도 심각한 불편함을 가져온다. 3) 형광영상 등 추가적인 영상이 추가되는 경우 조명으로 쓰는 백색광이 또한 간섭을 하므로 추가적인 시분할이 필요하므로, 동시에 영상을 얻고 투영하는 방식은 구현할 수가 없게 된다.
근본적인 해결책은 실사영상의 조명으로 사용하는 광원의 파장대를 비가시광선영역(특히 적외선영역)으로 바꾸면 컴퓨터가상투영영상과 형광여기광원과의 간섭을 근본적으로 해결할 수 있고, 시분할과 같은 복잡한 과정을 피할 수 있다. 특히 본 발명의 경우처럼 증강현실영상구성에서는 실사영상의 주된 사용처는 정합을 위한 것이므로 비가시광선으로 얻는 실사영상이 적절하다. 현재의 증강현실투영시스템은 조명과 투영영상, 특수촬영간의 간섭을 근본적으로 해결할 방법이 없다. 실제 현실적인 기기가 되기 위해서 반드시 해결해야 할 문제이다.
대한민국 등록특허 공보 10-0726028B1, 2007. 05. 31, 6쪽 내지 7쪽.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 증강현실영상 투영 시스템의 목적은 증강현실영상 투영장치 및 실사촬영장치를 동일한 광축에 있도록 하여 단순화되고 소형화된 증강현실 투영시스템을 제공하는데 있다.
다른 목적은, 실사영상 촬영장치의 조명을 비가시광선으로 제공하여 조명과의 간섭을 없애고 대조도가 높은 증강현실영상을 투영하는데 있다.
또 다른 목적은, 다수의 형광영상 촬영장치를 적용하여, 다양한 증강현실영상을 제공하는데 있다.
또 다른 목적은, 촬영과 투영이 일체화되어 수술부위나 장비 사이의 틈새와 같은 좁고 깊은 부위나 복강경, 흉강경, 방광경, exoscope와 같은 장비와 함께 사용할 수 있게 하는 데 있다.
또 다른 목적은 소형화하여 관찰자의 움직임을 제한하지 않아 직접 조작이 필요한 수술이나 의료에 적용이 가능한 시스템으로 개발하는 데 있다.
또 다른 목적은 소형화하여 단수 혹은 복수로 무영등 등 다른 장비와 결합이 가능하도록 하는 것이다.
본 발명에 따른 증강현실영상 투영시스템의 구성은 일반적인 증강현실시스템에 피사체-컴퓨터가상영상정합장치가 추가로 구성되었으며, 영상정합이 효과적이면서 능률적으로 이루어지는 일체형구조를 구성하였고, 투영과 촬영의 간섭을 줄이는 구성을 추가한 것이다.
본 발명에 따른 증강현실영상 투영 시스템은 피사체의 실사를 촬영하는 실사촬영장치 및 증강현실영상을 피사체에 투영하는 증강현실영상 투영장치를 포함하며, 상기 실사촬영장치 및 상기 증강현실영상 투영장치는 동일한 광축을 통해 실사영상을 촬영하고, 증강현실영상을 투영하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실영상 투영 시스템은 상기 증강현실영상 투영장치와 투영렌즈 사이에는 가시광선을 전반사하고 가시광선보다 긴 파장을 투과시키는 제1다이크로익 미러(dichroic mirror)를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실영상 투영 시스템에 있어서, 실사촬영장치는 적외선 촬영이 되는 적외선 실사영상장치이며, 상기 실사영상장치의 촬영을 위한 적외선 조명광원을 제공하는 IR실사 영상조명 및 상기 IR실사 영상조명에서 제공되는 적외선과 피사체에서 반사된 적외선실사영상을 50:50으로 배분하여 반사하고 투과시키는 빔스플리터를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실영상 투영 시스템은 상기 증강현실영상 투영장치 및 상기 실사촬영장치는 동일한 광축을 이용하며, 형광영상을 획득하는 형광카메라를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실영상 투영 시스템은 상기 형광카메라의 형광영상 촬영을 위한 여기광을 제공하는 형광여기광원을 더 포함하는 것을 특징으로 한다.
또한, 실제 사용용도를 높이기 위해 본 발명에 따른 증강현실영상 투영 시스템은 무영등의 조명전구의 위치에 결합한 형태로 사용하거나, 복강경, 흉강경, 방광경등 경성내시경의 접안렌즈에 결합하여 사용하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실영상 투영 시스템은 소형으로 관찰자의 앞이나 옆에 두고 수술이나 여러가지 조작시에 보조적으로 사용할 수 가 있는 것을 특징으로 한다.
본 발명에 따른 증강현실영상 투영 시스템은 증강현실영상 투영장치 및 실사촬영장치를 동일한 광축에 있도록 하여 별도의 피사체-증강형실영상 정합장치, 또는 실사-컴퓨터가상영상 정합장치를 구비하지 않거나 최소화 할 수 있도록하며 이를 통해 증강현실 투영시스템의 구성을 단순화하고 소형화할 수 있는 효과가 있다.
또한, 투영장치와 촬영장치가 동일 광축에 있어 공간적 제약을 없애므로써, 다수의 실시간 영상을 증강현실시스템에 추가할 수 있는 효과가 있다.
또한, 가시광선과 간섭이 없는 비가시광선 실사 촬영을 수행하여, 피사체의 투영영상의 대조도를 향상시킬 수 있으며, 다수의 형광영상 촬영장치를 적용하여, 다양한 증강현실영상의 제공이 가능한 효과가 있다.
또한 본 발명에 따른 증강현실투영 시스템을 소형화된 장비로 구현하여, 관찰자의 시야나 조작을 최소한 방해하여 수술이나 여러 가지 조작을 하는 용도에 사용할 수 있는 효과가 있다.
또한 본 발명에 따른 증강현실투영 시스템을 소형화된 장비로 구현하여, 좁고 깊은 곳이나 복강경, 방광경, 흉강경의 접안렌즈부위에 직접 연결하여 사용하는 경우 증강현실영상을 복강등과 같은 매우 좁은 공간에서도 활용할 수 있는 효과가 있다.
또한 본 발명에 따른 증강현실투영 시스템을 소형화된 장비로 구현하여, 물리적으로 무영등에 적어도 하나 이상 설치할 수 있게 되는 경우, 수술자들에 의해 어느 한 개의 투영영상이 가려지더라도 나머지 것들로 있게 투영영상이 잘 보이는 효과가 있고, 무영등의 위치가 수술자들의 행위에 의해 방해되는 일이 가장 적은 곳에 있으므로 증강현실영상을 안정적으로 투영할 수 있는 효과가 있다.
도 1은 본 발명에 따른 증강현실영상 투영 시스템의 첫 번째 실시예를 나타내는 구성도.
도 2는 본 발명에 따른 증강현실영상 투영 시스템의 두 번째 실시예를 나타내는 구성도.
도 3은 본 발명에 따른 증강현실영상 투영 시스템을 a) 복강경, b) 좁은 부위 (예를 들어 수술부위), c)무영등에 적용한 실시예.
도 4는 종래 증강현실영상 투영 시스템에 있어서, 투영장치와 촬영장치가각도일체와 되지 않은 경우의 문제점(음영부위 등)을 나타내는 도면.
도 5는 종래 증강현실 시스템의 구성과 증강현실영상 투영 시스템의 구성을 나타내는 도면.
이하, 본 발명에 따른 증강현실영상 투영 시스템을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
도 1은 본 발명에 따른 증강현실영상 투영 시스템의 첫 번째 실시예를 나타내는 도면으로, IR실사 영상조명(10), 빔 스플리터(20), IR실사영상카메라(30), 증강현실영상 발생장치(41), 추가정보 입력부(42), 증강현실영상 투영장치(43), 다이크로익 미러(50)을 포함한다.
상기 IR실사 영상조명(10)은 상기 IR실사영상카메라(30)의 실사 영상 촬영을 위한 조명광을 제공하며, 본 발명에 있어서 상기 IR실사 영상조명(10)은 가시광선과 간섭이 없는 적외선영역의 조명광을 제공하여, 증강현실영상 투영장치(43)에서 대조도가 높은 증강현실영상을 투영할 수 있는 것이다.
상기 빔 스플리터(20)는 광굴절 수단으로 IR 실사 영상조명(10)에서 제공되는 적외선을 반사와 투과 50 : 50으로 배분하며, 상기 IR실사 영상조명(10)의 광선을 반사하여 피사체(1)에 조사하고, 상기 피사체(1)에 반사되어 들어온 실사영상 IR 광선은 투과하여, 상기 IR실사영상카메라(30)로 촬영한다.
이러한 상기 IR실사 영상조명(10) 및 빔 스플리터(20)를 통해 가시광선과 간섭이 없는 적외선 실사 촬영이 가능하며, 광축의 위치도 조절이 가능하다.
상기 IR실사영상카메라(30)에서 촬영된 실사영상은 상기 증강현실영상 발생장치(41)에 전달되고, 이때 상기 추가정보 입력부(42)를 통해 영상 정보 또는 텍스트 정보와 같은 위치정보 기반의 추가 정보를 입력하여, 증강현실영상에 반영이 가능하다.
상기 증강현실영상 발생장치(41)에서 생성된 증강현실영상은 상기 증강현실영상 투영장치(43)를 통해 피사체(1)에 전달되며, 이때 상기 증강현실영상 투영장치(43)는 상기 다이크로익 미러(50)를 통해 상기 IR실사영상 카메라(30)의 광축과 동일하게 증강현실영상을 전달하며, 본 발명에 따른 증강현실영상 투영장치(43)은 조명을 더 포함하여, 피사체(1)를 밝히는 조명의 역할을 할 수도 있다.
상기 다이크로익 미러(50)는 상기 증강현실영상 투영장치(43)와 렌즈(5) 사이에 위치한 영상굴절수단으로 가시광선은 전반사하고, 가시광선보다 긴 파장의 광선은 투과한다.
이처럼 본 발명에 따른 증강현실영상 투영 시스템은 실사영상과 증강현실 영상을 동일한 광축을 이용할 수 있도록 구성함으로써 별도의 피사체와 증강현실영상의 정합장치를 구비하지 않아도 되며, 이를 통해 복잡한 적외선 마커나 입체카메라와 같은 구조적, 기능적 장치 없이도 피사체의 형태나 피사체와 카메라의 거리에 관계없이 광학적인 방법으로 피사체에 증강현실영상을 복잡한 계산없이 정합하여 정확하게 투영할 수 있는 것이다.
도 2는 본 발명에 따른 증강현실영상 투영 시스템의 두 번째 실시예로, IR실사조명(10), 제1빔스플리터(21), IR실사영상 카메라(30), 제1 다이크로익 미러(51), 형광여기광원(60), 제2빔스프리터(22), 형광카메라(80), 필터(70), 증강현실영상 투영장치(43), 제2다이크로익 미러(52)를 포함한다.
이러한 본 발명에 따른 두 번째 실시예는 컴퓨터가상영상으로 형광영상을 동일광축에 추가하는 경우의 일 예를 보여주며, 이때 형광의 파장에 따라 빔스플리터와 다이크로익미러의 구체적인 형태와 위치는 변화할 수 있다.
이러한 증강현실영상 투영 시스템의 두 번째 실시예는 도 2를 참조하여 설명하면, 피사체(1)에 반사된 IR 실사조명과 상기 피사체(1)에서 발생한 형광을 IR 실사영상카메라(30)와 형광영상카메라(80)로 전달한다. 이때, 제1다이크로익 미러(51)를 통해 실사조명용 IR 은 반사하고, 실사조명용 IR 보다 긴 파장의 형광은 형광카메라(80)쪽으로 투과시킬 수 있다. 이에 더하여, 필터(70)를 통해 상기 긴 파장의 형광 영상을 좀 더 특이적으로 획득할 수 있다.
한편, 형광여기광원(60)에서 780nm 여기광을 제공하면 상기 제2빔스프리터(22)를 통해 반사시키고, 반사되어 들어온 여기광을 형광카메라(80)로 전달 시, 상기 필터(70)를 통해 850nm의 형광영상을 획득할 수 있다.
여기서 상기 형광여기광을 실사영상의 광원으로도 동시에 이용이 가능하며, 본 발명의 두 번째 실시예에서 상기 형광여기광원(60) 및 형광카메라(80)는 단일 구성으로 배치하였으나 이에 한정되지 않고, 복수 개로 설치가 가능하며, 이 경우 다이크로익 미러, 필터, 형광카메라를 추가적으로 배치한다.
도 3은 본 발명에 따른 본 발명에 따른 증강현실영상 투영 시스템의 다양한 활용방법을 나타내는 도면으로, 도 3의 (a)는 복강경, 흉강경등에 적용하는 것으로, 렌즈를 경성내시경용 커플러 렌즈를 이용하거나 렌즈자체를 경성내시경 형태의 렌즈를 적용하는 경우, 추가적인 장비의 구비 없이 복강이나 흉강 내부에 증강현실영상을 투영할 수 있다. 또한 복강이나 흉강이 아니더라도 소형화된 장비로 구현이 가능하므로 도 3의 (b)와 같이 좁고 깊은 곳에 위치한 피사체에 증강현실영상을 투영할 수 있다. 사용자 혹은 조작자(수술자)의 시야를 최대한 확보할 수 있어 수술이나 조작에 증강현실을 효율적으로 활용할 수 있다.
도 3의 (c)는 무영등에 적용한 실시예를 나타내는 도면으로, 증강현실영상 투영 시스템을 소형화된 장비로 구현한 경우, 무영등(200)에 적어도 하나 이상을 배치하여, 수술장에서 간편하게 증강현실영상 투영 시스템을 적용할 수 있다. 또한 증강현실영상 투영 시스템(100) 장비를 무영등(200)에 복수 개를 배치할 경우, 수술자에 의한 그림자가 발생하더라도 안정적으로 증강현실영상을 투영할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 증강현실영상 투영 시스템을 적용 시, 증강현실영상 투영장치, 실사촬영장치, 형광영상를 동일한 광축에 있도록 하여 별도의 피사체-증강형실영상 정합장치, 또는 실사-컴퓨터영상 정합장치를 구비하지 않아도 되며, 이를 통해 증강현실 투영시스템의 구성을 단순화하고 소형화할 수 있는 효과를 누릴 수 있다. 이를 통하여 수술이나 조작, 복강경등에 널리 활용할 수 있다.
또한, 가시광선과 간섭이 없는 적외선 실사 촬영을 수행하여, 피사체의 투영영상의 대조도를 향상시킬 수 있으며, 다수의 형광영상 촬영장치를 적용하여, 다양한 증강현실영상의 제공이 가능한 장점이 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 본 발명에 따른 증강현실영상 투영 시스템으로 구현할 수 있다.
1 : 피사체 5 : 렌즈
7 : 일반조명 10 : IR실사 영상조명
20 : 빔스플리터 21 : 제1 빔스플리터
22 : 제2 빔스플리터 30 : IR실사영상 카메라
41 : 증강현실영상 발생장치 42 : 추가정보 입력부
43 : 증강현실영상 투영장치 50 : 다이크로익 미러
51 : 제1 다이크로익 미러 52 : 제2 다이크로익 미러
60 : 형광여기광원 70 : 필터
80 : 형광 카메라 100 : 증강현실영상 투영 시스템
200 : 무영등

Claims (9)

  1. 피사체의 실사를 촬영하는 실사촬영장치 및
    증강현실영상을 피사체에 투영하는 증강현실영상 투영장치를 포함하며,
    상기 실사촬영장치 및 상기 증강현실영상 투영장치는 동일한 광축을 통해 실사영상을 촬영하고, 증강현실영상을 투영하며,
    상기 실사촬영장치는 적외선 촬영이 되는 적외선 실사영상장치이며, 상기 실사영상장치의 촬영을 위한 적외선 광선을 제공하는 IR실사 영상조명을 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  2. 제1항에 있어서,
    상기 증강현실영상 투영장치와 투영렌즈 사이에 가시광선을 전반사하고 가시광선보다 긴 파장을 투과시키는 다이크로익 미러(dichroic mirror)를 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 IR실사 영상조명에서 제공되는 적외선을 50 : 50으로 배분하는 빔스플리터를 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  5. 제 1항에 있어서,
    상기 실사촬영장치 및 상기 증강현실영상 투영장치는 동일한 광축을 이용하며, 형광영상을 획득하는 형광카메라를 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  6. 제5항에 있어서,
    상기 형광카메라의 형광영상 촬영을 위한 여기광을 제공하는 형광여기광원을 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  7. 제6항에 있어서,
    상기 형광카메라의 전면에 위치하여, 상기 피사체로부터 발생한 적외선은 전반사하고, 상기 피사체로부터 발생한 형광을 투과시키는 제1다이크로익 미러; 및
    상기 형광카메라의 전면에 위치하여, 상기 증강현실영상 투영장치를 통해 전달되는 증강현실영상은 상기 피사체로 전반사하고, 상기 피사체로부터 발생한 형광은 투과시키는 제2다이크로익 미러; 를 더 포함하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  8. 제5항에 있어서,
    상기 형광카메라의 전방에 위치하여, 형광영상을 촬영하기 위한 여기광을 필터링하는 필터를 더 구비하는 것을 특징으로 하는 증강현실영상 투영 시스템.
  9. 제1항, 제2항, 제4항 내지 제8항 중 어느 한 항에 있어서,
    상기 실사촬영장치 및 상기 증강현실영상 투영장치는
    무영등의 조명전구 또는 복강경, 흉강경, 방광경 중 적어도 어느 하나의 경성내시경 접안렌즈에 내장되는 것을 특징으로 하는 증강현실영상 투영 시스템.

KR1020150032371A 2015-03-09 2015-03-09 증강현실영상 투영 시스템 KR101734094B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150032371A KR101734094B1 (ko) 2015-03-09 2015-03-09 증강현실영상 투영 시스템
US15/556,945 US10575920B2 (en) 2015-03-09 2016-02-01 Augmented reality image projection system
PCT/KR2016/001049 WO2016144005A1 (ko) 2015-03-09 2016-02-01 증강현실영상 투영 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150032371A KR101734094B1 (ko) 2015-03-09 2015-03-09 증강현실영상 투영 시스템

Publications (2)

Publication Number Publication Date
KR20160108926A KR20160108926A (ko) 2016-09-21
KR101734094B1 true KR101734094B1 (ko) 2017-05-11

Family

ID=56880287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150032371A KR101734094B1 (ko) 2015-03-09 2015-03-09 증강현실영상 투영 시스템

Country Status (3)

Country Link
US (1) US10575920B2 (ko)
KR (1) KR101734094B1 (ko)
WO (1) WO2016144005A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10078219B2 (en) * 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
EP3701901B1 (en) * 2017-11-27 2022-03-02 Panasonic Corporation Projection device
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN108845745A (zh) * 2018-07-04 2018-11-20 百度在线网络技术（北京）有限公司 增强现实的触发方法、装置、电子设备及存储介质
US10789780B1 (en) 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
US11442254B2 (en) 2019-04-05 2022-09-13 Inner Ray, Inc. Augmented reality projection device
CN110226974A (zh) * 2019-07-08 2019-09-13 中国科学技术大学 一种基于增强现实的近红外荧光成像系统
US11739910B2 (en) 2019-12-16 2023-08-29 Lumileds Llc LED arrays with self-stabilizing torch functions
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US20210298863A1 (en) * 2020-03-27 2021-09-30 Trumpf Medizin Systeme GmbH & Co. KG. Augmented reality for a surgical system
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11425310B2 (en) 2021-01-08 2022-08-23 Konica Minolta Business Solutions U.S.A., Inc. Separation of projection and capture in collaboration environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686525B1 (ko) 2005-02-21 2007-02-26 한국정보통신대학교 산학협력단 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱방법
KR100726028B1 (ko) 2005-12-14 2007-06-08 한양대학교 산학협력단 환자환부의 증강현실영상 투영시스템 및 그 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW269010B (ko) * 1994-04-04 1996-01-21 Projectavision Inc
US20020082498A1 (en) 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
US8836723B2 (en) * 2010-06-18 2014-09-16 Vantage Surgical Systems, Inc. Augmented reality methods and systems including optical merging of a plurality of component optical images
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
JP6421407B2 (ja) * 2013-08-30 2018-11-14 カシオ計算機株式会社 駆動装置、発光装置、投影装置及び制御方法
US20150205135A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686525B1 (ko) 2005-02-21 2007-02-26 한국정보통신대학교 산학협력단 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱방법
KR100726028B1 (ko) 2005-12-14 2007-06-08 한양대학교 산학협력단 환자환부의 증강현실영상 투영시스템 및 그 방법

Also Published As

Publication number Publication date
US10575920B2 (en) 2020-03-03
KR20160108926A (ko) 2016-09-21
WO2016144005A1 (ko) 2016-09-15
US20180042692A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
KR101734094B1 (ko) 증강현실영상 투영 시스템
US20240000295A1 (en) Light field capture and rendering for head-mounted displays
US20240080433A1 (en) Systems and methods for mediated-reality surgical visualization
US11911003B2 (en) Simultaneous white light and hyperspectral light imaging systems
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
US10274714B2 (en) Surgical microscope for generating an observation image of an object region
US7369101B2 (en) Calibrating real and virtual views
US9211058B2 (en) Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US8911358B2 (en) Endoscopic vision system
JP2020168569A (ja) 外科手術器具の画像取込み装置
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP3226816U (ja) 少なくとも１つの光路切替装置を備える手術用顕微鏡
US11717375B2 (en) Methods and systems for alternate image display
US11944265B2 (en) Medical imaging systems and methods
CN106455906A (zh) 具有单个图像传感器的3d腹腔镜图像捕获装置
Parsons et al. A non-intrusive display technique for providing real-time data within a surgeons critical area of interest
TW202215370A (zh) 疊合虛擬影像於即時影像的系統與方法
US20220308328A1 (en) Binocular device
Keller et al. Real-time structured light depth extraction
JP2011158644A (ja) 表示装置
JP2008227834A (ja) 頭部搭載型映像提示装置、頭部搭載型撮影装置、及び頭部搭載型映像装置
Keller et al. Switched pattern laser projection for real-time depth extraction and visualization through endoscopes
KR20140005418A (ko) 내시경 및 내시경 시스템
JP2007102079A (ja) 映像表示システム
JP2008250166A (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant