KR20180010772A - 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법 - Google Patents

근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20180010772A
KR20180010772A KR1020160093419A KR20160093419A KR20180010772A KR 20180010772 A KR20180010772 A KR 20180010772A KR 1020160093419 A KR1020160093419 A KR 1020160093419A KR 20160093419 A KR20160093419 A KR 20160093419A KR 20180010772 A KR20180010772 A KR 20180010772A
Authority
KR
South Korea
Prior art keywords
image
medical instrument
beacon
attached
medical
Prior art date
Application number
KR1020160093419A
Other languages
English (en)
Inventor
박병준
차민재
Original Assignee
박병준
차민재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박병준, 차민재 filed Critical 박병준
Priority to KR1020160093419A priority Critical patent/KR20180010772A/ko
Publication of KR20180010772A publication Critical patent/KR20180010772A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명의 실시예에 따른 의료용 3차원 영상 처리 장치는 미리 촬영된 비콘이 부착된 신체의 3 차원 영상을 저장하는 저장부; 복수의 외부 수신부로부터 상기 신체 및 헤드 마운트 디스플레이(head mounted display)에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 및 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 영상 조정부를 포함한다.

Description

근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법{Medical 3D image processing method and apparatus using augmented reality and short distance location tracking}
본 발명은 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용하는, 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법에 관한 것이다.
증강 현실 기술은 사용자가 보고 있는 실사에 가상 영상을 투영함으로써 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 로널드 아즈마(Ronald Azuma)에 따르면, 증강 현실은 첫 째, 현실의 이미지와 가상의 이미지를 결합한 것, 둘 째, 실시간으로 간섭이 가능한 것, 그리고 마지막으로 삼차원의 공간 안에 놓인 것으로 정의된다. 이는 사용자가 가상 영상에 몰입하여 실제 주변환경을 볼 수 없는 가상 현실 기술과는 차별되며, 실제 환경과 가상 객체의 혼합을 통해 보다 나은 현실감과 부가 정보를 제공한다. 이러한 증강 현실 기술은 1990년 후반부터 미국을 중심으로 연구되어 최근 스마트폰의 보급으로 본격적인 상업화가 시도되고 있으며, 게임 및 교육 분야 등에서 다양한 제품이 출시되고 있다.
증강 현실을 착용자에게 보여주는 방식으로는 착용식 컴퓨터를 머리에 쓰는 형태의 컴퓨터 화면 장치, 소위 헤드 마운트 디스플레이(head mounted display, HMD)가 있으며, 이러한 HMD는 사용자에게 실제환경에 가상 영상을 겹쳐 실시간으로 보여준다. 최근 Microsoft사에서 Hololens를 출시하는 등, HMD에 대한 개발이 활발히 이뤄지고 있다.
또한 증강 현실 기술의 발달과 함께 세계적으로 이를 의료에 접목하려는 연구가 진행되고 있으며, 특히 해부학적 구조를 보여주는 교육용 프로그램이나 수술 보조용으로 사용하려는 시도가 진행 중이다. 하지만, 기존의 의료용 증강현실은 단순한 비주얼 마커를 사용한 이미지 tracking을 기반으로 한 증강 현실 구현이다. 이미지 tracking을 기반으로 하는 방식의 경우, 영상을 촬영하고 촬영된 영상을 분석함으로써 영상 매칭을 수행하도록 한다. 그러나, 이러한 이미지 tracking 기반의 방식의 경우, 무균 무접촉을 원칙으로 하는 의료 시술이나 수술에서는 drapping이 선행되어 대부분의 신체가 무균 시트에 가려지게 되어 매칭시킬 영상을 촬영하지 못하게 되므로 증강 현실의 적용에 한계가 있다. 또한, 출혈이나 빛 반사에 의해 이미지의 정확도가 저하될 우려가 제한하는 요소로 있었다.
한편 근거리 위치 추적 기술 역시 최근 많이 연구되고 있는 분야 중 하나이다. 위치추적 시스템은 구성되는 방식에 따라 다소 차이가 있으나, 인프라 기반 방식의 경우 일정한 주기로 비콘이 신호를 방송하면 수신 장치들이 이를 수신하여 위치정보를 추출한 후 중앙 컴퓨터에서 위치를 계산한다. 근거리 위치 추적 기술에는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용되는데, 초음파의 경우 초정밀 위치추적이 가능하며 UWB기반 제품들의 경우 제조사에 따라 3D 공간에서 오차 범위 1cm 미만의 정확도를 제공하기도 한다. 또한, 이러한 오차 범위는 많은 연구가 계속되면서 점점 감소하는 추세이다.
근거리 위치추적을 위한 비콘을 환자의 신체에 부착하여 3차원으로 재건된 의료 영상을 습득하고, 이를 환자의 신체에 최소한의 오차범위로 일치시켜 사용자에게 증강 현실을 이용하여 직관적인 영상 정보를 제공하는 것을 목적으로 한다. 또한 비콘이 부착된 기구의 3차원 영상을 증강 현실을 이용하여 사용자에게 제공하여 침습적/비침습적 시술이나 수술을 더욱 용이하게 시행할 수 있도록 하는 것을 목적으로 한다.
본 발명의 일 실시예로서, 미리 촬영된 비콘이 부착된 신체의 3 차원 영상을 저장하는 저장부; 복수의 외부 수신부로부터 상기 신체 및 헤드 마운트 디스플레이(head mounted display)에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 및 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 영상 조정부를 포함하는 의료용 3차원 영상 처리 장치를 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예로서, 외부 수신부로 신호를 전송하는 비콘이 미리 결정된 위치에 부착된 비콘 장착부; 및 의료 시술이 행해지는 시술부를 포함하는 의료용 기구를 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예로서, 의료용 3차원 영상을 투영하는 헤드 마운트 디스플레이로서, 비콘이 미리 결정된 위치에 부착되는 비콘 부착부; 의료용 3차원 영상 처리 장치로부터 신체 및 헤드 마운트에 부착된 비콘의 위치 및 방향에 따라 조정된 신체의 영상 신호를 수신하는 수신부; 및 상기 수신된 신체의 영상 신호를 기초로 해당 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이를 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예로서, 복수의 외부 수신부로부터 상기 신체에 부착된 비콘 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 상기 신체의 영상을 조정하는 영상 조정부; 및 상기 조정된 신체의 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이를 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예로서, 복수의 외부 수신부로부터 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 수신하는 단계; 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하는 단계; 상기 추정된 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 단계; 및 상기 조정된 상기 신체의 영상을 상기 헤드 마운트 디스플레이로 송출하는 단계를 포함하는 의료용 3차원 영상 처리 방법을 제공하는 것을 특징으로 한다.
본 발명에 따르면 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용함으로써 보다 정확하고 편리하게 시술 또는 수술을 진행할 수 있다는 효과가 있다.
도 1은 일 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.
도 2는 의료용 3차원 영상 처리 장치(100)의 내부 구성을 개략적으로 도시한 도면이다.
도 3은 일 실시예에 따른 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다.
도 4는 비콘의 부착된 환자의 신체의 재건 영상을 도시한다.
도 5는 재건된 환자의 신체의 영상이 실제 환자의 신체 상에서 투영되는 실시를 나타내는 도면이다.
도 6은 침습용인 의료용 기구를 도시한다.
도 7은 침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다.
도 8은 비침습용 의료용 기구를 도시한다.
도 9는 비침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다.
도 10 및 도 11은 환자의 신체의 영상이 투영되는 실시를 예시적으로 도시한 도면이다.
도 12는 본 발명의 전반적인 실시 방법을 간략하게 나타낸 블록도이다.
도 13은 다른 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.
도 14는 다른 실시예에 따른 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다.
도 15는 상술한 방법 및 장치를 이용하여 시행되고 있는 시술 또는 수술의 예시적인 도면이다.
도 16은 환자의 신체의 3차원 영상이 예시적으로 도시된 도면이다.
도 17은 헤드 마운트 디스플레이가 실시간으로 영상을 촬영하여 촬영된 영상을 기초로 영상을 추가로 조정하는 실시예에 대한 도면이다.
도 18은 카메라부를 이용하여 추가적인 조정이 이루어지는 예시를 도시한다.
이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 전체적인 시스템을 간략하게 도시한다. 본 발명의 시스템은 의료용 3차원 영상 처리 장치(100), 비콘(104)이 부착된 헤드 마운트 디스플레이(102), 복수의 수신기(106) 및 환자의 신체에 부착된 복수의 비콘들(108)을 포함한다.
의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 복수의 비콘(104, 108)으로부터 송출된 신호를 수신한다. 비콘(104, 108)으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 따라서, 의료용 3차원 영상 처리 장치(100)에서의 수신기는 각 위치 추적 기술에 적합한 구성으로 이루어지게 된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다.
수신기(106)는 비콘(104, 108)의 공간적 위치를 판단할 수 있도록 그 개수가 적어도 4개인 것이 바람직하며, 위치추적 정밀도를 향상시키기 위해서는 4개 이상이 필요할 수도 있다. 또한, 환자를 수술하는 수술실에서 발생할 수 있는 다양한 상황, 예를 들어 비콘(104, 108)과 수신기(106) 사이의 장애물 등으로 인한 간섭 발생 등을 고려하여 수신기(106)의 개수를 결정할 수도 있을 것이다.
의료용 3차원 영상 처리 장치(100)는 비콘이 미리 정해진 위치에 부착된 환자의 신체의 3차원 영상을 저장한다. 환자의 신체의 3차원 영상은, 환자의 신체에 미지 정해진 위치에 비콘을 부착한 상태로 예컨대, CT 촬영 또는 PET 촬영 등을 시행한 후, 촬영된 영상을 3차원 영상으로 재건함으로써 생성된다. 이렇게 재건된 영상에는 환자의 신체에 미리 정해진 위치에 부착된 비콘이 포함될 수 있다. 또한, 재건된 환자의 신체의 3차원 영상에는 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 있을 수 있다. 또한, 의료용 3차원 영상 처리 장치(100)는 비콘이 미리 정해진 위치에 부착된 의료용 기구의 3차원 영상을 더 저장할 수 있다.
의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)를 통하여 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신하여, 수신된 신호 또는 정보를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한, 의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)를 통하여 의료용 기구에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신하여, 수신된 신호 또는 정보를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향을 추정한다. 즉, 의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)로부터 수신한 신호 또는 정보에 기초하여 환자, 헤드 마운트 디스플레이를 착용한 의사의 머리 및 의료용 기구의 3차원 공간에서의 자세를 추정할 수 있다.
여기서, 환자의 신체에 부착된 비콘(108)의 위치는 앞서 설명한 의료용 3차원 영상 처리 장치(100)에 저장되어 있는 환자의 신체의 영상을 촬영할 때에 비콘이 부착된 위치와 동일하다. 또한, 비콘의 개수는 적어도 3개여야 하며, 3개 이상일 수 있다.
의료용 3차원 영상 처리 장치(100)는 저장되어 있는 환자의 신체의 영상에 포함되어 있는 비콘을 추정된 비콘의 위치 및 방향과 매칭되도록, 저장되어 있는 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 또한, 의료용 3차원 영상 처리 장치(100)는 저장되어 있는 의료용 기구의 영상에 포함되어 있는 비콘이 의료용 기구에 부착된 비콘의 위치 및 방향과 매칭되도록, 저장되어 있는 의료용 기구의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다.
의료용 3차원 영상 처리 장치(100)는 또한, 상기 의료용 기구의 영상이 저장되어 있지 않은 경우 의료용 기구에 대해서 미리 저장된 정보를 기초로 하여 의료용 기구의 영상을 생성할 수 있다. 의료용 기구에 대해서 미리 저장된 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함한다. 또한, 생성될 의료용 기구가 침습용인 경우, 생성한 의료용 기구의 영상은 의료용 기구의 전체 영상일 수도 있고 혹은 그 일부분인 침습된 부분에 대한 영상일 수도 있다. 예를 들어, 의료용 기구의 일부가 환자의 신체로 침습된 경우, 생성되는 영상은, 의료용 기구의 모습 전체가 그대로 생성된 모습일 수도 있고, 의료용 기구 중 침습된 부분 전체 또는 침습된 부분 중에서도 그 일부인 의료용 기구의 끝단 만을 생성한 형태일 수도 있다.
의료용 3차원 영상 처리 장치(100)는 조정된 환자의 신체의 3차원 영상을 헤드 마운트 디스플레이로 송출한다. 또한, 의료용 3차원 영상 처리 장치(100)는 조정되거나 생성된 의료용 기구의 3차원 영상 역시 헤드 마운트 디스플레이로 송출한다.
한편, 비콘(104)이 부착된 헤드 마운트 디스플레이(102)는 상술된 의료용 3차원 영상 처리 장치(100)의 기능을 포함할 수도 있고, 의료용 3차원 영상 처리 장치(100)로부터 해당 영상 신호를 수신하여 투영하는 기능만을 포함할 수도 있다.
먼저, 의료용 3차원 영상 처리 장치(100)로부터 해당 영상 신호를 수신하여 투영하는 기능만을 포함하는 실시예에 따른 헤드 마운트 디스플레이(102) 동작에 대해서 설명하도록 한다.
일 실시예에 따르면, 헤드 마운트 디스플레이(102)에 부착된 비콘(104)은 복수의 외부 수신기(106)로 신호를 송출한다. 또한, 헤드 마운트 디스플레이(102)는 상술된 바와 같이 의료용 3차원 영상 처리 장치(100)에서 조정된 환자의 신체의 3차원 영상 신호를 수신한다.
또한, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)에서 조정되거나 생성된 의료용 기구의 3차원 영상 신호를 수신한다.
헤드 마운트 디스플레이(102)는 조정된 환자의 신체의 3차원 영상을 렌즈부에 투영시킨다. 또한, 헤드 마운트 디스플레이(102)는 조정된 의료용 기구의 영상을 렌즈부에 투영시킬 수 있다.
즉, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 신체의 3차원 영상을 수신하여 렌즈부에 투영할 수 있다. 또는, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)로부터 의료용 기구의 영상을 수신하여 렌즈부에 투영할 수 있다.
환자의 신체에 부착된 비콘(108)은 복수 개이고, 외부 수신부(106)로 유선 또는 무선으로 신호를 전송한다. 비콘(108)은 일정한 시간 간격 또는 수시로 외부 수신부(108)로 신호를 전송할 수 있다. 또한 복수의 비콘(108) 각각은 신호 전송시 자신을 식별할 수 있는 정보를 신호 내에 포함시킬 수도 있을 것이다.
도 2는 의료용 3차원 영상 처리 장치(100)의 내부 구성을 개략적으로 도시한 도면이다.
의료용 3차원 영상 처리 장치(100)는 저장부(200), 비콘 신호 수신부(202), 송출부(204), 영상 조정부(206), 영상 생성부(208)를 포함한다.
저장부(200)에는 비콘을 부착한 환자의 신체가 CT 또는 PET 촬영 등으로 촬영된 3차원 영상이 저장되어 있을 수 있다. 또한, 저장부(200)에는 의료용 기구에 대한 정보가 저장되어 있을 수 있다. 의료용 기구에 대한 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함할 수 있다. 또한, 실시예에 따라 저장부(200)에는 의료용 기구의 영상이 저장되어 있을 수 있다.
비콘 신호 수신부(202)는 외부 복수의 수신부(106)를 통하여 환자의 신체에 부착된 비콘(108) 및 헤드 마운트 디스플레이(102)에 부착된 비콘(104)으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신한다. 비콘 신호 수신부(202)는 이용되는 위치 추적 기술, 예를 들어, Wi-Fi, UWB, Bluetooth, RFID, 초음파 등에 따라 적합한 형태를 가질 수 있다. 이는 통상의 기술자라면 자명한 사항이므로 구체적인 서술은 생략한다. 또한, 비콘 신호 수신부(202)는 외부 복수의 수신부(106)을 통하여 의료용 기구 상에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신한다.
영상 조정부(206)는 상기 수신된 환자의 신체에 부착된 비콘(108) 및 헤드 마운트 디스플레이(102)에 부착된 비콘(104)으로부터 송출된 신호 또는 정보를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한 영상 조정부(206)는 추정된 비콘의 위치 및 방향에 따라, 저장되어 있는 환자의 신체의 영상에 포함되어 있는 비콘에 대응시켜, 저장되어 있는 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 즉, 헤드 마운트 디스플레이(102)의 비콘(104) 신호에 기초하여 사용자의 시야를 추정하며, 해당 시야에서 보이는 실제 3차원 공간에서 환자의 신체의 3차원 영상이 실제 환자와 겹쳐질 수 있도록 환자의 신체의 3차원 영상의 크기, 방향, 위치 등을 조정한다.
또한, 영상 조정부(206)는 헤드 마운트 디스플레이(102)에 부착된 비콘(104) 및 수신된 의료용 기구에 부착된 비콘으로부터 송출된 신호 또는 정보를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향를 추가로 추정한다. 영상 조정부(206)는 추정된 의료용 기구에 부착된 비콘의 위치 및 방향을 기초로 저장되어 있는 의료용 기구의 영상을 실제 환경에 투영시킬 영상으로 조정한다. 즉, 헤드 마운트 디스플레이(102)의 비콘(104) 신호에 기초하여 사용자의 시야를 추정하며, 해당 시야에서 보이는 실제 3차원 공간에서 생성된 의료용 기구의 영상이 실제 의료용 기구와 겹쳐질 수 있도록 의료용 기구의 영상의 크기, 방향, 위치 등을 조정한다.
의료용 기구가 침습용인 경우로서 의료용 기구가 실제 환자의 신체 내로 침습된 경우, 실제 환경에 투영시킬 영상은 의료용 기구 중 신체 내로 침습된 부분의 영상일 수 있다. 또는 의료용 기구가 신체 내로 침습된 부분 중 일부인 의료용 기구의 끝단만을 생성한 영상일 수도 있다. 한편, 의료용 기구가 비침습용인 경우에는, 실제 환경에 투영시킬 영상은 의료용 기구가 신체 내에 영향을 미치는 범위(예를 들면, 특정 파장이 미치는 범위)를 가시적으로 나타내는 영상이 될 수 있다.
영상 생성부(208)는 의료용 기구의 영상이 별도로 저장되어 있지 않은 경우, 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 따라 의료용 기구의 영상을 생성한다. 영상 생성부(208)는 의료용 기구가 침습용인 경우에는, 의료용 기구가 신체 내로 침습된 부분의 의료용 기구의 끝단만을 나타내는 영상을 생성하거나, 의료용 기구 자체에 대한 영상을 생성할 수 있다. 한편, 영상 생성부(208)는 의료용 기구가 비침습용인 경우에는, 시술 또는 수술시 의료용 기구가 신체 내에 미치는 영향을 가시적으로 나타내는 영상을 생성할 수 있다.
송출부(204)는 조정된 환자의 신체의 3차원 영상을 헤드 마운트 디스플레이(102)로 송출할 수 있다. 또한, 송출부(204)는 조정되거나 생성된 의료용 기구에 대한 영상을 헤드 마운트 디스플레이(102)로 송출할 수 있다.
도 3은 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다. 실시예에 따라, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)의 기능을 모두 또는 일부를 수행할 수 있다. 또한, 실시예에 따라, 헤드 마운트 디스플레이는(102)는 별도의 기능없이 의료용 3차원 영상 처리 장치(100)로부터 송출된 영상을 수신하여 투영하는 기능만을 수행할 수도 있다.
먼저, 일 실시예에 따라, 헤드 마운트 디스플레이(102)가 의료용 3차원 영상 처리 장치(100)로부터 송출된 영상을 수신하여 투영하는 기능만을 수행하는 경우의 헤드 마운트 디스플레이(102)의 내부 구성을 설명하도록 한다.
일 실시예에서, 헤드 마운트 디스플레이(102)는 수신부(300), 영상 투영부(302) 및 렌즈부(304)를 포함한다. 또한, 헤드 마운트 디스플레이(102)에는 미리 정해진 위치에 비콘(104)이 부착되어 있다.
수신부(300)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 환자의 신체의 3차원 영상을 수신한다. 또는, 의료용 3차원 영상 처리 장치(100)로부터 조정되거나 생성된 의료용 기구의 영상을 수신한다.
영상 투영부(302)는 수신부(300)에서 수신한 조정된 환자의 신체의 3차원 영상 및 의료용 기구의 영상을 렌즈부(304)에 투영한다. 영상 투영부(302)는 투영하는 영상이 렌즈부(304)에서 결상되어 사용자가 실제 3차원 공간상에서 증강 영상으로 인식될 수 있도록 수신부(300)에서 수신한 영상을 투영한다.
렌즈부(304)는 영상 투영부(302)에 의하여 투영된 조정된 환자의 신체의 3차원 영상의 상이 맺히도록 한다. 또한, 렌즈부(304)는 조정되거나 생성된 의료용 기구의 영상의 상이 맺히도록 한다.
도 4에는 비콘의 부착된 환자의 신체의 재건 영상이 도시되어 있다. 비콘이 부착된 환자의 신체는 CT 또는 PET 촬영 등으로 촬영된다. 예를 들어, CT 촬영으로 비콘의 부착된 환자의 신체를 촬영하여 환자의 골격, 장기 그리고 대상 병변이 각각 3차원 영상으로 재건된다. 투영하는 설정에 따라 재건된 각각의 영상을 환자의 실제 신체 상에 투영시킬 수 있다. 도 4a는 환자의 재건된 피부 영상이고, 도 4b는 환자의 재건된 폐와 혈관이 투영되는 영상이고, 도 4c는 환자의 재건된 뼈 영상이다.
도 5는 재건된 환자의 신체의 영상이 증강 현실에 의해 실제 환자의 신체 상에서 투영되는 실시를 나타내는 도면이다.
도 5에 도시된 바와 같이, 재건된 환자의 신체의 영상에 포함된 비콘에 대응하여, 실제로 환자의 신체에 부착된 비콘으로부터 송출되는 신호에 기초하여 추정된 비콘의 위치 및 방향에 매칭시켜 조정된 환자의 신체의 영상이 헤드 마운트 디스플레이(102)의 렌즈부(304) 상에 투영되어 보이는 영상이 도시된다.
또한, 재건된 환자의 신체의 영상은 사용자의 설정에 따라 환자의 내부 장기, 혈관 또는 뼈 등의 다양한 신체 영상일 수 있다.
도 6은 침습용인 의료용 기구를 도시한다. 침습용 의료용 기구는 외부 수신부로 신호를 전송하는 비콘(602)이 미리 결정된 위치에 부착된 비콘 장착부(600)와, 침습이 이루어지는 침습부(604)를 포함한다. 비콘 장착부(600) 전체 또는 비콘 장착부(600) 중 비콘(602)이 장착된 일부는 침습부(604)로부터 분리 가능하다. 비콘 장착부(600)에는 비콘(602)이 적어도 2개가 부착된다. 비콘 장착부(600)에 부착된 비콘(602)은 미리 정해진 일정한 간격 또는 수시로 복수의 외부 수신부로 신호를 송출한다.
도 7은 침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다. 도 7a는 생성된 영상이 의료용 기구의 영상인 경우의 도면이다. 의료용 기구의 영상은 미리 생성하여 저장되어 있을 수 있다. 다만, 의료용 3차원 영상 처리 장치(100) 또는 헤드 마운트 디스플레이(102)에서 의료용 기구에 부착된 비콘으로부터 실시간 송출되는 신호에 기초하여 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 저장된 의료용 기구의 영상을 조정하고, 헤드 마운트 디스플레이(102)에서 조정된 영상을 투영한다. 투영되는 의료용 기구의 영상은 환자의 신체 내로 침습된 부분이고, 도 7a에서 도시된 700부분에 해당한다. 의료용 기구의 움직임에 따른 의료용 기구 상에 부착된 비콘(602)에서 실시간으로 송출되는 신호의 변경에 기초하여 비콘의 위치나 방향의 변경을 알 수 있고, 이에 기초하여 투영되는 영상 역시 조정이 된다. 비콘의 움직임에 따라 투영되는 영상의 변경부분은 도 7a의 왼쪽과 오른쪽 도면을 통해 알 수 있다.
도 7b는 생성된 영상이 의료용 기구가 침습되어 작용하는 부분을 나타내는 표시를 생성하는 영상인 경우의 도면이다. 의료용 3차원 영상 처리 장치(100) 또는 헤드 마운트 디스플레이(102)에서 의료용 기구에 부착된 비콘으로부터 실시간 송출되는 신호에 기초하여 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 저장된 의료용 기구가 침습시에 의료용 기구의 끝단을 나타내는 표시를 영상으로 생성한다. 의료용 기구가 침습된 경우, 의료용 기구의 끝단을 나타내는 표시(704)가 도 7b에 도시되어 있다. 실제 시술 또는 수술 시에, 의료용 기구의 움직임으로 인하여 의료용 기구에 부착된 비콘(602) 역시 같이 움직임으로, 비콘(602)으로부터 실시간으로 송출된 신호의 변화를 통하여 비콘의 위치 및 방향에 변경이 생기고, 그에 대응하여 생성되는 의료용 기구의 끝단을 나타내는 표시도 변경이 된다. 비콘의 움직임에 따라 투영되는 영상의 변경부분은 도 7b의 왼쪽과 오른쪽 도면을 통해 알 수 있다.
도 8은 비침습용 의료용 기구를 도시한다. 비침습용 의료용 기구는 비콘(802)이 장착된 비콘 장착부(800) 및 의료 행위가 이루어지는 부분(804)을 포함한다. 비콘 장착부(800)는 비침습용 의료용 기구로부터 분리 가능하다. 비콘 장착부(800)에는 적어도 2개의 비콘(802)이 장착된다. 비콘 장착부(800)에 부착된 비콘(802)은 미리 정해진 일정한 간격 또는 수시로 복수의 외부 수신부로 신호를 송출한다.
도 9는 비침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다. 비침습용 의료용 기구는 예를 들어, 초음파를 이용한 기구일 수 있는데, 이 경우에는 해당 투영 영상은 환자의 신체 내에 초음파가 영향을 미치는 범위를 가시적으로 나타내는 영상일 수 있다.
도 10 및 도 11은 환자의 신체의 영상이 투영되는 실시를 예시적으로 도시한 도면이다. 도 10에는 환자의 폐 부분의 영상을 촬영하여 상술한 방법으로 환자의 신체 상에 투영되도록 한 실시예가 도시되어 있고, 도 11에는 환자의 기도 부분의 영상을 촬영하여 상술한 방법으로 환자의 신체 상에 투영되도록 한 실시예가 도시되어 있다.
도 12는 본 발명의 전반적인 실시 방법을 간략하게 나타낸 블록도이다.
환자의 신체에 부착된 비콘으로부터 비콘을 포함한 신체의 3차원 의료 영상을 촬영한다(S1200). 비콘을 포함한 신체의 3차원 의료 영상은 CT 또는 PET 촬영 등으로 촬영될 수 있다. 촬영된 영상을 기초로 비콘을 포함한 신체의 영상을 3차원으로 재건한다(S1202). 또한, 재건된 환자의 신체의 3차원 영상에는 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 있을 수 있다. 또한, 비콘의 부착된 의료용 기구의 삼차원 영상을 생성 또는 촬영하여(S1204), 비콘을 포함한 의료용 기구의 삼차원 영상을 재건한다(S1206). 여기서 의료용 기구의 삼차원 영상은 미리 저장되어 있을 수도 있고, 저장되어 있지 않은 경우, S1210에서 생성될 수도 있다. 의료용 기구의 영상을 생성하는 경우에는, 의료용 기구에 대해서 미리 저장된 정보를 기초로 생성할 수 있다. 또한, 의료용 기구의 영상은 예를 들어, 생성된 침습된 부분의 영상은, 의료용 기구의 모습 전체가 그대로 생성될 수 있고, 의료용 기구의 침습된 부분 중 의료용 기구의 끝단만을 표시하여 생성될 수도 있다.
또한, 환자의 신체에 부착된 비콘, 의료용 기구에 부착된 비콘 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호에 의하여 비콘의 위치를 추적한다(S1212). 비콘으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 따라서, 의료용 3차원 영상 처리 장치에서의 수신기는 각 위치 추적 기술에 적합한 구성으로 이루어지게 된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다. 환자의 신체에 부착된 비콘의 추적된 위치/방향, 및 비콘을 포함한 신체의 3차원 재건 영상을 이용하여 환자의 신체의 3차원 영상을 조정한다(S1214, S1208). 또한, 의료용 기구에 부착된 비콘의 추적된 위치/방향, 및 비콘을 포함한 의료용 기구의 3차원 재건 영상을 이용하여 실시간으로 의료용 기구의 재건 영상을 조정한다(S1214, S1210).
또한, 상기 S1212 에서 추정된 각 비콘의 위치를 추적하여 헤드 마운트 디스플레이의 시점을 추정할 수 있다(S1216). 조정된 환자의 신체의 영상을 헤드 마운트 디스플레이 시점에 맞춰 헤드 마운트 디스플레이의 렌즈부 상에 투영시켜 영상을 송출한다(S1218, S1220). 제공된 증강 영상을 이용하여 의사는 수술 또는 시술을 시행한다(S1222).
한편, 헤드 마운트 디스플레이가 의료용 3차원 영상 처리 장치의 기능을 수행하는 다른 실시예에 대해서 설명하도록 한다.
도 13은 비콘(1306)이 부착된 헤드 마운트 디스플레이(1300)는 상술된 의료용 3차원 영상 처리 장치(104)의 기능을 수행하는 다른 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.
헤드 마운트 디스플레이(1300)는 복수의 수신기(1302)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 복수의 비콘(1304, 1306)으로부터 송출된 신호를 수신한다. 비콘(1304, 1306)으로부터 특정 위치 추적 기술을 이용하여 신호가 수신된다. 비콘(1304, 1306)으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다. 이용되는 위치 추적 기술에 따라 헤드 마운트 디스플레이(1300)는 적합한 수신기를 가진다.
헤드 마운트 디스플레이(1300)는 비콘이 미리 정해진 위치에 부착된 환자의 신체 또는 의료용 기기의 3차원 영상을 저장할 수도 있고, 외부 장치로부터 환자의 신체 또는 의료용 기기의 3차원 영상을 수신할 수도 있다. 여기서 이용되는 수신기는 상술된 위치 추적 기술에 따라 비콘으로부터 송출되는 신호를 수신하는 수신기와는 다른 장치이다.
헤드 마운트 디스플레이(1300)는 복수의 수신기(1302)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출된 신호를 수신하여, 수신된 신호를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한, 헤드 마운트 디스플레이(1300)는 의료용 기구에 부착된 비콘으로부터 송출된 신호를 수신하여, 수신된 신호를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향을 추정한다.
수신기(1302)는 비콘의 공간적 위치를 판단할 수 있도록 그 개수가 적어도 4개인 것이 바람직하며, 위치추적 정밀도를 향상시키기 위해서는 4개 이상이 필요할 수도 있다. 또한, 환자를 수술하는 수술실에서 발생할 수 있는 다양한 상황, 예를 들어 비콘과 수신기(1302) 사이의 장애물 등으로 인한 간섭 발생 등을 고려하여 수신기(1302)의 개수를 결정할 수도 있을 것이다.
헤드 마운트 디스플레이(1300)는 추정된 비콘의 위치 및 방향에 따라 저장되어 있거나 수신된 환자의 신체의 영상에 포함되어 있는 비콘에 매칭시켜, 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 또한, 헤드 마운트 디스플레이(1300)는 의료용 기구에 부착된 비콘의 위치 및 방향에 따라 저장되어 있거나 수신된 의료용 기구에 부착된 비콘에 매칭시켜, 저장되어 있는 의료용 기구의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다.
또한, 헤드 마운트 디스플레이(1300)는 의료용 기구의 영상이 저장되어 있거나 수신하지 않는 경우, 의료용 기구에 대해서 미리 저장된 정보에 기초하여 의료용 기구의 영상을 생성할 수 있다. 의료용 기구에 대해서 미리 저장된 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함한다. 또한, 생성된 의료용 기구가 침습용인 경우, 의료용 영상은 의료용 기구의 침습부분이 환자의 신체로 침습된 경우, 침습된 부분에 대한 영상이다. 또한, 생성된 침습된 부분의 영상은, 의료용 기구의 모습 그대로 생성될 수 있고, 의료용 기구의 침습된 부분 중 의료용 기구의 끝단 만을 표시하여 생성될 수도 있다.
도 14는 헤드 마운트 디스플레이(1300)의 내부 구성을 개략적으로 도시한 도면이다. 다른 실시예에 따라, 헤드 마운트 디스플레이(1300)는 의료용 3차원 영상 처리 장치(100)의 기능을 모두 또는 일부를 수행할 수 있다. 따라서, 헤드 마운트 디스플레이(1300)는 수신부(1400), 저장부(1402), 영상 조정부(1404), 영상 생성부(1406), 렌즈부(1408) 및 비콘 신호 수신부(1410)를 포함한다. 또한, 헤드 마운트 디스플레이(1300)에는 미리 정해진 위치에 비콘(1306)이 부착되어 있다.
수신부(1400)는 저장부(1402)에 CT 또는 PET 촬영한 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상이 저장되어 있지 않은 경우, 외부 장치로부터 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상을 수신할 수 있다. 다만, 헤드 마운트 디스플레이(1300)의 저장부(1402)에 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상이 저장되어 있는 경우에는 별도의 수신부(1400)를 가지지 않아도 된다.
저장부(1402)에는 비콘의 부착된 환자의 신체의 영상이 저장되어 있을 수 있다. 또한, 저장부(1402)에는 의료용 기구의 정보 또는 의료용 기구의 영상이 저장되어 있을 수 있다. 다만, 비콘의 부착된 환자의 신체의 영상, 의료용 기구의 정보 또는 의료용 기구의 영상을 외부 장치로부터 수신하는 경우에는 별도의 저장부(1402)가 필요하지 않을 수도 있다.
영상 조정부(1404)는 수신된 비콘의 신호를 기초로 비콘의 위치 및 방향을 추정한다. 영상 조정부(1404)는 저장되거나 수신된 비콘이 포함된 환자의 신체의 영상을 추정된 비콘의 위치 및 방향에 매칭시켜 실제 환경에 투영될 영상으로 조정한다. 또한, 영상 조정부(1404)는 비콘이 포함된 의료용 기구의 영상을 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 실제 환경에 투영될 영상으로 조정한다.
영상 생성부(1406)는 의료용 기구의 영상을 별도로 저장하고 있거나 수신하지 않는 경우에, 저장된 의료용 기구의 정보에 기초하여, 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 따라, 의료용 기구의 영상을 생성할 수 있다. 생성된 의료용 기구의 영상은, 의료용 기구가 침습용인 경우, 의료용 기구의 정보에 기초하여 의료용 기구가 신체 내로 침습된 부분의 의료용 기구의 끝단만을 나타내는 영상을 생성하거나, 의료용 기구 자체에 대한 영상일 수 있다. 또는, 생성된 의료용 기구의 영상은, 의료용 기구의 정보에 기초하여, 의료용 기구가 비침습용인 경우에는, 시술 또는 수술시 의료용 기구가 신체 내에 미치는 영향을 가시적으로 나타내는 영상을 생성할 수 있다.
영상 투영부(1408)는 조정된 환자의 신체의 3차원 영상 및 조정되거나 생성된 의료용 기구의 영상을 렌즈부(1412)에 투영한다. 영상 투영부(1408)는 투영하는 영상이 렌즈부(1412)에서 결상되어 사용자가 실제 3차원 공간상에서 증강 영상으로 인식될 수 있도록 영상을 투영한다.
렌즈부(1412) 영상 투영부(1408)에 의하여 투영된 조정된 환자의 신체의 3차원 영상의 상이 맺히도록 한다. 또한, 렌즈부(1412)는 조정되거나 생성된 의료용 기구의 영상의 상이 맺히도록 한다.
비콘 신호 수신부(1410)는 복수의 외부 수신기로부터 환자의 신체 또는 헤드 마운트 디스플레이(1300)에 부착된 비콘(1304, 1306)으로부터 송출된 신호를 수신한다. 비콘에 대한 위치 추적 기술은 상술한 바와 같이, Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용되고, 사용되는 기술에 따라 비콘 신호 수신부(1410)는 해당하는 장치로 설정될 수 있다.
도 15는 상술한 방법 및 장치를 이용하여 시행되고 있는 시술 또는 수술의 예시적인 도면이다.
도 15에는 실제의 환자의 신체 상에 조정된 환자의 신체의 3차원 영상을 투영하고, 시술 또는 수술 중인 의료용 기구의 침습된 부분의 3차원 영상을 투영하여 수술 또는 시술이 진행되고 있는 실시예가 도시되어 있습니다.
도 16은 환자의 신체의 3차원 영상이 예시적으로 도시된 도면이다. 환자의 신체의 영상은 예를 들어, CT 또는 PET 촬영 등을 통해서 이루어지며, 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 보여지거나, 각각 따로따로 보여질 수 있다.
도 17은 헤드 마운트 디스플레이가 실시간으로 영상을 촬영하여 촬영된 영상을 기초로 영상을 추가로 조정하는 실시예에 대한 도면이다.
상술한 바와 같이, 헤드 마운트 디스플레이(1700)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 환자의 신체의 영상 또는 의료용 기구의 영상을 수신하여 투영하거나, 자체적으로 영상 조정부(1404)를 가지고 있어서, 환자의 신체의 영상 또는 의료용 기구의 영상을 추정된 비콘의 위치 및 방향에 매칭하여 조정하여 투영한다.
여기서, 투영되는 영상의 정확도를 더 높이기 위하여, 헤드 마운트 디스플레이(1700)는 실시간으로 사용자의 시야범위를 촬영하는 카메라부(1706)를 구비하여, 실시간으로 촬영된 영상을 기초로 상기 조정된 환자의 신체의 영상 또는 의료용 기구의 영상을 추가적으로 조정할 수 있다. 즉, 실시간으로 촬영된 영상에 포함된 환자의 신체 또는 환자의 신체에 장착된 비콘 중 적어도 일부에 기초하여 조정된 환자의 신체 영상 또는 의료용 기구의 영상을 추가적으로 조정하여 실제 3차원 공간과 조정된 환자의 신체 영상 또는 의료용 기구의 영상을 더욱 정확하게 매칭시킬 수 있다.
예를 들어, 도 18에 도시된 바와 같이, 카메라부(1706)에 의하여 촬영된 영상에서의 좌표계와, 환자의 신체의 영상의 좌표계를 각각 산출하고, 두 좌표계에서 동일하게 포함되어 있는 환자의 신체 또는 비콘들이 일치되도록 하는 좌표계 변환 행렬을 환자의 신체의 영상, 의료용 기구 등에 적용함으로써 추가적인 조정을 수행할 수 있을 것이다. 그러나 상술한 추가 조정 방법은 예시적인 것으로 이에 한정되는 것은 아니다.
상술된 장치 및 방법에 따라 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용함으로써 보다 정확하고 편리하게 시술 또는 수술을 진행할 수 있다는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.
또한, 아울러 본 명세서에 개시되는 다양한 실시 예들은 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (27)

  1. 미리 촬영된 비콘이 부착된 신체의 3 차원 영상을 저장하는 저장부;
    복수의 외부 수신부로부터 상기 신체 및 헤드 마운트 디스플레이(head mounted display)에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 및
    상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 영상 조정부를 포함하는 의료용 3차원 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 영상 조정부는 상기 헤드 마운트 디스플레이에서 상기 신체의 영상이 상기 비콘이 부착된 실제 환자와 매칭되어 표시되도록 상기 신체의 영상을 조정하는 의료용 3차원 영상 처리 장치.
  3. 청구항 1에 있어서,
    상기 저장부는 비콘이 부착된 의료용 기구의 영상을 더 저장하고,
    상기 수신부는 상기 의료용 기구 상에 부착된 비콘으로부터 송출된 신호를 더 수신하고,
    상기 영상 조정부는 상기 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 기초로 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향에 따라 상기 의료용 기구의 영상을 조정하는 의료용 3차원 영상 처리 장치.
  4. 청구항 1에 있어서,
    상기 수신부는 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 더 수신하고,
    상기 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 기초로 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향을 추정하고, 추정된 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향에 따라 의료용 기구의 영상을 생성하는 영상 생성부를 포함하는 의료용 3차원 영상 처리 장치.
  5. 청구항 4에 있어서,
    상기 의료용 기구가 침습용인 경우에는,
    상기 의료용 기구의 영상은 상기 의료용 기구의 신체에 침습된 부분을 의료용 기구의 정보에 기초하여 영상인 의료용 3차원 영상 처리 장치.
  6. 청구항 4에 있어서,
    상기 의료용 기구가 비침습용인 경우에는,
    상기 의료용 기구의 영상은 상기 의료용 기구로부터 방출되는 파장의 범위를 가시적으로 나타내는 영상인 의료용 3차원 영상 처리 장치.
  7. 청구항 5에 있어서,
    상기 의료용 기구의 정보는 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함하고,
    상기 의료용 기구의 정보는 상기 저장부에 저장되어 있는 의료용 3차원 영상 처리 장치.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서,
    상기 영상 조정부에서 조정된 상기 신체의 영상을 상기 헤드 마운트 디스플레이로 송출하는 송출부를 더 포함하는 의료용 3차원 영상 처리 장치.
  9. 청구항 3 내지 7 중 어느 한 항에 있어서,
    상기 영상 생성부에서 생성된 의료용 기구의 영상을 상기 헤드 마운트 디스플레이로 송출하는 송출부를 더 포함하는 의료용 3차원 영상 처리 장치.
  10. 청구항 6에 있어서,
    상기 의료용 기구가 시술자에게 비가시일 때에만 영상을 생성하는 의료용 3차원 영상 처리 장치.
  11. 외부 수신부로 신호를 전송하는 비콘이 미리 결정된 위치에 부착된 비콘 장착부; 및
    의료 시술이 행해지는 시술부를 포함하는 의료용 기구.
  12. 청구항 11에 있어서,
    상기 비콘 장착부는 상기 의료용 기구로부터 탈착가능한 의료용 기구.
  13. 청구항 11에 있어서,
    상기 비콘 장착부는 상기 비콘이 적어도 2 개가 부착되는 의료용 기구.
  14. 의료용 3차원 영상을 투영하는 헤드 마운트 디스플레이로서,
    비콘이 미리 결정된 위치에 부착되는 비콘 부착부;
    의료용 3차원 영상 처리 장치로부터 신체 및 헤드 마운트에 부착된 비콘의 위치 및 방향에 따라 조정된 신체의 영상 신호를 수신하는 수신부; 및
    상기 수신된 신체의 영상 신호를 기초로 해당 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이.
  15. 복수의 외부 수신부로부터 상기 신체에 부착된 비콘 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부;
    상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 상기 신체의 영상을 조정하는 영상 조정부; 및
    상기 조정된 신체의 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이.
  16. 청구항 15에 있어서,
    상기 미리 촬영된 비콘이 부착된 신체의 영상이 저장되어 있는 저장부를 더 포함하는 헤드 마운트 디스플레이.
  17. 청구항 15에 있어서,
    상기 미리 촬영된 비콘이 부착된 신체의 영상은 상기 수신부로 수신되는 헤드 마운트 디스플레이.
  18. 청구항 16에 있어서,
    상기 저장부는 비콘이 부착된 의료용 기구의 영상을 더 저장하고,
    상기 수신부는 상기 의료용 기구 상에 부착된 비콘으로부터 송출된 신호를 더 수신하고,
    상기 영상 조정부는 상기 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 기초로 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향에 따라 상기 의료용 기구의 영상을 조정하는 헤드 마운트 디스플레이.
  19. 청구항 17에 있어서,
    상기 수신부는 상기 복수의 수신부로부터 의료용 기구 상에 부착된 비콘으로부터 송출된 신호를 더 수신하고,
    상기 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 기초로 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향을 추정하고, 추정된 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향에 따라 의료용 기구의 영상을 생성하는 영상 생성부를 더 포함하는 헤드 마운트 디스플레이.
  20. 청구항 19에 있어서,
    상기 의료용 기구가 침습용인 경우에는,
    상기 의료용 기구의 영상은 상기 의료용 기구의 신체에 침습된 부분을 의료용 기구의 정보에 기초하여 영상으로 생성하는 헤드 마운트 디스플레이.
  21. 청구항 20에 있어서,
    상기 의료용 기구의 정보는 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함하고,
    상기 의료용 기구의 정보는 상기 저장부에 저장되어 있는 헤드 마운트 디스플레이.
  22. 청구항 15에 있어서,
    영상을 실시간으로 촬영하는 카메라부를 더 포함하고,
    상기 영상 조정부는 상기 카메라부에서 촬영된 영상에 포함된 상기 환자의 신체 또는 상기 환자의 신체에 부착된 비콘에 기초하여 상기 조정된 신체의 영상을 추가로 조정하는 헤드 마운트 디스플레이.
  23. 복수의 외부 수신부로부터 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 수신하는 단계;
    상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하는 단계;
    상기 추정된 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 단계; 및
    상기 조정된 상기 신체의 영상을 상기 헤드 마운트 디스플레이로 송출하는 단계를 포함하는 의료용 3차원 영상 처리 방법.
  24. 청구항 23에 있어서,
    상기 복수의 수신부로부터 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 수신하는 단계;
    상기 의료용 기구 상에 부착된 비콘으로부터 송출되는 신호를 기초로 상기 의료용 기구 상에 부착된 비콘의 위치 및 방향을 추정하는 단계; 및
    상기 추전된 의료용 기구 상에 부착된 비콘의 위치 및 방향에 따라 의료용 기구의 영상을 생성하여 상기 헤드 마운트 디스플레이로 송출하는 단계를 더 포함하는 의료용 3차원 영상 처리 방법.
  25. 청구항 24에 있어서,
    상기 의료용 기구가 침습용인 경우에는,
    상기 의료용 기구의 영상은 상기 의료용 기구의 신체에 침습된 부분을 의료용 기구의 정보에 기초하여 영상으로 생성하는 의료용 3차원 영상 처리 장치.
  26. 청구항 24에 있어서,
    상기 의료용 기구가 비침습용인 경우에는,
    상기 의료용 기구의 영상은 상기 의료용 기구로부터 방출되는 파장의 범위를 가시적으로 나타내는 영상인 의료용 3차원 영상 처리 장치.
  27. 청구항 25에 있어서,
    상기 의료용 기구의 정보는 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함하는 의료용 3차원 영상 처리 장치.
KR1020160093419A 2016-07-22 2016-07-22 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법 KR20180010772A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160093419A KR20180010772A (ko) 2016-07-22 2016-07-22 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160093419A KR20180010772A (ko) 2016-07-22 2016-07-22 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020180058098A Division KR101876985B1 (ko) 2018-05-23 2018-05-23 근거리 위치 추적 및 증강 현실을 이용한 의료용 기구
KR1020180058099A Division KR101876998B1 (ko) 2018-05-23 2018-05-23 근거리 위치 추적 및 증강 현실을 이용한 헤드 마운트 디스플레이
KR1020180077084A Division KR101907989B1 (ko) 2018-07-03 2018-07-03 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 시스템

Publications (1)

Publication Number Publication Date
KR20180010772A true KR20180010772A (ko) 2018-01-31

Family

ID=61083252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160093419A KR20180010772A (ko) 2016-07-22 2016-07-22 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180010772A (ko)

Similar Documents

Publication Publication Date Title
US11707330B2 (en) Systems and methods for surgical navigation
US11481868B2 (en) System and method of providing real-time dynamic imagery of a medical procedure she using multiple modalities
US20220296208A1 (en) Loupe display
EP2001390B1 (en) System for 3-d tracking of surgical instrument in relation to patient body
KR101647467B1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
CN110023884B (zh) 可穿戴运动跟踪系统
US20190254753A1 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN109152615A (zh) 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN108289598A (zh) 描绘系统
CN107182200B (zh) 微创手术导航系统
US20200129240A1 (en) Systems and methods for intraoperative planning and placement of implants
WO2006086223A2 (en) Augmented reality device and method
EP2424422A1 (en) Real-time depth estimation from monocular endoscope images
JP2008018015A (ja) 医用ディスプレイ装置及び医用ディスプレイシステム
CN113197666A (zh) 用于手术导航的装置及系统
KR101876998B1 (ko) 근거리 위치 추적 및 증강 현실을 이용한 헤드 마운트 디스플레이
CN109717957B (zh) 基于混合现实的控制系统
KR101907989B1 (ko) 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 시스템
US20150301439A1 (en) Imaging Projection System
KR101876985B1 (ko) 근거리 위치 추적 및 증강 현실을 이용한 의료용 기구
KR20180010772A (ko) 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법
JP6795744B2 (ja) 医療支援方法および医療支援装置
KR102460821B1 (ko) 증강 현실 장치 및 증강 현실 장치의 동작 방법
CN209916196U (zh) 跟踪器、扫描装置及手术定位系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment