KR100726028B1 - 환자환부의 증강현실영상 투영시스템 및 그 방법 - Google Patents

환자환부의 증강현실영상 투영시스템 및 그 방법 Download PDF

Info

Publication number
KR100726028B1
KR100726028B1 KR1020050123069A KR20050123069A KR100726028B1 KR 100726028 B1 KR100726028 B1 KR 100726028B1 KR 1020050123069 A KR1020050123069 A KR 1020050123069A KR 20050123069 A KR20050123069 A KR 20050123069A KR 100726028 B1 KR100726028 B1 KR 100726028B1
Authority
KR
South Korea
Prior art keywords
augmented reality
patient
affected part
reality image
computer
Prior art date
Application number
KR1020050123069A
Other languages
English (en)
Inventor
박종일
김영수
이병주
강갑철
유세운
이문현
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020050123069A priority Critical patent/KR100726028B1/ko
Application granted granted Critical
Publication of KR100726028B1 publication Critical patent/KR100726028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared

Abstract

본 발명은 환자환부의 증강현실영상 투영시스템에 관한 것으로, 보다 상세하게는 수술시 의사가 절개해야 하는 위치, 종양의 위치와 크기 등을 실시간으로 환자에게 직접 증강현실 영상으로 투사해 줌으로써 보다 정확한 시술을 가능하게 하는 환자환부의 증강현실영상 투영시스템 및 그 방법에 관한 것으로, 환자의 환부를 촬영하고 촬영된 환부에서 추출한 환부영상신호를 출력하는 카메라; 의사와 환자의 환부 위치를 추적하여 추출된 위치정보신호를 출력하는 트래커; 상기 환자의 환부에 대한 증강현실 영상신호를 인가받아 환자의 환부에 직접 투영하는 빔프로젝터; 소정의 제어에 의해 수술실을 비추는 조명; 및 상기 카메라로부터 인가받은 환자의 환부영상신호를 이용하여 증강현실 영상신호를 생성한 후 상기 빔프로젝터로 인가하고, 상기 트래커로부터 인가받은 위치정보신호를 이용하여 상기 빔프로젝터의 타깃영상의 각도를 조절하여 의사의 눈과 환자의 표면과 환자 몸속의 환부를 일직선으로 유지시키는 컴퓨터; 로 이루어져 있다.
증강현실, 직접투영, 빔프로젝터

Description

환자환부의 증강현실영상 투영시스템 및 그 방법 {Augmented Reality Projection System of Affected Parts And Method Therefor}
도 1은 본 발명의 환자환부의 증강현실영상 투영시스템의 구성을 도시한 블록도이고,
도 2는 본 발명의 환자환부의 증강현실영상 투영시스템을 나타낸 도면이고,
도 3은 본 발명의 환자환부의 증강현실영상 투영시스템의 작동과정을 나타낸 플로우차트이다.
* 도면의 주요 부분에 대한 부호의 설명
1: 의사 3: 환자
1-1: 적외선마커 3-1: 적외선환부마커
100: 컴퓨터 200: 트래커
210: 적외선 카메라 300: 카메라
400: 빔프로젝터 500: 조명
본 발명은 환자환부의 증강현실영상 투영시스템에 관한 것으로, 보다 상세하게는 수술시 의사가 절개해야 하는 위치, 종양의 위치와 크기 등을 실시간으로 환자에게 직접 증강현실 영상으로 투사해 줌으로써 보다 정확한 시술을 가능하게 하는 투영시스템 및 그 방법에 관한 것이다.
증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로 주로 HMD를 사용한다.
HMD란 Head Mounted Display의 약자로써 말 그대로 머리에 쓰는 디스플레이를 말하는 것으로서 크게 모노와 스테레오 방식과 모양에 따라 개방형과 밀폐형이 있다. 이것은 우리가 영화를 보는 것처럼 우리의 시야를 HMD로 막아줌으로써 몰입을 하는데 더욱더 큰 효과를 준다.
하지만, 현재까지 프로젝터(Projector)를 기반으로 하는 증강현실(AR) 시스템의 기술은 미비한 실정이다. 캐나다의 Traxtal에서 개발한 레이저 프로젝션 증강현실(Laser Projection augmented reality)시스템이 있긴 하지만 이는 단지 레이저 (Laser)만을 이용하므로 다양한 시각화가 불가능한 문제가 있다.
한편, 의사가 환자에게 의술을 시술함 있어서는 일정 정도 이상의 정밀도를 확보해야하며 집도의는 수술 중에 현재 진행상황을 지속적으로 확인할 수 있어야 한다. 특히 뇌수술과 같은 수술의 경우 집도의가 원하는 시야를 능동적으로 확보해 주어야 하는데 이런 과제를 해결하기 위해서는 현재의 수술 시스템으로는 부족한 면이 있다.
이에, 내비게이션(Navigation) 시스템 등이 이 문제를 해결하고자 수술시 이용된다. 내비게이션 시스템이란 적외선과 컴퓨터 항법장치, 카메라를 이용하여 환자의 인공관절 수술부위를 컴퓨터에 입력하고 모니터에 비춰진 영상을 이용하여 보다 정확하고 정밀하게 시술하는 전문수술 시스템이다. 기존의 수술법이 의사의 경험에 의존한 것이라면 내비게이션 수술은 컴퓨터를 통한 정확한 검증 과정을 거친 방법인 만큼 정확도가 높다.
하지만, 내비게이션(Navigation) 시스템만으로는 효과적인 디스플레이가 불가능하다. 즉, 획득된 영상들은 대부분 2차원 영상들이어서 진료에 있어서 의사의 많은 경험과 판단을 요구하며, 실제 시술에 있어서도 이러한 정보들은 시술자의 상상에 의존해서 실제 환자의 상태를 파악하게 되므로 자칫 실수를 유발하게 되거나 정확한 시술이 어렵다는 문제점이 있다.
따라서, 본 발명의 목적은 상기와 같은 종래기술의 제반 문제점을 해결하기 위한 것으로, 수술시 의사가 절개해야 하는 위치, 종양의 위치와 크기 등을 실시간 으로 환자에게 직접 증강현실 영상으로 투사해 줌으로써, 보다 정확한 시술을 가능하게 하는 환자환부의 증강현실영상 투영시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 밝기를 보정하고 하이라이트를 제거함으로써, 환자에게 증강현실 영상을 좀 더 명확하게 표현할 수 있을 뿐 아니라, 증강현실 영상이 투영되는 경로의 장애물을 능동적으로 회피하고 투영되는 부위의 조명을 자동으로 낮춤으로써, 의사가 수술에 더욱 집중할 수 있게 하는 투영시스템 및 그 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 기술적 수단은, 환자환부의 증강현실영상 투영시스템에 있어서: 환자의 환부를 촬영하여 생성된 환부영상신호를 출력하는 카메라; 의사와 환자의 환부 위치를 추적하여 추출된 위치정보신호를 출력하는 트래커; 상기 환자의 환부에 대한 증강현실 영상신호를 인가받아 환자의 환부에 직접 투영하는 빔프로젝터; 소정의 제어에 의해 수술실을 비추는 조명; 및 상기 카메라로부터 인가받은 환자의 환부영상신호를 이용하여 증강현실 영상신호를 생성한 후 상기 빔프로젝터로 인가하고, 상기 트래커로부터 인가받은 위치정보신호를 이용하여 상기 빔프로젝터의 타깃영상의 각도를 조절하여 의사의 눈과 환자의 표면과 환자 몸속의 환부를 일직선으로 유지시키는 컴퓨터;를 구비한 것을 특징으로 한다.
또한, 상기 컴퓨터는 소정의 촬영장비를 통해 획득된 환자의 환부에 대한 위치정보를 미리 보유하고 있는 것을 특징으로 한다.
상기 트래커는 의사의 머리와 환자의 환부 측에 각각 설치된 적외선마커를 인식하고, 의사의 머리에 부착된 적외선마커와 환자의 환부에 부착된 적외선환부마커를 각각 검출하되, 스테레오비전 기술을 이용하여 각각의 위치를 추출하는 복수의 적외선 카메라로 이루어진 것을 특징으로 한다.
상기 카메라 또는 상기 빔프로젝터는 상기 컴퓨터의 제어에 따라 증강현실 투영 공간의 장애물을 회피하여 능동적으로 움직이도록 구성된 것을 특징으로 한다.
상기 카메라 및 상기 빔프로젝터는 상기 컴퓨터의 제어에 따라 증강현실 투영 공간의 장애물을 회피하여 능동적으로 움직이도록 구성된 것을 특징으로 한다.
그리고 상기 빔프로젝터는 환자의 환부에 투영되는 증강현실 영상의 색상을 광학적으로 보상하기 위해 다수 개로 설치되고 상기 조명은 상기 컴퓨터의 제어에 의해 상기 빔프로젝터에 의해 증강현실 영상이 투영되는 부분의 밝기를 약하게 조절하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 다른 기술적 방법은 환자환부의 증강현실영상 투영방법에 있어서: 수술을 집도할 의사가 환자의 환부에 대한 정보를 컴퓨터에 입력하는 제 1단계; 상기 트래커가 의사의 위치를 검출하여 생성한 정보를 상기 컴퓨터로 인가하여 의사의 위치를 기준 좌표로 설정하도록 하는 제 2단계; 상기 카메라와 상기 빔프로젝터와 상기 트래커가 각각의 좌표계를 컴퓨터로 전송하는 제 3단계; 상기 트래커가 의사와 환자의 위치를 검출하여 생성한 위치정보를 상기 컴퓨터로 보내는 제 4단계; 상기 컴퓨터가 미리 입력된 환자의 환부정보와 상기 카 메라로부터 인가받은 환부영상신호와 상기 트래커로부터 인가받은 위치정보신호를 이용하여 증강현실 영상신호를 생성하여 빔프로젝터로 인가하는 제 5단계; 및 상기 빔프로젝터가 증강현실 영상을 환자의 환부에 투영하는 제 6단계;를 수행하는 것을 특징으로 한다.
상기 제 5단계는 현실의 3차원 좌표와 이미지의 2차원 좌표와의 관계를 교정하는 단계; 교정이 이루어진 상기 카메라와 상기 빔프로젝터 간에 일치되는 포인트를 찾기 위해 패턴코딩 기법을 사용하는 단계; 및 상기 교정된 좌표와 일치된 포인트를 이용해 삼각측량법을 사용하여 3차원 위치정보를 생성하는 단계;를 포함한 것을 특징으로 한다.
상기 제 6단계는 상기 빔프로젝터로부터 투영된 영상의 밝기를 보정하기 위하여 상대적으로 밝은 픽셀은 낮추고 어두운 픽셀의 밝기는 높이고, 상기 빔프로젝터로부터 투영된 영상의 하이라이트를 제거하기 위하여 복수의 빔프로젝터를 사용하는 것을 특징으로 한다.
특히, 상기 복수의 빔프로젝터는 출력하는 영상의 각 부분마다 하이라이트가 생길 확률을 각각 계산하고, 이를 서로 비교하여 보다 낮은 쪽만 그 부분에 영상을 출력하도록 하는 것을 특징으로 한다.
그리고 상기 제 6단계는 증강현실 영상이 투영되는 부분에 조명의 밝기를 약하게 조절하여 증강현실 영상이 조명에 의해 사라지거나 왜곡되는 것을 방지하고 증강현실 영상이 투영되는 경로에 장애물이 있을 경우 그 장애물을 회피해서 증강현실 영상을 투영하는 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 살펴보고자 한다.
도 1은 본 발명에 따른 환자환부의 증강현실영상 투영시스템을 나타낸 블록도이고, 도 2는 본 발명의 환자환부의 증강현실영상 투영시스템을 구비한 수술실의 입체가상도로서, 컴퓨터(100), 트래커(200), 카메라(300), 빔프로젝터(400) 그리고 조명(500) 로 구성되어있다.
상기 컴퓨터(100)는 상기 카메라(300)로부터 인가받은 환자(3)의 환부 영상신호를 이용하여 증강현실 영상신호를 생성한 후 상기 빔프로젝터(400)로 인가하고, 상기 트래커(200)로부터 인가받은 위치정보신호를 이용하여 상기 빔프로젝터(400)의 타깃영상의 투사각도를 조절하여 의사의 눈과 환자의 표면과 환자 몸속의 환부를 일직선으로 유지시키면서 구성되어 있다.
이때 상기 컴퓨터(100)에는 환자의 몸속 환부의 위치가 MRI나 X-ray장비 등에 의해 촬영한 정보를 바탕으로 미리 입력되어 있다. 좀 더 자세히 설명하면 수술 전에 의사(1)는 머리 쪽에 적외선마커(1-1)를 부착하고, 환자(3)의 환부에는 MRI나 X-ray를 찍을 때부터 적외선환부마커(3-1)를 부착한 후 영상을 촬영하여 몸속 환부의 위치와 피부표면에 부착한 적외선환부마커(3-1)의 3차원 관계정보를 도출하는 것이다.
상기 트래커(200)로 부터 의사(1)의 적외선마커(1-1)와 환자(3)의 적외선환부마커(3-1)를 추적하여 검출한 위치정보신호를 인가받고, 상기 카메라(300)로부터 환자(3)의 환부에서 추출한 환부영상신호를 인가받아 증강현실 영상신호를 생성하 여 상기 빔프로젝터(400)로 인가한다.
그리고, 상기 빔프로젝터(400)는 상기 컴퓨터(100)가 만들어낸 증강현실 영상신호를 인가받아 환자(3)의 환부에 증강현실 영상을 직접 투영하도록 구성되어 있다.
이때, 상기 컴퓨터(100)는 증강현실 영상이 투영되는 부분의 수술실 상기 조명(500)을 약하게 조절하고, 상기 카메라(300)와 상기 빔프로젝터(400)는 상기 컴퓨터(100)의 제어에 따라 증강현실이 투영되는 공간의 장애물을 회피하여 능동적으로 함께 움직이거나 따로 움직이도록 구성되어 있다.
또한, 상기 트래커(200)는 의사(1)의 상기 적외선마커(1-1)와 환자(3)의 상기 적외선환부마커(3-1)를 검출하고, 2대의 카메라가 서로 다른 위치에서 잡은 영상을 바탕으로 3차원 물체를 인식하는 '스테레오비전 기술'을 이용하기 위한 복수의 적외선 카메라(210)로 구성되어 있다.
도 3은 본 발명에 따른 환자환부의 증강현실영상 투영시스템을 나타낸 계략적인 흐름도로서, 이를 참조하여 본 발명의 제반 동작과정을 살펴보면 아래와 같다.
먼저, 수술 전 의사가 상기 컴퓨터(100)에 환자(3)의 환부의 위치에 관한 정보를 미리 입력한다(S1). 또한 의사(1)는 자신의 위치를 상기 트래커(200)로 전송하기 위해 적외선마커(1-1)를 머리에 부착하고, 환자(3)의 환부정보를 추출하기 위해 MRI나 X-ray를 찍을 때부터 적외선환부마커(3-1)를 환부 피부 표면에 부착한다.
환자(3)가 수술대에 위치하면 상기 트래커(200)는 의사(1)가 머리에 부착하고 있는 적외선마커(1-1)의 위치를 검출하여 생성한 위치정보신호를 상기 컴퓨터(100)로 인가하여 의사(1)의 위치를 기준 좌표로 설정하도록 한다(S2).
상기 카메라(300)와 상기 빔프로젝터(400)는 각각 분리된 교정이 이루어져 각각의 좌표계를 컴퓨터(100)로 전송하고(S3), 상기 트래커(200) 또한 트래커의 좌표계를 상기 컴퓨터(100)로 인가한다(S4). 여기서 '교정'이라함은 현실세계의 3차원 좌표와 이미지의 2차원 좌표와의 관계를 계산함을 의미한다.
이어서, 상기 트래커(200)는 의사(1)와 환자(3)가 각각 부착하고 있는 적외선마커(1-1)와 적외선환부마커(3-1)의 위치를 검출하여 생성한 위치정보신호를 상기 컴퓨터(100)로 보낸다(S5).
상기 컴퓨터(100)가 상기 카메라(300)로부터 인가받은 환부영상신호와 상기 트래커(200)로부터 인가받은 위치정보신호를 이용하여 증강현실 영상신호를 생성하여 빔프로젝터(400)로 인가한다(S6).
상기 컴퓨터(100)가 증강현실 영상신호를 생성하는 과정을 좀 더 구체적으로 설명하면, 교정(Calibration)이 이루어진 카메라(300)와 프로젝트 간에 일치되는 포인트(Correspondence Point)를 찾기 위해 패턴코딩(Pattern Coding)기법이 사용되고 삼각측량법(Triangulation Method)을 사용하여 증강현실 영상이 투영되는 표면(환자의 환부)의 3차원 정보를 얻을 수 있다.
한편, 상기 빔프로젝터(400)로 부터 환자(3)의 환부로 증강현실 영상을 투영하는 과정에서 투영경로에 장애물의 유무를 판단하여(S7), 장애물이 없을 경우에는 증강현실 영상이 바로 투영되고(S8), 장애물이 있을 경우 상기 컴퓨터(100)의 제어에 의해 카메라(300)와 빔프로젝터가 이동하면서 장애물을 피해 증강현실 영상이 투영된다(S9).
이때 상기 컴퓨터(100)는 수술실 내부의 상기 조명(500)과 연동하여 증강현실 영상이 투영되는 부분에 상기 조명(500)의 밝기를 약하게 조절하여 증강현신 영상이 상기 조명(500)에 의해 사라지거나 왜곡되는 것을 방지한다(S10).
의사(1)가 환자(3)의 환부에 투영된 증강현실 영상을 보면서 수술을 한다(S11).
그럼, 위에서 설명한 증강현실 영상을 투영하는 과정에서, 평면 스크린이 아닌 3차원 물체에 직접 프로젝터를 투사할 때 발생하는 환부 표면과 시점간의 위치관계에 의한 영상의 밝기 및 하이라이트 발생에 대한 문제를 해결하기 위한 방법을 좀 더 살펴보자.
일반적으로, 환부와 같이 평면이 아닌 곳에 프로젝터로 이미지를 비출 때는 프로젝터와의 각도와 표면의 형태에 따라 밝기에 차이가 생긴다.
프로젝터가 비출 수 있는 최대 밝기에는 한계가 있으므로 가장 밝게 보이는 지점과 가장 어두운 지점 사이의 어떤 점을 밝기의 기준으로 해서 이미지 전체의 밝기가 일정하도록 조절한다. 표면과 프로젝터 사이의 각도에 따라 주로 밝기가 차이나기 때문에, 표면과 프로젝터의 3차원 좌표를 미리 알고 있어야 하고, 밝기는 수학식 1과 같이 보정할 수 있다.
Figure 112005073082593-pat00001
단,
Figure 112005073082593-pat00002
은 각 픽셀에서 밝기의 최소값(0),
Figure 112005073082593-pat00003
는 최대값(255)이며,
Figure 112005073082593-pat00004
는 원래의 픽셀값,
Figure 112005073082593-pat00005
는 밝기가 보정된 값이다.
이때,
Figure 112005073082593-pat00006
는 수학식 2와 같이 계산된다.
Figure 112005073082593-pat00007
단,
Figure 112005073082593-pat00008
는 표면의 매질에 의한 상수값,
Figure 112005073082593-pat00009
는 밝기의 기준이 되는 각도이다.
이때,
Figure 112005073082593-pat00010
는 수학식 3과 같이 계산된다.
Figure 112005073082593-pat00011
단,
Figure 112005073082593-pat00012
는 프로젝터와 표면의 법선벡터 사이각을 나타낸다.
즉, 각 픽셀에
Figure 112005073082593-pat00013
를 곱함으로서 상대적으로 밝은 픽셀은 낮추고, 어두운 픽 셀의 밝기는 높임으로서 빔프로젝터(400)로부터 투영된 증강현실 영상의 밝기를 보정할 수 있다.
한편, 프로젝터는 영상을 비추기 위해서 밝은 빛을 사용하기 때문에 다른 측면에서 보면 지향성 광원으로도 볼 수 있다. 그 때문에 프로젝터가 비추는 방향과 물체의 표면의 법선 벡터가 이루는 각, 물체 표면의 법선 벡터와 관찰시점이 이루는 각이 일치하는 부분에서 밝게 빛나는 하이라이트 영역이 생긴다. 이는 수술 부위와 같이 젖어 있는 부위는 하이라이트가 쉽게 발생하므로 심각히 고려되어야 하는 사항이다.
밝기를 줄인다고 해서 하이라이트가 없어지지 않기 때문에 한 대의 프로젝터로 영상을 비출 때는 이를 제거할 수 없다. 하지만 서로 다른 위치에 놓인 두 대 이상의 프로젝터를 사용할 때는 각각의 프로젝터에 의해서 생기는 하이라이트 영역이 다르기 때문에 서로 이 영역을 비추지 않는 방법으로 하이라이트를 제거할 수 있다.
즉, 복수의 프로젝터에서 각각 영상을 출력하면서 자신이 출력하는 영상의 각 부분마다 하이라이트가 생길 확률을 계산하고 이를 서로 비교해서 보다 낮은 쪽만 그 부분에 영상을 출력하도록 함으로서 이를 제거할 수 있는 것이다.
상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같 은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.
따라서, 본 발명에서는 수술시 의사가 절개해야 하는 위치, 종양의 위치와 크기 등을 실시간으로 환자에게 직접 증강현실 영상으로 투사해 줌으로써 보다 정확한 시술을 할 수 있는 이점이 있다.
또한, 밝기를 보정하고 하이라이트를 제거함으로서, 환자에게 증강현실 영상을 좀 더 명확하게 표현할 수 있을 뿐 아니라, 증강현실 영상이 투영되는 경로의 장애물을 능동적으로 회피하고 투영되는 부위의 조명을 자동으로 낮춤으로서, 의사가 보다 수술에 집중할 수 있게 하는 이점이 있다.

Claims (15)

  1. 환자환부의 증강현실영상 투영시스템에 있어서:
    환자의 환부를 촬영하여 생성된 환부영상신호를 출력하는 카메라;
    의사와 환자의 환부 위치를 추적하여 추출된 위치정보신호를 출력하는 트래커;
    상기 환자의 환부에 대한 증강현실 영상신호를 인가받아 환자의 환부에 직접 투영하는 빔프로젝터;
    컴퓨터의 제어에 의해 수술실을 비추는 조명; 및
    상기 카메라로부터 인가받은 환자의 환부영상신호를 이용하여 증강현실 영상신호를 생성한 후 상기 빔프로젝터로 인가하고, 상기 트래커로부터 인가받은 위치정보신호를 이용하여 상기 빔프로젝터의 타깃영상의 각도를 조절하여 의사의 눈과 환자의 표면과 환자 몸속의 환부를 일직선으로 유지시키는 컴퓨터;를 구비한 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  2. 청구항 1에 있어서, 상기 컴퓨터는,
    촬영장비를 통해 획득된 환자의 환부에 대한 위치정보를 미리 보유하고 있는 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 트래커는 의사의 머리와 환자의 환부 측에 각각 설치된 적외선마커를 인식하도록 구성된 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  4. 청구항 3에 있어서, 상기 트래커는,
    의사의 머리에 부착된 적외선마커와 환자의 환부에 부착된 적외선환부마커를 각각 검출하되, 스테레오비전 기술을 이용하여 각각의 위치를 추출하는 복수의 적외선 카메라로 이루어진 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  5. 청구항 1에 있어서, 상기 카메라 또는 빔프로젝터는,
    상기 컴퓨터의 제어에 따라 증강현실 투영 공간의 장애물을 회피하여 능동적으로 움직이도록 구성된 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  6. 청구항 1에 있어서, 상기 카메라 및 빔프로젝터는,
    상기 컴퓨터의 제어에 따라 증강현실 투영 공간의 장애물을 회피하여 능동적으로 움직이도록 구성된 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  7. 청구항 1에 있어서, 상기 빔프로젝터는,
    환자의 환부에 투영되는 증강현실 영상의 색상을 광학적으로 보상하기 위해 복수개로 설치되는 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  8. 청구항 1에 있어서, 상기 조명은,
    상기 컴퓨터의 제어에 의해 상기 빔프로젝터에 의해 증강현실 영상이 투영되는 부분의 밝기보다 약하게 조절되는 것을 특징으로 하는 환자환부의 증강현실영상 투영시스템.
  9. 환자환부의 증강현실영상 투영방법에 있어서:
    수술을 집도할 의사가 환자의 환부에 대한 정보를 컴퓨터에 입력하는 제 1단계;
    트래커가 의사의 위치를 검출하여 생성한 정보를 상기 컴퓨터로 인가하여 의사의 위치를 기준 좌표로 설정하도록 하는 제 2단계;
    카메라와 빔프로젝터와 상기 트래커가 각각의 좌표계를 컴퓨터로 전송하는 제 3단계;
    상기 트래커가 의사와 환자의 위치를 검출하여 생성한 위치정보를 상기 컴퓨터로 보내는 제 4단계;
    상기 컴퓨터가 미리 입력된 환자의 환부정보와 상기 카메라로부터 인가받은 환부영상신호와 상기 트래커로부터 인가받은 위치정보신호를 이용하여 증강현실 영상신호를 생성하여 빔프로젝터로 인가하는 제 5단계; 및
    상기 빔프로젝터가 증강현실 영상을 환자의 환부에 투영하는 제 6단계;를 수행하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  10. 청구항 9에 있어서, 상기 제 5단계는,
    현실의 3차원 좌표와 이미지의 2차원 좌표와의 관계를 교정하는 단계;
    교정이 이루어진 상기 카메라와 상기 빔프로젝터 간에 일치되는 포인트를 찾기 위해 패턴코딩 기법을 사용하는 단계; 및
    상기 교정이 이루어진 카메라와 상기 빔프로젝터 간에 일치되는 포인트를 이용해 삼각측량법을 사용하여 3차원 위치정보를 생성하는 단계;를 포함한 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  11. 청구항 9에 있어서, 상기 제 6단계는,
    상기 빔프로젝터로부터 투영된 영상의 밝기를 보정하기 위하여 픽셀의 밝기를 조절하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  12. 청구항 9에 있어서, 상기 제 6단계는,
    상기 빔프로젝터로부터 투영된 영상의 하이라이트를 제거하기 위하여 복수의 빔프로젝터를 사용하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  13. 청구항 12에 있어서, 상기 복수의 빔프로젝터는,
    출력하는 영상의 각 부분마다 하이라이트가 생길 확률을 각각 계산하고, 이를 서로 비교하여 보다 낮은 쪽만 그 부분에 영상을 출력하도록 하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  14. 청구항 9에 있어서, 상기 제 6단계는,
    증강현실 영상이 투영되는 부분에 조명의 밝기를 약하게 조절하여 증강현실 영상이 조명에 의해 사라지거나 왜곡되는 것을 방지하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
  15. 청구항 9에 있어서, 상기 제 6단계는,
    증강현실 영상이 투영되는 경로에 장애물이 있을 경우 그 장애물을 회피해서 증강현실 영상을 투영하도록 하는 것을 특징으로 하는 환자환부의 증강현실영상 투영방법.
KR1020050123069A 2005-12-14 2005-12-14 환자환부의 증강현실영상 투영시스템 및 그 방법 KR100726028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050123069A KR100726028B1 (ko) 2005-12-14 2005-12-14 환자환부의 증강현실영상 투영시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050123069A KR100726028B1 (ko) 2005-12-14 2005-12-14 환자환부의 증강현실영상 투영시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR100726028B1 true KR100726028B1 (ko) 2007-06-08

Family

ID=38358681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050123069A KR100726028B1 (ko) 2005-12-14 2005-12-14 환자환부의 증강현실영상 투영시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100726028B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114226B1 (ko) 2009-05-19 2012-03-05 주식회사 이턴 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101208191B1 (ko) 2010-12-08 2012-12-05 한국과학기술원 컴퓨터 기반 가상 의료 훈련 환경에서 절개 처치를 시뮬레이션하기 위한 방법 및 장치 및 컴퓨터로 읽을 수 있는 기록 매체
KR101258961B1 (ko) * 2011-11-18 2013-04-29 서울과학기술대학교 산학협력단 신체증강현실용 스마트폰 결합모듈을 통한 신체증강현실 구동장치 및 방법
KR20150131536A (ko) * 2014-05-15 2015-11-25 한국과학기술연구원 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
WO2016144005A1 (ko) * 2015-03-09 2016-09-15 국립암센터 증강현실영상 투영 시스템
KR20180136219A (ko) * 2017-06-14 2018-12-24 고려대학교 산학협력단 영상유도 수술용 고글 시스템
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR20200055169A (ko) * 2018-11-07 2020-05-21 주식회사 삼육오엠씨네트웍스 인공지능 기반의 캐뉼라 수술 진단 장치
KR20200072109A (ko) * 2018-12-12 2020-06-22 (주)헬스허브 알람 기능을 통한 수술 가이드 시스템 및 그 방법
KR20210090954A (ko) 2020-01-13 2021-07-21 한국과학기술연구원 기준 마커용 신축성 점착패치 및 그 제조방법
KR20220004404A (ko) * 2020-07-03 2022-01-11 한림대학교 산학협력단 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254381A (ja) * 1997-03-14 1998-09-25 Sony Corp 追従型虚像視ディスプレイシステム
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20030210812A1 (en) * 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254381A (ja) * 1997-03-14 1998-09-25 Sony Corp 追従型虚像視ディスプレイシステム
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20030210812A1 (en) * 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114226B1 (ko) 2009-05-19 2012-03-05 주식회사 이턴 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101208191B1 (ko) 2010-12-08 2012-12-05 한국과학기술원 컴퓨터 기반 가상 의료 훈련 환경에서 절개 처치를 시뮬레이션하기 위한 방법 및 장치 및 컴퓨터로 읽을 수 있는 기록 매체
KR101258961B1 (ko) * 2011-11-18 2013-04-29 서울과학기술대학교 산학협력단 신체증강현실용 스마트폰 결합모듈을 통한 신체증강현실 구동장치 및 방법
KR20150131536A (ko) * 2014-05-15 2015-11-25 한국과학기술연구원 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
KR101635731B1 (ko) 2014-05-15 2016-07-05 한국과학기술연구원 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
US10575920B2 (en) 2015-03-09 2020-03-03 National Cancer Center Augmented reality image projection system
WO2016144005A1 (ko) * 2015-03-09 2016-09-15 국립암센터 증강현실영상 투영 시스템
KR20160108926A (ko) 2015-03-09 2016-09-21 국립암센터 증강현실영상 투영 시스템
KR101734094B1 (ko) 2015-03-09 2017-05-11 국립암센터 증강현실영상 투영 시스템
KR20180136219A (ko) * 2017-06-14 2018-12-24 고려대학교 산학협력단 영상유도 수술용 고글 시스템
KR102009558B1 (ko) 2017-06-14 2019-08-09 고려대학교 산학협력단 영상유도 수술용 고글 시스템
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR20200055169A (ko) * 2018-11-07 2020-05-21 주식회사 삼육오엠씨네트웍스 인공지능 기반의 캐뉼라 수술 진단 장치
KR102149167B1 (ko) * 2018-11-07 2020-08-31 주식회사 삼육오엠씨네트웍스 인공지능 기반의 캐뉼라 수술 진단 장치
KR20200072109A (ko) * 2018-12-12 2020-06-22 (주)헬스허브 알람 기능을 통한 수술 가이드 시스템 및 그 방법
KR102195825B1 (ko) * 2018-12-12 2020-12-28 (주)헬스허브 알람 기능을 통한 수술 가이드 시스템 및 그 방법
KR20210090954A (ko) 2020-01-13 2021-07-21 한국과학기술연구원 기준 마커용 신축성 점착패치 및 그 제조방법
KR20220004404A (ko) * 2020-07-03 2022-01-11 한림대학교 산학협력단 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램
KR102400525B1 (ko) * 2020-07-03 2022-05-19 한림대학교 산학협력단 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램

Similar Documents

Publication Publication Date Title
KR100726028B1 (ko) 환자환부의 증강현실영상 투영시스템 및 그 방법
EP3204816B1 (en) Head-mounted displaying of magnified images locked on an object of interest
US10448003B2 (en) System and method for triangulation-based depth and surface visualization
US6891518B2 (en) Augmented reality visualization device
US8922589B2 (en) Augmented reality apparatus
US20150084990A1 (en) Augmented reality medical procedure aid
US20170366773A1 (en) Projection in endoscopic medical imaging
US20140221819A1 (en) Apparatus, system and method for surgical navigation
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
US20220313386A1 (en) Navigated surgical system with eye to xr headset display calibration
US10912625B2 (en) Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
US11045090B2 (en) Apparatus and method for augmented visualization employing X-ray and optical data
WO2017042171A1 (en) Apparatus for imaging in a medical treatment
KR102056930B1 (ko) 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
US11931292B2 (en) System and method for improved electronic assisted medical procedures
WO2023021450A1 (en) Stereoscopic display and digital loupe for augmented-reality near-eye display
CA3180841A1 (en) Using real-time images for augmented-reality visualization of an ophthalmic surgical tool
US11543663B2 (en) System and method for alignment between real and virtual objects in a head-mounted optical see-through display
US20230071841A1 (en) System and method for improved electronic assisted medical procedures
US20230102782A1 (en) Positioning method, processing device, radiotherapy system, and storage medium
US11357594B2 (en) Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
EP4322114A1 (en) Projective bisector mirror
WO2023203522A2 (en) Reduction of jitter in virtual presentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee