KR20100139049A

KR20100139049A - 3차원 디지털 확대경 수술지원 시스템

Info

Publication number: KR20100139049A
Application number: KR1020107023470A
Authority: KR
Inventors: 아츠시 타카하시
Original assignee: 아츠시 타카하시
Priority date: 2008-03-21
Filing date: 2009-03-23
Publication date: 2010-12-31
Also published as: US20110102549A1; EP2269533A4; CA2727585C; EP2269533B1; CN102036616A; CA2727585A1; CN102036616B; DK2269533T3; US8253778B2; WO2009116663A1; JP5390377B2; KR101189550B1; JPWO2009116663A1; EP2269533A1

Abstract

본 발명은 실공간에서의 피사체의 상태변화에 관한 시뮬레이션이 피사체에 합성고정표시한 3차원 컴퓨터그래픽스의 상태와 촬상공간의 상태의 변화로 인해 야기되는 3차원 컴퓨터그래픽스에 대한 간접적인 영향이 시뮬레이션에 의해 표시되는 시스템을 제공하기 위해, 동일 공간 내에 존재하는 피사체 영상을 입체계측한 서페이스 폴리곤 모델(2) 중에서, 서페이스 폴리곤 모델과 닮은꼴 형상인 서페이스 포리곤 모델(1)을 형상패턴인식에 의해 판별검출하고, 컴퓨터그래픽스를 트랙킹하여, 실제의 3차원 공간으로 야기되는 상기 피사체와 촬상장치의 상대적 위치변화에 따라, 실제의 상대적 위치변화와 동일한 컴퓨터그래픽스 영상을 촬상영상 위에 표시함으로써, 촬상장치 시야 내의 피사체와 가상의 3차원 컴퓨터그래픽스 영상이 일체화된 것처럼 표시하는 합성영상 위치보완 트랙킹시스템을 제공한다.

Description

3차원 디지털 확대경 수술지원 시스템{THREE-DIMENSIONAL DIGITAL MAGNIFIER OPERATION SUPPORTING SYSTEM}

본 발명은 외과수술에서 최소침습수술로 불가시영역에 대한 어프로치를 행할 때에, 안전성과 확실성을 높이기 위해, 수술중인 환자위치와 수술기구의 위치관계를 표시하는 것을 목적으로 한 의료용 네비게이션 수술 지원시스템에 관한 것이다. 보다 상세하게는 3차원 디지털 확대경을 이용하여 입체인식하는 실체(환자 및 수술기구)의 영상 위에, 그 실체의 불가시영역 혹은 외형의 3차원 컴퓨터그래픽스를 중첩표시하고, 실체 영상과 가상 3차원 컴퓨터그래픽스를 일체화하여 전부를 입체적으로 인식하는 3차원 디지털 확대경 확장현실 수술지원 시스템에 관한 것이다.

종래에는 외과수술에서 불가시영역에 대한 어프로치를 행할 경우, X선, 초음파, 자기 등에 의한 비파괴검사데이터를 기초로 구성한 2차원 혹은 3차원 영상데이터를 관찰함으로써 물체의 내부구조, 혹은 생체 개개의 해부학적 형상과 그 위치관계의 이미지를 기억에 남겨, 수술시에는 그들의 기억 이미지 오리엔테이션을 따라 실체의 시야 이미지에 중첩시켜 수술을 시행하였었다. 특히 단순골절 혹은 간접관절탈구의 정복 처치와 같은 비관혈적 수술에서는 시술자의 경험에 따른 3차원 이미지와 손가락의 감각에 의존하게 된다. 이 섬세한 인간의 3차원 감각은 경험을 쌓아 숙련함으로써 향상되어 가는 것인데, 비관혈적인 처치의 옳고 그름은 시술 후의 3차원 영상데이터로 평가할 수밖에 없다. 또한, 예를 들면 예측하기 어려운 체내를 관혈적 수술로 수술할 경우에 오리엔테이션을 상실하면 틀린 방향으로 진행하여, 불필요한 조직손상을 초래하게 될지도 모른다. 이와 같은 위험성을 피하기 위해, 수술 조작을 하고 있는 환자와 수술기구의 3차원적 위치를 실시간으로 계측하여, 이를 시술 전에 촬영한 CT나 MRI의 영상 위에 중첩표시함으로써, 초보자라도 용이하게 목표에 도달할 수 있기 때문에, 수술의 안전성, 확실성에 이바지하다고 인식되고 있다. 이와 같은 컴퓨터 계측장치를 사용하여 뇌신경외과뿐만 아니라 두경부 외과, 정형외과 영역의 응용도 시도되고 있으며, 수술중에 MRI를 촬영하여 영상정보도 갱신하면서 네비게이션을 수행하는 방법도 고안되고 있다.

그러나, 상술한 바와 같이, 수술 전에 촬영한 CT나 MRI의 영상 위에 중첩표시하는 이미지 베이스 네비게이션 시스템의 경우, CT나 MRI의 촬영영상 위에 센싱 마커의 위치를 표시하기 위해서는 미리 CT나 MRI의 촬영시에 센싱 마커를 장착하여 촬영할 필요가 있으며, 수술시에는 촬영시와 동일 위치에 센싱 마커를 재장착하고 3차원적 위치를 실시간으로 계측할 필요가 있다. 정확한 트랙킹을 수행하는 데에는 센싱 마커 고정방법, 고정위치의 재현성 문제 등뿐만 아니라, 환자와 영상위치의 이니셜라이즈 등록작업(레지스트레이션(registration))이 번잡한 조정작업을 필요로 하며, 실제 트랙킹 정밀도는 센서 자체의 정밀도에 의존하기 때문에 확대영상 위에서 처치를 할 경우 트랙킹 정밀도는 수술부위 영상의 확대율에 비례하여 모니터상에서 확대율에 반비례하여 증대하게 된다.

이 때문에 위치정밀도 향상과 처치중 센싱 마커의 일탈보정을 위해, 수술중에 MRI을 촬영하여 영상정보를 갱신함과 동시에 레지스트레이션 및 트랙킹을 수행하는 방법도 있는데, 단층 촬영에는 일정한 시간을 필요로 하기 때문에, 실시간이라는 관점에서는 시간적 제약이 있는 외과수술에 적합한 것이 아니다.

그러나, 이들 모든 네비게이션 시스템은 기본적으로 수술중인 환자 위치에 CT나 MRI의 영상을 중첩하고, 수술기구의 컴퓨터그래픽스를 트랙킹하여 표시하는 것으로, 상기 수술기구 조작에 따른 기구의 생체 내에서의 도달상황은 모두 고정 2차원 모니터에 표시되는 가상 이미지상에서 수행하게 된다. 따라서, 처치로 인해 환자(실체)에게 일어나는 변화는 모니터로 확인하는 것이 불가능하며, 환자의 상황을 확인하기 위해서는 모니터로부터 시선을 변경하여 환자의 수술부위로 시선을 변경할 필요가 있다.

이와 같은 사실을 감안하여, 적외선이나 자기 등의 센싱 마커를 환자(실체)에게 고정하는 일 없이, 실제의 환자위치와 3차원 CG 영상위치와의 관계를 일치시키는 등록작업(레지스트레이션)을 자동적으로 수행하고, 환자(실체) 및 촬상장치의 상대적 위치변화에 트랙킹을 실시 및 추종하여 중첩한 3차원 CG 영상을 영상 트랙킹시켜, 시술중인 환자의 몸 움직임에 대응하도록, 불가시영역의 해부학적 3차원 CG 영상이나 수술기구 조작에 추종하는 수술기구의 3차원 CG 영상을 실체의 3차원적인 위치변화에 추종시켜, 조작상황과 환자의 실체를 시선을 이동시키는 일 없이 실시간 영상 형태로 네비게이션을 가능하게 하며, 기타 바이탈 싸인 등의 환자 생체정보에 대해서도 시선을 변경하지 않고 동일 모니터로 확인가능하게 하는 것이다.

본 발명은 인간이 직시 하에 행하는 의과수술이나 정밀한 수기(手技)를 실시할 때에 3차원 디지털 확대경을 이용하여 불가시영역에 대한 시각적 지원을 하는 시스템으로서, 눈 앞의 실체에 불가시영역 영상을 합성표시함으로써, 이하에 기술하는 확장현실감을 재현하는 작용을 얻을 수 있다.

일반적으로 상기 의과수술이나 기타 정밀기술을 실시할 경우, 확대수술시야를 획득하기 위해 쌍안(雙眼) 확대 루페를 이용하여 작업을 수행한다. 이와 같은 두부(頭部)에 탑재하는 쌍안 확대 루페 등의 광학확대경과 동일한 확대수술시야는 시술자 양쪽 눈의 바로 앞에 한 쌍의 모니터를 설치하고, 그 모니터 앞면의 장착작업자 좌우 동공 중앙부에 상당하는 위치로부터, 육안 시야 방향을 향해 한 쌍의 스테레오 배치 촬상장치를 장착한 3차원 디지털 확대경을 이용하여도 동일공간 내의 입체적인 시야를 확보하는 것이 가능하게 된다. 시술자가 육안 혹은 광학확대경으로 대상을 시각적으로 인식하는 경우와 동일한 상황이 재현되고 있으므로, 시술자의 시야 방향의 변화, 대상의 3차원적인 위치변화는 맨눈으로 일상작업을 실시하는 경우와 마찬가지로 입체적으로 인식되므로, 극히 자연스러운 감각으로 두부의 위치, 바꿔말하면 시야 방향을 변경하여 시야 범위의 대상에 대한 작업을 실시하는 것이 가능하게 된다.

제 1 발명에서는 이 3차원 디지털 확대경의 스테레오 배치 촬상장치를 이용하여, 시야 방향으로 존재하는 실체를 스테레오법에 의해 촬영하고, 촬상영상을 구성하는 화소의 3차원 위치계측을 실시하며, 고정된 2대의 카메라 간의 거리를 삼각측량함으로써 입체 계측을 행하는 스테레오 영상법(양안(兩眼) 입체시(立體視))을 이용하여, 비접촉입체계측에 의해 얻은 촬상범위 내의 복수 실체의 3차원 형상인 서페이스 폴리곤 모델(2)을 획득하다. 입체계측의 방법은 양안 입체시법뿐만 아니라 기타 스테레오 영상 입체계측법으로서, 발광다이오드 등으로 점을 발광하여 비행시간 계측을 실시하는 스폿발광법에 의한 스테레오법, 혹은 대응점을 만들어내는 슬릿을 통과한 직선형태의 빛으로 대상의 단면을 취득하도록 빛을 스캔하여 실체의 형상을 취득하는 슬릿 광투영법이나, 촬상장치 영상 내의 좌표를 판단할 수 있는 패턴을 실체에 투영하여 안길이를 구하는 패턴 광투영법이어도 좋지만, 기본적으로는 좌우 촬상영상을 구성하는 특정부위의 화소의 3차원 위치계측을 실시하여, 고정된 2대의 카메라 간의 거리를 삼각측량함으로써 입체 계측을 행하는 스테레오 영상법을 이용하여 퍼스널 컴퓨터 연산처리에 의해 실체의 3차원 형상의 서페이스 폴리곤 모델(2)을 획득한다.

이들 방법에서는 광원으로서, 촬상할 시술대상물체 혹은 생체(실체) 영상의 모니터상에서의 시각에 영향을 주는 일이 없는 적외선 등의 불가시광선을 사용하는 것이 바람직하다.

또한, 이들 발광광원은 촬상장치와 함께 3차원 디지털 확대경에 설치되어 있으므로, 실체의 3차원 공간상의 상대적 위치관계를 계측하여 실체의 영상 트랙킹을 할 경우에, 항상 촬상장치의 촬상방향에 대해 동일방향으로부터 투광된 광원 빛을 스테레오 촬상장치에서 수광하여, 투광부와 수광부의 위치보정요소를 통합함으로써, 계측정밀도와 계측속도를 향상시키는 것이 가능하게 된다.

별도로 미리 시술대상물체 혹은 생체의 단층촬영 2차원 슬라이스 데이터로 구축한 표층으로부터 내부구조를 표시하는 각 구조구성요소의 서페이스 폴리곤 모델(1)을 작성한다. 이 서페이스 폴리곤 모델(1)과 3차원적 닮은꼴형상인 상기 서페이스 폴리곤 모델을 서페이스 폴리곤 모델(2) 중에서 형상패턴인식에 의해 판별검출하고, 검출한 시술대상물체 혹은 생체의 서페이스 폴리곤 모델(1)에 내부구조 구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 오버레이함과 동시에 트랙킹시키는 시스템이다.

이 서페이스 폴리곤 모델(2)은 촬상방향의 촬상범위에서 형성되는 것이므로, 판별검출에 이용하는 시술대상이 되는 물체 혹은 생체의 서페이스 폴리곤 모델(1)은 시술시의 시야 방향, 바꿔말하면 어프로우치하는 방향에 따라서 대상물의 3차원 좌표축 중심으로부터 이면부를 구성하는 서페이스를 삭제하여 이니셜라이즈시의 촬상장치 시야 범위와 동일 범위, 혹은 특징적인 랜드마크 형상부위를 포함하는 최소범위로 가공함과 아울러, 구성 폴리곤 수를 가급적 감소시킴으로써, 검출, 판별, 트랙킹처리의 각각의 정밀도와 스피드를 향상시킨다. 시술자 3차원 디지털 확대경 시야 내에는 비표시의 서페이스 폴리곤 모델(1)과 연동하여 트랙킹하는 내부구조구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스가 시야 내에 존재하는 전방 시술부위 영상 위에 합성표시된다. 이 때의 서페이스 폴리곤 모델(1) 및 서페이스 폴리곤 모델(2)을 구성하는 폴리곤 형상에 정합성을 갖게 하는 것은 말할 것까지도 없다.

이와 같이, 실체영상의 일부 혹은 전체를 3차원 볼륨 모델 컴퓨터그래픽스 오버레이함으로써, 3차원 디지털 확대경에 표시되는 실체의 내부구조 불가시영역을, 실체의 촬상공간 위와 시각적으로 동일한 3차원적 위치에 가상 3차원 볼륨 모델 컴퓨터그래픽스의 내부구조구성요소 영상으로서 인식하는 것을 가능하게 한다. 눈 앞에 존재하는 실체를 손에 취하는 동작과 마찬가지로, 시각적으로 눈 앞의 실체와 3차원 공간상 동일위치에 인식하는 3차원 볼륨 모델 컴퓨터그래픽스를 직접 혹은 간접적으로 손바닥 들여다보듯이(촉각적으로) 시술하는 것이 가능하게 된다.

게다가 시술중에는 이 가상 3차원 볼륨 모델 컴퓨터그래픽스는 촬상공간에서의 촬상장치와 실체의 상대적 3차원 위치변화에 따라 실시간으로 표시 레이아웃을 변경하며 트랙킹하므로 높은 실시간 상호작용을 만들어내는 3차원 디지털 확대경 확장현실 수술지원 시스템이 구성된다. 이와 같이 실체에 중첩한 가상 3차원 볼륨 모델 컴퓨터그래픽스는 단층촬영 2차원 슬라이스 데이터로부터 구축가능한 해부학적 구성요소, 즉 볼륨 모델이므로 전체요소를 표시한 경우, 외층구성요소만이 인식되게 된다.

제 2 발명은 상술한 바와 같은 3차원 디지털 확대경의 촬상장치를 이용한 입체계측으로 구성하는 실체의 3차원 형상의 서페이스 폴리곤 모델(2)을 사용하는 일 없이, 3차원 디지털 확대경의 좌우 촬상장치와 영상표시장치를 병렬로 개별구성으로서 사용하는 것이다. 미리 단층촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 각 구조구성요소의 서페이스 폴리곤 모델(1)을 구성하는 윤곽 혹은 특징적인 포인트 혹은 라인을 3차원 디지털 확대경의 좌우 각각의 촬상장치가 촬상하는 영상 데이터에 맵핑하여 트랙킹함으로써, 상기 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑한 각 내부구성요소 중의 임의의 3차원 컴퓨터그래픽스가 양안시 영상표시장치에 좌우 각각 표시하는 대상실체영상과 각각 매치무빙시킴으로써, 3차원 디지털 확대경의 좌우 영상표시장치에 표시되는 실체영상 위에 중첩표시한 피사체 내부구조 3차원 컴퓨터그래픽스가 양안 시차각에 의해 촬상공간 실체영상 위에 녹아드는 듯한 임장감 있는 투시영상 형태로 입체인식을 가능하게 한 3차원 디지털 확대경 확장현실 수술지원 시스템이다.

제 3 발명은 이들 내부요소를 수시 시각적으로 인식하기 위해 촬상공간 내의 실체에 중첩배치하는 가상 3차원 컴퓨터그래픽스 영상을, 응용목적에 따라, 구조상 혹은 해부학적 구성요소에 따라 분류함과 아울러 개별적인 레이어로서 보존하며, 상기 각 레이어를 시술중의 수술기구 도달 심도나 기타 경과상황에 따라, 개별적으로 혹은 선택적 조합으로 합성표시하는 표시가능하게 한 것이다. 이 시스템을 이용하여 수행하는 하악골(下顎骨) 치과 임플란트 수술을 예로 들면, 실공간에서의 3차원 디지털 확대경 시야 내의 하악 구강내 촬상영상에 하악 해부학적 구성요소인 하악골 피질골의 가상 3차원 컴퓨터그래픽스 영상이 트랙킹 표시되므로, 잇몸 위로부터 절개하기 이전에 치조골의 형상을 3차원적으로 시각인식할 수 있게 된다. 따라서, 잇몸을 절개하지 않고 골량이 충분한 부위를 선택하여 정확한 위치에서부터 액세스 방향을 선정하여 액세스하는 것이 가능하게 되므로, 절개에 의한 내출혈을 야기하는 일 없이 시술 후의 부종 방지에 도움이 된다. 이어, 상기 처치로 액세스 홀이 피질골 위에 형성된 후, 하악골 골체 피질골의 3차원 컴퓨터그래픽스 레이어를 비표시로 하고, 대신에 하치조신경의 3차원 컴퓨터그래픽스 레이어를 실체의 상대적 고정위치에 배치하여 표시함으로써, 실체에 형성한 액세스 홀을 가이드구로 하여, 실체에 드릴링 천공조작을 진행시킬 때에 3차원적 시각인식 하에, 신경손상의 위험성을 배제한 후에, 교합력을 지지하기 위해 가급적 깊은 곳까지 임플란트 매입홀을 형성하는, 이제까지는 감과 경험에 의지하였던 고도의 수술기술을, 안전하고 정확하게 실시하는 것이 가능하게 된다. 이들 레이어의 선택적 표시는 해부학적 요소뿐만 아니라, DICOM 데이터로부터 작성한 하악 해부학적 구성요소의 3차원 컴퓨터그래픽스 상에서 정확한 임플란트 홀 형성을 위한 드릴링을 수행하는 가이드로서 시뮬레이션하여 제작한 서지칼 스텐트(surgical stent)의 컴퓨터그래픽스 레이어를 상대적으로 고정배치하는 것도 가능하게 된다. 이 때에, 실체영상을 비표시로 할 경우에는 3차원 디지털 확대경 모니터상에 육안 시야 혹은 광학확대경의 시야와 동일하도록 시술자 전방의 실체공간 위에 입체적으로 표시되는 환자 실체와 3차원적으로 동일위치에 표시되는 가상 3차원 컴퓨터그래픽스를 시각적으로 확인하여, 이 외층구조의 투명화나 착색 등의 컴퓨터그래픽스의 영상처리에 의해 실체영상에서 인식할 수 없는 내부구조를 명시화한 가상 컴퓨터그래픽스 영상의 시각과, 시술자가 손을 뻗어 실체에 닿는 촉각은 인간이 눈앞의 실체를 시각인식하면서 직접 만지는 촉각에 의해 작업을 행하는 경우와 마찬가지의 동화된 감각으로서 인식하는 의식으로 작업을 수행하는 것이 가능하게 된다.

또한, 실체 영상을 관찰하여 시술을 행하는 경우에 비해 훨씬 밀도가 높은 내부구조정보를 파악한 후에 불가시영역에 대한 수술을 안전하고 정확하게 수행하는 것이 가능하게 된다.

종래에서는 고정식 위치센서와 거치형 모니터를 사용하여 시술할 경우, 시술자는 시선을 환자(실체)가 아니라 모니터 방향을 향해 부자연스런 작업을 강요받았으며, 시야 방향을 변경하고자 할 경우에는 환자(실체)를 이동시키거나, 혹은 센서 위치를 이동할 필요가 있었는데, 본 발명에 따르면, 시술자는 육안 시야 방향으로 시각인식하는 환자(실체)에게 직접적인 감각을 이용하여 시술하는 것이 가능하게 되어, 시술자의 시선 변경, 환자의 체위 변화에 대해서도 장치를 장착하고 있지 않은 상태와 마찬가지로, 실체공간상에서의 시각적 3차원 상대위치관계를 유지하므로, 극히 자연스러운 감각으로 수술을 행하는 것이 가능하게 된다.

기타, 이 해부학적 구성요소에 따라 분류한 3차원 컴퓨터그래픽스의 시각적 인지성을 향상시키는 방법으로서 제 4 발명은 제 1, 제 2 및 제 3 발명의 3차원 디지털 확대경의 모니터에 표시되는 촬상 영상과 3차원 컴퓨터그래픽스 영상 중 어느 한쪽 혹은 양쪽 영상의 색상, 채도, 명도, 쉐이딩(shading), 라이팅(lighting) 방향의 적어도 한 요소에 대해 투과 맵핑, 음선 소거 와이어 프레임 표시, 그들의 점멸표시 등과 같은 영상처리에 의한 변경을 가해 촬상영상에 대한 합성영상의 시각적 식별인지성을 향상시킨 것이다. 이로써 3차원 디지털 안경에 의해 시각적으로 3차원인식하고 있는 실체공간 중에서 3차원 컴퓨터그래픽스 영상이 피사체의 내부구조를 나타내는 상황일지라도, 보다 선명하게 떠오르게 하면서 시각적으로 인식하는 것이 가능하게 된다. 또한, 제 3 발명과 같이 해부학적 구성요소별로 구성된 각 레이어를 영상처리함으로써 시각적 식별인지성을 향상시키는 것이 가능하게 된다. 촬상영상에 대한 시각적 식별인지성의 향상뿐만 아니라, 해부학적인 구성요소를 3차원적으로 일거에 시각적 인식하는 것이 가능하게 되므로, 병소적출수술의 경우를 예로 들면, 대혈관과 신경다발을 동시에 3차원적 시각인식하면서 안전하게 병소에 어프로치하는 것이 가능하게 될 뿐만 아니라, 3차원 인식에 의해 보다 최단거리에서 직선적 어프로치가 가능하게 되므로 외과적 침습격을 최소한으로 하는 것이 가능하게 된다.

확장현실감의 3요소는 실시간 상호작용, 자기투사성, 및 3차원의 공간성인데, 상술한 바와 같이 3차원 디지털 확대경을 두부에 장착고정하여 수기(手技)를 실시할 경우, 가상 3차원 볼륨 모델 컴퓨터그래픽스는 시술자와 실체의 상대적 3차원 위치변화에 따라 실시간 트랙킹을 수행하므로, 실체와 가상영상 간에 타임래그(time-lag)가 없는 높은 실시간 상호작용을 만들어낸다. 또한, 좌우의 시차각과 동일 앵글로 설치한 스테레오 배치 촬상장치의 영상정보를 평행법 혹은 교차법으로 좌우 눈 전방에 설치한 영상표시장치에 표시하는 3차원 디지털 확대경은 작업공간의 3차원 인식을 가능하게 함으로써 3차원의 공간성을 확보하고, 3차원 인식하는 작업공간상의 시술대상물체 혹은 생체의 영상 위에 렌더링(rendering) 및 트랙킹하는 가상 컴퓨터그래픽스도 3차원 볼륨 모델로 구성되어 있으므로, 시술자는 3차원 디지털 확대경의 시야를 전부 입체적으로 인식가능하다. 시술자는 3차원 디지털 확대경의 장착을 의식하는 일 없이, 맨눈으로 수기(手技)를 실시하는 경우와 마찬가지로 눈 앞의 시술대상물체 혹은 생체에 손을 뻗어 접촉하는 것이 가능하며, 가상 3차원 볼륨 모델 컴퓨터그래픽스가 존재하는 수술부위 공간에 넣은 자신의 손을 3차원 디지털 확대경의 시야 내의 실체영상 형태로 자기투사하는 것이 가능하다.

3차원 디지털 확대경에 좌우 영상표시장치로 입체시하기 위해서는 오른쪽 눈으로 오른쪽 영상을, 왼쪽 눈으로 왼쪽 영상을 보는 평행법과, 왼쪽 눈으로 오른쪽 영상을, 오른쪽 눈으로 왼쪽 영상을 보는, 즉 시선이 영상 앞에서 교차하도록 보는 교차법이 있다. 교차법에는 영상의 사이즈를 평행법보다 크게 할 수 있는 이점이 있으며, 생물학적으로 입체시(立體視)에 능숙하지 못한 여성에게도 교차법은 평행법에 비해 습득하기 쉬움은 널리 알려진 것이며, 본 발명에서도 사용상황에 따라 좌우영상의 표시방법 및 각 가상 컴퓨터그래픽스의 좌우 모니터 표시방법이 변경되는 것은 말할 것까지도 없지만, 제 5 발명과 같이 3차원 디지털 확대경의 스테레오 배치 촬상장치를 이용하여 좌우 촬상정보에 대한 2점 계측에 의해 획득한 촬상범위 내의 복수 실체의 3차원 형상인 서페이스 폴리곤 모델(2) 중으로부터 시술대상물체 혹은 생체의 서페이스 폴리곤 모델(1)과 3차원적 닮은꼴 형상인 서페이스 폴리곤 모델을 형상패턴인식에 의해 판별검출하고, 평행법으로 표시하는 3차원 디지털 확대경의 주시안측의 모니터에 내부구조구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 오버레이 표시함과 아울러 트랙킹시키는 3차원 디지털 확대경 확장현실 수술지원 시스템이다.

이 시스템에서는 좌우 시차각에 의한 실체영상의 입체시를 하는 3차원 디지털 확대경의 한쪽 모니터에만 가상 3차원 볼륨 모델 컴퓨터그래픽스를 오버레이어 표시함으로써, 3차원 디지털 확대경으로 입체시하는 수술부위 실체상에 불가시영역인 내부구조를 가상 3차원 볼륨 모델 컴퓨터그래픽스의 내부구조구성요소 영상으로 입체적으로 인식하는 것이 가능하게 된다. 이 때에 시야 전체를 차지하는 시술대상물체 혹은 생체의 가상 3차원 볼륨 모델 컴퓨터그래픽스의 비율이 비교적 커질 경우에서는, 배경 영상이 되는 수술부위 영상은 한쪽 주시안측의 촬상장치 영상을 양안의 모니터에 표시하거나, 혹은 3차원 디지털 확대경의 좌우 모니터에 생체의 가상 3차원 볼륨 모델 컴퓨터그래픽스만 표시할 수도 있다. 특히 확대배율이 큰 경우에는 촬상장치의 실체 배율로 생체의 서페이스 폴리곤 모델(1)과 3차원적 닮은꼴 형상인 서페이스 폴리곤 모델의 형상패턴을 인식판별하여, 3차원 디지털 확대경 표시영상 전체를 생체의 서페이스 폴리곤 모델(1)에 3차원적으로 맵핑한, 가상 3차원 볼륨 모델 컴퓨터그래픽스로 표현하는 것도 가능하다. 표시영상의 품질은 가상 3차원 볼륨 모델 컴퓨터그래픽스에 의존하게 되므로, 실체를 고배율로 확대한 경우의 하드웨어 성능에 의존하는 영상 품질의 저하를 고려할 필요 없이 실시하는 처치 내용에 요구되는 해부학적인 요소만 가상 3차원 볼륨 모델 컴퓨터그래픽스로 디포메이션하여 재현 표시하는 것이 가능하게 되므로, 시술자에게 심플하면서 고품질의 시각정보를 제공하는 것이 가능하게 된다. 이 때, 3차원적인 시각적 표시를 한 고품질의 가상 3차원 볼륨 모델 컴퓨터그래픽스를 이용하면 3차원 디지털 확대경 좌우영상 표시부에 단일영상을 표시함으로써 시술자 앞쪽의 실체 상황을 3차원 가상영상으로 인식시키는 것이 가능하게 된다. 마찬가지로 단안(單眼) 촬상장치의 3차원 디지털 확대경의 주시안측 촬상장치의 수술부위 영상정보를 동일측의 영상표시장치에 표시하고, 반대측 눈 쪽의 모니터에 안길이가 있는 3차원 컴퓨터그래픽스 영상을 표시함으로써 실체 영상을 3차원 영상과 같이 확장인식하는 것도 가능하게 된다. 이 경우, 촬상장치의 위치는 구강 내와 같이, 볼, 입술 등으로 인한 장벽으로 비교적 시야가 제약을 받는 부위를 들여다보는 것과 같은 상황에서는, 인간은 습관적으로 자주 사용하는 눈인 주시안을 주로 직선적 위치에 두고 대상을 포착하려고 하므로, 주시안측 모니터 전방에 촬상장치가 설치되어 있는 것이 바람직하다.

제 1 발명의 서페이스 폴리곤 모델의 형상패턴인식에 의한 판별검출뿐만 아니라, 제 6 발명은 3차원 디지털 확대경의 광학식 혹은 디지털 방식의 확대율에 따라, 3차원 디지털 확대경의 스테레오 배치 촬상장치의 영상정보 중 대상실체의 시야 방향으로부터 겹치는 일이 없는 임의의 위치에 설정한 4점의 마커를 스테레오 카메라로 2점 계측함으로써, 촬상장치와 실체의 거리로부터 실체 3차원 형상의 서페이스 폴리곤 모델의 실측값을 측정하여, 이 실측값에 따라 입체계측 서페이스 데이터인식패턴의 축척(縮尺) 및 3차원적 위치를 보정변경하는 것이다. 이와 같이 검출원 데이터인 시술대상물체 혹은 생체의 서페이스 폴리곤 모델의 축척에 적합하도록 환자 해부학적 CG 및 대상물(수술기구 CG)의 표시위치, 방향, 크기를 보정함으로써, 대상물체 혹은 생체 영상의 판별검출 및 맵팅 정밀도를 향상시키는 것이 가능하게 될 뿐만 아니라, 실시간 트랙킹의 타임래그를 감소시키는 것이 가능하게 된다.

또한, 제 2 발명을 실시할 때에도 제 6 발명의 마커를 이용함으로써 안정적인 맵핑기점을 얻는 것이 가능하다.

이 제 1 및 제 2 발명을 사용할 경우, 제 7 발명과 같이, 3차원 디지털 확대경 모니터 표시범위 밖에 존재하는 대상물 혹은 환자 해부학적 특정부위의 3차원 컴퓨터그래픽스 볼륨 모델의 존재방향을 표시장치 상에 시각적으로 표시함으로써 불가시영역에 있는 목표대상물을 용이하게 인식하는 것이 가능하게 된다. 이 시각적인 싸인은 화살표 혹은 화면 가장자리의 점멸표시와 같은 수법을 사용한다. 또한, 특히 디지털 처리에 의한 고배율 확대에서 사용할 경우, 3차원 디지털 확대경 표시장치 화면상에는 확대율에 따라 대상물 혹은 생체의 일부분이 모니터상에 표시되게 된다. 이와 같은 경우, 3차원 디지털 확대경 모니터 표시범위 밖의 대상물 혹은 환자 해부학적 특정부위의 3차원 컴퓨터그래픽스 볼륨 모델이 존재하는 방향을, 상기 영상표시장치의 가장자리를 점멸하거나, 화살표로 방향지시를 표시하거나, 혹은 분획표시화면에 축소하여 전체표시한 대상물 혹은 생체의 육안 시야 범위와 동등한 전체영상 중에 표시부위의 화각부위를 테두리로 둘러서 표시함으로써, 상시 시술중에 시야부위와 목표부위의 위치관계를 인식시켜 트랙킹 작동중인 대상물체 혹은 생체의 3차원 컴퓨터그래픽스 영상의 시술목표부위의 검출을 지원하다.

제 8 발명은 확대경 시야 내의 개별적으로 가동하는 임의의 CG 볼륨 모델을 특정한 시술대상 CG 볼륨 모델에 3차원적 상대위치에서 고정하여, 기능시의 시술위치, 방향, 각도의 시각적인 위치적 평가에 이용하기 위해, 청구항 1 및 청구항 2에 기재된 시스템을 이용하여 3차원 디지털 확대경 모니터상의 개별적으로 가동하는 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 각 해부학적 CG 볼륨 모델중 임의의 CG 볼륨 모델을 운동시켜, 그 임의의 CG 폴리곤 모델을 운동궤적 상의 임의의 위치에서 실체와의 트랙킹을 해제한 후에 특정 CG 볼륨 모델에 3차원적 상대적 위치에서 고정하고, 상기 환자 실체와 매치무빙하는 특정 CG 볼륨 모델과 일체화하여 운동가동하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템이다. 일반적으로 스페이스가 한정된 구강내 수술에서 특히 치과 임플란트를 식립할 경우, 개구 상태가 아니면, 핸드피스(hand piece)의 콘트라 앵글(contra angle)에 드릴을 삽입하여 매입홀을 형성하는 것은 곤란하다. 이 때에, 교합상태인 하악의 CG 볼륨 모델을 시술대상인 상악 CG 볼륨 모델에 고정연동함으로써, 수술시에 기구를 삽입할 스페이스를 확보하기 위해 개구한 상태일지라도 가상 하악 CG 볼륨 모델에 의해, 서로 마주보는 치아인 대합치의 교합상태를 시각적으로 확인하는 것이 가능하게 되므로, 서로 마주보는 관계를 3차원적 시각인식하여 적절한 서지칼 가이드를 얻는 것이 가능하게 된다. 이 시스템을 사용하여 실제로 시술대상에게 수술기구로 절개, 절삭, 삭제 혹은 드릴링 등의 조작에 의해 형태적인 변화 혹은 변형을 가할 경우, 가상 3차원 볼륨 모델 컴퓨터그래픽스에는 아무것도 반영되는 것이 없다. 이 가상 3차원 볼륨 모델 컴퓨터그래픽스는 시술전 상태와의 비교검토에 유용한 자료가 될 수 있는데, 시술중 혹은 시술 직후의 상황을 가상 3차원 볼륨 모델 컴퓨터그래픽스 상에 재현함으로써 시술 대상을 모두 가상 3차원 볼륨 모델 컴퓨터그래픽스로 치환하는 것도 가능하게 된다. 이와 같은 시각적 표현을 가능하게 하기 위해, 제 9 발명에서는 미리 시술대상물체 혹은 생체에 추종하여 매치무빙하는 내부구조구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스와 마찬가지로 상기 수술기구에 레지스트레이션 레이아웃하여 수술기구 컴퓨터그래픽스 볼륨 모델을 매치무빙시키고 있다. 이들 2개의 3차원 볼륨 모델을 컴퓨터상에서 불 연산을 이용하여, 상기 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 환자 해부학적 컴퓨터그래픽스 볼륨 모델로부터 수술기구 컴퓨터그래픽스 볼륨 모델에 대해 절취하여 연산을 수행함으로써, 수술기구 조작에 의해 실체에 절삭 등으로 물리적인 컷팅 등을 행한 경우 실체에 일어나는 변화와 동일한 시각적인 변화를, 3차원 디지털 확대경 표시장치상에 표시되는 환자 해부학적 컴퓨터그래픽스 볼륨 모델 위에 표현하는 것이 가능하게 된다. 게다가, 임플란트 매입홀을 뼈에 드릴링하여 형성하는 경우와 같이, 이 환자 해부학적 컴퓨터그래픽스 볼륨 모델에 영상정보는 실체 불가시영역을 표현하는 것이므로, 육안으로는 인식하는 것이 불가능한 시술대상 내부의 수술기구 도달심도 혹은 도달각도 등을 환자 해부학적 컴퓨터그래픽스 볼륨 모델 영상 위에서 인식하여, 실체에 가해진 변화와 동일한 시각적인 형상변화로서 환자 해부학적 컴퓨터그래픽스 볼륨 보셀(voxel) 볼륨 모델 상에 표현하는 것이 가능하게 된다.

각 해부학적 구성요소의 3차원 볼륨 모델 컴퓨터그래픽스는 외측의 해부학적 구성요소를 투명화함과 아울러 복수의 구성을 표현하기 위해 착색 등의 수단을 강구함으로써 내부구조를 명시화하는데, 몇 층씩이나 되는 복잡한 컴퓨터그래픽스 구성을 식별하는 것은 혼란을 초래할 위험성이 있다. 이와 같은 문제를 피하기 위해, 제 10 발명은 제 1 및 제 2 발명에 기재된 시스템을 이용하여 시술하는 경우에, 3차원 디지털 확대경과 환자의 거리가 3차원 디지털 확대경 모니터상의 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 환자 해부학적 컴퓨터그래픽스 볼륨 모델에 대해, 3차원 디지털 확대경 혹은 영역 지시구에 고정한 임의의 서페이스 모델영역(와이어 프레임, 반투명 착색표시 또는 투명)에서 불 연산을 이용하여, 미리 설정한 단면표시범위를 하나의 단위로 하여 환자 해부학적 컴퓨터그래픽스 보셀 볼륨 모델 단면을 표시하거나, 임의로 설정한 3차원 디지털 확대경과 환자 실체의 거리를 따라 절취되는 범위가 변화하는 상기 환자 해부학적 컴퓨터그래픽스 보셀 볼륨 모델 단면을 실시간으로 표시함으로써, 3차원 볼륨 모델 컴퓨터그래픽스의 각 해부학적 구성요소를 투명화하는 일 없이, 복잡한 구성내부구조를 명시화하는데, 몇 층씩이나 되는 복잡한 컴퓨터그래픽스의 구성을, 장착자 혹은 지시구와 대상실체의 거리에 알맞은 위치에서 해부학적 컴퓨터그래픽스 보셀 볼륨 모델 단면으로서 식별하는 것이 가능하게 된다.

제 11 발명은 제 9 발명의 3차원 디지털 확대경을 장착한 시술자의 수술기구를 이용하여 실체에 대해 시술하는 것과 동일한 상황이 표시되는 수술기구 CG 볼륨 모델 및 수술기구에 의해 실체에 야기되는 형태적 변화와 동일한 상태를, 불가시영역도 포함하여 표시하는 가상 3차원 볼륨 모델 컴퓨터그래픽스, 혹은 제 10 발명에 기재된 3차원 디지털 확대경 혹은 영역 지시구에 고정한 임의의 서페이스 모델 영역의 형상에 소거된 단면을 갖는 환자 해부학적 컴퓨터그래픽스 보셀 볼륨 모델을, 각 가상 3차원 볼륨 모델 컴퓨터그래픽스의 상대적 위치를 유지한 상태에서 퍼스널 컴퓨터에 데이터를 전송하고, 상기 퍼스널 컴퓨터 모니터 혹은 3차원 디지털 확대경 모니터에 표시된 각 상대적 위치관계를 유지한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 틸트, 팬, 줌, 회전의 6축 방향으로 회전이동가능하게 표시함으로써, 실체 공간의 상황을 시술자 시선과 다른 방향으로부터 관찰하는 3차원 디지털 확대경 확장현실 수술지원 시스템이다. 이로써, 3차원적인 상황평가를 다른 시야 방향으로부터 행하는 일이 가능하게 되므로, 본래라면 환자의 체위를 전면적으로 변경하지 않고는 관찰하는 것이 불가능한 바닥방향으로부터의 시야도 관찰가능하게 된다. 즉, 시술자는 시선과 체위를 이동하는 일 없이, 대상을 안쪽부터 실체와 동일한 형상을 갖는 가상 3차원 볼륨 모델 컴퓨터그래픽스로서 인식하는 것이 가능하게 되어, 시술보조자가 동일한 헤드 마운트 디스플레이를 장착하면 시술자의 시야를 공유하는 것이 가능함과 동시에, 가상 3차원 볼륨 모델 컴퓨터그래픽스를 3차원적으로 회전시켜 자유자재로 전체방향으로부터의 시야를 획득할 수 있다. 가상 3차원 볼륨 모델 컴퓨터그래픽스와 서페이스 모델 영역의 형상에 소거된 단면 및 수술기구 CG 볼륨 모델이 트랙킹하는 상대적 위치관계는 시술자가 장착하는 3차원 디지털 확대경 시스템의 트랙킹 및 렌더링 영상정보를 보조자의 헤드 마운트 디스플레이가 장착된 퍼스널 컴퓨터 영상처리로 3차원적으로 회전시켜 동기표시하는 것이기 때문에 실시간으로 제 3 자의 모니터 혹은 헤드 마운트 디스플레이에 표시하는 것이 가능하게 된다. 이 여러 방향으로부터의 가상 3차원 볼륨 모델 컴퓨터그래픽스 표시는 상술한 전송처 퍼스널 컴퓨터 모니터 위, 헤드 마운트 디스플레이 혹은 시술자 3차원 디지털 확대경의 일측 영상표시장치, 또는 동 영상표시장치에 윈도우를 설치하여 분획 표시할 수도 있다.

또한, 제 12 발명에서는 상술한 시술보조자의 헤드 마운트 디스플레이가 장착된 퍼스널 컴퓨터 영상처리에 의해 동기표시하는 시술자의 시야, 혹은 가상 3차원 볼륨 모델 컴퓨터그래픽스를 3차원적으로 회전시켜 획득하는 가상 3차원 볼륨 모델 컴퓨터그래픽스의 트랙킹 및 렌더링 영상정보를 모니터상에서 확인하면서 임의의 서페이스 모델 영역(와이어 프레임, 반투명 착색표시 또는 투명)을 6축 방향으로 컨트롤가능한 인터페이스로 가상 공간 위를 자유자재로 이동시켜 중첩부분을 동 퍼스널 컴퓨터 영상처리에 의해 불 연산법으로 소거함으로써 상기 가상 3차원 볼륨 모델 컴퓨터그래픽스의 단면을 표시하는 것이 가능하게 된다. 이 보조자에 의해 컨트롤되는 임의의 가상 3차원 볼륨 모델 컴퓨터그래픽스의 단면표시를, 동시에 시술자 3차원 디지털 확대경 영상표시장치 위의 가상 3차원 볼륨 모델에 반영함으로써 제3자가 시각적인 지도 영상을 표시하여 시술자 시야 입체영상 중에 주목할만 한 해부학적인 구성요소를 표시하는 내부구조 단면을 나타내는 것이 가능하게 되므로, 임장감이 있는 시각 지시를 하는 것이 가능하게 된다.

상술한 바와 같은 각 해부학적인 구성요소를 유지한 가상 3차원 볼륨 모델 컴퓨터그래픽스 중에서, 특히 치아와 같이 치관부와 치근부가 연속적인 하나의 강체(rigid body)이면서 그 일부(치근)를 악골(턱뼈) 중에 매설하는 조직의 경우, 제 1 및 제 2 발명을 이용하면 악골 내에서의 치근 상태를 비관혈적으로 또한 3차원적으로 인식하는 것이 가능하게 되므로, 치근의 간섭으로 인한 치근흡수, 치아이동속도의 지연 등을 피하여 효율적인 치아이동을 위한 와이어 밴딩에 도움이 된다. 또한, 제 13 발명과 같이, 미리 단층촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축하는 서페이스 폴리곤 모델(1)을 악골, 악안면, 및 개개의 치아(치관, 치근)를 각각 개별 파츠(parts) 데이터로서 보존하여, 그 파츠 요소별로, 3차원 디지털 확대경으로 촬상하는 치아(치관) 및 구강, 악안면을 스테레오법 입체계측한 서페이스 폴리곤 모델(2) 중, 개별 파츠의 서페이스 폴리곤 모델(1)과 3차원적으로 닮은꼴 형상인 서페이스 폴리곤 모델을 각각 형상패턴인식에 의해 개별적으로 판별검출하여 개별 파츠의 서페이스 폴리곤 모델(2)을 중첩한 후에, 상기 폴리곤 모델(1)에 텍스쳐 맵핑하고, 각각 치아(치관, 치근), 악골의 가상 3차원 볼륨 모델 컴퓨터그래픽스를 트랙킹하는 것이다. 개개의 치아의 시간경과에 따른 변화를 3차원 디지털 확대경 영상표시장치 가상 3차원 볼륨 모델 컴퓨터그래픽스 데이터로서 기록보존함으로써, 종전의 진단시 치아의 가상 3차원 볼륨 모델 컴퓨터그래픽스의 기록보존데이터를 표시함으로써 시간경과에 따른 치아의 이동상태를 타임머신과 같이 3차원적으로 인식하는 것이 가능하게 되므로 치료효율의 평가와, 치료계획의 재구축에 유용한 수단을 제공하는 것이 가능하게 된다. 이들의 가상 3차원 볼륨 모델 컴퓨터그래픽스의 기록보존은 모든 형태변화를 야기하는 치료행위에 대해 시술후 평가의 유용한 수단이 될 수 있다. 이 시술전 기록의 참조에 의한 치료평가 이외에 제 14 발명과 같이 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축하는 가상 3차원 볼륨 모델 컴퓨터그래픽스 보셀 모델을 치료목표(V.T.O)의 형태로 컴퓨터 서저리(computer surgery)(재구축)하여, 실체 영상 위에 맵핑 표시함으로써 치료목표를 시각적으로 확인할 수 있다. 이 응용예로서는 하악 전방돌출의 정형외과치료를 할 경우, 미리 골 정형 후의 하악골격의 가상 3차원 볼륨 모델 컴퓨터그래픽스 보셀 모델을 컴퓨터 서저리로 제작하여, 수술대상인 하악골에 맵핑 표시해 두면, 좌우 악관절에 의해 분리 단절된 후에 위치결정이 불안정하게 되기 쉬운 교합을 V.T.O로 시각적으로 확인함으로써 용이하게 재현하는 것이 가능하게 되어, 교정 치료에서는 제 10 발명에 기재된 각각 치아의 3차원 볼륨 모델 컴퓨터그래픽스를 재구성한 치료목표 아이디얼 아치 치열영상을, 악안면과 촬상장치의 3차원적 상대적 위치변화에 따라 3차원 디지털 확대경 모니터에 표시되는 구강 내에 표시하면, 치료목표(V.T.O)를 행해 정확하고 효율적인 치료 스텝을 구축할 수 있게 된다.

제 15 발명은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축하는 가상 3차원 볼륨 모델 컴퓨터그래픽스 보셀 모델에 치수게이지의 텍스쳐를 맵핑한 것이다. 해부학적 구성요소 표면에 직접 치수게이지가 등고선과 같이 표시되어 있는 것으로 3차원적 형상의 시각적 인식을 도와, 제 10 발명 및 제 12 발명으로 형성된 단면 표시부 치수게이지를 표시하면 정확한 시술을 지원하는 것이 가능하게 된다. 또한, 투명화한 가상 3차원 볼륨 모델 컴퓨터그래픽스의 보셀을 모눈 큐브 텍스쳐로 표시함으로써, 3차원적으로 보다 치수정밀도가 높은 시술을 하는 것이 가능하게 된다. 이와 같은 치수게이지는 생체나 시술대상에만 부여하는 것이 아니라, 치과 임플란트 수술의 경우 등에서는 시술기구의 절삭 드릴에 동심원적, 혹은 구형, 각형의 물결 형태로 퍼지는 치수게이지를 맵핑함으로써, 시술중에 인접 치아나 해부학적 랜드마크로부터의 거리를 파악하는 것이 가능하게 된다. 또한, 시술대상이 되는 물체 혹은 생체와 기구에, 미리 설계한 내부구조 불가시영역에 대한 기구의 3차원적 어프로치 방향을 나타내는 무한원(無限遠)의 직선 혹은 도형의 3차원 컴퓨터그래픽스 서지칼 가이드를 오버레이함으로써, 물체 혹은 생체에 대한 기구의 어프로치 방향을 용이하게 확인하여 골절삭 등의 수술을 시행하는 것이 가능하게 된다.

제 16 발명은 제 1 및 제 2 발명에 기재된 3차원 디지털 확대경 모니터상의 환자 실체에 복수의 별개로 가동가능한 환자 해부학적 CG 볼륨 모델을 레지스트레이션 레이아웃하여, 매치무빙하는 불가시영역의 상황을 환자 해부학적 CG 볼륨 모델의 움직임을 모니터상에서 확인하면서 매니퓰레이션(manipulation)할 경우, 임의의 고정기준점에 대한 운동궤적을 모니터에 표시함과 아울러, 기록보존재생기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템이다. 이 시스템을 이용하여, 하악골에 레지스트레이션 레이아웃하여 매치무빙하는 하악골 CG 볼륨 모델의 좌우 간접두(間接頭)에 가상의 힌지축의 직선으로 연결하여 매니퓰레이션에 의해 개폐운동을 실시함으로써, 이제까지는 전기적 근수축운동이나 경험치에 의존하여 구할 수 있었던 하악두의 회전중심을 시각적으로 모니터상에서 확인하여 정확하게 구하는 것이 가능하게 된다. 이 중심위치에서 스타트하는 좌우 하악두의 하악운동을 모니터로 확인하면서 정확한 과로각(顆路角, anglt of condyle path)의 궤적을 그래픽컬하게 모니터에 표시함으로써, 하악운동을 3차원 데이터의 형태로 기록재현하는 것이 가능하게 된다. 이 재현기록은 퍼스널 컴퓨터 상에 가상의(virtual) 교합기를 구성하게 되어, 이 가상의 교합기를 이용하여 보철물을 설계하면 종래의 키네마틱(kinematics) 교합기와는 비교할 수 없을 정도로 정교한 교합기능회복이 가능하게 된다.

제 1 및 제 2 발명에서는 실체의 영상 위에 가상 3차원 볼륨 모델 컴퓨터그래픽스 영상을 중첩표시함으로써 실체의 내부구조를 시각적으로 인식하는 것인데, 제 17 발명은 제 1 및 제 2 발명의 3차원 디지털 확대경의 영상표시장치에 전방시야 촬상영상을 비표시로 하고, 촬상하는 시술대상물체 혹은 생체(실체) 영상에 트랙킹하는 가상 3차원 볼륨 모델 컴퓨터그래픽스 영상만 표시하는 것이다. 제 1 및 제 2 발명에서 시술자가 장착하는 실체와 3차원 디지털 확대경의 3차원적 상대위치는 가상 3차원 볼륨 모델 컴퓨터그래픽스 영상으로의 재현은 보증되어 있으므로, 시술자는 가상 3차원 볼륨 모델 컴퓨터그래픽스를 실체와 마찬가지로 3차원 디지털 확대경의 영상표시장치 내에서의 시각 인식과, 시술대상물체 혹은 생체(실체)에 대한 직접 혹은 수술기구를 통한 간접적 촉각을 이용하여, 마치 직접 실체의 촬상영상을 관찰하면서 시술하는 것과 같이, 피사체=실체에 대한 수술을 수행하는 것이 가능하게 된다. 이는 인간이 자신의 손이 닿는 범위의 작업이 주체이며, 이 인간이 맨눈(안경이나 광학확대경을 사용하고 있는 경우도 마찬가지)의 시각으로 작업을 하고 있는 경우와 동일한 두부 자세와 시야 방향이며, 종래의 거치모니터를 마주보며 시선 방향과 다른 부위에 대한 부자연스런 작업체제와는 완전히 다른 자연스럼 감각을 부여하는 것으로, 사용자는 단시간에 임상응용가능하다. 특히 고배율 확대 수술에서는 가상 3차원 볼륨 모델 컴퓨터그래픽스 영상의 해부학적 구성요소를 디포메이션하여 표현함으로써 시각적 인식을 용이하게 한다. 이와 같이 시술자의 시야를 생체(실체) 영상에 트랙킹하는 가상 3차원 볼륨 모델 컴퓨터그래픽스 영상만으로 보완할 경우에는 촬상하는 시술대상물체 혹은 생체(실체) 영상은 시술자의 시각에 영향을 주는 일이 없으므로, 발광 다이오드 등으로 점을 발광하는 스폿 발광법에 의한 수동적인 스테레오법, 혹은 대응점을 만들어내는 슬릿을 통과한 직선형태의 광으로, 대상의 단면을 취득하도록 광을 스캔시켜 실체의 형상을 취득하는 슬릿 광투영법이나, 실체에 촬상장치 영상 내의 좌표를 판단할 수 있는 패턴을 투영하여 안길이를 구하는 패턴 광투영법 등의 능동적인 스테레오법을 사용하는 것도 가능하며, 이로써 계측시간의 단축과 처리 스피드의 향상이 가능하게 된다

제 18 발명은 좌우 촬상장치의 실체공간 촬상영상의 기록뿐만 아니라, 상기 실체공간 촬상영상에 트랙킹하는 3차원 컴퓨터그래픽스 영상을, 각각 모니터 표시 혹은 비표시에 상관없이 각 레이어별로 동영상 기록 보존하는 것이다. 실체공간 촬상영상의 기록에 대해서는 3차원 표시 모니터를 이용하면, HMD에 한정되지 않고 3차원 기록영상을 제공하는 것이 가능하게 된다. 그리고, 3차원 컴퓨터그래픽스 영상은 녹화재생하면 상기 실체 영상과 연동하여 3차원 애니메이션으로 표시되게 되는데, 이 3차원 컴퓨터그래픽스 영상에 가해진 시간경과에 따른 형상데이터를 유지시켜, 상기 시간경과에 따른 형상변화를 유지한 3차원 컴퓨터그래픽스 기록데이터를 모니터상에서 자유자재로 틸트, 팬, 줌, 회전의 6축 방향으로 회전이동가능하게 조작하여 관찰함으로써, 각 3차원 컴퓨터그래픽스 보존 데이터를 개별적으로 혹은 선택적 조합으로 표시하여 모니터상에서 자유자재로 조작가능하므로, 수술의 진행상황을 시술자가 관찰불가능한 시점(視點)으로부터 평가하는 것이 가능하다. 이로써 제 11 발명의 수술기구 CG 볼륨 모델 및 수술기구에 의해 실체에 야기되는 형태적 변화와 동일한 변화를 표현하는 가상 3차원 볼륨 모듈 컴퓨터그래픽스 기록데이터를 자유자재로 시점 변경하며 검토를 가하는 것이 가능하게 된다. 데이터의 기록보존은 단편적인 시간경과에 따른 기록 데이터의 축적으로도 동일한 효과를 표현하는 것이 가능하므로, 장기적인 치료인 교정치료 등의 평가에서도 유용하며, 골성장의 요소를 기록데이터에 반영하여 평가할 경우에는 골격의 성장중심의 동정진단에 유용하므로, 성장 예측에 기초한 치료계획의 입안에 유용한 수단이 된다.

본 발명은 상술한 실체 3차원 영상목적에 따라 실시간으로 가공되는 컴퓨터그래픽스 영상에 의해 수술지원이 성립하는데, 컴퓨터그래픽스 영상의 표현능력을 향상시키기 위해서는 쉐이딩이 중요한 요건이다. 그런데, 제 19 발명은 상기 모든 3차원 컴퓨터그래픽스 영상 신(scene) 전체를 2차원의 디지털 확대경 촬상장치의 실체영상으로 덮고, 그 편평한 영상을 광원으로 하여 시술대상물체 혹은 생체(실체)에 중첩하는 가상현실인 3차원 컴퓨터그래픽스 영상에 라이팅함으로써, 배경으로서 사용하는 실체공간상의 시야 영상과 가상현실인 합성 3차원 컴퓨터그래픽스의 내부구조를 포함하는 가상 3차원 볼륨 모델 컴퓨터그래픽스 보셀 모델 영상이 매우 잘 '융합한' 해부학적 내부구조로 표시되는 포토리얼한 합성화면을 만들어 내는 것이 가능하게 되므로, 보다 고도의 확장현실감을 표현할 수 있다.

제 20 발명은 좌우 촬상장치의 실체공간 촬상화와 3차원 컴퓨터그래픽스 영상 프레임을 번갈아 표시할 경우에는 각각의 일초간의 표시 프레임수를 조정가능하게 하여, 실체 영상과 3차원 컴퓨터그래픽스 영상의 인식률에 차이를 갖게 함으로써 인식목적으로 하는 영상의 명시성(明視性)을 향상시키고, 또한, 오버레이 표시할 경우에는 좌우 촬상장치의 실체공간 촬상화 혹은 3차원 컴퓨터그래픽스 영상의 각각의 표시비율과, 좌우 촬상화 혹은 3차원 컴퓨터그래픽스 영상의 한쪽 또는 양쪽의 3차원 디지털 확대경 좌우 모니터 표시비율을 자유자재로 변경가능하게 함으로써, 양안시에 따른 거리감, 피사계 심도, 입체감 등의 인식효과를 향상시키는 것이 가능하게 된다. 반대측 눈에 표시되는 영상은 주시안측에 표시하는 영상에 비해 인식정도가 낮은 것이 되므로, 이 작용을 이용하여, 좌우 모니터 각각의 표시영상의 명시 상황에 차이를 발생시킴으로써, 개인차가 있는 주시안, 반대측 눈에 대응하게 인식비율을 간편하게 변화시켜 목적으로 하는 표현 영상의 인식율을 조정하는 것이 가능하게 되므로, 맨눈으로 볼 때, 본 장치 장착시에 즉시 3차원 디지털 확대경의 화면에 순응하여 3차원 영상에 따른 확장현실공간을 쾌적하게 관찰할 수 있다.

상기 수단에 따르면, 다음과 같은 작용을 얻을 수 있다.

본 발명의 청구항 1∼청구항 19에 기재된 3차원 디지털 확대경 확장현실 수술지원 시스템에 따르면, 동일공간 내에 존재하는 피사체 영상을 스테레오법 입체계측한 서페이스 폴리곤 모델(2) 중에서, 피사체 단층 촬영 2차원 슬라이스 데이터 서페이스 폴리곤 모델과 3차원적으로 닮은꼴 형상인 서페이스 폴리곤 모델(1)을 형상패턴인식에 의해 판별검출한 후, 상기 서페이스 폴리곤 모델(1)에 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 트랙킹함으로써, 실제의 3차원 공간에서 야기되는 상기 피사체와 촬상장치의 상대적 위치변화에 따라, 실제의 상대적 위치변화와 동일한 변화와 같이 촬상장치 시야 내의 피사체인 실체와 가상의 3차원 컴퓨터그래픽스 영상이 일체화된 것처럼 표시되므로, 해부학적인 구성요소별로 구성한 3차원 컴퓨터그래픽스 영상의 각 레이어를 선택적으로 혹은 투시영상가공하여 촬상영상 위에 표시함으로써, 인간이 눈 앞의 실체를 시각적으로 인식하면서 직접 손에 닿는 촉각에 의해 작업을 수행하는 경우와 동일한 감각으로, 실체 영상으로 인식할 수 없는 내부구조를 명시화한 가상 컴퓨터그래픽스 영상의 시각을 이용하여, 내부구조를 확인하면서 경험이나 감에 의한 불확정 예측에 의지하지 않고 눈 앞의 실체내부 불가시부위에 대해 정확하게 어프로치하는 것이 가능하게 된다.

또한, 제 2 발명에 따르면, 3차원 디지털 확대경의 좌우 촬상장치와 영상표시장치를 병렬로 개별구성으로 함으로써, 내부구조구성요소 텍스쳐를 맵핑한 각 내부구성요소 중의 임의의 3차원 컴퓨터그래픽스를 양안시 영상표시장치에 좌우 각각 표시하는 대상실체영상과 개별적으로 트랙킹하여 매치무빙시킴으로써, 차원 디지털 확대경의 좌우 영상표시장치에 표시되는 실체영상 위에 2개의 서로 다른 피사체 내부구조 3차원 컴퓨터그래픽스를 중첩표시하는 것이 가능하게 되므로, 양안 시차각에 의해 촬상공간 실체영상 위에 녹아드는 듯한 임장감이 있는 투시영상 형태로 시술자에게 품질이 높은 입체인식에 의한 확장현실감을 제공할 수 있다.

뿐만 아니라, 상기 피사체(환자 실체)를 수술기구로 절개, 절삭, 삭제 등 체적변화에 영향을 주는 형태적인 변화를 부여한 경우, 상기 수술기구에 레지스트레이션 레이아웃하여 매치무빙하는 수술기구 CG 볼륨 모델이 환자 해부학적 CG 보셀 볼륨 모델에 대해 붐 연산을 이용하여 상기 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 환자 해부학적 CG 볼륨 모델을 나눗셈하여, 피사체(환자 실체)의 형태변화와 동일한 시각적인 변화를 환자 해부학적 CG 볼륨 모델에 실체 불가시영역을 포함하여 표시함으로써, 실공간에서의 피사체의 상태변화에 관한 시뮬레이션이 피사체에 중첩합성표시, 트랙킹하는 3차원 컴퓨터그래픽스의 상태와, 다른 피사체(실체)가 상기 피사체에 영향을 주는 촬상공간의 상태의 변화로 인해 야기되는 간접적인 영향이 가상 3차원 컴퓨터그래픽스 상에 시뮬레이션에 의해 표시된다.

또한, 상기 가상 컴퓨터그래픽스 영상을 가공함으로써, 3차원적인 시각적 가이드 마커나 애니매이션을 추가함으로써, 작업효율의 향상과 고정밀도 작업을 가능하게 하고, 이들 가공 3차원 컴퓨터그래픽스 영상과 상기 모든 컴퓨터그래픽스 영상 레이어는 개별적으로 녹화, 기록보존가능하므로, 시간경과에 따른 변화의 평가 및 예지성 예측의 유용한 근거가 될 수 있다.

도 1은 3차원 확대경에 표시되는 스테레오 영상(V-1-R, V-1-L)과, 그 좌우 영상데이터(D-1-R, D-1-L)을 이용하여 서페이스 폴리곤 모델(W-1)을 구성하는 상황을 표시하는 이미지를 나타낸 도면.
도 2는 2차원 슬라이스 데이터로부터 합성한 두개골 컴퓨터그래픽스, 안면 컴퓨터그래픽스, 안면 서페이스 폴리곤 모델을 구성하는 상황을 표시하는 이미지를 나타내는 도면.
도 3은 3차원 확대경 모니터상에 2차원 단층데이터로부터 구축한 컴퓨터그래픽스를 합성표시하는 시스템의 구성을 나타낸 흐름도.
도 4는 각종 설정에 따라 외층 컴퓨터그래픽스를 절취하여 내층 컴퓨터그래픽스가 표시된 상황을 나타낸 도면.
도 5는 3차원 디지털 확대경 모니터에 표시되는 실체영상 위에서 임플란트 홀을 형성하는 상황과, 실체영상 위에 해부학적 내부구조, 기구의 컴퓨터그래픽스, 및 기구의 도달 심도(深度)에 따라 상기 해부학적 구조체의 컴퓨터그래픽스에 야기되는 가상 컴퓨터그래픽스 영상을 합성표시한 상태를 나타낸 도면.
도 6은 도 5의 해부학적 내부구조, 기구의 컴퓨터그래픽스, 및 가상 컴퓨터그래픽스 영상뿐만 아니라, 미리 컴퓨터그래픽스 상에서 설계한 서지칼 가이드를 실체영상 위에 합성표시한 상태와, 상기 상황의 외층 컴퓨터그래픽스를 절취하여 내층 컴퓨터그래픽스가 표시된 상황을 나타낸 도면.
도 7은 3차원 디지털 확대경 모니터상에 표시되는 정면 및 측면의 구강내 치열 실체영상이 표시된 상태와, 상기 구강내 치열 실체영상에 불가시영역인 치근, 치조골의 2차원 단층데이터로부터 구축한 컴퓨터그래픽스를 합성표시한 상태, 및 미리 컴퓨터그래픽스 상에서 설계한 브래킷(bracket) 포지션을 실체영상 위에 합성표시한 상태를 나타낸 도면.
도 8은 교정치료목표에 치열 아이디얼 아치 폼을 치열실체영상, 혹은 치열실체영상과 3차원 시각적으로 동일 위치에 합성표시한 치열 컴퓨터그래픽스 상에 합성표시한 상태를 나타낸 도면.
도 9는 실체영상과 3차원 시각적으로 동일 위치에 합성표시한 두개골, 및 하악골의 컴퓨터그래픽스 상에 임의로 하악골 간접두에 대한 상대적 위치를 이동가능한 가상 하악운동 하악두 회전중심 힌지축을 합성표시한 상태를 나타낸 도면.
도 10은 도 9에 나타낸 방법으로 획득한 힌지축(hinge axis)을 기시점으로 한 하악운동 3축 2차원 가상 팬터그래프(pantograph) 표시와, 하악절치의 한계운동로를 표시하는 가상교합기를 나타낸 도면.

이하, 본 발명의 실시 형태에 대해 첨부도면을 참조하여 설명한다.

도 1∼도 10은 발명 실시의 요소 및 실시상황을 나타낸 일 예로서, 도면 중의 테두리는 디지털 확대경의 모니터 화면, 모니터의 인식이미지 혹은 PC 모니터 화면을 나타내며, 디지털 확대경 모니터에 대해서는 좌우 모니터의 구성에 의해 입체적 인식을 나타내는 것이다. 또한, 동일한 부호를 붙인 부분은 동일한 것을 나타낸다.

본 발명의 기본적인 구성요소인 3차원 디지털 확대경의 원리는 인간이 육안을 사용하여 망막에 투사하는 이미지를 뇌에서 인식할 때에 좌우 양쪽 눈의 시차각을 이용하여 거리를 파악하는 생체 시스템을 그대로 주도하여, 입체적으로 인식하는 상황을 좌우 눈의 전방에 설치한 영상표시장치의 시각에 의해 재현하는 것이다. 즉, 3차원 디지털 확대경의 좌우동공의 전방에 설치한 스테레오 촬상장치는 장착자의 양쪽 눈, 바꿔말하면 시각인식의 가장 앞부분에 위치하는 수정체의 역할을 하는 것으로, 이 좌우 별개의 영상정보를 좌우 별개의 영상표시장치에 표시함으로써, 장착자는 맨눈으로 물체를 인식하는 경우와 마찬가지로 입체시하는 것이 가능하게 된다. 이와 같은 원리의 3차원 디지털 확대경을 이용하여 도 1에 나타낸 바와 같은 촬상방향이 다른 영상을 좌우표시장치(V-1-R, V-1-L)에 투사함으로써, 시술자는 촬상대상을 입체영상으로서 인식하는 것이 가능하게 된다. 이 양쪽 눈의 역할을 하는 양안 입체시에 사용한 좌우 3차원 영상정보(D-1-L, D-1-R)를, 스테레오 배치한 좌우 촬상장치의 변위각도와, 고정된 2대의 카메라들간 거리에서의 삼각측량데이터로 연산처리하여 입체계측을 실시하는 스테레오 영상법을 이용하여 서페이스 폴리곤 모델(W-1)이 구성된다. 이 서페이스 폴리곤 모델(W-1)은 실체 영상촬상과 동일한 시점(視點)(동일한 촬상장치)이므로, 일체의 보정을 가하는 일 없이, 촬상대상(실체)과 3차원 디지털 확대경 촬상장치(시술자)의 3차원적 상대위치 관계를 표현하는 것으로, 실체영상과의 정합성을 얻기 위한 보정처리를 필요로 하지 않는다. 이들 촬상장치에 의해 촬상되는 영상의 촬상범위는 촬상대상과 촬상장치의 거리, 및 촬상장치의 확대율에 의해 규정되는데, 작업에 바람직한 확대율을 설정한 경우, 작업길이(working length)는 인간공학(ergonomics)의 관점에서 시술자 전방 10cm∼40cm 범위의 작업거리가 대상이 되므로, 이니셜라이징시의 계측점 설정은 예상되는 작업길이의 최접근 위치에서 행하게 된다. 만약 구강 내와 같이 입술, 볼 등에서 이니셜라이징시의 측정점 영상형태로 설정할 수 없는 경우에는 가시범위에서의 측정점과, 상기 측정점의 내측 즉 입술이나 볼의 내측에 존재하는 치열 혹은 치아의 부동점에 대해서도 미리 이니셜라이징을 실행함으로써 확대표시시의 입체측정 정밀도를 향상시킨다.

또한, 단층촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 각 구조구성요소의 서페이스 폴리곤 모델(1)을 3차원 디지털 확대경의 좌우 각각의 촬상장치가 촬상하는 양안 입체시(立體視)에 사용한 좌우 각각의 2차원 영상정보(D-1-L, D-1-R) 영상 데이터에 직접 컴퓨터 영상인식처리에 의해 맵핑하며 트랙킹하면, 상기 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑하여 각 내부구성요소 중의 임의의 3차원 컴퓨터그래픽스를 양안시 영상표시장치에 좌우 각각 표시하는 대상실체영상과 개별적으로 매치무빙시키는 것이 가능하게 된다. 도 2에 나타낸 것은 시술대상에 대해 미리 단층촬영을 한 2차원 슬라이스 데이터를 보완구성함으로써 구성한 시술대상의 해부학적 구성요소, 뼈 서페이스 데이터 컴퓨터그래픽스(C-1), 피부 서페이스 컴퓨터그래픽스(C-2), 피부상피 서페이스 폴리곤 모델(C-3)을 나타낸다. 이 피부상피 서페이스 폴리곤 모델(C-3)은 3차원 디지털 확대경의 영상정보로부터 구성한 서페이스 폴리곤 모델(W-1)의 폴리곤의 형상구성과 정합성이 있으며, 또한 대상실체에 대한 구성 폴리곤수는 그 실체의 형태적인 특징을 표현하는 것이 가능한 범위 내에서 최소의 구성수이다. 따라서, 이 폴리곤 구성은 뼈 서페이스 데이터 컴퓨터그래픽스(C-1), 피부 서페이스 컴퓨터그래픽스(C-2)의 텍스쳐 맵핑의 구성에 사용하는 폴리곤 모델의 폴리곤 구성을 축소(reduce)하여 가급적 폴리곤 수를 감소시킨 것을 사용하게 된다. 이 축소(reduce)처리는 3차원 디지털 확대경에 의한 입체측정데이터로 구성한 서페이스 폴리곤 모델(W-1)에서도 마찬가지로 처리됨으로써, 상기 각각의 폴리곤 모델은 정합성을 유지한다. 이들 데이터는 각 상대적인 위치관계를 유지하면서 모니터상에 자유자재로 표시/비표시가 가능함과 동시에, 일괄 데이터(C) 혹은 각 조합으로 표시할 경우에는 각각의 투명도나 색조에 대해 자유롭게 변경가능하므로, 각 해부학적 구성요소는 시각적으로 용이하게 식별인식하는 것이 가능하다.

도 3에 나타낸 것은 3차원 디지털 확대경 촬상장치 데이터와 단층촬영데이터의 영상정보의 통합과정의 흐름을 나타낸 것이다. 3차원 디지털 확대경은 좌측 촬상장치의 영상정보를 일측의 영상표시장치에, 우측 촬상장치의 영상정보를 타측 영상표시장치에 표시하고, 육안과 마찬가지로 실체를 입체적 인식가능하게 하므로, 단독으로 사용할 경우에는 그 명칭이 나타내는 바와 같이, 이 3차원 디지털 확대경의 좌우 촬상장치 2차원 영상정보는 퍼스널 컴퓨터로 좌우 개별적으로 혹은 동일하게 투명화, 색조 변경 등의 영상처리를 실시하여 3차원 디지털 확대경의 표시장치에 개별적인 영상정보로서 리턴하면 확대경으로서 사용하는 것이 가능하다. 이들 3차원 디지털 확대경 촬상장치의 스테레오 배치한 고정변위각도와 고정 카메라간 거리의 좌우촬상장치 2차원 영상정보는, 도 1에 나타낸 바와 같이, 퍼스널 컴퓨터로 입체계측함으로써 서페이스 폴리곤 모델(C-2)이 구성된다. 이 서페이스 폴리곤 모델(C-2)은 도 3에 나타낸 CT 2차원 단층데이터로부터 구축한 이 서페이스 폴리곤 모델(W-1)로 판별인식됨과 동시에 뼈 서페이스 데이터 컴퓨터그래픽스(C-1), 피부 서페이스 컴퓨터그래픽스(C-2) 영상이 선택적으로 혹은 종합적으로 영상 트랙킹한다. 따라서, 시술자는 3차원 디지털 확대경을 장착했을 때에 시야 3차원 공간상의 입체시할 실체영상(V-1)과 3차원적 동일위치에 오버레이 표시됨과 아울러, 실체영상(V-1)을 영상 트랙킹하는 뼈 서페이스 데이터 컴퓨터 그랙픽스(C-1), 피부 서페이스 컴퓨터그래픽스(C-2) 등의 단층촬영데이터로부터 구축한 각 해부학적 형상을 나타낸 컴퓨터그래픽스를 인식하는 것이 가능하게 된다. 이들 3차원 디지털 확대경에 표시되는 실체영상(V-1)과 실체(1)의 각 해부학적 구성요소를 표현하는 뼈 서페이스 데이터 컴퓨터그래픽스(C-1), 피부 서페이스 컴퓨터그래픽스(C-2)는 각 레이어의 투명도를 변경함으로써, 실체(1)의 불가시영역을 실체 영상(V-1) 상에 표현하는 것이 가능하게 되어, 실체 영상(V-1)을 배제하여 표시 영상을 전부 컴퓨터그래픽스의 조합만으로 표시하며, 시각적으로 육안 시각 인식하는 경우와 동일한 모양으로 손바닥 들여다보듯이 3차원 인식하는 컴퓨터그래픽스와, 실체(1)에 대한 촉각을 이용하여 불가시영역에 대한 수술을 실시하는 것이 가능하게 된다.

또한, 도 4의 V-4와 같이 불투명한 상기 피부 서페이스 컴퓨터그래픽스(C-2)를 투시 라인(3-a)으로 컷팅함으로써, 레이어를 하층 배치한 내부구조인 치아(CG4-C)를 입술을 다문 상태로 명시(明視)할 수 있다. 이와 같은 CG의 표현은 미리 촬상 실공간 상의 피사체 영상에 3차원 컴퓨터그래픽스 영상 단면형상을 고정배치 가공한 CG를 표시하는 것이 아니라, 촬상장치의 시선 방향을 축으로 하는 임의 설정한 투명입체형상(본 도시예에서는 원통형)이 시선 방향과 연동하여 투시라인(3-a)으로 피부 서페이스 컴퓨터그래픽스(C-2)를 컷팅하므로 시선을 변경하면 투시범위도 3-b로 이동하여 동일부분이 불 연산(boolean operation)에 의해 제산(除算)되어 내부 레이어의 뼈 서페이스 데이터 컴퓨터그래픽스(C-1)가 투시된다. 또한, 상기 투명입체형상(본 예에서는 구형상의 설정)을 3차원 디지털 확대경 촬상장치와 3차원 공간상의 상대적 위치관계에서 고정범위로 설정하면, V-4, 3-a의 치열(CG4)을 투시할 수 있는 상태로부터, 3차원 디지털 확대경을 장착한 상태에서 시술자가 얼굴을 실체 접근시키면 투시범위가 확대되어 V-5, 3-c와 같이 치열(CG4) 및 하악골(CG7)의 범위까지 투시된다. 이 투명입체형상을 더욱 무한대로 확대한 투시라인(3-d)으로 하면, V-6에 나타낸 바와 같이 피부 서페이스 컴퓨터그래픽스(C-2)의 3차원 확대경 촬상장치측 전체를 투시하는 것이 가능하게 된다. 이들 모든 투시처리는 각 레이어별로 설정가능하므로 레이어 단층의 투시는 본 도시예와 같이 피부 서페이스 컴퓨터그래픽스의 투시뿐만 아니라 각 레이어에 대해 자유자재로 수행하는 것이 가능하다.

상술한 레이어 계층을 자유자재로 투시하는 기술을 사용하면 도 4에 나타낸 바와 같이, 치과 임플란트 수술을 무절개로 안전하게 실시하는 것도 가능하게 된다. 치과 임플란트 홀 형성시에 고려해야 하는 문제는 시술 후에 임플란트 네크 주위에 순조로운 뼈 형태를 유지하기 위해 시술부위의 골량과 형상을 확인하는 것, 및 하치조신경을 피하여 치관 치근비가 1:1 이상인 깊이의 임플란트 매입홀을 획득하는 것이다. 이 때문에, 종래에는 시술부위의 점막 골막변을 절개 박리하여 치조골을 노출시켜 뼈의 상태를 확인하고, 임플란트 홀 형성시에는 미리 파노라마 엑스선 혹은 CT 단층촬영의 축척(縮尺) 계측으로 하치조신경까지의 거리를 측정하여, 엑스선 영상의 기억에 의지하여 블라인드 드릴링을 실시하였었다. 만약 무절개로 임플란트 홀 형성을 실시한 경우, 도 5의 V-7∼V-8과 같이 절개드릴(14)로 잇몸 연조직(9)을 절개하여 넣는 순간에 드릴의 방향 및 드릴의 선단 위치는 불가시영역에 삼켜진다. 또한, V-9의 절삭 후에도 형성된 임플란트 홀 실체는 확인할 수 없다. 그런데, V-10에 나타낸 바와 같이 가상 컴퓨터그래픽스 표시되는, 잇몸 연조직(CG9-C) 내에서 확인하는 피질골(CG10-C)로 피질골의 상태를 파악하면서 절삭드릴(14)의 드릴링 위치를 결정하여 V-11에 나타낸 바와 같이 해면골(CG11-C)을 절삭하여 임플란트 홀을 형성할 수 있다. 이 때에 하악 치조신경관(CG12-C)도 시각적으로 확인가능하므로 신경손상의 위험을 초래하는 일 없이 안전하게 가급적 깊은 위치까지 임플란트 매입홀을 형성하는 것이 가능하다. 또한, 잇몸 연조직(CG9-C), 피질골(CG10-C), 해면골(CG11-C)을 절삭드릴(CG14-C)로 불 연산에 의해 제산함으로써, V-12와 같이 형성한 후의 임플란트 홀(CG14-B)을 유지하여 3차원 시각적으로 확인할 수 있다.

이 수술은 도 6의 V-13에 나타낸 바와 같이 드릴링 심도와 방향을 서지칼 가이드(CG15-C)로 표시하고, 드릴의 선단을 잇몸 연조직(CG9-C) 상의 서지칼 가이드(CG15-C)에 두고, V-14와 같이 타겟 방향으로 서지칼 가이드 선단까지 드릴링을 실시하여, 악골의 해부학적 형상, 골밀도, 그리고 종말보철처치를 고려하여 시술 전에 설계한 임플란트 식립위치에 정확하게 임플란트 홀을 형성한다. 필요에 따라 임플란트 홀 형성후에는 임플란트 홀(CG14-B)과 서지칼 가이드(CG15-C)를 표시함으로써 시술후의 평가를 실시한다. 이 때, 3차원 CG 표시되는 하악 투시영상을 V-16, V-17에 나타낸 투시라인(3-a)으로 컷팅하여 서지칼 가이드(CG15-C)에 대한 절삭드릴(CG14-C)을 컷팅 단면방향으로부터 확인하여 V-18과 같이 안길이를 확인한 드릴링을 수행한다. 이로써, 서지칼 가이드(CG15-C)와 투시라인(3-a)의 2방향으로부터의 드릴방향 및 심도를 수술자가 시선을 변경하지 않고 확인하면서 수술을 하는 것이 가능하다.

마찬가지로, 구강내 치아를 3차원 디지털 확대경으로 촬상하여, 실체 영상을 관찰하면 도 7의 V-O-1, V-O-2에 나타낸 바와 같이 인식된다. 이 해부학적 부동점인 각각의 치아실체영상에 대해 치아(CG4-C), 치근(CG5-C), 잇몸 연조직(CG9-C) 컴퓨터 그랙픽스 레이어와, 투명화한 입술(26) 레이어와 함께 중첩표시하면 V-O-3, V-O-4에 나타낸 바와 같이 불가시영역인 치근의 상태를 눈 앞의 환자의 안면상에 3차원적으로 시각 인식할 수 있다. 구강외과영역에서 매복 치아를 발치할 때에는 3차원적으로 치아 치근의 위치와 방향을 확인하므로 안전하고 확실한 수술에 도움이 된다. 또한, 교정치료에 있어서, V-O-5, V-O-6에 나타낸 바와 같이 치근방향과 치아 식립방향을 고려한 가상 브래킷 포지션(CG24)을 치아(CG4-C) 상에 표시함으로써 치근방향으로 매칭한 브래킷 포지셔닝이 가능하게 된다. 교정치료 중에는 현재의 촬상영상 위에 기록보존한 치료경과의 치아(CG4-C)를 오버레이 표시함으로써 치아의 이동상황을 시간경과에 따라 비교검토할 수 있다. 이 비교검토는 개개의 치아에 한하지 않고 치열 전체로서 교합평면의 평가에도 응용가능하다. 도 8에 나타낸 바와 같이 교정치료의 치료목표설정단계에서 결정한 컴퓨터그래픽스 아이디얼 아치(16-C)에 대한 각 치아의 상태를 V-19와 같이 3차원 디지털 확대경에 표시되는 치열 실체영상 위, 혹은 선택적으로 치열 치아(CG4-C)와 하악골(CG7) 위에 표시함으로써 현재의 치열 평가가 가능하며, 기록보존한 치료경과의 치아(CG4-C)를 오버레이 표시함으로써 치료 스텝의 재평가를 실시하여 효율적인 치료를 가능하게 한다.

이와 같은 불가시영역을 명시(明視)화하는 본 발명은 외과치료 혹은 치과교정치료에 한하지 않고 보철교합치료에도 유용하다. 종래, 하악운동의 기시점인 힌지축을 구하기 위해서는 팬터그래프를 이용하여 하악을 매뉴퓰레이션하여, 좌우 콘다일(condyle)축의 움직임을 좌우의 플러그에 묘기침(描記針)으로 묘기(描記)하여 변위가 상쇄된 위치를 회전중심으로서 설정하는 복잡한 조정을 강요당하고 있었다. 그러나, 본 발명에서는 도 9에 나타낸 바와 같이 실체영상과 3차원 시각적으로 동일위치에 중첩합성표시한 두개골(CG8), 및 하악골(CG7)의 해부학적 콘다일 중심을 연결한 잠정 컴퓨터그래픽스 힌지축(17-C)을 합성표시하고, 실체에 대해 개폐운동을 매뉴퓰레이션하면 컴퓨터그래픽스 힌지아크(18-C)가 회전하므로, 상기 컴퓨터그래픽스 힌지아크(18-C)의 회전변위량이 자동 계산되어 컴퓨터그래픽스 힌지축(17-C)이 수정표시된다.

도 10은 이와 같이 하여 구해진 리얼 컴퓨터그래픽스 힌지축(17-C)을 기시점으로 한 하악운동을 기록한 가상 팬터그래프이다.

종래의 팬터그래프에서는 플러그의 위치가 안면의 외측에 위치하기 때문에 묘기되는 하악운동은 콘다일 중심부의 운동궤적이 아니지만, 본 발명에서는 리얼 힌지축을 기시점으로 한 하악운동을 3축 2차원 표시면으로 표시하므로 정확하게 좌우 콘다일의 하악두 중심운동 궤적(23)을 3축방향으로부터 평가할 수 있다. 이 운동궤적은 콘다일 이외에도 치아(CG4-C) 등에 마킹을 하여 하악 한계운동을 유도하면, 절치부 하악 한계운동로(22)가 표시된다. 이 각 운동궤적 기록은 한계운동 이외에 저작운동, 삼킴운동, 스피치 등일 때의 생리적인 하악운동도 기록하므로, 특히 치열을 문지르게 하는 측방 운동 및 전방 운동과 그리고 하악두 중심운동 궤적(23) 데이터를 이용하여 컴퓨터상에 가상 교합기를 구축한다. 이 가상교합기는 생체의 운동을 완전하게 표현하고 있으므로, 이 교합기 상에 상하치열(CG)을 표시하고, 컴퓨터상의 가상교합기로 3차원 CAD를 사용하여 각종 생리적 운동에 매치된 보철물을 설계하며, 츄잉(chewing) 사이클, 삼킴운동 등을 재현하여 보철물의 기능해부학적 형상을 재평가함으로써 완벽한 보철 치료를 수행하는 것이 가능하게 된다.

또한, 이와 같은 비관혈적인 시술장면, 특히 턱운동의 기록, 진단 혹은 교정치료에서 본 시스템을 이용할 경우에는 부동점인 치아, 혹은 골면을 직접 촬영하는 범위가 한정되게 되는데, 이와 같은 도 9의 명시 마커(27)를 재현성이 있는 장착수단으로 상하 치아에 고정한 상태에서 단층촬영을 하여 폴리곤 모델 데이터로 하여, 실체영상의 렌더링 마커로서 이용하면 보다 정밀도가 높은 컴퓨터그래픽스의 매치무빙기능을 얻는 것이 가능하다. 이 명시 마커(27)는 입술을 다문 상태에서도 상하 치아에 장착하는 것이 가능하기 때문에, 구강 주위근의 운동을 방해하는 일 없이 생리적인 운동시의 턱운동을 기록하는 것이 가능하게 된다.

또한, 본 발명의 3차원 디지털 확대경수술 지원시스템의 영상 합성 레이어 요소의 구성은 상기한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러 가지 요소로 분해 혹은 합체 등의 변경을 가할 수 있음은 물론이다.

(산업상의 이용가능성)

본 발명의 3차원 디지털 확대경수술 지원시스템은 피사체에 장착한 센싱 마커와 촬상장치에 장착한 3차원 위치 센서를 이용하여 양자의 상대적 위치변이를 실시간으로 위치계측하여, 피사체와 촬상장치의 3차원적 상대적 위치변화에 따라 3차원 디지털 확대경의 주시안측의 모니터에 표시되는 촬상공간 중의 특정 피사체 영상에 상대적으로 고정배치한 3차원 컴퓨터그래픽스 영상의 표시방향과 표시확대율 혹은 표시위치를 변경하여, 실제의 3차원 공간에서 야기되는 상기 피사체와 촬상장치의 상대적 위치변화에 따르게 함으로써 촬상장치 시야 내의 피사체인 실체와 가상의 3차원 컴퓨터그래픽스 영상이 일체가 되어, 촬상장치 시야 내에서 피사체와 촬상장치의 공간적 위치변화에 상관없이 피사체와 3차원 컴퓨터그래픽스 영상이 일체화된 것처럼 표시하고, 상기 촬상장치와 피사체, 3차원 컴퓨터그래픽스 영상의 3차원 상태변화의 형태로 표현하여, 3차원 컴퓨터그래픽스 영상을 실제의 상대적 위치변화와 동일한 변화와 같이 촬상영상 상에 3차원 표시하는 통합현실감을 표현하는 시스템이다.

이 시스템에 의해, 3차원 디지털 확대경 모니터에 표시되는 촬상영상공간 상에서 3차원 컴퓨터그래픽스 영상은 특정 피사체에 상대적으로 고정배치되어 있으므로, 실공간에서의 피사체의 3차원적 위치이동에 3차원적으로 연동하여, 촬상장치측의 3차원 디지털 확대경이 이동한 경우에는 피사체와 동일하게 그 위치에 머무르며, 촬상장치의 시야 방향의 변화에 따른 피사체 투영방향과 동일 시야 방향의 3차원 컴퓨터그래픽스 영상을 제공하게 되므로, 마치 투시안경과 같이 눈 앞의 실체의 내부를 시각적으로 인식하여, 그 3차원으로 인식하는 촬상영상 중의 피사체와, 3차원의 컴퓨터그래픽스 영상을 확인하면서, 모든 시야 정보를 3차원적으로 인식함으로써, 경험이나 감에 의존하지 않고 눈 앞의 실체 내부 불가시부위에 대해 정확하게 어프로치하는 것이 가능하게 된다.

마찬가지로, 동일 공간 내에 존재하는 피사체가 복수인 경우, 복수의 피사체 영상에 각각 3차원 컴퓨터그래픽스 영상을 상대적으로 고정배치하여, 대상 피사체가 한 덩어리의 개체일지라도 변형하는 피사체인 경우, 응력 혹은 자율변형하는 각 부위단위에 대응하게 3차원 컴퓨터그래픽스 영상을 상대적으로 고정배치하고, 각각의 피사체에, 혹은 응력 혹은 자율변형하는 각 부위 단위에 장착한 센싱 마커를 촬상장치에 장착한 3차원 위치 센서를 이용하여 각 피사체와 촬상장치의 상대적 위치변이를 실시간으로 위치계측하여, 피사체와 촬상장치의 3차원적 상대적 위치변화에 따라 장착자의 주시안측의 모니터에 표시되는 촬상공간 중의 각 피사체 영상에 상대적으로 고정배치한 각각의 3차원 컴퓨터그래픽스 영상의 표시방향과 표시확대율 혹은 표시위치를 변경하고, 실제의 3차원 공간에서 야기되는 상기 피사체와 촬상장치의 상대적 위치변화에 따라가게 함으로써, 촬상장치 시야 내의 피사체인 실체와 가상의 3차원 컴퓨터그래픽스 영상이 일체가 되어, 촬상장치 시야 내에서 피사체와 촬상장치의 공간적 위치변화에 상관없이 피사체와 3차원 컴퓨터그래픽스 영상이 일체화된 것처럼 표시하고, 상기 촬상장치와 피사체, 3차원 컴퓨터그래픽스 영상의 3차원 상태변화의 형태로 표현하여, 촬상장치 시야 내의 피사체인 복수의 실체 혹은 변형하는 실체와 복수 혹은 형상을 변화시키는 가상의 3차원 컴퓨터그래픽스 영상이 일체가 되어, 촬상장치 시야 내에서 피사체와 촬상장치의 공간적 위치변화에 상관없이 피사체와 3차원 컴퓨터그래픽스 영상이 일체화된 것처럼 표시하여, 각 피사체의 관련성에 관해서도 각각의 변형 혹은 변이가 서로 영향을 미치는 경우도, 실공간에서의 피사체의 상태변화에 관한 시뮬레이션이 3차원 컴퓨터그래픽스의 상태를 각 소재의 변형 형태로 충실하게 재현되며, 촬상공간의 상태의 변화로 인해 야기되는 3차원 컴퓨터그래픽스에 대한 간접적인 영향의 시뮬레이션 표현이 포함되는 것을 특징으로 하는 멀티합성영상 위치보완 트랙킹 시스템이다.

이 시스템에 의해, 3차원 디지털 확대경 모니터에 표시되는 촬상영상공간상에서 각각의 피사체에 상대적으로 고정배치되어 있는 3차원 컴퓨터그래픽스 영상은 실공간에서의 각 피사체의 3차원적 위치이동에 3차원적으로 연동하여, 마치 투시안경과 같이 눈 앞의 실체의 내부를 시각적으로 인식하고, 그 3차원으로 인식하는 촬상영상 중의 각 피사체와 각 피사체에 부착된 각 3차원의 컴퓨터그래픽스 영상을 확인하면서, 모든 시야 정보를 3차원 인식하는 것이 가능하게 되므로, 일 예를 들면 완전 골절 등의 증례에 있어서, 골절부위의 접합상황을 촬상공간 상에서 투시함으로써 시각적으로 확인하면서 불가시영역이면서도 경험이나 감에 의존하는 일 없이 정확하게 정복하는 것이 가능하게 된다. 또한, 특히 치과보철분야에서는 가상교합기를 사용하여 설계한 보철물 CAD 데이터를 기초로 CAD에 의해 보철물을 제작하면, 종래의 간접법과 같이 치수정밀도를 저하시키는 원인이 되는 인상 채득, 부(副)모형 제작, 왁스 업(wax up), 주조 등의 제조공정을 생략하는 것이 가능하게 되어 매우 정밀도가 높게 생태적합성이 높은 보철물을 제작하는 것이 가능하게 된다.

본 발명의 각종 기능은 의료분야뿐만 아니라 일반공업계, 특히 조립 작업 등의 공정 매뉴얼로서 유용하며, 특히 시야 방향과 다른 불가시방향으로부터의 시야와 내부상황을 획득하는 것이 가능하게 되므로, 불가시영역에 대해 효율적인 작업을 실시하는 것이 가능하게 된다.

1 : 실체(안면, 두개) 2 : 3차원 디지털 확대경
3-a : 투시라인 3-b : 투시라인
3-c : 투시라인 3-d: 투시라인
3-e : 투시라인 4 : 치아
4-C : 치아 CG 5-C : 치근 CG
6 : 안면 연조직 CG 7 : 하악골 CG
8 : 두개골 CG 9 : 잇몸 연조직
9-C : 잇몸 연조직 CG 10 : 피질골
10-C : 피질골 CG 11 : 해면골
11-C : 해면골 CG 12 : 하악 치조신경관
12-C : 하악 치조신경관 CG 13 : 모터
14 : 절삭드릴 14-B : 임플란트 홀 CG
14-C : 절삭드릴 CG 15-C : 서지칼(surgical) 가이드 CG
16 : 아이디얼 아치
16-C : 컴퓨터그래픽스 아이디얼 아치
17-C : 컴퓨터그래픽스 힌지축 18-C : 컴퓨터그래픽스 힌지아크
19-R : 가상 우측 팬터그래프 플러그 X축면
19-L : 가상 좌측 팬터그래프 플러그 X축면
20-R : 가상 우측 팬터그래프 플러그 Y축면
20-L : 가상 좌측 팬터그래프 플러그 Y축면
21-R : 가상 우측 팬터그래프 플러그 Z축면
21-L : 가상 좌측 팬터그래프 플러그 Z축면
22 : 절치부 하악 한계운동로 23 : 하악두 중심운동궤적
24 : 가상 브래킷 포지션 CG 25 : 가상교합 평면 CG 26 : 입술 27 : 명시 마커
C : 두부 해부학적 요소의 서페이스 데이터 컴퓨터그래픽스
C-1 : 두개골 컴퓨터그래픽스 C-2 : 안면 서페이스 폴리곤 모델
C-3 : 안면 컴퓨터그래픽스
D-1 : 3차원 디지털 확대경 촬상영상테이터
D-1-R : 3차원 디지털 확대경 우측 촬상영상데이터
D-1-L : 3차원 디지털 확대경 좌측 촬상영상데이터
D-2 : 입체계측(CT) 폴리곤 서페이스 모델
V-1 : 3차원 촬상영상
V-1-R : 3차원 디지털 확대경 우측영상
V-1-L : 3차원 디지털 확대경 좌측영상
V-2 : 실체, 골격 CG 중첩영상
V-3∼V-6 : 소프트 티슈 CG, 골격 CG 중첩영상
V-7∼V-9 : 하악 치조 실체영상
V-10∼V-12 : 잇몸 연조직 CG, 피질골 CG, 해면골 CG, 하악 치조신경관 CG, 및 절삭드릴, 임플란트 홀 CG, 절삭드릴 CG 중첩표시영상
V-13∼V-15 : 잇몸 연조직 CG, 피질골 CG, 해면골 CG, 하악 치조신경관 CG, 및 절삭드릴, 임플란트 홀 CG, 절삭드릴 CG, 서지칼 가이드 CG 중첩표시영상
V-16∼V-18 : 잇몸 연조직 CG, 피질골 CG, 해면골 CG, 하악 치조신경관 CG, 및 절삭드릴, 임플란트 홀 CG, 절삭드릴 CG, 서지칼 가이드 CG 중첩표시영상 및 투시단면
V-19 : 컴퓨터그래픽스 아이디얼 아치, 하악골격 CG 중첩영상
W-1 : 안면 서페이스 폴리곤 모델(3차원 디지털 확대경 촬상영상데이터로부터 합성)

Claims

시술자가 육안 혹은 광학확대경으로 대상을 시각적으로 인식하는 경우와 동일한 시야 상황을 재현하도록,
최소의 구성으로서는, 시술자 양쪽 눈의 시선 상에 배치한 한 쌍의 양안시(兩眼視) 영상표시장치, 및
그 영상표시장치 배면의 양안 동공 중앙부에 상당하는 위치로부터 시야 방향을 향해 장착한 스테레오 배치 촬상장치를
구비한 3차원 디지털 확대경의 좌우 촬상영상을 이용하여 스테레오법 입체계측법을 이용하여 획득한 서페이스 폴리곤 모델(2)과;
미리 단층촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 각 구조구성요소의 서페이스 폴리곤 모델(1);을 이용하여,
상기 3차원 디지털 확대경 전방시야 촬상영상 위의 서페이스 폴리곤 모델(2) 중, 서페이스 폴리곤 모델(1)과 3차원적으로 닮은꼴 형상인 서페이스 폴리곤 모델을 형상패턴인식에 의해 판별 검출한 후, 상기 서페이스 폴리곤 모델(1)을 중첩시켜,
상기 서페이스 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 트랙킹함으로써,
시술자 3차원 디지털 확대경 시야 내에 존재하는 시술대상이 되는 물체 혹은 생체 영상의 일부 혹은 전체를 3차원 볼륨 모델 컴퓨터그래픽스로 오버레이하고,
3차원 디지털 확대경에 표시되는 물체의 내부구조 불가시영역을, 가상 3차원 볼륨 모델 컴퓨터그래픽스의 내부구조구성요소 영상으로 표현함과 아울러, 촬상공간에서의 촬상장치와 물체의 상대적 3차원 위치변화에 추종하여 가상 3차원 컴퓨터그래픽스 영상이 실시간으로 표시 레이아웃을 변경하며 트랙킹하여, 실공간에서의 피사체의 상태변화에 관한 시뮬레이션이 피사체에 중첩표시한 3차원 컴퓨터그래픽스의 상태와, 촬상공간의 상태의 변화로 인해 야기되는 3차원 컴퓨터그래픽스에 대한 간접적인 영향이 시뮬레이션에 의해 표시되는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항에 있어서,
미리 단층 촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 각 구조구성요소의 서페이스 폴리곤 모델(1)을 구성하는 윤곽 혹은 특징적인 포인트 혹은 라인을 3차원 디지털 확대경의 좌우 각각의 촬상장치가 촬상하는 영상 데이터에 맵핑하여 트랙킹함으로써,
상기 서페이스 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑한 각 내부구성요소 중의 임의의 3차원 컴퓨터그래픽스가 양안시(兩眼視) 영상표시장치에 좌우 각각 표시하는 대상실체영상과 개별적으로 매치무빙시켜, 실공간에서의 피사체의 상태변화에 관한 시뮬레이션이 3차원 디지털 확대경에 의해 입체시하는 대상실체 상에 중첩표시하여 양안 시차각에 의해 촬상공간 상에 떠오르는 듯한 임장감이 있는 피사체 내부구조 3차원 컴퓨터그래픽스의 상태와, 촬상공간의 상태의 변화로 인해 야기되는 3차원 컴퓨터그래픽스에 대한 간접적인 영향이 시뮬레이션에 의해 표시되는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
촬상공간 중의 피사체 영상에 중첩배치하는 3차원 컴퓨터그래픽스 영상을, 구조상의 혹은 해부학적 구성요소로 분할하여 개별적인 3차원 컴퓨터그래픽스 형태로 레이어화하고, 물체 영상을 포함하는 상기 각 레이어를 개별적으로 혹은 선택적 조합으로 합성표시하는 멀티합성영상을 물체영상에 대해 위치보완 트랙킹하여, 물체 영상 레이어를 비표시로 할 경우에는, 육안 시야 혹은 광학확대경의 시야와 동일하게 3차원 디지털 확대경의 시선 방향으로 인식하는 가상 3차원 컴퓨터그래픽스에 대한 시각과, 실체에 대한 촉각에 의해 실체에 직접적으로 시술을 행하는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
촬상영상과 합성영상의 시각적 인지성을 향상시키기 위해, 촬상 영상 혹은 3차원 컴퓨터그래픽스 영상, 또는 그 양쪽에 색상, 채도, 명도, 쉐이딩(shading), 라이팅(lighting) 방향 중 적어도 하나의 요소에 대해 영상처리를 실시하거나, 혹은 투과 맵핑, 음선 소거 와이어 프레임 표시 또는 점멸 표시의 표시수법으로 오버레이하여 상기 시술자 3차원 디지털 확대경에 표시되는 시술대상이 되는 물체 혹은 생체의 영상정보에 대해 차이를 두어 시각적 인지성을 향상시킨 합성영상 위치보완 트랙킹하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
스테레오 배치 촬상장치 영상을 각각 한 쌍의 양안시 영상표시장치에 표시하고, 좌우 시차각에 의한 실체영상의 입체시를 하는 3차원 디지털 확대경 모니터의 일측 영상표시장치에 가상 3차원 볼륨 모델 컴퓨터그래픽스를 오버레이어 표시함으로써, 입체시하는 3차원 디지털 확대경 시야영상 위에 표시되는 실체의 내부구조 불가시영역을 가상 3차원 볼륨 모델 컴퓨터그래픽스의 내부구조구성요소 영상으로 표현하는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항에 있어서,
3차원 디지털 확대경의 광학식 혹은 디지털 방식의 확대율에 따라, 3차원 디지털 확대경의 스테레오 배치 촬상장치의 영상정보 중 대상실체의 임의 위치에 설정한 4점의 마커를 스테레오 카메라로 2점 계측하여, 촬상장치와 실체의 거리로부터 실체 3차원 형상의 서페이스 폴리곤 모델의 3차원적 위치측정과 함께 입체계측 서페이스 데이터 인식패턴의 축척(縮尺)을 변경하고, 대상물체 혹은 생체 영상을 선택적으로 판별검출한 후, 3차원 볼륨 모델 컴퓨터그래픽스를 맵핑함과 아울러 실시간 트랙킹하여, 환자 해부학적 CG 및 대상물(수술기구 CG)의 표시위치, 방향, 크기를 변경하여 3차원 디지털 확대경 모니터 좌우 영상표시장치에 합성표시하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
3차원 디지털 확대경 모니터 표시범위 밖의 대상물 혹은 환자 해부학적 특정부위의 3차원 컴퓨터그래픽스 볼륨 모델이 존재하는 시야 방향을 모니터에 표시하고, 특히 디지털 고확대율로 사용할 경우에는, 3차원 컴퓨터그래픽스 볼륨 모델의 3차원 디지털 확대경 모니터 표시범위 밖의 대상물 혹은 환자 해부학적의 목적부위가 존재하는 방향을, 영상표시장치의 가장자리를 점멸하거나, 화살표로 방향지시를 표시하거나, 혹은 분획표시화면에 축소하여 전체표시한 전체영상 중에 표시부위의 화각부위를 테두리로 둘러 표시하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
3차원 디지털 확대경 모니터상의 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 관절 혹은 조직에 의해 연결하는 개개의 환자 해부학적 CG 볼륨 모델을 운동시킬 경우, 개별적으로 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 임의의 CG 볼륨 모델을 운동궤적상의 임의 위치에서 특정 CG 볼륨 모델에 대한 상대적 위치에 고정하고, 상기 환자 실체와 매치무빙하는 특정 CG 볼륨 모델과 일체화하여 연동가동하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
환자 실체를 수술기구로 절개, 절삭, 삭제 등 형태적인 변화를 준 경우, 상기 수술기구에 레지스트레이션 레이아웃하여 매치무빙하는 수술기구 CG 볼륨 모델이 환자 해부학적 CG 보셀 볼륨 모델에 대해 불 연산을 이용하여 상기 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 환자 해부학적 CG 볼륨 모델을 절취하고 실체와 동일한 시각적인 변화를 환자 해부학적 CG 볼륨 모델에 실체 불가시영역을 포함하며 표시하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
3차원 디지털 확대경과 환자의 거리가 3차원 디지털 확대경 모니터상의 환자 실체에 레지스트레이션 레이아웃하여 매치무빙하는 환자 해부학적 CG 볼륨 모델에 대해, 3차원 디지털 확대경 혹은 영역 지시구에 고정한 임의의 서페이스 모델영역(와이어 프레임, 반투명 착색표시 혹은 투명)을 중첩시켜, 그 중첩부분을 불 연산법으로 소거하고, 미리 설정한 단면표시범위를 하나의 단위로 하여 환자 해부학적 CG 보셀 볼륨 모델 단면을 표시하거나, 임의로 설정한 3차원 디지털 확대경과 환자 실체의 거리에 따라 절취되는 범위가 변화하는 상기 환자 해부학적 CG 보셀 볼륨 모델 단면을 실시간으로 표시하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 10 항에 있어서,
수술기구에 레지스트레이션 레이아웃하여 매치무빙하는 수술기구 CG 볼륨 모델과,
그 수술기구 CG 볼륨 모델에 의해 실체와 동일한 변화를 실체 불가시영역도 포함하여 표시하는 가상 3차원 볼륨 모델 컴퓨터그래픽스와,
미리 설정한 단면으로 표시한 환자 해부학적 컴퓨터그래픽스 보셀 볼륨 모델 단면을 표시하거나, 임의로 설정한 3차원 디지털 확대경과 환자 실체의 거리에 따라 절취된 단면을 표시하는 가상 3차원 볼륨 모델 컴퓨터그래픽스가,
상기 시술자 3차원 디지털 확대경에 표시되는 각 가상 3차원 볼륨 모델 컴퓨터그래픽스의 상대적 위치를 유지한 상태에서 퍼스널 컴퓨터에 데이터 전송하고, 상기 퍼스널 컴퓨터 모니터 혹은 3차원 디지털 확대경에 표시된 각 상대적 위치관계를 유지한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 틸트, 팬, 줌, 회전의 6축방향으로 회전이동가능하게 표시함으로써, 실체공간의 상황을 시술자 시선과 다른 방향으로부터 관찰하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 11 항에 있어서,
퍼스널 컴퓨터에 접속한 3차원 디지털 확대경 모니터 혹은 일반 모니터에 표시되는 시술부위 실체와 기구 혹은 지시기구의 각 상대적 위치관계를 유지한 가상 3차원 볼륨 모델 컴퓨터그래픽스에, 동일 퍼스널 컴퓨터 인터페이스로 6축 방향으로 컨트롤가능한 임의의 서페이스 모델 영역(와이어 프레임 표시, 반투명 착색표시 혹은 투명)을 중첩시켜, 그 중첩부분을 불 연산법으로 소거하고, 상기 가상 3차원 볼륨 모델 컴퓨터그래픽스의 단면을 표시하며, 동시에 시술자 3차원 디지털 확대경 영상표시장치상의 가상 3차원 볼륨 모델에 반영함으로써 제3자가 시각적인 지도 영상을 표시하여 시술자 시야 입체영상 중에 임장감이 있는 시각지시를 하는 것을 특징으로 하는 3차원 시각지시기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
미리 단층촬영법에 의해 얻은 시술대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 치아(치관, 치근) 악골 및 악안면, 개별 파츠의 서페이스 폴리곤 모델(1)을 각각 기록보존하고,
3차원 디지털 확대경으로 촬상하는 치아(치관) 및 구강, 악안면을 스테레오법 입체계측한 서페이스 폴리곤 모델(2)에,
상기 3차원 디지털 확대경 전방시야 촬상영상 위의 서페이스 폴리곤 모델(2) 중, 개별 파츠의 서페이스 폴리곤 모델(1)과 3차원적으로 닮은꼴 형상인 서페이스 폴리곤 모델을 각각 형상패턴인식에 의해 개별적으로 판별검출한 후, 상기 개별파츠의 서페이스 폴리곤 모델(2)을 중첩하여,
상기 서페이스 폴리곤 모델(1)에 텍스쳐 맵핑한 각각 치아(치관, 치근), 악골의 가상 3차원 볼륨 모델 컴퓨터그래픽스를 트랙킹함으로써,
3차원 디지털 확대경 영상표시장치에서 구강내 점막하 불가시영역의 악골과 악골내 잔존치아 치근의 상태를 3차원적으로 시각인식가능하게 함과 아울러, 3차원 컴퓨터그래픽스 형태로 치열상태의 기록보존기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 13 항에 있어서,
3차원 서페이스 모델과 텍스쳐를 맵핑한 각각 치아의 3차원 볼륨 모델 컴퓨터그래픽스를 재구성한 치료목표 아이디얼 아치 치열영상을, 악안면과 촬상장치의 3차원적 상대적 위치변화에 따라 3차원 디지털 확대경 모니터에 표시되는 구강 내에 표시하고, 치료목표(V.T.O.)의 표시기록보존기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
시술자 3차원 디지털 확대경 시야 내에 존재하는 치수게이지의 텍스쳐를 맵핑한 시술대상이 되는 물체 혹은 생체 또는 기구에, 미리 설계한 3차원 볼륨 모델 컴퓨터그래픽스 서지칼 가이드를 오버레이하고,
3차원 디지털 확대경에 표시되는 실체의 내부구조 불가시영역에 대한 기구의 3차원적 어프로치 방향을, 가상 3차원 볼륨 모델 컴퓨터그래픽스 서지칼 가이드로 표시함과 아울러, 촬상공간에서의 촬상장치와 실체의 상대적 3차원 위치변화에 따라 가상 3차원 볼륨 모델 컴퓨터그래픽스 서지칼 가이드 영상이 실시간으로 표시 레이아웃을 변경하며 트랙킹하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
하악골에 레지스트레이션 레이아웃하여 매치무빙하는 하악골 CG 볼륨 모델의 좌우 간접두에 가상의 힌지축의 직선으로 연결하여 개폐운동을 시키고, 상기 가상 힌지축을 운동시 잔상의 변위가 발생하지 않는 좌우 하악두 횡단선을 모니터상에서 확인하면서 상기 횡단선을 설정함으로써 하악두의 중심이 구해지는데, 이 중심위치로부터 스타트하는 하악운동을 모니터로 확인하며 정확한 과로각(顆路角, angle of condyle path)의 궤적을 그래픽컬하게 모니터 표시하고, 3차원 데이터 형태로 하악운동을 기록함으로써 모니터상에 가상의(virtual) 교합기를 구성가능하게 하는 기능을 구비한 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
실체 영상 스테레오법 입체계측을, 발광 다이오드 등으로 스폿을 발광하는 스폿 발광법에 의한 수동적인 스테레오법, 혹은 대응점을 만들어내는 슬릿을 통과한 직선형태의 빛으로 대상의 단면을 취득하도록 빛을 스캔시켜 실체의 형상을 취득하는 슬릿 광투영법이나, 실체에 촬상장치 영상 내의 좌표를 판단할 수 있는 패턴을 투영하여 안길이를 구하는 패턴 광투영법 등의 능동적인 스테레오법으로 실체 영상을 스테레오법 입체계측하여 서페이스 폴리곤 모델(2)를 얻는 경우, 다이오드 발광, 혹은 패턴 투영에 의해 영향을 받는 전방시야 촬상영상을 비표시로 하고, 촬상하는 시술대상물체 혹은 생체(실체) 영상에 트랙킹하는 가상 3차원 볼륨 모델 컴퓨터그래픽스를 3차원 컴퓨터그래픽스 영상만 표시하며, 가상 3차원 볼륨 모델 컴퓨터그래픽스의 시각인식과, 촬상중의 시술대상물 혹은 생체(실체)에 대한 직접 혹은 간접적 촉각을 이용하여 피사체(실체)에 대한 시술을 행하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
모든 영상정보는 좌우 촬상장치의 실체공간 촬상영상, 및 3차원 컴퓨터그래픽스 영상 데이터를 실체 촬상중에 표시 혹은 비표시에 상관없이 각 레이어별로 기록보존하며, 상기 각 레이어 영상을 개별적으로 혹은 선택적 조합으로 출력가능하게 하고, 3차원 디지털 확대경 혹은 일반 모니터에 표시함과 아울러, 시간경과에 따른 형상변화를 계속 유지한 3차원 컴퓨터그래픽스 기록데이터를 모니터상에서 자유자재로 틸트, 팬, 줌, 회전의 6축 방향으로 회전이동가능하게 조작하는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템
제 1 항 또는 제 2 항에 있어서,
모든 3차원 컴퓨터그래픽스 영상 신(scene) 전체를 2차원의 디지털 확대경 촬상장치의 실체영상으로 덮고 실체공간상의 영상을 배경으로 사용하여, 가상현실인 3차원 컴퓨터그래픽스 영상 및 그 내부구조를, 상기 2차원 영상을 광원으로 하여 라이팅함으로써, 포토리얼한 합성영상을 만들어내는 것을 특징으로 하는 3차원 디지털 확대경 확장현실 수술지원 시스템.
제 1 항 또는 제 2 항에 있어서,
좌우 촬상장치의 실체공간 촬상화와 3차원 컴퓨터그래픽스 영상 프레임을 교대로 표시할 경우에는 각각의 1초간의 표시 프레임수를 조정가능하게 하고, 오버레이 표시할 경우에는 좌측 촬상화, 우측 촬상화, 혹은 3차원 컴퓨터그래픽스 영상의 3차원 디지털 확대경 좌우모니터 표시비율을 자유자재로 변경가능하게 함으로써, 양안시에 의한 영상인식을 조정가능하게 한 3차원 디지털 확대경 확장현실 수술지원 시스템.
시술자 및 보조자가 각각 장착하는 3차원 실체 디지털 확대경을 포함하고 있으며,
양쪽 눈의 시선 상에 배치한 한 쌍의 양안시 영상표시장치, 및 그 영상표시장치 배면의 양안 동공 중앙부에 상당하는 위치로부터 시야 방향을 향해 장착한 스테레오 배치 촬상장치를
구비하는 3차원 디지털 확대경의 좌우 촬상영상을 이용하여 스테레오법 입체계측법을 사용하여 획득한 서페이스 폴리곤 모델(2)과;
미리 단층촬영법에 의해 얻은 시술 대상물체 혹은 생체의 2차원 슬라이스 데이터로부터 구축한 각 구조구성요소의 서페이스 폴리곤 모델(1);을 이용하여,
상기 3차원 디지털 확대경 전방시야 촬상영상 위의 서페이스 폴리곤 모델(2) 중, 서페이스 폴리곤 모델(1)과 3차원적으로 닮은꼴 형상인 서페이스 폴리곤 모델을 형상패턴인식에 의해 판별검출한 후, 상기 서페이스 폴리곤 모델(1)을 중첩하여,
상기 서페이스 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑한 가상 3차원 볼륨 모델 컴퓨터그래픽스를 트랙킹하거나,
또는 서페이스 폴리곤 모델(1)을 구성하는 윤곽 혹은 특징적인 포인트 혹은 라인을 3차원 디지털 확대경의 좌우 각각의 촬상장치가 촬상하는 영상 데이터에 맵핑하여 트랙킹함으로써,
혹은 상기 폴리곤 모델(1)에 내부구조구성요소 텍스쳐를 맵핑한 각 내부구조 구성요소 중의 임의의 3차원 컴퓨터그래픽스가 양안시 영상표시장치에 좌우 각각 표시하는 대상실체영상과 개별적으로 매치무빙시킴으로써,
시술자 3차원 디지털 확대경 시야 내에 존재하는 시술대상이 되는 물체 혹은 생체 영상의 일부 혹은 전체를 3차원 볼륨 모델 컴퓨터그래픽스로 오버레이하고,
3차원 디지털 확대경에 표시되는 실체의 내부구조 불가시영역을, 가상 3차원 볼륨 모델 컴퓨터그래픽스의 내부구조구성요소 영상으로 표현하는 의과수술이나 기타의 정밀기술 지원에 사용하는 3차원 디지털 확대경 확장현실 수술지원 시스템으로 실행하는 방법으로서,
동일 촬상공간에서의 시술자 및 보조자가 각각 장착하는 3차원 실체 디지털 확대경 촬상장치와 실체의 상대적 3차원 위치변화에 추종하여 가상 3차원 컴퓨터그래픽스 영상이 실시간으로 표시 레이아웃을 변경하며 트랙킹함으로써, 실공간에서의 피사체의 상태변화에 관한 시뮬레이션을, 피사체에 중첩표시한 3차원 컴퓨터그래픽스의 상태와, 촬상공간의 상태의 변화로 인해 야기되는 3차원 컴퓨터그래픽스에 대한 간접적인 영향의 시뮬레이션을 포함하며,
시술자 및 보조자가 장착하는 한 쌍의 동일 규격으로 동기된 3차원 실체 디지털 확대경을 이용하여, 지도자는 보조자가 장착하는 3차원 실체 디지털 확대경의 시야방향 촬상장치가 포착한 시술자 시야 3차원 피사체 영상 및 그 피사체 영상에 오버레이한 3차원 볼륨 모델 컴퓨터그래픽스가 트랙킹하는 영상을,
반대로, 보조자는 지도자가 장착하는 3차원 실체 디지털 확대경의 시야 방향 촬상장치가 포착한 시술자 시야 3차원 피사체 영상 및 그 피사체 영상에 오버레이한 3차원 볼륨 모델 컴퓨터그래픽스가 트랙킹하는 영상을 각각 서로의 3차원 실체 디지털 확대경 모니터 화면에 분획하여 표시를 하는 방법.