KR20210146283A

KR20210146283A - 부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성

Info

Publication number: KR20210146283A
Application number: KR1020217024095A
Authority: KR
Inventors: 바실리 에브게니예비치 부하린
Original assignee: 액티브 서지컬, 인크.
Priority date: 2018-12-28
Filing date: 2019-12-27
Publication date: 2021-12-03
Also published as: CA3125288A1; JP2022516472A; US20220012954A1; WO2020140044A1; CN113906479A; EP3903281A1; EP3903281A4

Abstract

부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성이 제공된다. 다양한 실시형태에서, 해부학적 구조의 이미지가 카메라로부터 수신된다. 이미지에 대응하는 깊이 맵은, 카메라의 일부일 수도 있거나 또는 카메라와 별개일 수도 있는 깊이 센서로부터 수신된다. 깊이 맵 및 이미지에 기초하여 해부학적 구조에 대응하는 예비 포인트 클라우드가 생성된다. 예비 포인트 클라우드는 해부학적 구조의 모델에 등록된다. 예비 포인트 클라우드 및 모델로부터 증강된 포인트 클라우드가 생성된다. 증강된 포인트 클라우드는 공간에서 회전된다. 증강된 포인트 클라우드는 렌더링된다. 렌더링된 증강된 포인트 클라우드는 유저에게 디스플레이된다.

Description

부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성

본 출원은 2018년 12월 28일자로 출원된 미국 특허 가출원 제62/785,950호의 이익을 주장하는데, 이 가출원은 참조에 의해 그 전체가 본원에 통합된다.

본 개시의 실시형태는 합성 삼차원 이미징에 관한 것으로, 더 구체적으로는, 부분 깊이 맵으로부터 합성 삼차원 이미징(synthetic three-dimensional imaging)의 생성에 관한 것이다.

본 개시의 실시형태에 따르면, 합성 삼차원 이미징의 방법 및 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품이 제공된다. 다양한 실시형태에서, 해부학적 구조(anatomical structure)의 이미지가 카메라로부터 수신되는 방법이 수행된다. 이미지에 대응하는 깊이 맵은, 카메라의 일부일 수도 있거나 또는 카메라와 별개일 수도 있는 깊이 센서로부터 수신된다. 깊이 맵 및 이미지에 기초하여 해부학적 구조에 대응하는 포인트 클라우드(point cloud)가 생성된다. 포인트 클라우드는 공간에서 회전된다. 포인트 클라우드는 렌더링된다. 렌더링된 포인트 클라우드는 유저에게 디스플레이된다.

다양한 실시형태에서, 포인트 클라우드는 예비 포인트 클라우드(preliminary point cloud)이다. 다양한 실시형태에서, 예비 포인트 클라우드는 해부학적 구조의 모델에 등록된다. 다양한 실시형태에서, 증강된 포인트 클라우드(augmented point cloud)가 예비 포인트 클라우드 및 모델로부터 생성된다. 다양한 실시형태에서, 증강된 포인트 클라우드는 공간에서 회전되고, 렌더링되고, 유저에게 디스플레이된다.

다양한 실시형태에서, 증강된 포인트 클라우드를 더 회전시키기 위한 표시가 유저로부터 수신되고, 증강된 포인트 클라우드는 지시에 따라 공간에서 회전되고, 증강된 포인트 클라우드는 추가적인 회전 이후에 렌더링되며, 렌더링된 증강된 포인트 클라우드는 추가적인 회전 이후 유저에게 디스플레이된다. 다양한 실시형태에서, 카메라는 깊이 센서를 포함한다. 다양한 실시형태에서, 카메라는 깊이 센서와는 별개이다. 다양한 실시형태에서, 깊이 센서는 구조화된 광 센서(structure light sensor) 및 구조화된 광 프로젝터(structured light projector)를 포함한다. 다양한 실시형태에서, 깊이 센서는 비행 시간 센서(time-of-flight sensor)를 포함한다. 다양한 실시형태에서, 깊이 맵은 단일의 이미지 프레임으로부터 결정된다. 다양한 실시형태에서, 깊이 맵은 두 개 이상의 이미지 프레임으로부터 결정된다.

다양한 실시형태에서, 방법은 예비 포인트 클라우드로부터 표면 메쉬(surface mesh)를 생성하는 것을 더 포함한다. 다양한 실시형태에서, 표면 메쉬를 생성하는 것은 예비 포인트 클라우드를 보간하는 것을 포함한다. 다양한 실시형태에서, 보간은 직접적으로 수행된다. 다양한 실시형태에서, 보간은 그리드에 대해 수행된다. 다양한 실시형태에서, 보간은 스플라이닝(splining)을 포함한다. 다양한 실시형태에서, 표면 메쉬를 생성하기 이전에, 예비 포인트 클라우드는 두 개 이상의 시매틱 영역(sematic region)으로 세그먼트화될 수도 있다. 다양한 실시형태에서, 표면 메쉬를 생성하는 것은 두 개 이상의 시매틱 영역의 각각에 대해 별개의 표면 메쉬를 생성하는 것을 포함한다. 다양한 실시형태에서, 방법은 별개의 표면 메쉬의 각각을 결합된 표면 메쉬로 결합하는 것을 더 포함한다. 다양한 실시형태에서, 방법은 결합된 표면 메쉬를 유저에게 디스플레이하는 것을 더 포함한다.

다양한 실시형태에서, 해부학적 구조의 모델은 가상의 3D 모델을 포함한다. 다양한 실시형태에서, 해부학적 구조의 모델은 해부학적 도해서로부터 결정된다. 다양한 실시형태에서, 해부학적 구조의 모델은 환자의 수술전 이미징으로부터 결정된다. 다양한 실시형태에서, 해부학적 구조의 모델은 수술전 이미징으로부터의 3D 재구성이다. 다양한 실시형태에서, 수술전 이미징은 의료 영상 저장 정보 시스템(picture archiving and communications system; PACS)으로부터 검색될 수도 있다. 다양한 실시형태에서, 등록은 변형 가능한 등록(deformable registration)을 포함한다. 다양한 실시형태에서, 등록은 강체(rigid body) 등록을 포함한다. 다양한 실시형태에서, 포인트 클라우드 내의 각각의 포인트는 깊이 맵으로부터 유도되는 깊이 값 및 이미지로부터 유도되는 컬러 값을 포함한다.

다양한 실시형태에서, 환자의 체강(body cavity) 내부를 이미지화하도록 구성되는 디지털 카메라, 디스플레이, 및 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드를 포함하는 시스템이 제공된다. 프로그램 명령어는, 카메라로부터 해부학적 구조의 이미지가 수신되는 방법을, 프로세서로 하여금 수행하게 하게 하도록, 컴퓨팅 노드의 프로세서에 의해 실행 가능하다. 이미지에 대응하는 깊이 맵은, 카메라의 일부일 수도 있거나 또는 카메라와 별개일 수도 있는 깊이 센서로부터 수신된다. 깊이 맵 및 이미지에 기초하여 해부학적 구조에 대응하는 포인트 클라우드가 생성된다. 포인트 클라우드는 공간에서 회전된다. 포인트 클라우드는 렌더링된다. 렌더링된 포인트 클라우드는 유저에게 디스플레이된다.

다양한 실시형태에서, 포인트 클라우드는 예비 포인트 클라우드이다. 다양한 실시형태에서, 예비 포인트 클라우드는 해부학적 구조의 모델에 등록된다. 다양한 실시형태에서, 증강된 포인트 클라우드가 예비 포인트 클라우드 및 모델로부터 생성된다. 다양한 실시형태에서, 증강된 포인트 클라우드는 공간에서 회전되고, 렌더링되고, 유저에게 디스플레이된다.

다양한 실시형태에서, 증강된 포인트 클라우드를 더 회전시키기 위한 표시가 유저로부터 수신되고, 증강된 포인트 클라우드는 지시에 따라 공간에서 회전되고, 증강된 포인트 클라우드는 추가적인 회전 이후에 렌더링되며, 렌더링된 증강된 포인트 클라우드는 추가적인 회전 이후 유저에게 디스플레이된다. 다양한 실시형태에서, 카메라는 깊이 센서를 포함한다. 다양한 실시형태에서, 카메라는 깊이 센서와는 별개이다. 다양한 실시형태에서, 깊이 센서는 구조화된 광 센서 및 구조화된 광 프로젝터를 포함한다. 다양한 실시형태에서, 깊이 센서는 비행 시간 센서를 포함한다. 다양한 실시형태에서, 깊이 맵은 단일의 이미지 프레임으로부터 결정된다. 다양한 실시형태에서, 깊이 맵은 두 개 이상의 이미지 프레임으로부터 결정된다.

다양한 실시형태에서, 방법은 예비 포인트 클라우드로부터 표면 메쉬를 생성하는 것을 더 포함한다. 다양한 실시형태에서, 표면 메쉬를 생성하는 것은 예비 포인트 클라우드를 보간하는 것을 포함한다. 다양한 실시형태에서, 보간은 직접적으로 수행된다. 다양한 실시형태에서, 보간은 그리드에 대해 수행된다. 다양한 실시형태에서, 보간은 스플라이닝을 포함한다. 다양한 실시형태에서, 표면 메쉬를 생성하기 이전에, 예비 포인트 클라우드는 두 개 이상의 시매틱 영역으로 세그먼트화될 수도 있다. 다양한 실시형태에서, 표면 메쉬를 생성하는 것은 두 개 이상의 시매틱 영역의 각각에 대해 별개의 표면 메쉬를 생성하는 것을 포함한다. 다양한 실시형태에서, 방법은 별개의 표면 메쉬의 각각을 결합된 표면 메쉬로 결합하는 것을 더 포함한다. 다양한 실시형태에서, 방법은 결합된 표면 메쉬를 유저에게 디스플레이하는 것을 더 포함한다.

다양한 실시형태에서, 해부학적 구조의 모델은 가상의 3D 모델을 포함한다. 다양한 실시형태에서, 해부학적 구조의 모델은 해부학적 도해서로부터 결정된다. 다양한 실시형태에서, 해부학적 구조의 모델은 환자의 수술전 이미징으로부터 결정된다. 다양한 실시형태에서, 해부학적 구조의 모델은 수술전 이미징으로부터의 3D 재구성이다. 다양한 실시형태에서, 수술전 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 검색될 수도 있다. 다양한 실시형태에서, 등록은 변형 가능한 등록을 포함한다. 다양한 실시형태에서, 등록은 강체 등록을 포함한다. 다양한 실시형태에서, 포인트 클라우드 내의 각각의 포인트는 깊이 맵으로부터 유도되는 깊이 값 및 이미지로부터 유도되는 컬러 값을 포함한다.

다양한 실시형태에서, 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품이 제공된다. 프로그램 명령어는, 카메라로부터 해부학적 구조의 이미지가 수신되는 방법을, 프로세서로 하여금 수행하게 하게 하도록, 컴퓨팅 노드의 프로세서에 의해 실행 가능하다. 이미지에 대응하는 깊이 맵은, 카메라의 일부일 수도 있거나 또는 카메라와 별개일 수도 있는 깊이 센서로부터 수신된다. 깊이 맵 및 이미지에 기초하여 해부학적 구조에 대응하는 포인트 클라우드가 생성된다. 포인트 클라우드는 공간에서 회전된다. 포인트 클라우드는 렌더링된다. 렌더링된 포인트 클라우드는 유저에게 디스플레이된다.

도 1은 본 개시의 실시형태에 따른 로봇 수술을 위한 시스템을 묘사한다.
도 2a 및 도 2b는 본 개시의 실시형태에 따른 제1 합성 뷰를 도시한다.
도 3a 및 도 3b는 본 개시의 실시형태에 따른 제2 합성 뷰를 도시한다.
도 4a 및 도 4b는 본 개시의 실시형태에 따른 제3 합성 뷰를 도시한다.
도 5a는 본 개시의 실시형태에 따른 신장(kidney)을 도시한다. 도 5b는 본 개시의 실시형태에 따른 도 5a에서 도시되는 신장의 포인트 클라우드를 도시한다.
도 6a는 본 개시의 실시형태에 따른 신장을 도시한다. 도 6b는 본 개시의 실시형태에 따른 도 6a에서 도시되는 신장의 증강된 포인트 클라우드를 도시한다.
도 7은 본 개시의 실시형태에 따른 합성 삼차원 이미징의 방법을 예시한다.
도 8은 예시적인 의료 영상 저장 정보 시스템(PACS)을 묘사한다.
도 9는 본 개시의 실시형태에 따른 컴퓨팅 노드를 묘사한다.

내시경은 신체 내부를 관찰하기 위해 사용되는 조명 광학식의, 통상적으로 가느다란 관형 기구(보스코프(borescope)의 한 타입)이다. 내시경은 진단 또는 수술 목적을 위해 내부 장기(organ)를 검사하기 위해 사용될 수도 있다. 특수 기구, 예를 들면, 방광경(방광), 신장경(신장), 기관지경(기관지), 관절경(관절), 결장경(결장), 복강경(복부 또는 골반)은, 그들의 목표로 하는 해부학적 구조(anatomy)의 이름을 따서 명명된다.

복강경 수술은 일반적으로 복강경의 도움으로 작은 절개(보통 0.5 내지 1.5 cm)를 사용하여 복부 또는 골반에서 수행된다. 그러한 최소 침습 기술의 이점은 널리 공지되어 있으며, 개복 수술과 비교하여, 더 작은 절개에 기인하는 감소된 통증, 더 적은 출혈, 및 더 짧은 회복 시간을 포함한다.

복강경은 (하기에서 추가로 설명되는 바와 같이) 이차원 이미지, 스테레오 이미지, 또는 깊이 필드 이미지를 제공하도록 설비될 수도 있다

로봇 수술은, 작은 절개, 카메라, 및 수술 기구를 또한 사용한다는 점에서, 복강경 수술과 유사하다. 그러나, 수술 기구를 직접적으로 잡고 조작하는 대신, 외과 의사는 제어부를 사용하여 로봇을 원격에서 조작한다. 콘솔은 외과 의사에게 고선명 이미지를 제공하는데, 이것은 증가된 정확도 및 시력(vision)을 허용한다.

이미지 콘솔은 삼차원, 고선명, 및 확대 이미지를 제공할 수 있다. 다양한 전자 도구가 적용되어 외과 의사를 추가로 지원할 수도 있다. 이들은 시각적 확대(예를 들면, 가시성을 향상시키는 대형 관찰 스크린(large viewing screen)의 사용) 및 안정화(예를 들면, 기계 또는 흔들리는 사람의 손에 기인하는 진동의 전기 기계적 감쇠)를 포함한다. 의사의 수술 숙련도를 향상시키기 위한 전문화된 가상 현실 트레이닝 도구의 형태의 시뮬레이터가 또한 제공될 수도 있다.

로봇 수술 및 종래의 복강경 수술 둘 모두에서, 이미지와 동시에 깊이 필드를 수집하기 위해, 깊이 필드 카메라가 사용될 수도 있다.

깊이 필드 카메라의 예는, 강도, 컬러, 및 거리 정보를 감지하기 위해 다른 종래의 이미지 센서 전방에 배치되는 마이크로 렌즈의 어레이를 사용하는 플렌옵틱 카메라(plenoptic camera)이다. 다중 카메라 어레이는 다른 타입의 라이트 필드 카메라(light-field camera)이다. 표준 플렌옵틱 카메라는, 상이한 타입의 플렌옵틱(또는 라이트 필드) 카메라를 비교하기 위해 연구원에 의해 사용되는 표준화된 수학적 모델이다. 정의에 의해, 표준 플렌옵틱 카메라는 센서의 이미지 평면으로부터 하나의 초점 거리 떨어져 배치되는 마이크로 렌즈를 갖는다. 연구는, 그것의 최대 기준이, 입체 셋업과 비교하여 작은 것으로 입증되는 메인 렌즈 입구 동공 사이즈(main lens entrance pupil size)로 제한된다는 것을 보여주었다. 이것은, 표준 플렌옵틱 카메라가 카메라의 파라미터에 기초하여 측량법으로(metrically) 예측될 수 있는 매우 가까운 거리에서 증가된 깊이 해상도를 나타내기 때문에, 표준 플렌옵틱 카메라가 근거리 애플리케이션에 대해 의도될 수도 있다는 것을 암시한다. 집속형 플렌옵틱 카메라(focused plenoptic camera), 코딩된 어퍼쳐 카메라(coded aperture camera), 및/또는 플렌옵틱 카메라를 갖는 스테레오와 같은 다른 타입/방위의 플렌옵틱 카메라가 사용될 수도 있다.

본 출원이 다양한 실시형태에서 내시경 디바이스에서의 카메라의 사용을 언급하고 있지만, 그러한 내시경 디바이스는 대안적으로, 비행 시간 센서 및 구조화된 광 센서를 포함하는, 그러나 이들로 제한되지는 않는 다른 타입의 센서를 포함할 수 있다는 것이 이해되어야 한다. 다양한 실시형태에서, 구조화된 패턴은 구조화된 광원으로부터 투영될 수도 있다. 다양한 실시형태에서, 투영된 패턴은, 표면 상에 투영될 때, 패턴 피쳐의 형상, 사이즈, 및/또는 간격을 변경할 수도 있다. 다양한 실시형태에서, 하나 이상의 카메라(예를 들면, 디지털 카메라)는 이들 변경을 검출할 수도 있고, 시스템에 의해 저장되는 공지된 패턴이 주어지는 구조화된 광 패턴에 대한 변경에 기초하여 위치 정보(예를 들면, 깊이 정보)를 결정할 수도 있다. 예를 들면, 시스템은, 라인의 특정한 구조화된 패턴(예를 들면, 도트의 매트릭스 또는 일련의 스트라이프)을 오브젝트(예를 들면, 해부학적 구조)의 표면 상으로 투사하는 구조화된 광원(예를 들면, 프로젝터)을 포함할 수도 있다. 라인의 패턴은, 광원의 것 이외의 다른 시각(perspective)에서 왜곡되어 보이는 조명의 라인을 생성하며 이들 라인은 표면 형상의 기하학적 재구성을 위해 사용될 수 있고, 따라서, 오브젝트의 표면에 대한 위치 정보를 제공할 수 있다.

다양한 실시형태에서, 범위 이미징은, 예를 들면, 범위 카메라를 사용하여, 장면의 위치 및/또는 깊이 정보를 결정하기 위해 본원에서 설명되는 시스템 및 방법과 함께 사용될 수도 있다. 다양한 실시형태에서, 하나 이상의 비행 시간(time-of-flight; ToF) 센서가 사용될 수도 있다. 다양한 실시형태에서, 비행 시간 센서는 플래시 LIDAR(라이다) 센서일 수도 있다. 다양한 실시형태에서, 비행 시간 센서는 매우 짧은 적외선 광 펄스를 방출하고 카메라 센서의 각각의 픽셀은 복귀 시간을 측정한다. 다양한 실시형태에서, 비행 시간 센서는 단일의 샷에서 장면의 깊이를 측정할 수 있다. 다양한 실시형태에서, 위치 및/또는 깊이 정보를 결정하기 위해 사용될 수도 있는 다른 범위 기술은 다음의 것을 포함한다: 스테레오 삼각 측량법, 광 시트 삼각 측량(sheet of light triangulation), 구조화된 광, 간섭계법(interferometry) 및 코딩된 어퍼쳐(coded aperture)를 포함한다. 다양한 실시형태에서, 3D 비행 시간 레이저 레이더는, 밀리미터 미만의 깊이 분해능을 달성하도록 구성되는 고속 게이팅 강화 전하 결합 소자(charge-coupled device; CCD) 카메라를 포함한다. 다양한 실시형태에서, 짧은 레이저 펄스는 장면을 조명할 수도 있고, 강화된 CCD 카메라는 자신의 고속 셔터를 개방한다. 다양한 실시형태에서, 고속 셔터는 수백 피코초 동안만 개방될 수도 있다. 다양한 실시형태에서, 레이저 펄스와 셔터 개방 사이의 지연을 증가시키면서 수집된 2D 이미지 시리즈로부터 3D ToF 정보가 계산될 수도 있다.

다양한 실시형태에서, 예를 들면, 사운드 및/또는 광과 같은 다양한 타입의 신호(캐리어로서 또한 칭해짐)가 ToF와 함께 사용된다. 다양한 실시형태에서, 캐리어로서 광 센서를 사용하는 것은 속도, 범위, 낮은 중량, 및 눈 안전성을 결합할 수도 있다. 다양한 실시형태에서, 적외선 광은 더 적은 신호 교란 및 자연 주변 광과의 더 쉬운 구별을 제공할 수도 있어서, 주어진 사이즈 및 중량에 대해 더 높은 성능의 센서를 초래할 수도 있다. 다양한 실시형태에서, 초음파 센서는 오브젝트(반사체(reflector))의 근접성을 결정하기 위해 사용될 수도 있다. 다양한 실시형태에서, 비행 시간(ToF) 센서에서 초음파 센서가 사용되는 경우, 공기 중에서의 소리의 속도 및 방출되는 펄스 및 에코 도달 시간을 사용하여 가장 가까운 반사체의 거리가 결정될 수도 있다.

이미지 콘솔이, 스테레오 이미징에 기초하여 또는 깊이 필드 카메라에 기초하여, 제한된 삼차원 이미지를 제공할 수 있지만, 기본 스테레오 또는 깊이 필드 뷰는 외과 의사에게 포괄적인 공간적 인식을 제공하지는 않는다.

따라서, 본 개시의 다양한 실시형태는 부분 깊이 맵으로부터 합성 삼차원 이미징의 생성을 제공한다.

도 1을 참조하면, 본 개시에 따른 예시적인 로봇 수술 셋업이 예시되어 있다. 로봇 팔(101)은 복부(103) 내에서 스코프(102)를 전개한다. 디지털 이미지가 스코프(102)를 통해 수집된다. 몇몇 실시형태에서, 디지털 이미지가 스코프 팁에 있는 하나 이상의 디지털 카메라에 의해 캡쳐된다. 몇몇 실시형태에서, 디지털 이미지가 스코프 팁으로부터 다른 곳의 하나 이상의 디지털 카메라로 이어지는 하나 이상의 광섬유 엘리먼트에 의해 캡쳐된다.

디지털 이미지는 컴퓨팅 노드(104)에 제공되는데, 여기서, 그것은 프로세싱되고 그 다음 디스플레이(105) 상에서 디스플레이된다.

몇몇 실시형태에서, 각각의 픽셀은 대응하는 깊이 정보와 쌍을 이룬다. 그러한 실시형태에서, 디지털 이미지의 각각의 픽셀은 삼차원 공간에서 한 포인트와 관련된다. 다양한 실시형태에 따르면, 디지털 이미지의 픽셀의 픽셀 값은, 그 다음, 공간에서 포인트 클라우드를 정의하기 위해 사용될 수도 있다. 그 다음, 그러한 포인트 클라우드는 기술 분야에서 공지되어 있는 기술을 사용하여 렌더링될 수도 있다. 일단 포인트 클라우드가 정의되면, 그것은 카메라의 원래의 유리한 지점(vantage) 외에도 다수의 유리한 지점으로부터 렌더링될 수도 있다. 따라서, 그 다음, 의사는 기저의 해부학적 구조의 합성 뷰를 회전, 주밍(zoom), 또는 다르게는 변경할 수도 있다. 예를 들면, 합성 측면도가 렌더링되어, 외과 의사가 종래의 직접 뷰(direct view)보다 더 강건한 위치 인식을 획득할 수도 있다.

다양한 실시형태에서, 하나 이상의 카메라는 깊이 센서를 포함할 수도 있다. 예를 들면, 하나 이상의 카메라는 각각의 픽셀에서 깊이 데이터를 캡쳐하도록 구성되는 라이트 필드 카메라를 포함할 수도 있다. 다양한 실시형태에서, 깊이 센서는 하나 이상의 카메라로부터 분리될 수도 있다. 예를 들면, 시스템은 RGB 이미지를 캡쳐하도록 구성되는 디지털 카메라를 포함할 수도 있고 깊이 센서는 깊이 데이터를 캡쳐하도록 구성되는 라이트 필드 카메라를 포함할 수도 있다.

다양한 실시형태에서, 하나 이상의 카메라는 입체 카메라(stereoscopic camera)를 포함할 수도 있다. 다양한 실시형태에서, 입체 카메라는 두 개의 별개의 카메라에 의해 구현될 수도 있다. 다양한 실시형태에서, 두 개의 별개의 카메라는 서로로부터 미리 결정된 거리에서 배치될 수도 있다. 다양한 실시형태에서, 입체 카메라는 수술 기구(예를 들면, 복강경, 내시경, 등등)의 최원위 단부(distal-most end)에 위치될 수도 있다. 위치 정보는, 본원에서 사용될 때, 삼차원 좌표 시스템에서 (X, Y, Z)로서 일반적으로 정의될 수도 있다.

다양한 실시형태에서, 하나 이상의 카메라는, 예를 들면, 적외선 방사선을 방출하고 방출된 적외선 방사선을 검출하는 적외선 카메라일 수도 있다. 다른 실시형태에서, 하나 이상의 카메라는 본 기술 분야에서 공지되어 있는 디지털 카메라일 수도 있다. 다른 실시형태에서, 하나 이상의 카메라는 플렌옵틱 카메라일 수도 있다. 다양한 실시형태에서, 하나 이상의 카메라(예를 들면, 1 개, 두 개, 3 개, 4 개 또는 5 개)는 구조화된 광의 소스(예를 들면, 프로젝터)로부터 투영되는 패턴(들)을 검출할 수 있을 수도 있다. 하나 이상의 카메라는 하기에서 더 상세하게 설명되는 바와 같이 컴퓨팅 노드에 연결될 수도 있다. 하나 이상의 카메라로부터의 이미지를 사용하여, 컴퓨팅 노드는 오브젝트의 표면을 따라 임의의 적절한 수의 포인트에 대한 위치 정보(X, Y, Z)를 계산할 수도 있고, 그에 의해, 표면의 깊이 맵을 생성할 수도 있다.

다양한 실시형태에서, 하나 이상의 카메라는 라이트 필드 카메라(예를 들면, 플렌옵틱 카메라)를 포함할 수도 있다. 플렌옵틱 카메라는, 적절한 줌 및 초점 깊이 설정을 갖는 것에 의해 오브젝트의 표면에 대한 정확한 위치 정보를 생성하기 위해 사용될 수도 있다.

다양한 실시형태에서, 본 개시에 따라 사용될 수도 있는 하나의 타입의 라이트 필드(예를 들면, 플렌옵틱) 카메라는, 강도, 컬러, 및 방향 정보를 감지하기 위해, 다른 종래의 이미지 센서의 전방에 배치되는 마이크로 렌즈의 어레이를 사용한다. 다중 카메라 어레이는 다른 타입의 라이트 필드 카메라이다. "표준 플렌옵틱 카메라"는, 상이한 타입의 플렌옵틱(또는 라이트 필드) 카메라를 비교하기 위해 연구원에 의해 사용되는 표준화된 수학적 모델이다. 정의에 의해, "표준 플렌옵틱 카메라"는 센서의 이미지 평면으로부터 하나의 초점 거리 떨어져 배치되는 마이크로 렌즈를 갖는다. 연구는, 그것의 최대 기준이, 입체 셋업과 비교하여 작은 것으로 입증되는 메인 렌즈 입구 동공 사이즈로 제한된다는 것을 보여주었다. 이것은, "표준 플렌옵틱 카메라"가 카메라의 파라미터에 기초하여 측량법으로 예측될 수 있는 매우 가까운 거리에서 증가된 깊이 해상도를 나타내기 때문에, "표준 플렌옵틱 카메라"가 근거리 애플리케이션에 대해 의도될 수도 있다는 것을 암시한다. 집속형 플렌옵틱 카메라, 코딩된 어퍼쳐 카메라, 및/또는 플렌옵틱 카메라를 갖는 스테레오와 같은 다른 타입/방위의 플렌옵틱 카메라가 사용될 수도 있다.

다양한 실시형태에서, 각각의 픽셀에서의 계산된 깊이를 포함하는 결과적으로 나타나는 깊이 맵은 사후 프로세싱될 수도 있다. 깊이 맵 사후 프로세싱은, 그것이 특정한 애플리케이션에 대해 사용 가능하도록 하는 깊이 맵의 프로세싱을 지칭한다. 다양한 실시형태에서, 깊이 맵 사후 프로세싱은 정확도 향상을 포함할 수도 있다. 다양한 실시형태에서, 깊이 맵 사후 프로세싱은 성능을 가속화하기 위해 및/또는 미적 이유 때문에 사용될 수도 있다. 본 개시의 시스템 및 방법과 함께 사용하기에 적절한 많은 전문화된 사후 프로세싱 기술이 존재한다. 예를 들면, 이미징 디바이스/센서가 애플리케이션에 대해 기술적으로 필요한 것보다 더 높은 해상도에서 실행되는 경우, 깊이 맵의 서브샘플링은 깊이 맵의 사이즈를 감소시킬 수도 있고, 스루풋 향상 및 더 짧은 프로세싱 시간으로 이어질 수도 있다. 다양한 실시형태에서, 서브샘플링은 편향될 수도 있다. 예를 들면, 서브샘플링은 깊이 값이 없는(예를 들면, 계산될 수 없는 및/또는 제로의 값을 갖는) 깊이 픽셀을 제거하기 위해 편향될 수도 있다. 다양한 실시형태에서, 단일의 깊이 프레임에서 노이즈를 감소시키기 위해 공간 필터링(예를 들면, 평활화(smoothing))이 사용될 수 있는데, 이것은 단순한 공간 평균화뿐만 아니라 비선형 에지 보존 기술을 포함할 수도 있다. 다양한 실시형태에서, 다수의 프레임으로부터의 데이터를 사용하여 시간적 깊이 노이즈를 감소시키기 위해 시간적 필터링이 수행될 수도 있다. 다양한 실시형태에서, 단순한 또는 시간 편향 평균이 활용될 수도 있다. 다양한 실시형태에서, 깊이 맵에서의 구멍은, 예를 들면, 픽셀이 일관되지 않은 깊이 값을 나타낼 때, 충전될 수 있다. 다양한 실시형태에서, 신호에서의 시간적 변화(예를 들면, 장면에서의 모션)는 블러(blur)로 이어질 수도 있고 블러를 감소하기 위한 및/또는 제거하기 위한 프로세싱을 필요로 할 수도 있다. 다양한 실시형태에서, 몇몇 애플리케이션은 모든 픽셀에서 존재하는 깊이 값을 필요로 할 수도 있다. 그러한 상황의 경우, 정확도가 높게 평가되지 않는 경우, 깊이 맵을 모든 픽셀로 외삽하기(extrapolate) 위해 사후 프로세싱 기술이 사용될 수도 있다. 다양한 실시형태에서, 외삽(extrapolation)은 임의의 적절한 형태의 외삽(예를 들면, 선형, 지수, 로그, 등등)을 사용하여 수행될 수도 있다.

다양한 실시형태에서, 두 개 이상의 프레임은 하나 이상의 카메라에 의해 캡쳐될 수도 있다. 다양한 실시형태에서, 포인트 클라우드는 두 개 이상의 프레임으로부터 결정될 수도 있다. 다양한 실시형태에서, 두 개 이상의 프레임으로부터 포인트 클라우드를 결정하는 것은 노이즈 감소를 제공할 수도 있다. 다양한 실시형태에서, 두 개 이상의 프레임으로부터 포인트 클라우드를 결정하는 것은 시선 장애물(line of sight obstruction) 주위의 3D 뷰의 생성을 허용할 수도 있다.

다양한 실시형태에서, 포인트 클라우드는 두 개 이상의 프레임에서 각각의 캡쳐된 프레임에 대해 결정될 수도 있다. 다양한 실시형태에서, 각각의 포인트 클라우드는 다른 포인트 클라우드 중 하나 이상(예를 들면, 모두)에 대해 정렬될 수도 있다. 다양한 실시형태에서, 포인트 클라우드는 강체 등록을 통해 정렬될 수도 있다. 다양한 실시형태에서, 강체 등록 알고리즘은 회전, 병진(translation), 줌, 및/또는 전단(shear)을 포함할 수도 있다. 다양한 실시형태에서, 포인트 클라우드는 변형 가능한 등록을 통해 정렬될 수도 있다. 다양한 실시형태에서, 변형 가능한 등록 알고리즘은, B 스플라인 방법(B-spline method), 레벨 세트 모션 방법(level-set motion method), 원래의 데몬 방법(original demons method), 수정된 데몬 방법(modified demons method), 대칭 힘 데몬 방법(symmetric force demons method), 이중 힘 데몬 방법(double force demons method), 강도 동시 교정 방법을 사용한 변형(deformation with intensity simultaneously corrected method), 원래의 Horn-Schunck(혼-슝크) 옵티컬 플로우, 결합된 Horn-Schunck 및 Lucas-Kanade(루카스-카나데) 방법, 및/또는 자유 형태 변형 방법을 포함할 수도 있다.

도 2를 참조하면, 본 개시의 실시형태에 따른 제1 합성 뷰가 예시된다. 도 2a는 원래의 소스 이미지를 도시한다. 도 2b는 원래의 이미지의 픽셀 및 대응하는 깊이 정보로부터 취합되는(assembled) 렌더링된 포인트 클라우드를 도시한다.

도 3을 참조하면, 본 개시의 실시형태에 따른 제2 합성 뷰가 예시된다. 도 3a는 원래의 소스 이미지를 도시한다. 도 3b는 원래의 이미지의 픽셀 및 대응하는 깊이 정보로부터 취합되는 렌더링된 포인트 클라우드를 도시한다. 도 3b의 뷰에서, 대상(subject)은 측면을 제공하도록 회전된다.

도 4를 참조하면, 본 개시의 실시형태에 따른 제3 합성 뷰가 예시된다. 도 4a는 원래의 소스 이미지를 도시한다. 도 4b는 원래의 이미지의 픽셀 및 대응하는 깊이 정보로부터 취합되는 렌더링된 포인트 클라우드를 도시한다. 도 4b의 뷰에서, 대상은 측면을 제공하도록 회전된다.

다양한 실시형태에서, 3D 표면 메쉬는 3D 포인트 클라우드의 임의의 것으로부터 생성될 수도 있다. 다양한 실시형태에서, 3D 표면 메쉬는 3D 포인트 클라우드의 보간에 의해 (예를 들면, 직접적으로 또는 그리드 상에서) 생성될 수도 있다. 다양한 실시형태에서, 3D 표면 메쉬는 렌더링된 메쉬의 줌인/줌아웃시 더 잘 수행될 수도 있다.

다양한 실시형태에서, 시맨틱 세그먼트화가 3D 표면 메쉬에 대해 수행되고, 그에 의해, 해부학적 경계에서 발생할 수도 있는 임의의 3D 아티팩트(artifact)를 매끄럽게 할 수도 있다. 다양한 실시형태에서, 3D 메쉬의 생성 이전에, 포인트 클라우드는 두 개 이상의 시맨틱 영역으로 세그먼트화될 수 있다. 예를 들면, 장면 내에서, 제1 시맨틱 영역은 제1 3D 구조(예를 들면, 간)로서 식별될 수도 있고, 제2 시맨틱 영역은 제2 3D 구조(예를 들면, 위)로 식별될 수도 있으며, 제3 시맨틱 영역은 제3 3D 구조(예를 들면, 복강경 기구)로서 식별될 수도 있다. 다양한 실시형태에서, 이미지 프레임이 임의의 적절한 공지된 세그먼트화 기술을 사용하여 세그먼트화될 수도 있다. 다양한 실시형태에서, 각각의 식별된 시매틱 영역에 대한 포인트 클라우드가 사용되어 각각의 시맨틱 영역에 대한 별개의 3D 표면 메쉬를 생성할 수도 있다. 다양한 실시형태에서, 이미지화된 장면의 기하학적 형상(geometry)을 제공하기 위해, 단일의 디스플레이에서 별개의 3D 표면 메쉬의 각각이 렌더링될 수도 있다. 다양한 실시형태에서, 별개의 메쉬를 제시하는 것은, 정의된 영역(예를 들면, 장기)의 경계에서 발생하는 다양한 아티팩트를 방지할 수도 있다.

다양한 실시형태에서, 깊이 맵으로부터의 렌더링된 포인트 클라우드가 관찰 가능한 표면(viewable surface)의 3D 묘사를 제공하기 때문에, 포인트 클라우드는 이미지에서 특정한 오브젝트의 대략적인 또는 예상된 형상의 하나 이상의 모델을 사용하여 증강될 수도 있다. 예를 들면, 장기(예를 들면, 신장)의 포인트 클라우드가 렌더링되는 경우, 포인트 클라우드는 특정한 장기의 가상의 3D 모델(예를 들면, 신장의 3D 모델)을 사용하여 증강될 수도 있다. 다양한 실시형태에서, 포인트 클라우드에 의해 표현되는 표면은 장면 내의 오브젝트의 가상의 3D 모델을 등록하기 위해 사용될 수도 있다.

도 5a는 본 개시의 실시형태에 따른 신장(502)을 도시한다. 도 5b는 본 개시의 실시형태에 따른 도 5a에서 도시되는 신장의 포인트 클라우드를 도시한다. 다양한 실시형태에서, 디지털 카메라 및/또는 깊이 센서를 사용하여 신장을 이미지화하는 것에 의해, 신장(502)을 포함하는 장면의 포인트 클라우드(504)가 생성될 수도 있다.

다양한 실시형태에서, 포인트 클라우드는 오브젝트(예를 들면, 신장)의 가상의 3D 모델을 통해 증강될 수도 있다. 도 6a는 본 개시의 실시형태에 따른 신장(602)을 도시한다. 신장(602)의 가상의 3D 모델(606)이 생성될 수도 있고 신장(604)을 포함하는 장면에서 생성되는 포인트 클라우드(604)에 적용될 수도 있다. 도 6b는 본 개시의 실시형태에 따른 도 6a에서 도시되는 신장의 증강된 포인트 클라우드를 도시한다. 도 6b에서 도시되는 바와 같이, 신장(602)의 가상의 3D 모델(606)은 포인트 클라우드(604)에 등록되고(즉, 포인트 클라우드(604)와 정렬되고), 그에 의해, 카메라 및/또는 깊이 센서의 시각에서 보이지 않는 신장(602)의 부분에 관한 추가적인 기하학적 정보를 제공한다. 다양한 실시형태에서, 가상의 3D 모델(606)은 상기에서 설명되는 바와 같은 임의의 적절한 방법을 사용하여 포인트 클라우드(604)에 등록된다. 따라서, 도 6b는 장면 내의 오브젝트(예를 들면, 신장(602))의 더 나은 투시도(perspective view)를 제공한다. 다양한 실시형태에서, 가상의 3D 모델은, 제조사, 장기의 일반 해부학적 도해서, 본 개시에서 제시되는 시스템을 사용한 다수의 관점(viewpoint)으로부터의 목표로 하는 해부학적 구조의 환자의 수술전 3D 이미징 재구성, 등등을 포함하는, 그러나 이들로 제한되지는 않는 임의의 적절한 소스로부터 획득될 수도 있다.

다양한 실시형태에서, 시스템은 사전 프로그래밍된 임상의 해부학적 관점(예를 들면, 전후방(antero-posterior), 중외측(medio-lateral), 등등)을 포함할 수도 있다. 다양한 실시형태에서, 임상의 해부학적 관점은 임상 절차(예를 들면, 심장 기하학적 형상에 대한 제1 사위 뷰(right-anterior-oblique view))에 대해 추가로 맞춤될 수 있다. 다양한 실시형태에서, 3D 뷰를 임의적으로 회전시키는 것보다는, 유저는 사전 프로그래밍된 관점 중 하나로부터 3D 합성 뷰를 제시할 것을 선택할 수도 있다. 다양한 실시형태에서, 사전 프로그래밍된 뷰는, 의사가 수술 동안 그들이 방위를 잃어버리는 경우, 의사가 그들 스스로 재배향하는 것을 도울 수도 있다.

도 7을 참조하면, 본 개시의 실시형태에 따른 합성 삼차원 이미징을 위한 방법이 예시된다. 701에서, 환자의 해부학적 구조의 이미지가 카메라로부터 수신된다. 702에서, 이미지에 대응하는 깊이 맵이 깊이 센서로부터 수신된다. 703에서, 해부학적 구조에 대응하는 포인트 클라우드가 깊이 맵 및 이미지에 기초하여 생성된다. 704에서, 포인트 클라우드가 공간에서 회전된다. 705에서, 포인트 클라우드가 렌더링된다. 706에서, 렌더링된 포인트 클라우드가 유저에게 디스플레이된다.

다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은, 예를 들면, 진단 애플리케이션 및/또는 수술 애플리케이션과 같은 임의의 적절한 애플리케이션에서 사용될 수도 있다. 진단 애플리케이션의 예로서, 본원에서 설명되는 시스템 및 방법은 위장관에서 폴립을 이미지화하고 폴립의 치수를 결정하기 위해 대장 내시경 검사에서 사용될 수도 있다. 폴립의 치수와 같은 정보는 환자에 대한 치료 계획(예를 들면, 수술, 화학 요법, 추가적인 테스트, 등등)을 결정하기 위해 건강 관리 전문가에 의해 사용할 수도 있다. 다른 예에서, 본원에서 설명되는 시스템 및 방법은 내부 장기의 일부 또는 전체를 추출할 때 절개 또는 구멍의 사이즈를 측정하기 위해 사용될 수도 있다. 수술 애플리케이션의 예로서, 본원에서 설명되는 시스템 및 방법은, 예를 들면, 핸드헬드 복강경 수술, 핸드헬드 내시경 프로시져, 및/또는 이미징 및 깊이 감지가 필요할 수도 있는 임의의 다른 적절한 수술 애플리케이션과 같은 핸드헬드 수술 애플리케이션에서 사용될 수도 있다. 다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은 조직, 장기, 실(thread), 및/또는 임의의 기구를 포함하는 수술 영역의 깊이를 계산하기 위해 사용될 수도 있다. 다양한 실시형태에서, 본원에서 설명되는 시스템 및 방법은 절대 단위(예를 들면, 밀리미터)로 측정을 행할 수 있을 수도 있다.

다양한 실시형태가 내시경과 같은 위장(gastrointestinal; GI) 카테터에서의 사용을 위해 적응될 수도 있다. 특히, 내시경은 분무식 스프레이기(atomized sprayer), IR 소스, 카메라 시스템 및 광학기기(optics), 로봇 팔, 및 이미지 프로세서를 포함할 수도 있다.

도 8을 참조하면, 예시적인 PACS(800)는 네 개의 주요 컴포넌트로 구성된다. 컴퓨터 단층 촬영(computed tomography; CT)(801), 자기 공명 영상(magnetic resonance imaging; MRI)(802), 또는 초음파(ultrasound; US)(803)와 같은 다양한 이미징 양식(modality)(801, ..., 809)이 시스템에 영상(imagery)을 제공한다. 몇몇 구현예에서, 영상은, 아카이브(812)에서 저장되기 이전에, PACS 게이트웨이(811)로 송신된다. 아카이브(812)는 이미지 및 보고서의 저장 및 검색을 제공한다. 워크스테이션(821, ..., 829)은 아카이브(812) 내의 이미지의 해석 및 재검토를 제공한다. 몇몇 실시형태에서, 시스템의 컴포넌트 사이에서 환자 정보의 송신을 위해 보안 네트워크가 사용된다. 몇몇 실시형태에서, 워크스테이션(821, ..., 829)은 웹 기반의 뷰어일 수도 있다. PACS는, 이미지, 해석, 및 관련된 데이터에 대한 적시의 그리고 효율적인 액세스를 제공하여, 전통적인 필름 기반의 이미지 검색, 배포, 및 디스플레이의 결점을 제거한다.

PACS는, X 선 단순 촬영법(plain film; PF), 초음파(US), 자기 공명(magnetic resonance; MR), 핵의학 이미징, 양전자 방출 단층 촬영(positron emission tomography; PET), 컴퓨터 단층 촬영(CT), 내시경(endoscopy; ES), 유방 조영술(mammograms; MG), 디지털 방사선 촬영(digital radiography; DR), 컴퓨터 방사선 촬영(computed radiography; CR), 조직병리학(Histopathology), 또는 안과학(ophthalmology)과 같은, 다양한 의료 이미징 기구로부터의 이미지를 핸들링할 수도 있다. 그러나, PACS는 이미지의 사전 결정된 목록으로 제한되지는 않으며, 방사선학, 심장학, 종양학, 또는 위장병학과 같은 이미징의 종래의 소스를 넘어서는 임상 영역을 지원한다.

상이한 유저는 전체 PACS 시스템에 대해 상이한 뷰를 가질 수도 있다. 예를 들면, 방사선 전문의는 통상적으로 관찰 스테이션(viewing station)에 액세스할 수도 있지만, 기술자는 통상적으로 QA 워크스테이션에 액세스할 수도 있다.

몇몇 구현예에서, PACS 게이트웨이(811)는 품질 보증(quality assurance; QA) 워크스테이션을 포함한다. QA 워크스테이션은, 환자 인구 통계학이 정확하고 뿐만 아니라 연구의 다른 중요한 속성이다는 것을 확인하기 위한 체크포인트를 제공한다. 연구 정보가 정확하면, 이미지는 저장을 위해 아카이브(812)로 전달된다. 중앙 스토리지 디바이스인 아카이브(812)는 이미지를 저장하고, 몇몇 구현예에서는, 이미지와 함께 상주하는 보고서, 측정치 및 다른 정보를 저장한다.

일단 이미지가 아카이브(812)에 저장되면, 그들은 판독 워크스테이션(reading workstation; 821, ..., 829)으로부터 액세스될 수도 있다. 판독 워크스테이션은 방사선 전문의가 환자의 연구 사항을 재검토하고 그들의 진단을 공식화하는 곳이다. 몇몇 구현예에서, 방사선 전문의가 최종 보고서를 구술하는(dictating) 것을 지원하기 위해, 보고 패키지가 판독 워크스테이션에 결부된다. 전통적인 지시에 의존하는 것들을 비롯한, 다양한 보고 시스템이 PACS와 통합될 수도 있다. 몇몇 구현예에서는, 환자 또는 조회하는 의사에게 배포하기 위한 환자 연구 사항을 버닝하기 위해, CD 또는 DVD 저작용 소프트웨어(authoring software)가 워크스테이션(821, ..., 829)에 포함된다.

몇몇 구현예에서, PACS는 워크스테이션(821, ..., 829)에 대한 웹 기반의 인터페이스를 포함한다. 그러한 웹 인터페이스는 인터넷 또는 광역 통신망(Wide Area Network; WAN)을 통해 액세스될 수도 있다. 몇몇 구현예에서, VPN(Virtual Private Network; 가상 사설망) 또는 SSL(Secure Sockets Layer; 보안 소켓 계층)에 의해 연결 보안이 제공된다. 클라이언트 측 소프트웨어는 ActiveX(액티브엑스), JavaScript(자바스크립트), 또는 Java Applet(자바 애플릿)을 포함할 수도 있다. PACS 클라이언트는 또한, 웹 환경 외부에서 그들이 실행되고 있는 컴퓨터의 전체 리소스를 활용하는 전체 애플리케이션(full application)일 수도 있다.

PACS 내의 통신은 의료용 디지털 이미징 및 통신(DICOM)을 통해 일반적으로 제공된다. DICOM은 의료 이미징에서 정보를 핸들링, 저장, 인쇄, 및 송신하기 위한 표준을 제공한다. 그것은 파일 포맷 정의 및 네트워크 통신 프로토콜을 포함한다. 통신 프로토콜은, 시스템 사이에서 통신하기 위해 TCP/IP를 사용하는 애플리케이션 프로토콜이다. DICOM 파일은 DICOM 포맷으로 이미지 및 환자 데이터를 수신할 수 있는 두 엔티티 사이에서 교환될 수 있다.

DICOM은 정보를 데이터 세트로 그룹화한다. 예를 들면, 특정한 이미지를 포함된 파일은, 일반적으로, 파일 내에서 환자 ID를 포함하고, 그 결과 이미지는 실수로 이 정보로부터 절대 분리될 수 없다. DICOM 데이터 오브젝트는, 이름 및 환자 ID와 같은 아이템을 비롯한, 다수의 속성뿐만 아니라, 이미지 픽셀 데이터를 포함하는 특수 속성으로 구성된다. 따라서, 메인 오브젝트는 그 자체로는 어떠한 헤더도 가지지 않지만, 그러나 대신 픽셀 데이터를 비롯한, 속성의 목록을 포함한다. 픽셀 데이터를 포함하는 DICOM 오브젝트는 단일의 이미지에 대응할 수도 있거나, 또는 여러 프레임을 포함할 수도 있어서, 시네 루프(cine loop) 또는 다른 다중 프레임 데이터의 저장을 허용할 수도 있다. DICOM은 단일의 DICOM 오브젝트에서 캡슐화되는 삼차원 또는 사차원 데이터를 지원한다. 픽셀 데이터는, JPEG, 무손실(Lossless) JPEG, JPEG 2000, 런렝쓰 인코딩(Run-length encoding; RLE)을 비롯한, 다양한 표준을 사용하여 압축될 수도 있다. LZW(zip) 압축이 전체 데이터 세트에 대해 또는 단지 픽셀 데이터에 대해서만 사용될 수도 있다.

이제 도 9을 참조하면, 컴퓨팅 노드의 한 예의 개략도가 도시되어 있다. 컴퓨팅 노드(10)는 적절한 컴퓨팅 노드의 하나의 예에 불과하며 본원에서 설명되는 실시형태의 사용 또는 기능성(functionality)의 범위에 관해서 어떠한 제한도 제안하도록 의도되는 것은 아니다. 그럼에도 불구하고, 컴퓨팅 노드(10)는 본원의 상기에서 기술되는 기능성 중 임의의 것을 구현할 수 있고 및/또는 수행할 수 있다.

컴퓨팅 노드(10)에는, 수많은 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작하는 컴퓨터 시스템/서버(12)가 있다. 컴퓨터 시스템/서버(12)와 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 퍼스널 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트(thin client), 씩 클라이언트(thick client), 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑 박스, 프로그래머블 소비자 전자기기, 네트워크 PC, 미니컴퓨터 시스템, 메인프레임 컴퓨터 시스템, 및 상기의 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 클라우드 컴퓨팅 환경, 및 등등을 포함하지만, 그러나 이들로 제한되지는 않는다.

컴퓨터 시스템/서버(12)는, 컴퓨터 시스템에 의해 실행되고 있는, 프로그램 모듈과 같은 컴퓨터 시스템 실행 가능 명령어의 일반적인 맥락에서 설명될 수도 있다. 일반적으로, 프로그램 모듈은, 특정한 작업을 수행하는 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 로직, 데이터 구조, 및 등등을 포함할 수도 있다. 컴퓨터 시스템/서버(12)는, 통신 네트워크를 통해 연결되는 원격 프로세싱 디바이스에 의해 작업이 수행되는 분산 클라우드 컴퓨팅 환경에서 실시될 수도 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 시스템 저장 매체 둘 모두에서 위치될 수도 있다.

도 9에서 도시되는 바와 같이, 컴퓨팅 노드(10)에서의 컴퓨터 시스템/서버(12)는 범용 컴퓨팅 디바이스의 형태로 도시된다. 컴퓨터 시스템/서버(12)의 컴포넌트는, 하나 이상의 프로세서 또는 프로세싱 유닛(16), 시스템 메모리(28), 및 시스템 메모리(28)를 포함하는 다양한 시스템 컴포넌트를 프로세서(16)에 커플링하는 버스(18)를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다.

버스(18)는, 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 가속 그래픽 포트, 및 다양한 버스 아키텍쳐 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 비롯한, 여러가지 타입의 버스 구조 중 임의의 것의 하나 이상을 나타낸다. 제한이 아닌 예로서, 그러한 아키텍쳐는 산업 표준 아키텍쳐(Industry Standard Architecture; ISA) 버스, 마이크로 채널 아키텍쳐(Micro Channel Architecture; MCA) 버스, 향상된 ISA(Enhanced ISA; EISA) 버스, 비디오 전자 표준 협회(Video Electronics Standards Association; VESA) 로컬 버스, 주변 장치 컴포넌트 인터커넥트(Peripheral Component Interconnect; PCI) 버스, 주변 장치 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect Express; PCIe), 및 고급 마이크로컨트롤러 버스 아키텍쳐(Advanced Microcontroller Bus Architecture; AMBA)를 포함한다.

컴퓨터 시스템/서버(12)는 통상적으로 다양한 컴퓨터 시스템 판독 가능 매체를 포함한다. 그러한 매체는 컴퓨터 시스템/서버(12)에 의해 액세스 가능한 임의의 이용 가능한 매체일 수도 있으며, 그것은 휘발성의 착탈식(removable) 및 비착탈식(non-removable) 매체 및 불휘발성의 착탈식 및 비착탈식 매체 둘 모두를 포함한다.

시스템 메모리(28)는, 랜덤 액세스 메모리(random access memory; RAM)(30) 및/또는 캐시 메모리(32)와 같은 휘발성 메모리의 형태의 컴퓨터 시스템 판독 가능 매체를 포함할 수 있다. 컴퓨터 시스템/서버(12)는 다른 착탈식/비착탈식의 휘발성/불휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수도 있다. 단지 예로서, 스토리지 시스템(34)은 비착탈식 불휘발성 자기 매체(도시되지 않으며 통상적으로 "하드 드라이브"로 칭해짐)로부터의 판독 및 그에 대한 기록을 위해 제공될 수 있다. 비록 도시되지는 않지만, 착탈식 불휘발성 자기 디스크(예를 들면, "플로피 디스크")로부터의 판독 또는 그에 대한 기록을 위한 자기 디스크 드라이브 및 CD-ROM, DVD-ROM 또는 다른 광학 미디어와 같은 착탈식 불휘발성 광학 디스크로부터의 판독 및 그에 대한 기록을 위한 광학 디스크 드라이브가 제공될 수 있다. 그러한 예에서, 각각은 하나 이상의 데이터 미디어 인터페이스에 의해 버스(18)에 연결될 수 있다. 하기에서 추가로 묘사되고 설명될 바와 같이, 메모리(28)는, 본 개시의 실시형태의 기능을 실행하도록 구성되는 프로그램 모듈의 세트(예를 들면, 적어도 하나)를 갖는 적어도 하나의 프로그램 제품을 포함할 수도 있다.

제한이 아닌 예로서, 프로그램 모듈(42)의 세트(적어도 하나)를 갖는 프로그램/유틸리티(40) 뿐만 아니라, 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터가 메모리(28)에 저장될 수도 있다. 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터의 각각 또는 이들의 어떤 조합은 네트워킹 환경의 구현을 포함할 수도 있다. 프로그램 모듈(42)은 본원에서 설명되는 바와 같은 실시형태의 기능 및/또는 방법론을 일반적으로 실행한다.

컴퓨터 시스템/서버(12)는 또한, 키보드, 포인팅 디바이스, 디스플레이(24), 등등과 같은 하나 이상의 외부 디바이스(14); 유저가 컴퓨터 시스템/서버(12)와 상호 작용하는 것을 가능하게 하는 하나 이상의 디바이스; 및/또는 컴퓨터 시스템/서버(12)가 하나 이상의 다른 컴퓨팅 디바이스와 통신하는 것을 가능하게 하는 임의의 디바이스(예를 들면, 네트워크 카드, 모뎀, 등등)와 통신할 수도 있다. 그러한 통신은 입력/출력(Input/Output; I/O) 인터페이스(22)를 통해 발생할 수 있다. 여전히, 컴퓨터 시스템/서버(12)는, 네트워크 어댑터(20)를 통해 근거리 통신망(local area network; LAN), 일반 광역 통신망(WAN), 및/또는 공공 네트워크(예를 들면, 인터넷)와 같은 하나 이상의 네트워크와 통신할 수 있다. 묘사되는 바와 같이, 네트워크 어댑터(20)는 버스(18)를 통해 컴퓨터 시스템/서버(12)의 다른 컴포넌트와 통신한다. 비록 도시되지는 않지만, 다른 하드웨어 및/또는 소프트웨어 컴포넌트가 컴퓨터 시스템/서버(12)와 연계하여 사용될 수 있다는 것이 이해되어야 한다. 예는 다음의 것을 포함하지만, 그러나 이들로 제한되지는 않는다: 마이크로코드, 디바이스 드라이버, 리던던트 프로세싱 유닛(redundant processing unit), 외부 디스크 드라이브 어레이, RAID 시스템, 테이프 드라이브, 및 데이터 아카이브 스토리지 시스템, 등등.

본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품으로서 구체화될 수도 있다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 개시의 양태를 실행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령어를 갖는 컴퓨터 판독 가능 저장 매체(또는 매체들)를 포함할 수도 있다.

컴퓨터 판독 가능 저장 매체는 명령어 실행 디바이스에 의한 사용을 위한 명령어를 보유하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는, 예를 들면, 전자 스토리지 디바이스, 자기 스토리지 디바이스, 광학 스토리지 디바이스, 전자기 스토리지 디바이스, 반도체 스토리지 디바이스, 또는 전술한 것의 임의의 적절한 조합일 수도 있지만, 그러나 이들로 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비망라적인 목록은 다음의 것을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능한 프로그래머블 리드 온리 메모리(erasable programmable read-only memory; EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(static random access memory; SRAM), 휴대용 컴팩트 디스크 리드 온리 메모리(compact disc read-only memory; CD-ROM), 디지털 다기능 디스크(digital versatile disk; DVD), 메모리 스틱, 플로피 디스크, 기계적으로 인코딩된 디바이스 예컨대 명령어가 레코딩된 그루브에서의 융기 구조체 또는 펀치 카드, 및 전술한 것의 임의의 적절한 조합. 컴퓨터 판독 가능 저장 매체는, 본원에서 사용될 때, 일시적 신호 그 자체, 예컨대 전파(radio wave) 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 송신 매체를 통해 전파하는 전자기파(예를 들면, 광 섬유 케이블을 통과하는 광 펄스), 또는 와이어를 통해 송신되는 전기 신호인 것으로 해석되지 않아야 한다.

본원에서 설명되는 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스로, 또는 네트워크, 예를 들면, 인터넷, 근거리 통신망, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 스토리지 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블, 광학 송신 섬유, 무선 송신, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수도 있다. 각각의 컴퓨팅/프로세싱 디바이스에서의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고 각각의 컴퓨팅/프로세싱 디바이스 내의 컴퓨터 판독 가능 저장 매체에서의 저장을 위해 컴퓨터 판독 가능 프로그램 명령어를 포워딩한다.

본 개시의 동작을 실행하기 위한 컴퓨터 판독 가능 프로그램 명령어는, 어셈블러 명령어, 명령어 세트-아키텍쳐(instruction-set-architecture; ISA) 명령어, 머신 명령어, 머신 의존 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 또는 객체 지향 프로그래밍 언어 예컨대 Smalltalk, C++, 또는 등등, 및 종래의 절차적 프로그래밍 언어, 예컨대 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어를 비롯한, 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성되는 소스 코드 또는 오브젝트 코드 중 어느 하나일 수도 있다. 컴퓨터 판독 가능 프로그램 명령어는, 전적으로, 유저의 컴퓨터 상에서, 부분적으로 유저의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로는 유저의 컴퓨터 상에서 그리고 부분적으로는 원격 컴퓨터 상에서 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수도 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 비롯한, 임의의 타입의 네트워크를 통해 유저의 컴퓨터에 연결될 수도 있거나, 또는 (예를 들면, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대한 연결이 만들어질 수도 있다. 몇몇 실시형태에서, 예를 들면, 프로그래머블 로직 회로부(circuitry), 필드 프로그래머블 게이트 어레이(field-programmable gate arrays; FPGA), 또는 프로그래머블 로직 어레이(programmable logic arrays; PLA)를 포함하는 전자 회로부는, 본 개시의 양태를 수행하기 위해, 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 활용하여 전자 회로부를 개인화하는 것에 의해 컴퓨터 판독 가능 프로그램 명령어를 실행할 수도 있다.

본 개시의 양태는 본 개시의 실시형태에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 플로우차트 예시 및/또는 블록도를 참조하여 본원에서 설명된다. 플로우차트 예시 및/또는 블록도의 각각의 블록, 및 플로우차트 예시 및/또는 블록도의 블록의 조합은 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다는 것이 이해될 것이다.

이들 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서에 제공되어 머신을 생성할 수도 있고, 그 결과, 컴퓨터 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록에서 명시되는 기능/액트(act)를 구현하기 위한 수단을 생성한다. 컴퓨터, 프로그래머블 데이터 프로세싱 장치, 및/또는 다른 디바이스에게 특정한 방식으로서 기능할 것을 지시할 수 있는 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터 판독 가능 저장 매체에 저장될 수도 있고, 그 결과, 명령어가 저장된 컴퓨터 판독 가능 저장 매체는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트의 양태를 구현하는 명령어를 포함하는 제조 물품을 포함한다.

컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터, 다른 프로그래머블 데이터 프로세싱 장치, 또는 다른 디바이스 상으로 로딩되어, 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 수행될 일련의 동작 단계로 하여금 컴퓨터 구현 프로세스를 생성하게 할 수도 있고, 그 결과 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트를 구현한다.

도면에서의 플로우차트 및 블록도는, 본 개시의 다양한 실시형태에 따른 시스템, 방법, 및 컴퓨터 프로그램 제품의 가능한 구현예의 아키텍쳐, 기능성, 및 동작을 예시한다. 이와 관련하여, 플로우차트 또는 블록도에서의 각각의 블록은, 명시된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 모듈, 세그먼트, 또는 명령어의 일부를 나타낼 수도 있다. 몇몇 대안적인 구현예에서, 블록에서 언급되는 기능은 도면에 언급되는 순서를 벗어나 발생할 수도 있다. 예를 들면, 수반되는 기능성에 따라, 연속하여 도시되는 두 개의 블록은, 실제로는, 실질적으로 동시에 실행될 수도 있거나, 또는 블록은 때로는 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 플로우차트 예시의 각각의 블록, 및 블록도 및/또는 플로우차트 예시에서의 블록의 조합은, 명시된 기능 또는 액트를 수행하는 또는 특수 목적 하드웨어 및 컴퓨터 명령어의 조합을 실행하는 특수 목적 하드웨어 기반의 시스템에 의해 구현될 수 있다는 것이 주목될 것이다.

본 개시의 다양한 실시형태의 설명은 예시의 목적을 위해 제시되었지만, 그러나 개시되는 실시형태로 제한되도록 또는 망라적인 것으로 의도되는 것은 아니다. 설명된 실시형태의 범위 및 취지를 벗어나지 않으면서 많은 수정예 및 변동예가 기술 분야의 숙련된 자에게는 명백할 것이다. 본원에서 사용되는 전문 용어는 실시형태의 원리, 실제 적용 또는 시장에서 발견되는 기술에 대한 기술적 개선을 가장 잘 설명하기 위해, 또는 기술 분야에서 통상의 지식을 가진 다른 사람이 본원에서 개시되는 실시형태를 이해하는 것을 가능하게 하기 위해 선택되었다.

Claims

방법으로서,
카메라로부터, 환자의 해부학적 구조(anatomical structure)의 이미지를 수신하는 단계;
깊이 센서로부터, 상기 이미지에 대응하는 깊이 맵을 수신하는 단계;
상기 깊이 맵 및 상기 이미지에 기초하여, 상기 해부학적 구조에 대응하는 포인트 클라우드(point cloud)를 생성하는 단계;
공간에서 상기 포인트 클라우드를 회전시키는 단계;
상기 포인트 클라우드를 렌더링하는 단계; 및
상기 렌더링된 포인트 클라우드를 유저에게 디스플레이하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 포인트 클라우드는 예비 포인트 클라우드이고, 상기 방법은
상기 예비 포인트 클라우드를 상기 해부학적 구조의 모델에 등록하는 단계; 및
상기 예비 포인트 클라우드 및 상기 모델로부터 증강된 포인트 클라우드를 생성하는 단계를 더 포함하는, 방법.
제2항에 있어서,
상기 증강된 포인트 클라우드를 추가로 회전시키기 위한 표시를 상기 유저로부터 수신하는 단계;
상기 표시에 따라 공간에서 상기 증강된 포인트 클라우드를 회전시키는 단계;
회전 이후 상기 증강된 포인트 클라우드를 렌더링하는 단계;
상기 렌더링된 증강된 포인트 클라우드를 상기 유저에게 디스플레이하는 단계를 더 포함하는, 방법.
제2항에 있어서,
상기 카메라는 상기 깊이 센서를 포함하는, 방법.
제2항에 있어서,
상기 카메라는 상기 깊이 센서와는 분리되는, 방법.
제5항에 있어서,
상기 깊이 센서는 구조화된 광 센서(structure light sensor) 및 구조화된 광 프로젝터를 포함하는, 방법.
제5항에 있어서,
상기 깊이 센서는 비행 시간 센서(time-of-flight sensor)를 포함하는, 방법.
제2항에 있어서,
상기 깊이 맵은 단일의 이미지 프레임으로부터 결정되는, 방법.
제2항에 있어서,
상기 깊이 맵은 두 개 이상의 이미지 프레임으로부터 결정되는, 방법.
제2항에 있어서,
상기 예비 포인트 클라우드로부터 표면 메쉬를 생성하는 단계를 더 포함하는, 방법.
제10항에 있어서,
표면 메쉬를 생성하는 단계는 상기 예비 포인트 클라우드를 보간하는 단계를 포함하는, 방법.
제11항에 있어서,
상기 보간은 직접적으로 수행되는, 방법.
제11항에 있어서,
상기 보간은 그리드에 대해 수행되는, 방법.
제11항에 있어서,
보간은 스플라이닝(splining)을 포함하는, 방법.
제10항에 있어서,
표면 메쉬를 생성하기 이전에, 상기 예비 포인트 클라우드를 두 개 이상의 시매틱(sematic) 영역으로 세그먼트화하는 것을 단계를 더 포함하는, 방법.
제15항에 있어서,
표면 메쉬를 생성하는 단계는 상기 두 개 이상의 시매틱 영역의 각각에 대해 별개의 표면 메쉬를 생성하는 단계를 포함하는, 방법.
제16항에 있어서,
상기 별개의 표면 메쉬의 각각을 결합된 표면 메쉬로 결합하는 단계를 더 포함하는, 방법.
제17항에 있어서,
상기 결합된 표면 메쉬를 상기 유저에게 디스플레이하는 단계를 더 포함하는, 방법.
제2항에 있어서,
상기 해부학적 구조의 상기 모델은 가상의 3D 모델을 포함하는, 방법.
제19항에 있어서,
상기 해부학적 구조의 상기 모델은 해부학적 도해서(anatomical atlas)로부터 결정되는, 방법.
제19항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 환자의 수술전 이미징으로부터 결정되는, 방법.
제21항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 수술전 이미징으로부터의 3D 재구성인, 방법.
제21항에 있어서,
상기 수술전 이미징은 의료 영상 저장 정보 시스템(picture archiving and communication system; PACS)으로부터 검색되는, 방법.
제2항에 있어서,
등록하는 단계는 변형 가능한 등록을 포함하는, 방법.
제2항에 있어서,
등록하는 단계는 강체 등록(rigid body registration)을 포함하는, 방법.
제1항에 있어서,
상기 포인트 클라우드 내의 각각의 포인트는 상기 깊이 맵으로부터 유도되는 깊이 값 및 상기 이미지로부터 유도되는 컬러 값을 포함하는, 방법.
시스템으로서,
체강(body cavity)의 내부를 이미지화하도록 구성되는 디지털 카메라;
디스플레이;
프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드를 포함하되, 상기 컴퓨팅 노드의 프로세서에 의해 실행 가능한 상기 프로그램 명령어는, 상기 프로세서로 하여금:
카메라로부터, 환자의 해부학적 구조의 이미지를 수신하는 것;
카메라 깊이 센서로부터, 상기 이미지에 대응하는 깊이 맵을 수신하는 것;
상기 깊이 맵 및 상기 이미지에 기초하여, 상기 해부학적 구조에 대응하는 포인트 클라우드를 생성하는 것;
공간에서 상기 포인트 클라우드를 회전시키는 것;
상기 포인트 클라우드를 렌더링하는 것; 및
상기 렌더링된 포인트 클라우드를 유저에게 디스플레이하는 것
을 포함하는 방법을 수행하게 하는, 시스템.
제27항에 있어서,
상기 포인트 클라우드는 예비 포인트 클라우드이고, 상기 방법은
상기 예비 포인트 클라우드를 상기 해부학적 구조의 모델에 등록하는 것; 및
상기 예비 포인트 클라우드 및 상기 모델로부터 증강된 포인트 클라우드를 생성하는 것을 더 포함하는, 시스템.
제28항에 있어서,
상기 방법은:
상기 증강된 포인트 클라우드를 추가로 회전시키기 위한 표시를 상기 유저로부터 수신하는 것;
상기 표시에 따라 공간에서 상기 증강된 포인트 클라우드를 회전시키는 것;
회전 이후 상기 증강된 포인트 클라우드를 렌더링하는 것;
상기 렌더링된 증강된 포인트 클라우드를 상기 유저에게 디스플레이하는 것을 더 포함하는, 시스템.
제28항에 있어서,
상기 카메라는 상기 깊이 센서를 포함하는, 시스템.
제28항에 있어서,
상기 카메라는 상기 깊이 센서와는 분리되는, 시스템.
제31항에 있어서,
상기 깊이 센서는 구조화된 광 센서 및 구조화된 광 프로젝터를 포함하는, 시스템.
제31항에 있어서,
상기 깊이 센서는 비행 시간 센서를 포함하는, 시스템.
제28항에 있어서,
상기 깊이 맵은 단일의 이미지 프레임으로부터 결정되는, 시스템.
제28항에 있어서,
상기 깊이 맵은 두 개 이상의 이미지 프레임으로부터 결정되는, 시스템.
제28항에 있어서,
상기 예비 포인트 클라우드로부터 표면 메쉬를 생성하는 것을 더 포함하는, 시스템.
제36항에 있어서,
표면 메쉬를 생성하는 것은 상기 예비 포인트 클라우드를 보간하는 것을 포함하는, 시스템.
제37항에 있어서,
상기 보간은 직접적으로 수행되는, 시스템.
제37항에 있어서,
상기 보간은 그리드에 대해 수행되는, 시스템.
제37항에 있어서,
보간은 스플라이닝을 포함하는, 시스템.
제36항에 있어서,
표면 메쉬를 생성하기 이전에, 상기 예비 포인트 클라우드를 두 개 이상의 시매틱 영역으로 세그먼트화하는 것을 더 포함하는, 시스템.
제41항에 있어서,
표면 메쉬를 생성하는 것은 상기 두 개 이상의 시매틱 영역의 각각에 대해 별개의 표면 메쉬를 생성하는 것을 포함하는, 시스템.
제42항에 있어서,
상기 별개의 표면 메쉬의 각각을 결합된 표면 메쉬로 결합하는 것을 더 포함하는, 시스템.
제43항에 있어서,
상기 결합된 표면 메쉬를 상기 유저에게 디스플레이하는 것을 더 포함하는, 시스템.
제28항에 있어서,
상기 해부학적 구조의 상기 모델은 가상의 3D 모델을 포함하는, 시스템.
제45항에 있어서,
상기 해부학적 구조의 상기 모델은 해부학적 도해서로부터 결정되는, 시스템.
제45항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 환자의 수술전 이미징으로부터 결정되는, 시스템.
제47항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 수술전 이미징으로부터의 3D 재구성인, 시스템.
제47항에 있어서,
상기 수술전 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 검색되는, 시스템.
제28항에 있어서,
등록하는 것은 변형 가능한 등록을 포함하는, 시스템.
제28항에 있어서,
등록하는 것은 강체 등록을 포함하는, 시스템.
제27항에 있어서,
상기 포인트 클라우드 내의 각각의 포인트는 상기 깊이 맵으로부터 유도되는 깊이 값 및 상기 이미지로부터 유도되는 컬러 값을 포함하는, 시스템.
합성 삼차원 이미징(synthetic three-dimensional imaging)을 위한 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 프로그램 제품은 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하고, 프로세서에 의해 실행 가능한 상기 프로그램 명령어는, 상기 프로세서로 하여금:
카메라로부터, 해부학적 구조의 이미지를 수신하는 것;
카메라 깊이 센서로부터, 상기 이미지에 대응하는 깊이 맵을 수신하는 것;
상기 깊이 맵 및 상기 이미지에 기초하여, 상기 해부학적 구조에 대응하는 포인트 클라우드를 생성하는 것;
공간에서 상기 포인트 클라우드를 회전시키는 것;
상기 포인트 클라우드를 렌더링하는 것; 및
상기 렌더링된 포인트 클라우드를 유저에게 디스플레이하는 것
을 포함하는 방법을 수행하게 하도록 상기 프로세서에 의해 실행 가능한, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제53항에 있어서,
상기 포인트 클라우드는 예비 포인트 클라우드이고, 상기 방법은
상기 예비 포인트 클라우드를 상기 해부학적 구조의 모델에 등록하는 것; 및
상기 예비 포인트 클라우드 및 상기 모델로부터 증강된 포인트 클라우드를 생성하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 증강된 포인트 클라우드를 추가로 회전시키기 위한 표시를 상기 유저로부터 수신하는 것;
상기 표시에 따라 공간에서 상기 증강된 포인트 클라우드를 회전시키는 것;
회전 이후 상기 증강된 포인트 클라우드를 렌더링하는 것;
상기 렌더링된 증강된 포인트 클라우드를 상기 유저에게 디스플레이하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 카메라는 상기 깊이 센서를 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 카메라는 상기 깊이 센서와는 분리되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제57항에 있어서,
상기 깊이 센서는 구조화된 광 센서 및 구조화된 광 프로젝터를 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제57항에 있어서,
상기 깊이 센서는 비행 시간 센서를 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 깊이 맵은 단일의 이미지 프레임으로부터 결정되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 깊이 맵은 두 개 이상의 이미지 프레임으로부터 결정되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 예비 포인트 클라우드로부터 표면 메쉬를 생성하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제62항에 있어서,
표면 메쉬를 생성하는 것은 상기 예비 포인트 클라우드를 보간하는 것을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제63항에 있어서,
상기 보간은 직접적으로 수행되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제63항에 있어서,
상기 보간은 그리드에 대해 수행되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제63항에 있어서,
보간은 스플라이닝을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제62항에 있어서,
표면 메쉬를 생성하기 이전에, 상기 예비 포인트 클라우드를 두 개 이상의 시매틱 영역으로 세그먼트화하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제67항에 있어서,
표면 메쉬를 생성하는 것은 상기 두 개 이상의 시매틱 영역의 각각에 대해 별개의 표면 메쉬를 생성하는 것을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제68항에 있어서,
상기 별개의 표면 메쉬의 각각을 결합된 표면 메쉬로 결합하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제69항에 있어서,
상기 결합된 표면 메쉬를 상기 유저에게 디스플레이하는 것을 더 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
상기 해부학적 구조의 상기 모델은 가상의 3D 모델을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제71항에 있어서,
상기 해부학적 구조의 상기 모델은 해부학적 도해서로부터 결정되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제71항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 환자의 수술전 이미징으로부터 결정되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제73항에 있어서,
상기 해부학적 구조의 상기 모델은 상기 수술전 이미징으로부터의 3D 재구성인, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제73항에 있어서,
상기 수술전 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 검색되는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
등록하는 것은 변형 가능한 등록을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제54항에 있어서,
등록하는 것은 강체 등록을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.
제53항에 있어서,
상기 포인트 클라우드 내의 각각의 포인트는 상기 깊이 맵으로부터 유도되는 깊이 값 및 상기 이미지로부터 유도되는 컬러 값을 포함하는, 합성 삼차원 이미징을 위한 컴퓨터 프로그램 제품.