KR20150082428A

KR20150082428A - 3차원 스캔에서의 움직임 보상

Info

Publication number: KR20150082428A
Application number: KR1020157014506A
Authority: KR
Inventors: 아디 레빈
Original assignee: 얼라인 테크널러지, 인크.
Priority date: 2012-11-01
Filing date: 2013-10-25
Publication date: 2015-07-15
Also published as: JP2016500547A; US20170140511A1; AU2013340464A1; ES2615740T3; US9830688B2; WO2014068383A3; US20200202497A1; US11321817B2; KR101954487B1; US20180096465A1; US9214014B2; US20160104268A1; US20150178901A1; US20140120493A1; WO2014068383A2; JP6344824B2; CN104837436B; EP2914202B1; US8948482B2; US10600160B2

Abstract

본 개시는 3차원 스캔에서의 움직임 보상을 위한 컴퓨팅 장치로 실행되는 방법들, 컴퓨팅 장치로 판독 가능한 매체 및, 시스템들을 제공한다. 움직임 보상은 치아 상태의 3차원(3D) 스캔을 수신하는 것, 하나의 스캔에서 다른 스캔으로 움직임 궤적을 추정하는 것, 및 움직임 궤적을 보상함으로써 보정된 스캔을 산출하는 것을 포함할 수 있다. 움직임 궤적을 추정하는 것은 스캔을 다른 스캔에 정합하고 스캔 사이의 이동량이 정합 임계치 이내인지 여부를 결정하는 것, 스캔 동안 찍힌 연속하는 2차원(2D) 이미지들 사이의 로컬 움직임에 기초하여 광 흐름을 결정하는 것, 및 위치 추적 장치로부터의 입력에 기초하여 강체 변환으로서 스캔 동안 3D 스캐너의 움직임의 양을 추정하는 것 중 하나 이상을 포함할 수 있다.

Description

3차원 스캔에서의 움직임 보상{MOTION COMPENSATION IN A THREE DIMENSIONAL SCAN}

본 개시는 일반적으로 치아 치료의 분야에 관한 것이다. 보다 구체적으로, 본 개시는 3차원 스캔에서의 움직임 보상을 위한 방법들, 장치들, 및 시스템들에 관한 것이다.

치아 치료들은, 예를 들면, 복원 및/또는 교정(orthodontic) 절차들과 관련 될 수 있다. 복원 절차들은 환자의 구강 내에 치아 보철(dental prosthesis)(예: 치관(crown), 브리지 인레이(bridge inlay), 온레이(onlay), 베니어(veneer) 등)을 임플란트(implant)하도록 고안될 수 있다. 교정 절차들은 향상된 미용적 외모 및/또는 치아 기능을 위해서 정렬되지 않은 치아의 위치 재조정(repositioning)과 저작 형태(bite configuration)들의 변경을 포함할 수 있다. 교정 위치 재조정은, 예를 들면, 일정 기간에 걸쳐서 하나 이상의 치아에 제어된 힘을 가함으로써, 수행될 수 있다.

일례로서, 교정 위치 재조정은, 치과 교정의 위치 재조정은 치아를 재정렬 시키기 위해서 포지셔닝 기기들(positioning appliances)을 사용하는 치아 프로세스를 통해서 제공될 수 있다. 그러한 기기들은 대체로 환자의 치아에 맞지만 현재 치아 형태(configuration)와의 정렬에서 조금 벗어난, "얼라이너(aligner)"로 지칭되는, 탄력(resilient) 특성을 가지는 물질의 얇은 틀(shell)을 활용할 수 있다.

치아 위로의 그러한 기기의 설치(placement)는 특정 위치들에 제어된 힘들을 제공하여, 치아를 점진적으로 새로운 형태로 이동시킬 수 있다. 점진적인 형태들로 연속적인(successive) 기기들을 사용한 이 과정의 반복은 일련의 중간 배치들(arrangements)을 통해 치아를 원하는 최종 배치로 이동시킬 수 있다.

그러한 시스템들은 일반적으로 치아가 이동함에 따라, 새로운 기기가 치아를 더 이동시키는데 구현될 수 있도록 순차적으로 사용될 수 있는 한 세트의 기기들로서 제공하기 위해서 가벼운 및/또는 투명한 물질들을 활용한다.

스캐닝 시스템은 그들의 현재 위치에서(즉, 스캔 시점에서) 환자의 치아를 나타내는 디지털 데이터를 획득하는데 사용될 수 있고, 여기에서는 초기의 치아 배열을 나타내는 초기 디지털 데이터 세트(IDDS)로 고려될 수 있을 것이다. IDDS는 다양한 방법들로 획득될 수 있다. 이것은 치아 기록들 또는 치료 목적들을 위해 사용될 수 있다.

예를 들면, 환자의 치아는, 직접 및/또는 간접 구조광(structured light), 엑스레이(X-rays), 3차원 엑스레이, 레이저(lasers), 파괴식 스캐닝 (destructive scanning), 컴퓨팅 장치를 이용한 단층 이미지들 또는 데이터 세트들, 자기 공명 이미지들, 구강내 스캐닝 기술(intra-oral scanning technology), 포토그래픽 재구성(photographic reconstruction), 및/또는, 다른 이미징 기법들을 이용하여, 디지털 데이터를 획득하도록 직접적으로 또는 간접적으로(예컨대, 모델(model) 또는 본(impression)의 사용을 통해서) 촬영될 수 있다. IDDS는 전체 구강 치아 배열, 구강의 모든 치아가 아닌 일부 치아, 및/또는 하나의 치아를 포함할 수 있다.

IDDS를 생성하기 위해서, 환자의 치아들 또는 치아의 양형의 모델(positive model) 및/또는 음각 본(negative impression)이, 예를 들면, 엑스레이, 레이저 스캐너, 파괴식 스캐너, 구조광, 및/또는 다른 거리 획득 시스템(range acquisition system)을 이용하여 스캔될 수 있다. 거리 획득 시스템에 의해 생성된 데이터 세트는, 여기에 개시된 바와 같이, 데이터 세트 내의 이미지들을 처리하는데 사용되는 소프트웨어와 호환되도록 다른 포맷들로 변환될 수 있다.

환자의 치아 상태(치열, dentition)를 직접적으로 스캐닝하든지, 환자의 치아 상태의 모델(model) 또는 본(impression)을 스캐닝하든지, 치아에 대해서 스캐너가 움직이는 동안 스캐닝을 지원하는 것이 바람직하다. 그러한 지원은 비디오 스캐닝(video scanning)(예: 연속적인 일련의 이미지들) 및 포인트-앤드-슛 스캐닝(point-and-shoot scanning)(예: 다수의 불연속적인(discrete) 이미지들) 양자에 도움이 될 수 있다.

포인트-앤드-슛 스캐닝으로, 사용자는 스캔을 시작(trigger)할 수 있다. 스캔이 시작된 이후에, 패스트 스캔(fast scan)과는 달리 슬로우 스캔(slow scan) 동안(예컨대, 스캔의 시작과 완료 사이의 시간 동안) 스캐너의 움직임에 의해 발생할 수 있는 스캔 내에서의 왜곡을 줄이기 위해서 패스트 스캔이 유리할 수 있다. 사용자는 (예컨대, 비디오 스캐닝 동안의 이동과는 반대로) 스캐너를 안정되게 유지하도록 노력하기 때문에, 포인트-앤드-슛 스캐닝과 관련된 이동은 (예컨대, 비디오 스캐닝 동안의 이동과 비교하여) 상대적으로 작다고 가정하는 것이 타당할 것이다.

슬로우 스캔은 스캔 동안 객체에 대하여 스캐너가 크게 이동할 수 있고, 스캔의 결과에서 움직임(예컨대, 모션 블러(motion blur))이 나타날 수 있다. 여기에서 사용된 바와 같이, 슬로우 스캔은 스캔 동안의 긴 노출을 나타내지 않는다. 오히려, 슬로우 스캔은 단일 3D 스캔 동안 다수의 단일 이미지들을 취하는데 상대적으로 긴 기간이 사용됨을 나타낼 수 있다. 따라서, 3D 스캔을 캡쳐하는데 상대적으로 긴 시간(예컨대, 250-400 msec(milliseconds))이 걸릴 수 있다. 각 이미지는 스스로 모션 블러를 겪거나 겪지 않을 수 있다. 그러나, 3D 스캔을 포함하는 스캔 동안의 움직임의 효과는 로우(raw) 이미지들 사이의 상대적인 위치가 알려져 있지 않아서, (예컨대, 이미지들 사이에 특정의 상대적인 위치를 가정할 수 있는 로우 이미지들의 분석으로 인하여) 기하 왜곡을 초래할 수 있다. 그러나, 더 빠른 스캔(예컨대, 50 msec)은 수행하기 더 어려울 수 있다(예컨대, 더 느린 스캔에 대해 더 비싼 및/또는 향상된 하드웨어를 요구할 수 있고, 및/또는, 더 많은 및/또는 더 빠른 연산 능력들을 요구할 수 있다). 다르게 알려지지 않으면, 용어 스캔은, 여기에 사용된 바와 같이, 비디오 스캐닝 및 포인트-앤드 슛 스캐닝 중 어느 하나 또는 양자를 나타낼 수 있다.

연속적인 스캐닝으로, 스캐너는 특정 시간 동안 특정 수의 스캔(예컨대, 초당 x 개의 스캔)을 자동적으로 취할 수 있다. 대략 초(sec)당 5 mm의 스캐너 속도를 가정하는 것이 타당할 수 있다. 그러나, 50 msec의 빠른 스캔으로도, 이것은 여전히 일부 구현 예들에서 250 미크론(micron)의 스캐너 드리프트(drift)를 포함할 수 있다. 따라서, 움직임 보상은 패스트 스캔인 비디오 스캐닝에도 이득이 될 수 있다.

여기에서 사용된 바와 같이, 움직임 검출은 스캐너가 객체에 대하여 크게 이동하였는지 여부의 판단을 나타낸다. 일부 실시 예들에서, 검출된 움직임을 갖는 스캔은 거부될 수 있다. 여기에 사용된 바와 같이, 움직임 보상은 스캐너의 움직임에 의해 발생된 스캔에서의 왜곡들에 대한 보정(correction)을 나타낸다. 움직임 보상의 예시로서 각 단일 스캔의 동안에 시간의 함수(예컨대, 각 스캔에 대한 시간의 함수)로서의 스캐너의 공간 궤적의 추정(예컨대, 스캐너가 공간에서 어떻게 움직이는지)을 포함할 수 있다. 그러한 정보는 스캔 내의 왜곡들을 보상하기 위해서 사용될 수 있다. 일부 실시 예들에서, 3D 스캔의 결과는 스캔된 객체(예: 환자의 치아 상태)를 나태는 포인트 클라우드(point cloud)일 수 있다. 움직임 보상은 스캔에서 발생되는 어떠한 왜곡들을 보정하기 위하여 포인트 클라우드에 적용될 수 있다.

움직임 보상에 일어날 수 있는 일부 문제들로는 복잡한 움직임이 있다(예컨대, 스캐너는 6 자유도(six degrees of freedom) 및/또는 불규칙한 속도로 움직일 수 있다). 이것은 특히 마찰 및/또는 충돌이 갑작스런 가속을 일으킬 수 있는 환자의 치아와 접촉할 수 있는 휴대용 스캐너에 해당된다. 다른 문제들로는 스캔 동안의 환자의 턱의 움직임이 있다. 본 개시의 일부 실시 예들은 스캐너의 이동의 측정을 돕기 위해서 스캐너에서 위치 추적 장치들(예: 다른 관성(inertial) 장치들 중 가속도계(accelerometer) 및/또는 자이로스코프(gyroscope), 무선 장치들, 또는 다른 장치들)의 사용을 포함하는데, 그러나 그러한 장치들은 환자의 턱의 움직임을 고려할 수 없다. 또 다른 문제로는 치아에 대한 스캐너의 움직임을 산출하기 위한 일부 광학적인 방법들에 혼란을 줄 수 있는 환자의 부드러운 조직(예: 혀, 입술, 뺨)의 움직임을 포함할 수 있다.

본 개시는 3차원 스캔에서 움직임 보상을 위한 컴퓨팅 장치로 실행되는 방법들, 컴퓨팅 장치로 판독 가능한 기록 매체, 및 시스템들을 제공한다. 움직임 보상은 치아 상태(dentition)의 3차원(3D) 스캔을 수신하는 단계, 하나의 스캔에서부터 다른 스캔까지의 움직임 궤적을 추정하는 단계, 및 움직임 궤적을 보상함으로써 보정된 스캔을 산출하는 단계를 포함할 수 있다. 움직임 궤적의 추정하는 단계는, 하나의 스캔을 다른 스캔에 정합(registration)하고, 스캔 사이의 이동량이 정합 임계치(registration threshold) 이내인지 여부를 결정하는 단계; 스캔 동안에 취한 연속하는 2차원(2D) 이미지들 사이에서 초점 움직임에 기초하여 광 흐름을 결정하고, 광 흐름을 사용하여 스캔 내의 점의 움직임 궤적을 추정하고 개선시키는 단계; 및 위치 추적 장치로부터의 입력에 기초하여 강체 변환(rigid body transformation)으로서 스캔 동안에 3D 스캔의 움직임의 양을 추정하는 단계 중 하나 이상을 포함할 수 있다.

일부 실시 예들에서는, 움직임 보상은 제1 기준 프레임에서 3D 스캐너로 취한 치아 상태의 3D 스캔으로부터 제1 데이터를 수신하는 단계, 및 제1 기준 프레임에 대하여 고정된 제2 기준 프레임에서 2차원 영상 장치(imager)로 치아 상태의 3D 스캔 동안 취한 치아 상태의 2차원(2D)이미지들로부터 제2 데이터를 수신하는 단계-2D 이미지들 각각은 3D 스캔에서 각각의 시간과 관련됨-를 포함할 수 있다. 움직임 보상은 2D 이미지들 중 연속하는 이미지들 사이의 로컬(local) 움직임에 기초하여 광 흐름을 결정하는 단계, 3D 스캔에서 점(point)의 움직임 궤적을 추정하는 단계, 및 추정된 움직임 궤적의 보정을 추정하기 위해서 광 흐름을 이용하여 추정된 움직임 궤적을 개선하는 단계를 포함할 수 있다. 움직임은 개선된 추정된 움직임 궤적을 이용하여 3D 스캔 동안 보상될 수 있다.

복수의 실시 예들에서, 움직임 보상을 위한 시스템은 구강내 3D 스캐너를 포함하는 스캐닝 모듈 및 3D 스캐너에 연결된 적어도 하나의 위치 추적 장치를 포함할 수 있다. 시스템은 또한 스캐닝 모듈에 연결되어, 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 강체 변환으로서 3D 스캔 동안 3D 스캐너의 움직임의 양을 추정하고, 3D 스캔을 포함하는 복수의 점들에 강체 변환의 역을 적용함으로써 움직임의 양을 보상하는 프로세싱 모듈을 포함할 수 있다.

본 발명의 다양한 실시 예에 따르면, 3D 스캔에서 시간에 의존하는 점의 강체 변환을 이용함으로써 3D 스캔에서 점의 움직임 궤적을 추정하고, 이를 통해, 움직임의 양을 보상할 수 있다. 따라서, 스캔 동안 객체에 대한 스캐너의 움직임으로 인한 스캔의 결과에서의 모션 블러와 같은 움직임이나 기하 왜곡을 방지할 수 있다. 이 외에도 다양한 효과들이 있을 수 있다.

도 1a 내지 1b는 본 개시의 다수의 실시 예들에 따른 구강내 스캐너의 다른 관점의 시야들을 도시한다.
도 2는 본 개시의 다수의 실시 예에 따라 스캔되는 객체에 대한 스캐너의 움직임을 도시하는 다이어그램이다.
도 3은 본 개시의 다수의 실시 예에 따른 스캐너를 도시하는 다이어그램을 도시한다.
도 4는 본 개시의 다수의 실시 예에 따른 3D 및 2D 데이터를 이용한 움직임 보상을 위한 방법을 도시하는 흐름도이다.
도 5는 본 개시의 다수의 실시 예에 따른 3D 데이터를 이용한 움직임 보상을 위한 방법을 도시하는 흐름도이다.
도 6은 본 개시의 다수의 실시 예에 따른 3D 스캔에서의 움직임 보상을 위한 시스템을 도시한다.

본 개시의 상세한 설명에서는, 이 문서의 일부를 구성하는 첨부된 도면들을 참조하여, 상기 도면들에서, 실례로서, 본 개시의 하나 이상의 실시 예들이 어떻게 실시될 수 있는지를 나타낸다. 이러한 실시 예들은 본 기술 분야의 통상의 기술을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록 충분히 상세하게 기재되어 있으며, 다른 실시 예들이 활용될 수 있음과, 본 개시의 범위를 벗어나지 않으면서 프로세스, 전기적, 및/또는 구조적인 변형들이 이루어질 수 있음을 이해할 수 있다. 여기에 사용된 바와 같이, 지시자 "N"은, 특별히 도면들에서의 참조 번호들에 대해서, 그렇게 지정된 다수의 특정한 특징들이 포함될 수 있음을 나타낸다. 여기에 사용된 바와 같이, 특정한 것의 "복수의"는 하나 이상의 그러한 것들을 나타낼 수 있다(예: 복수의 치아는 하나 이상의 치아를 나타낼 수 있다).

여기에 포함된 도면들은, 첫번째 자리 또는 자리들은 도면 숫자 번호에 해당하고, 나머지 자리들은 도면에서 구성 요소 또는 부품을 식별하는, 일반적인 넘버링을 따른다. 다른 도면들 사이에서 유사한 구성 요소들 또는 부품들은 유사한 숫자들의 사용으로 식별될 수 있다. 예를 들면, 104는 도 1에서 구성 요소 "04"를 참조할 수 있고, 도 2에서 유사한 구성 요소는 204로 참조될 수 있다. 이해될 수 있는 바와 같이, 본 개시의 많은 부가적인 실시 예들을 제공하도록 여기에 포함된 다양한 실시 예들에 나타낸 구성 요소들은 부가되고, 변경되고, 및/또는 제거될 수 있다. 또한, 이해될 수 있는 바와 같이, 도면에 제공된 구성 요소들의 비율과 상대적인 크기는 본 개시의 특정한 실시 예들을 설명하려는 의도이고, 한정의 의미로 이해되어서는 안될 것이다.

도 1a 내지 1b는 본 개시의 복수의 실시 예들에 따른 구강내 스캐너의 다른 관점의 시야들을 도시한다. 구강(intraoral cavity) 내의 치아 상태(104)에 대한 스캐너(106)의 공간 관계가 도시된다. 임의의 원하는 시점(시야)에서의 관계를 나타내는 복수의 이미지들이 디스플레이 상에 제공될 수 있다.

디스플레이 상에서 사용자에게 표시되는 이미지들은 스캐너(160)의 도움으로 생성되고 메모리(예를 들면, 도 7을 참조한다)에 저장된 것과 같은 치아 상태(104)의 가상의 모델들의 혼합일 수 있다. 이들 가상의 모델들은 가상의 공간에서 올바른 공간 관계를 제공하기 위해서 사용자 및/또는 컴퓨팅 장치에 의해서 조정될 수 있고, 2D 또는 3D 이미지들로 표시될 수 있다. 선택적으로, 스캐너(106)의 위치 및 스캐닝 축(예: z-축)의 방향은 치아 상태(104)에 대하여 표시될 수 있다. 스캐닝 축(예: z-축)은 스캐너(106)의 스캐닝 면(108)에 직교하도록 정의될 수 있지만, 스캐너(106)의 다른 적절한 기하 또는 다른 파라미터들에 따라 정의될 수도 있다. 치아 상태(104)의 이미지들은 3D 속성들 및 실제 치아 형태들(morphologies)을 가지는 것으로 표시될 수 있고, 및/또는, 각 치아 표면은, 예를 들면, 기하 형태(예: 앞니(incisor)들을 나타내는 단순한 웨지(wedge)들, 송곳니(canine)들을 나타내는 원뿔들, 어금니(molar)들을 나타내는 원통들)에 의해 표현될 수 있다.

가상의 모델은 실제 물질(preparation)이 발견되는 각 상응하는 치아 위치에서 가상의 물질(preparation)을 나타내기 위해서, 사용자에 의해 수정이 될 수 있다. 가상의 치아는 실제 구강 내에서 아무것도 발견되지 않는 곳(예: IDDS의 획득의 이후에 실제 치아가 제거되었던 곳)에서 모델로부터 제거될 수 있다. 이러한 특징들은 또한 치아 상태(104)에 대하여 스캐너(106)의 위치들과 방향들의 식별을 용이하게 할 수 있다.

도 2는 본 개시의 다수의 실시 예에 따라 스캔되는 객체(210)에 대한 스캐너(206)의 움직임을 도시하는 다이어그램이다. 스캐닝의 결과(예컨대, 스캔된 데이터의 일부 프로세싱 이후)는 점(x, y, z, t)들의 집합이고, 여기서 t는 초점의 시간, x, y, 및 z는 시간 t에서 스캐너(206)의 좌표 시스템에 대한 3D 좌표들이다. 달리 캡쳐되지 않는다면 스캐너(206)에 의해 캡쳐될 수 있는 데이터는 스캐닝 동안 스캐너(206)의 모션 드리프트(motion drift)로 인해 소실될 수 있다. 예를 들면, 특정 각도를 넘는 벽들이 스캐너(206)에 보이지 않을 수 있고, 및/또는, 수직 벽들 근처의 영역들이 보이지 않을 수 있다.

스캐너(206)의 일정한 횡방향 속도(lateral speed)(v)를 가정하고, 스캐닝의 일정한 속도를

로 가정할 때, α는 드리프트 각(예컨대, 도(degree) 단위)이고, Δz는 스캐너(206)와 객체(210) 사이의 거리(예컨대, mm 단위)이고, v는 스캐너(206)의 속도(예컨대, mm/sec 단위)이고, 그리고 Δt는 스캔의 지속 시간(예컨대, msec 단위)이다. 다음의 표 1은 Δz=15mm에 대한 일부 예시적인 드리프트 각을 포함한다.

소실된 데이터(예컨대, 상술된 드리프트 각으로 인하여)는

와 같이 정의될 수 있고, 여기서 Δx는 소실된 부분의 너비(예컨대, 미크론 단위)이고, 그리고 Δh는 소실된 부분의 높이(예컨대, mm 단위)이다. 다음의 표 2는 Δz=15mm 및 Δh=10mm에 대한 소실된 데이터의 양의 일부 예시를 포함한다.

스캐닝 기술에서의 불완전함과 일반적인 광선 기하의 가정으로 인하여, 스캔은 텔레센트릭(telecentric) 특성(예컨대, z 축에 평행하게 스캐너(206)에 입사하는 광선들을 가짐)을 가지지 않을 수 있고, 초점 표면이 반드시 평면인 것은 아니며(예컨대, 평평한 표면은 커브로 나타날 수 있고, 및/또는, 초점 표면으로서의 이미지 내에 표현된 평평하지 않은 객체(210)는 (원래는 평면 내에 표현되었을 것이나), 평면 내에 표현되지 않을 수 있다), 스캔은 임의적인 스캐닝 패턴들을 포함할 수 있다(예컨대, z축은 스캔 동안 객체에 대하여 일관되지 않을 수 있고, 즉, 스캐너(206)는 스캔 동안 지속적으로 객체(210)를 직접적으로 포인팅하지 않을 수 있다). 이것은 다른 왜곡들 중에서, 있어서는 안되는 보우(bow) 및/또는 커브로 나타나는 왜곡된 이미지를 생성할 수 있다. 예를 들면, 사각형은, 아마도 커브의 측면을 갖는 평행 사변형으로 나타날 수 있다.

본 개시의 다양한 실시 예들에 따르면, 움직임 추정은 정합 결과에 기초한 근사화(approximation), 광 흐름을 이용한 이미지 프로세싱, 스캐너(206)를 갖는 위치 추적 장치의 사용, 스캐너(206)와 복수의 무선 전송기들 사이의 차동 신호(differential signaling), 및/또는, 어떤 다른 움직임 추정/위치 추적 기술의 사용 중 어느 하나, 또는 어떠한 조합을 포함할 수 있다. 정합 결과의 사용은 치아에 대한 움직임을 측정할 수 있는데, 이는 상대적으로 연산하기 쉬우며, 일반적으로 부드러운 조직에 의해 혼란되지 않지만, 단순화된 움직임 궤적의 추정으로 인하여 부정확함을 가질 수 있고, 스캐닝 속도(rate)에 기초하여 제한된 성능을 가질 수 있다. 광 흐름을 이용한 이미지 프로세싱의 사용은 치아에 대해서 움직임을 측정할 수 있고, 상대적으로 높은 정확성을 가질 수 있지만, 연산적으로 집약적일 수 있고, 부드러운 조직에 의해 혼동될 수 있다. 위치 추적 장치의 사용은 상대적으로 연산이 쉽지만, 중력에 의해 혼동될 수 있고, 환자 움직임과 무관할 수 있다.

도 3은 본 개시의 다수의 실시 예에 따른 스캐너(306)를 도시하는 다이어그램을 도시한다. 예를 들면, 스캐너(306)는 휴대용 구강 스캐너일 수 있다. 스캐너(306)는 3D 스캐너(312)를 포함할 수 있다. 일례로, 3D 스캐너(312)는, 당해 기술 분야에서 통상의 기술을 가진 자에 의해 이해될 수 있는 바와 같이, 광 빔들의 어레이의 공초점(confocal)의 포커싱에 의해 3D 구조를 결정할 수 있다. 스캐너(306)는 3D 스캐너(312)만 포함할 수 있거나, 하나 이상의 2D 영상 장치(314) 및 위치 추적 장치(320-1, … , 320-N)와 결합된 3D 스캐너를 포함할 수 있다. 위치 추적 장치(320-1, … , 320-N)는, 예를 들면, 다른 것들 중에서 가속도계(예컨대, 스캐너(306)의 가속도를 측정하기 위해서) 및 자이로스코프(예컨대, 스캐너(306)의 각 속도를 측정하기 위해서)를 포함할 수 있다. 구체적으로 설명하고 있지 않지만, 스캐너(306)는 컴퓨팅 장치(예컨대, 도 7에 도시된 바와 같이 프로세서와 메모리를 포함하는)를 포함하거나 그것에 연결될 수 있다.

2D 영상 장치(314)는 디지털 카메라와 유사할 수 있다. 2D 영상 장치(314)는 3D 스캐너(312)가 객체를 스캐닝하는 동안, 객체의 이산된 이미지들을 연속적으로 캡쳐하도록 구성될 수 있다. 2D 영상 장치(312)는 스캐너(306)의 임의의 움직임이 2D 영상 장치(312) 및 3D 스캐너(312)에 동일하게 영향을 미치도록 3D 스캐너(312)에 대하여 고정될 수 있다(예컨대, 2D 영상 장치(312)의 기준 프레임은 3D 스캐너의 기준 프레임에 대하여 고정될 수 있다). 또한, 2D 영상 장치(312)는 3D 스캐너(312)에 대하여 중심축이 같지 않을 수 있다(예컨대, z 축에 따른 움직임에 대한 감도를 향상시키기 위해서).

도 3에 도시된 바와 같이, 스캐너(306)가 스캔 동안 움직이고 있기 때문에, 3D 스캐너(312)로부터의 광(318)의 단일 빔의 초점의 위치는 수직이 아니다. 스캐너(306)는 궤적(322)을 따라 움직여, 스캐너(306)에서, 3D 스캔의 캡쳐의 시간(예: Δt) 동안, 초점 평면은 특정 거리(예: Δz)를 이동할 수 있다. 3D 스캐닝의 결과(예컨대, 스캔된 데이터의 일부 프로세싱 이후)는 점들(316)의 집합일 수 있다. 일부 예시들에서, 궤적(322)의 재현은 일정 속도 궤적(constant-speed trajectory)으로 제한될 수 있다.

일부의 실시 예들에서, 3D 스캐너(312)의 움직임은 위치 추적 장치(320-1, … , 320-N)로부터의 입력과 2D 영상 장치(314)로부터의 입력에만 기초하여(예컨대, 3D 스캐너(312)로부터의 입력의 사용 없이) 추적될 수 있다. 그와 같은 움직임 추적은 환자의 턱이 그 방향을 변경하지 않는다는 가정에 기초한 것일 수 있다. 위치 추적 장치(320-1, … , 320-N)는 3D 스캐너(312)의 방향의(예컨대, 3 자유도 내에서의) 변경을 나타내는 정보를 제공할 수 있다. 2D 이미지들의 분석은 다른 3 자유도 내에서의 방향의 변경을 나타내는 정보를 제공할 수 있다.

다양한 실시 예들에서, 3D 스캐너(312)의 속도는 위치 추적 장치(320-1, … , 320-N)로부터의 입력에 기초하여 추정될 수 있다. 3D 스캐너가 움직이지 않음을 나타내는 2D 영상 장치(314)로부터의 입력에 대응하여 추정된 속도는 0으로 리셋될 수 있다. 예를 들면, 3D 스캐너가 움직이지 않음을 나타내는 복수의 2D 이미지들을 포함하는 2D 영상 장치로부터의 입력에 대응하여 추정된 속도는 6 자유도 내에서 0으로 리셋될 수 있다. 그러한 실시 예들은 큰 에러(error) 드리프트들을 피하는데 유리할 수 있다. 가끔 사용자가 스캐너(360)를 안정되게 유지하는 경우, 2D 이미지들은 스캐너(306)가 언제 안정된 위치에 유지되는지를 판단하는데 사용될 수 있다.

도 4는 본 개시의 다수의 실시 예에 따른 3D 및 2D 데이터를 이용한 움직임 보상을 위한 방법을 도시하는 흐름도이다. 스캔(424)이 시작될 수 있다. 이미지 프로세싱 알고리즘에의 제1 입력은 제1 기준 프레임에서 3D 스캐너로 취한 치아 상태의 3D 스캔(428)으로부터의 데이터일 수 있다(예컨대, 3D 스캐너에 의해 수집된 데이터의 일부 초기 프로세싱의 결과인 높이 맵). 일부 실시 예들에서, 3D 데이터는 z 방향으로 공초점 스캔으로부터 생성될 수 있다.

이미지 프로세싱 알고리즘에의 제2 입력은 제1 기준 프레임에 대하여 고정된 제2 기준 프레임에서 치아 상태의 3D 스캔 동안 2D 영상 장치(예: 보조 카메라)로 찍은 치아 상태의 복수의 2D 이미지들(426)(예: 비디오 시퀀스)일 수 있다. 일부 실시 예들에서는, 2D 영상 장치는 스캐닝의 전체 깊이에 걸쳐 동일하거나 거의 동일한 질의 움직임 추정을 제공하도록 도울 수 있는, 높은 피사계 심도(depth of field) 가질 수 있다. 일부 실시 예들에서는, 제2 기준 프레임은 z축에 따른 움직임에 대한 개선된 감도를 위하여 비텔레센트릭(non-telecentric) 할 수 있다. 2D 이미지들의 각각은 3D 스캔에서 각자의 시간과 관련될 수 있다(예컨대, 2D 이미지들의 각각은 3D 스캔의 지속 동안 캡쳐될 수 있고, 타임 스탬프될 수 있다).

일부 실시 예들에서, 휴리스틱(heuristic)이 3D 스캔에서 어느 점들이 복수의 2D 이미지들 중 특정한 하나에 보이는지를 결정하는 데 사용될 수 있다(예컨대, 광 흐름을 결정하기 이전에). 특정 시간에 3D 점이 차폐되면, 그 경로에 따른 광 흐름을 체크하는 것은 부정확한 결과로 이어질 수 있다. 따라서, 차폐되고, 및/또는, 각 2D 이미지에서 시야를 벗어난 3D 점들이 분석으로부터 배제될 수 있다.

3D 스캐닝(430)의 결과(예컨대, 스캔된 데이터의 일부 프로세싱 이후)는 점(x, y, z, t)들의 집합일 수 있고, 여기서 t는 초점의 시간, x, y, 및 z는 시간 t에서 3D 스캐너의 좌표 시스템에 대한 3D 좌표들이다. 2D 이미지는 (i, j, t) 좌표들을 갖는 다수의 픽셀들을 포함할 수 있고, 여기서 i 및 j는 2D 영상 장치의 센서 상의 픽셀의 좌표들이고, t는 2D 이미지가 찍힌 3D 스캔에서의 시간에 대응한다. 좌표들 x, y, 및 z는 (i, j, t)로부터 산출될 수 있으며, i 및 j는 스캐너의 센서 상의 픽셀의 인덱스들이다. 일부 실시 예들에서, (i, j, t)에서 (x, y, z)로의 맵핑은 일정한 기하 왜곡을 고려하는 3D에서 3D로의 일정한 맵핑일 수 있지만, 스캐너가 움직이지 않는 것으로 가정될 수 있다. 3D 스캐너의 좌표 시스템 내의 점(x, y, z)는 2D 영상 장치의 픽셀 좌표(i, j)에 맵핑될 수 있다. 시간(t)는 공초점 시스템에서와 같이 z에 반드시 비례하지 않는다. 예를 들면, 스캔은 x 축을 천천히 움직이는 것에 의해 이루어질 수 있고, t는 x에 비례할 수 있을 것이다. 공초점 이미징(confocal imaging)을 사용하는 일부 실시 예들에서, t는 z에 비례할 수 있다.

광 흐름은 연속하는 2D 이미지들 사이의 로컬 움직임에 기초하여 결정될 수 있다. 광 흐름은 시퀀스 내의 2 개의 연속하는 이미지들 사이의 이미지의 각 영역에서 로컬 움직임의 관찰이다. 광 흐름은 2개의 연속하는 이미지들 내에서 점의 위치의 변경에 기초하여, 그리고 2 개의 연속하는 이미지들 사이의 시간의 변경에 기초하여 2 개의 연속하는 이미지들 사이의 로컬 움직임을 산출하는 것에 의해 결정될 수 있다. 일부 실시 예들에서, 로컬 움직임은 점의 위치에서의 변경에 기초하여 2D 모션 벡터로 산출될 수 있다.

예를 들면, 연속하는 시간에서의 2 개의 이미지들, I(t) 및 I(t+dt)가 주어질 때, dx 및 dy는 I(i, j, t)=I(i+dx, j+dy, t+dt)로 될 수 있다. vx 및 vy는 2D 속도의 구성요소들이고, dx=dt*vx, dy=dt*vy일 때, I(i, j, t)=I(i+dt*vx, j+dt*vy, t+dt)가 된다. 2D 모션 벡터가 이미지에 걸쳐 변하고, 시간에 따라 변할 수 있기 때문에, 구성요소 vx 및 vy는 i, j, t에 의존할 수 있다. 테일러 전개식(Taylor expansion)을 이용하면, I(i+dt*vx, j+dt*vy, t+dt)=I(i, j, t)+ dt*vx*dl/dx + dt*vy*dl/dy + dt*dl/dt=I(x, y, t)이다. 그러므로, 광 흐름 방정식은 O(vx, vy, i, j, t)=vx*dl/dx+vy*dl/dy+dl/dt=0일 수 있다.

3D 스캔에서 점의 움직임 궤적(432)이 추정될 수 있다. 예를 들면, 알고리즘은 3D 데이터가 주어진 비디오 시퀀스의 광 흐름을 가장 잘 설명하는 움직임 궤적을 구할 수 있다. 움직임 궤적을 추정하는 것은 3D 스캔에서 시간에 의존하는 점의 강체 변환을 이용하는 것을 포함할 수 있다. 예를 들면, 강체 변환을 점에 적용하는 것은 상기 점을 3D 스캔 내의 기준 시간에서의 좌표 시스템으로부터 3D 스캔 내의 점의 기록된 시간(예: 시간 t)에서의 좌표 시스템으로 맵핑시키는 것으로 정의될 수 있다. 기준 시간의 비제한적인 예시들은 스캔 동안의 다른 시간들 중 시간 0(예컨대, 스캔의 초기 시간)과 스캔의 종료 시간, 및 스캔의 중간 시간을 포함할 수 있다. 스캐너의 좌표 시스템은 궤적 T(t)를 따라 이동하는 것으로, 여기서 T(t)는 스캔 내의 기록된 시간(예: 시간 t)에서의 (x, y, z)를 스캔 내의 기준 시간(예: 시간 0, 초기 시간)에서의 (x, y, z)에 맵핑시키는 강체 변환이다. 즉, 시간 t에 스캐너의 좌표 시스템 내의 점(x, y, z)는 시간 t=0에서 스캐너의 좌표 시스템 내의 점 T(t)*(x, y, z)로 표현될 수 있다. 점(x1, y1, z1, t1)은 (T(t0))*T(t1)의 역을 적용함으로써 시간 t0에서 좌표 시스템에 맵핑될 수 있다. 움직임 추정의 목적은 T(t)를 근사화하는 것일 수 있다. 움직임 보상(434)은 점(x, y, z, t)들에 T(t)의 적용으로 수행될 수 있다.

움직임 궤적을 추정하는 것은, 초기의 추측으로서, 광 흐름에만 기초하여(예컨대, 스캔 데이터를 고려하는 것 없이) 전역 속도 벡터(global velocity vector)(예컨대, 2D 영상 장치의 각 연속하는 이미지 I(t), I(t+dt)에 대한 (vx, vy))를 추정하는 것과, 전역 속도 벡터를 횡(lateral) 움직임 궤적(예: T(t))에 맵핑하는 것을 포함할 수 있는데, 여기서 횡 움직임 궤적은 추정된 움직임 궤적이다. 일부 실시 예들에서, 위치 추적 장치(예: 가속도계)는 초기의 추측을 강화하기 위한 정보를 제공하기 위해서 부가적인 입력 소스(source)로서 사용될 수 있다. 일부 실시 예들에서, 수동의 및/또는 균일한 빛이 2D 영상 장치에 대해 가정될 수 있고, 및/또는, 2D 영상 장치는 높이 맵의 좌표들에 대해서 캘리브레이션될 수 있다.

추정된 움직임 궤적은 추정된 움직임 궤적의 보정을 추정하기 위해서 광 흐름을 이용하여 개선될 수 있다. 스캔 데이터 내의 각 점(x1, y1, z1, t1)에 대해, 움직임 궤적은 시간 t에서 스캐너의 좌표 시스템 내의 그것의 위치(x(t), y(t), z(t), t)를 찾는데 사용될 수 있다. 예를 들면, 목적 함수(objective function)는 비디오 시퀀스 내의 광 흐름에 따라 주어진 움직임 궤적의 보정을 평가하는 것으로 정의될 수 있다. 3D 데이터는 점들을 비디오 시퀀스 내의 2D 경로들에 맵핑시키는데 사용될 수 있다. 일부 실시 예들에서, 초기의 추측으로서, 움직임이 없다거나 단순한 움직임 궤적이 사용될 수 있는다는 가정이 이루어질 수 있다.

일부 실시 예들에서는, 추정된 움직임 궤적의 보정을 추정하는 것은 점에 대한 2D 궤적을 생성하도록 점을 3D 스캔의 좌표 시스템으로부터 2D 스캔의 좌표 시스템으로 맵핑하는 것을 포함할 수 있다. 생성된 2D 궤적(예: (i(t), j(t), t))은 점의 다수의 속도 요소들(예: vx(t), vy(t))을 결정하도록 미분(differentiated)될 수 있다. 2D 궤적 및 다수의 속도 요소들은 광 흐름(예: 모든 t에 대해 O(vx(t), vy(t), i(t), j(t), t)=0)에 적용될 수 있다. 추정된 움직임 궤적은 적용된 2D 궤적 및 다수의 속도 요소들을 갖는 광 흐름에 기초하여 부정확한 궤적들을 제재하는(예컨대, 3D 스캔 내의 각 점에서) 목적 함수를 최소화함으로써 개선될 수 있다. 적용된 2D 궤적 및 다수의 속도 요소들을 갖는 광 흐름의 제곱들의 합이 3D 스캔에서의 기준 시간과 3D 스캔 내의 점의 기록된 시간 사이에서 산출될 수 있다(예컨대, 모든 점들(x1, y1, z1, t1) 및 모든 시간 t에서의 O(vx(t), vy(t), i(t), j(t), t)). 적용된 2D 궤적 및 다수의 속도 요소들을 갖는 광 흐름의 제곱들의 합은 추정된 움직임 궤적을 개선하기 위해서 최소화될 수 있다(예컨대, 전체 점들(x1, y1, z1, t1) 및 모든 시간 t에서의 합(O(vx(t), vy(t), i(t), j(t), t)^2)을 최소화한다).

일부 실시 예들에서는, 2D 궤적은 예기치 않은 움직임 패턴들, 갑작스런 점프(jump)들, 및/또는, 불연속들과 같은 부정확한 궤적들을 제재하기 위해서, 그리고 수치상 절차(numerical procedure)를 안정시키기 위해서 정규화될 수 있다. 2D 궤적은 다수의 속도 요소들을 특정 범위의 속도들 내로 제한하기 위해서 정규화될 수 있다. 그러한 범위는 그것을 합리적인 범위로 제한하고, 연속하는 변환 T(t)와 T(t+dt) 사이의 갑작스런 "점프들"을 제재하고, 및/또는, 수치상 절차의 안정성을 증가시키는 움직임 궤적에 관한 선험적인 지식에 기초할 수 있다. 예를 들면, 정규화는 모든 t에서의 스캔 데이터 내의 모든 점들(x1, y1, z1, t1)에서

을 최소화하는 것일 수 있다.

개선된 추정된 움직임 궤적은 3D 스캔 동안 움직임을 보상하는데 사용될 수 있다. 예를 들면, 3D 스캔 동안 움직임을 보상하는 것은 점을 3D 스캔 내의 기록된 시간(예: 시간 t)으로부터 3D 스캔 내의 기준 시간(예: 시간 0, 초기 시간)으로 맵핑하기 위해서 강체 변환의 역을 3D 스캔 내의 점에 적용하는 것을 포함할 수 있다. 즉, T(t)가 주어지면, 3D 스캔 데이터는 시간 t에서의 스캐너의 좌표 시스템에서 시간 0에서의 스캐너의 좌표 시스템으로 각 점(x, y, z, t)을 가져오기 위해서 T(t)를 각 점(x, y, z, t)에 적용함으로써 보정될 수 있다.

다양한 실시 예들에서, 움직임 보상 기능은 2D 영상 장치만을 이용하여 테스트될 수 있다(예컨대, 3D 스캐너가 기능하지 않는 경우). 특별한 테스트 객체는 스캐닝을 위해 가시적인 기점의 표시(fiducial marking)들이 준비될 수 있고, 그리고, 표시들이 디지털화될 수 있다.. 2D 영상 장치는 일부 좌표 시스템 에서 (x, y, z) 좌표들 및 이미지 좌표들(i, j) 사이의 관계들을 구하기 위해서 캘리브레이션 될 수 있다. 이미지 시퀀스는 카메라가 수동으로 객체 위를 이동하는 동안 캡쳐될 수 있다. 움직임 궤적은 시퀀스 내의 각 이미지에 대해 이미지 내의 표시를 검출하고 카메라 캘리브레이션에 기초하여 객체에 대하여 카메라의 위치를 연산함으로써, 시퀀스로부터 연산될 수 있다. z 방향으로 스캐닝의 특정 패턴을 가정하여, 움직임 궤적으로부터, 높이 맵이 산출될 수 있다. 이로부터, 높이 맵과 이미지 시퀀스는 이전에 기술된 알고리즘에 반영될 수 있고, 결과는 산출된 움직임 궤적에 대하여 테스트될 수 있다.

도 5는 본 개시의 다수의 실시 예에 따른 3D 데이터를 이용하여 움직임 보상을 위한 방법을 도시하는 흐름도이다. 다수의 연속적인 3D 스캔은 움직임 보상을 위해 사용될 수 있다. 3D 스캔의 시퀀스(536)가 얻어질 수 있다(예컨대, 초당 적어도 10개의 3D 스캔의 속도로). 예를 들면, 3D 스캔은 환자의 치아 상태의 3D 구강내 스캔일 수 있다. 3D 스캔은 저장(538)될 수 있고 왜곡된 스캔(540)(예: S(n))은 이전의(previous) 스캔(바로 이전의 스캔 S(n-1)) 및/또는 그 다음의(subsequent) 스캔(바로 그 다음의 스캔 S(n+1))에 정합될 수 있다. 다수의 실시 예들에서, 왜곡된 스캔은 복수의 이전의 3D 스캔 및/또는 복수의 그 다음의 3D 스캔에 정합될 수 있다. 일부 실시 예들에서, 다수의 왜곡된 스캔이 있을 수 있다(예: 매 스캔마다). 따라서, 정합 결과의 사용의 설명에 대하여 용어 "왜곡된 스캔"은 단지 움직임 보상을 위해 이전의 스캔 및 그 다음의 스캔에 따라 사용될 수 있는 특정 스캔을 식별한다. 다양한 실시 예들에서, 그 다음의 또는 이전의 스캔은 왜곡되지 않을 수 있고, 이것은 왜곡되지 않은 스캔에 왜곡된 스캔을 정합함으로써, 왜곡된 스캔의 보정을 향상시킬 수 있다.

일부 실시 예들에서, 정합은 왜곡된 스캔에 대해서 이전의 스캔을 정렬하는 것 및/또는 왜곡된 스캔에 대해서 그 다음의 스캔을 정렬하는 것, 그리고, 각각의 정렬에 기초하여 왜곡된 스캔에 대해서 이전의 스캔의 중복되는 부분을 결정하는 것 및/또는 왜곡된 스캔에 대하여 그 다음의 스캔의 중복되는 부분을 결정하는 것을 포함할 수 있다. 표면들 사이의 비교에 기초하여 결정된 중복의 정확성은 스캔되는 객체의 형태에 의존할 수 있다. 예를 들면, 제1 스캔 및 제2 스캔 양자에 공통되는 증가된 수의 z 높이들은 스캔 표면들의 비교에 적어도 부분적으로 기초하여 산출된 움직임 추정을 향상시킬 수 있다.

두 개의 다른 스캔을 정렬하는 것은 이전의 스캔(예: S(n-1))을 왜곡된 스캔(예: S(n))에 정렬하기 위한 이전의 스캔에 대한 강체 변환(예: R(n-1:n)) 및/또는 그 다음의 스캔(예: S(n+1))을 왜곡된 스캔(예: S(n))에 정렬하기 위한 그 다음의 스캔에 대한 강체 변환(예: R(n+1:n))의 사용을 포함할 수 있다. 강체 변환은 6 자유도 변환이다. 이동량은 각각의 중복되는 부분에 기초하여, 및/또는, 각각의 중복되지 않는 부분에 기초하여 이전의 스캔과 왜곡된 스캔 사이, 및/또는, 왜곡된 스캔과 그 다음의 스캔 사이에서 결정될 수 있다.

이전의 스캔, 왜곡된 스캔, 및 그 다음의 스캔 사이의 이동량이 정합 임계치 이내인지 여부에 대한 결정(544)이 이루어질 수 있다(예컨대, 각각의 중복된 부분에 기초하여, 및/또는, 각각의 중복되지 않는 부분에 기초하여). 이동량이 임계치 이내가 아니면(예컨대, 스캔 동안 스캐너가 너무 많이 이동한 경우), 왜곡된 스캔은 제거(546)될 수 있다. 이동량이 정합 임계치 이내이면, 정합에 기초하여 이전 스캔으로부터 그 다음의 스캔까지의 제1 움직임 궤적(548)이 추정될 수 있다(예: S(n-1)에서 S(n+1)까지의 T(n-1:n+1)). 정합은 이전의 스캔, 왜곡된 스캔, 및 그 다음의 스캔 동안 상대적인 위치들의 정보를 제공하기 위해서 사용될 수 있다.

정합 결과는 한정된 수의 시간 (t...i)에서 궤적 T(t...i)의 스냅샷들을 나타낼 수 있고, 움직임 궤적은 보간 방법에 의해 그러한 스냅샷들로부터 연산될 수 있다. 점(t...i)들의 수 및 보간 방법은 다양할 수 있다. 일부 실시 예들에서, 제1 움직임 궤적이 복수의 3D 스캔에 걸친 전반적인 움직임 궤적의 스냅샷일 수 있다. 복수의 스냅샷들-각각은 복수의 3D 스캔 중 각각의 정합된 하나의 스캔과 관련됨-에 기초하여 전반적인 움직임 궤적이 산출될 수 있다.

제2 움직임 궤적(550)이 왜곡된 스캔의 스캐닝 시간 동안 추정될 수 있다. 제2 움직임 궤적은 S(n) 동안 제1 움직임 궤적(예: T(n-1:n+1))의 세그먼트일 수 있다. 제2 움직임 궤적은 정합 임계치 이내인 이동량에 대응하여 추정될 수 있다.

일부 실시 예들에서, 정합은 이전의 스캔의 스캐닝 시간의 도중에 시간축 상의 제1 점을, 이전의 스캔을 왜곡된 스캔에 정렬시키는 이전의 스캔의 강체 변환에 연관시키는 것을 포함할 수 있다. 그 다음의 스캔의 스캐닝 시간의 도중에 시간축 상의 제2 점이 그 다음의 스캔을 왜곡된 스캔에 정렬시키는 그 다음의 스캔의 강체 변환에 연관될 수 있다. 제1 움직임 궤적을 추정하는 것은 제1 강체 변환과 제2 강체 변환 사이에서 보간하는 것을 포함할 수 있다. 제2 움직임 궤적을 추정하는 것은 왜곡된 스캔의 스캐닝 시간 동안 오직 움직임 궤적을 포함시키기 위해서 제1 움직임 궤적을 트리밍(trimming)하는 것을 포함할 수 있다.

보정된 스캔(552)(예: S*(n))은 왜곡된 스캔의 스캐닝 시간 동안 움직임 궤적을 보상함으로써 왜곡된 스캔에 대해 산출될 수 있다. 스캔은 정합 임계치 이내인 이동량에 대응하여 보정될 수 있다. 따라서, 일부 실시 예들에서, 정합을 이용하여, 움직임 보상은 움직임 추정을 위한 추가적인 데이터(예: 위치 추적 장치 및/또는 2D 영상 장치)의 사용 없이 수행될 수 있다. 그러나, 그러한 추가적인 데이터는 여기에 개시된 움직임 보상을 더 개선시키기 위해서 포함될 수 있다. 다양한 실시 예들에서, 왜곡된 스캔의 정합, 제1 움직임 궤적의 추정, 제2 움직임 궤적의 추정, 및 보정된 스캔의 산출은 보정된 스캔의 정확성을 향상시키기 위해서 되풀이하여 반복될 수 있다. 되풀이되는 반복은 스캔의 정확성을 향상시킬 수 있다. 왜곡에 대한 보정 이후, 정합 그 자체는 더 정확해질 수 있고, 이것은 다음에 되풀이되는 보정을 향상시킬 수 있다. 되풀이되는 반복은, 예를 들면, 결과가 수렴할 때까지 계속될 수 있다.

도 6은 본 개시의 다수의 실시 예에 따른 3D 스캔에서의 움직임 보상을 위한 시스템을 도시한다. 도 6에 도시된 시스템은 그것에 연결되는 다수의 구성 요소들을 갖는 컴퓨팅 장치(680)를 포함할 수 있다. 컴퓨팅 장치(680)는 프로세싱 모듈(681)(예컨대, 하나 이상의 프로세서들) 및 메모리(682)를 포함할 수 있다. 메모리(682)는 여기에서 기술된 데이터(683) 및 실행 가능한 명령어들(684)을 포함하는 다양한 타입들의 정보를 포함할 수 있다. 메모리(682)는 컴퓨팅 장치(680)가 여기에 기술된 다양한 기능들을 수행하도록 프로세싱 모듈(681)에 의해 실행될 수 있는 명령어들을 갖는 컴퓨터로 판독 가능한 유형적인(tangible) 비일시적 기록 매체일 수 있다.

메모리(682) 및/또는 프로세싱 모듈(681)은 일부 실시 예들에서 컴퓨팅 장치(680) 상에 또는 장치와 떨어져서 위치될 수 있다. 도 6의 실시 예에 도시된 바와 같이, 그와 같이, 시스템은 네트워크 인터페이스(685)를 포함할 수 있다. 그러한 인터페이스는 네트워크에 연결된 다른 컴퓨팅 장치 상에서 처리하는 것을 허용할 수 있고, 또는, 그러한 장치들은 환자에 대한 정보 또는 여기에 제공된 다양한 실시 예들에 사용되는 실행 가능한 명령어들을 획득하기 위해서 사용될 수 있다.

도 6에 도시된 바와 같이, 시스템은 하나 이상의 입력 및/또는 출력 인터페이스들(686)을 포함할 수 있다. 그러한 인터페이스들은 컴퓨팅 장치(680)를 하나 이상의 입력 또는 출력 장치들에 연결하기 위해서 사용될 수 있다

예를 들면, 도 6에 도시된 실시 예에서, 시스템은 스캐닝 모듈(606)(예컨대, 여기에 기술된 하나 이상의 3D 스캐너, 2D 영상 장치, 및/또는 다수의 위치 추적 장치들을 포함하는 구강내 스캐너), 카메라 도크(688), 입력 장치(689)(예: 키보드, 마우스 등), 디스플레이 장치(690)(예: 모니터), 프린터(691)로의 연결성(connectivity)을 포함할 수 있다. 입/출력 인터페이스(686)는 데이터 저장 장치(예: 메모리(682))에 저장 가능한, 환자의 치아 상태에 대응되는, 다른 데이터 중, 3D 및/또는 2D 데이터를 나타내는 데이터를 수신할 수 있다. 스캐닝 모듈(606)은 컴퓨팅 장치(680)와 분리된 구성 요소로서 도시되어 있지만, 일부 실시 예들에서, 스캐닝 모듈(606)(예: 구강내 스캐너)은 컴퓨팅 장치(680)에 대하여 여기에 기술된 구성 요소들 및/또는 기능성을 포함할 수 있다(예컨대, 스캐닝 모듈(606)은 움직임 검출 및/또는 움직임 보상을 수행할 수 있다).

일부 실시 예들에서는, 스캐닝 모듈(606)은 환자의 상악(upper jaw)의 물리적 몰드(mold) 및 환자의 하악(low jaw)의 물리적 몰드를 스캔하도록 구성될 수 있다. 하나 이상의 실시 예들에서, 스캐닝 모듈(606)은 환자의 상악 및/또는 하악을 직접적으로(예: 구강내로) 스캔하도록 구성될 수 있다.

카메라 도크(688)는 스캐닝 모듈(606) 상의 임의의 2D 영상 장치로부터 분리된 디지털 카메라 또는 인쇄된 사진 스캐너와 같은 영상 장치(예: 2D 영상 장치)로부터 입력을 수신할 수 있다. 영상 장치로부터의 입력은 데이터 저장 장치(682) 내에 저장될 수 있다.

프로세싱 모듈(681)은 디스플레이(690) 상에(예컨대, 프로세싱 모듈(681) 상에서 실행되고 디스플레이(690) 상에 보여지는 GUI 상에) 가상의 치아 모델의 시각적인 표시를 제공하도록 구성될 수 있다. 프로세싱 모듈(681)은 또한 (예를 들면, 컴퓨터로 판독 가능한 유형적인(tangible) 비일시적 기록 매체에 저장된 컴퓨터로 실행 가능한 명령어들을 통해서) 여기에 기술된 다양한 방법들, 알고리즘들, 및/또는 기능성을 수행하도록 구성될 수 있다. 프로세싱 모듈(681)은, 데이터 저장 장치(682)와 연계하여, 데이터 및/또는 어플리케이션 모듈들(692)과 관련될 수 있다. 프로세싱 모듈(681)은, 데이터 저장 장치(682)와 연계하여, 3D 스캔에서 움직임 보상을 위한 다수의 어플리케이션 모듈들을 제공하기 위해서 데이터를 저장 및/또는 활용하고, 및/또는 명령어들을 실행할 수 있다.

그러한 연결성은 여러 타입들의 정보 중에서 가상의 치아 모델 정보 또는 명령어들의 입력 및/또는 출력(예컨대, 키보드를 통한 입력)을 허용할 수 있다. 일부 실시 예들은 하나 이상의 네트워크 내에서 다양한 컴퓨팅 장치들 중에서 분포될 수 있지만, 도 6에 도시된 그러한 시스템들은 여기에 기술된 정보의 캡쳐, 연산, 및/또는 분석을 허용함에 있어서 유리할 수 있다.

움직임 보상을 위한 시스템은 스캐닝 모듈(606) 및 프로세싱 모듈(681)을 포함할 수 있다. 스캐닝 모듈(606)은 구강내 3D 스캐너 및, 일부 실시 예들에서, 3D 스캐너에 연결된 적어도 하나의 위치 추적 장치를 포함할 수 있다. 위치 추적 장치는 다른 것들 중에서 하나 이상의 (예컨대, 3D 스캐너의 가속도를 측정하기 위해서) 가속도계 및 (예컨대, 3D 스캐너의 각 속도를 측정하기 위해서) 자이로스코프를 포함할 수 있다. 다른 위치 추적 장치들은, 예를 들면, Wi-Fi, 블루투스, 또는 다른 무선 시스템들을 이용하여, 위치를 결정하기 위해서 삼각 측량(triangulation), 삼변 측량(trilateration), 또는 다변 측량(multilateration)의 사용을 포함할 수 있다.

프로세싱 모듈(681)은 치아 상태의 복수의 3D 스캔을 수신(예컨대, 어플리케이션 모듈(692)을 통해서)하고 복수의 스캔들 중 특정한 하나로부터 그 다음의 스캔까지의 움직임 궤적을 추정할 수 있다. 추정은 특정한 스캔을 이전의 스캔 및 그 다음의 스캔 중 적어도 하나에 정합하는 것, 이전의 스캔, 특정한 스캔, 그 다음의 스캔 사이의 이동량이 정합 임계치 이내인지 여부의 결정하는 것, 치아 상태의 특정의 스캔 동안 취한 치아 상태의 복수의 2차원(2D) 이미지들로부터의 데이터를 이용하여 정합에 기초하여 움직임 궤적을 추정하는 것, 복수의 2D 이미지들 중 연속하는 이미지들 사이의 로컬 움직임에 기초하여 광 흐름을 결정하는 것, 특정의 스캔에서 점의 움직임 궤적을 추정하는 것, 추정된 움직임 궤적의 보정을 추정하기 위해서 광 흐름을 이용하여 추정된 움직임 궤적을 개선시키는 것, 및 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 강체 변환으로서 3D 스캔 동안에 3D 스캐너의 움직임의 양을 추정하는 것(654) 중 하나 이상을 포함할 수 있다. 프로세싱 모듈(681)은(예컨대, 어플리케이션 모듈(692)을 통해서) 여기에 기술된 어떠한 기술들에 따라 움직임 궤적을 보상함으로써, 보정된 스캔을 산출할 수 있다.

프로세싱 모듈(681)은 움직임 궤적을 추정하고, 정합 임계치 이내에 있는 이동량에 대응하여 보정된 스캔을 산출하고, 정합 임계치 외부에 있는 이동량에 대응하여 특정 스캔을 제거할 수 있다. 프로세싱 모듈(681)은 특정 스캔을 복수의 이전의 스캔 및 복수의 그 다음의 스캔에 정합시킬 수 있다.

프로세싱 모듈(681)은 특정 스캔에 대하여 그 이전의 스캔을 정렬시키고, 정렬에 기초하여 특정 스캔에 대하여 그 이전의 스캔의 중복되는 부분을 결정하고, 중복되는 부분 및/또는 중복되지 않는 부분에 기초하여 그 이전의 스캔 및 특정 스캔 사이의 이동량을 결정하여 특정의 스캔을 이전의 스캔 및 그 다음의 스캔 중 적어도 하나에 정합시킬 수 있다. 움직임 궤적은 복수의 스캔에 걸친 전체적인 움직임 궤적의 스냅샷(snapshot)일 수 있고, 여기서 전체적인 움직임 궤적을 연산하기 위해서 복수의 스냅샷들-각각이 복수의 스캔 중 각자의 정합된 스캔과 관련됨-에 기초하여 명령어들이 프로세서에 의해 실행될 수 있다.

적어도 하나의 위치 추적 장치는 3D 스캐너에 연결될 수 있고, 프로세싱 모듈(681)은 특정 스캔을 포함하는 복수의 점들에 강체 변환의 역을 적용함으로써 추정된 움직임의 양을 보상(656)하도록 구성될 수 있다. 2D 영상 장치는 3D 스캐너에 연결될 수 있고, 프로세싱 모듈(681)은 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 3D 스캐너의 속도를 추정하고 3D 스캐너가 움직이지 않음을 나타내는 2D 영상 장치로부터의 입력에 대응하여 추정된 속도를 0으로 리셋할 수 있다. 프로세싱 모듈(681)은 3D 스캐너가 움직이지 않음을 나타내는 복수의 2D 이미지들을 포함하는 2D 영상 장치로부터의 입력에 대응하여 추정된 속도를 6 자유도 내에서 0으로 리셋할 수 있다.

3D 스캐너는 제1 기준 프레임 내에 있을 수 있고, 스캐닝 모듈(606)은 제1 기준 프레임에 대하여 고정된 제2 기준 프레임 내에 2D 영상 장치를 포함할 수 있다. 프로세싱 모듈(681)은 치아 상태의 특정 스캔 동안, 2D 영상 장치로 찍은 치아 상태의 복수의 2D 이미지들로부터의 데이터를 수신할 수 있고, 여기서 2D 이미지들 각각은 특정 스캔에서의 각자의 시간과 관련된다. 프로세싱 모듈(681)은 개선된 추정된 움직임 궤적을 이용하여 스캔 동안 움직임을 보상할 수 있다.

프로세싱 모듈(681)은 광 흐름을 결정하기 위해서 2 개의 연속하는 이미지들에서의 점의 위치의 변경에 기초하여 그리고 2 개의 연속하는 이미지들 사이의 시간의 변경에 기초하여 2 개의 연속하는 이미지들 사이의 로컬 움직임을 산출할 수 있다. 프로세싱 모듈(681)은 광 흐름에만 기초하여 전역 속도 벡터를 추정할 수 있다. 프로세싱 모듈은 전역 속도 벡터를 추정된 움직임 궤적을 포함하는 횡 움직임 궤적에 맵핑할 수 있다.

프로세싱 모듈(681)은 점을 스캔의 좌표 시스템으로부터 이미지의 좌표 시스템으로 맵핑하여 점에 대한 2D 궤적을 생성할 수 있다. 프로세싱 모듈(681)은 생성된 2D 궤적을 미분하여 점의 다수의 속도 요소들을 결정할 수 있다. 프로세싱 모듈(681)은 2D 궤적과 다수의 속도 요소들을 광 흐름에 적용할 수 있다. 프로세싱 모듈은 추정된 움직임 궤적의 보정을 추정하기 위해서 스캔에서의 기준 시간과 스캔에서 점의 기록된 시간 사이에서 적용된 2D 궤적 및 다수의 속도 요소들을 갖는 광 흐름의 제곱들을 합할 수 있다.

프로세싱 모듈(681)은 추정된 움직임 궤적을 개선시키기 위해서 적용된 2D 궤적 및 다수의 속도 요소들을 갖는 광 흐름에 기초하여 스캔 내의 각 점에서 부정확한 궤적들을 제재하는 목적 함수(objective function)를 최소화할 수 있다. 프로세싱 모듈(681)은 부정확한 궤적들을 제재하기 위하여 2D 궤적을 정규화할 수 있다.

비록 특정 실시 예들이 여기에 설명되고 개시되어 있지만, 본 기술 분야에서 통상의 기술을 가진 자는 동일한 기법들을 획득하기 위해서 산정된 어떠한 배치들이 나타낸 특정 실시 예들에 대해서 대체될 수 있음을 이해할 수 있을 것이다. 본 개시는 본 개시의 다양한 실시 예들의 어떠한 그리고 모든 적용례들 또는 변형례들을 포함하는 것을 의도하고 있다.

여기에서 사용된 바와 같이, 어떤 것이 "하나", "하나 이상", "다수의", 또는 "적어도 하나"의 용어들의 사용은 모두 하나 또는 그 이상의 아이템이 존재하는 것을 의미하는 것으로 해석된다. 부가적으로, 이상의 설명은 한정적인 방식이 아니라, 설명적인 방식으로 이루어진 것임을 이해할 수 있을 것이다. 이상의 실시 예들과 여기에 구체적으로 개시되지 않은 다른 실시 예들의 결합은 이상의 설명의 검토에 의해 본 기술 분야의 통상의 기술을 가진 자에게 명백할 것이다.

하나의 요소가 다른 요소의 "위에", "에 연결되는", 또는 "와 접속되는" 것으로 언급될 때, 그것은 다른 요소의 직접적으로 위, 연결, 또는 접속될 수 있고, 또는, 중개의 요소들이 존재할 수 있다. 반대로, 하나의 요소가 다른 요소의 "직접적으로 위에", "에 직접적으로 연결되는", 또는 "와 직접적으로 접속되는" 것으로 언급될 때, 중개의 요소들 또는 레이어들이 존재하지 않는다. 여기에 사용된 바와 같이, 용어 "및/또는"은 하나 이상의 관련되어 열거된 아이템들의 어떤 또는 모든 조합들을 포함한다.

비록 용어 제1, 제2, 등은 다양한 요소들을 설명하기 위해서 여기에 사용되었지만, 이러한 요소들은 이러한 용어들에 의해 한정되어서는 안됨을 이해할 수 있을 것이다. 따라서, 제1 요소는 본 개시의 교시로부터 벗어나지 않고, 제2 요소로 지칭될 수 있다.

본 개시의 다양한 실시 예들의 범위는 이상의 구조들과 방법들에서 사용된 어떤 다른 응용례들을 포함한다. 그러므로, 본 개시의 다양한 실시 예들의 범위는 그러한 청구항들에 주어지는 균등한 모든 범위와 더불어, 첨부된 청구항들을 참조하여 결정되어야만 한다.

앞에서 기술한 상세한 설명에서, 다양한 특징들은, 본 개시의 간소화의 목적을 위해 단일 실시 예에서 함께 결합된다. 개시된 방법은 본 개시의 실시 예들이 각 청구항에 명확히 개시된 것보다 더 많은 특징들을 요구하는 의도를 나타내는 것으로 해석되지 않는다.

오히려, 다음 청구항들이 나타내는 바와 같이, 기술적 사상은 개시된 단일 실시예의 모든 특징들을 포함하지 않아도 된다. 따라서, 다음의 청구항들은 이로써, 각각이 스스로에 기초하여 별개의 실시 예로서, 상세한 설명에 포함된다.

Claims

구강내 3차원(3D) 스캐너를 포함하는 스캐닝 모듈; 및
상기 스캐닝 모듈에 연결되는 프로세싱 모듈을 포함하고,
상기 프로세싱 모듈은,
치아 상태의 복수의 3D 스캔을 수신하고,
상기 복수의 스캔 중 특정한 스캔으로부터 그 다음의 스캔까지의 움직임 궤적을 추정하고, 그리고
상기 움직임 궤적을 보상함으로써 보정된 스캔을 산출하고,
상기 추정은,
상기 특정의 스캔을 이전의 스캔 및 상기 다음의 스캔 중 적어도 하나에 정합하고, 상기 이전의 스캔, 상기 특정의 스캔, 및 상기 그 다음의 스캔 사이에 이동량이 정합 임계치 이내인지 여부를 결정하고, 상기 정합에 기초하여 움직임 궤적을 추정하는 것;
상기 치아 상태의 상기 특정의 스캔 동안 찍은 상기 치아 상태의 복수의 2차원(2D) 이미지들로부터의 데이터를 이용하고, 상기 복수의 2D 이미지들 중 연속하는 이미지들 사이의 로컬(local) 움직임에 기초하여 광 흐름을 결정하고, 상기 특정의 스캔 내의 점의 움직임 궤적을 추정하고, 상기 광 흐름을 이용하여 상기 추정된 움직임 궤적을 개선시켜서 상기 추정된 움직임 궤적의 보정을 추정하는 것; 및
3D 스캐너에 연결된 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 강체 변환(rigid body transformation)으로 상기 특정의 스캔 동안의 3D 스캐너의 움직임의 양을 추정하는 것; 중 하나 이상을 포함하는 시스템.
청구항 1에 있어서,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은,
상기 특정의 스캔에 대하여 상기 이전의 스캔을 정렬하고,
상기 정렬에 기초하여 상기 특정의 스캔에 대하여 상기 이전의 스캔의 중복하는 부분을 결정하고, 그리고
상기 중복하는 부분 및/또는 중복하지 않는 부분에 기초하여 상기 이전의 스캔 및 상기 특정의 스캔 사이의 이동량을 결정하여 상기 특정의 스캔을 상기 이전의 스캔 및 상기 그 다음의 스캔 중 적어도 하나에 정합하는 시스템.
청구항 1에 있어서,
상기 시스템은 상기 3D 스캐너에 연결된 2D 영상 장치를 포함하고,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은 상기 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 상기 3D 스캐너의 속도를 추정하고, 상기 3D 스캐너가 움직이지 않음을 나타내는 2D 영상 장치로부터의 입력에 대응하여 상기 추정된 속도를 0으로 리셋하는 시스템.
청구항 3에 있어서,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은 상기 3D 스캐너가 움직이지 않음을 나타내는 상기 복수의 2D 이미지들을 포함하는 상기 2D 영상 장치로부터의 입력에 대응하여 상기 추정된 속도를 6 자유도 내의 0으로 리셋하는 시스템.
청구항 1에 있어서,
상기 3D 스캐너는 제1 기준 프레임 내에 있고, 상기 스캐닝 모듈은 상기 제1 기준 프레임에 대하여 고정된 제2 프레임 내의 2D 영상 장치를 포함하고,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은,
상기 치아 상태의 특정의 스캔 동안, 상기 2D 영상 장치로 찍은 상기 치아 상태의 상기 복수의 2D 이미지들로부터의 데이터를 수신하고-상기 복수의 2D 이미지들은 상기 특정의 스캔 내의 각각의 시간과 관련됨-, 그리고
상기 개선된 추정된 움직임 궤적을 이용하여 상기 스캔 동안 움직임을 보상하는 시스템.
청구항 5에 있어서,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은,
상기 점을 상기 스캔의 좌표 시스템으로부터 상기 이미지의 좌표 시스템으로 맵핑하여 상기 점에 대한 2D 궤적을 생성하고,
상기 생성된 2D 궤적을 미분(differentiate)하여 상기 점의 다수의 속도 요소들을 결정하고,
상기 2D 궤적 및 상기 다수의 속도 요소들을 상기 광 흐름에 적용하고, 그리고
상기 스캔 내의 기준 시간과 상기 스캔 내의 상기 점의 기록된 시간 사이에 상기 적용된 2D 궤적 및 상기 다수의 속도 요소들을 갖는 상기 광 흐름의 제곱을 합하여 상기 추정된 움직임 궤적의 보정을 추정하는 시스템.
청구항 6에 있어서,
상기 스캐닝 모듈에 연결된 상기 프로세싱 모듈은,
상기 적용된 2D 궤적 및 상기 다수의 속도 요소들을 갖는 상기 광 흐름에 기초하여 상기 스캔 내의 각 점에서 부정확한 궤적들을 제재하는 목적 함수(objective function)를 최소화하여 상기 추정된 움직임 궤적을 개선하고, 그리고
상기 부정확한 궤적들을 제재하는 상기 2D 궤적을 정규화하는 시스템.
컴퓨팅 장치가 수행하도록 하는 프로세서에 의해 실행될 수 있는 명령어들을 갖는 컴퓨팅 장치로 판독 가능한 물리적 매체로서,
치아 상태의 복수의 3차원(3D) 스캔을 수신하고;
상기 복수의 스캔 중 왜곡된 스캔을 이전의 스캔 및 그 다음의 스캔 중 적어도 하나에 정합하고;
상기 이전의 스캔, 상기 왜곡된 스캔, 및 상기 그 다음의 스캔 사이의 이동량이 정합 임계치 이내인지 여부를 결장하고;
상기 정합에 기초하여 상기 이전의 스캔으로부터 상기 그 다음의 스캔까지의 제1 움직임 궤적을 추정하고;
상기 왜곡된 스캔의 스캐닝 시간 동안의 제2 움직임 궤적을 추정하고; 그리고
상기 왜곡된 스캔의 스캐닝 시간 동안의 상기 움직임 궤적을 보상함으로써 상기 왜곡된 스캔에 대한 보정된 스캔을 산출하는 매체.
청구항 8에 있어서,
상기 프로세서에 의해 실행될 수 있는 상기 명령어들은 상기 제1 움직임 궤적 및 상기 제2 움직임 궤적을 추정하고 상기 정합 임계치 이내에 있는 이동량에 대응하여 상기 보정된 스캔을 산출하는 매체.
청구항 9에 있어서,
상기 프로세서에 의해 실행될 수 있는 상기 명령어들은 상기 정합 임계치 밖에 있는 이동량에 대응하여 상기 왜곡된 스캔을 제거하는 매체.
청구항 8에 있어서,
상기 왜곡된 스캔을 상기 이전의 스캔 및 상기 그 다음의 스캔 중 적어도 하나에 정합하는 명령어들은,
상기 왜곡된 스캔에 대하여 상기 이전의 스캔을 정렬하고;
상기 정렬에 기초하여 상기 왜곡된 스캔에 대하여 상기 이전의 스캔의 중복되는 부분을 결정하고; 그리고
상기 중복하는 부분 및/또는 중복하지 않은 부분에 기초하여 상기 이전의 스캔과 상기 왜곡된 스캔 사이의 이동량을 결정하는 명령어들을 포함하는 매체.
청구항 11에 있어서,
상기 이전의 스캔, 상기 왜곡된 스캔, 및 상기 그 다음의 스캔 사이의 결정된 이동량은 상기 이전의 스캔과 상기 왜곡된 스캔 사이의 상기 결정된 이동량을 포함하는 매체.
청구항 11에 있어서,
상기 왜곡된 스캔에 대하여 상기 이전의 스캔을 정렬하는 명령어들은 상기 이전의 스캔에 대해 강체 변환을 수행하여 상기 이전의 스캔을 상기 왜곡된 스캔에 정렬하는 명령어들을 포함하는 매체.
청구항 6에 있어서,
상기 왜곡된 스캔을 상기 이전의 스캔 및 상기 그 다음의 스캔 중 적어도 하나에 정합하는 명령어들은,
상기 이전의 스캔의 스캐닝 시간의 도중에 시간축 상의 제1 점을 상기 이전의 스캔을 상기 왜곡된 스캔에 정렬하는 상기 이전의 스캔의 강체 변환에 연관시키고; 및
상기 그 다음의 스캔의 스캐닝 시간의 도중에 상기 시간축 상의 제2 점을 상기 그 다음의 스캔을 상기 왜곡된 스캔에 정렬하는 상기 그 다음의 스캔에 대한 강체 변환에 연관시키는 명령어들을 포함하고,
상기 제1 움직임 궤적을 추정하는 명령어들은 상기 제1 점, 상기 왜곡된 스캔의 스캐닝 시간의 도중에 상기 시간축 상의 점, 및 상기 제2 점 사이에서 보간하는 명령어들을 포함하는 매체.
청구항 14에 있어서,
상기 제2 움직임 궤적을 추정하는 명령어들은 상기 제1 움직임 궤적을 트리밍하여 상기 왜곡된 스캔의 스캐닝 시간 동안의 움직임 궤적만을 포함시키는 명령어들을 포함하는 매체.
청구항 8에 있어서,
상기 제1 움직임 궤적은 상기 복수의 스캔에 걸친 전반적인 움직임 궤적의 스냅샷(snapshot)을 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행되어 복수의 스냅샷들-각각은 상기 복수의 스캔 중 각각의 정합된 스캔과 관련됨-에 기초하여 상기 전반적인 움직임 궤적을 연산하는 매체.
청구항 8에 있어서,
상기 복수의 스캔은 환자의 치아 상태의 복수의 3D 구강내 스캔을 포함하는 매체.
청구항 17에 있어서,
상기 복수의 스캔은 초당 적어도 10 개의 스캔의 스캐닝 주파수를 가지는 매체.
청구항 8에 있어서,
상기 명령어들은 상기 왜곡된 스캔의 정합, 상기 제1 움직임 궤적의 추정, 상기 제2 움직임 궤적의 추정, 및 상기 보정된 스캔의 산출을 되풀이하여 반복하여 상기 보정된 스캔의 정확성을 향상시키는 상기 프로세서에 의해 실행될 수 있는 매체.
청구항 8에 있어서,
상기 복수의 스캔 중 상기 왜곡된 스캔을 정합하는 명령어들은 상기 복수의 스캔 중 상기 왜곡된 스캔을 복수의 이전의 스캔 및 복수의 그 다음의 스캔에 정합하는 명령어들을 포함하는 매체.
청구항 8에 있어서,
상기 이전의 스캔은 바로 이전의 스캔을 포함하고, 상기 그 다음의 스캔은 바로 그 다음의 스캔을 포함하는 매체.
컴퓨터로 실행되는 방법으로서,
제1 기준 프레임 내의 3D 스캐너로 찍은 치아 상태의 3차원(3D) 스캔으로부터의 제1 데이터를 수신하는 단계;
상기 제1 기준 프레임에 대해서 고정된 제2 기준 프레임 내의 2D 영상 장치로 상기 치아 상태의 상기 스캔 동안 찍은 상기 치아 상태의 복수의 2차원(2D) 이미지들로부터의 제2 데이터를 수신하는 단계-상기 복수의 2D 이미지들 각각은 상기 스캔 내의 각각의 시간과 관련됨-;
상기 복수의 2D 이미지들 중 연속하는 이미지들 사이의 로컬 움직임에 기초하여 광 흐름을 결정하는 단계;
상기 스캔 내의 점의 움직임 궤적을 추정하는 단계;
상기 추정된 움직임 궤적의 보정을 추정하도록 상기 광 흐름을 이용하여 상기 추정된 움직임 궤적을 개선하는 단계; 및
상기 개선된 추정된 움직임 궤적을 이용하여 상기 스캔 동안의 움직임을 보상하는 단계를 포함하고,
상기 방법은 상기 컴퓨터에 의해 수행되는 방법.
청구항 22에 있어서,
상기 광 흐름을 결정하는 단계는 2 개의 연속하는 이미지들 내의 점의 위치의 변화에 기초하여 그리고 상기 2 개의 연속하는 이미지들 사이의 시간의 변화에 기초하여 상기 2 개의 연속하는 이미지들 사이의 상기 로컬 움직임을 산출하는 단계를 포함하는 방법.
청구항 23에 있어서,
상기 로컬 움직임을 산출하는 단계는 상기 점의 위치의 상기 변화에 기초하여 2D 모션 벡터를 산출하는 단계를 포함하는 방법.
청구항 22에 있어서,
상기 스캔 내의 상기 점의 상기 움직임 궤적을 추정하는 단계는 상기 스캔에서의 시간에 의존하는 상기 점의 강체 변환을 이용하는 단계를 포함하는 방법.
청구항 25에 있어서,
상기 점에 상기 강체 변환을 적용하는 것은 상기 점을 상기 스캔 내의 상기 기준 시간에서의 좌표 시스템으로부터 상기 스캔 내의 상기 점의 기록된 시간에서의 좌표 시스템으로 맵핑하는 것으로 상기 강체 변환을 정의하는 단계를 포함하는 방법.
청구항 26에 있어서,
상기 스캔 동안 움직임을 보상하는 단계는 상기 점을 상기 스캔 내의 상기 기록된 시간으로부터 상기 스캔 내의 상기 기준 시간으로 맵핑하도록 상기 강체 변환의 역을 상기 스캔 내의 상기 점에 적용하는 단계를 포함하는 방법.
청구항 27에 있어서,
상기 기준 시간은 상기 스캔의 중간의 시간인 방법.
청구항 22에 있어서,
상기 추정된 움직임 궤적의 상기 보정을 추정하는 단계는,
상기 점에 대한 2D 궤적을 생성하도록 상기 점을 상기 스캔의 좌표 시스템으로부터 상기 2D 스캔의 좌표 시스템으로 맵핑하는 단계;
상기 점의 다수의 속도 요소들을 결정하도록 상기 생성된 2D 궤적을 미분하는 단계;
상기 2D 궤적 및 상기 다수의 속도 요소들을 상기 광 흐름에 적용하는 단계; 및
상기 스캔 내의 기준 시간과 상기 스캔 내의 상기 점의 기록된 시간 사이에 상기 적용된 2D 궤적 및 상기 다수의 속도 요소들을 갖는 상기 광 흐름의 제곱을 합하는 단계를 포함하는 방법.
청구항 29에 있어서,
상기 추정된 움직임 궤적을 개선시키는 단계는 상기 적용된 2D 궤적 및 상기 다수의 속도 요소들을 갖는 상기 광 흐름에 기초하여 상기 스캔 내의 각 점에서 부정확한 궤적들을 제재하는 목적 함수를 최소화하는 단계를 포함하는 방법.
청구항 29에 있어서,
상기 방법은 상기 부정확한 궤적들을 제재하도록 상기 2D 궤적을 정규화하는 단계를 포함하는 방법.
청구항 22에 있어서,
상기 움직임 궤적을 추정하는 단계는,
상기 광 흐름에만 기초하여 전역 속도 벡터(global velocity vector)를 추정하는 단계; 및
상기 전역 속도 벡터를 상기 추정된 움직임 궤적을 포함하는 횡(lateral) 움직임 궤적에 맵핑하는 단계를 포함하는 방법.
청구항 22에 있어서,
상기 방법은 상기 광 흐름을 결정하는 단계 이전에 상기 스캔 내의 어떤 점들이 상기 복수의 2D 이미지들의 특정의 이미지 내에 보이는지를 결정하는 휴리스틱(heuristic)을 이용하는 단계를 포함하는 방법.
스캐닝 모듈; 및
상기 스캐닝 모듈에 연결되는 프로세싱 모듈을 포함하고,
상기 스캐닝 모듈은,
구강내 3차원(3D) 스캐너; 및
상기 3D 스캐너에 연결되는 적어도 하나의 위치 추적 장치를 포함하고,
상기 프로세싱 모듈은,
상기 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 강체 변환으로서 스캔 동안 상기 3D 스캐너의 움직임의 양을 추정하고, 그리고
상기 강체 변환의 역을 상기 스캔을 구성하는 복수의 점들에 적용함으로써 움직임의 양을 보상하는 시스템.
청구항 34에 있어서,
상기 적어도 하나의 위치 추적 장치는 상기 3D 스캐너의 각 속도를 측정하기 위한 자이로스코프를 포함하는 시스템.
청구항 34에 있어서,
상기 적어도 하나의 위치 추적 장치는 상기 3D 스캐너의 가속도를 측정하기 위한 가속도계를 포함하는 시스템.
청구항 34에 있어서,
상기 스캐닝 모듈은 상기 3D 스캐너에 연결되는 2차원(2D) 영상 장치를 포함하고, 그리고
상기 프로세싱 모듈은 상기 스캐닝 모듈에 연결되어 상기 적어도 하나의 위치 추적 장치로부터의 입력 및 상기 2D 영상 장치로부터의 입력에만 기초하여 상기 3D 스캐너의 움직임을 추적하는 시스템.
청구항 34에 있어서,
상기 스캐닝 모듈은 상기 3D 스캐너에 대하여 고정되고, 상기 3D 스캐너에 연결되는 2차원(2D) 영상 장치를 포함하고, 그리고
상기 프로세싱 모듈은 상기 스캐닝 모듈에 연결되어 상기 적어도 하나의 위치 추적 장치로부터의 입력에 기초하여 상기 3D 스캐너의 속도를 추정하고, 상기 3D 스캐너가 움직이지 않음을 나타내는 상기 2D 영상 장치로부터의 입력에 대응하여 상기 추정된 속도를 0으로 리셋하는 시스템.
청구항 38에 있어서,
상기 프로세싱 모듈은 상기 스캐닝 모듈에 연결되어 상기 3D 스캐너가 움직이지 않음을 나타내는 복수의 2D 이미지들을 포함하는 상기 2D 영상 장치로부터의 입력에 대응하여 상기 추정된 속도를 6 자유도 내의 0으로 리셋하는 시스템.