KR20200123160A

KR20200123160A - 표면 차별화를 갖는 구내 스캐닝

Info

Publication number: KR20200123160A
Application number: KR1020207026369A
Authority: KR
Inventors: 헨릭 외예룬트; 애스게르 베옌 호외트; 카를-요제프 홀렌벡
Original assignee: 쓰리세이프 에이/에스
Priority date: 2018-02-16
Filing date: 2019-02-08
Publication date: 2020-10-28
Also published as: US20210106409A1; US11974900B2; CN112106109A; EP3752982B1; WO2019158442A1; EP3752982A1

Abstract

본원에서 개시된 구강내(intraoral cavity)의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법이 본원에서 개시되며, 이 방법은, 구내 스캐너를 사용하여 구강내의 부분의 표면 포인트들의 기하학적 구조를 적어도 표현하는 표면 데이터를 포함하는 복수의 뷰들을 레코딩하는 단계; 표면 포인트가 특정 유형의 표면을 표현한다는 확신의 척도들인 스코어들에 적어도 부분적으로 기초하여 각각의 표면 포인트에 대한 가중치를 결정하는 단계; 결정된 가중치들에 기초하여 디지털 3D 표현을 생성하기 위해 상기 복수의 뷰들에서 표면 포인트들의 가중화된 스티칭(weighted stitching)을 수행하는 스티칭 알고리즘을 실행하는 단계를 포함하고, 표면 포인트들에 대한 스코어들은 입력으로서 적어도 표면 포인트에 대한 표면 데이터의 기하학적 구조 부분 및 표면 포인트 인근의 포인트들에 대한 표면 데이터를 취하는 적어도 하나의 스코어-찾기 알고리즘(score-finding algorithm)에 의해 발견된다.

Description

표면 차별화를 갖는 구내 스캐닝

환자의 구강내(intraoral cavity)를 스캔하기 위한 스캐너 시스템 및 방법이 본원에서 개시된다. 특히, 본 개시내용은 스캐닝 동안 조직 변형을 고려하여 구강내의 디지털 3D 표현을 함께 스티칭(stitching)하는 것에 관한 것이다. 다양한 유형들의 표면들 간을 차별화하고 레코딩된 뷰들을 결합된 디지털 3D 표현으로 스티칭하기 위해 상이한 표면들을 가중화하도록 시스템을 트레이닝하기 위해 머신 학습 알고리즘들과 같은 스코어 찾기 알고리즘이 사용될 수 있다.

치과에서, 환자의 치아들 및 가능하게는, 구강내의 다른 부분들의 3D 지형 측정들은 복원 또는 교정 치료들의 토대로서 필요하다. 전통적으로, 이러한 3D 측정은 초기에, 물리적 본(physical impression)을 뜸으로써 수행되었다. 이 절차는 일반적으로 환자들에게 불쾌하기 때문에, 최근에는, 치아들 또는 구강내의 다른 부분들의 지형을 직접 측정하기 위해 구내 3D 스캐너들이 사용되었다.

크기 제한들로 인해, 구내 3D 스캐너들은 통상적으로 한 번에 작은 뷰(view)들을 레코딩하며, 각각의 뷰는 거리 맵 및 가능하게는, 컬러와 같은 다른 정보를 포함한다. 스캐너가 이동함에 따라, 뷰들은 결합된 3D 지형 측정으로 점진적으로 함께 스티칭된다. 예컨대, 관심 구역으로서 단일 턱니들(jaw’s teeth) 및 주변 잇몸에 대한 이러한 레코딩은 통상적으로 적어도 1분이 소요되며 통상적으로 적어도 100개의 뷰들을 산출한다. "짜맞추기(registration)" 및 "스티칭"이라는 용어들은 일반적으로 문헌에서 상호 교환 가능하게 사용된다. 일반적으로, 표면으로 또한 변환되는 스티칭된 모델은 종종 스캐너에 의해 측정된 3D 지형의 "가상 3D 모델" 또는 "디지털 3D 표현"으로 지칭된다.

구강내의 여러 유형들의 표면들은 강성이 아니다. 예컨대, 레코딩 동안 볼들 및 혀가 현저히 변형될 수 있다. 잇몸이 또한 변형될 수 있지만, 통상적으로 덜 변형된다. 또한, 구내 스캐너를 통한 레코딩 동안 이물질들이 마주치게 된다. 치과 기구들과 같은 일부 이물질들은 강성이지만 고도로 이동 가능하고, 통상적으로 레코딩의 일부 뷰들에서만 존재한다. 면 패드(cotton pad)들과 같은 다른 이물질들은 덜 이동할 수 있고 레코딩의 보다 많은 뷰들에 존재하지만 더 변형된다. 통상적으로, 치과 의사의 손가락은 이동하며 레코딩의 일부 뷰들에서만 현저히 변형된다.

뷰들의 스티칭은 일반적으로 스캔된 표면이 안정적이고 강성이라는 가정에 기초하기 때문에, 임의의 이동 가능하거나 변형되는 표면들은 통상적으로 결합된 3D 지형 측정의 정확도의 손실을 초래한다. 비-강성 스티칭 알고리즘들이 존재하지만, 컴퓨테이셔널적으로 비용이 많이 들고 일반적으로 구내 스캐닝 동안 이용 가능하지 않은 부가적인 정보 예컨대, 랜드마크들을 요구한다.

구내 3D 스캐닝 시에 이동 가능하거나 변형 가능한 표면들의 해로운 영향을 감소시키기 위해 여러 수단들이 도입되었다. 하나의 전략은 예컨대, 볼 견인기(cheek retractor)를 사용하여 이러한 표면들을 뷰로부터 멀리 유지하는 것이다. 볼 견인기는 종종 환자가 불쾌한 것으로 지각하고 그것이 문제의 일부만을 해결하기 때문에, 데이터 프로세싱 방법들이 도입되었다.

US7698068은 컬러에 기초하여 치아들 및 다른 구내 조직을 구별하는 방법을 설명하고, 레코딩 동안 스티칭을 위해 치아 컬러를 표현하는 뷰들의 일부만을 사용한다. 치아는 강성이고 다른 조직보다 더 하얗기 때문에, 결합된 3D 지형 측정의 품질이 종종 개선될 수 있다. 그러나 치아들은 자연적으로 그리고 복원물들에 의해 변색될 수 있어서, 컬러 단독에 의한 분류는 부정확할 수 있다. 또한, 구개음 주름(palatal rugae)과 같은 비-백색의 다소 강성 조직은 특히, 무치아 경우들에 스티칭에 유용할 수 있고, 이에 따라 무시되어선 안 된다. 또한, 면 패드들과 같은 일부 변형 가능한 이물질 표면들은 치아들과 유사한 컬러를 가질 수 있지만, 스티칭에 대해 무시되어야 한다.

US9629551은 구강내의 동일 부분의 레코딩 동안 다수의 뷰들의 일관성을 분석함으로써 이동 가능한 객체들을 검출하는 방법을 설명한다. 이 방법은 기하학적 정보만을 사용하고, 이에 따라 컬러 가변성에 강하다.

구내 3D 스캐너 및 일반적으로, 변형되거나 이동하는 표면들에 강한 스캐너를 사용하는 방법에 대한 필요성이 남아있다.

일 양상에서, 본원에서 개시된 구강내(intraoral cavity)의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법이 본원에서 개시되며, 이 방법은,

구내 스캐너를 사용하여 적어도 구강내의 부분의 표면 포인트들의 기하학적 구조를 표현하는 표면 데이터를 포함하는 복수의 뷰들을 레코딩하는 단계;

표면 포인트가 특정 유형의 표면을 표현한다는 확신(belief)의 척도들인 스코어들에 적어도 부분적으로 기초하여 각각의 표면 포인트에 대한 가중치를 결정하는 단계;

결정된 가중치들에 기초하여 디지털 3D 표현을 생성하기 위해 상기 복수의 뷰들에서 표면 포인트들의 가중화된 스티칭(weighted stitching)을 수행하는 스티칭 알고리즘을 실행하는 단계를 포함하고,

표면 포인트들에 대한 스코어들은 입력으로서 적어도 표면 포인트에 대한 표면 데이터의 기하학적 구조 부분 및 표면 포인트 인근의 포인트들에 대한 표면 데이터를 취하는 적어도 하나의 스코어-찾기 알고리즘(score-finding algorithm)에 의해 발견된다.

하나 이상의 프로세싱 유닛들은 레코딩된 뷰들에서 조직의 유형들을 표시하는 다양한 유형들의 표면들, 다른 표면들 및 가능하게는, 에러 데이터 간을 차별화하기 위해 데이터에 대해 트레이닝된 알고리즘 이를테면, 머신 학습 알고리즘을 적용하도록 구성될 수 있다. 각각의 뷰는 스캐너에 대해 좌표계에서 정의된 적어도 일부 포인트들 z(x, y)인 표면 기하학적 구조 데이터를 포함한다. 본 개시내용의 실시예에 따른 스캐너 및 방법은 디지털 3D 표현으로 또한 칭하는 3D 지형의 결합된 표현으로 레코딩된 뷰들을 스티칭하기 위해 가중화를 사용한다. 스티칭 시에 포인트의 가중치는 그 포인트가 적어도 하나의 유형의 표면을 표현한다는 확신의 척도들인 스코어들에 의해 적어도 부분적으로 결정된다. 확신의 척도들 및 이에 따른 상기 스코어들은 경험적 척도들 또는 확률들일 수 있다.

본 개시내용에 따른 스캐너 및 방법은 반드시 조직 또는 이물질 움직임 또는 변형을 직접 검출할 필요는 없다. 이는 통상적으로, 이러한 유형의 실제 표면이 스캔 동안 이동 또는 변형되었는지에 관계없이 이동 또는 변형에 대한 그의 가정된 성향에 기초하여 표면들의 유형별로 차별화된다. 표면 유형들은 조직 구조(histology) 예컨대, 상아질 또는 점막에 기초할 수 있다. 이들은 또한 위치에 기초할 수 있는데, 예컨대, 치아들 사이의 잇몸은 준비된 치아들 주위의 잇몸보다 변형에 대해 더 적은 성향을 갖는다. 표면 유형들은 또한 예컨대, 이들이 디지털 3D 표현에서 요구되는지 여부에 대해 경험적일 수 있다. 변형 또는 움직임에 대한 비교적 더 적은 성향을 갖는 표면 유형들은 일반적으로 스티칭에 대해 더 바람직하다.

본 개시내용에서, 표면 유형에 의한 차별화는 표면 기하학적 구조 데이터에 적어도 부분적으로 기초할 수 있는 반면, 알려진 기술은 차별화를 위한 부가적인 데이터 예컨대, US7698068에서와 같은 표면 컬러를 요구한다. 여전히, 본 개시내용의 실시예에 따른 스캐너 또는 방법은 또한, 뷰들에서의 부가적인 표면 데이터, 예컨대, 표면 컬러를 제공 및 이용할 수 있다. 본 개시내용에 따른 스캐너 또는 방법은 또한, 그것이 레코딩하는 표면 데이터의 확실성을 제공 및 이용할 수 있다.

가중화된 스티칭은 ICP(Iterative Closest Point) 알고리즘의 다수의 변형들 중 하나 또는 당업계의 다른 적절한 알고리즘들과 함께 수행될 수 있다. 쌍별 가중화가 설명되며, 예컨대, [1] 참조한다. 가중화된 스티칭의 또 다른 포뮬레이션(formulation)에서, 표면 데이터는 그의 가중치들에 기초하여 정렬될 수 있으며, 일부 임계치를 초과하거나 일부 최상위 변위치(quantile)만이 그 후 스티칭에 사용된다. 본 개시내용의 관점에서 가중화된 스티칭은, 뷰들에서의 일부 데이터가 다른 것들보다 결과에 비교적 더 높은 영향을 미치도록 차별화를 표현하는 일부 수학적 포뮬레이션이다.

스티칭된 모델에 대한 공통 좌표계는 제1 뷰의 로컬 좌표계일 수 있다. 뷰를 스티칭하는 것은, 뷰에서의 임의의 다른 표면 데이터에 동일한 기하학적 변환을 적용하면서, 뷰의 표면 지오메트리 데이터 z(x, y)를 공통 좌표계로 변환함으로써 이들을 스티칭하는 것으로 이해될 것이다. 0 또는 약간 작은 가중치를 갖는 뷰 내의 표면 데이터 포인트들은 변환에 포함될 수 있거나, 이들은 제거될 수 있다.

디지털 3D 표현은 여러 방식들로 표현될 수 있다. 스티칭은 단독으로 적어도 포인트 클라우드를 제공한다. 표면 예컨대, 삼각형 메시로 포인트 클라우드를 근사화하여 포인트 데이터의 노이즈를 안정시키고 치과 CAD에 대한 더 양호한 토대인 디지털 3D 표현을 제공하는 것이 종종 바람직하다. 일부 알고리즘은 모든 뷰들이 스티칭된 후 이러한 표면을 구축한다(예컨대, [2]). 일부 알고리즘들은 가능하게는, 스티칭을 개선하기 위해 중간 모델을 또한 사용하여, 레코딩되고 스티칭된 모든 각각의 뷰에 대해 점진적으로 일부 중간 표면 모델을 구축한다(예컨대, [3]). 모든 뷰들이 레코딩된 후, 최종 표면은 종종 중간 것을 대체하도록 컴퓨팅된다. 작은 가중치들을 갖는 표면 데이터 포인트들은 개개의 뷰가 스티칭될 때 제거되지 않는 경우, 이들이 노이즈로서 검출되기 때문에, 종종 이 단계에서 효과적으로 제거된다.

일부 실시예들에서, 포인트들 z(x, y)는 거리 맵으로서, 즉 스캐너에 대해 정의된 일부 기준 표면으로부터 스캔된 표면까지의 거리들 z(x, y)로서 배열된다. 일부 실시예들에서, 좌표들(x, y)은 평면 기준 표면 상에 그리드로 존재한다. 본 개시내용의 관점에서 표면 데이터 포인트는 적어도 기하학적 구조 정보, 즉 z(x, y)를 포함한다. 그것은 또한, (x, y)에서 표면에 대해 레코딩된 다른 데이터, 예컨대 컬러, 또는 z(x, y)의 확실성의 일부 척도 또는 일부 다른 데이터로 증강될 수 있다.

위치(x, y)에 대한 표면 유형별 차별화를 위해, 본 개시내용의 스캐너는 값 z(x, y), 및 또한, (x, y)의 인근의 z의 부가적인 값들을 고려한다. 인근을 고려하는 것은 표면 유형을 표상하는 일부 기하학적 구조를 드러낼 수 있다. 인근은 바로 인근, 또는 바로 인근을 넘어 연장되는 일 세트의 근처 구역들일 수 있다. 기하학적 구조 또는 일 세트의 커널을 드러내기 위해 커널을 적용하는 것이 유용할 수 있다. 인근에 포함된 부가적인 정보를 고려하는 것은 알려진 기술보다 나은 다른 개선이다.

일부 실시예들에서, 스코어-찾기 알고리즘은 머신 학습 알고리즘이다. 임의의 종류의 머신 학습 알고리즘이 사용될 수 있다. 머신 학습 알고리즘들의 일부 예들은 인공 뉴럴 네트워크들 이를테면, 심층 인공 뉴럴 네트워크들, 콘볼루셔널 인공 뉴럴 네트워크들 또는 반복 인공 뉴럴 네트워크들을 포함한다. 본 개시내용의 실시예들의 머신 학습 방법은 주요 컴포넌트 분석 또는 오토 인코더(auto encoder)들과 같은 차원성 감소 방법들을 적용할 수 있다.

일부 실시예들에서, 머신 학습 알고리즘은 적어도 하나의 콘볼루셔널 층(convolutional layer)을 갖는 뉴럴 네트워크를 포함한다. 콘볼루셔널 뉴럴 네트워크들은 자연스럽게 인근들을 고려한다. (x, y)의 그리드, 바람직하게는 등거리 그리드로 재샘플링되거나 정의된 거리 맵들 또는 컬러에 대해, 이미지 분석 및 이미지 세그먼테이션을 위해 공개된 다수의 머신 학습 알고리즘들이 유사하게 적용될 수 있다. 표면 유형들 간을 차별화하기 위한 알고리즘은 또한 예컨대, 지원 벡터 머신들을 사용하는 보다 고전적인 머신 학습 알고리즘일 수 있다. 표면 유형들 간을 차별화하기 위한 알고리즘은 또한 베이지안 통계들 또는 회귀의 유형과 같은 보다 고전적인 통계 방법들에 기초하는 알고리즘일 수 있다. 다양한 위의 부류들의 알고리즘들은 또한 조합하여 사용될 수 있다.

일부 실시예들에서, 적어도 하나의 머신 학습 알고리즘은 구강내들에서 스캐너들로 일반적으로 레코딩되는 복수 유형들의 표면들에 대해 트레이닝된다. 치아들, 잇몸, 혀, 입 천장 등과 같은 구강내들에서 일반적으로 발견되는 다양한 유형들의 표면들에 대한 트레이닝 세트 이미지들에 주석을 달음으로써, 결과적인 가중치 결정이 더욱 강력하고 일관될 것이다.

표면 유형들 간을 차별화하기 위한 머신 학습 알고리즘의 트레이닝은 감독되고, 준-감독되거나 감독되지 않을 수 있다. 준-감독되거나 감독되는 학습에 대해, 트레이닝은 주석이 달린 뷰들 또는 주석이 달린 디지털 3D 표현들에 적어도 부분적으로 기초할 수 있다. 디지털 3D 표현에 대한 주석들은, 스티칭이 또한 공통 좌표계로의 각각의 뷰의 변환들을 산출하였기 때문에, 그 디지털 3D 표현에 기여한 모든 각각의 뷰에 역-투사될 수 있다. 따라서, 주석들은 뷰들로 전달될 수 있으며, 뷰들에 기초하여 머신 학습 알고리즘들을 트레이닝하는 데 사용될 수 있다. 주석은 사람 및/또는 일부 알고리즘에 의해 수행될 수 있다.

스캐닝 동안, 머신 학습 알고리즘은 하나 이상의 표면 유형들에 속하는 표면 데이터의 확신의 척도인 스코어들을 검출하도록 추론 모드에서 실행된다. 통상적으로, 스코어들은 추론에 있어 각각의 표면 유형에 대해 하나의 값을 갖는 벡터로서 표현될 수 있다. 뉴럴 네트워크를 사용하는 실시예들에서, 스코어들은 통상적으로, 가능하게는 로그-변환과 같은 일부 변환들을 적용한 후 출력 층으로부터 획득된다.

본 출원에서 사용된 바와 같은 확신의 척도는 확실성의 정도를 표시하는 일부 스코어를 의미한다. 특히, 기본 랜덤 변수의 분포가 알려져 있거나 알려진 것으로 가정되는 경우, 확신의 척도는 확률일 수 있다. 그러한 지식이 존재하지 않거나 어떠한 가정도 타당해 보이지 않을 때, 또는 다른 이유들로 바람직한 경우, 확신의 척도는 상기 확실성의 정도의 보다 주관적인 평가 및/또는 표현일 수 있다.

1의 스코어는 표면 데이터가 치아들 또는 잇몸과 같은 특정 표면 유형에 속한다는 특정 확신을 표현하는 반면, 0의 스코어는 표면 데이터가 그 특정 표면 유형에 속하지 않는다는 특정 확신을 표현하도록 하는 것이 수학적으로 편리할 수 있다. 그러면, 0으로부터 1로 증가하는 스코어들은 표면 데이터가 그 특정 표면 유형에 속한다는 확신이 증가함을 표현한다.

스티칭에 있어 표면 데이터 포인트에 대한 가중치는 예컨대, 스코어들의 함수로서 그 포인트에 대한 스코어들로부터 발견된다. 상기 함수가 최고 스코어를 갖는 표면 유형에 대해 1이고 그렇지 않은 경우 0인 실시예는 분류로서 당 업계에 알려져 있다. 분류를 위해 사용되는 머신-학습 알고리즘의 예는 [4]이다. 예컨대, 최고 스코어가 모든 다른 것들보다 상당히 큰 경우, 예컨대 모든 다른 것들의 합보다 큰 경우에만 1의 값을 리턴하는 보다 정제된 함수들을 사용하는 것이 유리할 수 있다. 예컨대, 표면 데이터 포인트가 여러 표면 유형들 중 어느 하나일 수 있다고 믿을 이유가 존재하는 경우, 함수가 여러 표면 유형들에 대해 비-제로 값들을 리턴하는 것이 또한 유리할 수 있다. 이 함수는 또한, 어떠한 스코어도 크지 않은 경우들에서 또는 유사한 열등하게 결정된 상황들에서 모든 표면 유형들에 대해 0을 리턴할 수 있다.

일부 실시예들에서, 표면의 유형은 하나 초과의 유형의 구내 조직을 표현한다. 일부 경우들에서, 상이한 구내 조직 유형들을 함께 그룹화하는 것, 예컨대, 치아 표면을 잇몸의 최상부와 함께 그룹화하는 것은, 그것이 디지털 3D 표현을 함께 스티칭하는 데 유용하기 때문에 유리할 수 있다.

일부 실시예들에서, 스티칭에 있어 각각의 표면 포인트의 가중치는 또한 표면들의 유형들에 대한 가중치들에 의해 결정된다. 이는, 스티칭에 있어 일부 특정 표면 데이터 포인트에 대한 가중치가, 예컨대 표면 유형 가중치들과 스코어들의 곱들의 모든 표면 유형들에 걸친 선형 조합으로서 상기 스코어들 및 표면 유형 가중치들로부터 발견된다는 것을 의미한다. 표면 유형 가중치들은 바람직하게는, 스티칭에 대해 바람직한 표면 유형은 더 높은 가중치들을 받고 다른 표면 유형들은 가중치가 낮아지게 선험적으로 할당된다. 일부 실시예들에서, 일부 표면 유형 가중치들은 0으로 세팅되어, 이러한 표면 유형들의 표면 데이터는 뷰들로부터 필터링된다(filtered out). 가중치 포뮬레이션에 영향을 미치는 부가적인 고려사항들 예컨대, 표면 데이터 포인트가 표현하는 표면 패치의 크기가 존재할 수 있는데, 예컨대, 그 이유는 그것이 패치 내부의 모든 포인트에 대해 가장 가까운 데이터 포인트이기 때문이다.

일부 실시예들에서, 추론은 뷰들이 레코딩되는 동안 실시간으로 또는 거의 실시간으로 실행될 수 있다. 이는, 스티칭이 또한 실시간으로 또는 거의 실시간으로 이루어질 수 있게 한다. 사용자가 스캔하는 동안 사이트의 3D 표현이 구축되고 시각화되어 사용자가 사이트를 네비게이팅하는데 도움이 되기 때문에, 스티칭을 실시간으로 수행하는 것이 유리하다. 따라서, 이러한 실시예들은 예컨대 US7720267, US8170306 및 US9349178과 같은 다른 머신 학습 추론 애플리케이션들보다 나은 명백한 개선이다.

본 개시내용에 따른 머신 학습 추론의 다른 실시예들은 보다 느리게 이를테면, 2개 이상의 뷰들이 레코딩된 후에 실행되지만, 더 양호한 정확도를 제공할 수 있다. 또한, 단일 데이터로부터의 일부 추론에 기초하는 어느 정도 제한된 정도의 표면 데이터 가중화를, 다수의 뷰들로부터의 일부 추론에 기초하는 부가적인 표면 데이터 가중화와 결합하여, 잠재적으로 속도와 정확도의 양호한 조합을 제공하는 것이 가능하다.

일부 실시예들에서, 표면 데이터는 또한 컬러 정보를 포함한다. 표면 데이터에 컬러 정보를 추가하는 것은 조직 유형 결정을 보다 확고하게 한다.

일부 실시예들에서, 적어도 하나의 머신 학습 알고리즘은 적어도 부분적으로, 구내 스캐너에 의해 레코딩된 데이터를 사용하여 트레이닝되었다. 상이한 제조자들로부터의 스캐너들 사이에 감도 및 이미지 품질의 변동이 존재할 수 있으므로, 머신 학습 알고리즘을 트레이닝하는 데 사용되는 데이터가 사용자에 의해 후속적으로 획득될 스캔들과 더 근접하게 일치할수록, 결과는 더 정확해질 것이다.

일부 실시예들에서, 적어도 하나의 머신 학습 알고리즘은 구내 스캐너의 오퍼레이터에 의해 적어도 부분적으로 트레이닝되었다. 본 개시내용의 스캐너 시스템은 적어도 하나의 사전 트레이닝된 머신 학습 알고리즘을 사용자에게 공급할 수 있다. 다른 실시예들에서, 스캐너의 사용자는 스캐너를 받은 후 적어도 일부 트레이닝을 수행한다. 예컨대, 부가적인 트레이닝 데이터는 치과 의사가 사용하는 특수한 종류의 장갑들 또는 면 롤(cotton roll)들이 나타나는 컬러 이미지 또는 표면 기하학적 구조 데이터를 포함할 수 있다. 부가적인 트레이닝 데이터는 또한 치과 의사가 평균-초과 비율의 소수 민족 환자 그룹으로부터 비롯될 수 있다. 부가적인 트레이닝을 통해, 스캐너는 또한 사용자의 스캐닝 스타일에 적응할 수 있다. 부가적인 트레이닝은 클라우드에서 또는 스캐너 시스템의 하나 이상의 프로세싱 유닛들 상에서 수행될 수 있다. 부가적인 트레이닝을 통해 머신 학습 알고리즘을 커스터마이징하는 것은 더 양호한 성능을 발휘할 가능성이 높을 것이기 때문에 유리할 수 있다.

일부 실시예들에서, 하나의 스코어-찾기 알고리즘이 하나의 유형의 애플리케이션에 대해 선택되고 적어도 하나의 다른 알고리즘이 다른 유형의 애플리케이션에 대해 선택된다. 추론 동안 추후 선택을 위해 상이한 유형들의 애플리케이션들에 대해 여러 머신 학습 알고리즘들을 트레이닝하는 것이 유리할 수 있다. 적절한 알고리즘의 선택은 예컨대, 사용자 인터페이스에서 스캐너의 사용자에 의해 이루어질 수 있다.

애플리케이션들의 유형들은 트레이닝되거나 추론된 표면 유형들의 세트에서 상이할 수 있다. 예컨대, 치간 유두 및 잇몸 주머니들을 표현하는 표면 유형을 포함하는 세트를 갖는 알고리즘은 치은염들을 갖는 환자들을 모니터링하는 데 적절할 수 있다. 다른 예에서, 치은들의 부분을 표현하는 표면 유형을 포함하는 세트를 갖는 알고리즘은 치아 표면 데이터가 희박하고 일반적으로 스티칭을 위해 충분하지 않은 무치아 환자들에 적절할 수 있다.

다른 실시예들에서, 애플리케이션의 유형은 특정 환자 연령 그룹, 특정 환자 민족성, 특정 치료 스타일, 특정 의학적 징후, 스캐너와 함께 사용되는 특정 종류의 장비, 또는 구강내의 특정 구역 중 적어도 하나에 의해 적어도 부분적으로 특성화된다. 예컨대, 하나의 알고리즘은 어린이들에게, 다른 알고리즘은 성인들에게 가장 적합하거나 또는 다른 민족들에 대비하여 일부 민족에 대해 가장 적합할 수 있다. 애플리케이션의 유형들은 또한, 예컨대, 조직- 또는 지역- 특정 표준 동작 절차들 또는 장비 등에 의해 결정되는 바와 같은 상이한 스타일들의 치과 치료를 표현할 수 있다.

일부 실시예들에서, 스코어들은 복수의 뷰들에 걸쳐 합산된다. 서브스캔들을 함께 스티칭할 때, 중간 디지털 3D 표현이 생성될 수 있다. 중간 표현에서의 각각의 복셀은 그 후, 다수의 뷰들로부터 이미지화될 수 있고, 스코어들은 그 후 더 강력한 스코어 결정을 하기 위해 다수의 뷰들에 걸쳐 합산될 수 있다.

일부 실시예들에서, 레코딩된 뷰들로부터의 데이터를 필터링하기 위한 다른 알고리즘들 또는 기준들이 적용된다.

일부 실시예들에서, 상기 다른 알고리즘들 중 하나는 복수의 뷰들에 걸친 기하학적 일관성(geometric consistency)을 평가한다. 그의 일 예는 US9629551B1에 개시된 바와 같이 기하학적 일관성에 기초한 이동 가능한 객체 검출이다. 추론 동안, 스코어들을 발견하기 전에 다른 기준들에 기초하여 표면 데이터를 필터링하는 것은 스티칭 문제를 단순화하는 반면, 상기 스코어들을 발견한 후에 다른 기준들에 기초하여 표면 데이터를 필터링하는 것은 전체 결과들을 개선할 수 있다. 그러나 트레이닝 동안, 이러한 방식으로 비교적 더 많은 트레이닝 데이터를 유지하도록 다른 기준들에 기초하여 필터링하지 않는 것이 유리할 수 있다.

본 개시내용의 유리한 실시예는 기하학적 일관성 및 의미론적 세그먼테이션에 기초한 필터링의 조합을 사용한다. 이 실시예에서, 제외된 볼륨은 바람직한 표면 유형들의 세그먼트들에 속하는 그러한 표면 데이터만으로부터 구축되는 디지털 3D 표현과 동일한 공간의 모든 데이터로부터 구축된다. 이를테면, 모든 뷰들이 수집되고 이에 따라 제외된 볼륨에 대한 대부분의 정보가 수집된 후, 제외된 볼륨에 있는 디지털 3D 표현의 부분들이 그 후 제거될 수 있다. 또한, 필터링을 통과하는 데이터만에 기초하여(그러나 일부 추후 분석을 위해 필터링된 데이터를 또한 유지함) 스티칭하는 것이 가능하다.

일부 실시예들에서, 스캐너는 또한 레코딩된 뷰들에 대한 측정된 표면 데이터의 일부 확실성 정보를 제공하고, 상기 확실성 정보는 스코어들을 적어도 부분적으로 결정한다. 일부 이러한 예시적인 실시예들에서, 스캐너는 US8878905에 개시된 포커스 스캐너와 같은 포커스 스캐너이다. 포커스 스캐너는 포커스 측정의 고유성으로부터 측정된 z(x, y) 데이터의 확실성을 공급할 수 있다. 다른 종류들의 3D 스캐너들이 측정된 표면 데이터의 확실성에 대한 정보를 또한 제공할 수 있다. 예컨대, 적어도 2개의 카메라들로 레코딩된 삼각측량 또는 투사된 조명 패턴들을 사용하는 스캐너들은 2개의 동시성 뷰들을 제공할 수 있으며, 이들 간의 일관성의 정도로부터 확실성을 도출할 수 있다. 다른 3D 스캐너들은 이미지 콘트라스트 또는 다른 정보로부터 확실성을 추론할 수 있다. 또 다른 스캐너들은 컬러과 같은 다른 표면 데이터의 확실성을 제공할 수 있다.

표면 데이터의 확실성들은 스티칭에 있어 그의 가중치들을 부가적으로 수정하는 데 사용될 수 있거나 트레이닝 및 추론 동안 사용될 수 있다. 확실성, 또는 뷰의 다른 표면 데이터는 예컨대, 증강된 거리 맵의 부가적인 채널들로서 수학적으로 표현될 수 있다. 그 후, 다중-채널 이미지 분석 및 이미지 세그먼테이션을 위해 공개된 다수의 머신 학습 알고리즘들이 본 개시내용에서 유사하게 적용될 수 있다.

본 개시내용의 다른 양상에서, 구강(oral cavity)의 적어도 부분의 디지털 3D 표현을 생성하기 위한 스캐너 시스템이 본원에서 개시되며, 이 스캐너 시스템은,

핸드헬드 구내 스캐너;

디지털 3D 표현을 위해 복수의 뷰들에 대한 표면 포인트들의 가중화된 스티칭을 수행하는 스티칭 알고리즘을 실행하기 위한 프로세싱 유닛을 포함하고, 스티칭 시에 각각의 표면 포인트의 가중치는 상기 표면 포인트가 특정 유형의 표면을 표현한다는 확신의 척도들인 스코어들에 의해 적어도 부분적으로 결정되고,

표면 포인트에 대한 스코어들은 입력으로서 적어도 표면 포인트에 대한 표면 데이터의 기하학적 구조 부분 및 그 표면 포인트 인근의 포인트들에 대한 표면 데이터를 취하는 적어도 하나의 스코어-찾기 알고리즘에 의해 발견된다.

머신 학습 알고리즘을 실행하는 데이터 프로세싱 유닛은 구내 스캐너의 부분일 수 있거나, 또는 이들은 핸드헬드 스캐너가 연결되는 다른 인클로저에 포함될 수 있다. 전력 수요 및 핸드헬드 스캐너를 상대적으로 차가운 상태(cool)로 유지하기 위한 규제 요건은, 프로세싱 수단을 별개의 인클로저에 배치하는 것을 유리하게 한다. 하나 이상의 프로세싱 유닛들은 PC, FPGA 등일 수 있고, GPU를 또한 포함할 수 있으며, 다른 데이터 프로세싱을 또한 수행할 수 있다. 프로세싱 유닛들은 가상 모델이 스캐닝 동안 스티칭됨에 따라 그 가상 모델이 도시되는 디스플레이에 연결될 수 있다.

일부 실시예들에서, 적어도 하나의 스코어-찾기 알고리즘은 머신-학습 알고리즘이다.

일부 실시예들에서, 스캐너는 적어도 근 텔레센트릭(nearly telecentric) 광학 시스템을 갖는다. 통상적으로, 뷰들이 스케일에 의해 영향을 받지 않을 때, 즉 주어진 표면 유형이 스캐너의 전체 피사계 심도에 걸쳐 동일한 해상도 및 크기로 이미지화될 때, 머신 학습 알고리즘을 추론을 위해 트레이닝 및 사용하는 것이 보다 용이하다. 텔레센트릭 광학 시스템을 갖는 스캐너는 구조에 의해 이러한 이점을 제공하는 반면, 0보다 크지만 10도 미만의 시야각을 갖는 것과 같이 근 텔레센트릭 광학 시스템을 갖는 스캐너는 그의 근사치를 제공한다. 더 큰 시야각을 갖는 스캐너들에 대해, 머신 학습에 사용하기 전에 뷰들을 재샘플링하는 것이 유리할 수 있다. 예컨대, 구조 또는 캘리브레이션으로부터 광학 시스템에 관한 지식이 주어지면, 명백한 직교 뷰가 컴퓨팅될 수 있다. 재샘플링은 해상도가 아니라, 크기에 대한 스케일 효과들을 보상할 수 있기 때문에, 근 텔레센트릭 광학 시스템을 갖는 스캐너가 재샘플링을 사용하는 스캐너보다 선호될 수 있다.

본 개시내용의 일부 실시예들에서, 스캐너는 공초점 구내 스캐너이다.

본 개시내용의 일부 실시예들에서, 스캐너는 또한 측정된 표면 데이터의 일부 확실성 정보를 공급 및 이용할 수 있다. 일부 이러한 예시적인 실시예들에서, 스캐너는 US8878905에 개시된 포커스 스캐너와 같은 포커스 스캐너이다. 포커스 스캐너는 포커스 측정의 고유성으로부터 측정된 z(x, y) 데이터의 확실성을 공급할 수 있다. 다른 종류들의 3D 스캐너들이 측정된 표면 데이터의 확실성에 대한 정보를 또한 제공할 수 있다. 예컨대, 2개의 카메라들로 레코딩된 투사된 조명 패턴들의 삼각측량을 사용하는 스캐너들은 2개의 동시성 뷰들을 제공할 수 있으며, 이들 간의 일관성의 정도로부터 확실성을 도출할 수 있다. 다른 3D 스캐너들은 이미지 콘트라스트 또는 다른 정보로부터 확실성을 추론할 수 있다. 또 다른 스캐너들은 컬러과 같은 다른 표면 데이터의 확실성을 제공할 수 있다.

표면 데이터의 확실성들은 스티칭에 있어 그의 가중치들을 부가적으로 수정하는 데 사용될 수 있거나 트레이닝 및 추론 동안 사용될 수 있다. 확실성, 또는 뷰의 다른 표면 데이터는 예컨대, 증강된 거리 맵의 부가적인 채널들로서 수학적으로 표현될 수 있다. 그 후, 다중-채널 이미지 분석 및 이미지 세그먼테이션을 위해 공개된 다수의 머신 학습 알고리즘들이 본 개시내용의 실시예들에 따라 유사하게 적용될 수 있다.

통상적으로, 뷰들이 스케일에 의해 영향을 받지 않을 때, 즉 주어진 표면 유형이 스캐너의 전체 피사계 심도에 걸쳐 동일한 해상도 및 크기로 이미지화될 때, 머신 학습 알고리즘을 추론을 위해 트레이닝 및 사용하는 것이 보다 용이하다. 텔레센트릭 광학 시스템을 갖는 스캐너는 구조에 의해 이러한 이점을 제공하는 반면, 0보다 크지만 10도 미만의 시야각을 갖는 것과 같이 근 텔레센트릭 광학 시스템을 갖는 스캐너는 그의 근사치를 제공한다. 더 큰 시야각을 갖는 스캐너들에 대해, 머신 학습에 사용하기 전에 뷰들을 재샘플링하는 것이 유리할 수 있다. 예컨대, 구조 또는 캘리브레이션으로부터 광학 시스템에 관한 지식이 주어지면, 명백한 직교 뷰가 컴퓨팅될 수 있다. 재샘플링은 해상도가 아니라, 크기에 대한 스케일 효과들을 보상할 수 있기 때문에, 근 텔레센트릭 광학 시스템을 갖는 스캐너가 재샘플링을 사용하는 스캐너보다 선호될 수 있다.

다른 양상에서, 본원에서 개시된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령을 포함하는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이 본원에서 개시된다.

본 개시내용의 실시예들의 위의 및/또는 부가적인 목적들, 특성들 및 이점들은 첨부된 도면(들)을 참조하여 본 개시내용의 실시예들의 다음의 예시적이고 비-제한적인 상세한 설명에 의해 추가로 설명될 것이다.
도 1은 본 개시내용의 실시예에 따른 스캐너 시스템을 도시한다.
도 2는 본 개시내용의 실시예에 따른 스캐너 시스템의 예시적인 핸드헬드 부분의 개략도를 도시한다.
도 3은 본 개시내용의 실시예에 따라 거리 맵을 결정하는데 사용되는 하나의 공간 기간 체커보드 패턴의 도면을 도시한다.
도 4는 본 개시내용의 실시예에 따라, 동일한 위치에서 그의 최대치를 갖는 2개의 픽셀 그룹들에 대한 예시적인 곡선들을 도시한다.
도 5a는 본 개시내용의 실시예에 따른 하위 구강의 부분의 단면도를 도시한다.
도 5b는 본 개시내용의 실시예에 따라 머신 학습 알고리즘을 트레이닝하기 위한 절차를 도시한다.
도 6은 본 개시내용의 실시예에 따라 적합한 콘볼루셔널 뉴럴 네트워크의 아키텍처를 도시한다.
도 7a는 본 개시내용의 실시예에 따라, 트레이닝된 머신 학습 알고리즘이 추론 모드에서 어떻게 적용될 수 있는지에 관한 예를 도시한다.
도 7b는 본 개시내용의 실시예에 따라, 트레이닝된 머신 학습 알고리즘이 추론 모드에서 어떻게 적용될 수 있는지에 관한 다른 예를 도시한다.
도 8은 본 개시내용의 실시예에 따라, 제외된 볼륨에 기초한 필터링을 또한 사용하기 위해 도 7b의 알고리즘이 어떻게 확장되는지에 관한 예를 도시한다.

도 1은 본 개시내용의 실시예에 따른 스캐너 시스템의 예시적인 애플리케이션을 도시한다. 치과 의사는 핸드헬드 스캐너(100)를 보유한다. 이 핸드헬드 스캐너는 일반적으로, 케이블(60)에 의해 스크린(55)을 갖는 랩톱 컴퓨터(50)에 연결된다. 일부 경우들에서, 핸드헬드 스캐너는 무선일 수 있다. 스티칭의 결과인 디지털 3D 표현은 스캐닝 동안 스크린(55) 상에 디스플레이된다. 디스플레이는 새로운 뷰들이 레코딩되고 디지털 3D 표현으로 스티칭되는 동안, 시간에 따라 업데이트된다. 랩톱(50)은 본 개시내용의 실시예들의 알고리즘들을 실행하는, CPU 및 GPU를 포함하는 하나 이상의 프로세싱 유닛들을 위한 인클로저이다. 일부 스캐너들은 케이블 보다는, 무선 전달에 의해 프로세싱 수단과 통신한다.

도 2는 본 개시내용의 실시예에 따라 구내 스캐너의 핸드헬드 부분(100)의 예를 개략적으로 도시한다. 그것은, LED 광원(110), 렌즈(111), 패턴(130)(여기서 명확성을 위해 비스듬히 도시되지만, 진정한 단면뷰에서 라인임), 빔 스플리터(140) 및 이미지 센서(180)를 포함한다. 스캐너는 이동 가능한 렌즈(150)로 인해 포커스 스캐너이다. 치아(301) 및 잇몸(302)을 포함하는, 스캔되는 구강내의 부분을 향해 빔 경로를 폴딩하는 거울(170)이 있다. 또한, 광원(110)으로부터 방출되고, 광학 시스템을 통해 그것들이 포커싱하는 치아 표면 상의 위치로 송신되고 광학 시스템을 통해 리턴되고 그것들이 또한 포커싱하는 센서(180) 상으로 이미지화되는 일부 광선들이 점선들로서 도시된다. 도 2에 도시된 포커싱 렌즈(150)의 포지션에 대해, 일부 잇몸(302)이 가시적이지만, 인 포커스(in focus)가 아니다. 렌즈(150)의 다른 포지션들에 대해 포커스가 맞춰질 수 있다.

도 3 및 도 4는 예시적인 핸드헬드 스캐너(100)로부터의 데이터가 거리 맵들을 산출하기 위해 어떻게 프로세싱되는지를 도시한다. 도 3a는 스캔된 표면 상의 하나의 공간 기간(spatial period)의 이미지가 인 포커스일 때 이미지 센서(180)에 의해 인식되는 바와 같은 그 공간 기간 체커보드 패턴(130)의 뷰이다. 패턴의 완전히 디포커싱된 이미지의 극단의 경우에, 이미지 센서는 균일한 회색을 인식할 것이다. 이미지 센서 픽셀들 및 패턴이 정렬되어서 패턴의 경계들이 픽셀들의 경계들로 이미지화되는 경우가 유리하다. 도 3b가 도시하는 바와 같이, 표면이 인 포커스일 때 어두워질 것으로 예상되는 픽셀들에는 가중치 f(i) = -1이 할당되는 반면, 밝을 것으로 예상되는 픽셀들에는 가중치 f(i) = 1이 할당되며, 여기서 i는 픽셀 인덱스이다.

포커스 렌즈가 이동됨에 따라, 이미지들이 취해진다. 모든 각각의 이미지에 대한 포커스 렌즈의 포지션들 s는 인코더에 의해 그리고 필요한 경우 적절한 보간에 의해 발견된다. 포지션 p에 대한 이미지 내의 모든 픽셀 그룹들에 대해, 상관 측정이 다음과 같이 계산되며:

여기서 I(i)는 픽셀들에서의 측정된 강도들이다. 도 3b의 예에 대해, i는 1 내지 n =(6 * 6) = 36이다. 통상적으로, 통상적으로 직사각형 패턴(130) 및 센서(180) 상의 그의 이미지에 다수의 공간 기간들 예컨대, N = 100 * 120 = 12,000 픽셀 그룹들이 존재하여서, 이미지는 이 예에서 적어도 36 * 12,000 픽셀들로 구성될 것이란 점에 주의한다.

A가 모든 s에 걸쳐, 즉 포커스 렌즈의 패스(pass) 내에서 획득된 시리즈 내의 모든 이미지들에 걸쳐 그의 최대치에 있을 때 픽셀 그룹은 인 포커스이다. 그 최대치의 위치는 그 후 측정된 표면까지의 거리 z(s)를 결정하는데, 그 이유는 스캐너의 광학기가 구조로부터 알려져 있고 이에 따라 렌즈(150)의 모든 포지션들 및 모든 픽셀 그룹들에 대한 초점면의 위치가 알려져 있기 때문이다. 거리 z(s)는 또한 캘리브레이션(calibration)에 의해 정제되거나 그로부터 발견될 수 있다. 스캐너에 대한 좌표계를 정의하는 이미지 센서 상의 일부 포인트 및 그의 평면, 및 픽셀 그룹의 중심과 같이 그 좌표계에서 (x, y)를 갖는 각각의 픽셀 그룹을 통해, 주어진 픽셀 그룹에 대한 거리 z(s)가 포인트 z(x, y)를 산출한다. 모든 픽셀 그룹들은 동일한 크기를 갖기 때문에, 그리드로부터의 모든 위치들(x, y)이 있다.

픽셀 그룹이 일부 포지션 s에서 완전히 아웃 포커스(out of focus)인 경우, 즉, 모든 픽셀들이 동일한 값을 갖는 경우, 그 s에서 A = 0이라는 것에 주의한다. 또한, 일부 픽셀 그룹들은 예컨대, 이미지에 대한 표면이 없거나 표면이 존재하지만 포커스 범위 밖에 있을 때 포커스가 맞지 않을 수 있다는 것에 주의한다. 이러한 픽셀 그룹들에 대한 거리를 결정하는 것이 가능하지 않다.

포커스 렌즈는, 주어진 픽셀 그룹이 일부 손 모션이 존재하는 경우에도 스캔된 표면의 동일한 구역을 적어도 대략적으로 표현하도록 신속하게 이동되어야 한다. 예컨대, 포커스 렌즈는 앞뒤로 이동하도록 10Hz의 사이클 주파수로 모든 s를 통과하여, 초당 20번의 패스들을 갖는다. 동시에, 200번과 같은 패스 동안 이미지들의 수는 거리 측정의 양호한 해상도를 산출하기 위해 다소 높아야 한다. 이는 이미지 센서가 다소 빠르다는 것을 의미하며, 이 예에서, 10Hz * 2 * 200 = 4000Hz의 레이트로 이미지들을 취할 필요가 있을 것이다.

도 4는 픽셀 그룹에 대한 2개의 예시적인 곡선들 A(s)를 도시한다. 둘 모두는 동일한 위치 s = 10에서 그의 최대치를 갖는다. 곡선 A1은, A2의 경우보다 A1의 경우, 그의 최대 값이 더 높고 비-제로 존의 폭이 더 작다는 점에서 A2보다 더 뚜렷한 최대치를 갖는다. 따라서 곡선 A1에 기초한 거리 측정은 곡선 A2에 기초한 측정보다 더 확실하다고 간주될 수 있다. 덜 확실한 거리 측정들에 대해 여러 이유들이 있을 수 있다. 일부는 스캔된 표면의 성질들 예컨대, 표면이 시야각에 대해 경사지거나 변동되는 반사율을 갖는다는 사실에 기인한다. 손 모션은 종종 덜 확실한 거리 측정들로 또한 이어진다. 확실성은 예컨대, 최대 값, 최대 값의 로그, A가 그의 최대 값의 절반보다 큰 존의 폭의 역수 등으로서 정량화될 수 있다.

요약하면, 예시적인 스캐너는 정의되지 않거나, 또는 연관된 확실성 q를 갖는 좌표들(x, y)과 더불어, 픽셀 그룹 당 하나의 z 값을 갖는 거리 맵들을 제공한다. 2개의 채널들을 갖는 이미지와 유사하게, (z, q)(x, y)의 조합은 증강된 거리 맵이라 칭해질 수 있다. 구강내의 스캔된 부분의 전체 3D 표현은 그 후, 다양한 스캐너 포즈들로 획득된 증강된 거리 맵들을 스티칭함으로써 획득된다.

다른 유형들의 3D 스캐너들은 삼각측량 3D 레이저 스캐너들 및 구조화된-광 3D 스캐너들을 포함한다. 삼각측량 3D 레이저 스캐너는 레이저 광을 사용하여 환경 또는 객체를 프로빙(probe)한다. 삼각측량 레이저는 객체 상에 레이저를 비추고 카메라를 활용하여 레이저 도트의 위치를 찾는다. 레이저가 표면으로부터 얼마나 멀리서 부딪치는지에 의존하여, 레이저 도트는 카메라의 시야 내의 상이한 장소들에서 나타난다. 이 기술은 레이저 도트, 카메라 및 레이저 이미터가 삼각형을 형성하기 때문에 삼각측량이라 칭해진다. 단일 레이저 도트 대신, 레이저 스트라이프가 사용될 수 있고, 이후, 획득 프로세스를 가속하기 위해 객체에 걸쳐 스윕(sweep)될 수 있다.

구조화된-광 3D 스캐너들은 객체 상에 광의 패턴을 투사하고 객체 상의 패턴의 변형을 관찰한다. 패턴은 1차원 또는 2차원일 수 있다. 1차원 패턴의 예는 라인이다. 라인은 예컨대, LCD 프로젝터 또는 스위핑 레이저를 사용하여 객체 상에 투사된다. 패턴 프로젝터로부터 약간 오프셋된 카메라는 라인의 형상을 보고 삼각측량과 유사한 기술을 사용하여 라인 상의 모든 각각의 포인트의 거리를 계산한다. 단일-라인 패턴의 경우에, 한 번에 하나의 스트립씩 거리 정보를 수집하기 위해 라인이 시야에 걸쳐 스윕된다. 다른 3D 스캐너 원리들이 당업계에 잘 알려져 있다.

일 세트의 표면 유형들에 어떻게 도달하는지에 관한 예에 대해서, 도 5a가 참조된다. 도면은 앞니(600), 그의 잇몸 연(610), 잇몸(630) 및 아랫 입술(650)을 갖는 아래 입의 단면도를 도시한다. 하나의 가능한 세트의 표면 유형들은 단순히 이들 3개의 유형들의 조직에 따를 것이다. 그러나 더 양호한 트레이닝을 위해, 세트에서 표면 유형들의 수를 감소시키는 것이 유리할 수 있다. 치아들 및 근처 잇몸을 레코딩하는 목적을 갖는 범용 유형의 애플리케이션을 예로 들면, "치아들"과 포인트(620)까지 일부 근처 잇몸 조직이 묶여질 수 있고, 나머지는 제2 표면 유형이 된다. 전자는 스티칭에 대해 "바람직하고", 후자는 "바람직하지 않다". 포인트(620)(3D의 라인)는 해부학적 의미를 가질 필요는 없지만, 예컨대, 스캐너가 치아의 적어도 일부 부분을 이미지화할 때 스캐너의 시야의 범위로부터 세팅될 수 있다. 이 예에서는 치과 기구, 손가락, 면 패드 또는 다른 아티팩트들의 임의의 표면이 또한 "바람직하지 않은" 유형으로 묶인다.

본 개시내용의 실시예에 따라 머신 학습 알고리즘을 트레이닝하기 위한 절차에 대한 예가 도 5b에 도시된다.

단계(501)에서, 스캐너는 도 1 내지 도 4에 대해 설명된 바와 같이 스티칭되는 다수의 증강된 거리 맵들을 레코딩함으로써 구강내의 부분의 디지털 3D 표현을 생성하는 데 사용된다. 일부 뷰들 및 이에 따른 일부 증강된 거리 맵들은 치과기구, 손가락, 면 패드 또는 다른 아티팩트들을 포함할 수 있다. 이러한 아티팩트들은 디지털 3D 표현에서 적어도 부분적으로 표현되어, 그 모델이 구강내의 표현을 비교적 열등하게 만들 수 있다.

단계(502)에서, 디지털 3D 표현의 부분들은 도 5a에 대해 위에서 정의된 바와 같은 표면 유형별로 주석이 달린다. 예컨대, 그래픽 사용자 인터페이스에서 사람에 의해 주석 달기(annotation)가 수행될 수 있다. 주석 달기는 또한 반-자동화될 수 있으며, 사람은 다른 방법들 예컨대, 기존 이미지 분석 알고리즘들로 획득된 제안들을 받는다.

단계(503)에서, 주석이 달린 부분들은 스티칭에서 발견된 변환들의 역들을 사용하여, 개별 증강된 거리 맵들로 다시 투사된다. 이는 각각의 증강 거리 맵에 대한 클래스 맵 c(x, y)을 제공하며, 여기서 c는 클래스 표시기이다. 주석은 추정상으로 완벽한 정보를 제공하기 때문에, 단계(502)의 표면 유형들 중 임의의 것에 속하는 증강된 거리 맵의 부분의 스코어들 p의 벡터에 도달하기 위해 원-핫 인코딩(one-hot encoding)이 사용된다. 따라서, p에서, 클래스 c에 대한 엘리먼트는 1로 세팅되고 다른 모든 엘리먼트들은 0으로 세팅된다. 여기서 사용된 예에서, p는 2개의 엘리먼트들을 가지며, 하나는 "바람직한" 경우이고, 하나는 "바람직하지 않은" 경우이다.

단계들(501-503)은 적어도 m = 2 레코딩들과 같은 다수의 유사한 레코딩들 R₁, R₂,…, R_m에 대해 수행된다. 레코딩들의 수 m은 또한, 예컨대 10개, 20개, 50개, 100개, 200개, 500개 또는 1000개, 또는 그 사이의 임의의 수 또는 그 이상의 레코딩들일 수 있다. 레코딩들은 스캔되는 구강내의 부분에 대해 유사하며, 이들은 또한, 일부 뷰들에서 아티팩트들에 대해 유사할 수 있어, m개의 레코딩들로부터 생성된 m개의 디지털 3D 표현들에 유사한 방식으로 영향을 준다.

단계(504)에서, 뉴럴 네트워크는 (z, q)(x, y)에 대해 p(x, y)를 예측하도록 트레이닝된다. 불확실성 q는 도 4에 대해 설명된 바와 같이 A의 최대 값의 로그로 취해진다. 스캐너가 위에서 설명된 바와 같이 직사각형 그리드 상에 정의되는 거리 맵을 출력하기 때문에, 증강된 거리 맵 (z, q)(x, y)은 뉴럴 네트워크로의 입력이 되는 2-채널 직사각형 이미지로서 해석될 수 있다.

단계들(501 ― 504)은 또한 단일 거리 맵들, 단일 증강된 거리 맵들(둘 모두의 경우들은 스티칭 및 사소한 역-투사들을 초래하지 않음)에 대해, 또는 다수의 거리 맵들에 대해 수행될 수 있지만, 다수의 증강된 거리 맵들에 대해 이들을 수행하는 것이 바람직한데, 그 이유는 그 성상도가 대부분의 정보를 제공하기 때문이라는 것에 주의한다. 컬러 데이터를 또한 제공하는 스캐너에 대해, 트레이닝 및 예측은 (z, q, r, g, b)(x, y)에 대해 p(x, y)로서 포뮬레이팅될 수 있으며, 여기서 r, g, b는 컬러 측정의 적색, 녹색 및 청색 컴포넌트들이고; 유사하게, 다른 또는 부가적인 데이터가 스캐너에 의해 제공된다.

도 6은 적합한 콘볼루셔널 뉴럴 네트워크의 예시적인 아키텍처를 도시하며, 여기서 다음과 같다:

I : 120의 폭 및 100의 높이(도 3 및 도 4의 설명에 사용된 예시적인 값들) 및 각각 z 및 q에 대한 2개의 채널들을 갖는 입력 이미지

P : 이미지 주위에 15-픽셀 폭 경계를 갖는 제로 패딩

C : 정류된 선형 유닛이 뒤따르는 콘볼루셔널 층

CR : 후속 층의 동작에 적합하도록 크기를 감소시키기 위한 크로핑 층

B : 팩터 2 및 쌍선형 보간을 사용하는 업스케일링 층

M : 최대-풀링 층

+ : 대응하는 채널들의 엘리먼트-별 추가를 위한 층

O : p의 차원과 동일한 채널들의 수(여기에 사용된 예에서 2개)를 갖는 출력 이미지.

다양한 층들 및 동작들에서의 데이터의 차원들은 또한 도 6에서 도시된다. 다수의 네트워크 아키텍처들이 가능하다. 바람직하게는, 뉴럴 네트워크는 3 x 3 x M과 같이 작은 커널들을 갖는 콘볼루셔널 층들을 가지며, 여기서 M은 채널들의 수이다. 표면 포인트 이웃들의 영향은 콘볼루셔널 층들의 사용으로부터 비롯된다. 더 넓은 이웃들의 영향은 최대-풀 층들의 사용으로부터 비롯된다.

이는 입력 이미지와 동일한 (x, y)에 대해 정의되기 때문에, 출력 이미지는 입력 이미지와 동일한 폭 및 높이를 가져서, 모든 각각의 입력 표면 데이터 포인트에 대해, 출력 p가 존재한다.

도 7a는 트레이닝된 머신 학습 알고리즘이 추론 모드에서 어떻게 적용되는지에 관한 제1 예를 도시한다.

단계(700)에서, 예측할 표면 유형들의 세트가 선택된다. 단계(502)에서 트레이닝 동안 정의된 표면 유형들만이 단계(700)에서 선택될 수 있지만, 가능하게는, 일부 트레이닝 유형들이 그룹화될 수 있다. 현재의 예에 대해, 트레이닝 및 추론 세트들은 동일하다고 가정하며, "바람직한" 및 "바람직하지 않은"의 두 가지 표면 유형들을 갖는다. 그러나 트레이닝 동안 정의된 임의의 수의 표면 유형들이 사용될 수 있다.

단계(701)에서, 증강된 거리 맵 (z, q)(x, y)이 레코딩된다.

단계(702)에서, (z, q)(x, y)에 대한 스코어 벡터 p(x, y)가 레코딩된 증강된 거리 맵의 모든 포인트들(x, y)에 대해 추론된다. 머신 학습 알고리즘은 추론을 제공한다. 도 6의 예시적인 콘볼루셔널 뉴럴 네트워크의 경우, p(x, y)는 다중-채널 출력 이미지 O에서 좌표들(x, y)을 갖는 값들에 의해 주어지는데, 즉 각각의 채널은 벡터 p의 하나의 엘리먼트를 제공한다.

단계(703)에서, 스티칭 시에, p(x, y)에 대한 가중치 w는,

예컨대, 내적

으로서 표면 유형 가중치들 및 스코어들의 함수에서 발견되며, 여기서 w는 표면 유형 가중치들의 벡터이고 g는 스코어들의 함수 g에 대한 평가들의 벡터이다. 그 예에 대해, w는 [1, 0](제1 엘리먼트가 "바람직한" 표면 유형을 지칭함)로서 선택될 수 있다. 함수 g는 예컨대,

로서 선택될 수 있다.

0.6 이외의 값들이 선호도에 의존하여 사용될 수 있으며, 바람직하게는 0.5 초과의 값들이 사용될 수 있지만, 원칙적으로 0.5 미만의 값들이 또한 사용될 수 있다. 단계(704)에서, 포인트들 z(x, y)는 단계(703)에서 발견된 그의 가중치들에 따라 가중화된 이전 뷰들로부터 구축된 디지털 3D 표현으로 스티칭된다. 예컨대, 표준 ICP 알고리즘이 스티칭에 대해 사용되며, w > 0를 갖는 모든 포인트들은 기본 최소화 문제에 포함된다. 바로 그 제1 뷰에 대해, 디지털 3D 표현은 포인트들 z(x, y)로 세팅된다.

그 후, 절차는 통상적으로 오퍼레이터가 스캐너를 이동함에 따라 상이한 포즈들로부터 취해진 부가적인 뷰들에 대해 단계(701)로부터 반복될 수 있거나, 절차는 통상적으로 디지털 3D 표현이 완료되었다고 오퍼레이터가 결정하는 경우 종결될 수 있다. 그 후, 그 제1 디지털 3D 표현은 종종 제2 디지털 3D 표현인 메시(mesh)로 변환된다.

도 7b는 트레이닝된 머신 학습 분류 알고리즘이 추론 모드에서 어떻게 적용되는지에 관한 제2 예를 도시한다.

단계들(700 내지 702)은 도 7a의 제1 예에서와 같다.

단계(714)에서, 모든 포인트들 z(x, y)은 이전 뷰들로부터 구축된 중간 디지털 3D 표현으로 스티칭되고 p(x, y)의 값들도 그렇게 수행되며, 따라서 각각 (X, Y, Z) 및 p(X, Y, Z)로서 디지털 3D 표현의 공간에서 공간 좌표들을 수신한다. 실제 목적들을 위해, 중간 가상 모델의 3D 공간은 복셀들로서 표현되고 p(X, Y, Z) 값들은 가장 가까운 복셀에 할당된다. 각각의 복셀에서, p의 값들은 뷰들에 걸쳐 합산되며, 얼마나 많은 값들이 추가되었는지에 관한 카운트가 유지되어서, 예컨대 평균이 추후에 컴퓨팅될 수 있다.

그 후, 절차는 통상적으로 오퍼레이터가 스캐너를 이동함에 따라 상이한 포즈들로부터 취해진 부가적인 뷰들에 대해 단계(701)로부터 반복할 수 있거나, 절차는 통상적으로 중간 디지털 3D 표현이 완료되었다고 오퍼레이터가 결정하는 경우 종결될 수 있다.

단계(713)에서, 가중치들은 단계(703)와 유사한 방식으로 발견되지만, 평균 p에 대해, 그 평균은 합계를 값들의 수로 나눔으로써 발견된다. 가중치 0을 갖는 복셀들은 필터링되고 어떠한 값들도 없는 복셀들도 필터링된다.

단계(715)에서, 최종 가상 모델은 예컨대, 마칭 큐브 알고리즘(marching cubes algorithm)을 사용하여 잔여 복셀들에서의 포인트들(X, Y, Z)로부터 구축된다.

도 8은, 제외된 볼륨에 기초한 필터링을 또한 사용하기 위해 도 7b의 알고리즘이 어떻게 확장되는지에 관한 예를 도시한다. 우선, 제외된 볼륨은 비어 있다.

단계들(700 ― 702 및 714)은 도 7에 대해 위에서 설명된 바와 같다.

단계(814)에서, 제외된 볼륨은 단계(714)로부터 스티칭된 포인트들 (X, Y, Z)로 업데이트된다. 제외된 볼륨은 예컨대, 보이는 표면으로부터 스캐너까지의 공간이며, 스캐너 본체이다. 실제 목적들을 위해, 제외는 단계(714)에서 사용된 것과 동일한 복셀 공간에서 표현될 수 있다. 이진 플래그는 복셀이 제외된 공간의 부분인지를 표시할 수 있다.

그 후, 절차는 위에서 설명된 바와 같이 부가적인 뷰들에 대해 단계(701)부터 반복될 수 있다. 더 많은 뷰들이 레코딩됨에 따라, 제외된 공간에 있는 것으로 플래깅된 복셀들의 수는 증가할 수 있지만 결코 감소하지 않는다.

단계(713)는 도 7에 대해 위에서 설명된 바와 같다.

단계(813)에서, 합산된 p의 값들을 여전히 포함하지만 제외된 볼륨에 있는 모든 복셀들이 삭제된다. 이 단계는 복셀 공간들이 동일한 경우 구현하기가 가장 쉽고; 그렇지 않으면, 제외된 볼륨 복셀 공간에서 가장 근접한 복셀을 발견하기 위해 최근접-이웃 검색이 사용될 수 있다.

단계(715)는 도 7에 대해 위에서 설명된 바와 같다.

일부 실시예들이 상세히 설명되고 도시되었지만, 본 발명은 이들로 제한되는 것이 아니라, 다음의 청구항들에서 정의된 청구 대상의 범위 내에서 다른 방식들로 또한 구체화될 수 있다. 특히, 다른 실시예들이 활용될 수 있고 구조적 및 기능적 수정들이 본 발명의 범위를 벗어나지 않으면서 이루어질 수 있다는 것이 이해될 것이다.

여러 수단들을 열거하는 디바이스 청구항들에서, 이들 수단들 중 여러 개는 하나의 그리고 동일한 하드웨어 아이템에 의해 구체화될 수 있다. 특정 측정들이 서로 상이한 종속 청구항들에서 인용되거나 상이한 실시예들에서 설명된다는 단순한 사실만으로 이 측정들의 결합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다.

청구항은 선행 청구항들 중 임의의 것을 참조할 수 있고, "임의"란 선행하는 청구항들 중 "임의의 하나 이상"을 의미하는 것으로 이해된다.

"포함하다/포함하는"이라는 용어는 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 또는 컴포넌트들의 존재를 특정하는 것으로 해석되지만, 하나 이상의 다른 특징들, 정수들, 단계들, 컴포넌트들 또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 강조되어야 한다.

참고문헌

[1] Khoshelham K, Dos Santos DR, Vosselman G. Generation and weighting of 3D point correspondences for improved registration of RGB-D data. Proc. ISPRS Ann. Photogramm. Remote Sens. Spat. Inf. Sci. 2013 Nov 11;5:W2.

[2] Kazhdan M, Hoppe H. Screened Poisson surface reconstruction. ACM Transactions on Graphics (TOG). 2013 Jun 1;32(3):29

[3] Newcombe RA, Izadi S, Hilliges O, Molyneaux D, Kim D, Davison AJ, Kohi P, Shotton J, Hodges S, Fitzgibbon A. KinectFusion: Real-time dense surface mapping and tracking. In: Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on 2011 Oct 26 (pp. 127-136). IEEE

[4] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2015 (pp. 3431-3440).

Claims

구강내(intraoral cavity)의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법으로서,
구내 스캐너를 사용하여 적어도 상기 구강내의 부분의 표면 포인트들의 기하학적 구조(geometry)를 표현하는 표면 데이터를 포함하는 복수의 뷰들을 레코딩하는 단계;
상기 표면 포인트가 특정 유형의 표면을 표현한다는 확신(belief)의 척도들인 스코어들에 적어도 부분적으로 기초하여 각각의 표면 포인트에 대한 가중치를 결정하는 단계; 및
상기 결정된 가중치들에 기초하여 상기 디지털 3D 표현을 생성하기 위해 상기 복수의 뷰들에서 상기 표면 포인트들의 가중화된 스티칭(weighted stitching)을 수행하는 스티칭 알고리즘을 실행하는 단계를 포함하고,
상기 표면 포인트들에 대한 스코어들은 입력으로서 적어도 상기 표면 포인트에 대한 표면 데이터의 기하학적 구조 부분 및 상기 표면 포인트 인근의 포인트들에 대한 표면 데이터를 취하는 적어도 하나의 스코어-찾기 알고리즘(score-finding algorithm)에 의해 발견되는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제1 항에 있어서,
상기 적어도 하나의 스코어-찾기 알고리즘은 머신-학습 알고리즘인,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제2 항에 있어서,
상기 적어도 하나의 머신 학습 알고리즘은 적어도 하나의 콘볼루셔널 층(convolutional layer)을 갖는 뉴럴 네트워크를 포함하는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제2 항 또는 제3 항에 있어서,
상기 적어도 하나의 머신 학습 알고리즘은 구강내들에서 스캐너들로 일반적으로 레코딩되는 복수 유형들의 표면들에 대해 트레이닝되는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 표면 데이터는 또한 컬러 정보를 포함하는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제1 항 내지 제5 항 중 어느 한 항에 있어서,
적어도 하나의 머신 학습 알고리즘은 상기 디지털 3D 표현의 생성 이전에 구내 스캐너에 의해 레코딩된 데이터를 사용하여 적어도 부분적으로 트레이닝되는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
적어도 하나의 머신 학습 알고리즘은 구내 스캐너/상기 구내 스캐너의 오퍼레이터에 의해 적어도 부분적으로 트레이닝되는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제10 항 내지 제13 항 중 어느 한 항에 있어서,
상기 다른 알고리즘들 중 하나는 복수의 뷰들에 걸친 기하학적 일관성(geometric consistency)을 평가하는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
제1 항 내지 제8 항 중 어느 한 항에 있어서,
상기 스캐너는 또한 상기 레코딩된 뷰들에 대한 측정된 표면 데이터의 일부 확실성 정보를 제공하고, 상기 확실성 정보는 상기 스코어들을 적어도 부분적으로 수정하는,
구강내의 적어도 부분의 디지털 3D 표현을 생성하기 위한 방법.
구강(oral cavity)의 적어도 부분의 디지털 3D 표현을 재구성하기 위한 스캐너 시스템으로서,
핸드헬드 구내 스캐너; 및
상기 디지털 3D 표현을 위해 복수의 뷰들에 대한 표면 포인트들의 가중화된 스티칭을 수행하는 스티칭 알고리즘을 실행하도록 구성된 프로세싱 유닛을 포함하고,
상기 스티칭 시에 각각의 표면 포인트의 가중치는 상기 표면 포인트가 특정 유형의 표면을 표현한다는 확신의 척도들인 스코어들에 의해 적어도 부분적으로 결정되고,
상기 표면 포인트에 대한 스코어들은 입력으로서 적어도 상기 표면 포인트에 대한 표면 데이터의 기하학적 구조 부분 및 상기 표면 포인트 인근의 포인트들에 대한 표면 데이터를 취하는 적어도 하나의 스코어-찾기 알고리즘에 의해 발견되는,
구강의 적어도 부분의 디지털 3D 표현을 재구성하기 위한 스캐너 시스템.