KR20230147285A - 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체 - Google Patents

Abstract

본 개시는 구강 스캐너의 스캔 이미지를 처리하는 방법, 그 방법이 수행되는 장치 및 그 방법을 수행하는 명령들을 기록한 기록 매체에 관한 것이다. 본 개시의 몇몇 실시예에 따른 이미지 처리 방법은, 전자 장치에 의해 수행되는 이미지 처리 방법에 있어서, 타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 단계, 상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 단계, 상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 단계 및 상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 단계를 포함할 수 있다.

Description

구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체{METHOD, APPARATUS AND RECORDING MEDIUM STORING COMMANDS FOR PROCESSING SCANNED IMAGE OF INTRAORAL SCANNER}

본 개시는 구강 스캐너의 스캔 이미지를 처리하는 방법, 그 방법이 수행되는 장치 및 그 방법을 수행하는 명령들을 기록한 기록 매체에 관한 것이다. 보다 구체적으로, 본 개시는 구강 스캐너의 스캔 이미지를 기초로 생성된 3차원 이미지에 존재하는 노이즈를 필터링하기 위한 방법 등에 관한 것이다.

3차원 구강 스캐너는 환자의 구강 내에 삽입되어 그 구강의 스캐닝에 이용됨으로써, 그 구강의 3차원 이미지를 획득하기 위한 광학 기기이다. 구체적으로, 3차원 구강 스캐너는 환자의 구강에 대한 복수의 2차원 이미지를 획득할 수 있고, 이렇게 획득된 복수의 2차원 이미지가 후속 이미지 처리에 이용됨으로써, 환자의 구강에 대한 3차원 이미지를 생성할 수 있다.

이렇게 생성된 3차원 이미지는 복수의 2차원 이미지에 기반한 이미지이므로, 2차원 이미지에 표현된 노이즈(예: 의사의 손가락, 치료 기구, 볼 연조직, 혀 연조직 등)의 유무가 그 3차원 이미지의 품질에 적지않은 영향을 준다.

환자의 구강에 대한 3차원 이미지의 품질은, 환자의 치료 계획 수립, 환자의 치료 과정 점검 및 환자의 치료 결과 검토 등 일련의 치과 진료 과정에 직접적인 영향을 미치므로, 환자의 구강에 대한 고품질의 3차원 이미지를 생성하기 위한 기술이 요구되고 있다. 또한, 고품질의 3차원 이미지를 생성하기 위한 기술로써, 2차원 이미지에 표현된 노이즈를 적절히 필터링하기 위한 기술이 요구되고 있다. 무엇보다, 노이즈의 일종인 연조직은 관심 영역(예: 치아, 치은 등)과 2차원 이미지 상에서 유사한 속성으로 표현되는 바, 이러한 연조직을 효과적으로 필터링하기 위한 기술이 요구되고 있다.

본 개시는 환자의 구강에 대한 2차원 이미지에 표현된 영역 사이의 깊이의 차이에 기초하여, 2차원 이미지 상에서 노이즈가 필터링된 관심 영역을 결정할 수 있는 방법 등을 제공한다. 또한, 본 개시는 노이즈가 필터링된 2차원 이미지를 3차원 이미지의 생성에 이용하여, 환자의 구강에 대한 고품질의 3차원 이미지를 생성할 수 있는 방법 등을 제공한다.

본 개시에서 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 다른 과제들은 아래의 기재로부터 본 개시의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있다.

전술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따른 이미지 처리 방법은, 전자 장치에 의해 수행되는 이미지 처리 방법에 있어서, 타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 단계, 상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 단계, 상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 단계 및 상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 치아 영역을 식별하는 단계는, 기계 학습 알고리즘에 따라 구축된 치아 세그멘테이션 모델을 이용하여, 상기 2차원 이미지에서 상기 치아 영역을 식별하는 단계를 포함할 수 있고, 상기 치아 세그멘테이션 모델은, 치아에 관한 학습 이미지 세트와 상기 학습 이미지 세트에 대응되는 세그멘테이션 결과 이미지 세트 사이의 상관 관계를 모델링하여 학습된 모델일 수 있다.

몇몇 실시예에서, 상기 관심 영역에 포함할지 여부를 결정하는 단계는, 상기 치아 영역에 대응되는 제1 좌표 및 상기 제1 인접 영역에 대응되는 제2 좌표를 비교하여 상기 깊이의 차이를 산출하는 단계를 포함할 수 있고, 상기 제1 좌표 및 상기 제2 좌표 각각은, 상기 전자 장치에 연동된 구강 스캐너를 이용하여 획득된 좌표일 수 있다. 여기서, 상기 제1 좌표 및 상기 제2 좌표 각각은, 제1 카메라의 포지션, 상기 제1 카메라와 구별되는 제2 카메라의 포지션, 상기 제1 카메라가 촬영한 이미지 및 상기 제2 카메라가 촬영한 이미지에 기초하여 산출된 좌표일 수 있고, 상기 제1 카메라 및 상기 제2 카메라는, 상기 구강 스캐너에 구비된 카메라일 수 있다. 또한 여기서, 상기 제1 좌표 및 상기 제2 좌표 각각은, 상기 구강 스캐너로부터 촬영된 상기 2차원 이미지에 대한 단안 깊이 추정(Monocular Depth Estimation)을 통해 획득된 좌표일 수도 있다.

몇몇 실시예에서, 상기 관심 영역에 포함할지 여부를 결정하는 단계는, 상기 깊이의 차이가 임계치 이상이면, 상기 제1 인접 영역을 상기 관심 영역에서 제외하는 단계를 포함할 수 있다. 여기서, 상기 관심 영역에서 제외하는 단계는, 상기 제1 인접 영역과 상기 제1 인접 영역의 경계로부터 소정의 거리 이내에 위치한 제2 인접 영역의 깊이의 차이가 임계치 미만이라도, 상기 제2 인접 영역을 상기 관심 영역에서 제외하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 관심 영역에 포함할지 여부를 결정하는 단계는, 상기 깊이의 차이가 임계치 미만이면, 상기 제1 인접 영역을 상기 관심 영역에 포함하는 단계를 포함할 수 있다. 여기서, 상기 제1 인접 영역을 상기 관심 영역에 포함하는 단계는, 상기 관심 영역과 상기 관심 영역의 경계로부터 소정의 거리 이내에 위치한 제3 인접 영역의 깊이의 차이가 임계치 이상이 될 때까지, 상기 관심 영역을 반복하여 확장하는 단계를 포함할 수 있다. 이때, 상기 관심 영역의 경계와 상기 제3 인접 영역 사이의 거리는, 확장 횟수가 증가할수록 증가될 수 있다. 또한 이때, 상기 관심 영역을 반복하여 확장하는 단계는, 확장 횟수가 기준 횟수 이상이면, 상기 관심 영역과 상기 제3 인접 영역의 깊이의 차이가 상기 임계치 미만이라도, 상기 관심 영역의 확장을 중단하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 단계를 더 포함할 수 있거나 상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 단계를 더 포함할 수 있다.

본 개시의 다른 몇몇 실시예에 따른 전자 장치는, 프로세서, 구강 스캐너와 통신 연결되는 네트워크 인터페이스, 디스플레이, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 인스트럭션(instruction), 상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 인스트럭션, 상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 인스트럭션 및 상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 인스트럭션을 포함할 수 있다.

다른 몇몇 실시예에서, 상기 관심 영역에 포함할지 여부를 결정하는 인스트럭션은, 상기 깊이의 차이가 임계치 이상이면, 상기 제1 인접 영역을 상기 관심 영역에서 제외하고, 상기 깊이의 차이가 상기 임계치 미만이면, 상기 제1 인접 영역을 상기 관심 영역에 포함하는 인스트럭션을 포함할 수 있다.

다른 몇몇 실시예에서, 상기 컴퓨터 프로그램은, 상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함할 수 있거나 상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함할 수 있다.

본 개시의 또 다른 몇몇 실시예에 따른 컴퓨터 판독 가능 기록 매체는, 프로세서에 의해 실행되기 위한 컴퓨터 프로그램을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 컴퓨터 프로그램은, 타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 인스트럭션(instruction), 상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 인스트럭션, 상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 인스트럭션 및 상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 인스트럭션을 포함할 수 있다.

또 다른 몇몇 실시예에서, 상기 컴퓨터 프로그램은, 상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함할 수 있거나 상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함할 수 있다.

도 1은 본 개시의 몇몇 실시예에 따른 스캐닝 환경을 도시한 예시적인 도면이다.
도 2는 도 1에 도시된 전자 장치 및 구강 스캐너 각각을 나타내는 예시적인 블록 도면이다.
도 3은 도 2를 참조하여 설명된 구강 스캐너의 예시적인 도면이다.
도 4는 본 개시의 몇몇 실시예에서 참조될 수 있는 대상체의 구강에 대한 3차원 이미지의 생성 동작을 구체적으로 설명하기 위한 예시적인 도면이다.
도 5는 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 예시적인 순서 도면이다.
도 6은 도 5를 참조하여 설명된 치아 영역의 식별 동작을 구체적으로 설명하기 위한 예시적인 도면이다.
도 7은 도 6을 참조하여 설명된 치아 세그멘테이션 모델의 실제 출력 이미지를 설명하기 위한 예시적인 도면이다.
도 8은 도 7을 참조하여 설명된 치아 세그멘테이션 모델의 이상적인 출력 이미지를 설명하기 위한 예시적인 도면이다.
도 9는 본 개시의 몇몇 실시예에서 참조될 수 있는 타겟 구강의 2차원 이미지를 나타내는 예시적인 도면이다.
도 10은 도 9를 참조하여 설명된 타겟 구강의 2차원 이미지에 수행되는 동작으로써, 도 5를 참조하여 설명된 제1 인접 영역의 식별 동작을 구체적으로 설명하기 위한 예시적인 도면이다.
도 11은 도 5를 참조하여 설명된 관심 영역의 결정 동작을 보다 구체적으로 설명하기 위한 예시적인 순서 도면이다.
도 12a 내지 도 12d는 도 11을 참조하여 설명된 관심 영역의 결정 동작을 구체적으로 설명하기 위한 예시적인 도면이다.
도 13은 본 개시의 몇몇 실시예에서 참조될 수 있는 관심 영역의 확장 동작 및 그 확장에 따른 인접 영역의 결정 동작을 구체적으로 설명하기 위한 예시적인 도면이다.
도 14a는 도 9를 참조하여 설명된 타겟 구강의 2차원 이미지에 대해 결정된 관심 영역을 나타내는 예시적인 도면이다. 도 14b는 도 14a를 참조하여 설명된 관심 영역이 하이라이팅된 타겟 구강의 2차원 이미지를 나타내는 예시적인 도면이다.
도 15는 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 다른 예시적인 순서 도면이다.
도 16은 본 개시의 몇몇 실시예에서 참조될 수 있는 전자 장치의 화면으로써, 타겟 구강의 2차원 이미지와 3차원 이미지를 나타내는 예시적인 도면이다.
도 17은 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 또 다른 예시적인 순서 도면이다.
도 18 및 도 19는 본 개시의 몇몇 실시예에서 참조될 수 있는 전자 장치의 화면으로써, 타겟 구강의 3차원 이미지를 나타내는 예시적인 도면이다.

본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 따라서, 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.

본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.

본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.

본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다. 또한, 본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.

본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니고, "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, "부"가 의미할 수 있는 예시들로써, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 또한, 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.

본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.

본 개시에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 표현된 경우, 어떤 구성요소가 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 또 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.

본 개시에서 사용되는 용어 "인공지능(artificial intelligence, AI)"은, 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 여기서, "기계 학습(machine learning, ML)"은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 구체적으로, 인공지능은 기계 학습의 알고리즘으로써 입력 데이터들을 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초한 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.

본 개시에서 사용되는 용어 "기계 학습"은, 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 이러한 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 여기서, "신경망 모델"은, 데이터 사이의 상관 관계를 모델링하여 구축된 것으로써, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 이러한 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.

본 개시에서 사용되는 용어 "인공지능 학습 모델", "기계 학습 모델" 또는 "신경망 모델"은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 여기서, "복수의 네트워크 노드들"은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 구체적으로, 인공지능 학습 모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공지능 학습 모델은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있으나, 본 개시의 범위가 전술한 예시들에 한정되는 것은 아니고, 공지된 다양한 신경망 모델들이 본 개시에 적용될 수 있음을 유의해야 한다.

이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.

도 1은 본 개시의 몇몇 실시예에 따른 스캐닝 환경을 도시한 예시적인 도면이다. 구체적으로, 도 1에 도시된 스캐닝 환경은, 본 개시의 몇몇 실시예 따른 구강 스캐너(200)를 이용하여 환자의 구강에 대한 이미지를 획득하는 환경이며, 여기서, 구강 스캐너(200)는 대상체(20)(예: 환자)의 구강 내의 이미지를 획득하기 위한 치과용 의료 기기일 수 있다.

도 1에 도시된 것처럼 사용자(10)(예: 치과 의사, 치과위생사)가 구강 스캐너(200)를 이용하여 대상체(20)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 다른 예로써, 사용자(10)가 대상체(20)의 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상(impression) 모델)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수도 있다. 이하에서는 설명의 편의를 위하여, 대상체(20)의 구강에 대한 이미지를 획득하는 일례를 기준으로 설명하겠으나, 이러한 예시로 인하여 본 개시의 범위가 제한되지 않는다. 또한, 이미지 획득의 대상이 되는 부위는 대상체(20)의 구강에 한정되는 것은 아니고, 얼마든지 대상체(20)의 다른 부위(예: 대상체(20)의 귀)에 대한 이미지를 획득하는 것도 가능하다.

이하, 도 1에 도시된 구성요소의 동작에 대해 구체적으로 설명하기로 한다.

도 1에 도시된 전자 장치(100)는, 구강 스캐너(200)로부터 대상체(20)의 구강에 대한 2차원 이미지를 수신할 수 있다. 여기서, 전자 장치(100)는, 구강 스캐너(200)와 유선 또는 무선 통신 네트워크를 통해 통신할 수 있다. 또한, 전자 장치(100)는, 수신한 구강에 대한 2차원 이미지에 기초하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 구강에 대한 3차원 이미지를 생성할 수 있으며, 이와 관련된 구체적인 동작은 추후 도 4를 참조하여 설명하기로 한다. 이렇게 생성된 구강에 대한 3차원 이미지는, 전자 장치(100)의 디스플레이를 통해 사용자(10) 또는 대상체(20)에게 표시될 수 있다. 이때, 사용자(10)는 전자 장치(100)의 디스플레이에 표시된 3차원 이미지를 참조하여, 대상체(20)에게 적절한 진료 서비스 등을 제공할 수 있다.

몇몇 실시예에서 전자 장치(100)는, 구강 스캐너(200)가 생성한 구강에 대한 3차원 이미지를 수신할 수 있다. 여기서, 구강 스캐너(200)는 대상체(20)의 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성할 수 있다. 즉, 3차원 이미지의 생성 동작이 처리되는 위치와 무관하게 본 개시의 범위에 포함됨을 유의해야 한다.

또한, 전자 장치(100)는, 클라우드 서버(미도시)와 통신 연결될 수 있다. 이 경우, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 클라우드 서버에 전송할 수 있고, 클라우드 서버는 전자 장치(100)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 저장할 수 있다.

지금까지 설명된 전자 장치(100)는 컴퓨팅 장치로 구현될 수 있으며, 이러한 컴퓨팅 장치의 일례에 대해서는 추후 도 2를 참조하여 구체적으로 설명하기로 한다.

도 1에 도시된 구강 스캐너(200)는, 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 스캔 거리와 스캔 각도를 사용자(10)가 자유롭게 조절할 수 있는 핸드헬드형 스캐너(handheld scanner)일 수 있다.

이러한 구강 스캐너(200)는, 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 구강에 대한 이미지는 적어도 하나의 치아, 치은 또는 구강 내에 삽입 가능한 인공 구조물(예: 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구 등)을 포함할 수 있다. 구체적으로, 구강 스캐너(200)는 광원(또는 프로젝터)을 이용하여 대상체(20)의 구강에 광을 조사할 수 있고, 대상체(20)의 구강으로부터 반사된 광을 카메라(또는, 적어도 하나의 이미지 센서)를 통해 수신할 수 있다.

또한, 구강 스캐너(200)는 카메라를 통해 수신한 정보에 기초하여, 대상체(20)의 구강에 대한 표면 이미지를 2차원 이미지로서 획득할 수 있다. 여기서, 대상체(20)의 구강에 대한 표면 이미지는 대상체(20)의 치아, 치은, 인공 구조물, 볼, 혀 또는 입술 중 적어도 하나를 포함할 수 있다.

앞서 설명된 바와 같이, 몇몇 실시예에서 구강 스캐너(200)는, 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성할 수도 있다.

지금까지 설명된 구강 스캐너(200)는 컴퓨팅 장치로 구현될 수 있으며, 이러한 컴퓨팅 장치의 일례에 대해서는 이하 도 2를 참조하여 구체적으로 설명하기로 한다.

도 2는 도 1에 도시된 전자 장치(100) 및 구강 스캐너(200) 각각을 나타내는 예시적인 블록 도면이다. 도 2에 도시된 블록 도면은 본 개시의 목적을 달성하기 위한 바람직한 실시예를 도시하고 있을 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있다. 또한, 도 2에 도시된 블록 도면의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로써, 복수의 서로 다른 구성 요소가 실제 물리적 환경에서는 통합되는 형태로 구현될 수도 있음을 유의해야 한다. 이하, 블록 도면에 도시된 각 구성 요소에 대해 구체적으로 설명하기로 한다.

도 2에 도시된 전자 장치(100)는, 하나 이상의 프로세서(101), 하나 이상의 메모리(103), 통신 회로(105), 디스플레이(107) 및/또는 입력 장치(109)를 포함할 수 있다. 앞서 설명된 바와 같이 얼마든지, 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 또한, 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 이러한, 전자 장치(100) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.

전자 장치(100)의 하나 이상의 프로세서(101)는, 전자 장치(100)의 각 구성요소들(예: 메모리(103))의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(101)는, 예를 들어, 전자 장치(100)의 구성요소들과 작동적으로 연결될 수 있다. 또한, 하나 이상의 프로세서(101)는 전자 장치(100)의 다른 구성요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(103)에 로드(load)하고, 하나 이상의 메모리(103)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.

다음으로, 전자 장치(100)의 하나 이상의 메모리(103)는, 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 구체적인 예로써, 하나 이상의 메모리(103)는 프로세서(101)의 동작에 대한 인스트럭션들을 컴퓨터 프로그램으로서, 저장할 수 있다. 또한, 하나 이상의 메모리(103)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다. 또한, 하나 이상의 메모리(103)는 구강 스캐너(200)로부터 수신되는 데이터(예: 구강에 대한 2차원 이미지, 구강에 대한 3차원 이미지)를 저장할 수 있다.

다음으로, 전자 장치(100)의 통신 회로(네트워크 인터페이스, 105)는, 외부 장치(예: 구강 스캐너(200), 클라우드 서버(미도시))와 유선 또는 무선 통신 채널을 설립하고, 그 외부 장치와 다양한 데이터를 송수신할 수 있다. 몇몇 실시예에서, 통신 회로(105)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 이 경우, 통신 회로(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 다른 몇몇 실시예에서, 통신 회로(105)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성될 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(105)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(105)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 여기서 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다. 앞서 설명된 다양한 예시들 외에도, 외부 장치와 통신하기 위한 공지된 다양한 방식으로 전자 장치(100)가 구현될 수 있으며, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아님을 유의해야 한다.

다음으로, 전자 장치(100)의 디스플레이(107)는, 프로세서(101)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 여기서, 프로세서(101)의 제어에 기반하여, 구강 스캐너(200)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 및/또는 구강의 내부 구조를 3차원적으로 모델링한 구강에 대한 3차원 이미지는 디스플레이(107)를 통해 표시될 수 있다. 이때, 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 디스플레이(107)에 표시하기 위해서, 예를 들어, 웹 브라우저(Web browser) 또는 전용 애플리케이션이 전자 장치(100)에 설치될 수 있다. 몇몇 실시예에서, 전술한 웹 브라우저 또는 전용 애플리케이션은, 구강에 대한 2차원 이미지 및/또는 3차원 이미지의 편집 기능, 저장 기능 및 삭제 기능을 사용자 인터페이스를 통해 사용자(10)에게 제공하도록 구현될 수 있다.

다음으로, 전자 장치(100)의 입력 장치(109)는, 전자 장치(100)의 구성요소(예: 프로세서(101))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(109)는, 예를 들면, 마이크, 마우스 또는 키보드 등을 포함할 수 있다. 몇몇 실시예에서, 입력 장치(109)는 디스플레이(107)와 결합되어 다양한 외부 객체의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널의 형태로 구현될 수 있다. 다만, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아니고, 공지된 다양한 입력 장치(109)가 사용자의 편의를 위해 얼마든지 본 개시의 범위에 포함될 수 있다.

도 2에 도시된 구강 스캐너(200)는, 프로세서(201), 메모리(202), 통신 회로(203), 광원(204), 카메라(205) 및/또는 입력 장치(206)를 포함할 수 있다. 앞서 설명된 바와 같이 얼마든지, 구강 스캐너(200)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 구강 스캐너(200)에 추가될 수 있다. 또한, 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 이러한, 구강 스캐너(200) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.

구강 스캐너(200)의 프로세서(201)는, 구강 스캐너(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 구강 스캐너(200)의 구성요소들과 작동적으로 연결될 수 있다. 또한, 프로세서(201)는 구강 스캐너(200)의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(202)에 로드하고, 메모리(202)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.

다음으로, 구강 스캐너(200)의 메모리(202)는, 앞서 설명된 프로세서(201)의 동작에 대한 인스트럭션들을 저장할 수 있다.

다음으로, 구강 스캐너(200)의 통신 회로(203)는, 외부 장치(예: 전자 장치(100))와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 몇몇 실시예에서, 통신 회로(203)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 이 경우, 통신 회로(203)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 다른 몇몇 실시예에서, 통신 회로(203)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(203)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(203)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 여기서, 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다. 앞서 설명된 다양한 예시들 외에도, 외부 장치와 통신하기 위한 공지된 다양한 방식으로 구강 스캐너(200)가 구현될 수 있으며, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아님을 유의해야 한다.

다음으로, 구강 스캐너(200)의 광원(204)은, 대상체(20)의 구강을 향해 광을 조사할 수 있다. 예를 들어, 광원(204)으로부터 조사되는 광은 소정 패턴(예: 서로 다른 색상의 직선 무늬가 연속적으로 나타나는 스트라이프 패턴)을 갖는 구조광일 수 있다. 여기서, 구조광의 패턴은, 예를 들어, 패턴 마스크 또는 DMD(digital micro-mirror device)를 이용하여 생성될 수 있지만, 이에 제한되는 것은 아니다.

다음으로, 구강 스캐너(200)의 카메라(205)는, 대상체(20)의 구강에 의해 반사된 반사광을 수신함으로써, 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 여기서, 카메라(205)는, 예를 들어, 광 삼각 측량 방식에 따라서 3차원 이미지를 구축하기 위하여, 좌안 시야에 대응되는 좌측 카메라 및 우안 시야에 대응되는 우측 카메라를 포함할 수 있다. 또한 여기서, 카메라(205)는, CCD 센서 또는 CMOS 센서와 같은 적어도 하나의 이미지 센서를 포함할 수 있다.

다음으로, 구강 스캐너(200)의 입력 장치(206)는, 구강 스캐너(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 입력 장치(206)는 사용자(10)의 푸시 조작을 수신하는 버튼, 사용자(10)의 터치를 감지하는 터치 패널, 마이크를 포함하는 음성 인식 장치를 포함할 수 있다. 이때, 사용자(10)는 입력 장치(206)를 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다.

입력 장치(206)를 통해 제어되는 구강 스캐너(200)의 동작을 보다 구체적으로 설명하면, 구강 스캐너(200)는, 구강 스캐너(200)의 입력 장치(206) 또는 전자 장치(100)의 입력 장치(206)를 통해 스캔을 시작하기 위한 사용자 입력을 수신하고, 구강 스캐너(200)의 프로세서(201) 또는 전자 장치(100)의 프로세서(201)에서의 처리에 따라, 스캔을 시작할 수 있다. 여기서, 사용자(10)가 구강 스캐너(200)를 통해 대상체(20)의 구강 내부를 스캔하는 경우, 구강 스캐너(200)는 대상체(20)의 구강에 대한 2차원 이미지를 생성할 수 있고, 실시간으로 대상체(20)의 구강에 대한 2차원 이미지를 전자 장치(100)로 전송할 수 있다. 이때, 전자 장치(100)는 수신한 대상체(20)의 구강에 대한 2차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 또한, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지에 기초하여, 대상체(20)의 구강에 대한 3차원 이미지를 생성(구축)할 수 있으며, 구강에 대한 3차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 이때, 전자 장치(100)는 생성되고 있는 3차원 이미지를 실시간으로 디스플레이(107)를 통해 표시할 수도 있다.

다음으로, 구강 스캐너(200)의 센서 모듈(207)은, 구강 스캐너(200)의 작동 상태 또는 외부의 환경 상태(예: 사용자의 동작)을 감지하고, 감지된 상태에 대응하는 전기 신호를 생성할 수 있다. 센서 모듈(207)은, 예를 들어, 자이로 센서, 가속도 센서, 제스처 센서, 근접 센서 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 여기서, 사용자(10)는 센서 모듈(207)을 이용하여 스캐닝 시작 도는 정지를 제어할 수 있다. 구체적인 예를 들어, 사용자(10)가 구강 스캐너(200)를 손에 쥐고 움직이는 경우, 구강 스캐너(200)는 센서 모듈(207)을 통해 측정된 각속도가 설정 값을 초과할 때, 프로세서(201) 스캐닝 동작을 시작하도록 제어할 수 있다.

이하 도 3을 참조하여, 지금까지 설명된 구강 스캐너(200)를 보다 구체적으로 설명하기로 한다. 도 3은 도 2를 참조하여 설명된 구강 스캐너(200)의 예시적인 도면이다.

도 3에 도시된 구강 스캐너(200)는, 본체(210) 및 프로브 팁(220)을 포함할 수 있다. 여기서, 구강 스캐너(200)의 본체(210)는, 사용자(10)가 손으로 그립하여 사용하기 용이한 모양으로 형성될 수 있고, 프로브 팁(220)은, 대상체(20)의 구강으로 인입 및 인출이 용이한 모양으로 형성될 수 있다. 또한, 본체(210)는 프로브 팁(220)과 결합 및 분리될 수 있다. 또한, 본체(210) 내부에는, 도 2에서 설명된 구강 스캐너(200)의 구성요소들이 배치될 수 있다. 이러한, 본체(210)의 일측 단부에는 광원(204)로부터 출력된 광이 대상체(20)에 조사될 수 있도록 개구된 개구부가 형성될 수 있다. 이렇게 개구부를 통해 조사된 광은, 대상체(20)에 의해 반사되어 다시 개구부를 통해 유입될 수 있다. 여기서, 개구부를 통해 유입된 반사광은 카메라에 의해 캡쳐되어 대상체(20)에 대한 이미지를 생성할 수 있다. 또한, 사용자(10)는 구강 스캐너(200)의 입력 장치(206)(예: 버튼)를 이용하여 스캔을 시작할 수 있다. 예를 들어, 사용자(10)가 입력 장치(206)를 터치하거나 가압하는 경우, 광원(204)으로부터 광이 대상체(20)에 조사될 수 있다.

지금까지 도 1 내지 도 3을 참조하여, 본 개시의 몇몇 실시예에 따른 스캐닝 환경 및 그에 포함된 구성요소들을 구체적으로 설명하였다. 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 설명하기에 앞서, 도 4를 참조하여, 본 개시의 몇몇 실시예에서 참조될 수 있는 대상체(20)의 구강에 대한 3차원 이미지의 생성 동작을 구체적으로 설명하기로 한다.

도 4는 본 개시의 몇몇 실시예에서 참조될 수 있는 대상체(20)의 구강에 대한 3차원 이미지의 생성 동작을 구체적으로 설명하기 위한 예시적인 도면이다. 앞서 설명된 바와 같이, 사용자(10)는 구강 스캐너(200)를 움직여가면서 대상체(20)의 구강 내부를 스캔할 수 있고, 이 경우, 구강 스캐너(200)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310)를 획득할 수 있다. 예를 들어, 구강 스캐너(200)는 대상체(20)의 앞니가 포함된 영역에 대한 2차원 이미지, 대상체(20)의 어금니가 포함된 영역에 대한 2차원 이미지 등을 획득할 수 있다. 이때, 구강 스캐너(200)는 획득한 복수의 2차원 이미지(310)를 전자 장치(100)로 전송할 수 있다.

전자 장치(100)는, 수신된 복수의 2차원 이미지(310)를 이용하여, 대상체(20)의 구강에 대한 복수의 2차원 이미지(310) 각각을 3차원 좌표 값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 복수의 2차원 이미지(310) 각각을, 3차원 좌표 값을 갖는 데이터 포인트의 집합인 포인트 클라우드(point cloud)로 변환할 수 있다. 여기서, 복수의 2차원 이미지(310)를 기초로 하는 3차원 좌표값인 포인트 클라우드 세트는, 대상체(20)의 구강에 대한 로우 데이터(raw data)로서 저장될 수 있다. 또한, 전자 장치(100)는, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드를 정렬(align)함으로써, 전체 치아 모형을 완성할 수 있다.

몇몇 실시예에서, 전자 장치(100)는 구강에 대한 3차원 이미지를 재구성(재구축)할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 로우 데이터로서 저장된 포인트 클라우드 세트를 병합함으로써, 복수의 포인트들을 재구성하고, 폐쇄된 3차원 표면으로 변환하여 대상체(20)의 구강에 대한 3차원 이미지(320)를 재구성할 수 있다. 다만, 본 예시와 달리, 로우 데이터를 얼마든지 공지된 다양한 방식에 따라 가공할 수 있으며, 구강에 대한 3차원 이미지를 재구성하기 위한 방식이라면 어떠한 방식이라도 본 개시의 범위에 포함될 수 있음을 유의해야 한다.

지금까지 도 4를 참조하여, 본 개시의 몇몇 실시예에서 참조될 수 있는 3차원 이미지의 생성 동작을 부연 설명하였다. 이하에서는, 본 개시의 다양한 실시예에 따른 방법들에 대하여 상세하게 설명하도록 한다.

추후 설명될 방법들의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 방법들의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 이러한 방법들에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수 있을 것이나, 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 방법들의 각 단계가 도 1에 도시된 전자 장치(100)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의상, 방법들에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수 있다. 또한, 방법들의 각 단계가 도 1에 도시된 구강 스캐너(200)에 의해 수행되는 것을 본 개시의 범위에서 배제하는 것은 아님을 유의해야 한다.

도 5는 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 예시적인 순서 도면이다.

도 5를 참조하면 단계 S110에서, 타겟 구강에 대한 2차원 이미지에서 치아 영역이 식별될 수 있다. 여기서, 타겟 구강이란, 도 1을 참조하여 설명된 바와 같이, 대상체(20)의 구강을 의미할 수 있으나, 타겟 구강의 의미가 본 예시에 한정되는 것은 아니고, 대상체(20)의 구강의 모양을 본뜬 진단 모델을 의미할 수도 있다. 또한 여기서, 치아 영역이란, 타겟 구강에 대한 2차원 이미지에 포함된 이미지 영역으로서, 적어도 하나의 치아가 표현된 영역을 의미할 수 있다.

단계 S110과 관련하여, 치아 영역의 식별은 다양한 방식에 따라 수행될 수 있다. 예를 들어, 구강 스캐너(200)로부터 획득된 2차원 이미지의 치아 영역을 사용자(10)가 직접 선택함으로써, 치아 영역이 식별될 수 있다. 이 경우, 전자 장치(100)에 마련된 사용자 인터페이스를 통해 사용자(10)가 2차원 이미지로부터 치아 영역을 선택할 수 있다. 다른 예를 들어, 2차원 이미지에 표현된 치아 영역의 고유 속성을 탐지하는 이미지 처리를 통해, 치아 영역이 식별될 수 있다. 구체적으로, 구강에 대한 2차원 이미지에서 치아 영역은 다른 영역과 달리 흰색 계열로 표현되는 바, 색상을 고유 속성으로 탐지하는 이미지 처리를 통해, 치아 영역이 식별될 수 있다. 이외에도 다양한 방식으로 치아 영역이 식별될 수 있으며, 2차원 이미지로부터 치아 영역을 식별하는 동작이라면 어떠한 동작이라도 본 개시의 범위에 포함될 수 있음을 유의해야 한다. 이하, 기계 학습 알고리즘에 따라 구축된 신경망 모델을 이용하여, 2차원 이미지로부터 치아 영역을 식별하는 동작에 대해 보다 구체적으로 설명하기로 한다.

단계 S110과 관련하여, 몇몇 실시예에서, 치아 영역을 식별하는 단계는, 기계 학습 알고리즘에 따라 구축된 치아 세그멘테이션 모델을 이용하여, 2차원 이미지에서 치아 영역을 식별하는 단계를 포함할 수 있다. 여기서, 치아 세그멘테이션 모델은, 치아에 관한 학습 이미지 세트와 학습 이미지 세트에 대응되는 세그멘테이션 결과 이미지 세트 사이의 상관 관계를 모델링하여 학습된 모델일 수 있다. 치아 세그멘테이션 모델에 관한 구체적인 설명은 도 6을 참조하여 후술하기로 한다.

단계 S120에서, 타겟 구강의 2차원 이미지에서 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역이 식별될 수 있다. 여기서, 소정의 거리는 예를 들어, 2차원 이미지 상의 1 픽셀을 의미할 수 있으나, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 그 구현 사례에 따라 얼마든지 거리를 변화시킬 수 있다. 즉, 앞서 설명된 바와 같이, 치아 영역은 이미지 처리의 기준이 될 수 있는 영역이므로, 본 단계에서, 그 치아 영역의 경계를 기준으로 제1 인접 영역이 식별될 수 있다. 이와 관련된 구체적인 설명을 위하여, 도 10을 참조하여 후술하기로 한다.

단계 S130에서, 치아 영역과 제1 인접 영역의 깊이의 차이에 기초하여, 제1 인접 영역을 관심 영역에 포함할지 여부가 결정될 수 있다. 여기서, 깊이란, 도 1에 도시된 구강 스캐너(200)의 스캔 방향에 대응되는 축 상에 표현되는 값으로써, 예를 들어, 기준 점으로부터 각각의 영역까지의 거리를 의미할 수 있고, 이때, 기준 점은 구강 스캐너(200)의 광원(204)일 수 있다. 다만, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 스캔 방향에 대응되는 축 상에 각각의 영역의 값을 대응시킬 수 있다면, 어떠한 방식이라도 본 개시의 범위에 포함될 수 있음을 유의해야 한다. 또한 여기서, 관심 영역은, 사용자(10)의 관심 대상이 될 수 있는 영역을 의미하는 것으로써, 예를 들어, 치과 진료에 필요한 치아 영역 및 치은 영역이 관심 영역일 수 있다. 추후 도 11을 참조하여 설명될 동작들에 따라 관심 영역을 결정함으로써, 사용자(10)의 의도에 부합하는 영역을 결정할 수 있으며, 설정 값(예: 임계치, 관심 영역의 경계와 제3 인접 영역 사이의 거리, 기준 횟수 등)을 변경함으로써 관심 영역의 대상을 조정할 수도 있다.

단계 S140에서, 관심 영역을 포함하는 2차원 이미지로부터 타겟 구강에 대한 3차원 이미지가 생성될 수 있다. 여기서, 3차원 이미지의 생성은, 도 4에 관한 설명이 참조될 수 있다. 다만, 도 4에 관한 설명에서는, 2차원 이미지 전체 영역을 포인트 클라우드로 변환하는 일례에 따라 설명되었으나, 이와 달리 본 단계에서는, 2차원 이미지에 포함된 일부 영역인 관심 영역을 포인트 클라우드로 변환하는 것으로 이해할 수 있다.

도 6은 도 5를 참조하여 설명된 치아 영역의 식별 동작을 구체적으로 설명하기 위한 예시적인 도면이다. 구체적으로, 도 6은 치아에 관한 학습 이미지 세트(410) 및 학습 이미지 세트(410)에 대응되는 세그멘테이션 결과 이미지 세트(420)를 이용하여, 치아 세그멘테이션 모델(500)을 구축하는 일례를 도시하고 있다.

여기서, 학습 이미지 세트(410)는 구강에 대한 복수의 2차원 이미지를 의미할 수 있다. 이때, 학습 이미지 세트(410)는 다양한 대상체 그룹(예: 남성 그룹, 여성 그룹, 세대별 그룹 등)의 구강에 대한 2차원 이미지 풀에서 임의로 추출된 복수의 2차원 이미지일 수 있다. 만약, 특정 그룹의 2차원 이미지 풀로 한정하여 학습 이미지를 추출하는 경우 그 그룹에 맞춤화된 학습 이미지 세트(410)가 마련될 수 있고, 다양한 그룹의 2차원 이미지 풀에서 학습 이미지를 추출하는 경우 보편화된 학습 이미지 세트(410)가 마련될 수 있음을 이해할 수 있다.

또한 여기서, 세그멘테이션 결과 이미지 세트(420)는 학습 이미지 세트(410)에 대응되는 이미지 세트로서, 식별하고자 하는 적어도 하나의 영역이 마스킹(또는, 세그멘테이션)된 복수의 2차원 이미지를 의미할 수 있다. 구체적인 예를 들어, 세그멘테이션 결과 이미지는 치아 영역 마스크 및 치은 영역 마스크를 포함할 수 있다. 다만, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 세그멘테이션 결과 이미지는 연조직 영역(예: 볼 영역, 혀 영역 등) 마스크를 더 포함할 수 있으며, 사용자(10)가 식별하고자 하는 영역이라면 얼마든지 그 대응되는 마스크를 포함하도록 세그멘테이션 결과 이미지를 마련할 수 있다. 여기서, 마스크는 2차원 이미지에 표현된 특정 영역과 다른 영역을 구별할 수 있게 하는 식별자로서 이해될 수 있으며, 이미지 또는 메타데이터의 형식으로 세그멘테이션 결과 이미지에 포함될 수 있다.

이러한, 세그멘테이션 결과 이미지 세트(420)는 다양한 방식에 따라 학습 이미지 세트(410)로부터 생성될 수 있다. 예를 들어, 전자 장치(100)의 입력 장치(109)를 통해 수신된 사용자 입력에 대응되도록 학습 이미지 상에 마스킹을 오버레이함으로써, 세그멘테이션 결과 이미지를 생성할 수 있다. 이외에도 자동화된 방식으로 학습 이미지로부터 세그멘테이션 결과 이미지를 생성할 수 있으며, 사용자(10)가 의도하는 특정 영역을 마스킹하는 방식이라면 얼마든지 본 개시의 범위에 포함될 수 있다.

앞서 설명된 학습 이미지 세트(410)를 입력 데이터로 이용하고, 세그멘테이션 결과 이미지 세트(420)를 출력 데이터로 이용함으로써, 치아 세그멘테이션 모델(500)을 학습시킬 수 있다. 이러한, 기계 학습은 도 1에 도시된 전자 장치(100)에서 수행될 수도 있으나, 외부 장치에서 수행되고 그 학습된 치아 세그멘테이션 모델(500)이 전자 장치(100)에 로드(load)되는 예시가 본 개시의 범위에서 배제되는 것은 아니다.

여기서, 치아 세그멘테이션 모델(500)은 학습 이미지에 포함된 영역의 질감, 밀도, 색상, 치아의 모양, 치은의 모양 및 구강 내부의 모양 등 학습 이미지에서 추출될 수 있는 다양한 특징을 추출하고, 그 추출된 특징에 기초하여 세그멘테이션 결과 이미지와 학습 이미지 사이의 상관 관계를 도출하도록 학습될 수 있다. 치아 세그멘테이션 모델(500)의 학습에 이용될 수 있는 기계 학습 알고리즘으로써, 예를 들어, 심층 신경망 알고리즘, 순환 신경망 알고리즘, 합성곱 신경망 알고리즘, 분류-회귀 분석 알고리즘 또는 강화 학습 알고리즘 등이 참조될 수 있으며, 이 밖에도 앞서 설명된 입출력 쌍을 갖는 학습 데이터(즉, 학습 이미지 세트(410)와 세그멘테이션 결과 이미지 세트(420))를 이용하여, 치아 세그멘테이션 모델(500)을 구축하기 위한 모든 공지된 인공지능 기술이 본 개시에 적용될 수 있음을 유의해야 한다.

전술한 설명에 따라 다시 도 6을 참조하면, 학습 이미지 세트(410)와 그 학습 이미지 세트(410)에 대응되는 이미지로서, 치아 영역 및 치은 영역이 마스킹된 세그멘테이션 결과 이미지 세트(420)를 함께 이용하면, 치아 세그멘테이션 모델(500)을 학습시킬 수 있음을 이해할 수 있다. 즉 여기서, 학습된 치아 세그멘테이션 모델(500)은, 구강에 대한 2차원 이미지에서 치아 영역과 치은 영역을 식별하기 위한 모델임을 이해할 수 있다.

지금까지 도 6을 참조하여, 인공지능 모델에 기초한 치아 영역의 식별 동작에 대해 구체적으로 설명하였다. 앞서 설명된 동작에 따르면, 사용자(10)의 개입을 최소화하는 자동화된 방식으로 구강에 대한 2차원 이미지에서 사용자가 의도하는 영역을 식별할 수 있다. 또한, 구강에 대한 2차원 이미지에서 제1 영역(예: 치아 영역)과 제2 영역(예: 치은 영역)을 식별할 수도 있다. 즉, 식별된 영역들을 제외한 2차원 이미지의 다른 영역(예: 노이즈 영역)을 필터링하고, 그 필터링된 이미지에 기초하여 3차원 이미지를 생성함으로써, 노이즈 영역이 제거된 3차원 이미지가 생성될 수 있다. 예를 들어, 3차원 이미지는 치아 영역과 치은 영역만을 포함하도록 생성될 수 있다.

그러나, 치아 영역과 치은 영역만을 식별하도록 학습된 치아 세그멘테이션 모델(500)을 이용한 실제 구현 사례에서, 노이즈 영역의 일종일 수 있는 연조직 영역은 2차원 이미지 상에서 치은 영역과 유사한 속성(예: 색상, 질감 등)으로 표현되므로, 사용자(10)의 의도와 다르게 2차원 이미지에서 연조직 영역이 식별되고, 그에 따라 연조직 영역이 3차원 이미지에 포함될 수 있었다. 이와 관련된 구체적인 설명을 위해 이하에서, 도 7 및 도 8을 참조하여 설명하기로 한다.

도 7은 도 6를 참조하여 설명된 치아 세그멘테이션 모델(500)의 실제 출력 이미지를 설명하기 위한 예시적인 도면이고, 도 8은 도 7을 참조하여 설명된 치아 세그멘테이션 모델(500)의 이상적인 출력 이미지를 설명하기 위한 예시적인 도면이다.

도 7은 치아 영역과 치은 영역만을 식별하도록 학습된 치아 세그멘테이션 결과 모델(500)의 입력 이미지(610)와 그 입력 이미지(610)에 대응되는 실제 출력 이미지(620)를 도시한다. 여기서, 입력 이미지(610)는, 치아 영역(610a), 치은 영역(610b) 및 연조직 영역(610c)을 포함하고 있으며, 마찬가지로, 실제 출력 이미지(620)도 치아 영역(620a), 치은 영역(620b) 및 연조직 영역(620c)을 포함하고 있다. 또한, 도 8에 도시된 이상적인 출력 이미지(630)도, 치아 영역(630a), 치은 영역(630b) 및 연조직 영역(630c)을 포함하고 있다.

도 7 및 도 8을 비교하면, 실제 출력 이미지(620)와 이상적인 출력 이미지(630)는 그들의 연조직 영역(620c, 630c)에서 차이를 보이며, 이는 전술한 바와 같이, 노이즈 영역의 일종일 수 있는 연조직 영역(620c, 630c)이 2차원 이미지 상에서 치은 영역(620b, 630b)과 유사한 속성으로 표현되는 결과로 해석될 수 있다. 이러한, 실제 출력 이미지(620)의 연조직 영역(620c)으로 인하여, 2차원 이미지에 사용자가 의도하지 않은 영역이 식별되고, 그에 따라 3차원 이미지에서도 사용자가 의도하지 않은 영역이 포함될 수 있다. 이러한 한계를 보완하기 위한 동작들로써, 2차원 이미지에 표현되는 속성의 차별성으로 인하여 식별의 정확성이 담보될 수 있는 치아 영역을 기준으로 2차원 이미지를 처리하는 구체적인 동작들에 대해 도 9 및 도 10을 참조하여 설명하기로 한다.

도 9는 본 개시의 몇몇 실시예에서 참조될 수 있는 타겟 구강의 2차원 이미지를 나타내는 예시적인 도면이고, 도 10은 도 9를 참조하여 설명된 타겟 구강의 2차원 이미지에 수행되는 동작으로써, 도 5를 참조하여 설명된 제1 인접 영역의 식별 동작을 구체적으로 설명하기 위한 예시적인 도면이다.

도 9에 도시된 입력 이미지(610)는 치아 영역(610a), 치은 영역(610b) 및 연조직 영역(610c)을 포함하고 있으며, 입력 이미지(610)에 대응되도록 치아 영역(640a)이 식별된 출력 이미지(640)가 도 10에 도시되어 있다. 도 10을 참조하면, 식별된 치아 영역(640a)의 경계(641)를 기준으로 소정의 거리 이내에 위치한 제1 인접 영역(643a, 643b)이 식별될 수 있음을 이해할 수 있다. 여기서, 도 10은 제1 인접 영역(643a, 643b)이 2개 식별된 일례를 도시하고 있으나, 이는 설명의 편의를 위한 것일 뿐이고, 치아 영역(640a)의 경계(641)를 기준으로 식별될 수 있는 제1 인접 영역(643a, 643b)의 개수는 얼마든지 달라질 수 있다. 즉, 치아 영역(640a)의 경계(641)를 기준으로 소정의 거리 이내에 위치한 제1 인 접 영역(643a, 643b)이 전부 식별될 수 있으며, 그 중 일부만이 식별될 수도 있다. 전자와 후자에 대한 사용자(10)의 선택은, 추후 진행될 이미지 처리의 정확도와 컴퓨팅 리소스의 소모 사이의 트레이드오프 관계에서의 사용자(10)의 선택으로써, 실제 구현 사례에 따라 얼마든지 사용자(10)는 어느 하나를 선택할 수 있다.

이하, 도 11을 참조하여 도 5의 단계 S130에 대해 보다 구체적으로 설명하기로 한다. 도 11은 도 5를 참조하여 설명된 관심 영역의 결정 동작을 보다 구체적으로 설명하기 위한 예시적인 순서 도면이다.

도 11을 참조하면 단계 S131에서, 치아 영역에 대응되는 제1 좌표 및 제1 인접 영역에 대응되는 제2 좌표를 비교하여 깊이의 차이가 산출될 수 있다. 여기서, 제1 좌표 및 제2 좌표 각각은, 전자 장치(100)에 연동된 구강 스캐너(200)를 이용하여 획득된 좌표일 수 있다. 만약, 도 4를 참조하여 설명된 바와 같이, 구강 스캐너(200)를 이용하여 3차원 좌표가 획득되는 경우라면, 획득되는 3차원 좌표 중 구강 스캐너(200)의 스캔 방향에 대응되는 축 상에 표현되는 값(예: 제1 좌표, 제2 좌표)만을 이용하여, 각 영역의 깊이의 차이를 산출할 수 있다.

앞서 설명된 각각의 영역에 대응되는 좌표는 다양한 방식으로 획득될 수 있다. 몇몇 실시예에서, 각각의 영역에 대응되는 좌표는, 구강 스캐너(200)에 구비된 제1 카메라의 포지션, 제1 카메라와 구별되는 제2 카메라의 포지션, 그 카메라들이 촬영한 각각의 이미지에 기초하여 획득될 수 있다. 구체적으로, 광 삼각 측량 방식에 따라 좌안 시야에 대응되는 좌측 카메라(예: 제1 카메라)와 우안 시야에 대응되는 우측 카메라(예: 제2 카메라)가 촬영한 각각의 이미지를 그 카메라들의 자세와 함께 비교 분석함으로써, 각각의 영역에 대응되는 좌표를 획득할 수 있다. 다만, 광 삼각 측량 방식을 이용한 구체적인 동작에 대해서는 본 개시의 논지를 흐리지 않기 위해 구체적인 설명을 생략하기로 한다. 다른 몇몇 실시예에서, 각각의 영역에 대응되는 좌표는, 구강 스캐너(200)로부터 촬영된 2차원 이미지에 대한 단안 깊이 추정(Monocular Depth Estimation)을 통해 획득될 수도 있다. 여기서, 단안 깊이 추정이란, 단일 카메라로 촬영된 2차원 이미지를 이용한 3차원 깊이 추정 방식이다. 구체적인 예로써, DenseDepth 모델을 이용하여, 2차원 이미지로부터 3차원 이미지의 복원을 수행하고 그에 따라 2차원 이미지 상의 일 영역의 깊이가 추정될 수 있으며, 전술한 예시 외에도 단일 카메라로 촬영된 2차원 이미지를 통해 그 2차원 이미지의 깊이를 추정하는 모든 공지된 방식이 본 개시에 적용될 수 있다.

다음으로, 깊이의 차이가 임계치 이상이면(S132), 단계 S133에서, 제1 인접 영역이 관심 영역에서 제외될 수 있고, 깊이의 차이가 임계치 미만이면(S132), 단계 S134에서, 제1 인접 영역이 관심 영역에 포함될 수 있다. 여기서, 임계치는, 관심 영역의 제외 및 포함의 기준이 될 수 있는 설정 값의 일종으로써, 사용자(10)는 실제 구현 사례에 따라 임계치를 얼마든지 변경할 수 있다. 만약, 치은 영역은 관심 영역에 포함시키고, 연조직 영역은 관심 영역에 제외시키는 사례라면, 두 영역을 구분할 수 있는 적절한 임계치가 실험을 통해 획득될 수 있다.

이하, 도 12a 내지 도 12d를 참조하여, 도 11을 참조하여 설명된 관심 영역의 결정 동작을 구체적으로 설명하기로 한다. 도 12a 내지 도 12d는 도 11을 참조하여 설명된 관심 영역의 결정 동작을 구체적으로 설명하기 위한 예시적인 도면이다.

도 12a는 대상체(20)의 구강에 대한 가상의 단면 이미지(700)의 일례로써, 구강 스캐너(200)의 스캔 방향(710), 치아 영역(720), 치은 영역(730) 및 연조직 영역(740)을 도시하고 있다. 여기서, 치아 영역(720)은 치은 영역(730)과의 제1 경계(750a) 및 연조직 영역(740)과의 제2 경계(750b)로 구분됨을 이해할 수 있다. 앞서 도 10을 참조하여 설명된 바와 같이, 치아 영역(720)의 각각의 경계(750a, 750b)로부터 제1 인접 영역(731, 741)이 식별될 수 있다. 또한, 앞서 도 11을 참조하여 설명된 바와 같이, 치아 영역(720)에 대응되는 제1 좌표와 제1 인접 영역(731, 741)에 대응되는 제2 좌표의 깊이의 차이가 산출될 수 있다. 여기서, 치아 영역(720)에 대응되는 제1 좌표는, 제1 인접 영역(731, 741)과 가장 가까운 거리의 치아 영역에 포함된 미소 영역의 좌표일 수 있으며, 도 12a를 참조하면, 각각의 제1 인접 영역(731, 741)에 가장 가까운 거리의 미소 영역과 제1 인접 영역(731, 741) 사이의 깊이가 비교됨을 이해할 수 있다. 도 12a에 도시된 예시에 따르면, 치은 영역(730)에 위치한 제1 인접 영역(731)과 치아 영역(720)의 깊이 차이는 임계치(800) 미만이고, 연조직 영역(740)에 위치한 제1 인접 영역(741)과 치아 영역(720)의 깊이 차이는 임계치(800) 이상이다. 따라서, 연조직 영역(740)에 위치한 제1 인접 영역(741)은 관심 영역에 제외되나, 치은 영역(730)에 위치한 제1 인접 영역(731)은 관심 영역에 포함된다. 앞서 도 11을 참조하여 설명된 바와 같이, 적절한 임계치(800)를 설정함으로써, 도 12a에 도시된 일례와 같이, 관심 영역의 결정 동작을 수행할 수 있다.

관심 영역의 결정 동작은, 그 관심 영역을 일정한 규칙에 따라 점진적으로 확장하면서 수행될 수 있다. 이하에서는, 관심 영역의 확장에 관하여 보다 구체적으로 설명하기로 한다.

도 11에 도시된 단계 S133에 관하여, 몇몇 실시예에서, 치아 영역과의 깊이의 차이가 임계치 이상인 제1 인접 영역을 관심 영역에서 제외하는 단계는, 제1 인접 영역과 제1 인접 영역의 경계로부터 소정의 거리 이내에 위치한 제2 인접 영역의 깊이의 차이가 임계치 미만이라도, 제2 인접 영역을 관심 영역에서 제외하는 단계를 포함할 수 있다. 여기서, 제2 인접 영역의 식별 동작에 관해서는 도 5의 단계 S120에 관한 설명이 참조될 수 있으며, 깊이의 차이 산출 동작에 관해서는 도 11에 관한 설명이 참조될 수 있다.

본 실시예와 관련하여 보다 구체적인 설명을 위해 도 12b를 참조하면, 연조직 영역(740)에 위치한 제1 인접 영역(741)과 연조직 영역(740)에 위치한 제2 인접 영역(743)의 깊이의 차이가 임계치(800) 미만이라도, 연조직 영역(740)에 위치한 제2 인접 영역(743)은 관심 영역에서 제외됨을 이해할 수 있다. 즉, 여기서 설명된 규칙은, 한번 제외된 영역(예: 연조직 영역(740)에 위치한 제1 인접 영역(741))의 경계로부터 확장된 영역에 대해서는 관심 영역으로의 편입을 불허하는 규칙이며, 이러한 규칙을 통해서, 관심 영역이 될 수 없는 영역에 대한 연산으로 불필요하게 소모되는 컴퓨팅 리소스를 절약할 수 있다.

도 11에 도시된 단계 S134에 관하여, 몇몇 실시예에서, 치아 영역과의 깊이의 차이가 임계치 미만인 제1 인접 영역을 관심 영역에 포함하는 단계는, 관심 영역과 그 관심 영역의 경계로부터 소정의 거리 이내에 위치한 제3 인접 영역의 깊이의 차이가 임계치 이상이 될 때까지, 관심 영역을 반복하여 확장하는 단계를 포함할 수 있다. 여기서, 제3 인접 영역의 식별 동작에 관해서는 도 5의 단계 S120에 관한 설명이 참조될 수 있으며, 깊이의 차이 산출 동작에 관해서는 도 11에 관한 설명이 참조될 수 있다.

본 실시예와 관련하여 보다 구체적인 설명을 위해 도 12c를 참조하면, 치은 영역(730)에 위치한 제1 인접 영역(731)은 도 12a를 참조하여 설명된 바와 같이 관심 영역에 포함된 영역이다. 따라서, 치은 영역(730)에 위치한 제1 인접 영역(731)은 관심 영역에 대응되는 미소 영역으로 이해될 수 있으며, 치은 영역(730)에 위치한 제1 인접 영역(731)과 치은 영역(730)에 위치한 제3 인접 영역(733)의 깊이 차이를 비교함으로써, 치은 영역(730)에 위치한 제3 인접 영역(733)을 관심 영역에 포함할지 여부를 결정할 수 있다. 도 12c에 도시된 예시에 따르면, 관심 영역(치은 영역(730)에 위치한 제1 인접 영역(731))과 치은 영역(730)에 위치한 제3 인접 영역(733)의 깊이의 차이가 임계치(800) 미만이므로, 치은 영역(730)에 위치한 제3 인접 영역(733)은 관심 영역에 포함됨을 이해할 수 있다. 마찬가지 규칙에 따라 반복하여 관심 영역이 확장될 수 있고, 도 12d를 참조하면, 치은 영역의 미소 영역들(731, 733, 735, 737)이 반복하여 관심 영역에 포함됨을 이해할 수 있다. 즉, 여기서 설명된 규칙은, 확장된 관심 영역과 그 인접 영역의 깊이 비교라는 동일한 규칙을 반복 적용함으로써, 반복하여 관심 영역을 확장하는 규칙이며, 이러한 규칙을 통해, 사용자(10)의 의도에 부합하도록 관심 영역을 결정할 수 있다.

지금까지 설명된 관심 영역의 확장 동작을 구체적인 예로써 설명하면, 치아 영역으로부터 연속적으로 연결되는 치은 영역은 관심 영역에 편입될 수 있고, 치아 영역으로부터 유격 거리를 갖는 노이즈 영역(예: 연조직 영역 등)은 관심 영역에서 제외될 수 있다. 지금까지 설명된 관심 영역의 확장 동작에서, 확장 대상 영역(예: 제3 인접 영역)과 관심 영역의 깊이의 차이라는 단일한 규칙에 의해 그 관심 영역의 말단을 결정하였으나, 이하에서는, 그 관심 영역의 말단을 결정하기 위한 다른 동작들에 대해 설명하기로 한다.

몇몇 실시예에서, 관심 영역을 반복하여 확장하는 단계는, 확장 횟수가 기준 횟수 이상이면, 관심 영역과 제3 인접 영역의 깊이의 차이가 임계치 미만이라도, 관심 영역의 확장을 중단할 수 있다. 여기서, 기준 횟수는, 관심 영역의 제외 및 포함의 기준이 될 수 있는 설정 값의 일종으로써, 사용자(10)는 실제 구현 사례에 따라 기준 횟수를 얼마든지 변경할 수 있다. 만약, 치은 영역의 일정 부분까지만 관심 영역에 포함시키려는 사례라면, 적절한 기준 횟수가 실험을 통해 획득될 수 있다. 본 실시예에 따르면, 사용자의 의도에 보다 부합하게 관심 영역이 결정될 수 있으며, 예를 들어, 치은 영역이라도 치과 진료에 필요한 치은 영역의 일부 영역만을 관심 영역에 포함시킬 수 있다. 또한, 치과 진료에 불필요한 영역에 대한 연산에 의해 소모되는 컴퓨팅 리소스를 절약할 수도 있다.

다른 몇몇 실시예에서, 관심 영역의 반복 확장 시, 관심 영역의 경계와 확장 대상 영역(예: 제3 인접 영역) 사이의 거리는, 확장 횟수가 증가할수록 증가될 수 있다. 여기서, 거리의 증가 폭은, 관심 영역의 제외 및 포함의 기준이 될 수 있는 설정 값의 일종으로써, 사용자(10)는 실제 구현 사례에 따라 거리의 증가 폭을 얼마든지 변경할 수 있다. 만약, 치은 영역의 일정 부분까지만 관심 영역에 포함시키려는 사례라면, 적절한 거리의 증가 폭이 실험을 통해 획득될 수 있다. 이와 관련된 보다 구체적인 설명을 위해 도 13을 참조하여 설명하기로 한다.

도 13은 본 개시의 몇몇 실시예에서 참조될 수 있는 관심 영역의 확장 동작 및 그 확장에 따른 인접 영역의 결정 동작을 구체적으로 설명하기 위한 예시적인 도면이다. 도 13은 대상체(20)의 구강을 단순화시킨 가상의 단면 이미지의 일례로써, 치아 영역(720)과 치은 영역(730)이 제1 경계(750a)로 구분된 일례를 도시하고 있다. 여기서, 확장 횟수를 거듭할수록 관심 영역의 경계와 확장 대상 영역(761, 763, 765, 767, 769) 사이의 거리(771, 773, 775, 777, 779)가 증가됨을 확인할 수 있으며, 이때, 도 12a 내지 도 12d를 참조하여 설명된 바와 같이 스캔 방향(710)의 깊이의 차이를 산출하여, 확장 대상 영역(761, 763, 765, 767, 769)을 관심 영역에 포함할지 여부를 결정할 수 있다. 도 13에 도시된 일례와 같이, 확장 대상 영역(761, 763, 765, 767, 769)이 전부 치은 영역에 포함된 영역이라도, 제1 미소 영역(761, 763, 765, 767)은 관심 영역에 포함되고, 제2 미소 영역(769)은 관심 영역에 제외됨을 이해할 수 있다. 본 실시예에 따르면, 사용자의 의도에 보다 부합하게 관심 영역이 결정될 수 있으며, 예를 들어, 치은 영역이라도 치과 진료에 필요한 치은 영역의 일부 영역만을 관심 영역에 포함시킬 수 있다. 또한, 치과 진료에 불필요한 영역에 대한 연산에 의해 소모되는 컴퓨팅 리소스를 보다 절약할 수도 있다. 구체적으로, 확장 횟수를 거듭할수록 관심 영역의 경계와 확장 대상 영역(761, 763, 765, 767, 769) 사이의 거리(771, 773, 775, 777, 779)가 증가됨으로써, 확장 시마다 관심 영역의 경계와 확장 대상 영역의 거리가 동일한 경우보다 더 적은 확장 횟수의 연산으로 더 신속하게 관심 영역의 말단을 결정할 수 있다.

지금까지 관심 영역의 말단을 결정하는 동작들에 대해 설명하였다. 지금까지 설명된 다양한 규칙에 따르면, 사용자의 의도에 부합하는 관심 영역을 결정하면서도, 컴퓨팅 리소스를 절약할 수 있었다. 이하, 지금까지 설명된 동작들에 따라 결정된 관심 영역의 구체적인 일례를 도 14a를 참조하여 설명하기로 한다.

도 14a는 도 9를 참조하여 설명된 타겟 구강의 2차원 이미지에 대해 결정된 관심 영역을 나타내는 예시적인 도면이다. 도 14a는 도 9에 도시된 입력 이미지(610)에 대응되는 출력 이미지(650)의 일례를 도시하고 있으며, 도 14a에 도시된 출력 이미지(650)는 관심 영역(650a)을 포함하고 있다. 도 9와 도 14a를 비교하면, 출력 이미지(650) 상에서 관심 영역(650a, 입력 이미지(610)의 치아 영역(610a) 및 치은 영역(610b)에 대응)과 노이즈 영역(650b, 입력 이미지(610)의 연조직 영역(610c)에 대응)이 관심 영역(650a)의 경계(651)를 기준으로 구분되고 있음을 이해할 수 있다.

지금까지 도 5, 도 11 및 관련 예시 도면들을 참조하여 설명된 본 개시의 몇몇 실시예에 따른 이미지 처리 방법에 따르면, 치과 진료에 필요한, 즉, 사용자(10)의 관심 대상이 되는, 2차원 이미지의 관심 영역을 동적으로 결정하고, 그 결정된 2차원 이미지에 기초하여 3차원 이미지를 생성할 수 있다. 또한, 전술한 이미지 처리 방법에 따르면, 사용자(10)의 개입을 최소화하면서도 고품질의 3차원 이미지(즉, 노이즈를 적게 포함하는 이미지)를 생성할 수도 있다. 이하 도 15 내지 도 19를 참조하여, 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 다른 예시적인 동작들에 대해 설명하기로 한다.

우선, 도 15는 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 다른 예시적인 순서 도면이다. 도 15를 참조하면 단계 S210에서, 타겟 구강에 대한 2차원 이미지에서 관심 영역이 결정될 수 있다. 본 단계는 도 5의 단계 S110, 단계 S120 및 단계 S130에 관한 설명을 참조하면 이해될 수 있다.

다음으로 단계 S220에서, 2차원 이미지 상에 관심 영역이 하이라이팅되어 표시될 수 있다. 여기서, 관심 영역의 하이라이팅을 위해, 공지된 다양한 그래픽 시각화 기술들이 참조될 수 있다. 예를 들어, 도 14b에 도시된 출력 이미지(660)와 같이, 마스크(660a)가 관심 영역에 오버레이(overlay)될 수 있으나, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 결정된 관심 영역을 사용자(10)가 시각적으로 인식할 수 있는 기술이라면, 어떠한 방식으로 관심 영역을 하이라이팅하더라도 본 개시의 범위에 포함될 수 있다.

몇몇 실시예에서, 관심 영역이 하이라이팅된 출력 이미지와 그 출력 이미지에 대응되는 3차원 이미지가 함께 표시될 수도 있다. 예를 들어, 도 16에 도시된 예시적인 전자 장치(100)의 화면(900)과 같이, 관심 영역(931)이 하이라이팅된 출력 이미지(930)와 그 출력 이미지에 대응되는 3차원 이미지(910)가 하나의 화면(900)에 표시될 수 있다. 여기서, 화면(900)에 출력되는 출력 이미지(930)와 대응되는 3차원 이미지(910) 상의 영역을 사용자(10)가 쉽게 인식하도록, 참조 박스(920)가 화면(900)에 더 표시될 수도 있다.

지금까지 도 15 및 관련 예시 도면들을 참조하여 설명된 본 개시의 몇몇 실시예에 따른 이미지 처리 방법에 따르면, 사용자(10)는 3차원 이미지의 변환에 활용된 관심 영역을 시각적으로 확인할 수 있다. 이러한 관심 영역을 사용자(10)가 시각적으로 확인함으로써, 혹시 발생될 수 있는 관심 영역 결정의 오류를 사용자(10)가 확인할 수 있으며, 앞서 도 2를 참조하여 설명된 사용자 인터페이스를 통해 그 오류를 보정할 수 있다. 특히, 관심 영역이 하이라이팅된 출력 이미지와 그 출력 이미지에 대응되는 3차원 이미지를 사용자(10)가 하나의 화면에서 함께 확인함으로써, 혹시 발생될 수 있는 관심 영역 결정의 오류를 사용자(10)가 보다 세세하게 확인할 수도 있다. 또한, 사용자(10)는 스캐닝 완료 후 또는 그 스캐닝의 과정 중에서, 전자 장치(100)의 화면에 표시된 2차원 이미지의 관심 영역을 확인하면서 치과 진료를 수행함으로써, 사용자의 편의성이 극대화될 수도 있다.

다음으로, 도 17은 본 개시의 몇몇 실시예에 따른 이미지 처리 방법을 나타내는 또 다른 예시적인 순서 도면이다. 도 17을 참조하면 단계 S310에서, 타겟 구강에 대한 2차원 이미지에서 관심 영역이 결정될 수 있다. 본 단계는 도 5의 단계 S110, 단계 S120 및 단계 S130에 관한 설명을 참조하면 이해될 수 있다. 다음으로 단계 S320에서, 관심 영역을 포함하는 2차원 이미지로부터 타겟 구강에 대한 3차원 이미지가 생성될 수 있다. 본 단계는 도 5의 단계 S140에 관한 설명을 참조하면 이해될 수 있다.

다음으로 단계 S330에서, 3차원 이미지 상에 관심 영역이 하이라이팅되어 표시될 수 있다. 여기서, 관심 영역의 하이라이팅을 위해, 공지된 다양한 그래픽 시각화 기술들이 참조될 수 있다. 예를 들어, 도 18에 도시된 3차원 이미지(110)를 포함하는 화면(1000)과 같이, 치아 영역(1200)과 치은 영역(1300)을 포함하는 관심 영역에 마스크가 오버레이될 수 있으나, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 결정된 관심 영역을 사용자(10)가 시각적으로 인식할 수 있는 기술이라면, 어떠한 방식으로 관심 영역을 하이라이팅하더라도 본 개시의 범위에 포함될 수 있다.

몇몇 실시예에서, 3차원 이미지 상에 보다 더 치과 진료에 필수적인 치아 영역이 하이라이팅되어 표시될 수도 있다. 예를 들어, 도 19에 도시된 3차원 이미지(1100)를 포함하는 화면(1000)과 같이, 치아 영역(1210)은 마스크가 오버레이되고, 치은 영역(1310)은 마스크가 오버레이되지 않을 수 있으나, 본 예시에 본 개시의 범위가 한정되는 것은 아니고, 치아 영역을 사용자(10)가 시각적으로 인식할 수 있는 기술이라면, 어떠한 방식으로 치아 영역을 하이라이팅하더라도 본 개시의 범위에 포함될 수 있다.

지금까지 도 17 및 관련 예시 도면들을 참조하여 설명된 본 개시의 몇몇 실시예에 따른 이미지 처리 방법에 따르면, 사용자(10)는 3차원 이미지 상에서 관심 영역을 시각적으로 확인할 수 있다. 이러한 관심 영역을 사용자(10)가 시각적으로 확인함으로써, 치과 진료에 필수적인 영역을 확인할 수 있다. 즉, 사용자(10)는 스캐닝 완료 후 또는 그 스캐닝의 과정 중에서, 전자 장치(100)의 화면에 표시된 3차원 이미지의 관심 영역을 확인하면서 치과 진료를 수행함으로써, 사용자의 편의성이 극대화될 수 있다.

지금까지 도 1 내지 도 19를 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 명세서의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

또한, 지금까지 도 1 내지 도 19를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨팅 장치(예: 전자 장치)가 읽을 수 있는 기록 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 여기서, 코드로 구현된 컴퓨터 프로그램은 컴퓨팅 장치의 메모리에 로드될 때, 컴퓨팅 장치의 프로세서로 하여금 본 개시의 다양한 실시예에 따른 동작을 수행하도록 하는 적어도 하나의 인스트럭션(instruction)을 포함할 수 있다. 이러한 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어, 이동형 기록 매체(예: CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크 등)이거나 고정식 기록 매체(예: ROM, RAM, 컴퓨터 구비 형 하드 디스크 등)일 수 있다. 또한, 기록 매체는 비일시적(non-transitory) 기록 매체일 수 있다. 여기서, 비일시적 기록 매체는 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)을 의미하며, 일시적(transitory)으로 전파되는 신호(signal)을 포함하지 않을 수 있다. 나아가, 기록 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 다른 컴퓨팅 장치에서 사용될 수 있다.

이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

1. 전자 장치에 의해 수행되는 이미지 처리 방법에 있어서,
   타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 단계;
   상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 단계;
   상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 단계; 및
   상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 단계를 포함하는,
   이미지 처리 방법.
2. 제1항에 있어서,
   상기 치아 영역을 식별하는 단계는,
   기계 학습 알고리즘에 따라 구축된 치아 세그멘테이션 모델을 이용하여, 상기 2차원 이미지에서 상기 치아 영역을 식별하는 단계를 포함하고,
   상기 치아 세그멘테이션 모델은,
   치아에 관한 학습 이미지 세트와 상기 학습 이미지 세트에 대응되는 세그멘테이션 결과 이미지 세트 사이의 상관 관계를 모델링하여 학습된 모델인,
   이미지 처리 방법.
3. 제1항에 있어서,
   상기 관심 영역에 포함할지 여부를 결정하는 단계는,
   상기 치아 영역에 대응되는 제1 좌표 및 상기 제1 인접 영역에 대응되는 제2 좌표를 비교하여 상기 깊이의 차이를 산출하는 단계를 포함하되,
   상기 제1 좌표 및 상기 제2 좌표 각각은, 상기 전자 장치에 연동된 구강 스캐너를 이용하여 획득된 좌표인,
   이미지 처리 방법.
4. 제3항에 있어서,
   상기 제1 좌표 및 상기 제2 좌표 각각은, 제1 카메라의 포지션, 상기 제1 카메라와 구별되는 제2 카메라의 포지션, 상기 제1 카메라가 촬영한 이미지 및 상기 제2 카메라가 촬영한 이미지에 기초하여 산출된 좌표이고,
   상기 제1 카메라 및 상기 제2 카메라는, 상기 구강 스캐너에 구비된 카메라인,
   이미지 처리 방법.
5. 제3항에 있어서,
   상기 제1 좌표 및 상기 제2 좌표 각각은,
   상기 구강 스캐너로부터 촬영된 상기 2차원 이미지에 대한 단안 깊이 추정(Monocular Depth Estimation)을 통해 획득된 좌표인,
   이미지 처리 방법.
6. 제1항에 있어서,
   상기 관심 영역에 포함할지 여부를 결정하는 단계는,
   상기 깊이의 차이가 임계치 이상이면, 상기 제1 인접 영역을 상기 관심 영역에서 제외하는 단계를 포함하는,
   이미지 처리 방법.
7. 제6항에 있어서,
   상기 관심 영역에서 제외하는 단계는,
   상기 제1 인접 영역과 상기 제1 인접 영역의 경계로부터 소정의 거리 이내에 위치한 제2 인접 영역의 깊이의 차이가 임계치 미만이라도, 상기 제2 인접 영역을 상기 관심 영역에서 제외하는 단계를 포함하는,
   이미지 처리 방법.
8. 제1항에 있어서,
   상기 관심 영역에 포함할지 여부를 결정하는 단계는,
   상기 깊이의 차이가 임계치 미만이면, 상기 제1 인접 영역을 상기 관심 영역에 포함하는 단계를 포함하는,
   이미지 처리 방법.
9. 제8항에 있어서,
   상기 제1 인접 영역을 상기 관심 영역에 포함하는 단계는,
   상기 관심 영역과 상기 관심 영역의 경계로부터 소정의 거리 이내에 위치한 제3 인접 영역의 깊이의 차이가 임계치 이상이 될 때까지, 상기 관심 영역을 반복하여 확장하는 단계를 포함하는,
   이미지 처리 방법.
10. 제9항에 있어서,
    상기 관심 영역의 경계와 상기 제3 인접 영역 사이의 거리는, 확장 횟수가 증가할수록 증가되는,
    이미지 처리 방법.
11. 제9항에 있어서,
    상기 관심 영역을 반복하여 확장하는 단계는,
    확장 횟수가 기준 횟수 이상이면, 상기 관심 영역과 상기 제3 인접 영역의 깊이의 차이가 상기 임계치 미만이라도, 상기 관심 영역의 확장을 중단하는 단계를 포함하는,
    이미지 처리 방법.
12. 제1항에 있어서,
    상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 단계를 더 포함하는,
    이미지 처리 방법.
13. 제1항에 있어서,
    상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 단계를 더 포함하는,
    이미지 처리 방법.
14. 프로세서;
    구강 스캐너와 통신 연결되는 네트워크 인터페이스;
    디스플레이;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 인스트럭션(instruction);
    상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 인스트럭션;
    상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 인스트럭션; 및
    상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 인스트럭션을 포함하는,
    전자 장치.
15. 제14항에 있어서,
    상기 관심 영역에 포함할지 여부를 결정하는 인스트럭션은,
    상기 깊이의 차이가 임계치 이상이면, 상기 제1 인접 영역을 상기 관심 영역에서 제외하고, 상기 깊이의 차이가 상기 임계치 미만이면, 상기 제1 인접 영역을 상기 관심 영역에 포함하는 인스트럭션을 포함하는,
    전자 장치.
16. 제14항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함하는,
    전자 장치.
17. 제14항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함하는,
    전자 장치.
18. 프로세서에 의해 실행되기 위한 컴퓨터 프로그램을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 컴퓨터 프로그램은,
    타겟 구강에 대한 2차원 이미지에서 치아 영역을 식별하는 인스트럭션(instruction);
    상기 2차원 이미지에서 상기 치아 영역의 경계로부터 소정의 거리 이내에 위치한 제1 인접 영역을 식별하는 인스트럭션;
    상기 치아 영역과 상기 제1 인접 영역의 깊이의 차이에 기초하여, 상기 제1 인접 영역을 관심 영역에 포함할지 여부를 결정하는 인스트럭션; 및
    상기 관심 영역을 포함하는 상기 2차원 이미지로부터 상기 타겟 구강에 대한 3차원 이미지를 생성하는 인스트럭션을 포함하는,
    컴퓨터 판독 가능 기록 매체.
19. 제18항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 2차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함하는,
    컴퓨터 판독 가능 기록 매체.
20. 제18항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 3차원 이미지 상에 상기 관심 영역을 하이라이팅하여 표시하는 인스트럭션을 더 포함하는,
    컴퓨터 판독 가능 기록 매체.