KR102520630B1

KR102520630B1 - A method for processing a 3D intraoral model, and an apparatus for performing the same method

Info

Publication number: KR102520630B1
Application number: KR1020200170755A
Authority: KR
Inventors: 김두수
Original assignee: 주식회사 메디트
Priority date: 2020-10-28
Filing date: 2020-12-08
Publication date: 2023-04-12
Also published as: KR20220056767A

Abstract

실시예들에 따라 삼차원 구강 모델 처리 방법 및 장치가 개시된다. 개시된 삼차원 구강 모델을 처리하는 방법은, 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하는 동작, 치아 모델에 포함된 하나 이상의 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형하는 동작, 하나 이상의 콘트롤 팩터를 이용하여 치아의 이동을 나타내는 변위의 적어도 일부가 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득하는 동작, 및 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 획득된 최종 치은 모델을 디스플레이에 표시하는 동작을 포함할 수 있다.According to embodiments, a method and apparatus for processing a 3D oral model are disclosed. The disclosed method for processing a three-dimensional oral cavity model includes an operation of acquiring a tooth model and a gingival model from a three-dimensional oral model, and deformation of the gingival model by reflecting the amount of movement of the gingiva according to a displacement representing the movement of one or more teeth included in the tooth model. An operation of obtaining a final gingiva model by suppressing at least a portion of the displacement representing the movement of the tooth by using one or more control factors from being reflected in the movement amount of the gingiva, and the movement of one or more teeth included in the tooth model is expressed An operation of displaying the final gingival model obtained together with the final tooth model on a display may be included.

Description

Method and apparatus for processing a 3D oral model {A method for processing a 3D intraoral model, and an apparatus for performing the same method}

개시된 실시예는 삼차원 구강 모델을 처리하는 방법 및 장치에 관한 것이다. 구체적으로, 개시된 실시예는 구강 내 치아의 이동에 따른 치은의 변형을 자연스럽게 모델링하기 위한 삼차원 구강 모델을 처리하는 방법 및 장치에 관한 것이다.The disclosed embodiments relate to methods and apparatus for processing three-dimensional oral models. Specifically, the disclosed embodiments relate to a method and apparatus for processing a three-dimensional oral cavity model for naturally modeling gingival deformation according to movement of teeth in the oral cavity.

환자의 치과 치료에는 다양한 분야가 존재한다. 치과 치료 분야로는 치아 교정을 예로 들 수 있다. 치아 교정의 방법에는 여러가지가 있다. 일 예로 교정을 하기 위해서, 환자는 치아에 브라켓 등의 교정 장치를 설치하고, 설치된 적어도 하나의 브라켓에 와이어를 연결한다. 와이어에 연결된 브라켓을 이용하여, 적어도 하나의 치아를 목적하는 위치 즉 치아의 최종 위치 또는 타겟 위치로 이동시킴으로써 치아의 위치에 대한 교정을 수행할 수 있다. 치아 교정 계획에 있어서 환자의 치아의 초기 위치에 있는 치아들을 목적하는 타겟 위치로 이동시킴에 따라서 치은의 형상도 변형되게 되는데, 이 때 치아의 이동에 따라 치은의 형상의 변형도 자연스럽게 되도록 보여줄 필요가 있다. 디스플레이에 환자들에게 치아 이동량을 보여줄 때 치아만 보여주면 부자연스럽기 때문에 잇몸도 같이 보여주게 되는데 이때 자연스럽게 치은의 변형을 보여줄 필요가 있다. 치아의 이동에 따라 예상되는 치은의 변형을 나타내는 디지털 모델을 획득하는 기술에 관한 문헌으로는 미국특허 US 6,514,074 (공개일: 2003.2.4.)를 예로 들 수 있다.There are various fields in the dental treatment of patients. Orthodontic treatment is an example of dental treatment. There are several methods of straightening teeth. For example, in order to perform correction, a patient installs an orthodontic device such as a bracket on a tooth, and connects a wire to at least one installed bracket. Correction of the tooth position may be performed by moving at least one tooth to a target position, that is, to a final position or a target position of the tooth using a bracket connected to a wire. In the orthodontic plan, as the teeth in the initial position of the patient's teeth are moved to the target target position, the shape of the gingiva is also transformed. there is. When showing patients the amount of tooth movement on the display, showing only the teeth is unnatural, so the gums are also shown. At this time, it is necessary to show the deformation of the gingiva naturally. US Patent US 6,514,074 for a technique for acquiring a digital model representing expected gingival deformation according to tooth movement. (Public date: 2003.2.4.) is an example.

개시된 실시예는, 구강 내 치아의 이동에 따른 치은의 변형을 자연스럽게 모델링하기 위한 삼차원 구강 모델을 처리하는 방법 및 장치에 관한 것이다.The disclosed embodiments relate to a method and apparatus for processing a three-dimensional oral model for naturally modeling gingival deformation according to movement of teeth in the oral cavity.

일 실시예에 따라 삼차원 구강 모델을 처리하는 방법은, 상기 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하는 동작, 상기 치아 모델에 포함된 하나 이상의 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형하는 동작, 하나 이상의 콘트롤 팩터를 이용하여 상기 치아의 이동을 나타내는 변위의 적어도 일부가 상기 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득하는 동작, 및 상기 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 상기 획득된 최종 치은 모델을 디스플레이에 표시하는 동작을 포함한다. According to an embodiment, a method for processing a 3D oral cavity model includes an operation of acquiring a tooth model and a gingiva model from the 3D oral model, and reflection of a movement amount of the gingiva according to a displacement indicating movement of one or more teeth included in the tooth model. operation of deforming the gingiva model by using one or more control factors, obtaining a final gingiva model by suppressing at least a part of the displacement representing the movement of the tooth from being reflected in the amount of movement of the gingiva, and including in the tooth model and displaying the obtained final gingival model together with the final tooth model in which the movement of one or more teeth is expressed on a display.

일 실시예에 따라 최종 치은 모델에 포함되는 치은의 수평 이동량은 상기 하나 이상의 치아의 수평 이동을 나타내는 변위 값보다 작거나 같을 수 있다. According to an embodiment, the amount of horizontal movement of the gingiva included in the final gingival model may be smaller than or equal to a displacement value representing the horizontal movement of the one or more teeth.

일 실시예에 따라 최종 치은 모델에 포함되는 치은의 회전 이동량은 상기 하나 이상의 치아의 회전 이동을 나타내는 변위 값보다 작거나 같을 수 있다. According to an embodiment, a rotational movement amount of the gingiva included in the final gingiva model may be smaller than or equal to a displacement value representing the rotational movement of the one or more teeth.

일 실시예에 따라 치은 모델을 변형하는 동작은, 상기 삼차원 구강 모델의 공간에 복수의 조정점들을 배열하는 동작, 상기 하나 이상의 치아의 이동을 나타내는 변위에 따라 상기 복수의 조정점들의 이동량을 결정하는 동작, 및 상기 복수의 조정점들의 이동량에 따라 결정된 상기 치은의 이동량을 반영하여 상기 치은 모델을 변형하는 동작을 포함할 수 있다. The operation of deforming the gingival model according to an embodiment includes arranging a plurality of adjustment points in the space of the three-dimensional oral model, and determining a movement amount of the plurality of adjustment points according to a displacement indicating a movement of one or more teeth. and an operation of deforming the gingival model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of control points.

일 실시예에 따라 삼차원 구강 모델의 공간에 복수의 조정점들을 배열하는 동작은, 치아의 이동을 나타내는 변위에 따라 상기 조정점들의 밀도를 다르게 하여 배열하는 동작을 포함할 수 있다. According to an embodiment, the operation of arranging the plurality of adjustment points in the space of the 3D oral model may include an operation of arranging the adjustment points with different densities according to the displacement representing the movement of the teeth.

일 실시예에 따라 삼차원 구강 모델의 공간에 복수의 조정점들을 배열하는 동작은, 상기 삼차원 구강 모델을 둘러싸는 입체 도형의 평면상의 적어도 일부에 하나 이상의 조정점들을 배열하는 동작을 포함할 수 있다. According to an embodiment, the operation of arranging a plurality of adjustment points in the space of the 3D oral model may include an operation of arranging one or more adjustment points on at least a part of a plane of a three-dimensional figure surrounding the 3D oral model.

일 실시예에 따라 삼차원 구강 모델의 공간에 복수의 조정점들을 배열하는 동작은, 상기 치아의 회전축에 하나 이상의 조정점들을 직렬로 배열하는 동작을 포함할 수 있다. According to an embodiment, the operation of arranging the plurality of adjustment points in the space of the 3D oral model may include an operation of arranging one or more adjustment points in series on the axis of rotation of the tooth.

일 실시예에 따라 콘트롤 팩터를 이용하여 상기 최종 치은 모델을 획득하는 동작은, 상기 삼차원 구강 모델을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치함으로써 상기 삼차원 구강 모델을 둘러싸는 공간상의 왜곡의 변형을 억제하는 동작을 포함하는, 삼차원 구강 모델 처리 방법.Acquiring the final gingiva model using a control factor according to an embodiment includes suppressing deformation of distortion in space surrounding the 3D oral model by disposing one or more stabilizers in a space surrounding the 3D oral model. A three-dimensional oral model processing method comprising the operation of doing.

일 실시예에 따라 스태빌라이저는 변위가 제로인 구속을 나타낼 수 있다. According to one embodiment, the stabilizer may exhibit a restraint with zero displacement.

일 실시예에 따라 콘트롤 팩터를 이용하여 상기 최종 치은 모델을 획득하는 동작은, 상기 치은의 이동량 중 적어도 일부를 베이스 픽싱함으로써 치은의 바닥 영역의 왜곡을 억제하는 동작하는 포함할 수 있다. According to an embodiment, the obtaining of the final gingiva model by using the control factor may include suppressing distortion of the bottom region of the gingiva by base-fixing at least a part of the movement amount of the gingiva.

일 실시예에 따라 베이스 픽싱은, 상기 치은의 바닥 영역의 이동량 중 오클루절 방향을 나타내는 축 에서의 변위를 조정함으로써 수행될 수 있다. According to an embodiment, the base fixing may be performed by adjusting a displacement in an axis indicating an occlusion direction among movement amounts of the bottom region of the gingiva.

일 실시예에 따라 상기 콘트롤 팩터를 이용하여 상기 최종 치은 모델을 획득하는 동작은, 상기 치아의 이동을 나타내는 변위 중 오클루절 방향을 축으로 하는 회전 변환 성분을 감소시키는 동작을 포함할 수 있다. According to an embodiment, the operation of acquiring the final gingiva model using the control factor may include an operation of reducing a rotation conversion component having an occlusion direction as an axis among displacements representing the movement of the teeth.

일 실시예에 따라 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하는 동작은, 상기 삼차원 구강 모델에서 치은 영역을 식별하는 동작, 및 상기 식별된 치은 영역의 가장 자리에 가상의 치은 베이스를 생성함으로써 상기 치은 모델을 획득하는 동작을 포함할 수 있다. Acquiring a tooth model and a gingival model from a 3D oral model according to an embodiment includes identifying a gingival region in the 3D oral model and creating a virtual gingival base at an edge of the identified gingival region. It may include an operation of obtaining a gingival model.

일 실시예에 따라 최종 치은 모델 획득을 위해 근사 (approximation) 기법이 이용될 수 있다. According to an embodiment, an approximation technique may be used to obtain the final gingival model.

일 실시예에 따라 삼차원 구강 모델을 처리하는 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하고, 상기 치아 모델에 포함된 하나 이상의 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형하고, 하나 이상의 콘트롤 팩터를 이용하여 상기 치아의 이동을 나타내는 변위의 적어도 일부가 상기 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득하고, 상기 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 상기 획득된 최종 치은 모델을 디스플레이에 표시한다. An apparatus for processing a three-dimensional oral model according to an embodiment includes a memory for storing one or more instructions; and a processor executing one or more instructions stored in the memory, wherein the processor obtains a tooth model and a gingiva model from the 3D oral model by executing the one or more instructions, and one or more teeth included in the tooth model. The final gingiva model is modified by reflecting the amount of movement of the gingiva according to the displacement representing the movement of the gingiva, and suppressing at least a part of the displacement representing the movement of the teeth from being reflected in the movement amount of the gingiva using one or more control factors. is acquired, and the obtained final gingiva model is displayed on a display together with the final tooth model in which the movement of one or more teeth included in the tooth model is expressed.

일 실시예에 따라 삼차원 구강 모델을 처리하는 방법을 수행하는 하나 이상의 인스트럭션을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 삼차원 구강 모델 처리 방법은, 상기 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하는 동작, 상기 치아 모델에 포함된 하나 이상의 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형하는 동작, 하나 이상의 콘트롤 팩터를 이용하여 상기 치아의 이동을 나타내는 변위의 적어도 일부가 상기 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득하는 동작, 및 상기 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 상기 획득된 최종 치은 모델을 디스플레이에 표시하는 동작을 포함한다. According to an embodiment, in a computer readable recording medium containing one or more instructions for performing a method of processing a 3D oral cavity model, the 3D oral model processing method comprises an operation of obtaining a tooth model and a gingival model from the 3D oral model. , An operation of deforming the gingival model by reflecting the amount of movement of the gingiva according to the displacement indicating the movement of one or more teeth included in the tooth model, and at least a part of the displacement representing the movement of the teeth using one or more control factors. An operation of obtaining a final gingiva model by suppressing reflection in the movement amount of , and an operation of displaying the obtained final gingiva model on a display together with a final tooth model in which the movement of one or more teeth included in the tooth model is expressed. do.

개시된 실시예에 따른 삼차원 구강 모델을 처리하는 방법 및 장치에 따르면, 단순히 치아의 이동만으로 치은의 변형을 나타내는 것이 아니라, 하나 이상의 콘트롤 팩터를 고려하여 치은의 변형을 제어함으로써 보다 자연스러운 치은의 변형을 획득할 수 있다. According to the method and apparatus for processing a three-dimensional oral cavity model according to the disclosed embodiment, more natural gingival deformation is obtained by controlling the gingival deformation in consideration of one or more control factors, rather than representing gingival deformation simply by moving teeth. can do.

개시된 실시예에 따른 삼차원 구강 모델을 처리하는 방법 및 장치에 따르면, 구강 내 치아의 이동에 따라 자연스럽게 치은이 변형된 구강 이미지를 디스플레이에 표시함으로써 환자에게 교정 후의 예측되는 치아 상태를 보다 어색함 없이 자연스럽게 보여줄 수 있다. According to the method and apparatus for processing a three-dimensional oral model according to the disclosed embodiment, an oral image in which the gingiva is naturally deformed according to the movement of the teeth in the oral cavity is displayed on a display, so that the patient can naturally show the predicted tooth condition after correction without awkwardness. can

본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 개시된 실시예에 따른 디지털 구강 모델 처리 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따라 치아의 이동에 따라 치은 모델을 변형시키는 개념을 설명하기 위한 참고도이다.
도 3은 개시된 실시예에 따른 데이터 처리 장치 100를 나타내는 일 블록도이다.
도 4는 개시된 실시예에 따라 데이터 처리 장치에서 삼차원 구강 모델을 처리하는 방법을 나타내는 일 플로우차트이다.
도 5는 일 예에 따라 데이터 처리 장치 100에 의해 획득된 삼차원 구강 모델의 일 예를 나타낸다.
도 6은 일 실시예에 따라 삼차원 구강 모델을 치아 영역과 치은 영역 분리하는 방법을 설명하기 위한 참고도이다.
도 7은 일 실시예에 따라 치은 모델을 생성하는 방법을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따라 치아 영역의 치아들을 개별화하는 방법을 설명하기 위한 참고도이다.
도 9는 일 실시예에 따라 개별화된 치아의 완전한 형상을 만드는 방법의 일 예를 나타낸다.
도 10은 일 실시예에 따라 치은 모델을 변형시키는 방법의 일 예에 따른 흐름도이다.
도 11은 일 예에 따라 치아의 이동을 나타내는 변위를 설명하기 위한 참고도이다.
도 12는 일 실시예에 따라 콘트롤 팩터로서 조정점을 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다.
도 13은 일 실시예에 따라 삼차원 구강 모델의 공간에 배치된 복수의 조정점들(control points)의 예를 나타낸다.
도 14는 일 실시예에 따라 각 치아에 배치되는 조정점들의 위치를 설명하기 위한 참고도이다.
도 15는 일 실시예에 따라 각 치아에 배치되는 조정점들의 예를 나타낸다.
도 16은 일 실시예에 따라 각 치아에 배치되는 조정점들의 위치를 설명하기 위한 참고도이다.
도 17은 일 실시예에 따라 콘트롤 팩터로서 스태빌라이저를 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다.
도 18은 일 실시예에 따라 삼차원 구강 모델에 스태빌라이저를 배치한 상태를 보여주는 도면이다.
도 19는 개시된 실시예에 따른 스태빌라이저를 적용한 예와 적용하지 않은 예의 차이를 보여주기 위한 참고도이다.
도 20은 일 실시예에 따라 콘트롤 팩터로서 베이스 픽싱을 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다.
도 21은 일 실시예에 따라 베이스 픽싱을 설명하기 위한 참고도이다.
도 22는 개시된 실시예에 따른 베이스 픽싱을 적용한 예와 적용하지 않은 예의 차이를 보여주기 위한 참고도이다.
도 23은 일 실시예에 따라 콘트롤 팩터로서 각 변위 억제기를 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다.
도 24는 일 실시예에 따라 데이터 처리 장치 100가 치아의 이동을 나타내는 변위에서 회전 변환 성분을 제어하는 방법을 설명하기 위한 참고도이다.
도 25는 일 실시예에 따라 치아의 이동에 따라 얼굴의 변형을 자연스럽게 보여주기 위한 방법을 설명하기 위한 참고도이다.
도 26은 일 실시예에 따라 최종 삼차원 구강 모델이 표시된 그래픽 유저 인터페이스의 일 예를 나타낸다.
도 27은 일 실시예에 따라 최종 삼차원 얼굴 모델이 표시된 그래픽 유저 인터페이스의 일 예를 나타낸다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention may be readily understood from the following detailed description in combination with the accompanying drawings, wherein reference numerals denote structural elements.
1 is a diagram for explaining a digital oral model processing system according to the disclosed embodiment.
2 is a reference view for explaining a concept of deforming a gingival model according to movement of teeth according to an exemplary embodiment.
3 is a block diagram illustrating a data processing device 100 according to an exemplary embodiment.
4 is a flowchart illustrating a method of processing a 3D mouth model in a data processing device according to an exemplary embodiment.
5 shows an example of a 3D oral model obtained by the data processing device 100 according to an example.
6 is a reference diagram for explaining a method of separating a tooth region and a gingival region of a three-dimensional oral model according to an embodiment.
7 is a reference diagram for explaining a method of generating a gingiva model according to an exemplary embodiment.
8 is a reference view for explaining a method of individualizing teeth in a tooth area according to an exemplary embodiment.
9 shows an example of a method for creating a complete shape of an individualized tooth according to one embodiment.
10 is a flowchart according to an example of a method of deforming a gingiva model according to an embodiment.
11 is a reference diagram for explaining displacement indicating movement of teeth according to an example.
12 is a flowchart of a method of obtaining a final gingival model using an adjustment point as a control factor according to an embodiment.
13 shows an example of a plurality of control points disposed in the space of the 3D oral model according to one embodiment.
14 is a reference diagram for explaining positions of adjustment points disposed on each tooth according to an exemplary embodiment.
15 shows an example of adjustment points disposed on each tooth according to an embodiment.
16 is a reference diagram for explaining positions of adjustment points disposed on each tooth according to an exemplary embodiment.
17 is a flowchart of a method of obtaining a final gingival model using a stabilizer as a control factor according to an embodiment.
18 is a view showing a state in which a stabilizer is disposed in a three-dimensional oral model according to an embodiment.
19 is a reference diagram illustrating a difference between an example in which a stabilizer according to the disclosed embodiment is applied and an example in which it is not applied.
20 is a flowchart of a method of obtaining a final gingival model using base fixing as a control factor according to an embodiment.
21 is a reference diagram for describing base fixing according to an exemplary embodiment.
22 is a reference diagram illustrating a difference between an example in which base fixing is applied and an example in which base fixing is not applied according to the disclosed embodiment.
23 is a flowchart of a method of obtaining a final gingival model using each displacement suppressor as a control factor according to one embodiment.
FIG. 24 is a reference diagram for explaining a method of controlling a rotation conversion component in a displacement indicating tooth movement by the data processing apparatus 100 according to an exemplary embodiment.
25 is a reference diagram for explaining a method for naturally showing facial deformation according to tooth movement according to an embodiment.
26 illustrates an example of a graphical user interface displaying a final 3D oral model according to an embodiment.
27 illustrates an example of a graphic user interface displaying a final 3D face model according to an embodiment.

본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.This specification clarifies the scope of the present invention, explains the principles of the present invention, and discloses embodiments so that those skilled in the art can practice the present invention. The disclosed embodiments may be implemented in various forms.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Like reference numbers designate like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present invention belongs is omitted. The term 'part' (portion) used in the specification may be implemented as software or hardware, and according to embodiments, a plurality of 'parts' may be implemented as one element (unit, element), or a single 'unit'. It is also possible that section' includes a plurality of elements. Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.

본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다. In this specification, the image may include at least one tooth, or an image representing an oral cavity including at least one tooth (hereinafter referred to as 'oral image').

또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 이미지가 될 수 있다. 또한, 본 명세서에서 이미지는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 데이터, 예를 들어, 적어도 하나의 이미지 센서로부터 획득된 로우 데이터(raw data) 등을 의미할 수 있다. 구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 데이터로, 구강 스캐너(intraoral scanner)를 이용하여 대상체인 환자의 구강 내를 스캔(scan)할 때 구강 스캐너에 포함되는 적어도 하나의 이미지 센서에서 획득되는 데이터(예를 들어, 2차원 데이터)가 될 수 있다. Also, in the present specification, an image may be a 2D image of an object or a 3D model or 3D image representing the object in three dimensions. Also, in this specification, an image may refer to data required to represent an object in 2D or 3D, eg, raw data obtained from at least one image sensor. Specifically, the raw data is data acquired to generate an oral image, and when scanning the oral cavity of a patient, which is an object, using an intraoral scanner, at least one image sensor included in the oral scanner It may be acquired data (eg, 2-dimensional data).

본 명세서에서 '대상체(object)'는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 여기서, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다. In this specification, an 'object' refers to teeth, gingiva, at least a portion of the oral cavity, and/or an artificial structure that can be inserted into the oral cavity (eg, an orthodontic device, an implant, an artificial tooth, an orthodontic aid tool inserted into the oral cavity, etc.) ) and the like. Here, the orthodontic device may include at least one of a bracket, an attachment, an orthodontic screw, a lingual orthodontic device, and a removable orthodontic retainer.

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.

도 1은 개시된 실시예에 따른 디지털 구강 모델 처리 시스템을 설명하기 위한 도면이다. 1 is a diagram for explaining a digital oral model processing system according to the disclosed embodiment.

도 1을 참조하면, 디지털 구강 모델 처리 시스템은 스캔 장치 50와 데이터 처리 장치 100를 포함할 수 있다. Referring to FIG. 1 , the digital mouth model processing system may include a scanning device 50 and a data processing device 100 .

스캔 장치 50는 대상체를 스캔하는 장치로서, 대상체는 스캔의 대상이 되는 물체나 신체 어느 것이라도 포함할 수 있다. 예를 들어, 대상체는 구강이나 얼굴을 포함하는 환자의 신체의 적어도 일부, 또는 치아 모형을 포함할 수 있다. 스캔 장치는, 사용자가 손에 쥐고 대상체를 스캔하는 핸드헬드 스캐너 또는 치아 모형을 설치하고 설치된 치아 모형 주위를 움직이면서 스캔하는 모델 스캐너 등을 포함할 수 있다. The scanning device 50 is a device that scans an object, and the object may include any body or object to be scanned. For example, the object may include at least a part of the patient's body including the oral cavity or face, or a tooth model. The scanning device may include a handheld scanner that scans an object held in a user's hand, or a model scanner that scans an object by installing a tooth model and moving it around the installed tooth model.

예를 들어, 핸드헬드 스캐너의 일종인 구강 스캐너 51는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 획득하기 위한 장치가 될 수 있다. 또한, 구강 스캐너 51는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔 한다. 구강 스캐너 51는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다. 구강 스캐너 51은 구강 내에 인입 및 인출이 용이한 형태로 되어 구강내를 스캔하기에 적합하지만, 구강 스캐너 51를 이용하여 환자의 얼굴 등의 신체 부위도 스캔 가능함은 물론이다. For example, the oral scanner 51, which is a type of handheld scanner, may be inserted into the oral cavity and scan teeth in a non-contact manner, thereby obtaining an image of the oral cavity including at least one tooth. In addition, the intraoral scanner 51 may have a form capable of being drawn in and out of the oral cavity, and scans the inside of the patient's oral cavity using at least one image sensor (eg, an optical camera, etc.). The intraoral scanner 51 includes at least one of teeth, gingiva, and artificial structures (eg, orthodontic devices including brackets and wires, implants, artificial teeth, and orthodontic aids inserted into the oral cavity) that can be inserted into the oral cavity, which are objects. In order to image one surface, surface information of an object may be obtained as raw data. The intraoral scanner 51 is suitable for scanning the oral cavity as it is easily drawn in and out of the oral cavity, but it is also possible to scan body parts such as the patient's face using the intraoral scanner 51.

스캔 장치 50는 광삼각 방식, 공초점 방식, 또는 그외 다른 방식 등에 의해 이미지 데이터를 획득할 수 있다. The scanning device 50 may acquire image data using a wide triangulation method, a confocal method, or other methods.

스캔 장치 50에서 획득된 이미지 데이터는 유선 또는 무선 통신 네트워크를 통하여 연결되는 데이터 처리 장치 100로 전송될 수 있다. Image data obtained by the scanning device 50 may be transmitted to the data processing device 100 connected through a wired or wireless communication network.

데이터 처리 장치 100는 스캔 장치 50와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 스캔 장치 50로부터 구강을 스캔하여 획득된 이차원 이미지를 수신하고, 수신된 이차원 이미지에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. The data processing device 100 is connected to the scanning device 50 through a wired or wireless communication network, receives a two-dimensional image obtained by scanning the oral cavity from the scanning device 50, and generates, processes, and displays an oral cavity image based on the received two-dimensional image. and/or any electronic device capable of transmitting.

데이터 처리 장치 100는 스캔 장치 50에서 수신된 이차원 이미지 데이터에 근거하여, 이차원 이미지 데이터를 처리하여 생성한 정보 및 이차원 이미지 데이터를 처리하여 생성한 구강 이미지 중 적어도 하나를 생성하고, 생성된 정보 및 구강 이미지를 디스플레이를 통하여 디스플레이 할 수 있다. Based on the two-dimensional image data received from the scanning device 50, the data processing device 100 generates at least one of information generated by processing the two-dimensional image data and an oral cavity image generated by processing the two-dimensional image data, and generates information and oral cavity images. Images can be displayed through the display.

데이터 처리 장치 100는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다. The data processing device 100 may be a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.

또한, 데이터 처리 장치 100는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있을 것이다. Also, the data processing device 100 may exist in the form of a server (or server device) for processing oral cavity images.

또한, 스캔 장치 50는 스캔을 통하여 획득된 로우 데이터(raw data)를 그대로 데이터 처리 장치 100로 전송할 수 있다. 이 경우, 데이터 처리 장치 100는 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 또한, '3차원 구강 이미지'는 수신된 로우 데이터에 근거하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, '3차원 구강 모델', '디지털 구강 모델', 또는 '3차원 구강 이미지'로 호칭될 수도 있다. 이하에서는, 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하여, '구강 이미지'라 칭하도록 한다. Also, the scan device 50 may transmit raw data obtained through scanning to the data processing device 100 as it is. In this case, the data processing device 100 may generate a 3D oral cavity image representing the oral cavity in 3D based on the received raw data. In addition, since the '3-dimensional oral image' can be generated by modeling the internal structure of the oral cavity in three dimensions based on the received raw data, a '3-dimensional oral model', 'digital oral model', or ' It may also be referred to as a 'three-dimensional oral image'. Hereinafter, a model or image representing the oral cavity in 2D or 3D will be collectively referred to as 'oral image'.

또한, 데이터 처리 장치 100는 생성된 구강 이미지를 분석, 처리, 디스플레이 및/또는 외부 장치로 전송할 수 있을 것이다. Also, the data processing device 100 may analyze, process, display, and/or transmit the generated oral cavity image to an external device.

또 다른 예로, 스캔 장치 50가 스캔을 통하여 로우 데이터(raw data)를 획득하고, 획득된 로우 데이터를 가공하여 대상체인 구강에 대응되는 이미지를 생성하여 데이터 처리 장치 100로 전송할 수 있다. 이 경우, 데이터 처리 장치 100는 수신된 이미지를 분석, 처리, 디스플레이 및/또는 전송할 수 있을 것이다. As another example, the scanning device 50 may acquire raw data through scanning, process the obtained raw data, generate an image corresponding to the oral cavity as an object, and transmit the image to the data processing device 100 . In this case, the data processing device 100 may analyze, process, display, and/or transmit the received image.

개시된 실시예에서, 데이터 처리 장치 100는 하나 이상의 치아를 포함하는 구강을 3차원적으로 나타내는 구강 이미지를 생성 및 디스플레이할 수 있는 전자 장치로, 이하에서 상세히 설명한다. In the disclosed embodiment, the data processing device 100 is an electronic device capable of generating and displaying an oral cavity image 3-dimensionally representing an oral cavity including one or more teeth, which will be described in detail below.

일 실시예에 따라 데이터 처리 장치 100는 스캔 장치 50로부터 구강을 스캔한 로우 데이터를 수신하면, 수신된 로우 데이터를 가공하여 삼차원 구강 모델을 생성할 수 있다. 스캔 장치 50로부터 수신한 로우 데이터는 치아를 나타내는 로우 데이터와 치은을 나타내는 로우 데이터를 포함할 수 있다. 따라서, 데이터 처리 장치 100에 의해 생성된 삼차원 구강 모델은 치아를 나타내는 치아 영역과 치은을 나타내는 치은 영역을 포함할 수 있다. According to an embodiment, when receiving raw data obtained by scanning the oral cavity from the scanning device 50, the data processing device 100 may process the received raw data to generate a 3D oral cavity model. The raw data received from the scanning device 50 may include raw data representing teeth and raw data representing gingiva. Accordingly, the 3D oral cavity model generated by the data processing device 100 may include a tooth region representing teeth and a gingiva region representing gingiva.

일 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델에 포함된 치아 영역과 치은 영역에 기반하여 초기 치아 모델과 초기 치은 모델을 생성할 수 있다. 예를 들어, 초기 치아 모델과 초기 치은 모델은 환자의 교정 전의 치아 상태에 대응될 수 있다. According to an embodiment, the data processing device 100 may generate an initial tooth model and an initial gingiva model based on the tooth area and the gingival area included in the 3D oral cavity model. For example, the initial tooth model and the initial gingiva model may correspond to a patient's dental condition before correction.

일 실시예에 따라 데이터 처리 장치 100는 초기 치아 모델에 포함된 하나 이상의 치아의 이동에 따라서, 치아의 이동을 반영하여 초기 치은 모델을 변형시킴으로써 타겟 치은 모델을 생성할 수 있다. 이때 데이터 처리 장치 100는 치아의 이동을 초기 치은 모델에 반영시에 하나 이상의 콘트롤 팩터를 적용하여 치은이 과도하게 변형되는 것을 방지함으로써 자연스러운 타겟 치은 모델을 획득할 수 있다. 예를 들어, 초기 치아 모델에 포함된 하나 이상의 치아의 이동에 따라서 생성되는 타겟 치아 모델은 환자의 교정 후에 예측되는 치아 상태에 대응될 수 있다. 예를 들어, 타겟 치은 모델은 환자의 교정 후 예측되는 치아 상태에 적합하도록 초기 치은 모델을 변형시킨 것을 나타낼 수 있다. According to an embodiment, the data processing device 100 may create a target gingiva model by modifying the initial gingiva model by reflecting the movement of one or more teeth included in the initial tooth model. In this case, the data processing device 100 may obtain a natural target gingiva model by preventing excessive deformation of the gingiva by applying one or more control factors when the tooth movement is reflected in the initial gingival model. For example, a target tooth model generated according to the movement of one or more teeth included in the initial tooth model may correspond to a tooth state predicted after correction of the patient. For example, the target gingival model may represent a modification of an initial gingival model to be suitable for a tooth condition predicted after orthodontic treatment of a patient.

일 실시예에 따라 데이터 처리 장치 100는 치아의 이동을 치은의 변형에 반영시에 하나 이상의 콘트롤 팩터를 적용하여 변형시킨 타겟 치은 모델을 타겟 치아 모델과 함께 디스플레이에 표시할 수 있다. 예를 들어, 데이터 처리 장치 100는 환자의 교정 후 예측되는 치아 상태에 적합하도록 변형된 치은을, 교정 후 예측 치아 상태와 함께 표시함으로써, 환자에게 교정 후의 치아와 치은에 대한 이미지를 자연스럽게 제공할 수 있다. 도 2는 일 실시예에 따라 치아의 이동에 따라 치은 모델을 변형시키는 개념을 설명하기 위한 참고도이다. According to an embodiment, the data processing device 100 may display a deformed target gingival model by applying one or more control factors on the display together with the target tooth model when the movement of the tooth is reflected in the deformation of the gingiva. For example, the data processing device 100 can naturally provide the patient with an image of the teeth and gingiva after orthodontics by displaying the gingiva modified to be suitable for the patient's predicted tooth state after orthodontic treatment together with the predicted tooth state after orthodontic treatment. there is. 2 is a reference view for explaining a concept of deforming a gingival model according to movement of teeth according to an exemplary embodiment.

도 2를 참조하면, 데이터 처리 장치 100는 스캔 장치 50로부터 수신된 로우 (raw) 데이터에 기반하여 초기 구강 모델 200를 생성할 수 있다. Referring to FIG. 2 , the data processing device 100 may generate an initial mouth model 200 based on raw data received from the scanning device 50 .

초기 구강 모델 200는 초기 치아 모델 210과 초기 치은 모델 220을 포함할 수 있다. 초기 치아 모델 210은 환자의 구강을 스캔하여 얻은 로우 데이터 중에서 치아 영역을 기반으로 생성될 수 있다. 초기 치은 모델 220은 환자의 구강을 스캔하여 얻은 로우 데이터 중에서 치은 영역을 가공함으로써 생성될 수 있다. The initial mouth model 200 may include an initial tooth model 210 and an initial gingiva model 220 . The initial tooth model 210 may be generated based on a tooth region among raw data obtained by scanning the oral cavity of the patient. The initial gingival model 220 may be generated by processing a gingival region among raw data obtained by scanning the oral cavity of a patient.

데이터 처리 장치 100는 초기 구강 모델 200을 가공 처리함으로써 타겟 구강 모델 300을 획득할 수 있다. 예를 들어, 초기 구강 모델 200는 환자의 치아를 스캔할 당시의 환자의 치아 상태를 나타낼 수 있고, 타겟 구강 모델 300은 환자의 치아를 대상으로 교정 치료를 수행함으로써 획득될 수 있는 예상 목표 치아의 상태를 나타낼 수 있다. 교정 치료에 의해 획득하고자 하는 치아는 목표 치아, 타겟 치아, 예상 목표 치아로 언급될 수 있다. The data processing device 100 may acquire the target oral cavity model 300 by processing the initial oral cavity model 200 . For example, the initial oral cavity model 200 may represent the condition of the patient's teeth at the time of scanning the patient's teeth, and the target oral cavity model 300 may represent the expected target teeth that may be obtained by performing orthodontic treatment on the patient's teeth. status can be indicated. A tooth to be acquired by orthodontic treatment may be referred to as a target tooth, a target tooth, or an expected target tooth.

타겟 구강 모델 300는 타겟 치아 모델 310과 타겟 치은 모델 320를 포함할 수 있다. 타겟 치아 모델 310은 초기 치아 모델 210에 포함된 하나 이상의 치아들이 초기 위치에서 타겟 위치로 이동됨에 따라 이러한 치아의 이동을 반영하여 생성될 수 있다. 타겟 치은 모델 320는 초기 치아 모델 210에 포함된 하나 이상의 치아들이 초기 위치에서 타겟 위치로 이동됨에 따라 이러한 치아의 이동을 반영하여 초기 치은 모델 220을 변형시킴으로써 획득될 수 있다. The target oral cavity model 300 may include a target tooth model 310 and a target gingiva model 320 . The target tooth model 310 may be generated by reflecting the movement of one or more teeth included in the initial tooth model 210 as they are moved from an initial position to a target position. The target gingiva model 320 may be obtained by modifying the initial gingiva model 220 by reflecting the movement of one or more teeth included in the initial tooth model 210 as they are moved from the initial position to the target position.

데이터 처리 장치 100는 치아의 이동을 나타내는 변위에 기반하여 초기 치은 모델 220에 포함된 정점들의 좌표를 이동시킴으로써 초기 치은 모델 220을 변형시켜 타겟 치은 모델 320을 획득할 수 있다. 그러나 치아의 이동을 나타내는 변위를 그대로 초기 치은 모델 220에 반영하게 되면, 치아의 이동에 따른 치은의 변형 (몰핑)이 자연스럽게 되지 않을 수 있다. 예를 들어, 치아의 이동량이 큰 경우에는 치아의 이동량이 치은 변형에 과도하게 영향을 줌으로써 변형된 치은의 형상이 왜곡될 수 있다. 예를 들어, 하나의 치아는 왼쪽으로 이동하고 다른 치아는 오른쪽으로 이동할 때 치은이 양쪽의 이동을 다 반영하게 되면 찌그러지는 형상으로 변형될 수 있다. 또한 치아를 하나 삭제하면 교정 이동량이 많아져서 결국 치은의 이동량이 많아져서 부자연스럽게 표현될 수 있다. 또한, 치아의 강체 이동과 같이 변형이 정의되는 부분과 변형이 일어나는 부분 즉, 치은이 완전히 일치하지 않을 수 있다. 또한, 치아 이동에 의해 악궁이 전체적으로 좁아지거나 넓혀질 수 있으므로, 치아 이동은 치아 주변의 치은 뿐만 아니라 전체 악궁에 영향을 미치는게 바람직할 수 있다. The data processing device 100 may acquire the target gingiva model 320 by transforming the initial gingiva model 220 by moving coordinates of vertices included in the initial gingiva model 220 based on the displacement representing the movement of the tooth. However, if the displacement indicating the movement of the teeth is reflected in the initial gingival model 220 as it is, deformation (morphing) of the gingiva according to the movement of the teeth may not occur naturally. For example, when the amount of movement of the teeth is large, the amount of movement of the teeth excessively affects the deformation of the gingiva, so that the shape of the deformed gingiva may be distorted. For example, when one tooth moves to the left and the other tooth moves to the right, if the gingiva reflects both movements, it may be deformed into a distorted shape. In addition, if one tooth is deleted, the amount of orthodontic movement increases, which eventually increases the amount of movement of the gingiva, which can result in an unnatural expression. In addition, a part where deformation is defined, such as a rigid movement of a tooth, and a portion where deformation occurs, that is, the gingiva may not completely match. In addition, since the dental arch can be narrowed or widened as a whole by the tooth movement, it may be preferable that the tooth movement affects the entire dental arch as well as the gingiva around the tooth.

따라서, 치은을 변형시킬 때, 치아의 변위에 따른 형상을 잘 반영하면서도 전체적으로 너무 심한 변형을 억제할 수 있는 치은 변형 방법 또는 치은 몰핑 방법이 요구된다. Accordingly, there is a need for a gingival deformation method or a gingiva morphing method capable of suppressing too severe deformation as a whole while well reflecting the shape of the tooth displacement when the gingiva is deformed.

일 실시예에 따라 데이터 처리 장치 100는, 치은을 변형시킬 때, 치아의 변위에 따른 형상을 잘 반영하면서도 전체적으로 너무 심한 변형을 억제할 수 있도록 하나 이상의 콘트롤 팩터 250를 이용할 수 있다. 하나 이상의 콘트롤 팩터 250는, 하나 이상의 조정점(control point), 하나 이상의 스태빌라이저(stabilizer), 베이스 픽싱(base fixing), 치아의 변위 중 회전 변환 성분 제어 (rotation transformation component control) 등을 포함할 수 있다. 데이터 처리 장치 100는 예를 들어 열거한 하나 이상의 콘트롤 팩터 250 중 하나 이상을 적용하여 치아의 변형을 수행할 수 있다. 예를 들어, 데이터 처리 장치 100는 열거한 콘트롤 팩터 250 중 하나의 콘트롤 팩터를 이용하여 치은 변형을 수행할 수도 있고, 열거한 콘트롤 팩터 250중 2개 이상의 조합을 적용하여 치은 변형을 수행할 수도 있고, 또는 데이터 처리 장치 100는 열거한 콘트롤 팩터 250 모두를 적용하여 치은 변형을 수행할 수도 있다. According to an embodiment, when deforming the gingiva, the data processing device 100 may use one or more control factors 250 to suppress excessive deformation as a whole while well reflecting the shape of the tooth displacement. The one or more control factors 250 may include one or more control points, one or more stabilizers, base fixing, rotation transformation component control during tooth displacement, and the like. . For example, the data processing device 100 may perform tooth deformation by applying one or more of the enumerated one or more control factors 250 . For example, the data processing device 100 may perform gingival deformation using one control factor among the enumerated control factors 250, or may perform gingival deformation by applying a combination of two or more of the enumerated control factors 250. Alternatively, the data processing device 100 may perform gingival deformation by applying all of the enumerated control factors 250.

일 실시예에 따라 데이터 처리 장치 100는 초기 구강 모델의 적절한 위치에 하나 이상의 조정점들을 배치하고, 치아 이동 정보로부터 변위 데이터를 획득해서 근사(approximation) 기법에 기반한 메쉬 변형 기술을 적용할 수 있다. According to an embodiment, the data processing device 100 may arrange one or more adjustment points at appropriate positions of the initial oral cavity model, obtain displacement data from tooth movement information, and apply a mesh deformation technique based on an approximation technique.

일 실시예에 따라 데이터 처리 장치 100는 과도한 변형을 억제하기 위해 초기 구강 모델을 둘러싼 공간에 하나 이상의 스태빌라이저(stabilizer)를 배치할 수 있다. 이와 같이 초기 구강 모델을 둘러싸는 공간에 하나 이상의 스태빌라이저를 배치함으로써, 변위가 집중된 부분 예를 들어 치아 강체 이동이 발생되는 부분으로부터 멀리 떨어진 부분들에서 치은이 과도하게 변형되는 것을 억제할 수 있다. According to an embodiment, the data processing device 100 may dispose one or more stabilizers in a space surrounding the initial oral cavity model in order to suppress excessive deformation. In this way, by disposing one or more stabilizers in the space surrounding the initial oral cavity model, it is possible to suppress excessive deformation of the gingiva in parts far from a part where displacement is concentrated, for example, a part where tooth rigid body movement occurs.

일 실시예에 따라 데이터 처리 장치 100는 치은 모델의 바닥면, 즉, 치은 모델에서 치아와 인접한 부분이 아닌 다른 가장자리 부분이 수평 방향으로만 거동하도록 베이스 픽싱 구속조건을 부여할 수 있다. 이와 같이 치은 모델의 바닥면을 베이스 픽싱함으로써 치은 모델의 바닥면이 울퉁불퉁하게 왜곡되는 것을 억제할 수 있다. According to an embodiment, the data processing device 100 may apply a base fixing constraint so that the bottom surface of the gingiva model, ie, an edge portion other than a portion adjacent to teeth in the gingiva model, moves only in the horizontal direction. By base-fixing the bottom surface of the gingiva model in this way, uneven distortion of the bottom surface of the gingiva model can be suppressed.

일 실시예에 따라 데이터 처리 장치 100는 치아의 이동으로부터 획득한 변위 데이터에서 회전(각도) 변환성분의 크기를 적절히 조절할 수 있다. 이와 같이 치아의 이동을 나타내는 변위 데이터에서 회전 변환 성분의 크기를 조정함으로써, 치아의 회전 변환으로 인해 치은이 과도하게 왜곡되어 변형되는 것을 억제할 수 있다. According to an embodiment, the data processing device 100 may appropriately adjust the size of a rotation (angle) conversion component in displacement data obtained from movement of a tooth. In this way, by adjusting the size of the rotation conversion component in the displacement data representing the movement of the tooth, it is possible to suppress excessive distortion and deformation of the gingiva due to the rotation conversion of the tooth.

도 3은 개시된 실시예에 따른 데이터 처리 장치 100를 나타내는 일 블록도이다. 3 is a block diagram illustrating a data processing device 100 according to an exemplary embodiment.

도 3을 참조하면, 데이터 처리 장치 100는 통신 인터페이스 110, 사용자 인터페이스 120, 디스플레이 130, 영상 처리부 140, 메모리 150 및 프로세서 160를 포함할 수 있다. Referring to FIG. 3 , the data processing device 100 may include a communication interface 110, a user interface 120, a display 130, an image processor 140, a memory 150, and a processor 160.

통신 인터페이스 110는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스 110는 프로세서 160의 제어에 따라서 스캔 장치 50와 통신을 수행할 수 있다. 통신 인터페이스 110는 프로세서의 제어에 따라서 유무선의 통신 네트워크를 통하여 연결되는 외부의 전자 장치 또는 서버 등과 통신을 수행할 수 있다. The communication interface 110 may perform communication with at least one external electronic device through a wired or wireless communication network. Specifically, the communication interface 110 may communicate with the scan device 50 under the control of the processor 160 . The communication interface 110 may perform communication with an external electronic device or server connected through a wired/wireless communication network under the control of a processor.

통신 인터페이스 110는 유무선의 통신 네트워크를 통하여 외부의 전자 장치 (예를 들어, 구강 스캐너, 서버, 또는 외부의 의료 장치 등)와 통신할 수 있다. 구체적으로, 통신 인터페이스는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다. The communication interface 110 may communicate with an external electronic device (eg, intraoral scanner, server, or external medical device) through a wired or wireless communication network. Specifically, the communication interface includes at least one short-range communication module that performs communication according to communication standards such as Bluetooth, Wi-Fi, Bluetooth Low Energy (BLE), NFC/RFID, Wi-Fi Direct, UWB, or ZIGBEE. can do.

또한, 통신 인터페이스 110는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스 110는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 또한, 통신 인터페이스는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. In addition, the communication interface 110 may further include a remote communication module that communicates with a server for supporting remote communication according to a telecommunication standard. Specifically, the communication interface 110 may include a remote communication module that performs communication through a network for internet communication. In addition, the communication interface may include a remote communication module that performs communication through a communication network conforming to communication standards such as 3G, 4G, and/or 5G.

또한, 통신 인터페이스 110는 외부 전자 장치(예를 들어, 구강 스캐너 등)와 유선으로 통신하기 위해서, 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 그에 따라서, 통신 인터페이스 110는 적어도 하나의 포트를 통하여 유선 연결된 외부 전자 장치와 통신을 수행할 수 있다. In addition, the communication interface 110 may include at least one port for connecting to an external electronic device (eg, intraoral scanner, etc.) through a wired cable in order to communicate with the external electronic device. Accordingly, the communication interface 110 may perform communication with an external electronic device wired through at least one port.

사용자 인터페이스 120는 데이터 처리 장치를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스 120는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.The user interface 120 may receive a user input for controlling the data processing device. The user interface 120 includes a touch panel that detects a user's touch, a button that receives a user's push operation, and a user input including a mouse or keyboard for designating or selecting a point on a user interface screen. The device may include, but is not limited thereto.

또한, 사용자 인터페이스 120는 음성 인식을 위한 음성 인식 장치를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다. Also, the user interface 120 may include a voice recognition device for voice recognition. For example, the voice recognition device may be a microphone, and the voice recognition device may receive a user's voice command or voice request. Accordingly, the processor may control an operation corresponding to the voice command or voice request to be performed.

디스플레이 130는 화면을 디스플레이 한다. 구체적으로, 디스플레이 130는 프로세서 160의 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이 130는 스캔 장치 50에서 환자의 구강을 스캔하여 획득한 데이터에 근거하여 생성된 구강 이미지를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이 130는 환자의 치과 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. The display 130 displays a screen. Specifically, the display 130 may display a predetermined screen according to the control of the processor 160 . Specifically, the display 130 may display a user interface screen including an oral cavity image generated based on data obtained by scanning the patient's oral cavity by the scanning device 50 . Alternatively, the display 130 may display a user interface screen including information related to the patient's dental treatment.

영상 처리부 140는 이미지의 생성 및/또는 처리를 위한 동작들을 수행할 수 있다. 구체적으로, 영상 처리부 140는 구강 스캐너 10로부터 획득된 로우 데이터를 수신하고, 수신된 데이터에 근거하여 삼차원 구강 모델을 생성할 수 있다. 이와 같은 영상 처리부 140는 도 3에 도시된 바와 같이 프로세서 160와 별도로 구비되거나 또는, 영상 처리부 140는 프로세서 160 내에 포함될 수도 있다. The image processing unit 140 may perform operations for generating and/or processing images. Specifically, the image processor 140 may receive raw data obtained from the oral scanner 10 and generate a 3D oral model based on the received data. As shown in FIG. 3 , the image processing unit 140 may be provided separately from the processor 160, or the image processing unit 140 may be included in the processor 160.

메모리 150는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리 150는 프로세서가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리는 프로세서 160가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리 150는 구강 스캐너로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 로우 데이터 등)를 저장할 수 있다. 또는, 메모리는 구강을 3차원적으로 나타내는 구강 이미지를 저장할 수 있다. Memory 150 may store at least one instruction. Also, the memory 150 may store at least one instruction executed by the processor. Also, the memory may store at least one program executed by the processor 160 . Also, the memory 150 may store data received from the intraoral scanner (eg, raw data obtained through intraoral scanning). Alternatively, the memory may store an oral cavity image representing the oral cavity in three dimensions.

프로세서 160는 메모리 150에 저장된 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서 160내에 포함되는 내부 메모리 또는 프로세서와 별도로 데이터 처리 장치 내에 포함되는 메모리 150에 저장되어 있을 수 있다.The processor 160 executes at least one instruction stored in the memory 150 to control an intended operation to be performed. Here, at least one instruction may be stored in an internal memory included in the processor 160 or in the memory 150 included in the data processing device separately from the processor.

구체적으로, 프로세서 160는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 데이터 처리 장치 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서가 소정 동작들이 수행되도록 데이터 처리 장치 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다. Specifically, the processor 160 may control at least one component included in the data processing apparatus so that an intended operation is performed by executing at least one instruction. Therefore, even if the processor performs certain operations as an example, it may mean that the processor controls at least one component included in the data processing apparatus so that the certain operations are performed.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득하고, 상기 치아 모델에 포함된 하나 이상의 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형하고, 하나 이상의 콘트롤 팩터를 이용하여 상기 치아의 이동을 나타내는 변위의 적어도 일부가 상기 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득할 수 있다. According to an embodiment, the processor 160 obtains a tooth model and a gingiva model from the 3D oral cavity model by executing one or more instructions stored in the memory 150, and the gingiva according to a displacement indicating movement of one or more teeth included in the tooth model. A final gingival model may be obtained by modifying the gingiva model by reflecting the movement amount of the tooth and suppressing at least a portion of the displacement representing the movement of the tooth from being reflected in the movement amount of the gingiva using one or more control factors.

일 실시예에 따라 최종 치은 모델에 포함된 치은의 이동량은 치은의 수평 이동량 또는 치은의 회전 이동량 중 적어도 하나를 포함할 수 있다. 일 실시예에 따라 최종 치은 모델에 포함된 치은의 수평 이동량은 상기 하나 이상의 치아의 수평 이동을 나타내는 변위 값보다 작거나 같을 수 있다. 일 실시예에 따라 최종 치은 모델에 포함된 치은의 회전 이동량은 상기 하나 이상의 치아의 회전 이동을 나타내는 변위 값보다 작거나 같을 수 있다. According to an embodiment, the movement amount of the gingiva included in the final gingiva model may include at least one of a horizontal movement amount of the gingiva and a rotational movement amount of the gingiva. According to an embodiment, the amount of horizontal movement of the gingiva included in the final gingival model may be smaller than or equal to a displacement value representing the horizontal movement of the one or more teeth. According to an embodiment, the amount of rotational movement of the gingiva included in the final gingiva model may be smaller than or equal to a displacement value representing the rotational movement of the one or more teeth.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치아 모델의 공간에 복수의 조정점들을 배열하고, 상기 하나 이상의 치아의 이동을 나타내는 변위에 따라 상기 복수의 조정점들의 이동량을 결정하고, 상기 복수의 조정점들의 이동량에 따라 결정된 상기 치은의 이동량을 반영하여 상기 치은 모델을 변형할 수 있다. According to an embodiment, the processor 160 arranges a plurality of adjustment points in the space of the tooth model by executing one or more instructions stored in the memory 150, and arranges the plurality of adjustment points according to a displacement representing the movement of the one or more teeth. The gingiva model may be modified by determining the amount of movement and reflecting the amount of movement of the gingiva determined according to the amount of movement of the plurality of control points.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치아의 이동을 나타내는 변위에 따라 상기 조정점들의 밀도를 다르게 하여 배열할 수 있다. 예를 들어, 치아의 이동을 나타내는 변위가 많이 발생하는 영역에는 조정점들을 상대적으로 많이 배열하고, 치아의 이동을 나타내는 변위가 적게 발생하는 영역에서는 조정점들을 상대적으로 적게 배열할 수 있다. According to an embodiment, the processor 160 may arrange the adjustment points with different densities according to the displacement indicating the movement of the teeth by executing one or more instructions stored in the memory 150 . For example, a relatively large number of adjustment points may be arranged in an area in which a large amount of displacement representing tooth movement occurs, and a relatively small number of adjustment points may be arranged in an area in which a small displacement indicative of tooth movement occurs.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 삼차원 구강 모델을 둘러싸는 입체 도형의 평면의 적어도 일부에 하나 이상의 조정점들을 배열할 수 있다. According to an embodiment, the processor 160 may arrange one or more adjustment points on at least a part of a plane of a three-dimensional figure surrounding the 3D oral cavity model by executing one or more instructions stored in the memory 150 .

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치아의 회전축에 하나 이상의 조정점들을 직렬로 배열할 수 있다. According to an embodiment, the processor 160 may serially arrange one or more adjustment points on the axis of rotation of the tooth by executing one or more instructions stored in the memory 150 .

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 삼차원 구강 모델을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치함으로써 상기 치아 모델을 둘러싸는 공간상의 왜곡의 변형을 억제할 수 있다. According to an embodiment, the processor 160 executes one or more instructions stored in the memory 150, thereby disposing one or more stabilizers in the space surrounding the 3D oral cavity model, thereby suppressing distortion of the space surrounding the tooth model. .

일 실시예에 따라 상기 스태빌라이저는 변위가 제로인 구속을 나타낼 수 있다. According to one embodiment, the stabilizer may exhibit a restraint with zero displacement.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치은의 이동량 중 적어도 일부를 베이스 픽싱함으로써 치은의 바닥 영역의 왜곡을 억제할 수 있다. According to an embodiment, the processor 160 may suppress distortion of the bottom region of the gingiva by base-fixing at least a portion of the movement amount of the gingiva by executing one or more instructions stored in the memory 150 .

일 실시예에 따라 상기 베이스 픽싱은, 상기 치은의 바닥 영역의 이동량 중 치축 또는 오클루절 방향축을 나타내는 Y 축 변위를 조정함으로써 수행될 수 있다. According to an embodiment, the base fixing may be performed by adjusting a Y-axis displacement indicating a tooth axis or an occlusion direction axis among movement amounts of the bottom region of the gingiva.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치아의 이동을 나타내는 변위 중 오클루절 방향(occlusal direction)을 축으로 하는 회전 변환 성분을 감소시킬 수 있다. According to an embodiment, the processor 160 may reduce a rotation transformation component having an occlusal direction as an axis among displacements representing the movement of the teeth by executing one or more instructions stored in the memory 150 .

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 삼차원 구강 모델에서 치은 영역을 식별하고 상기 식별된 치은 영역의 가장 자리에 가상의 치은 베이스를 생성함으로써 상기 치은 모델을 획득할 수 있다. According to an embodiment, the processor 160 obtains the gingival model by executing one or more instructions stored in the memory 150 to identify a gingival region in the three-dimensional oral cavity model and create a virtual gingival base at the edge of the identified gingival region. can do.

일 실시예에 따라 프로세서 160는 메모리 150에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 상기 획득된 최종 치은 모델을 디스플레이에 표시할 수 있다. 일 예에 따라 프로세서 160는, 내부적으로 적어도 하나의 내부 프로세서 및 내부 프로세서에서 처리 또는 이용될 프로그램, 인스트럭션, 신호, 및 데이터 중 적어도 하나 저장하기 위한 메모리 소자(예를 들어, RAM, ROM 등)을 포함하는 형태로 구현될 수 있다. According to an embodiment, the processor 160 executes one or more instructions stored in the memory 150 to display the acquired final gingiva model together with a final tooth model representing movement of one or more teeth included in the tooth model on a display. there is. According to an example, the processor 160 internally includes at least one internal processor and a memory device (eg, RAM, ROM, etc.) for storing at least one of programs, instructions, signals, and data to be processed or used by the internal processor. It can be implemented in a form that includes.

또한, 프로세서 160는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit)를 포함할 수 있다. 또한, 프로세서는 코어(core)와 GPU를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 다시 벌 코어 등을 포함할 수 있다.Also, the processor 160 may include a graphic processing unit for graphic processing corresponding to video. Also, the processor may be implemented as a system on chip (SoC) in which a core and a GPU are integrated. Also, the processor may include multiple cores over a single core. For example, a processor may include a dual core, triple core, quad core, hexa core, octa core, deca core, dodeca core, hexadecimal core, and the like.

개시된 실시예에서, 프로세서 160는 스캔 장치 50로부터 수신되는 이차원 이미지에 근거하여 구강 이미지를 생성할 수 있다. In the disclosed embodiment, the processor 160 may generate an oral cavity image based on the two-dimensional image received from the scanning device 50 .

구체적으로, 프로세서 160의 제어에 따라서 통신 인터페이스 110는 스캔 장치 50에서 획득된 데이터, 예를 들어 구강 스캔을 통하여 획득된 로우 데이터(raw data)를 수신할 수 있다. 그리고, 프로세서 160는 통신 인터페이스에서 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 예를 들어, 구강 스캐너는 광 삼각 방식에 따라서 3차원 이미지를 복원하기 위해서, 적어도 1개 이상의 카메라를 포함할 수 있고 구체적 일 실시예로 좌안 시야(left Field of View)에 대응되는 L 카메라 및 우안 시야(Right Field of View)에 대응되는 R 카메라를 포함할 수 있다. 그리고, 구강 스캐너는 L 카메라 및 R 카메라 각각에서 좌안 시야(left Field of View)에 대응되는 L 이미지 데이터 및 우안 시야(Right Field of View)에 대응되는 R 이미지 데이터를 획득할 수 있다. 계속하여, 구강 스캐너(미도시)는 L 이미지 데이터 및 R 이미지 데이터를 포함하는 로우 데이터를 데이터 처리 장치 100의 통신 인터페이스로 전송할 수 있다. Specifically, under the control of the processor 160, the communication interface 110 may receive data obtained from the scan device 50, for example, raw data obtained through intraoral scanning. Also, the processor 160 may generate a 3D oral cavity image representing the oral cavity in 3D based on the raw data received through the communication interface. For example, the intraoral scanner may include at least one camera in order to restore a 3D image according to the optical triangulation method, and in a specific embodiment, an L camera corresponding to a left field of view and a right eye An R camera corresponding to a right field of view may be included. In addition, the intraoral scanner may obtain L image data corresponding to the left field of view and R image data corresponding to the right field of view from the L camera and the R camera, respectively. Subsequently, the intraoral scanner (not shown) may transmit raw data including L image data and R image data to the communication interface of the data processing device 100 .

그러면, 통신 인터페이스 110는 수신되는 로우 데이터를 프로세서로 전달하고, 프로세서는 전달받은 로우 데이터에 근거하여, 구강을 3차원적으로 나타내는 구강 이미지를 생성할 수 있다. Then, the communication interface 110 transfers the received raw data to the processor, and the processor may generate an oral cavity image representing the oral cavity in three dimensions based on the received raw data.

또한, 프로세서 160는 통신 인터페이스를 제어하여, 외부의 서버, 의료 장치 등으로부터 구강을 3차원적으로 나타내는 구강 이미지를 직접 수신할 수 있을 것이다. 이 경우, 프로세서는 로우 데이터에 근거한 3차원 구강 이미지를 생성하지 않고, 3차원 구강 이미지를 획득할 수 있다. In addition, the processor 160 may control a communication interface to directly receive an oral cavity image representing the oral cavity in 3D from an external server, medical device, or the like. In this case, the processor may obtain a 3D oral image without generating a 3D oral image based on the raw data.

개시된 실시예에 따라서, 프로세서 160가 '추출', '획득', '생성' 등의 동작을 수행한다는 것은, 프로세서 160에서 적어도 하나의 인스트럭션을 실행하여 전술한 동작들을 직접 수행하는 경우 뿐만 아니라, 전술한 동작들이 수행되도록 다른 구성 요소들을 제어하는 것을 포함할 수 있다. According to the disclosed embodiment, the processor 160 performing operations such as 'extraction', 'acquisition', and 'creation' means that the processor 160 executes at least one instruction to directly perform the above-described operations, as well as the above-mentioned operations. It may include controlling other components to perform actions.

본 개시서에 개시된 실시예들을 구현하기 위해서 데이터 처리 장치 100는 도 3에 도시된 구성요소들의 일부만을 포함할 수도 있고, 도 3에 도시된 구성요소 외에 더 많은 구성요소를 포함할 수도 있다. In order to implement the embodiments disclosed in this disclosure, the data processing apparatus 100 may include only some of the components shown in FIG. 3 or may include more components than those shown in FIG. 3 .

또한, 데이터 처리 장치 100는 구강 스캐너에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램, 전용 툴(tool), 또는 전용 어플리케이션으로 호칭될 수 있다. 데이터 처리 장치 100가 스캔 장치 50와 상호 연동되어 동작하는 경우, 데이터 처리 장치 100에 저장되는 전용 소프트웨어는 스캔 장치 50와 연결되어 구강 스캔을 통하여 획득되는 데이터들을 실시간을 수신할 수 있다. 예를 들어, 메디트의 구강 스캐너인 i500 제품에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 구체적으로, 메디트에서는 구강 스캐너(예를 들어, i500)에서 획득된 데이터를 처리, 관리, 이용, 및/또는 전송하기 위한 소프트웨어인 'Medit Link'를 제작하여 배포하고 있다. 여기서, '전용 소프트웨어'는 구강 스캐너와 연동되어 동작 가능한 프로그램, 툴, 또는 어플리케이션을 의미하는 것이므로 다양한 제작자에 의해서 개발 및 판매되는 다양한 구강 스캐너들이 공용으로 이용할 수도 있을 것이다. 또한, 전술한 전용 소프트웨어는 구강 스캔을 수행하는 구강 스캐너와 별도로 제작 및 배포될 수 있다. In addition, the data processing device 100 may store and execute dedicated software linked to the intraoral scanner. Here, the dedicated software may be referred to as a dedicated program, a dedicated tool, or a dedicated application. When the data processing device 100 operates in conjunction with the scanning device 50, dedicated software stored in the data processing device 100 may be connected to the scanning device 50 to receive data acquired through intraoral scanning in real time. For example, in Medit's i500 intraoral scanner, there is dedicated software for processing data acquired through intraoral scanning. Specifically, Medit produces and distributes 'Medit Link', which is software for processing, managing, using, and/or transmitting data obtained from an intraoral scanner (eg, i500). Here, 'dedicated software' means a program, tool, or application that can operate in conjunction with an intraoral scanner, so that various intraoral scanners developed and sold by various manufacturers may be used in common. In addition, the above-described exclusive software may be produced and distributed separately from the intraoral scanner for performing the intraoral scan.

데이터 처리 장치 100는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다. 여기서, 전용 소프트웨어는 프로세서에 저장될 수 있다. 또한, 전용 소프트웨어는 구강 스캐너에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 여기서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시예에 따라서 생성되는 구강 이미지를 포함할 수 있다. The data processing device 100 may store and execute dedicated software corresponding to the i500 product. The transmission software may perform one or more operations to acquire, process, store, and/or transmit the oral cavity image. Here, dedicated software may be stored in the processor. In addition, dedicated software may provide a user interface for use of data obtained from the intraoral scanner. Here, the user interface screen provided by dedicated software may include an oral cavity image generated according to the disclosed embodiment.

도 4는 개시된 실시예에 따라 데이터 처리 장치에서 삼차원 구강 모델을 처리하는 방법을 나타내는 일 플로우차트이다. 도 4에 도시된 삼차원 구강 모델 처리 방법은 데이터 처리 장치 100를 통하여 수행될 수 있다. 따라서, 도 4에 도시된 삼차원 구강 모델 처리 방법은 데이터 처리 장치 100의 동작들을 나타내는 흐름도가 될 수 있다. 4 is a flowchart illustrating a method of processing a 3D mouth model in a data processing device according to an exemplary embodiment. The method of processing the 3D oral cavity model shown in FIG. 4 may be performed through the data processing device 100 . Accordingly, the 3D mouth model processing method shown in FIG. 4 may be a flowchart showing operations of the data processing device 100 .

도 4를 참조하면, 동작 410에서, 데이터 처리 장치 100는 삼차원 구강 모델을 획득할 수 있다. Referring to FIG. 4 , in operation 410, the data processing device 100 may obtain a 3D mouth model.

데이터 처리 장치 100는 스캔 장치 50로부터 환자의 구강 내를 스캔함으로써 또는 치아 모형을 스캔함으로써 얻어진 로우 데이터를 수신하고, 수신된 로우 데이터를 처리함으로써 치아 영역과 치은 영역을 포함하는 삼차원 구강 모델을 획득할 수 있다. The data processing device 100 receives raw data obtained by scanning the oral cavity of the patient or by scanning the tooth model from the scanning device 50, and processes the received raw data to obtain a three-dimensional oral cavity model including a tooth region and a gingival region. can

도 5는 일 예에 따라 데이터 처리 장치 100에 의해 획득된 삼차원 구강 모델의 일 예를 나타낸다. 5 shows an example of a 3D oral model obtained by the data processing device 100 according to an example.

예를 들어, 구강 스캐너를 이용하여 이차원 데이터가 획득되었을 때 데이터 처리 장치 100는 삼각 측량 방법을 사용하여 복수의 조명된 표면 포인트의 좌표를 계산할 수 있다. 구강 스캐너를 이용하여 대상체의 표면을 이동하면서 스캔함으로써 스캔 데이터의 양이 증가함에 따라 표면 포인트의 좌표들이 누적될 수 있다. 이러한 이미지 획득의 결과로서, 정점들의 포인트 클라우드가 식별되어 표면의 범위를 나타낼 수 있다. 포인트 클라우드 내의 포인트는 객체의 3 차원 표면 상의 실제 측정된 포인트를 나타낼 수 있다. 표면 구조는 포인트 클라우드의 인접한 정점 (vertice)이 라인 세그먼트에 의해 연결된 다각형 메쉬를 형성함으로써 근사화될 수 있다. 다각형 메쉬는 삼각형, 사각형, 오각형 메쉬 등 다양하게 결정될 수 있다. 이와 같은 메쉬 모델의 다각형 및 이웃하는 다각형 간의 관계는 치아 경계의 특징, 예를 들어, 곡률, 최소 곡률, 에지, 공간 관계 등을 추출하는 데 사용될 수 있다.For example, when two-dimensional data is obtained using an intraoral scanner, the data processing device 100 may calculate coordinates of a plurality of illuminated surface points using a triangulation method. By scanning the surface of the object while moving using the intraoral scanner, coordinates of surface points may be accumulated as the amount of scan data increases. As a result of this image acquisition, a point cloud of vertices can be identified to indicate the extent of the surface. Points in the point cloud may represent actual measured points on the three-dimensional surface of the object. The surface structure can be approximated by forming a polygonal mesh in which adjacent vertices of the point cloud are connected by line segments. Polygonal meshes may be variously determined such as triangular, quadrangular, and pentagonal meshes. Relationships between polygons of the mesh model and neighboring polygons may be used to extract features of a tooth boundary, such as curvature, minimum curvature, edge, spatial relationship, and the like.

도 5를 참조하면, 삼차원 구강 모델 500의 일부 영역 501은 포인트 클라우드를 구성하는 복수의 정점들 및 인접한 정점들을 선으로 연결함으로써 생성된 삼각형 메쉬로 구성될 수 있다. Referring to FIG. 5 , a partial region 501 of the 3D mouth model 500 may be composed of a plurality of vertices constituting a point cloud and a triangular mesh generated by connecting adjacent vertices with lines.

도 5를 참조하면 삼차원 구강 모델 500은 치아 영역 510과 치은 영역 520을 포함할 수 있다. 치아 영역 510의 경우에는 스캔 장치 50를 이용하여 치아 주위를 이동하면서 스캔함으로써 치아의 완벽한 모양이 획득될 수 있다. 치은 영역 520의 경우에, 치은은 치아와 구강 내 다른 점막 사이에 존재하는 부분으로, 치은의 높이도 낮고 또한, 치은이 치아와 인접하는 부분이 아닌 반대쪽 가장자리 부분 502은 구강 내 다른 점막과 연결된 부분이므로 스캔이 매끄럽게 되기 어려워서, 치은 영역 520의 표현이 매끄럽지 못한 것이 도시되어 있다. Referring to FIG. 5 , a 3D mouth model 500 may include a tooth area 510 and a gingival area 520 . In the case of the tooth area 510 , the perfect shape of the tooth may be acquired by scanning while moving around the tooth using the scanning device 50 . In the case of the gingival region 520, the gingiva is a portion that exists between the teeth and other mucous membranes in the oral cavity, and the height of the gingiva is low, and the opposite edge portion 502, which is not adjacent to the tooth, is a portion connected to other mucous membranes in the oral cavity. Since it is difficult to scan smoothly, it is shown that the expression of the gingival region 520 is not smooth.

다시 도 4로 돌아가서, 동작 420에서, 데이터 처리 장치 100는 삼차원 구강 모델에서 치아 영역과 치은 영역을 식별할 수 있다. Returning to FIG. 4 again, in operation 420, the data processing device 100 may identify a tooth region and a gingival region in the 3D oral cavity model.

동작 410에서 획득된 삼차원 구강 모델 500은 치아 영역 510과 치은 영역 520이 하나의 덩어리로 이루어진 형태이다. 데이터 처리 장치 100에서 삼차원 구강 모델 500에 포함된 치아를 이용하여 다양한 가공이나 처리를 위해서는 삼차원 구강 모델 500에서 치아 영역 510과 치은 영역 520을 분리하는 것이 필요하다. The three-dimensional oral cavity model 500 obtained in operation 410 has a form in which the tooth area 510 and the gingival area 520 are formed as a single mass. In the data processing device 100, it is necessary to separate the tooth area 510 and the gingival area 520 from the 3D oral model 500 in order to perform various processing or processing using the teeth included in the 3D oral cavity model 500.

일 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델 500를 곡률 분포에 따라서 치아 영역 510와 치은 영역 520으로 분리할 수 있다. 다른 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델 500를 인공지능을 이용한 신경망 네트워크를 이용하여 치아 영역 510와 치은 영역 520으로 자동으로 분리할 수도 있다. 치아 영역과 치은 영역을 분리하는 신경망 네트워크는, 삼차원 구강 모델에서 치아 영역과 치은 영역을 분리하는 기준을 학습함으로써 얻어질 수 있다. According to an embodiment, the data processing device 100 may divide the 3D oral cavity model 500 into a tooth area 510 and a gingival area 520 according to a curvature distribution. According to another embodiment, the data processing device 100 may automatically separate the 3D oral cavity model 500 into a tooth area 510 and a gingival area 520 using a neural network using artificial intelligence. A neural network for separating the tooth region and the gingival region may be obtained by learning a criterion for separating the tooth region and the gingival region in the 3D oral cavity model.

도 6은 일 실시예에 따라 삼차원 구강 모델을 치아 영역과 치은 영역 분리하는 방법을 설명하기 위한 참고도이다. 6 is a reference diagram for explaining a method of separating a tooth region and a gingival region of a three-dimensional oral model according to an embodiment.

도 6을 참조하면, 데이터 처리 장치 100는 삼차원 구강 모델 500를 곡률 분포에 따라서 분할함으로써 치은 영역 520으로부터 치아 영역 510을 분리할 수 있다. 데이터 처리 장치 100는 치아 영역 510와 치은 영역 520의 경계를 분리할 수 있는 적절한 곡률 임계치를 결정하고, 결정된 곡률 임계치 보다 작은 곡률 값을 가지는 부분을 분리함으로써, 치아 영역 510과 치은 영역 520을 분리할 수 있다. Referring to FIG. 6 , the data processing device 100 may separate the tooth area 510 from the gingival area 520 by dividing the 3D oral cavity model 500 according to the curvature distribution. The data processing device 100 determines an appropriate curvature threshold capable of separating the boundary between the tooth region 510 and the gingival region 520, and separates a portion having a curvature value smaller than the determined curvature threshold to separate the tooth region 510 and the gingival region 520. can

다시 도 4로 돌아가서, 동작 430에서, 데이터 처리 장치 100는 식별된 치은 영역에 치은 베이스를 생성함으로써 치은 모델을 생성할 수 있다. Returning to FIG. 4 , in operation 430 , the data processing device 100 may create a gingival model by creating a gingival base in the identified gingival region.

앞서 도 5를 참조하여 설명한 바와 같이 환자의 구강을 스캔하여 얻어진 삼차원 구강 모델에서 치은 부분은 높이가 낮고 경계 부분도 매끄럽지 못하다. 따라서, 데이터 처리 장치 100는 치은 영역에 치은 베이스를 추가함으로써 치은 모델을 생성할 수 있다. As described above with reference to FIG. 5 , in the three-dimensional oral cavity model obtained by scanning the patient's oral cavity, the gingival portion has a low height and the boundary portion is not smooth. Accordingly, the data processing device 100 may create a gingival model by adding a gingival base to the gingival region.

도 7은 일 실시예에 따라 치은 모델을 생성하는 방법을 설명하기 위한 참고도이다. 7 is a reference diagram for explaining a method of generating a gingiva model according to an exemplary embodiment.

도 7을 참조하면, 데이터 처리 장치 100는 치아 영역 510과 분리된 치은 영역 520의 가장 자리 blur 부분 즉, 데이터 표시가 선명하지 않은 부분을 다듬고, 치은 영역 520과 연결되는 가상의 측벽 (side wall) 530을 생성할 수 있다. 삼차원 가상 모델은 정점들로 구성되므로, 치은 영역 520과 연결되도록 측벽을 구성하는 정점들을 생성함으로써 가상 측벽을 생성할 수 있다. Referring to FIG. 7 , the data processing device 100 trims the edge blur part of the gingival region 520 separated from the tooth region 510, that is, the part where the data display is not clear, and creates a virtual side wall connected to the gingival region 520. 530 can be created. Since the 3D virtual model is composed of vertices, the virtual sidewall may be created by generating vertices constituting the sidewall to be connected to the gingival region 520 .

다음, 데이터 처리 장치 100는 치아 부분이 빠짐으로써 생성된 공백을 내재적 표면화 (implicit surfacing) 기법으로 메움으로써 치은 모델 700를 생성할 수 있다. 치은 모델 700은 치은 베이스로 언급될 수도 있다. 데이터 처리 장치 100는 측벽과 공백이 메워진 영역에 적절한 색상을 채울 수 있다. Next, the data processing device 100 may generate the gingival model 700 by filling a void created by missing a tooth portion using an implicit surfacing technique. Gingival model 700 may also be referred to as a gingival base. The data processing device 100 may fill the sidewall and the blank area with an appropriate color.

다시 도 4로 돌아가서, 동작 440에서 데이터 처리 장치는 식별된 치아 영역에서 각 치아를 개별화할 수 있다. Returning to FIG. 4 again, in operation 440, the data processing device may individualize each tooth in the identified tooth region.

도 6을 참조하여 설명한 바와 같이 삼차원 구강 모델 500은 치아 영역 510과 치은 영역 520으로 분리될 수 있다. 분리된 치아 영역 510은 복수의 치아들이 한 덩어리로 존재하는 상태를 나타낸다. 치아 영역에 있는 치아를 삭제하거나, 이동시키거나, 또는 추가적인 치아를 삽입하거나 하는 처리를 위해서는 치아 영역의 각 치아들을 개별화하여 각 치아에 대한 정보를 얻을 필요가 있다. As described with reference to FIG. 6 , the 3D mouth model 500 may be separated into a tooth area 510 and a gingival area 520 . The separated tooth area 510 represents a state in which a plurality of teeth exist as one mass. For a process of deleting, moving, or inserting an additional tooth in the tooth area, it is necessary to individualize each tooth in the tooth area and obtain information about each tooth.

일 실시예에 따라 데이터 처리 장치 100는 치아 모델 템플릿을 이용하여 치아 영역의 치아들을 개별화할 수 있다. 다른 실시예에 따라 데이터 처리 장치 100는 인공지능을 이용한 신경망 네트워크를 이용하여 치아 영역의 치아들을 개별화할 수 있다.According to an embodiment, the data processing device 100 may individualize teeth in a tooth region by using a tooth model template. According to another embodiment, the data processing device 100 may individualize teeth in a tooth region using a neural network using artificial intelligence.

도 8은 일 실시예에 따라 치아 영역의 치아들을 개별화하는 방법을 설명하기 위한 참고도이다.8 is a reference view for explaining a method of individualizing teeth in a tooth area according to an exemplary embodiment.

도 8을 참조하면, 치아 모델 템플릿 800는 치아들이 이상적인 형상을 가지고, 이상적인 위치에 배열되어 있으며, 각 치아에 번호가 매겨진 템플릿 모델 데이터를 나타낸다. 예를 들어, 치아 모델 템플릿 800의 각 템플릿 치아에는 왼쪽으로부터 시작해서 1번, 2번 등과 같이 해서 14번까지 치아 번호가 매겨져 있다. Referring to FIG. 8 , a tooth model template 800 represents template model data in which teeth have ideal shapes and are arranged in ideal positions, and each tooth is numbered. For example, each template tooth of the tooth model template 800 is numbered 14 times starting from the left, such as 1, 2, and so on.

데이터 처리 장치 100는 치아 영역 510의 치아들을 치아 모델 템플릿 800을 이용하여 데이터 처리함으로써 치아 영역 510의 치아들을 개별화하여 개별화된 치아 810를 획득할 수 있다. 구강 이미지의 치아를 개별화한다는 것은, 치아 영역 510의 치아들을 서로 분리하고 또한 치아들 각각에 대한 정보를 획득한다는 것을 의미할 수 있다. 각 치아에 대한 정보는, 각 치아의 형상에 대한 정보, 각 치아의 위치에 대한 정보, 각 치아의 번호에 대한 정보를 포함할 수 있다. 치아 영역의 치아들의 개별화는 치아들의 세그먼테이션 또는 치아들의 세분화 등으로 언급될 수도 있다. 이와 같이 치아 영역의 치아들이 개별화됨으로써, 데이터 처리 장치 100는 개별화된 치아 810을 이용하여 각 치아를 삭제하거나, 이동시키거나, 또는 추가적인 치아를 삽입하거나 하는 처리를 할 수 있다. The data processing apparatus 100 may obtain individualized teeth 810 by individualizing the teeth of the tooth area 510 by processing data of the teeth of the tooth area 510 using the tooth model template 800 . Individualizing the teeth of the oral cavity image may mean separating the teeth of the tooth area 510 from each other and obtaining information on each of the teeth. Information about each tooth may include information about the shape of each tooth, information about the position of each tooth, and information about the number of each tooth. Individualization of the teeth of a tooth area may also be referred to as segmentation of teeth or subdivision of teeth or the like. As the teeth in the tooth area are individualized in this way, the data processing device 100 can delete, move, or insert additional teeth using the individualized teeth 810 .

일 실시예에 따라 데이터 처리 장치 100는 치아의 개별화 후에, 개별화된 치아 각각의 완전한 형상을 만들 수 있다. 후술할 메쉬 변형에서 큰 부분을 차지하는 것이 변위 구속(displacement constraint)를 부여하는 것이다. 이는 개별 치아의 완전한 형상과 치아의 강체 이동량으로부터 만들어질 수 있다. 따라서, 데이터 처리 장치 100는 개별화된 치아의 완전한 형상을 만드는 것이 바람직할 수 있다. 개별 치아의 완전한 형상은, 스캔 치아에 치근을 생성하여 연결함으로써 만들어 질 수 있다. According to an embodiment, the data processing device 100 may create a complete shape of each of the individualized teeth after individualization of the teeth. A large part of the mesh transformation to be described later is to assign a displacement constraint. It can be created from the complete shape of an individual tooth and the amount of rigid movement of the tooth. Accordingly, it may be desirable for the data processing device 100 to create the complete shape of the individualized tooth. The complete shape of an individual tooth can be created by creating and connecting a tooth root to the scanned tooth.

도 9는 일 실시예에 따라 개별화된 치아의 완전한 형상을 만드는 방법의 일 예를 나타낸다. 9 shows an example of a method for creating a complete shape of an individualized tooth according to one embodiment.

도 9를 참조하면, 900A는 치아의 스캔 데이터에서 치은 영역을 제거한 후의 상태를 나타낸다. 치아의 스캔에 의해 치아의 표면 데이터 910는 스캔 장치에 의해 획득되어 표현이 되지만, 스캔 데이터의 구조적인 특성으로 인해 치은 영역을 제거하고 난 후 치아의 뒷면 920은 블랙으로 표시되어 있다. Referring to FIG. 9 , 900A shows a state after removing the gingival region from tooth scan data. Although tooth surface data 910 is obtained by the scanning device and expressed by the tooth scan, the back surface 920 of the tooth is displayed in black after the gingival region is removed due to the structural characteristics of the scan data.

개별화된 치아의 완전한 형상을 만들기 위해 각 치아에 치아 템플릿 930을 얼라인할 수 있다. 치아 템플릿 930은 치아 크라운 외에 치근까지 포함하므로, 치아 템플릿을 치아 스캔 데이터에 얼라인을 하게 되면, 치아 스캔 데이터와 치아 템플릿 간에 겹치는 영역과 겹치지 않는 영역이 발생할 수 있다. 치아 스캔 데이터는 치근을 포함하지 않으므로 치아 템플릿의 치근은 겹치지 않는 영역이 되고 치아 스캔 데이터의 크라운 부분과 치아 템플릿의 크라운 부분은 겹치는 영역이 될 수 있다. (900B) A tooth template 930 may be aligned to each tooth to create the complete shape of the individualized tooth. Since the tooth template 930 includes the tooth root as well as the tooth crown, when the tooth template is aligned with the tooth scan data, overlapping and non-overlapping regions may occur between the tooth scan data and the tooth template. Since the tooth scan data does not include the tooth root, the tooth root of the tooth template may be a non-overlapping region, and the crown portion of the tooth scan data and the crown portion of the tooth template may be an overlapping region. (900B)

데이터 처리 장치 100가 치아 템플릿 930을 치아 스캔 데이터에 얼라인시킬 때, 다양한 얼라인(align) 알고리즘을 이용할 수 있으며, 예를 들어, Iterative closest point (ICP)와 같은 알고리즘을 이용할 수 있다. ICP는 두 개의 포인트 클라우드 사이를 최소화하기 위한 알고리즘으로서, 서로 다른 스캔 데이터로부터 2D 또는 3D 표면을 재구성하는데 이용되는 알고리즘이다. ICP 알고리즘은 레퍼런스라고 불리는 포인트 클라우드를 고정시키고, 소오스라고 불리는 포인트 클라우드를 레퍼런스에 가장 잘 매칭되도록 변형시킨다. ICP 알고리즘은 소오스로부터 레퍼런스 까지의 거리를 나타내는 에러 메트릭(error metric)을 최소화하는데 필요한 변형 (이동(translation)과 회전(rotation)의 결합)을 반복적으로 수정함으로써, 3차원 모델을 정렬할 수 있다. 얼라인 알고리즘은 ICP 이외에도 다양한 알고리즘이 이용될 수 있으며, 예를 들어, Kabsch algorithm이 이용될 수도 있다. When the data processing device 100 aligns the tooth template 930 with the tooth scan data, various alignment algorithms may be used, for example, an algorithm such as iterative closest point (ICP) may be used. ICP is an algorithm for minimizing between two point clouds, and is an algorithm used to reconstruct a 2D or 3D surface from different scan data. The ICP algorithm fixes the point cloud, called the reference, and transforms the point cloud, called the source, to best match the reference. The ICP algorithm can align the 3D model by iteratively modifying the transformation (a combination of translation and rotation) necessary to minimize an error metric representing the distance from the source to the reference. As the aligning algorithm, various algorithms other than ICP may be used, and for example, the Kabsch algorithm may be used.

데이터 처리 장치 100는 얼라인된 치아 템플릿 중 치아 스캔 데이터 부분 950을 제외한 영역 즉 치근 영역 960은 남기고, 치아 스캔 데이터 부분과 중복되는 치아 템플릿 부분은 삭제할 수 있다. (900C)The data processing device 100 may leave a region other than the tooth scan data portion 950, that is, the root region 960, among the aligned tooth templates, and may delete a tooth template portion overlapping with the tooth scan data portion. (900C)

다음, 데이터 처리 장치 100는 치아 스캔 데이터 부분 즉 크라운 부분과 치아 템플릿의 치근 영역을 implicit surfacing 기법으로 머지(merge)함으로써, 치근 영역이 보완된 개별 치아를 획득할 수 있다. (900D)Next, the data processing device 100 may obtain an individual tooth whose root area is supplemented by merging the tooth scan data portion, that is, the crown portion, and the root area of the tooth template using an implicit surfacing technique. (900D)

도 10은 일 실시예에 따라 치은 모델을 변형시키는 방법의 일 예에 따른 흐름도이다. 10 is a flowchart according to an example of a method of deforming a gingiva model according to an embodiment.

도 10을 참조하면, 동작 1010에서, 데이터 처리 장치 100는 치아를 스캔하여 획득한 삼차원 구강 모델로부터 치아 모델과 치은 모델을 획득할 수 있다. 예를 들어, 삼차원 구강 모델을 토대로 치아 모델과 치은 모델은 앞서 도 4 내지 도 9를 참조하여 설명한 바에 따라 획득될 수 있다. 스캔 장치 50로부터 수신된 로우 데이터를 기반으로 획득된 삼차원 구강 모델로부터의 치아 모델과 치은 모델은, 아직 치아의 이동이 일어나기 전의 초기 상태를 나타낸다는 의미에서 초기 치아 모델 및 초기 치은 모델 또는 스캔 치아 모델 및 스캔 치은 모델로 불릴 수도 있다. Referring to FIG. 10 , in operation 1010, the data processing device 100 may acquire a tooth model and a gingiva model from a 3D oral cavity model obtained by scanning teeth. For example, based on the three-dimensional mouth model, a tooth model and a gingival model may be obtained as described above with reference to FIGS. 4 to 9 . An initial tooth model and an initial gingival model or a scanned tooth model in the sense that the tooth model and the gingiva model from the three-dimensional oral model acquired based on the raw data received from the scanning device 50 represent an initial state before tooth movement occurs yet. and a scan gingival model.

동작 1020에서, 데이터 처리 장치 100는 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 치은 모델을 변형할 수 있다. In operation 1020, the data processing device 100 may modify the gingiva model by reflecting the amount of movement of the gingiva according to the displacement representing the movement of the teeth.

데이터 처리 장치 100는 치아의 이동을 나타내기 위해 초기 치아 모델을 기반으로 타겟 치아 모델을 생성할 수 있다. 초기 치아 모델을 기반으로 타겟 치아 모델을 생성하는 방법은 본 명세서의 범위를 벗어나므로 자세히 설명하지는 않는다. 치아의 이동은 초기 치아 모델에 포함된 치아들의 초기 위치에서, 목표 위치 또는 타겟 위치로의 이동을 나타낸다. 예를 들어, 초기 치아 모델은 교정 전의 치아 모델, 타겟 치아 모델은 교정 후 예측되는 치아 모델을 나타낼 수 있다. The data processing device 100 may generate a target tooth model based on the initial tooth model to represent tooth movement. A method of generating a target tooth model based on an initial tooth model is not described in detail because it is out of the scope of the present specification. The movement of the teeth represents movement of teeth included in the initial tooth model from an initial position to a target position or target position. For example, the initial tooth model may indicate a tooth model before correction, and the target tooth model may indicate a predicted tooth model after correction.

실세계에서 치열이 교정될 때는 단단한 치아에 대해서는 강체 이동(rigid body transformation)이, 치아 주변을 감싸는 치은에 대해서는 변형(deformation)이 수 개월에서 수 년에 걸쳐 작용한다. 치아 교정 소프트웨어에서 사용자에게 제공될 UX에 적절한 수준의 feasibility를 부여하려면, 실세계와 마찬가지로 치아에는 강체 이동, 치은에는 변형을 적용하는 것이 자연스럽다. 따라서, 데이터 처리 장치 100는 치아의 이동을 나타내는 변위에 따라 치은의 이동량을 반영하여 초기 치은 모델을 변형시키는 것이 바람직하다. 치아의 강체 이동은 3D 등록(registration) 기법에 의해 정의될 수 있으며, 치은의 변형은 메쉬 변형 (mesh deformation) 기술이 적용될 수 있다.In the real world, when the dentition is corrected, rigid body transformation for hard teeth and deformation for gingiva surrounding the teeth take place over several months to several years. In orthodontic software, to give an appropriate level of feasibility to the UX to be provided to users, it is natural to apply rigid body movement to teeth and deformation to gingiva, just like in the real world. Accordingly, it is preferable that the data processing device 100 transforms the initial gingiva model by reflecting the amount of movement of the gingiva according to the displacement representing the movement of the tooth. The rigid body movement of the teeth may be defined by a 3D registration technique, and the deformation of the gingiva may be applied by a mesh deformation technique.

동작 1030에서, 데이터 처리 장치 100는 하나 이상의 콘트롤 팩터를 이용하여 치아의 이동을 나타내는 변위의 적어도 일부가 치은의 이동량에 반영되는 것을 억제함으로써 최종 치은 모델을 획득할 수 있다. In operation 1030, the data processing device 100 suppresses reflection of at least a part of the displacement representing the movement of the teeth on the movement amount of the gingiva using one or more control factors, thereby obtaining a final gingiva model.

동작 1020에서와 같이 치아의 이동을 나타내는 변위 만으로 치은의 이동량을 결정하여 치은 모델의 메쉬 변형을 수행하는 경우, 변형된 치은 모델에 따른 형상이 자연스럽지 않을 수 있다. 예를 들어 치아 이동이 많은 경우 이를 그대로 치은 변형에 적용하면 치은의 형상이 꼬이거나 왜곡될 수 있다. 따라서 개시된 실시예에 따른 데이터 처리 장치 100는 치은 변형 수행 시에 하나 이상의 콘트롤 팩터를 적용함으로써 치아의 이동을 나타내는 변위의 적어도 일부가 치은의 이동량에 반영되는 것을 억제할 수 있다. As in operation 1020, when mesh deformation of the gingival model is performed by determining the movement amount of the gingiva only with the displacement representing the movement of the teeth, the shape according to the deformed gingival model may not be natural. For example, if there is a lot of tooth movement, if it is applied to gingival deformation as it is, the shape of the gingiva may be twisted or distorted. Accordingly, the data processing device 100 according to the disclosed embodiment may suppress at least a portion of the displacement representing the movement of the teeth from being reflected in the amount of movement of the gingiva by applying one or more control factors when performing gingival deformation.

하나 이상의 콘트롤 팩터는, 하나 이상의 조정점(control point), 하나 이상의 스태빌라이저(stabilizer), 베이스 픽싱(base fixing), 치아의 변위 중 회전 변환 성분 제어 (rotation transformation component control) 등을 포함할 수 있다. 데이터 처리 장치 100는 예를 들어 열거한 하나 이상의 콘트롤 팩터 중 하나 이상을 적용하여 치아의 변형을 수행할 수 있다. 예를 들어, 데이터 처리 장치 100는 열거한 콘트롤 팩터 중 하나의 콘트롤 팩터를 이용하여 치은 변형을 수행할 수도 있고, 열거한 콘트롤 팩터 중 2개 이상의 조합을 적용하여 치은 변형을 수행할 수도 있고, 또는 데이터 처리 장치 100는 열거한 콘트롤 팩터 250 모두를 적용하여 치은 변형을 수행할 수도 있다. One or more control factors may include one or more control points, one or more stabilizers, base fixing, rotation transformation component control during tooth displacement, and the like. For example, the data processing device 100 may perform tooth deformation by applying one or more of the enumerated one or more control factors. For example, the data processing device 100 may perform gingival deformation using one of the enumerated control factors, or may perform gingival deformation by applying a combination of two or more of the enumerated control factors, or The data processing device 100 may perform gingival deformation by applying all of the enumerated control factors 250 .

이와 같은 콘트롤 팩터 적용에 따라 최종 치은 모델의 치은의 이동량은 치은의 수평 이동량 또는 치은의 회전 이동량 중 적어도 하나를 포함할 수 있다. According to the application of such a control factor, the movement amount of the gingiva of the final gingiva model may include at least one of a horizontal movement amount of the gingiva and a rotational movement amount of the gingiva.

최종 치은 모델에 포함된 치은의 수평 이동량은 하나 이상의 치아의 수평 이동을 나타내는 변위 값보다 작거나 같을 수 있다. 치아나 치은의 수평 이동은 오클루절 방향에 수직인 방향에서의 치아나 치은의 수평적인 이동을 의미할 수 있다. 예를 들어 도 15를 참조하면, 수평 이동은 치아나 치은이 Distal 방향, Mesial 방향, Buccal 방향, Lingual 방향 중 적어도 하나의 방향으로 수평적으로 이동하는 것을 나타낼 수 있다. The amount of horizontal movement of the gingiva included in the final gingiva model may be equal to or smaller than a displacement value representing the horizontal movement of one or more teeth. The horizontal movement of the teeth or gingiva may mean horizontal movement of the teeth or gingiva in a direction perpendicular to the occlusion direction. For example, referring to FIG. 15 , horizontal movement may indicate horizontal movement of a tooth or gingiva in at least one of a distal direction, a mesial direction, a buccal direction, and a lingual direction.

최종 치은 모델에 포함된 치은의 회전 이동량은 하나 이상의 치아의 회전 이동을 나타내는 변위 값보다 작거나 같을 수 있다. 치은의 회전 이동은 오클루절 방향에 평행한 방향의 축을 중심으로 하는 치은의 회전 이동을 의미할 수 있다. 예를 들어 도 15를 참조하면, 회전 이동은 치아나 치은이 Distal-Mesial 방향 축, Buccal-Lingual 방향 축, Occlusal 방향 축 중 적어도 하나를 중심으로 회전 이동하는 것을 나타낼 수 있다. The amount of rotational movement of the gingiva included in the final gingiva model may be equal to or smaller than a displacement value representing rotational movement of one or more teeth. The rotational movement of the gingiva may refer to rotational movement of the gingiva about an axis in a direction parallel to the occlude direction. For example, referring to FIG. 15 , rotational movement may represent rotational movement of a tooth or gingiva about at least one of a Distal-Mesial direction axis, a Buccal-Lingual direction axis, and an Occlusal direction axis.

일 실시예에 따라 데이터 처리 장치 100는 치아 모델에 포함된 하나 이상의 치아의 이동이 표현된 최종 치아 모델과 함께 획득된 최종 치은 모델을 디스플레이에 표시할 수 있다. According to an embodiment, the data processing device 100 may display on the display the final tooth model obtained along with the final tooth model representing the movement of one or more teeth included in the tooth model.

도 11은 일 예에 따라 치아의 이동을 나타내는 변위를 설명하기 위한 참고도이다.11 is a reference diagram for explaining displacement indicating movement of teeth according to an example.

도 11을 참조하면, 치아 모델에 포함된 어느 하나의 치아에서의 변위를 나타낸다. 치아 모델의 치아는 복수의 정점들로 구성되며, 치아의 이동은 결국 이러한 정점들의 위치 변화로 설명될 수 있다. 도 11에 도시된 치아에서 치아의 초기 위치 즉, 치아를 구성하는 정점의 초기 위치는 검은 점으로 표시되고, 해당 정점의 이동에 의한 타겟 위치는 흰색 점으로 표시되어 있다. 각 정점의 이동을 나타내는 변위는 화살표로 표시되어 있다. Referring to FIG. 11 , displacement of any one tooth included in the tooth model is shown. The tooth of the tooth model is composed of a plurality of vertices, and the movement of the tooth can be explained by the position change of these vertices. In the teeth shown in FIG. 11, the initial position of the tooth, that is, the initial position of the vertex constituting the tooth is indicated by a black dot, and the target position by movement of the corresponding apex is indicated by a white dot. The displacement representing the movement of each vertex is indicated by an arrow.

예를 들어, 정점의 초기 위치는 {X1, X2, X3, X4, X5,?? Xn}으로,For example, the initial position of a vertex is {X1, X2, X3, X4, X5,?? Xn},

정점의 이동에 의한 타겟 위치는 {T1, T2, t3, T4, T5, ??Tn}으로,The target position by vertex movement is {T1, T2, t3, T4, T5, ??Tn},

정점의 초기 위치에서 타겟 위치로의 이동을 나타내는 변위는 {D1, D2, D3, D4, D5,?? Dn}로 표시될 수 있다. The displacement representing the movement of the vertex from its initial position to its target position is {D1, D2, D3, D4, D5,?? Dn}.

이러한 변위들의 집합에 기반하여 치은 변형을 유도할 수 있다. Based on a set of these displacements, gingival deformation can be induced.

치은 모델에 포함된 각 치아마다 무수히 많은 정점들을 갖고 있는데, 각 치아에 포함된 정점들 중에서 미리 정한 개수의 정점들에 대한 변위를 이용하여 치은 변형을 유도할 수 있다. 여기서, 미리 정한 개수는 다양하게 결정될 수 있다. 예를 들어 데이터 처리 장치 100는 각 치아 마다 100개의 정점을 추출하여 이 정점들의 변위를 이용할 수 있다. Each tooth included in the gingiva model has a myriad of vertices, and gingival deformation may be induced by using a displacement of a predetermined number of vertices among vertices included in each tooth. Here, the predetermined number may be variously determined. For example, the data processing device 100 may extract 100 vertices for each tooth and use the displacement of these vertices.

이제 이하에서는 치은 변형시 하나 이상의 콘트롤 팩터를 이용하는 방법에 대해 설명한다. Hereinafter, a method of using one or more control factors in gingival deformation will be described.

도 12는 일 실시예에 따라 콘트롤 팩터로서 조정점을 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다. 12 is a flowchart of a method of obtaining a final gingival model using an adjustment point as a control factor according to an embodiment.

도 12를 참조하면, 동작 1210에서, 데이터 처리 장치 100는 삼차원 구강 모델의 공간에 복수의 조정점들(control points)을 배치할 수 있다. Referring to FIG. 12 , in operation 1210, the data processing device 100 may arrange a plurality of control points in the space of the 3D oral model.

삼차원 구강 모델의 공간은 치아 모델과 치은 모델을 포함하는 삼차원 구강 모델 및 이러한 삼차원 구강 모델을 둘러싸는 입체 도형이 차지하는 공간을 포함할 수 있다. The space of the 3D oral model may include a space occupied by a 3D oral model including a tooth model and a gingival model and a 3D figure surrounding the 3D oral model.

일 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 입체도형으로 이루어지는 공간에 또는 삼차원 구강 모델에 포함된 치아 영역 일부와 치은 영역 일부에 복수의 조정점들을 배치할 수 있다. According to an embodiment, the data processing device 100 may arrange a plurality of adjustment points in a space formed of a three-dimensional figure surrounding the 3D oral cavity model or in a portion of a tooth region and a portion of a gingival region included in the 3D oral cavity model.

조정점들(control points)는 공간의 변형/왜곡을 표현하기 위한 것으로 3차원 좌표와 몇 가지 계수로 구성될 수 있다. 이러한 조정점들의 밀도가 조밀한 곳은 국소적으로 큰 변형이 가능하고, 밀도가 낮은 부분은 완만하게 변화하는 특성을 갖는 등과 같이 조정점들은 변형의 자유도와 특성을 결정할 수 있다. Control points are for expressing the transformation/distortion of space and can be composed of 3D coordinates and several coefficients. The control points can determine the degree of freedom and characteristics of the deformation, such as where the density of these control points is dense, locally large deformation is possible, and the part where the density is low has the characteristic of slowly changing.

일 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싼 볼륨의 공간에 조정점들을 배치할 수 있다. 조정점들을 배치하는 위치는 어느 특정한 위치로 한정되지 않으며, 삼차원 구강 모델을 둘러싸는 공간을 표현하는 입체 도형의 평면 상의 적어도 일부 위치에 배치될 수 있다. 예를 들어 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 입체 도형을 구성하는 각 꼭지점에 조정점을 하나씩 배치함으로써 총 8개의 조정점을 배치할 수 있으나, 개수는 이에 한정되지 않는다. 이때 데이터 처리 장치 100는 치은 모델의 바닥면 즉 치은 베이스의 국소 변형을 억제하기 위해 가급적 바닥 근처에는 배치되게 않게 할 수 있다. According to an embodiment, the data processing device 100 may arrange adjustment points in the space of the volume surrounding the 3D oral cavity model. Positions for arranging the adjustment points are not limited to any specific positions, and may be placed at least some positions on the plane of the three-dimensional figure representing the space surrounding the three-dimensional oral model. For example, the data processing device 100 may arrange a total of 8 adjustment points by arranging one adjustment point at each vertex constituting a three-dimensional figure surrounding the 3D oral cavity model, but the number is not limited thereto. At this time, the data processing device 100 may not be disposed near the floor as much as possible in order to suppress local deformation of the bottom surface of the gingival model, that is, the gingival base.

일 실시예에 따라 데이터 처리 장치 100는 각 치아의 변위를 반영하기 위해 각 치아마다 하나 이상의 조정점들을 배치할 수 있다. 데이터 처리 장치 100는 각 치아마다 하나 이상의 조정점들을 직렬적으로 배치할 수 있다. 예를 들어 데이터 처리 장치 100는 각 치아 마다 4개의 조정점들을 직렬적으로 배치할 수 있다. 4개의 조정점들은 일 예에 불과하고, 데이터 처리 장치 100는 각 치아에 직렬적으로 배치되는 조정점들의 개수와 위치를 다양하게 결정할 수 있다. 예를 들어, 데이터 처리 장치 100는 각 치아에 직렬적으로 배치되는 조정점들의 개수를 두 개, 세 개, 네 개, 또는 그 이상의 개수로 다양하게 결정할 수 있다. According to an embodiment, the data processing device 100 may arrange one or more adjustment points for each tooth to reflect the displacement of each tooth. The data processing device 100 may serially arrange one or more adjustment points for each tooth. For example, the data processing device 100 may serially arrange four adjustment points for each tooth. The four adjustment points are just an example, and the data processing device 100 may variously determine the number and position of adjustment points serially disposed on each tooth. For example, the data processing device 100 may variously determine the number of adjustment points serially arranged on each tooth as two, three, four, or more.

일 실시예에 따라 데이터 처리 장치 100는 각 치아 마다 오클루절 (occlusal) 축을 중심으로 직렬적으로 4개의 조정점들을 배치할 수 있다. 이와 같이 오클루절 축을 중심으로 조정점들을 직렬적으로 배치하는 것은 오클루절 축으로 하는 치아의 회전 이동을 치은의 이동량에 덜 반영하기 위함이다. 이는 많은 경우에 치아의 회전 변환은 치은의 변형에 과도한 왜곡을 가져오므로 치아의 회전 변환에 의한 영향을 덜 받게 위함이다. 오클루절 축에 직렬적으로 배열되는 4개의 조정점은 예를 들어, 치은 볼륨과 오클루절 라인의 교점이 되는 위치에 배열되는 제1조정점, 치아의 끝 부분이 되는 위치에 배열되는 제2조정점, 치은과 치아가 만나는 위치에 배열되는 제3조정점, 치아의 뿌리 (치근) 위치에 배열되는 제4조정점을 포함할 수 있다. According to an embodiment, the data processing device 100 may serially arrange four adjustment points around an occlusal axis for each tooth. Arranging the adjustment points serially around the occlusion axis is to reflect the rotational movement of the teeth on the occlusion axis less to the amount of movement of the gingiva. This is to be less affected by the rotational transformation of the teeth because rotational transformation of the teeth brings excessive distortion to the deformation of the gingiva in many cases. The four adjustment points arranged in series on the occlusion axis include, for example, a first adjustment point arranged at the intersection of the gingival volume and the occlusion line, and a second adjustment point arranged at the tip of the tooth. It may include 2 adjustment points, a 3rd adjustment point arranged at a position where the gingiva and a tooth meet, and a 4th adjustment point arranged at a root position of a tooth.

도 13은 일 실시예에 따라 삼차원 구강 모델의 공간에 배치된 복수의 조정점들(control points)의 예를 나타낸다. 13 shows an example of a plurality of control points disposed in the space of the 3D oral model according to one embodiment.

도 13을 참조하면, 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 공간 (볼륨) 1300을 나타내는 입체 도형의 각 꼭지점 조정점 CP1, CP2, CP3, CP4, CP5, CP6, CP7, CP8을 배치할 수 있다. Referring to FIG. 13, the data processing device 100 may arrange vertex control points CP1, CP2, CP3, CP4, CP5, CP6, CP7, and CP8 of a three-dimensional figure representing a space (volume) 1300 surrounding the 3D oral cavity model. there is.

그리고 데이터 처리 장치 100는 각 치아의 변위를 반영하기 위해 각 치아마다 복수개의 조정점들을 배치할 수 있다. 예를 들어, 각 치아에는 4개의 조정점들이 배치될 수 있다. 이와 같은 예에 따라 조정점들을 배치하는 경우, 삼차원 구강 모델을 둘러싸는 공간 (볼륨) 1300을 나타내는 입체 도형의 각 꼭지점에 8개, 각 치아마다 4개 *14 (치아 개수가14라고 하면), 해서 총 64개의 조정점들이 배치될 수 있으나, 개수는 이에 한정되지 않는다. 치아마다 조정점의 개수를 다르게 배치할 수도 있다. Also, the data processing device 100 may arrange a plurality of adjustment points for each tooth to reflect the displacement of each tooth. For example, four adjustment points may be placed on each tooth. In the case of arranging the adjustment points according to this example, 8 points at each vertex of the three-dimensional figure representing the space (volume) 1300 surrounding the 3D oral model, 4 points for each tooth * 14 (if the number of teeth is 14), Thus, a total of 64 adjustment points may be arranged, but the number is not limited thereto. The number of adjustment points may be differently arranged for each tooth.

도 14는 일 실시예에 따라 각 치아에 배치되는 조정점들의 위치를 설명하기 위한 참고도이다. 14 is a reference diagram for explaining positions of adjustment points disposed on each tooth according to an exemplary embodiment.

도 14는 도 13에 도시된 삼차원 모델 공간을 위에서 바라본 평면도이다. 도 14를 참조하면, 삼차원 구강 모델의 각 치아에는 조정점 그룹 (control points group:CGP)이 배열될 수 있다. 각 치아에 배열되는 조정점 그룹은 하나 이상의 조정점들을 포함할 수 있다. 앞서 도 13에서 예를 든 바와 같이 각 치아에 배열되는 조정점은 4개가 될 수 있으며 이때 조정점 그룹은 4개의 조정점들을 포함할 수 있다. 도 14에는 각 치아에 대응하는 조정점 그룹으로서, 1번 치아에 대응하는 조정점 그룹 CPG1, 2번 치아에 대응하는 조정점 그룹 CPG2, ?? 14번 치아에 대응하는 조정점 그룹 CPG14이 표시되어 있다. 각 치아에 대응하는 조정점 그룹은 해당 치아의 오클루절 방향에 있는 중심 축 상에 배치될 수 있다. FIG. 14 is a plan view of the 3D model space shown in FIG. 13 viewed from above. Referring to FIG. 14 , a control point group (CGP) may be arranged in each tooth of the 3D oral model. An adjustment point group arranged on each tooth may include one or more adjustment points. As previously mentioned in FIG. 13 , the number of adjustment points arranged on each tooth may be 4, and in this case, the adjustment point group may include the 4 adjustment points. 14, as an adjustment point group corresponding to each tooth, an adjustment point group CPG1 corresponding to the first tooth, an adjustment point group CPG2 corresponding to the second tooth, ?? An adjustment point group CPG14 corresponding to the 14th tooth is displayed. An adjustment point group corresponding to each tooth may be arranged on a central axis in the occlusion direction of the corresponding tooth.

오클루절 방향은 각 치아마다 교합면에 따라서 기울어진 정도가 다르기 때문에, 정확하게는 각 치아마다 오클루절 방향이 달라질 수 있다. 일 실시예에 따라서 데이터 처리 장치 100는 각 치아마다 다른 오클루절 방향을 고려하여 각 치아에 대응하는 오클루절 방향에 있는 중심 축 상에 조정점 그룹을 배치할 수 있다. 또는 다른 실시예에 따라 데이터 처리 장치 100는 모든 치아의 오클루절 방향의 평균을 계산함으로써 모든 치아에 대해서 동일한 오클루절 방향에 있는 중심 축상에 조정점 그룹을 배치할 수 있다. Since the degree of inclination of the occlude direction is different for each tooth according to the occlusal surface, the occlude direction may be precisely changed for each tooth. According to an embodiment, the data processing device 100 may arrange an adjustment point group on a central axis in an occlusion direction corresponding to each tooth in consideration of a different occlusion direction for each tooth. Alternatively, according to another embodiment, the data processing device 100 may arrange an adjustment point group on a central axis in the same occlusion direction for all teeth by calculating an average of occlusion directions of all teeth.

도 15는 일 실시예에 따라 각 치아에 배치되는 조정점들의 예를 나타낸다. 15 shows an example of adjustment points disposed on each tooth according to an embodiment.

일 실시예에 따라 데이터 처리 장치 100는 각 치아 마다 복수개의 조정점들 배치할 수 있다. 각 치아마다 배치되는 복수개의 조정점들은 일직선상에 있을 수도 있고 일직선 상에 있지 않을 수도 있다. According to an embodiment, the data processing device 100 may arrange a plurality of adjustment points for each tooth. A plurality of adjustment points disposed for each tooth may or may not be on a straight line.

일 실시예에 따라 데이터 처리 장치 100는 각 치아 마다 조정점들을 오클루절 방향에 직렬적으로 배치할 수 있다. 각 치아에서 Buccal은 볼 쪽에 인접한 방향, Lingual은 혀쪽에 인접한 방향, Distal은 덴탈 아치를 따라서 정중앙으로부터 멀어지는 방향, Meisal은 덴탈 아치를 따라서 정중앙으로 향하는 방향, Occlusal은 교합면 방향을 나타낼 수 있다. According to an embodiment, the data processing device 100 may serially arrange adjustment points for each tooth in the occlusion direction. For each tooth, Buccal indicates the direction adjacent to the buccal side, Lingual indicates the direction adjacent to the lingual side, Distal indicates the direction away from the center along the dental arch, Meisal indicates the direction toward the center along the dental arch, and Occlusal indicates the occlusal direction.

일 실시예에 따라 데이터 처리 장치 100는 각 치아마다 조정점들을 오클루절 방향으로 치아의 중심축상에 직렬적으로 배치할 수 있다. 이와 같이 배열하면 치아의 기울어짐에 대한 변위를 치은 이동량에 반영할 수 있는 반면, 치아의 회전 변환 성분은 작게 반영할 수 있다. 이는 치아의 회전 변환 성분이 많아져서 주변 치은이 찌그러지는 현상을 방지하기 위함이다. According to an embodiment, the data processing device 100 may serially arrange adjustment points for each tooth on the central axis of the tooth in the occlusion direction. In this arrangement, the displacement of the teeth inclination can be reflected in the gingival movement amount, while the rotation conversion component of the teeth can be reflected in a small amount. This is to prevent a phenomenon in which the peripheral gingiva is distorted due to an increase in rotation conversion components of the tooth.

도 15를 참조하면, 치아 10번에 배열되는 조정점 그룹 CPG10의 예를 들어 설명한다. Referring to FIG. 15, an example of an adjustment point group CPG10 arranged on tooth #10 will be described.

설명의 편의상 오클루절 방향과 평행한 방향을 가지며 치아의 중심을 지나는 축을 오클루절 방향 축이라고 부르기로 한다. 일 실시예에 따라 각 치아에 대응하는 조정점 그룹의 조정점들은 오클루절 방향 축 상에 배열될 수 있다. 일 실시예에 따라 각 치아에 대응하는 조정점들은 치아의 변위를 잘 반영할 수 있는 위치에 배열될 수 있다. 예를 들어 도 15에 도시된 바와 같이 10번 치아에 대응하는 조정점 그룹 CPG10은 10번 치아의 오클루절 방향 축 상에 4개의 조정점, CP10-1, CP10-2, CP10-3, CP10-4를 포함할 수 있다. 예를 들어, 조정점 CP10-1은 치은 볼륨과 오클루절 축의 교점이 되는 위치에 배열될 수 있다. 조정점 CP10-2는 치아의 끝 부분이 되는 위치에 배열될 수 있다. 조정점 CP10-3은 치은과 치아가 만나는 위치에 배열될 수 있다. 조정점 CP10-4는 치아의 뿌리 (치근) 위치에 배열될 수 있다. 도 15에서는 설명의 편의상 치아 10번에에 조정점들이 배열된 것이 도시되어 있지만 다른 치아들에도 조정점들이 동일하게 배열될 수 있다. For convenience of explanation, an axis having a direction parallel to the occlude direction and passing through the center of the tooth will be referred to as an occlude direction axis. According to one embodiment, adjustment points of an adjustment point group corresponding to each tooth may be arranged on an occlusion direction axis. According to one embodiment, the adjustment points corresponding to each tooth may be arranged at a position that can well reflect the displacement of the tooth. For example, as shown in FIG. 15, the adjustment point group CPG10 corresponding to the 10th tooth includes four adjustment points, CP10-1, CP10-2, CP10-3, and CP10 on the occlusion direction axis of the 10th tooth. -4 may be included. For example, the adjustment point CP10-1 may be arranged at a position that is the intersection of the gingival volume and the occlusion axis. The adjustment point CP10-2 may be arranged at a position that becomes the tip of the tooth. The adjustment point CP10-3 may be arranged at a position where the gingiva and teeth meet. The control point CP10-4 can be arranged at the root (root) position of the tooth. In FIG. 15 , for convenience of description, adjustment points are shown arranged on tooth 10, but adjustment points may be equally arranged on other teeth.

도 15에서는 예시적으로 각 치아에 4개의 조정점들이 배열된 것이 도시되어 있지만, 조정점들은 4개 보다 더 작은 개수 또는 4개 보다 더 많은 개수로 배열될 수 있다. 15 exemplarily shows that four adjustment points are arranged on each tooth, but the number of adjustment points may be smaller than four or larger than four.

도 15에서는 예시적으로 각 치아에 조정점들이 일렬로 배열되어 있지만 반드시 이에 한정되는 것은 아니고 각 치아에 배열되는 조정점들을 일렬로 위치되지 않을 수도 있다. In FIG. 15 , the adjustment points are illustratively arranged on each tooth in a row, but the adjustment points are not necessarily limited thereto, and the adjustment points arranged on each tooth may not be located in a row.

도 16은 일 실시예에 따라 각 치아에 배치되는 조정점들의 위치를 설명하기 위한 참고도이다. 16 is a reference diagram for explaining positions of adjustment points disposed on each tooth according to an exemplary embodiment.

도 16은 도 13에 도시된 삼차원 구강 모델을 정면에 바라본 상태의 정면도를 나타낸다. FIG. 16 is a front view of a state in which the three-dimensional oral model shown in FIG. 13 is viewed from the front.

도 16을 참조하면 치아 10번에 배열되는 조정점 그룹이 도시되어 있다. Referring to FIG. 16, an adjustment point group arranged on tooth #10 is shown.

예를 들어, 조정점 CP10-1은 치은 볼륨과 각 치아에서의 오클루절 방향 축의 교점이 되는 위치에 배열될 수 있다. For example, the adjustment point CP10-1 may be arranged at a position that is an intersection of the gingival volume and the axis of the occlusion direction in each tooth.

예를 들어, 조정점 CP10-2는 오클루절 방향 축과 치아의 끝 부분이 만나는 위치에 배열될 수 있다. For example, the adjustment point CP10-2 may be arranged at a position where an axis in the occlusion direction and an end portion of a tooth meet.

예를 들어, 조정점 CP10-3은 치은과 치아가 만나는 위치에 배열될 수 있다. 예를 들어, 치은과 치아가 만나는 위치는 도 7에 도시된 바와 같이 생성된 치은 베이스와 치아가 만나는 위치를 나타낼 수 있다. For example, the adjustment point CP10-3 may be arranged at a position where the gingiva and the tooth meet. For example, the location where the gingiva and the tooth meet may represent the location where the created gingival base and the tooth meet, as shown in FIG. 7 .

예를 들어, 조정점 CP10-4는 오클루절 방향 축 상에서 치근의 뿌리 (치근) 위치에 배열될 수 있다. For example, the adjustment point CP10-4 may be arranged at a root (root) position of a tooth root on the occlude direction axis.

위와 같이 각 치아의 원하는 위치에 조정점들을 배열할 수 있는 것은, 도 8에서 설명한 바와 같이 치아 모델을 치아 모델 템플릿을 이용하여 치아를 개별화함으로써 각 개별 치아에 대한 정보를 얻어 놓았기 때문에 가능하다. As described above, it is possible to arrange the adjustment points at the desired position of each tooth because information on each individual tooth is obtained by individualizing the tooth model using the tooth model template as described in FIG. 8 .

도 12를 참조하면, 동작 1220에서, 데이터 처리 장치 100는 치아의 이동을 나타내는 하나 이상의 변위에 따라 복수의 조정점들의 이동량을 결정할 수 있다. Referring to FIG. 12 , in operation 1220, the data processing device 100 may determine movement amounts of a plurality of adjustment points according to one or more displacements representing the movement of teeth.

데이터 처리 장치 100는 각 치아마다 수십~수백 개 정도의 정점을 선정할 수 있다. 예를 들어, 치아 별로 100개의 정점을 무작위 샘플링하여 선택할 수 있다. 그리고, 데이터 처리 장치 100는 선정된 정점의 이동 전(스캐닝한 시점) 좌표와, 이동 후(교정 후 시점) 좌표 쌍들로부터 변위를 얻어낼 수 있다. The data processing device 100 may select tens to hundreds of vertices for each tooth. For example, 100 vertices for each tooth may be randomly sampled and selected. Also, the data processing device 100 may obtain the displacement from coordinate pairs of the selected vertex before movement (at the scanning time point) and after movement (at the time point after correction).

데이터 처리 장치 100는 이와 같은 획득된 변위 예를 들어, 100개의 정점을 선택하는 경우 100개의 변위를 이용하여 복수의 조정점들의 이동량을 결정할 수 있다. The data processing device 100 may determine the movement amounts of the plurality of adjustment points using the acquired displacements, for example, 100 displacements when 100 vertices are selected.

동작 1230에서, 데이터 처리 장치 100는 복수의 조정점들의 이동량에 따라 결정되는 치은의 이동량을 반영하여 최종 치은 모델을 획득할 수 있다. In operation 1230, the data processing device 100 may acquire a final gingiva model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of adjustment points.

일 실시예에 따라 데이터 처리 장치 100는 주어진 변위를 잘 반영하도록 변형된 공간을 근사(approximation)하는 조정점의 이동량을 메시 변형 기술을 사용해서 계산할 수 있다. According to an embodiment, the data processing device 100 may calculate a movement amount of an adjustment point that approximates the transformed space to well reflect the given displacement using a mesh transformation technique.

예를 들어 데이터 처리 장치 100는 래디얼 베이시스 펑션 근사법(Radial Basis Function Approximation)에 따라 치아의 이동과 컨트롤 팩터로부터 획득된 주요 데이터포인트(

)상에서의 변위(

)와 조정점(

)들로 선형연립방정식을 구성함으로써 계수

를 계산하여 치은의 변형 형상을 계산해낼 수 있다.For example, the data processing device 100 obtains major data points (according to the radial basis function approximation) from the movement of the teeth and the control factor .

) displacement on (

) and the adjustment point (

) by constructing a system of linear equations with

By calculating , the deformed shape of the gingiva can be calculated.

도 17은 일 실시예에 따라 콘트롤 팩터로서 스태빌라이저를 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다. 17 is a flowchart of a method of obtaining a final gingival model using a stabilizer as a control factor according to an embodiment.

도 17을 참조하면, 동작 1710에서, 데이터 처리 장치 100는 삼차원 구강 모델의 공간에 복수의 조정점들(control points)을 배치할 수 있다. Referring to FIG. 17 , in operation 1710, the data processing device 100 may arrange a plurality of control points in the space of the 3D oral model.

동작 1720에서, 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치할 수 있다. 구체적으로 데이터 처리 장치 100는 스캔 모델을 둘러싸는 위치에 즉, 변형 관심 대상이 되는 공간을 둘러쌀 정도의 위치에 별도의 추가적인 스태빌라이저를 배치할 수 있다. 스태빌라이저는 제로 변위 구속 (zero displacement constraint)으로 언급될 수 있다. 앞서 언급했던 RBFs interpolation의 다소 극단적인 사례에서는 변위가 지정된 곳에서 멀리 떨어진 공간은 interpolation이라기 보다는 extrapolation 영역이라 보는 것이 맞는데, 본질적으로 매우 불안정(unstable)하고, 변형이 증폭되거나 꼬이는 현상이 발생할 수 있다. 이러한 현상을 억제하려면 변형 관심 대상이 되는 공간을 둘러쌀 정도의 위치에 별도의 (zero) displacement constraint를 부여하는 작업이 필요한데, 편의상 이를 스태빌라이저(stabilizer)라 부르기로 한다. In operation 1720, the data processing device 100 may arrange one or more stabilizers in a space surrounding the 3D oral cavity model. Specifically, the data processing device 100 may dispose a separate and additional stabilizer at a position surrounding the scan model, that is, at a position enough to surround a space of interest in deformation. The stabilizer may be referred to as a zero displacement constraint. In the somewhat extreme case of RBFs interpolation mentioned above, it is correct to regard the space far from the place where the displacement is designated as an extrapolation region rather than an interpolation region. In order to suppress this phenomenon, it is necessary to assign a separate (zero) displacement constraint to a position that encloses the space of interest in deformation. For convenience, this is called a stabilizer.

즉, 치아의 변위를 샘플링하기 위해 각 치아 마다 수십-수백 개의 정점들을 선택해서 선택된 정점들의 변위를 치은 변형에 이용하는데, 이와 같이 각 치아마다 샘플링된 변위 그룹과 별도의 정점을 선정하고 이 정점들의 변위는 0으로 인위적으로 결정하여 치은 변형의 입력으로 이용한다는 의미이다. That is, to sample the displacement of the tooth, tens to hundreds of vertices are selected for each tooth and the displacement of the selected vertices is used for gingival deformation. It means that the displacement is artificially determined as 0 and used as an input for gingival deformation.

스태빌라이저의 배열 위치나 갯수는 원하는 거동을 얻기 위해 다양하게 결정될 수 있다. The arrangement position or number of stabilizers may be variously determined to obtain a desired behavior.

동작 1730에서, 데이터 처리 장치 100는 치아의 이동을 나타내는 하나 이상의 변위에 따라 복수의 조정점들의 이동량을 결정할 수 있다. In operation 1730, the data processing device 100 may determine movement amounts of a plurality of adjustment points according to one or more displacements representing the movement of teeth.

동작 1740에서, 데이터 처리 장치 100는 복수의 조정점들의 이동량에 따라 결정된 치은의 이동량을 반영하여 치은 모델을 변형할 수 있다. In operation 1740, the data processing device 100 may modify the gingiva model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of adjustment points.

도 18은 일 실시예에 따라 삼차원 구강 모델에 스태빌라이저를 배치한 상태를 보여주는 도면이다. 18 is a view showing a state in which a stabilizer is disposed in a three-dimensional oral model according to an embodiment.

도 18을 참조하면, 데이터 처리 장치 100는 삼차원 구강 모델 500을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치할 수 있다. 스태빌라이저는 공간의 왜곡을 감소시키기 위해 인위적으로 변위가 0인 데이터를 만드는 것이므로, 변위가 존재하는 삼차원 구강 모델 500의 바깥을 둘러싸는 공간에 배치될 수 있다. Referring to FIG. 18 , the data processing device 100 may place one or more stabilizers in a space surrounding the 3D oral cavity model 500 . Since the stabilizer artificially creates data having a displacement of 0 to reduce spatial distortion, the stabilizer may be disposed in a space surrounding the outside of the 3D oral model 500 where displacement exists.

일 실시예에 따라 데이터 처리 장치 100는 삼차원 구강 모델 500을 둘러싸는 공간에 격자 형태로 일정한 간격으로 스태빌라이저들을 배치할 수 있다. 물론 이에 한정되는 것은 아니고, 격자 형태가 아닐 수도 있고 또한 일정한 간격으로 배치되지 않을 수도 있음은 물론이다. According to an embodiment, the data processing device 100 may arrange stabilizers at regular intervals in a lattice form in the space surrounding the 3D oral cavity model 500 . Of course, it is not limited thereto, and it may not be in a lattice form and may not be arranged at regular intervals.

도 19는 개시된 실시예에 따른 스태빌라이저를 적용한 예와 적용하지 않은 예의 차이를 보여주기 위한 참고도이다. 19 is a reference diagram illustrating a difference between an example in which a stabilizer according to the disclosed embodiment is applied and an example in which it is not applied.

도 19를 참조하면, 1900A는 콘트롤 팩터로서 스태빌라이저를 적용하지 않은 경우의 치은 변형 상태를 나타내고 1900B는 스태빌라이저를 적용한 경우의 치은 변형 상태를 나타낸다. 스태빌라이저를 채용하지 않은 예 1900A에서는, 변위가 있는 부분 즉, 치아 강체에서 멀리 있는 치은의 측벽 부분과 치은의 바닥 부분이 심하게 왜곡된 것을 볼 수 있다. 그러나 스태빌라이저를 채용한 예 1900B에서는 치은의 측벽 부분과 치은의 바닥 부분에서 왜곡이 상당히 억제되어 표현된 것을 볼 수 있다. Referring to FIG. 19 , as a control factor, 1900A represents a deformed state of the gingiva when the stabilizer is not applied, and 1900B represents a deformed state of the gingiva when the stabilizer is applied. In Example 1900A in which the stabilizer is not employed, it can be seen that the displaced portion, that is, the side wall portion of the gingiva and the bottom portion of the gingiva far from the tooth rigid body are severely distorted. However, in Example 1900B employing the stabilizer, it can be seen that the distortion is significantly suppressed and expressed at the side wall portion of the gingiva and the bottom portion of the gingiva.

위와 같은 스태빌라이저의 도움으로 치은 베이스를 고정하는 효과를 얻을 수 있지만 이로 인해 치은의 측벽 (side wall) 부분이 여전히 기울어지거나 뒤틀리는 현상이 발생할 수 있다. 이는 RBFs 보간법/근사법 (interpolation/approximation)의 특성상 변형을 정의하기 위한 기지수(knowns)에 변위만 부여 가능하기 때문인데, 슬라이딩 (sliding), 로테이팅 (rotating) 등의 다양한 구속 조건을 적용할 수 없으므로, RBF 만으로는 특정 영역을 슬라이딩 (sliding)만 시킨다거나 하기 어렵다. 따라서, 치은 베이스 부분의 높이를 유지함으로써 수직 방향으로의 변형은 억제하고 수평 방향으로의 변형만 허용하기 위해 베이스 픽싱 (base fixing)을 이용할 수 있다. Although the gingival base can be fixed with the help of the above stabilizer, the side wall of the gingiva may still be tilted or twisted. This is because, due to the nature of RBFs interpolation/approximation, only displacements can be assigned to knowns to define deformation, and various constraint conditions such as sliding and rotating can be applied. Since there is no RBF, it is difficult to perform only sliding in a specific area. Thus, by maintaining the height of the gingival base portion, base fixing can be used to suppress deformation in the vertical direction and allow only deformation in the horizontal direction.

도 20은 일 실시예에 따라 콘트롤 팩터로서 베이스 픽싱을 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다. 20 is a flowchart of a method of obtaining a final gingival model using base fixing as a control factor according to an embodiment.

도 20을 참조하면, 동작 2010에서, 데이터 처리 장치 100는 삼차원 구강 모델의 공간에 복수의 조정점들(control points)을 배치할 수 있다. Referring to FIG. 20 , in operation 2010, the data processing device 100 may arrange a plurality of control points in the space of the 3D oral model.

동작 2020에서 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치할 수 있다. In operation 2020, the data processing device 100 may arrange one or more stabilizers in a space surrounding the 3D oral cavity model.

동작 2030에서, 데이터 처리 장치 100는 치아의 이동을 나타내는 하나 이상의 변위에 따라 복수의 조정점들의 이동량을 결정할 수 있다. In operation 2030, the data processing device 100 may determine movement amounts of a plurality of adjustment points according to one or more displacements representing movement of teeth.

동작 2040에서, 데이터 처리 장치 100는 복수의 조정점들의 이동량에 따라 결정된 치은의 이동량을 반영하여 치은 모델을 변형할 수 있다. In operation 2040, the data processing device 100 may modify the gingiva model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of adjustment points.

동작 2050에서, 데이터 처리 장치 100는 치은의 이동량 중 적어도 일부를 베이스 픽싱함으로써 치은의 바닥 영역의 왜곡을 억제할 수 있다. In operation 2050, the data processing device 100 may suppress distortion of the bottom region of the gingiva by base-fixing at least a portion of the movement amount of the gingiva.

도 20에 도시된 동작 흐름도에서는 동작 2020에서 콘트롤 팩터로서 스태빌라이저를 채용하고, 또한 동작 2050에서 콘트롤 팩터로서 베이스 픽싱을 적용한 것으로 도시되어 있다. 그러나 반드시 이러한 실시예에 한정되는 것은 아니다. 베이스 픽싱 콘트롤 팩터가 스태빌라이저 콘트롤 팩터 만으로 부족한 부분을 채워주기 위해 더 채용된 것은 맞지만, 반드시 스태빌라이저와 콘트롤 팩터가 함께 채용되어야 하는 것은 아니고, 스태빌라이저 없이 베이스 픽싱 단독으로 채용하여도 일정한 효과를 얻을 수 있음을 물론이다. In the operation flow chart shown in FIG. 20 , a stabilizer is employed as a control factor in operation 2020 and base fixing is applied as a control factor in operation 2050 . However, it is not necessarily limited to these embodiments. It is true that the base fixing control factor is more employed to fill in the missing parts only with the stabilizer control factor, but it is not necessarily that the stabilizer and the control factor are employed together, and that a certain effect can be obtained even if the base fixing alone is employed without a stabilizer. Of course.

도 21은 일 실시예에 따라 베이스 픽싱을 설명하기 위한 참고도이다. 21 is a reference diagram for describing base fixing according to an exemplary embodiment.

도 21을 참조하면, 치아의 변위에 따라 대응하는 변형이 적용된 치은 모델 2100은 치은 영역을 표현하기 위한 복수의 정점들로 구성될 수 있다. Referring to FIG. 21 , a gingival model 2100 to which a deformation corresponding to a tooth displacement is applied may be composed of a plurality of vertices to represent a gingival region.

일 실시예에 따라 치은 바닥의 높이를 치은 영역의 어느 부분에서나 일정하게 유지하기 위해서 치은 영역을 구성하는 정점들을 치아의 변위를 반영하여 이동시킬 때, 데이터 처리 장치 100는 치은의 높이에 해당하는 축, 예를 들어 Y 축으로는 이동이 없도록 변위를 제어하고 X 축상으로는 변위를 그대로 반영할 수 있다. Y 축은 치아의 오클루절 방향 축이 될 수 있고, X 축은 이 Y 축에 수직인 방향 축이 될 수 있다. 예를 들어, 치은 영역의 어떤 정점의 변위가 (x변위, y변위)=(3,3) 이라면, 베이스 픽싱한다는 의미는 이 정점의 변위에서 y 변위가 나타나지 않도록 (x변위, y변위)=(3,0) 으로 만든다는 것을 의미한다. According to an embodiment, when moving vertices constituting the gingival region by reflecting tooth displacement in order to keep the height of the gingival floor constant in any part of the gingival region, the data processing device 100 uses an axis corresponding to the height of the gingiva. , For example, the displacement can be controlled so that there is no movement along the Y axis, and the displacement can be reflected on the X axis as it is. The Y-axis may be an axis in the occlusion direction of the tooth, and the X-axis may be a direction axis perpendicular to the Y-axis. For example, if the displacement of a certain vertex in the gingival region is (x displacement, y displacement)=(3,3), base fixing means that y displacement does not appear in the displacement of this vertex (x displacement, y displacement)= It means to make it (3,0).

일 실시예에 따라 데이터 처리 장치 100는 치은의 바닥 쪽으로 갈수록 y 변위 반영 정도를 감소시키고 치은의 위쪽 즉, 치아쪽으로 갈수록 y 변위 반영 정도를 증가시킬 수 있다. 예를 들어, 데이터 처리 장치 100는 치은의 위쪽에서는 y 변위를 그대로 반영하고 치은의 바닥쪽에서는 y변위를 반영 정도를 감소시킬 수 있다. 이와 같이 하면, 치은의 위쪽에서는 치은 영역의 정점들이 y 축 방향으로 이동하지만 치은의 바닥쪽에서는 치은 영역의 정점들이 x 축 방향으로만 이동하고 y 축방향으로는 이동하지 않게 함으로써 치은 바닥의 가장자리가 들쭉 날쭉하게 되는 것을 방지할 수 있다. According to an embodiment, the data processing device 100 may decrease the degree of y-displacement reflection toward the bottom of the gingiva and increase the degree of reflection of y-displacement toward the upper part of the gingiva, that is, toward the teeth. For example, the data processing device 100 may reflect the y-displacement as it is in the upper part of the gingiva and reduce the degree of reflection of the y-displacement in the lower part of the gingiva. In this way, at the top of the gingiva, the vertices of the gingival region move in the y-axis direction, but at the bottom of the gingiva, the vertices of the gingival region move only in the x-axis direction and do not move in the y-axis direction, so that the edge of the gingival floor It can prevent it from becoming jagged.

일 실시예에 따라 데이터 처리 장치 100는 이와 같은 베이스 픽싱을 적용할 때 치은 영역의 정점의 이동을 자연스럽게 하기 위해 치은 영역에 포함된 정점들에 대해서 정점 y좌표에 따라서 서로 다른 y 변위 반영 정도를 결정하기 위해 적절한 보간 함수, 예를 들어, 직선, 삼각함수 또는 베지어 곡선(Bιzier curve) 등과 같은 스플라인 곡선(spline curve)을 적용할 수 있다.According to an embodiment, the data processing device 100 determines different y-displacement reflection degrees for vertices included in the gingival region according to the y-coordinates of the vertices in order to naturally move the vertices of the gingival region when base fixing is applied. To do this, an appropriate interpolation function, for example, a straight line, a trigonometric function, or a spline curve such as a Bιzier curve may be applied.

도 22는 개시된 실시예에 따른 베이스 픽싱을 적용한 예와 적용하지 않은 예의 차이를 보여주기 위한 참고도이다. 22 is a reference diagram illustrating a difference between an example in which base fixing is applied and an example in which base fixing is not applied according to the disclosed embodiment.

도 22를 참조하면, 2200A는 콘트롤 팩터로서 베이스 픽싱을 적용하지 않은 경우의 치은 변형 상태를 나타내고 2200B는 베이스 픽싱을 적용한 경우의 치은 변형 상태를 나타낸다. 베이스 픽싱을 채용하지 않은 예 2200A에서는, 치은의 바닥 부분이 울퉁불퉁하게 왜곡된 것을 볼 수 있다. 그러나 베이스 픽싱을 채용한 예 2200B에서는 울퉁불퉁한 치은의 바닥 부분이 상당히 억제되어 표현된 것을 볼 수 있다. Referring to FIG. 22 , 2200A represents a gingival deformation state when base fixing is not applied as a control factor, and 2200B represents a gingival deformation state when base fixing is applied. In Example 2200A, which does not employ base fixing, it can be seen that the bottom portion of the gingiva is distorted unevenly. However, in Example 2200B employing base fixing, it can be seen that the rugged bottom portion of the gingiva is significantly suppressed and expressed.

한편, 치아가 심하게 돌아갔을 때 이를 교정하는 과정에서 치은이 과도하게 함몰되어 가상 치근이 겉으로 드러나는 경우가 종종 있다. 가상 치근은 도 9를 참조하여 설명한 바와 같이 치아, 즉 치아의 크라운 부분에 가상의 치근을 생성하여 만든 것을 말한다. 인접한 두 치아가 교정 과정에서 회전할 때 보통 서로 상충되는 변위를 만들어내므로 그 주위의 변형이 불안정해져서 나타나는 현상인데, 치아의 강체 이동 성분 중 오클루절 방향(occlusal direction)을 축으로 하는 회전 변환 성분만을 감소시키면 이처럼 불안정한 거동이 개선될 수 있다. 이러한 콘트롤 팩터를 각 변위 억제기 (angular displacement reducer) 로 언급될 수 있다. On the other hand, in the process of correcting severely rotated teeth, the gingiva is excessively recessed and the virtual tooth roots are often exposed. As described with reference to FIG. 9 , the virtual tooth root refers to a tooth, that is, a tooth made by creating a virtual tooth root on the crown portion of the tooth. When two adjacent teeth rotate during the orthodontic process, they usually create displacements that conflict with each other, so the deformation around them becomes unstable. Rotational transformation with the axis of the occlusal direction among the rigid body movement components of the teeth Reducing only the components can improve this unstable behavior. This control factor may be referred to as an angular displacement reducer.

각 변위 억제기는 치아모델에서 샘플링 된 좌표쌍들로부터 계산되는 변위에 회전변환 성분을 제거하거나 감소시키는 것을 말한다. 스캔 모델에서 치아의 강체 이동 성분 중 오클루절 방향을 축으로 하는 회전 각도만을 감소시킨다. 치아가 많이 회전한다고 해서 치은도 치아만큼 회전하지는 않기 때문에, 오클루절 방향을 축으로 하는 치은의 회전량을 감소시킴으로써(예를 들어, 50%이하로 줄임), 치은이 함몰되는 현상을 방지할 수 있다.Each displacement suppressor refers to removing or reducing rotational transformation components in the displacement calculated from coordinate pairs sampled from the tooth model. Among the rigid movement components of the tooth in the scan model, only the rotation angle with the occlusion direction as an axis is reduced. Since the gingiva does not rotate as much as the teeth even if the teeth rotate a lot, it is possible to prevent the gingiva from sinking by reducing the amount of rotation of the gingiva around the occlusion direction (for example, by reducing it to 50% or less). can

일 실시예에 따라 각 변위 억제기는 오클루절 방향 축을 기준으로 하는 치은의 회전량 뿐만 아니라 Distal-Mesial 방향 축 또는 Buccal-Lingual 방향 축을 기준으로 하는 치은의 회전량도 제어할 수 있다. According to an embodiment, each displacement suppressor may control not only the amount of rotation of the gingiva based on an occlusion direction axis but also the amount of rotation of the gingiva based on a Distal-Mesial direction axis or a Buccal-Lingual direction axis.

도 23은 일 실시예에 따라 콘트롤 팩터로서 각 변위 억제기를 이용하여 최종 치은 모델을 획득하는 방법의 흐름도이다. 23 is a flowchart of a method of obtaining a final gingival model using each displacement suppressor as a control factor according to one embodiment.

도 23을 참조하면, 동작 2310에서, 데이터 처리 장치 100는 삼차원 구강 모델의 공간에 복수의 조정점들(control points)을 배치할 수 있다. Referring to FIG. 23 , in operation 2310, the data processing device 100 may arrange a plurality of control points in the space of the 3D oral model.

동작 2320에서 데이터 처리 장치 100는 삼차원 구강 모델을 둘러싸는 공간상에 하나 이상의 스태빌라이저를 배치할 수 있다. In operation 2320, the data processing device 100 may arrange one or more stabilizers in a space surrounding the 3D oral cavity model.

동작 2330에서, 데이터 처리 장치 100는 치아의 이동을 나타내는 하나 이상의 변위에서 회전 변환 성분을 조정할 수 있다.In operation 2330, the data processing device 100 may adjust the rotation transformation component at one or more displacements representing the movement of the teeth.

일 실시예에 따라 데이터 처리 장치 100는 치아의 이동을 나타내는 변위에서 회전 변환 성분을 조정할 때 어느 정도 조정할지를 다양하게 결정할 수 있다. 예를 들어, 회전 변환 성분의 20% 감소, 50% 감소, 70% 감소 등과 같이 감소되는 회전량을 적절하게 제어할 수 있다. According to an embodiment, the data processing device 100 may variously determine how much to adjust when adjusting the rotation conversion component in the displacement representing the movement of the tooth. For example, the reduced amount of rotation can be appropriately controlled, such as 20% reduction, 50% reduction, 70% reduction, etc. of the rotation conversion component.

도 24를 참조하여 치아의 이동을 나타내는 변위에서 회전 변환 성분을 제어하는 방법을 설명한다. Referring to FIG. 24, a method of controlling a rotation conversion component in a displacement representing a movement of a tooth will be described.

도 24는 일 실시예에 따라 데이터 처리 장치 100가 치아의 이동을 나타내는 변위에서 회전 변환 성분을 제어하는 방법을 설명하기 위한 참고도이다. FIG. 24 is a reference diagram for explaining a method of controlling a rotation conversion component in a displacement representing a movement of a tooth by the data processing apparatus 100 according to an exemplary embodiment.

도 24를 참조하면, 치아의 국소 좌표계 상에서의 좌표

로 표현되는 치아 모델은 아래와 같은 4x4 동차행렬(homogeneous matrix)

와

에 의해 이동 전의 치아 형상 (

), 이동 후의 치아 형상 (

)을 나타낼 수 있다. Referring to Figure 24, the coordinates on the local coordinate system of the tooth

The tooth model represented by is a 4x4 homogeneous matrix as shown below

and

Tooth shape before movement by

), tooth shape after movement (

) can be expressed.

두 동차변환행렬 간 증분

를

라 할 때 이동 전 치아 형상과 이동 후의 치아 형상 간 관계는 아래의 식으로 표현될 수 있다.Increment between two homogeneous transformation matrices

cast

la do The relationship between the tooth shape before movement and the tooth shape after movement can be expressed by the following equation.

증분 동차행렬

를

,

의 Y 방향 기저벡터(base vector)인

및

에 평행한 평면 상의 회전만으로 단순화하고자 한다면,

의 회전변환을 담당하는 좌상단 3x3 행렬 성분을 국소 좌표계 상에서의 z축을 기준으로

라디안(radian) (또는 감소 계수

가 적용된

라디안 ) 회전시키는 3x3 변환행렬인

및

의 조합으로 치환하는 방식으로 얻어낸

를

대신 사용함으로써 회전량이 적절하게 감소된

를 계산할 수 있다. incremental homogeneous matrix

cast

,

is the Y-direction base vector of

and

If you want to simplify it to only a rotation on a plane parallel to

The upper left 3x3 matrix component responsible for the rotation transformation of is based on the z axis on the local coordinate system

radians (or reduction factor

applied

radians) is a 3x3 transformation matrix that rotates

and

Obtained by substituting a combination of

cast

Instead, the amount of rotation is reduced appropriately by using

can be calculated.

다시 도 23으로 돌아가면, 동작 2340에서, 데이터 처리 장치 100는 회전 변환 성분이 조정된 하나 이상의 변위에 따라 복수의 조정점들의 이동량을 결정할 수 있다. Returning to FIG. 23 again, in operation 2340, the data processing device 100 may determine movement amounts of a plurality of adjustment points according to one or more displacements by which rotation conversion components are adjusted.

동작 2350에서, 데이터 처리 장치 100는 복수의 조정점들의 이동량에 따라 결정된 치은의 이동량을 반영하여 치은 모델을 변형할 수 있다. In operation 2350, the data processing device 100 may modify the gingiva model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of adjustment points.

도 23에 도시된 동작 흐름도에서는 동작 2020에서 콘트롤 팩터로서 베이스 픽싱을 적용한 동작은 도시되어 있지 않다. 그러나 반드시 이러한 실시예에 한정되는 것은 아니다. 도 23에 도시된 동작 예에 콘트롤 팩터로서 베이스 픽싱을 이용하는 동작을 더 추가할 수 있음은 물론이다. In the operation flowchart shown in FIG. 23 , an operation in which base fixing is applied as a control factor in operation 2020 is not shown. However, it is not necessarily limited to these embodiments. Of course, an operation using base fixing as a control factor may be further added to the operation example shown in FIG. 23 .

이상 도 2 내지 도 24에서 설명된 예에서는 주로 하악을 중심으로 설명되었지만, 본 개시서에 개시된 실시예들은 상악에 대해서도 동일하게 적용될 수 있음은 물론이다. In the examples described above with reference to FIGS. 2 to 24 , the mandible has been mainly described, but the embodiments disclosed in this disclosure can be equally applied to the maxilla as well.

따라서, 일 실시예에 따라 데이터 처리 장치 100는 상악 및 하악 모두에 대해서 앞서 설명된 바와 같은 방법을 이용함으로써, 상악의 치아의 이동에 따라 상악 치은의 변형을 자연스럽게 모델링하고 하악의 치아의 이동에 따라 하악 치은의 변형을 자연스럽게 모델링할 수 있다. Therefore, according to an embodiment, the data processing device 100 naturally models the deformation of the upper gingiva according to the movement of the teeth of the upper jaw by using the method described above for both the upper jaw and the lower jaw, and according to the movement of the teeth of the lower jaw. The deformation of the lower gingiva can be modeled naturally.

이상에서는 치아의 이동에 따라 치은의 변형을 자연스럽게 보여주기 위한 다양한 실시예들에 대해 설명하였다. 환자의 치아의 이동에 따른 치은의 변형 뿐만 아니라 전체적인 얼굴 윤곽의 변형 등도 보여줄 수 있다. 따라서, 이상 설명된 바와 같은 치은 변형 방법은 얼굴 변형 방법에도 적용될 수 있다. In the above, various embodiments have been described for naturally showing deformation of the gingiva according to the movement of the teeth. Not only the deformation of the gingiva according to the movement of the patient's teeth, but also the deformation of the overall facial contour can be shown. Therefore, the gingival deformation method as described above can also be applied to the facial deformation method.

도 25는 일 실시예에 따라 치아의 이동에 따라 얼굴의 변형을 자연스럽게 보여주기 위한 방법을 설명하기 위한 참고도이다. 25 is a reference diagram for explaining a method for naturally showing facial deformation according to tooth movement according to an embodiment.

도 25를 참조하면, 데이터 처리 장치 100는 치아의 이동에 따라 얼굴 변형 수행시에 과도한 변형을 억제하기 위해 하나 이상의 콘트롤 팩터를 적용할 수 있다. Referring to FIG. 25 , the data processing device 100 may apply one or more control factors to suppress excessive deformation when face deformation is performed according to tooth movement.

데이터 처리 장치 100는 치아가 보이는 상태의 얼굴을 스캔함으로써 획득한 얼굴 로우 데이터를 스캔 장치 50로부터 수신하고, 얼굴 로우 데이터를 가공함으로써 얼굴 모델 2400을 생성할 수 있다. The data processing device 100 may generate the face model 2400 by receiving face raw data obtained by scanning a face with visible teeth from the scanning device 50 and processing the face raw data.

일 실시예에 따라 데이터 처리 장치 100는 치아의 이동에 따라 얼굴의 입 주변 부위를 변형하기 위해 하나 이상의 조정점을 치아 모델과 치은 모델을 포함하는 삼차원 구강 모델에 배치할 수 있다. According to an embodiment, the data processing device 100 may arrange one or more adjustment points in a 3D oral model including a tooth model and a gingiva model in order to deform a region around the mouth of the face according to the movement of the teeth.

일 실시예에 따라 데이터 처리 장치 100는 치아 모델과 치은 모델을 포함하는 구강 모델을 둘러싸는 입체도형의 각 꼭지점마다 조정점을 배치하여 총 8개의 조정점, CP1-CP8을 배치할 수 있다. 이때 치아 모델은 하악과 상악을 포함하는 치아 모델을 나타낼 수 있다. According to an embodiment, the data processing device 100 may arrange a total of eight adjustment points CP1 to CP8 by arranging adjustment points for each vertex of a three-dimensional figure surrounding an oral cavity model including a tooth model and a gingival model. In this case, the tooth model may represent a tooth model including the lower jaw and the upper jaw.

일 실시예에 따라 데이터 처리 장치 100는 각 치아 마다 1개 씩의 조정점을 배치할 수 있다. 데이터 처리 장치 100는 상악 치아별로 한 개씩, 하악 치아별로 한 개씩 조정점을 배치할 수 있다. 물론 각 치아 마다 한 개의 조정점을 배치하는 것은 예시적인 것이므로 한 개 이상의 조정점이 배치될 수도 있고, 또한 어떤 경우에는 모든 치아에 조정점이 배치되는 것이 아니라 어떤 치아에는 조정점이 배치되지 않게 할 수도 있다. 각 치아에 배치되는 조정점의 위치는 다양하게 결정될 수 있지만, 예를 들어 도 15에서 설명된 바와 같이 치은과 치아가 만나는 위치인 CP10-3에 배열될 수 있다. According to an embodiment, the data processing device 100 may arrange one adjustment point for each tooth. The data processing device 100 may arrange one adjustment point for each upper jaw tooth and one adjustment point for each lower jaw tooth. Of course, since arranging one adjustment point for each tooth is exemplary, more than one adjustment point may be disposed, and in some cases, adjustment points may not be disposed for a certain tooth rather than all teeth. The position of the adjustment point disposed on each tooth may be determined in various ways, but, for example, as described in FIG. 15 , it may be arranged at CP10-3, which is a position where the gingiva and the tooth meet.

일 실시예에 따라 데이터 처리 장치 100는 얼굴 전체에 변형을 억제할 수 있도록 얼굴 스캔모델을 둘러싸는 삼차원 공간에 제1스태빌라이저 그룹을 배치할 수 있다. 이러한 제1스태빌라이저는 도 18을 참조하여 설명한 바와 같이, 얼굴 모델을 둘러싸는 삼차원 공간에 격자 형태로 복수의 제1스태빌라이저를 배치할 수 있다. According to an embodiment, the data processing device 100 may arrange the first stabilizer group in a three-dimensional space surrounding the face scan model so as to suppress deformation of the entire face. As described above with reference to FIG. 18, the first stabilizer may be disposed in a lattice form in a three-dimensional space surrounding the face model.

일 실시예에 따라 데이터 처리 장치 100는 입 주변이 조정점에 의해서 변형될 때, 코와 턱과 같은 입 주변 부위가 변형되는 것을 방지하기 위해서, 턱과 코의 경계에 제2스태빌라이저 그룹을 배치할 수 있다. 제2스태빌라이저 그룹에 포함된 제2스태빌라이저들의 간격은 제1스태빌라이저 그룹에 포함된 제1스태빌라이저들의 간격 보다 좁은 간격을 가질 수 있다. According to an embodiment, the data processing device 100 may dispose the second stabilizer group at the boundary between the chin and the nose to prevent the area around the mouth, such as the nose and chin, from being deformed when the area around the mouth is deformed by the adjustment point. can An interval between the second stabilizers included in the second stabilizer group may have a narrower interval than an interval between the first stabilizers included in the first stabilizer group.

일 실시예에 따라 데이터 처리 장치 100는 앞서 설명된 바와 같이 치아의 이동에 따라 치은이 변형된 최종 삼차원 구강 모델을 디스플레이에 표시할 수 있다. According to an embodiment, the data processing device 100 may display the final 3D oral model in which the gingiva is deformed according to the movement of the teeth on the display as described above.

도 26은 일 실시예에 따라 최종 삼차원 구강 모델이 표시된 그래픽 유저 인터페이스의 일 예를 나타낸다. 26 illustrates an example of a graphical user interface displaying a final 3D oral model according to an embodiment.

일 실시예에 따라 데이터 처리 장치 100는 초기 삼차원 구강 모델 및/또는 최종 삼차원 구강 모델을 표시할 수 있는 그래픽 유저 인터페이스를 제공할 수 있다. 예를 들어, 초기 삼차원 구강 모델은 환자의 교정 전 치아 상태를 나타낼 수 있고, 최종 삼차원 구강 모델은 환자의 교정 후 예측되는 치아 상태를 나타낼 수 있다. 이와 같이 환자에게 교정 전 치아 상태와 교정 후 예측되는 치아 상태를 보여줌으로써 환자에게 교정 치료에 의해 자신의 치아 상태가 얼마나 달라질 수 있는지를 예상하게 할 수 있다. According to an embodiment, the data processing device 100 may provide a graphic user interface capable of displaying an initial 3D oral cavity model and/or a final 3D oral cavity model. For example, the initial 3D oral cavity model may represent the dental condition of the patient before orthodontic treatment, and the final 3D oral oral model may represent the predicted dental state of the patient after orthodontic treatment. In this way, by showing the patient the dental state before orthodontic treatment and the predicted dental state after orthodontic treatment, the patient can be made to predict how much the patient's dental state can be changed by orthodontic treatment.

일 실시예에 따라 데이터 처리 장치 100는 환자의 교정 전 치아 상태와 교정 후 예상되는 치아 상태를 표시하기 위한 메뉴를 제공할 수 있고, 이와 같은 메뉴를 선택하는 사용자 입력에 따라 데이터 처리 장치 100는 도 26에 도시된 바와 같이 교정 전 치아 상태와 교정 후 예상되는 치아 상태를 보여주는 그래픽 유저 인터페이스를 표시할 수 있다. According to an embodiment, the data processing device 100 may provide a menu for displaying the patient's tooth condition before correction and the expected tooth condition after correction, and the data processing device 100 according to a user input for selecting such a menu As shown in 26 , a graphic user interface showing a tooth state before correction and an expected tooth state after correction may be displayed.

도 26을 참조하면, 그래픽 유저 인터페이스 2600에서 교정 전 치아 상태 2610는 환자의 치아 교정 전 치아를 스캔하여 획득된 삼차원 가상 모델을 나타낼 수 있다. Referring to FIG. 26 , in the graphic user interface 2600, a pre-correction tooth state 2610 may represent a 3D virtual model obtained by scanning the patient's pre-orthodontic teeth.

그래픽 유저 인터페이스 2600에서 교정 후 치아 상태 2620는 환자의 치아 교정 후 예상되는 치아 모델 2621 및 치아 교정에 따른 치아 이동에 의해 치은이 변형된 치은 모델 2622를 포함할 수 있다. 이때 치아 이동 정보를 치은 변형에 그대로 반영하게 되면 변형된 치은의 형상이 과도하게 왜곡되어 보일 수 있으므로 본 개시서에 개시된 바와 같이 하나 이상의 콘트롤 팩터를 이용하여 치은의 과도한 변형을 억제함으로써 자연스럽게 변형된 치은 모델 2622를 표시함으로써, 환자에게 보다 편안한 교정 후 치아 상태를 보여줄 수 있다. In the graphic user interface 2600, the post-correction tooth state 2620 may include a tooth model 2621 expected after orthodontic treatment of the patient and a gingiva model 2622 in which the gingiva is deformed by tooth movement according to orthodontic treatment. At this time, if the tooth movement information is reflected in the gingival deformation as it is, the shape of the deformed gingiva may look excessively distorted, so as disclosed in the present disclosure, the naturally deformed gingiva is suppressed from excessive deformation of the gingiva using one or more control factors. By displaying the model 2622, it is possible to show the patient a more comfortable dental condition after orthodontic treatment.

치아 교정 치료를 받는 환자는 치아 교정에 의해 자신의 치아가 어떻게 변화될 지 알고 싶을 뿐만 아니라 더 나아가 치아 교정 후에 자신의 얼굴이 어떻게 보일 지 알고 싶을 수 있다. 이를 위해 일 실시예에 따라 데이터 처리 장치 100는 앞서 설명된 바와 같이 치아의 이동에 따라 얼굴이 변형된 최종 삼차원 얼굴 모델을 디스플레이에 표시할 수 있다. Patients undergoing orthodontic treatment may want to know how their teeth will be changed by orthodontic treatment, and furthermore, they may want to know how their face will look after orthodontic treatment. To this end, according to an embodiment, the data processing device 100 may display the final 3D face model in which the face is deformed according to the movement of the teeth on the display as described above.

도 27은 일 실시예에 따라 최종 삼차원 얼굴 모델이 표시된 그래픽 유저 인터페이스의 일 예를 나타낸다. 27 illustrates an example of a graphic user interface displaying a final 3D face model according to an embodiment.

일 실시예에 따라 데이터 처리 장치 100는 초기 삼차원 얼굴 모델 및/또는 최종 삼차원 얼굴 모델을 표시할 수 있는 그래픽 유저 인터페이스를 제공할 수 있다. 예를 들어, 초기 삼차원 얼굴 모델은 환자의 교정 전 얼굴 상태를 나타낼 수 있고, 최종 삼차원 얼굴 모델은 환자의 교정 후 예측되는 얼굴 상태를 나타낼 수 있다. 이와 같이 환자에게 교정 전 얼굴 상태와 교정 후 예측되는 얼굴 상태를 보여줌으로써 환자에게 교정 치료에 의해 자신의 얼굴이 얼마나 달라질 수 있는지를 예상하게 할 수 있다. 특히, 치아가 돌출되어 교정 치료를 하는 환자의 경우에는 돌출 치아 교정에 의해 얼굴에서 입 주변의 윤곽이 현저히 달라질 수 있기 때문에 이와 같이 교정 후 예측되는 얼굴 상태를 제공하는 것이 중요할 수 있다. According to an embodiment, the data processing device 100 may provide a graphic user interface capable of displaying an initial 3D face model and/or a final 3D face model. For example, the initial 3D face model may represent a facial state of the patient before correction, and the final 3D face model may represent a predicted facial state of the patient after correction. In this way, by showing the patient a face state before correction and a predicted face state after correction, the patient can predict how much his or her face will be changed by the orthodontic treatment. In particular, in the case of a patient who undergoes orthodontic treatment due to protruding teeth, it may be important to provide a predicted facial condition after orthodontic treatment because the outline around the mouth may be significantly different from the face due to protruding teeth correction.

일 실시예에 따라 데이터 처리 장치 100는 환자의 교정 전 얼굴 상태와 교정 후 예상되는 얼굴 상태를 표시하기 위한 메뉴를 제공할 수 있고, 이와 같은 메뉴를 선택하는 사용자 입력에 따라 데이터 처리 장치 100는 도 27에 도시된 바와 같이 교정 전 얼굴 상태와 교정 후 예상되는 얼굴 상태를 보여주는 그래픽 유저 인터페이스를 표시할 수 있다. According to an embodiment, the data processing device 100 may provide a menu for displaying a facial state before correction and an expected facial state after correction of the patient, and according to a user input selecting such a menu, the data processing device 100 may perform drawing. As shown in 27 , a graphic user interface showing a face state before correction and an expected face state after correction may be displayed.

도 27을 참조하면, 그래픽 유저 인터페이스 2700에서 교정 전 얼굴 상태 2710는 환자의 치아 교정 전 얼굴을 스캔하여 획득된 삼차원 가상 모델을 나타낼 수 있다. Referring to FIG. 27 , in the graphic user interface 2700, a facial state 2710 before orthodontic treatment may represent a 3D virtual model obtained by scanning a patient's face before orthodontic treatment.

그래픽 유저 인터페이스 2700에서 교정 후 얼굴 상태 2720는 환자의 치아 교정 후 예상되는 치아 모델 2721 및 치아 교정에 따른 치아 이동에 의해 얼굴이 변형된 얼굴 모델 2722를 포함할 수 있다. 이때 치아 이동 정보를 얼굴 변형에 그대로 반영하게 되면 변형된 얼굴의 형상이 과도하게 왜곡되어 보일 수 있으므로 본 개시서에 개시된 바와 같이 하나 이상의 콘트롤 팩터를 이용하여 얼굴의 과도한 변형을 억제함으로써 자연스럽게 변형된 얼굴 모델 2722를 표시함으로써, 환자에게 보다 편안하고 신뢰성 있는 교정 후 얼굴 상태를 보여줄 수 있다. In the graphic user interface 2700, the post-correction face state 2720 may include a tooth model 2721 expected after orthodontic treatment of the patient and a face model 2722 whose face is deformed by tooth movement according to orthodontic treatment. At this time, if the tooth movement information is reflected in the face deformation as it is, the shape of the deformed face may look excessively distorted, so as disclosed in the present disclosure, the face is naturally deformed by suppressing excessive deformation of the face using one or more control factors. By displaying the model 2722, it is possible to show the patient a more comfortable and reliable facial condition after correction.

본 개시의 일 실시예에 따른 구강 이미지의 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 구강 이미지의 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다. The oral cavity image processing method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. In addition, an embodiment of the present disclosure may be a computer-readable storage medium in which one or more programs including at least one instruction for executing a method of processing an oral cavity image are recorded.

상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. The computer readable storage medium may include program instructions, data files, data structures, etc. alone or in combination. Here, examples of computer-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, floptical disks and Hardware devices configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like, may be included.

여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Here, the device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' may mean that the storage medium is a tangible device. Also, the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 구강 이미지의 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시예에 따른 컴퓨터 프로그램 제품은 개시된 실시예에 따른 구강 이미지의 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다. According to one embodiment, the oral cavity image processing method according to various embodiments disclosed in this document may be included in a computer program product and provided. A computer program product may be distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)). Alternatively, it may be distributed (eg, downloaded or uploaded) online through an application store (eg, play store, etc.) or directly between two user devices (eg, smartphones). Specifically, the computer program product according to the disclosed embodiment may include a storage medium on which a program including at least one instruction is recorded to perform the oral cavity image processing method according to the disclosed embodiment.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also within the scope of the present invention. belongs to

Claims

In the method of processing a three-dimensional oral model by a three-dimensional oral model processing device,
Obtaining a tooth model and a gingival model from the three-dimensional oral model by a processor of the three-dimensional oral model processing device;
Deforming, by the processor of the 3D oral model processing device, a gingiva model by reflecting a movement amount of the gingiva according to a displacement indicating movement of one or more teeth included in the tooth model;
Obtaining a final gingival model by suppressing at least a part of the displacement representing the movement of the tooth from being reflected in the movement amount of the gingiva using one or more control factors by the processor of the 3D oral model processing device; and
By the processor of the 3D oral model processing device, processing the 3D oral model, including an operation of displaying the obtained final gingival model together with a final tooth model in which movement of one or more teeth included in the tooth model is expressed on a display method.

According to claim 1,
The amount of horizontal movement of the gingiva included in the final gingiva model is less than or equal to a displacement value representing the horizontal movement of the one or more teeth.

According to claim 1,
The rotational movement amount of the gingiva included in the final gingival model is less than or equal to a displacement value representing the rotational movement of the one or more teeth.

According to claim 1,
The operation of deforming the gingival model by the processor of the three-dimensional oral model processing device,
Arranging a plurality of adjustment points in the space of the three-dimensional oral model by the processor of the three-dimensional oral model processing device;
An operation of determining, by a processor of the 3D oral model processing device, a movement amount of the plurality of adjustment points according to a displacement indicating movement of the one or more teeth; and
and deforming the gingival model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of adjustment points by a processor of the 3D oral cavity model processing device.

According to claim 4,
The operation of arranging a plurality of adjustment points in the space of the three-dimensional oral model by the processor of the three-dimensional oral model processing device,
and arranging, by the processor of the 3D oral model processing device, different densities of the adjustment points according to the displacement representing the movement of the teeth.

According to claim 5,
The operation of arranging a plurality of adjustment points in the space of the three-dimensional oral model by the processor of the three-dimensional oral model processing device,
and arranging one or more adjustment points on at least a portion of a plane of a three-dimensional figure surrounding the three-dimensional oral model by a processor of the three-dimensional oral model processing device.

According to claim 4,
The operation of arranging a plurality of adjustment points in the space of the three-dimensional oral model by the processor of the three-dimensional oral model processing device,
A three-dimensional oral model processing method comprising an operation of arranging one or more adjustment points in series on a rotational axis of the tooth by a processor of the three-dimensional oral model processing device.

According to claim 4,
The operation of obtaining the final gingiva model using the control factor by the processor of the 3D oral model processing device,
By placing one or more stabilizers in the space surrounding the three-dimensional oral model by the processor of the three-dimensional oral model processing device, the three-dimensional oral model includes an operation of suppressing distortion of the space surrounding the three-dimensional oral model. processing method.

According to claim 8,
The three-dimensional oral model processing method, wherein the stabilizer represents a restraint with zero displacement.

According to claim 4,
The operation of obtaining the final gingiva model using the control factor by the processor of the 3D oral model processing device,
and suppressing distortion of the bottom region of the gingiva by base fixing at least a portion of the movement amount of the gingiva by a processor of the 3D oral model processing device.

According to claim 10,
The base fixing is performed by adjusting a displacement in an axis representing an occlude direction among movement amounts of the bottom region of the gingiva.

According to claim 4,
The operation of obtaining the final gingiva model using the control factor by the processor of the 3D oral model processing device,
and reducing, by a processor of the 3D oral model processing device, a rotation conversion component having an occlusion direction as an axis among displacements representing movement of the teeth.

According to claim 1,
Obtaining a tooth model and a gingival model from the three-dimensional oral model by the processor of the three-dimensional oral model processing device,
identifying a gingival region in the 3D oral model by a processor of the 3D oral model processing device; and
and obtaining the gingival model by generating a virtual gingival base at an edge of the identified gingival region by a processor of the 3D oral model processing device.

According to claim 1,
A three-dimensional oral model processing method in which an approximation technique is used to obtain the final gingiva model.

In the device for processing the three-dimensional oral model,
a memory that stores one or more instructions; and
a processor to execute one or more instructions stored in the memory;
By executing the one or more instructions, the processor:
Obtaining a tooth model and a gingival model from the three-dimensional oral model,
Transforming the gingiva model by reflecting the amount of movement of the gingiva according to the displacement representing the movement of one or more teeth included in the tooth model;
Obtaining a final gingival model by suppressing at least a portion of the displacement representing the movement of the tooth from being reflected in the movement amount of the gingiva using one or more control factors;
A three-dimensional oral model processing apparatus for displaying the obtained final gingival model together with a final tooth model in which movement of one or more teeth included in the tooth model is expressed on a display.

According to claim 15,
The horizontal movement amount of the gingiva is less than or equal to a displacement value representing the horizontal movement of the one or more teeth, the three-dimensional oral model processing device.

According to claim 15,
The rotational movement amount of the gingiva is less than or equal to a displacement value representing the rotational movement of the one or more teeth.

According to claim 15,
By executing the one or more instructions, the processor:
Arranging a plurality of adjustment points in the space of the three-dimensional oral model,
Determine the amount of movement of the plurality of control points according to the displacement representing the movement of the one or more teeth;
A three-dimensional oral model processing apparatus for deforming the gingiva model by reflecting the movement amount of the gingiva determined according to the movement amount of the plurality of control points.

According to claim 18,
By executing the one or more instructions, the processor:
An apparatus for processing a three-dimensional oral model, in which the densities of the adjustment points are arranged differently according to the displacement representing the movement of the teeth.

According to claim 18,
By executing the one or more instructions, the processor:
A three-dimensional oral model processing apparatus for suppressing distortion of the space surrounding the three-dimensional oral model by disposing one or more stabilizers in the space surrounding the three-dimensional oral model.