WO2016003258A1 - 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 - Google Patents

Abstract

본 발명은 교정을 위한 치과 시술에서 치아 이동 모의시술 결과에 따른 얼굴 변화를 반영하는 얼굴모델 생성 방법에 관한 것으로서, 더욱 상세하게는 2D 얼굴 사진 데이터와 두부 단층 이미지 데이터를 입력 데이터로 이용하고 3D CAD 모델 복원 기술 및 텍스쳐 매핑(Texture Mapping) 기술 또는 3D 얼굴표면 모델과 3D 컬러 스캐너(3D color scanner)의 결과물 데이터를 정합하는 기술을 이용함으로써, 실제 얼굴과 유사한 모델을 생성하는 것에 관한 기술이다. 즉, 치아 이동 시뮬레이션에 따른 얼굴형의 변화를 실시간으로 반영할 수 있는, 치과 시술 시뮬레이션을 위한 얼굴모델을 생성하는 방법을 제공하는 것에 관한 기술이다. 본 발명에 의하면, 3D CAD 모델 기반 프로세스를 제공하며, 3D 얼굴표면 모델 생성시 3D 두부영상에 포함된 얼굴표면을 구분하는 과정에서 콧구멍 안 빈공간에 포함되는 피부인 비강이나 부비동 등 불필요한 부분이 피부 표면으로 인식되는 문제를 해결함으로써 정밀하고 정확한 시뮬레이션을 수행할 수 있는 데이터를 제공하고, 단층 이미지 촬영(CT 등)과 얼굴 사진 촬영시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 텍스쳐 매핑의 오차를 해결할 수 있는 텍스쳐 매핑 기술을 제공하며, 복수 개의 이미지를 기반으로 가시성이 가장 좋은 이미지만을 이용하여 구성된 3D 얼굴모델을 제공하고, 3D 컬러 스캐너에 의한 결과값을 3D 얼굴표면 모델에 정합함으로써, 텍스쳐 매핑 과정에서 발생할 수 있는 오차 없이 심미적인 3D 얼굴모델을 제공하며, 치과 시술에 있어서 시뮬레이션을 수행하여 이를 실시간으로 반영할 수 있는 3D 얼굴모델을 제공하고, 의사의 진단 및 모의시술 결과 등에 의한 데이터를 3D 얼굴모델에 반영한 상태로 시뮬레이션을 수행할 수 있다.

Description

치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법

본 발명은 교정을 위한 치과 시술에서 치아 이동 모의시술 결과에 따른 얼굴 변화를 반영하는 얼굴모델 생성 방법에 관한 것으로서, 더욱 상세하게는 2D 얼굴 사진 데이터와 두부 단층 이미지 데이터를 입력 데이터로 이용하고 3D CAD 모델 복원 기술 및 텍스쳐 매핑(Texture Mapping) 기술 또는 3D 얼굴표면 모델과 3D 컬러 스캐너(3D color scanner)의 결과물 데이터를 정합하는 기술을 이용함으로써, 실제 얼굴과 유사한 모델을 생성하는 것에 관한 기술이다. 즉, 치아 이동 시뮬레이션에 따른 얼굴형의 변화를 실시간으로 반영할 수 있는, 치과 시술 시뮬레이션을 위한 얼굴모델을 생성하는 방법을 제공하는 것에 관한 기술이다.

의료 진료의 목적으로 사용되는 데이터들을 얻기 위해서는 디지털 카메라, 휴대전화 카메라 등으로 사진을 촬영하여 2D 비트맵 이미지 데이터를 획득하고, CT(computed tomography, 컴퓨터 단층 촬영) 및 MRI(magnetic resonance imaging, 자기공명영상) 촬영 등을 통하여 복수 개의 2D 단층 이미지 데이터를 수집하는 방법 등을 사용한다. 이때, 각각의 이미지 데이터는 서로 다른 원리로 생성되므로 그로부터 얻을 수 있는 데이터의 성격이 서로 다르며, 그 활용 또는 응용되는 방법 내지 영역도 각각 다르다.

따라서, 픽셀(pixel) 또는 복셀(voxel)로 구성된 2D 비트맵 이미지 데이터 또는 2D 단층 이미지 데이터들을 이용하여 생성한 볼륨모델 그 자체로는 이를 이용하여 새로운 모델을 제작하거나 시뮬레이션을 수행하는 것과 같은 3D CAD 모델 기반의 프로세스가 불가능 하다는 문제점이 있었다.

이를 해결하고자 2D 단층 이미지 데이터들을 이용하여 영역화(segmentation), 재구성(reconstruction) 작업을 하여 3D CAD 모델을 생성하였지만, 이는 사실적인 얼굴표현이 안되어 있는 단일 색상의 모델이었다. 이에, 환자의 얼굴 사진 이미지를 텍스쳐 매핑 기술을 이용하여 단일 색상의 모델에 적용시키는 방법이 사용 되었지만, 이 또한 단층 이미지 촬영(CT 등)과 얼굴 사진 촬영 시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 텍스쳐 매핑의 오차가 크게 발생할 수 있다는 문제점이 있었다. 또한, 2D 단층 이미지 데이터들을 이용하여 3D CAD 모델을 생성하는 도중 자동 영역화의 조건에 따라 콧속의 비강과 부비동 부분 등이 함께 모델로 생성되어 이후 텍스쳐 매핑과 시뮬레이션에 방해요소로 작용한다는 문제가 있었다.

본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 3D CAD 모델 기반 프로세스를 제공하는 것을 목적으로 한다.

또한, 3D 얼굴표면 모델 생성시 3D 두부영상에 포함된 얼굴표면을 구분하는 과정에서 콧구멍 안 빈공간에 포함되는 피부인 비강이나 부비동 등 불필요한 부분이 피부 표면으로 인식되는 문제를 해결함으로써 정밀하고 정확한 시뮬레이션을 수행할 수 있는 데이터를 제공하는 것을 목적으로 한다.

또, 단층 이미지 촬영(CT 등)과 얼굴 사진 촬영시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 오차를 해결할 수 있는 텍스쳐 매핑 기술을 제공하는 것을 목적으로 한다.

또한, 복수 개의 이미지를 기반으로 가시성이 가장 좋은 이미지만을 이용하여 구성된 3D 얼굴모델을 제공하는 것을 목적으로 한다.

또, 3D 컬러 스캐너에 의한 결과값을 3D 얼굴표면 모델에 정합함으로써, 텍스쳐 매핑 과정에서 발생할 수 있는 오차 없이 심미적인 3D 얼굴모델을 제공하는 것을 그 목적으로 한다.

또한, 치과 시술에 있어서 시뮬레이션을 수행하여 이를 실시간으로 반영할 수 있는 3D 얼굴모델을 제공하는 것을 그 목적으로 한다.

또, 의사의 진단 및 모의시술 결과 등에 의한 데이터를 3D 얼굴모델에 반영한 상태로 시뮬레이션을 수행할 수 있도록 하는 것을 그 목적으로 한다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 치아 이동에 따른 얼굴 변화 시뮬레이션을 위한 얼굴모델 생성 방법의 일측면에 따르면,

치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서, 2D 얼굴 사진 데이터와 3D 두부영상을 획득하며, 상기 획득된 3D 두부영상을 이용하여 3D 얼굴표면 모델을 복원하는 제 1단계; 상기 획득된 2D 얼굴 사진 데이터에 표지점을 표시하고, 상기 형성된 3D 얼굴표면 모델에 표지점을 표시하는 제 2단계; 상기 표지점이 표시된 3D 얼굴표면 모델을 상기 2D 얼굴 사진 데이터에 적용하기 위해서 상기 표시된 표지점을 기반으로 회전, 이동 및 임의의 축을 기준으로 크기 변환하여 3D 얼굴표면 모델의 위치와 크기를 2D 얼굴 사진 데이터에 맞추는 작업을 수행함으로써 2D 얼굴 사진 데이터의 얼굴모습에 맞춰지도록 3D 얼굴표면 모델을 생성하는 제 3단계; 상기 2D 얼굴 사진 데이터 기반의 텍스쳐 평면에 상기 3D 얼굴표면 모델을 투영하여 평면 모델을 생성하고, 상기 2D 얼굴 사진 데이터와 상기 3D 얼굴표면 모델에 매개변수화 과정을 거쳐 텍스쳐 매쉬(Texture-Mesh)를 생성하는 제 4단계; 상기 3D 얼굴표면 모델과 상기 텍스쳐 메쉬의 법선벡터를 비교하여 가시성 우선순위를 체크하는 랭크(visibility rank)과정을 수행하는 5단계; 및 상기 2D 얼굴 사진 데이터와 상기 3D 얼굴표면 모델 및 상기 매개 변수화 과정을 통해 생성된 텍스쳐 메쉬를 이용하여 랭크(visibility rank) 과정에 의해 마킹된 최적의 가시성 텍스쳐만을 모아 텍스쳐 매핑(Texture Mapping)을 수행하는 제 6단계; 를 포함한다.

상기 제 5단계 중 랭크(visibility rank)과정은, 하나 이상의 2D 얼굴 사진 데이터에 대해 각각 상기 3D 얼굴표면 모델상 텍스쳐 매핑을 위한 일정 영역의 법선벡터와 상기 텍스쳐 메쉬의 법선벡터가 이루는 각을 비교하여 가시성 체크를 하고, 이를 기반으로 영역별 가시성 우선순위 랭크(visibility rank)를 부여하여 해당 영역에 가시성이 가장 높은 2D 이미지를 판별할 수 있으므로, 가시성이 가장 높은 데이터를 이용한 텍스쳐 매핑을 수행할 수 있다.

치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서, 2D 얼굴 사진 데이터와 3D 두부영상을 획득하는 제 1단계; 상기 획득된 3D 두부영상을 이용하여 3D 얼굴표면 모델을 생성하는 제 2단계; 특정 데이터 또는 모델로부터 텍스쳐가 입혀진 3D 표면모델을 얻을 수 있는 장치나 소프트웨어를 이용하여 텍스쳐가 입혀진 얼굴모델을 획득하는 제 3단계; 및 상기 3D 얼굴표면 모델 및 상기 텍스쳐가 입혀진 얼굴모델을 비교하여 정합하는 제 4단계; 를 포함한다.

치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서, 2D 얼굴 사진 데이터와 3D 두부영상을 획득하는 제 1단계; 상기 획득된 3D 두부 영상 데이터를 이용하여 3D 얼굴표면 모델을 생성하는 제 2단계; 및 상기 생성된 3D 얼굴표면 모델에서, 얼굴표면 내부 돌출부를 삭제하는 제 3단계; 를 포함한다.

본 발명에 의하면, 3D CAD 모델 기반 프로세스를 제공하며, 3D 얼굴표면 모델 생성시 3D 두부영상에 포함된 얼굴표면을 구분하는 과정에서 콧구멍 안 빈공간에 포함되는 피부인 비강이나 부비동 등 불필요한 부분이 피부 표면으로 인식되는 문제를 해결함으로써 정밀하고 정확한 시뮬레이션을 수행할 수 있는 데이터를 제공하는 효과가 있다.

단층 이미지 촬영(CT 등)과 얼굴 사진 촬영시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 오차를 해결할 수 있는 텍스쳐 매핑 기술을 제공하는 효과가 있다.

복수 개의 이미지를 기반으로 가시성이 가장 좋은 이미지만을 이용하여 구성된 3D 얼굴모델을 제공하고, 3D 컬러 스캐너에 의한 결과값을 3D 얼굴표면 모델에 정합함으로써, 텍스쳐 매핑 과정에서 발생할 수 있는 오차 없이 심미적인 3D 얼굴모델을 제공하는 효과가 있다.

치과 시술에 있어서 시뮬레이션을 수행하여 이를 실시간으로 반영할 수 있는 3D 얼굴모델을 제공하고, 의사의 진단 및 모의시술 결과 등에 의한 데이터를 3D 얼굴모델에 반영한 상태로 시뮬레이션을 수행할 수 있도록 하는 효과가 있다.

도 1은 2D 얼굴 사진 데이터에 표지점을 표시한 것을 도시한 도면

도 2는 두부 단층 이미지 데이터로부터 부피를 가진 3D 두부영상을 구성하고, 얼굴 피부 영역을 영역화하고 이를 바탕으로 재구성하여 3D 얼굴표면 모델을 복원한 것을 도시한 도면

도 3은 복원된 3D 얼굴표면 모델에 포함된 부비동, 비강 부분을 제거하는 과정을 도시한 도면

도 4는 복원된 3D 얼굴표면 모델에 표지점을 표시한 것을 도시한 도면

도 5는 복원된 3D 얼굴표면 모델을 2D 얼굴 사진 데이터와 매핑될 수 있도록 회전,이동 및 임의의 축을 기준으로 크기 변환하는 3D 표지점 기반의 정합을 수행하여 2D 얼굴 사진 데이터의 얼굴모습에 맞도록 3D 얼굴표면 모델을 생성한 것을 도시한 도면

도 6은 3D 표지점 기반의 정합을 수행하여 3D 얼굴표면 모델을 매개변수화 함으로써 생성되는 텍스쳐 메쉬의 모습을 도시한 도면

도 7은 텍스쳐 매핑 기법을 기반으로 생성된 텍스쳐 된 입체적 얼굴모델을 도시한 도면

도 8은 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법을 순서도로 표시한 도면

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 2D 얼굴 사진 데이터(2D Face Picture Image)에 표지점을 표시(10, 2D Landmarks)한 것을 도시한 도면이다.

2D 얼굴 사진 데이터(2D Face Picture Image)에 도 1에 도시된 바와 같이, 표지점을 표시(10, 2D Landmarks)한다. 예를 들어, 얼굴 정면 사진의 경우 양쪽 입꼬리에 2개, 양쪽 눈꼬리에 2개의 표지점을 각각 위치시킬 수 있는데, 이는 이후에 진행할 3D 표지점 기반의 정합(3D affine landmark-transform, 3D 표지점을 이용한 좌표정렬)을 통해 텍스쳐 매핑(Texture-Mapping)을 수행하는데 사용 된다. 즉, 단층 이미지 촬영(CT 등)과 얼굴 사진 촬영시 서로 다른 장비의 특성, 환자의 움직임, 카메라 렌즈와 환자가 이루는 각도 등에 의한 두 장비의 서로 다른 결과물로부터 발생되는 텍스쳐 매핑(Texture-Mapping)의 오차를 해결하기 위한 것으로서, 이에 대한 상세한 설명은 후술한다.

도 1을 참조하면, 디지털 카메라, 휴대전화 카메라 등을 이용하여 BMP, JPEG 및 GIF 등의 파일 형식을 가진 2D 얼굴 사진 데이터(2D Face Picture Image)를 획득한다. 이렇게 획득된 데이터는 2D 비트맵(Bitmap) 이미지 형식의 데이터인데, 이는 2차원에 불과하여 얼굴을 입체적으로 볼 수 없다. 또한, 2D 얼굴 사진 데이터(2D Face Picture Image)는 그 자체를 바로 이용하여 새로운 모델을 제작하거나 시뮬레이션을 수행하는 등의 작업이 불가하다는 문제가 있다. 이에, 2D 얼굴 사진 데이터(2D Face Picture Image)와 두부 단층 이미지 데이터(DICOM series)를 입력 데이터로 이용하고 3D CAD 모델 복원 기술 및 텍스쳐 매핑(Texture-Mapping) 기술을 활용한 모델(3D 얼굴표면 모델, 3D 얼굴표면 CAD 모델)을 생성하여 전술한 문제점을 극복한다. 즉, 의료 시술에 있어서, 픽셀(pixel) 또는 복셀(voxel)로 구성된 이미지 데이터 또는 이미지들을 조합하여 생성된 영상 데이터를 응용하여 새로운 모델을 제작하거나 시뮬레이션을 수행하는 것과 같은 3D CAD 모델 기반의 프로세스를 가능하게 한다. 여기서 3D CAD 모델은 점, 선 및 면을 포함하여 구성되는데, 픽셀(pixel)또는 복셀(voxel)로 구성된 이미지 또는 영상을 이러한 3D CAD 모델로 복원한 후에, 복원된 모델에 텍스쳐 매핑(Texture-Mapping) 기술을 적용하여 텍스쳐가 입혀진 입체적인 얼굴모델(Textured Face Surface)을 생성하고, 이를 이용하여 새로운 모델을 제작하거나 시뮬레이션을 실행할 수 있다.

다만, 텍스쳐가 입혀진 얼굴모델(Textured Face Surface)을 생성하기 위한 방법으로는, 이에 한정되지 않고 3D 컬러 스캐너(3D color scanner, Texture 3D scanner)를 이용하는 방법, 특정 데이터 또는 모델로부터 텍스쳐가 입혀진 3D 표면모델(3D Surface)을 얻을 수 있는 장치나 소프트웨어를 이용하는 방법 등 다양한 방법이 있다. 즉, 3D 얼굴표면 모델(3D Face Surface) 및 3D 컬러 스캐너(3D color scanner, Texture 3D scanner)로 스캔한 데이터를 이용하여 각각의 점군 데이터를 형성하고, 여기서 얻은 데이터를 정리하고 3D 컬러 스캐너(3D color scanner, Texture 3D scanner)로 스캔한 데이터를 3D 얼굴표면 모델(3D Face Surface)에 정합하는 과정을 통해 3D 얼굴모델(Textured Face Surface)을 생성한다. 3D 컬러 스캐너(3D color scanner, Texture 3D scanner)는 얼굴 자체를 스캔하여 텍스쳐가 입혀진 데이터를 획득하므로 텍스쳐를 따로 입히는 작업이 필요 없기 때문에 텍스쳐 매핑 과정에서 발생할 수 있는 오차가 없고, 보다 간단하게 실제 얼굴 모습과 유사한 데이터를 제공할 수 있다. 하지만 적은 수의 다면체(Poly Hedron, Polygonal Surface)로 구성되므로 정밀한 데이터의 표현이 어렵고 추가적인 수정 작업, 즉 시뮬레이션을 구현하기 위해 3D 컬러 스캐너(3D color scanner)를 이용한 결과값을 3D 얼굴표면 모델(3D Face Surface)에 정합하는 과정이 필요하다는 단점이 있다. 또한, 치과에서 일반적으로 갖추고 있는 CBCT 장비 이외에 추가적으로 3D 컬러 스캐너(3D color scanner, Texture 3D scanner)를 구비하는 비용이 필요하다는 단점이 있다.

따라서, 이하에서는 2D 얼굴 사진 데이터(2D Face Picture Image)와 두부 단층 이미지 데이터(DICOM series)를 입력 데이터로 이용하고 3D CAD 모델 복원 기술 및 텍스쳐 매핑(Texture-Mapping) 기술을 적용하여 3D 얼굴모델(Textured Face Surface)을 생성하는 과정을 위주로 설명한다.

도 2는 두부 단층 이미지 데이터(DICOM series)로부터 부피를 가진 3D 두부영상(3D Head Image)을 구성하고, 얼굴 피부 영역을 영역화(segmentation)하고 이를 바탕으로 재구성(reconstruction)하여 3D 얼굴표면 모델(3D Face Surface)을 복원한 것을 도시한 도면이다.

의료 진료를 위해 CT(computed tomography, 컴퓨터 단층 촬영), MRI(magnetic resonance imaging, 자기공명영상), Ultrasonic diagnostics(초음파 진단) 촬영 등의 장비로부터 두부 단층 이미지 데이터(DICOMseries)를 획득할 수 있는데, 두부 단층 이미지 데이터(DICOMseries)의 획득은 이에 한정되지 아니하고 PET(poisitron emission tomography, 양전자 단층 촬영) 등 다양한 방법으로 가능하다.

이후, 획득된 두부 단층 이미지 데이터(DICOM series)들을 조합하여 부피(volume)를 갖는 3D 두부영상(3D Head Image)을 생성한다.

그 후, 얼굴 피부 영역을 영역화(segmentation)하여 이를 3D로 재구성(reconstruction)함으로써 3D 얼굴표면 모델(3D Face Surface)로 복원한다.

여기서 얼굴 피부 영역을 영역화(segmentation)하는 것은 경계선을 형성하여 원하는 영역을 선택하는 작업을 의미한다. 일 예로 3D 두부영상(3D Head Image)은 복수의 이미지를 층층으로 쌓은 것이므로, 각각의 이미지에 대해 공기층과 얼굴 표면이 맞닿는 부분의 픽셀값의 급격한 변화를 찾아 얼굴 표면의 경계를 형성하는 작업을 수행하며, 이러한 작업이 영역화(segmentation)에 해당한다. 즉, 피부, 악골(顎骨), 치관(齒冠), 치근(齒根) 등 CT, MRI 영상으로부터 획득한 영상 중 사용자가 데이터로서 사용할 부분을 구분하는 것을 의미한다. 이후, 영역화(segmentation)된 정보를 기반으로 3D 두부영상(3D Head Image)에 마칭큐브 알고리즘(Marching cube Algorithm)등의 기술을 이용하여 재구성(reconstruction)함으로써, 3D 얼굴표면 모델(3D Face Surface, 3D 얼굴 표면 CAD 모델)데이터를 생성한다.

결국, 3D 두부영상(3D Head Image)을 영역화 및 재구성(segmentation and reconstruction) 하여 생성된 3D 얼굴표면 모델(3D Face Surface)은 내부가 비어있는, 즉 얼굴 피부를 표현한 데이터가 된다. 다만, 이러한 3D 얼굴표면 모델(3D Face Surface)은 점, 선 및 면으로 구성되며 방향성을 가지는 3D CAD 모델로서, 이를 활용하여 새로운 모델을 제작하거나 시뮬레이션을 수행하는 것과 같은 CAD 모델 기반의 응용 프로세스가 가능하다.

도 3은 복원된 3D 얼굴표면 모델(3D Face Surface)에 포함된 부비동, 비강 부분을 제거하는 과정을 도시한 도면이다. 도 4는 복원된 3D 얼굴표면 모델(3D Face Surface)에 표지점을 표시(20, 3D Landmarks)한 것을 도시한 도면이다. 도 5는 복원된 3D 얼굴표면 모델(3D Face Surface)을 2D 얼굴 사진 데이터(2D Face Picture Image)와 매핑(mapping)될 수 있도록 회전(rotate), 이동(translate) 및 임의의 축을 기준으로 크기 변환(scale)하는 3D 표지점 기반의 정합(3D Affine Landmark-Transform)을 수행하여 2D 얼굴 사진 데이터(2D Face Picture Image)의 얼굴모습에 맞도록 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 생성한 것을 도시한 도면이다.

도 3을 참조하면, 상기의 과정을 통해 생성된 3D 얼굴표면 모델(3D Face Surface)에는 콧구멍 안 쪽, 예를 들어 콧구멍 안 쪽의 빈 공간을 차지하는 부비동, 비강 부분 등이 포함되어 있다. 부비동, 비강 부분 등은 텍스쳐 매핑 또는 시뮬레이션 수행시 데이터 변형 등에 방해요소로 작용할 수 있다. 따라서, 관심영역 이외의 부분을 삭제하는 기법(예를 들어 P.O.I.; polyhedron of interest)을 이용하여 비교적 계산이 빠르고 간편한 2차식 곡면의 불린연산을 통해 3D 얼굴표면 모델(3D Face Surface) 중 불필요한 부분을 제거함으로써 새로운 모델 제작이나 시뮬레이션에 직접 활용되는 얼굴 피부만을 얻게 된다.

이렇게 생성된 3D 얼굴표면 모델(3D Face Surface)에, 도 4에 도시된 바와 같이 2D 얼굴 사진 데이터(2D Face Picture Image)에 표시한 표지점(10, 2D Landmarks)과 대응되는 위치에 표지점을 표시(20, 3D Landmrks)한다.

이후, 도 5에 도시된 바와 같이 표지점이 표시(20, 3D Landmarks)된 3D 얼굴표면 모델(3D Face Surface)을 표지점이 표시(10, 2D Landmarks)된 2D 얼굴 사진 데이터(2D Face Picture Image)에 적용(Fitting)하는데, 이를 위해서 3D 얼굴표면 모델(3D Face Surface)상 표지점들의 순서와 표지점이 이루는 형태를 2D 얼굴 사진 데이터(2D Face Picture Image)의 표지점들의 순서와 표지들이 이루는 형태에 맞추기 위해 회전(rotate), 이동(translation) 및 임의의 축을 기준으로 크기 변환(scale)하여(Rotate, Translate and Scale To fit 2D Landmarks) 2D 얼굴 사진 데이터(2D Face Picture Image)상의 표지점 집합과 3D 얼굴표면 모델(3D Face Surface)의 표지점 집합의 좌표를 공유시켜 배치의 형태를 동일화하는 (Coordinates Mapping, Shared local Coordinates) 작업을 한다.

위의 작업을 3D 얼굴표면 모델(3D Face Surface)에 동일하게 적용시키면, 2D 얼굴 사진 데이터(2D Face Picture Image)와 3D 얼굴표면 모델(3D Face Surface)의 방향 및 형태가 동일해 진, 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)이 생성 된다. 이와 같은 과정을 3D 표지점 기반의 정합(3D Affine Landmark-Transform)이라고 한다.

도 6은 3D 표지점 기반의 정합(3D Affine Landmark-Transform)을 수행하여 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 매개변수화(Parameterization)함으로써 생성되는 텍스쳐 메쉬(Texture-Mesh)의 모습을 도시한 도면이다.

이하 매개변수화 과정(Parameterization process)에 대해 설명한다. 도 4의 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 기반으로 매개변수화 과정(Parameterization Process)이 시작되는데, 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 2D 얼굴 사진 데이터(2D Face Picture Image)기반의 텍스쳐 평면에 투영하여 평면 모델을 생성(Project-Plane generation)한다.

이후, 축값을 조정하고 구간을 동기화하며 크기를 조절하는 작업 등을 통해 표준화(정규화, 동기화)하여 2D 얼굴 사진 데이터(2D Face Picture Image)와 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)의 좌표값을 정렬(Texture Paramerter Space Nomalization)하는 과정을 수행한다. 이로써, 3차원의 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 2차원으로 변환시켜 2D 얼굴 사진 데이터와 동일하게 맞추게 되는데, 이를 텍스쳐 메쉬(Texture-Mesh) 데이터라고 한다.

여기서 텍스쳐 메쉬(Texture-Mesh) 데이터는 3D CAD 모델로서, 점, 선 및 면으로 구성되고 방향성이 있으며 안과 밖이 존재하는 다면체(Polyhedron, Polygonal Surface)로 구성된다. 본 발명에서는 텍스쳐 메쉬(Texture-Mesh)를 구성하는 면을 수만 내지 수십만 개의 삼각형으로 형성하는데, 이는 프로그램 상에서 사용자가 위치 등의 계산을 편하게 하기 위함이다.

텍스쳐 매핑(Texture-Mapping)을 수행함에 있어, 보다 실제 얼굴에 가까운 얼굴모델을 생성하기 위해 여러 방향에서 촬영한 사진들을 사용할 수도 있는데, 이와 같은 경우, 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 매개변수화 과정을 거쳐 생성된 텍스쳐 메쉬(Texture-Mesh)의 법선벡터와 3D 얼굴표면 모델(3D Face Surface)의 법선벡터를 이용한 가시성 순위를 체크(Regions Visibility check)한 후 최적의 가시성 부분을 선택하는 과정인 '랭크(visibility rank)'를 수행한다. 이는, 예컨대 콧대, 콧망울, 눈두덩이, 뺨 등이 사진 촬영을 한 방향에 따라 가시성이 달라질 수 있다는 것을 반영한 것이다. 다시 말하면, 3D 얼굴표면 모델(3D Face Surface)의 일정 영역인 하나 이상의 다각형 영역(제 1영역)에 부합(매칭, maching)되는 제 1법선벡터와 텍스쳐 메쉬(Texture-Mesh) 데이터의 일정 영역(제 2영역)에 존재하는 제 2법선벡터가 이루는 각을 판단하여, 제 1법선벡터와 제 2법선벡터가 형성하는 각도가 180도에 가까울수록 가시성이 좋은 데이터로 판단하고 랭크(visibility rank)의 과정을 통해 우선순위를 매긴다. 이 랭크(visibility rank) 과정을 통한 우선순위를 이용하여 텍스쳐 매핑(Texture-Mapping)시 보다 가시성이 뛰어난 텍스쳐를 선별하여 매핑할 수 있다는 장점을 갖는다.

도 7은 텍스쳐 매핑(Texture-Mapping) 기법을 기반으로 생성된 텍스쳐 된 입체적 얼굴모델(Textured Face Surface)을 도시한 도면이다.

텍스쳐 매핑(Texture-Mapping)을 위해서는 2D 얼굴 사진 데이터(2D Face Picture Image), 3D 얼굴표면 모델(3D Face Surface)및 텍스쳐 메쉬(Texture-Mesh) 데이터를 이용한다. 텍스쳐 메쉬(Texture-Mesh)를 구성하고 있는 일정 영역(단위)당, 그 각각에 대응하는 2D 얼굴 사진 데이터(2D Face Picture Image)의 영역으로부터 텍스쳐를 추출하고, 이 텍스쳐를 텍스쳐 메쉬(Texture-Mesh)를 이용하여 3D 얼굴표면 모델(3D Face Surface)의 3D 좌표에 대응시키는 텍스쳐 매핑(Texture-Mesh)의 과정을 수행함으로써, 텍스쳐 된 입체적 얼굴모델(Textured Face Surface)데이터를 얻을 수 있다.

이때, 상기 서술한 랭크(visibility rank)의 우선순위에 따라 다수의 2D 얼굴 사진 데이터(2D Face Picture Image)와 그에 해당하는 다수의 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)에서 우선순위가 높은 것을 취하여 매핑하는 것을 통해 보다 뛰어난 가시성을 갖는 3D 얼굴모델(Textured Face Surface)을 생성할 수 있다.

여기서 텍스쳐 매핑(Texture-Mapping)이란 표현하고자 하는 이미지나 물체의 사실감을 높이기 위해 그 표면에 원하는 무늬나 색채 등과 같은 텍스쳐(Texture)를 입히는 작업으로서, 3D 표면모델(3D Surface Model)에 2D 비트맵 이미지, 3D 영상 데이터를 적용(mapping)하여 사실적이고 정교한 모델을 얻을 수 있는 기술을 의미한다.

도 8은 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법을 순서도로 표시한 도면이다.

첫째, CT, MRI 등을 이용하여 두부 단층 이미지 데이터(DICOM series)를 획득하고, 이를 이용하여 3D 두부영상(3D Head Image)을 얻은 후, 영역화 및 재구성(segmentation and reconstruction) 과정을 수행하여 3D 얼굴표면 모델(3D Face Surface)을 획득한다. 이후, 텍스쳐 매핑(Texture-Mapping) 또는 시뮬레이션을 수행하는 데 있어 방해요소로 작용하는 코 안쪽의 부비동, 비강 부분등을 제거하여 텍스쳐 매핑(Texture-Mapping) 또는 시뮬레이션에 알맞게 수정된 3D 얼굴표면 모델(3D Face Surface)을 획득한다.

둘째, 2D 얼굴 사진 데이터(2D Face Picture Image)를 획득하고, 이에 표지점을 표시(10, 2D Landmarks)한다.

셋째, 3D 얼굴표면 모델(3D Face Surface)에 2D 얼굴 사진 데이터(2D Face Picture Image)상 표시한 표지점(10, 2D Landmarks)과 대응하는 위치에 표지점을 표시(20, 3D Landmarks)하고, 3D 표지점 기반의 정합(3D Affine Landmark-Transform)을 수행하여 3D 얼굴표면 모델(3D Face Surface)을 얻는다. 이를 통해 사진 촬영한 2D 얼굴 사진 데이터(2D Face Picture Image)와 3D 얼굴표면 모델(3D Face Surface)간의 얼굴 방향 등을 동일하게 맞출 수 있어, 텍스쳐 매핑(Texture-Mapping)시 2D 얼굴 사진 데이터와 3D 얼굴표면 모델(3D Face Surface)의 불일치에 의한 오차를 해결할 수 있다.

넷째, 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)에 매개변수화 과정(Parameterization Process)을 시행하여 텍스쳐 메쉬(Texture-Mesh)데이터를 획득한다. 이는, 2차원인 2D 얼굴 사진 데이터(2D Face Picture Image)에 3차원인 변환된 3D 얼굴표면 모델(Transformed 3D Face Surface)을 맞추기 위해 2차원으로 변형시키는 작업을 의미하며, 이를 통해 생성된 텍스쳐 메쉬(Texture-Mesh)는 2D 얼굴 사진 데이터(2D Face Picture Image)와 동일한 좌표를 갖고 있어 텍스쳐 매핑(Texture-Mapping)이 가능하도록 한다.

이때, 하나 이상의 2D 얼굴 사진 데이터(2D Face Picture Image)가 입력 데이터로 제공되는 경우에는 랭크(visibility rank)를 수행하게 되는데, 다양한 방향에서 촬영한 복수 개의 2D 얼굴 사진 데이터(2D Face Picture Image)가 입력되면 입력된 순서에 따라 이전에 입력된 이미지를 기반으로 생성한 텍스쳐 메쉬와 3D 얼굴표면 모델(3D Face Surface)간의 가시성 우선순위와 현재 입력된 이미지를 기반으로 생성한 텍스쳐 메쉬와 3D 얼굴표면 모델간의 가시성 우선순위를 비교하여 가시성 우선순위가 가장 높은 것으로 랭크(visibility rank)를 유지함으로써 이를 텍스쳐 매핑(Texture-Mapping)을 위한 데이터로 준비한다.

하나 이상의 2D 얼굴 사진 데이터(2D face picture image)와 상기의 과정을 통하여 획득한 해당 이미지에 해당하는 텍스쳐 메쉬(Texture-Mesh)를 이용하여 텍스쳐 매핑(Texture-Mapping) 과정을 수행하는데 있어, 상기 서술한 랭크(visibility rank)를 이용하여 가시성 우선순위가 높은 텍스쳐가 선택되어 3D 얼굴표면 모델(3D Face Surface)에 입혀 짐으로써 텍스쳐된 입체적 얼굴모델(Textured Face Surface)를 얻게 된다.

결과적으로, 도 7과 같은 텍스쳐된 입체적 얼굴모델(Textured Face Surface) 데이터를 얻게 되는데, 이는 앞의 과정에서 생성된 3D 얼굴표면 모델(3D Face Surface)데이터를 사용하며, 3D 얼굴표면 모델(3D Face Surface)은 3D 두부영상(3D Head Image)을 기반으로 하기 때문에 3D 두부영상(3D Head Image)과 좌표계를 공유하고 있으므로, 3D 두부영상(3D Head Image)의 좌표계를 사용하는 치아 이동에 따른 얼굴형의 변화를 실시간으로 반영하는 얼굴 변화 시뮬레이션을 포함한 모든 작업에 사용이 가능하다. 즉, 치과 시술 시뮬레이션을 위한 실제 얼굴과 유사하도록 사실적이고 입체적인 3D 얼굴모델(3D Face Model)을 생성하게 된다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (4)

1. 치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서,

   2D 얼굴 사진 데이터와 3D 두부영상을 획득하며, 상기 획득된 3D 두부영상을 이용하여 3D 얼굴표면 모델을 복원하는 제 1단계;

   상기 획득된 2D 얼굴 사진 데이터에 표지점을 표시하고, 상기 형성된 3D 얼굴표면 모델에 표지점을 표시하는 제 2단계;

   상기 표지점이 표시된 3D 얼굴표면 모델을 상기 2D 얼굴 사진 데이터에 적용하기 위해서 상기 표시된 표지점을 기반으로 회전, 이동 및 임의의 축을 기준으로 크기 변환하여 3D 얼굴표면 모델의 위치와 크기를 2D 얼굴 사진 데이터에 맞추는 작업을 수행함으로써, 2D 얼굴 사진 데이터의 얼굴모습에 맞춰지도록 변환된 3D 얼굴표면 모델을 생성하는 제 3단계;

   상기 2D 얼굴 사진 데이터 기반의 텍스쳐 평면에 상기 변환된 3D 얼굴표면 모델을 투영하여 평면 모델을 생성하고, 상기 2D 얼굴 사진 데이터와 상기 변환된 3D 얼굴표면 모델에 매개변수화 과정을 거쳐 텍스쳐 매쉬(Texture-Mesh)를 생성하는 제 4단계;

   상기 3D 얼굴표면 모델과 상기 텍스쳐 메쉬의 법선벡터를 비교하여 가시성 우선순위를 체크하는 랭크(visibility rank)과정을 수행하는 제 5단계; 및

   상기 2D 얼굴 사진 데이터와 상기 3D 얼굴표면 모델 및 상기 매개 변수화 과정을 통해 생성된 텍스쳐 메쉬를 이용하여, 랭크(visibility rank) 과정에 의해 마킹된 최적의 가시성 텍스쳐만을 모아 텍스쳐 매핑(Texture Mapping)을 수행하는 제 6단계;

   를 포함하는 것을 특징으로 하는 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법.
2. 청구항 1에 있어서,

   상기 제 5단계 중 랭크(visibility rank) 과정은,

   하나 이상의 2D 얼굴 사진 데이터에 대해, 각각 상기 3D 얼굴표면 모델상 텍스쳐 매핑을 위한 일정 영역의 법선벡터와 상기 텍스쳐 메쉬의 법선벡터가 이루는 각을 비교하여 가시성 체크를 하고, 이를 기반으로 영역별 가시성 우선순위 랭크(visibility rank)를 부여하여 해당 영역에 가시성이 가장 높은 2D 얼굴 사진 데이터를 판별할 수 있으므로, 가시성이 가장 높은 데이터를 이용한 텍스쳐 매핑을 수행할 수 있는 것을 특징으로 하는 치과 기술 시뮬레이션을 위한 얼굴모델 생성 방법.
3. 치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서,

   2D 얼굴 사진 데이터와 3D 두부영상을 획득하는 제 1단계;

   상기 획득된 3D 두부영상을 이용하여 3D 얼굴표면 모델을 생성하는 제 2단계;

   특정 데이터 또는 모델로부터 텍스쳐가 입혀진 3D 표면모델을 얻을 수 있는 장치나 소프트웨어를 이용하여 텍스쳐가 입혀진 얼굴모델을 획득하는 제 3단계; 및

   상기 3D 얼굴표면 모델 및 상기 텍스쳐가 입혀진 얼굴모델을 비교하여 정합하는 제 4단계;

   를 포함하는 것을 특징으로 하는 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법.
4. 치아 이동 시뮬레이션에 따라 얼굴 변형을 반영하는 얼굴모델 생성 방법에 관한 것으로서,

   2D 얼굴 사진 데이터와 3D 두부영상을 획득하는 제 1단계;

   상기 획득된 3D 두부 영상 데이터를 이용하여 3D 얼굴표면 모델을 생성하는 제 2단계; 및

   상기 생성된 3D 얼굴표면 모델에서, 얼굴표면 내부 돌출부를 삭제하는 제 3단계;

   를 포함하는 것을 특징으로 하는 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법.

Images