KR20120096238A - 안면보정 이미지 제공방법 및 그 시스템 - Google Patents

Abstract

본 발명은; 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지(Cephalomeric Image)와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 (a)단계; 그리고 상기 두부 이미지의 골격 변화에 따라 피부 연조직을 변형시켜서 예측 안면이미지를 화면상에 출력하는 (b)단계를 포함하는 안면보정 이미지 제공방법 및 그 시스템을 제공한다.
본 발명에 따르면, 피부 연조직을 지지하는 두개골이나 치아 또는 보형물 등의 골격변화에 따라 상기 피부 연조직의 변화와 예측 안면이미지를 컴퓨터나 단말기 등의 화면상에 보여주므로, 피부 연조직의 변화를 예측할 수 있고 이를 통해 안면교정술의 시술의 정확도를 높힐 수 있으며, 시술계획의 수립이 정확하고 편리하며 환자와 의료진간의 원활한 커뮤니케이션을 향상시킨다.

Description

안면보정 이미지 제공방법 및 그 시스템{Face Image Correcting Simulation Method And System Using The Same}

본 발명은 안면보정 이미지 제공방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 외과적 성형수술이나 치과교정이나 등과 같은 안면교정술을 이용하여 안면 보정을 수행하기 전에 안면 형태의 변화를 미리 보여주고 시술 계획을 수립하기 위한 안면보정 이미지 제공방법 및 그 시스템에 관한 것이다.

현대인에게 있어서 외모, 특히 얼굴의 인상은 취업이나 입학 등의 면접시 사람을 판단하는 하나의 기준으로서 작용하며, 대인관계에서도 큰 비중을 차지하는 등 사회생활에 매우 중요한 요소로 작용한다. 이에 따라 성형수술, 특히 외과적인 얼굴성형수술 등의 안면교정술이 성행하고 있다.

근래에는 상기 안면교정술을 수행하기 전에 안면교정 후의 모습을 미리 예측하여 보여주는 가상 시뮬레이션 프로그램이 개발되어 성형외과 등의 병원 의료진에게 보급되고 있는데, 병원측은 성형 상담과정에서 상기 가상 시뮬레이션 프로그램을 이용하여 안면교정의 방향을 설정하고, 안면교정 후의 모습을 미리 보여주며 수술계획을 수립한다.

그러나 상술한 가상 시뮬레이션 프로그램은 성형대상자의 얼굴을 찍은 2차원 이미지를 모니터 화면에 띄우고, 상기 얼굴의 2차원 이미지를 변형시키면서 안면교정 후의 모습을 미리 보여주는데, 이러한 방법은 수술 후의 실제 모습과 차이가 있을 뿐만 아니라 실제 수술에는 골조직의 형상을 보정하는 시술이 수행되므로 수술 계획과 방법의 수립에 어려움이 있다.

한편, 상기 안면교정술의 다른 예로서, 상술한 성형수술 이외에 부정치열을 개선하는 치열교정술과 주걱턱이나 무턱을 개선하기 위해 악골에 대한 외과적 수술을 수행하는 악교정수술 등과 같은 치과교정술이 있다.

다시 말해서, 상기 치과교정술은 부정치열을 바르게 하는 시술, 예를 들면 단순히 비뚤어진 치아를 가지런히 하는 협의의 치열교정술을 포함하는 개념으로서, 성장과정에서 발생할 수 있는 여러 가지 골격적 부조화를 바로잡아 정상적인 기능을 발휘할 수 있도록 하여 건강한 구강 조직에 기여하며, 더 나아가 얼굴 라인을 수려하게 하여 아름다운 얼굴 이미지를 만들어줄 수 있다.

상기 치열교정술(Orthodontic Treatment)은 치열의 이동을 통해 부정교합 등의 부정치열을 개선하는 시술법이고, 상기 악교정수술은 악골에 대한 외과적 수술을 수행하여 골격적 개선을 부여한다.

상술한 바와 같이 상기 치열교정술이나 악교정수술에 의해서도 안면의 모습이 크게 변화될 수 있으므로, 상기 치과교정술의 수행 전에 안면의 변화를 정확도가 높게 미리 예측하여 그에 따른 적절한 시술이 수행되는 것이 좋은데, 환자의 외관 변화를 미리 예측하여 정확도가 높은 상태로 보여주기 어렵고 단순히 2차원 얼굴 이미지를 시술자의 경험칙에 의거하여 변화시켜 얼굴라인의 변화를 예측하는 정도에 그치므로, 치과교정이 완료된 후의 실제 모습과 차이가 있을 뿐만 아니라 교정계획과 방법의 수립에 어려움이 있다.

이에 본 발명자는 얼굴의 피부 연조직을 지지하는 골격의 변화에 따라 피부 연조직을 변형시켜 안면의 외관변화를 미리 예측하고 정확도가 높은 상태로 보여줄 수 있는 안면보정 이미지 제공방법 및 그 시스템을 개발하게 되었다.

본 발명은 피부 연조직을 지지하는 두부(頭部)의 골격 변화에 따른 피부 연조직의 변형을 기초로 안면 외관 이미지의 변화를 미리 보여줄 수 있는 안면보정 이미지 제공방법 및 그 시스템을 제공하는 데 그 목적이 있다.

본 발명의 다른 목적은, 안면 외관이미지와 두개골 이미지의 중첩을 정확하고 용이하게 수행할 수 있는 안면보정 이미지 제공방법 및 그 시스템을 제공하기 위한 것이다.

상술한 목적의 해결을 위하여, 본 발명은; 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지(Cephalomeric Image)와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 (a)단계; 그리고 상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 (b)단계를 포함하는 안면보정 이미지 제공방법 및 그 시스템을 제공한다. 본 발명에 있어서 상기 (b)단계는 상기 두부 이미지의 골격 변화에 따라 피부 연조직을 변형시켜서 예측 안면이미지를 화면상에 출력하는 단계이다.

상기 (a)단계는; 상기 안면이미지와 상기 두부 이미지의 중첩을 위하여 상기 안면이미지상에 설정되는 복수의 제1정렬점들과, 피부 연조직에 의해 형성되는 상기 두부 이미지의 윤곽상에 상기 제1정렬점들에 대응되는 위치에 설정되는 제2정렬점들을 일치시켜서, 상기 안면이미지와 상기 두부 이미지를 중첩시킨다.

여기서 상기 (a)단계는; 상기 제1정렬점들과 상기 제2정렬점들을 입력받는 (a1)단계, 그리고 상기 두부 이미지가 중첩된 상기 안면이미지를 상기 화면에 출력하는 (a2)단계를 포함할 수 있다.

상기 (a)단계는; 상기 두부 이미지와 상기 안면이미지의 크기와 방향을 동일하게 조절하는 (a3)단계를 더 포함하는 것이 바람직하다.

여기서 상기 제1정렬점들은 한 쌍의 안면 정렬점들을 포함하고; 상기 제2정렬점들은 상기 안면 정렬점들에 대응되는 위치의 한 쌍의 윤곽 정렬점들을 포함하며; 상기 안면 정렬점에 의해 형성되는 제1벡터와 상기 윤곽 정렬점들에 의해 형성되는 제2벡터의 크기와 방향을 일치시켜서 상기 (a3)단계가 수행된다.

그리고 상기 (a)단계는; 상기 제1정렬점들을 상기 제2정렬점들에 일대 일로 맞대응시키기 위하여, 상기 (a1)단계의 전에 상기 제1정렬점들에 각각 형성되며 방향과 길이 조절이 가능한 정합 정렬선을 화면에 출력하는 (a4)단계를 더 포함할 수도 있다.

상기 (a)단계는, 상기 안면이미지에 설정된 정합 기준선에 의해 분할되는 상기 안면이미지의 단면상에 상기 두부 이미지를 중첩시켜 상기 정합이미지를 생성한다.

여기서 상기 정합 기준선은 상기 안면 이미지를 좌우로 양분하는 세로선이며; 상기 두부 이미지는 상기 안면교정 대상자의 두부를 얼굴의 정면과 90도를 이루는 측면에서 촬영한 측면이미지가 될 수 있다.

그리고 상기 (a)단계는; 상기 두부 이미지가 상기 화면상에 출력되도록 두부 이미지에 의해 분할된 상기 안면 이미지의 일측 부분을 상기 화면상에 투명하게 출력할 수도 있다.

상기 (b)단계는; 상기 두부의 골격변화에 대응하여 상기 피부 연조직의 변화를 산출하는 (b1) 단계, 그리고 상기 피부 연조직의 변화를 기반으로 상기 예측 안면이미지를 화면상에 출력하는 (b2)단계를 포함한다.

상기 피부 연조직의 변화는, 상기 두부의 골격변화는 치열의 이동과 두개골의 형상변화 중 적어도 어느 하나에 의해 이루어진다.

상기 (b2)단계는, 상기 예측 안면이미지상에 상기 피부 연조직의 변화를 나타내기 위한 등고선을 선택적으로 출력한다.

상기 (b)단계는, 상기 예측 안면이미지의 시뮬레이션 전과 후의 모습을 동시에 또는 순차적으로 화면상에 출력할 수도 있다.

다른 일 형태로서 본 발명은: 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합 모듈; 그리고 상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력모듈을 포함하는 안면보정 이미지 제공시스템을 제공한다.

또 다른 일 형태로서 본 발명은: 안면교정 대상자의 두개골 이미지를 갖는 2차원 두부 이미지를 획득하는 제1이미지 획득유닛; 상기 안면교정 대상자의 안면을 촬영하여 3차원 안면이미지를 획득하는 제2이미지 획득유닛; 그리고 상기 두부 이미지와 상기 3차원 안면이미지를 전송받아 저장하는 이미지 저장모듈; 상기 이미지 저장모듈에 저장된 상기 두부 이미지와 상기 안면이미지를 중첩하여 정합이미지를 생성하는 정합모듈; 그리고 상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력모듈을 포함하여 구성되는 안면보정 이미지 제공 컴퓨터시스템을 제공한다.

또 다른 일 형태로서 본 발명은: 컴퓨터를, 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합수단, 그리고 상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력수단으로 기능시키기 위한 안면보정 이미지 제공 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명에 따른 안면보정 이미지 제공방법 및 그 시스템에 의하면 다음과 같은 효과가 있다.

첫째, 본 발명에 따르면, 피부 연조직을 지지하는 두개골이나 치아 또는 보형물 등의 골격변화에 따라 상기 피부 연조직의 변화와 예측 안면이미지를 컴퓨터나 단말기 등의 화면상에 보여주므로, 피부 연조직의 변화를 예측할 수 있고 이를 통해 안면교정술의 시술의 정확도를 높힐 수 있으며, 시술계획의 수립이 정확하고 편리하며 환자와 의료진간의 원활한 커뮤니케이션을 향상시킨다.

둘째, 본 발명에 따르면, 두부 이미지와 안면이미지의 정합이 편리하고 정확한 크기와 비율로 정합된 이미지를 활용하여 시술 후의 예측 안면이미지를 입체적으로 출력할 수 있으므로 시술 후의 모습 예측에 대한 정확도가 향상된다.

셋째, 본 발명에 따르면, 안면교정 대상자가 시술 전후의 모습을 모두 하나의 화면에서 동시에 또는 순차적으로 볼 수 있으므로, 시술 전후의 모습을 비교판단하여 정확한 시술계획을 수립할 수 있다.

넷째, 본 발명에 따르면, 변화되는 골격에 의해 직접 지지되는 피부 연조직 및 그 주변 부위의 변화를 입체적으로 볼 수 있으므로 예측 안면이미지의 정확도가 향상될 수 있다.

도 1은 본 발명에 따른 안면보정 이미지 제공방법의 일 실시예를 나타낸 순서도이다.
도 2는 본 발명에 따른 안면보정 이미지 제공시스템의 일 실시예를 나타낸 구성 블럭도이다.
도 3은 디스플레이 창(화면)에 3차원 안면 이미지의 정면이 출력된 상태를 캡쳐한 화면이다.
도 4는 디스플레이 창에 안면 이미지를 좌우로 양분하는 정렬 기준선이 설정되고 특징점들이 표시된 상태를 캡쳐한 화면이다.
도 5는 디스플레이 창에 정렬 기준선에 따른 프로파일이 표시된 3차원 안면이미지를 캡쳐한 화면이다.
도 6은 디스플레이 창에 두부 이미지의 일 예인 측면 두부 이미지가 출력된 상태를 캡쳐한 화면이다.
도 7은 디스플레이 창에 지표점들과 지표곡선이 표시된 두부 이미지가 출력된 상태를 캡쳐한 화면이다..
도 8은 디스플레이 창에 두부 이미지의 일 예인 정면 두부 이미지가 출력된 상태를 캡쳐한 화면이다.
도 9 두부 이미지와 3차원 안면이미지의 중첩을 위해 디스플레이 창에 두부 이미지와 3차원 안면이미지가 동시에 출력된 상태를 캡쳐한 화면이다.
도 10은 두부 이미지와 3차원 안면이미지의 대응점을 설정하는 과정을 캡쳐한 화면이다.
도 11은 두부 이미지와 3차원 안면이미지의 크기와 방향을 조절하는 과정을 캡쳐한 화면이다.
도 12는 프로파일 라인을 제외한 3차원 안면이미지가 투명하게 처리된 정합이미지가 디스플레이 창에 출력된 상태를 캡쳐한 화면이다.
도 13은 정합이미지의 기울기 각도를 설정하는 과정을 캡쳐한 화면이다.
도 14는 정합이미지의 일 예로서 반절단 정합이미지가 디스플레이 창에 출력된 상태를 캡쳐한 화면이다.
도 15는 정합이미지를 이용하여 예측 안면이미지의 생성을 위한 시뮬레이션 과정을 캡쳐한 화면이다.
도 16은 피부 연조직의 변화비율을 수동으로 입력할 수 있도록 디스플레이 창에 입력창이 출력된 상태를 캡쳐한 화면이다.
도 17은 턱의 프로파일 라인을 교정하는 과정을 캡쳐한 화면이다.
도 18은 정면 두부 이미지와 측면 두부 이미지가 중첩된 상태를 캡쳐한 화면이다.
도 19는 시술 수행 전후의 얼굴 측면 모습이 디스플레이 창에 표시된 상태를 캡쳐한 화면이다.
도 20은 예측 안면이미지에 등고선이 표시된 상태를 캡쳐한 화면이다.

이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예가 첨부된 도면을 참조하여 설명된다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 하기에서 생략된다.

먼저, 도 1 및 도 2를 참조하여 본 발명에 따른 안면보정 이미지 제공방법 및 그 시스템에 대한 일 실시예를 설명한다.

도 1을 참조하면, 본 발명에 따른 안면보정 이미지 제공방법은 안면교정 대상자의 두부 이미지(Cephalomeric Image)와 3차원 안면이미지를 중첩(Superimposition)하여 정합이미지를 생성하는 (a)단계(S120; 정합이미지 생성단계)와 안면교정 시술 전에 미리 예측 이미지를 보여주는 예측 안면이미지 출력단계인 (b)단계(S130)를 포함한다.

다음으로, 도 2를 참조하면, 본 발명에 따른 안면보정 이미지 제공장치는, 안면보정 이미지의 처리를 제어하는 제어부(110)와 상기 안면교정 대상자의 두부 이미지와 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합 모듈(120)과 안면교정 시술 전에 미리 예측 이미지(예측 안면이미지)를 보여주는 등 각종의 이미지를 화면상에 출력하는 이미지 출력모듈(130)을 포함한다.

상기 안면보정 이미지 제공장치의 일 예로서 안면보정 이미지 제공시스템, 예를 들면 워크스테이션(Workstation)에 상기 두부 이미지를 획득하는 제1이미지 획득유닛(210)과 상기 안면이미지를 획득하는 제2이미지 획득유닛(220)이 구비됨으로써 안면보정 이미지제공 컴퓨터시스템이 구현될 수도 있다.

상기 제1이미지 획득유닛(210)은 상기 안면교정 대상자의 두부(머리부)를 촬영하여 2차원 이미지를 획득하며, 상기 제2이미지 획득유닛(220)은 상기 안면교정 대상자의 안면을 촬영, 보다 상세하게는 스캐닝(Scanning)하여 3차원 안면이미지를 획득한다.

상기 제1이미지 획득유닛(210)과 상기 제2이미지 획득유닛(220)은 상호 별도로 분리된 형태로 구비되어 상기 안면보정 이미지 제공방법의 구현을 위한 프로그램을 실행하는 컴퓨터에 연결될 수도 있고, 하나의 몸체를 갖는 장치로 구성되어 복합 이미지촬영장치로서 상기 컴퓨터에 연결될 수 있다.

여기서 상기 제1이미지 획득유닛(210)은 X선(X-Ray) 촬영법으로 상기 두부 이미지를 획득할 수도 있으며, 상기 두부 이미지는 골조직의 이미지(두개골 이미지와 치아 이미지)를 가지며, X선의 흡수차에 의해 얼굴의 피부 연조직은 상기 골조직 이미지의 표면에 골조직에 비해 투명한 윤곽을 형성할 수 있다.

상기 정합모듈(120), 즉 정합부는 데이터 저장부(140)의 이미지 저장모듈(141)에 저장된 상기 두부 이미지와 상기 안면이미지를 중첩하여 상기 정합이미지를 생성하며, 상기 이미지 저장모듈(141)은 상기 제1이미지 획득유닛(210)과 상기 제2이미지 획득유닛(220)으로부터 두부 이미지와 안면이미지를 전송받아 저장하며, 상기 정합이미지와 예측 안면이미지 등의 다양한 이미지도 저장할 수 있다.

상기 이미지 출력모듈(130)은 상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는데, 보다 구체적으로는 상기 두부 이미지의 골격 변화에 따라 피부 연조직을 변형시킨 예측 안면이미지를 화면상에 출력한다. 그리고 상기 이미지 출력모듈(130)은 상기 두부 이미지와 안면이미지와 정합이미지와 예측 안면이미지 등과 같은 단계별 이미지를 컴퓨터 화면 기타 단말기의 화면상에 시뮬레이션 단계별로 출력한다.

상기 정합모듈(120)은 상기 이미지 출력모듈(120)과 상기 이미지 저장모듈(141)과 함께 상기 컴퓨터를 정합수단과 이미지 생성/출력수단과 이미지 저장수단으로 기능시킨다. 그리고 상기 화면상에는 인터페이스 출력모듈(150)에 의해 상기 안면보정 이미지의 생성을 위한 유저 인터페이스가 출력되어 표시되며, 상기 제어부(110)는 상기 안면보정 이미지의 처리를 위하여 상기 모듈들을 제어한다.

한편, 상기 (a)단계(S120), 즉 정합이미지 생성단계는, 상기 안면이미지상에 설정되는 복수의 제1정렬점들(도 10 및 도 11 참조)과 상기 두부 이미지의 윤곽상에 상기 제1정렬점들에 대응되는 위치에 설정되는 제2정렬점들(도 10 및 도 11 참조)을 일치시켜서, 상기 안면이미지와 상기 두부 이미지를 중첩시킨다.

상기 제1정렬점들은 상기 안면이미지와 상기 두부 이미지의 중첩을 위하여 상기 안면이미지상에 설정되며, 상기 제2정렬점들은 상기 피부 연조직에 의해 상기 두부 이미지의 테두리를 형성하는 두부 윤곽상에 상기 제1정렬점들에 대응되는 위치에 설정된다.

즉 상기 제1정렬점들과 상기 제2정렬점들은 상기 안면의 동일 부분에 위치하도록 설정되며, 예를 들어 상기 제1정렬점들이 상기 안면이미지의 코끝과 턱끝에 설정되는 경우에 상기 제2정렬점들도 상기 두부 이미지의 코끝과 턱끝에 설정된다.

따라서, 상기 (a)단계(S120)는, 상기 제1정렬점들과 상기 제2정렬점들을 입력받는 (a1)단계(S110; 정렬점 입력단계), 그리고 상기 두부 이미지가 중첩된 상기 안면이미지, 즉 상기 정합이미지를 생성하여 상기 화면에 출력하는 (a2)단계(S120; 정합이미지 출력단계)를 포함할 수 있다.

이때, 상기 두부 이미지와 상기 안면이미지는 크기와 방향이 다를 수 있으므로, 상기 (a)단계(S120)는, 상기 두부 이미지와 상기 안면이미지의 크기와 방향을 동일하게 조절하는 (a3)단계(S130; 이미지 조절단계)를 더 포함하는 것이 바람직하다.

보다 상세하게 설명하면, 상기 제1정렬점들은 한 쌍의 안면 정렬점들, 예를 들면 상기 안면이미지상의 코끝점(제1코끝점)과 턱끝점(제1턱끝점)을 포함하고, 상기 제2정렬점들은 상기 안면 정렬점들에 대응되는 위치, 즉 안면의 동일 위치에 설정되는 한 쌍의 윤곽 정렬점들, 예를 들면 상기 두부 이미지상의 코끝점(제2코끝점)과 턱끝점(제2턱끝점)을 포함한다.

그리고, 상기 안면 정렬점들에 의해 형성되는 제1벡터와 상기 윤곽 정렬점들에 의해 형성되는 제2벡터의 크기와 방향을 일치시켜서 상기 (a3)단계(S130)가 수행된다.

상기 (a)단계는(S120), 상기 제1정렬점들을 상기 제2정렬점들에 일대 일로 맞대응시키기 위하여, 상기 (a1)단계(S110)의 전에 상기 제1정렬점들에 각각 형성되며 방향과 길이 조절이 가능한 정합 정렬선(도 10 및 도 11 참조)을 화면에 출력하는 (a4)단계(S140)를 더 포함할 수도 있다.

따라서, 사용자가 마우스 등의 UI(User Interface)를 이용하여 상기 정합 정렬선의 끝점을 클릭(Click)한 상태로 드래그(Drag)하여 상기 제2정렬점에 일치시키면, 상기 정합 모듈(120)이 상기 두부 이미지와 안면이미지 중 적어도 어느 하나를 이동시켜서 상기 두부 이미지와 안면이미지가 정확하게 중첩될 수 있다.

본 실시예에서 상기 (a)단계(S120)는, 상기 안면이미지에 설정된 정합 기준선(도 2 및 도 3 참조)에 의해 분할되는 상기 안면이미지의 단면상에 상기 두부 이미지를 중첩시켜 상기 정합이미지를 생성한다.

여기서 상기 정합 기준선은 상기 안면 이미지를 좌우로 양분하는 세로선이며, 상기 두부 이미지는 상기 안면교정 대상자의 두부를 얼굴의 정면과 90도를 이루는 측면에서 촬영한 측면 두부 이미지가 될 수 있다.

그리고 상기 (a)단계(S120), 특히 상기 정합이미지 출력단계인 (a2)단계(S120)는, 상기 두부 이미지가 상기 화면상에 출력되도록 두부 이미지에 의해 양측으로 분할된 상기 안면 이미지의 양측 부분 중 일측 부분을 상기 화면상에 투명하게 출력할 수도 있다.

다음으로, 상기 (b)단계(S130), 즉 예측 이미지 출력단계는, 상기 정합이미지의 피부 연조직을 변형에 따라 구현되는 예측 안면이미지를 화면상에 출력하는 단계로서, 보다 상세하게는 상기 두부 이미지의 골격 변화에 따라 피부 연조직을 변형시켜서 예측 안면이미지를 화면상에 출력하는 단계이다.

본 실시예에 있어서 상기 (b)단계(S130)는, 상기 두부의 골격변화에 대응하여 상기 피부 연조직의 변화를 산출하는 (b1)단계(S210), 그리고 상기 피부 연조직의 변화를 기반으로 상기 예측 안면이미지를 화면상에 출력하는 (b2)단계(S220)를 포함한다.

여기서 상기 두부의 골격변화는 치열의 이동과 두개골, 예를 들면 턱뼈(상악, 하악)나 광대뼈나 이마뼈 등의 형상변화 중 적어도 어느 하나를 말하며, 더 나아가 안면에 이식되어 피부 연조직을 지탱하는 보형물(예를 들면 코수술 보형물)에 의해 이루어질 수도 있다. 그리고 상기 (b2)단계(S220)는, 상기 예측 안면이미지상에 상기 피부 연조직의 변화를 나타내기 위한 등고선을 선택적으로 출력한다.

그리고 본 발명에 따른 안면보정 이미지 제공방법에 있어서 상기 (b)단계(S130)는, 사용자 및/또는 환자가 상기 예측 안면이미지의 시뮬레이션 전과 후의 모습을 비교할 수 있도록 시뮬레이션 전과 후의 모습을 동시에 또는 순차적으로 화면상에 출력할 수도 있다.

이하 본 발명에 따른 안면보정 이미지 제공방법의 수행을 위한 구체적인 단계를 순차적으로 보다 상세하게 설명한다.

1. 3차원 안면이미지

첫번째 단계에서는 3차원 스캐너를 통해 획득한 3D 얼굴 모델, 즉 상기 3차원 안면이미지을 화면상에 불러오고 상술한 정합 기준선의 설정 등과 같은 단계가 수행된다.

도 3을 참조하면, 사용자가 상기 인터페이스 출력모듈(150)에 의해 화면상에 표시되는 유저 인터페이스 중에 안면이미지 로딩을 위한 버튼(Load Face)을 누른 후, 이미지 데이터 상자에서 원하는 형태의 3차원 안면이미지 데이터를 선택하면, 상기 이미지 출력모듈(130)에 의해 컴퓨터 화면에 3차원 얼굴 모델, 즉 안면이미지가 출력된다.

그리고 상기 정합 기준선을 설정하기 위해서, 안면이미지를 줌기능을 사용하여 확대/축소하고 회전기능을 사용하여 안면이미지를 회전시킬 수 있다. 이를 위하여 상기 인터페이스 출력모듈(150)은 상기 화면의 일측에 회전바와 줌바 및 기준선 설정(Line) 트랙바를 출력하며, 이를 통해 안면이미지의 확대/축소, Z축 회전(Rotate Z), Y축 회전(Rotate Y), 정합 기준선 설정을 조절한다. 상기 Rotate Z 트랙바는 상기 안면이미지를 Z축(화면의 가로축 또는 세로축)을 중심으로 회전시키고, 상기 Rotate Y 트랙바는 상기 안면이미지를 Y축(화면의 세로축 또는 가로축, Z축에 직교)을 중심으로 회전시킨다. 그리고 Line 트랙바는 파란색 선(정합 기준선)을 좌우로 이동시킨다.

한편, 사용자가 화면상의 초기화(Initialize) 버튼을 누르면 상기 안면이미지의 확대비율과 회전과 정합 기준선의 위치가 초기화된다.

도 4 및 도 5를 참조하면, 상기 정합 기준선이 설정된 후, 고정(Fix) 버튼을 누르면, 2차원 상의 정합 기준선이 3차원 안면이미지에 투영되어 상기 이미지 출력모듈(130)이 프로파일(Profile) 라인(예를 들면 빨간색 라인)을 자동으로 출력하며, 상기 프로파일 라인 생성과 동시에 또는 순차적으로 코끝점, 턱끝점, 입술 양끝점 등과 같은 얼굴의 특징점들이 면상에 작은 점들로 자동으로 표시된다. 물론 상기 특징점들의 위치는 사용자에 의해 수동으로 지정되거나 보정될 수도 있다. 상기 안면이지지에서 특징점들을 검출하는 원리를 예를 들면 다음과 같다.

상기 3D 얼굴 모델, 즉 3차원 안면이미지는 일반적으로 메쉬(Mesh)와 텍스처(Texture) 이미지로 이루어지는데, 특징점을 자동으로 추출하기 위해서 상기 제어부(110)는 이들 메쉬의 기하학적 정보와 텍스처의 이미지 정보를 분석한다. 예를 들어, 상기 코끝점 (Pronasale)은 프로파일 라인 위에서 얼굴에서 가장 돌출된 점을 찾음으로써 검출되며, 입술 양끝점 (Cheilion)은 텍스처 이미지의 색상 분포(피부색과 입술색 영역)를 분석하여 입술영역를 구한 후 상기 입술영역의 양 끝부분을 찾음으로써 검출되며, 상기 턱끝점은 얼굴 윤곽선과 상기 프로파일 라인이 만나는 점인 얼굴의 하단점을 찾음으로써 검출될 수 있다. 상기 특징점의 추출 이유는 다음과 같다.

상기 특징점들은 환자의 얼굴상태를 분석하는데 사용될 수 있다. 보다 구체적으로 설명하면, 상기 특징점들을 연결하여 선을 생성함으로써, 얼굴의 특정부위(예를 들면 입술의 폭과 아래위 입술의 교합각도 등)에 대한 길이나 각도 등을 검출하고 기설정된 평균치와 비교하여 환자의 얼굴상태를 분석하고 진단하는데 사용될 수 있다.

그리고 상기 특징점은 3차원 안면이미지와 두부 이미지의 정합 기준점, 즉 정렬점으로 사용될 수 있다. 예를 들어 3D 얼굴 모델 상의 두 개의 특징점, 예를 들면 코끝점 (Pronasale) 과 턱끝점(Soft Tissue Gnathion) 이 차원 안면이미지와 두부 이미지의 정합 기준점으로 사용될 수 있다.

또한, 3차원 안면이미지의 상하 기울기를 조절하기 위한 목적으로 코-턱라인(Nose-Chin Line), 즉 후술하는 기울기선을 설정하는데 사용되며, 상기 기울기선은 상기 코끝점(Pronasale)과 턱끝점, 특히 턱끝 최전방점 (Soft Tissue Pogonion)을 연결함으로써 생성된다. 상기 특징점들은 화면상의 가상좌표를 기준으로 상기 데이터 파일(140)이나 데이터 베이스에 좌표값 형태로 저장되며, 상기 좌표값의 계산을 통해 얼굴의 특정부위에 대한 길이나 각도가 산출될 수 있다.

그리고 사용자가 마우스를 조작하면 상기 이미지 출력모듈(130)이 화면의 안면이미지를 회전시켜서 도 5에서와 같이 상기 3차원 안면이미지 위에 상기 프로파일 라인이 형성된 것을 확인할 수 있으며, 선택에 따라 상기 3차원 안면이미지에 상기 특징점들의 명칭이 표시될 수도 있다. 여기서 상기 안면이미지의 색상, 밝기, 명암 등이 조절되면 상기 안면이미지의 얼굴 톤이 조절되어 출력된다.

2. 두부 이미지

상기 3차원 안면이미지 작업의 전 단계 또는 다음 단계에서는 상기 이미지 출력모듈에 의해 두부 이미지가 화면상에 로딩되고, 상기 두부 이미지상에 지표점(Landmark Point)를 화면상에 출력하는 단계가 수행된다.

도 6 및 도 7에는 두부 이미지의 일 예인 측면 두부 이미지(Lateral Cephalometric X-Ray Image)가 화면에 출력된 것으로서, 상기 측면 두부 이미지는 얼굴의 정면에 대하여 90도 각도로 측면에서 촬영된 엑스레이 이미지이다. 상기 두부 이미지가 화면상에 로딩되면 명암(Contrast)와 밝기(Brightness) 값을 조절될 수 있으며, 인버터(Invert) 체크박스가 선택되면 흑백이 반전된 이미지가 출력될 수도 있다.

사용자가 수동으로 상기 두부 이미지의 소정 지점을 마우스로 클릭하면 상기 이미지 출력모듈이 그 지점에 형성되는 소정 형상, 예를 들면 파란색 십자 마크형상의 지표점을 화면상에 출력하나, 상기 지표점이 자동으로 설정되어 표시될 수도 있다. 그리고 상기 지표점들은 이동과 삭제가 가능하다.

상기 지표점의 좌표값은 상기 특징점의 좌표값과 함께, 상기 데이터 파일(140)이나 데이터 베이스에 저장된다.

한편, 상기 지표점들 중 일부에 의하여 상기 두부 이미지의 특정부분에 그 부분의 모형의 자동으로 나타날 수도 있다. 예를 들어 치아에 지표점들의 위치가 지정됨과 동시에 그 부분에 해당하는 치아 모형이 자동으로 두부 이미지에 표시된다.

보다 상세하게 설명하면, 예를 들어 상악 전치의 경우 사용자가 두 개의 지표점, 예를 들어 상기 두부 이미지상에 표시되는 상악 전치의 치근첨과 치관끝에 상기 지표점을 각각 설정하면, 이 점들을 연결하는 기설정된 형상의 상악 전치 모형(예를 들면 상악 전치 형상의 윤곽 라인)이 상기 치근첨과 치관끝의 거리와 각도를 바탕으로 크기, 위치, 회전값이 변환되어 상기 두부 이미지의 상악 전치에 중첩되어 표시된다.

그리고 상기 지표점들이 부드럽게 이어지도록 마우스를 이용하여 수동으로 상기 지표점들을 사이에 다수개의 보조점들이 설정되면, 상기 보조점들을 지나면서 상기 지표점들이 부드럽게 잇는 지표 곡선(Landmark Line)이 화면상에 출력된다.

상기 지표점들의 좌표는 상기 데이터 파일(140)이나 데이터 베이스 기타 메모리부 등의 데이터 저장부에 저장되며, 상기 인터페이스 출력모듈(150)에 의해 화면 우측에 표시되는 도구 상자에서 초기화 버튼(Initialize 버튼)을 누르면 여태까지 지정한 지표점들 및 지표곡선이 모두 사라져서 초기상태에서 다시 작업을 수행할 수 있다.

상기 지표점과 지표곡선이 형성됨으로써 환자의 두부에 대한 분석이 수행될 수 있으며, 상기 지표곡선은 상악(Maxilla)과 하악(Mandible) 등의 위치와 모양을 대략적으로 나타내며, 상악과 하악의 위치를 이동하거나 일부 영역을 절단함으로써 수술 시뮬레이션을 수행할 수 있다. 그리고 상기 지표점들을 직접 연결하거나 지표점으로부터 연장되는 보조선을 생성함으로써, 상악이나 하악 또는 턱선 등과 같은 다양한 부위의 형상과 특정 지점간의 길이와 각도를 검출할 수 있으며, 이러한 데이터들을 기설정된 평균치와 비교하는 분석 작업을 통해 환자의 상태를 진단/분석할 수 있다.

한편, 도 8은 상기 두부 이미지의 다른 예인 정면 두부 이미지로서 얼굴을 정면에서 촬영한 엑스레이 이미지이다. 상기 정면 두부 이미지에서도 상술한 지표점과 지표곡선의 생성 및 출력단계가 수행될 수 있으며, 예를 들어 안면교정을 수행하는 부위가 하악의 좌우측 턱선인 경우에 안면보정 수술 시뮬레이션을 수행하기 위해 상기 정면 두부 이미지가 이용될 수도 있다.

3. 정합이미지의 생성( Superimposition )

도 9 내지 도 13을 참조하면, 본 발명의 일 과정으로서 상기 3차원 안면이미지와 상기 두부 이미지를 3차원 좌표상에서 중첩하고 화면상에 바르게 정렬하는 단계가 상기 정합모듈(120)에 의해 수행된다.

상기 안면이미지는 3차원 공간상의 입체적인 객체이며, 상기 두부 이미지는 2차원 평면상의 객체이다. 이들 두 이미지를 공통의 3차원 좌표 공간상에서 중첩시키기 위해서, 상기 3차원 안면이미지의 프로파일 라인을 지나면서 얼굴을 좌우 대칭되게 양분하는 평면 위에 상기 두부 이미지, 예를 들면 전술한 측면 두부 이미지가 놓이도록 상기 안면이미지와 상기 두부 이미지가 중첩된다.

도 9의 화면은 상술한 방식으로 3차원 안면이미지와 두부 이미지가 공통의 3차원 좌표 공간의 화면상에 동시에 출력된 상태이다. 화면 우측의 도구 상자에서 아래 각각의 인터페이스 도구를 사용하면 화면이 조정될 수 있다.

(1) Opacity 1 : 3차원 안면이미지 전체의 투명도를 조절한다.

(2) Opacity 2 : 중심 평면에 의해 양분된 3차원 안면이미지의 두 부분 중 사용자의 시선에서 먼 쪽의 투명도를 조절한다.

(3) Contrast : 두부 이미지의 명암(Contrast) 값을 조절한다.

(4) Brightness : 두부 이미지의 밝기(Brightness) 값을 조절한다.

(5) Invert : 두부 이미지의 흑백을 반전한다.

도 10 및 도 11을 참조하면, 공통의 3차원 좌표 공간의 화면에 출력된 상기 3차원 안면이미지와 두부 이미지는 그 크기와 위치가 전혀 맞지 않고 회전값(측면에서 보았을 때 고개를 숙인 정도. 이후 얼굴의 기울기라고도 칭함)도 다를 수 있다.

상기 3차원 안면이미지와 두부 이미지의 크기와 위치 및 회전값을 일치시키기 위해서는 두 이미지 중 어느 한쪽의 크기, 위치 및 회전값(Scale, Rotate, Translate; 이하 SRT값)이 조절되어야 한다. 본 실시예에서는 상기 3차원 안면이미지를 기준으로 하여 상기 두부 이미지의 크기와 위치와 회전값을 변경하는 방식을 개시하나 이에 한정되는 것은 아니다.

상기 안면이미지와 두부 이미지의 상호 중첩에 대한 정확도를 높이기 위하여, 본 실시예에서는 상기 3차원 안면이미지와 두부 이미지에 대해서 복수의 대응점들, 예를 들면 두 쌍의 대응점을 설정하고 이들을 매칭(matching)시키는 방법을 개시한다.

상기 대응점들은 상기 안면이미지상에 설정되는 복수의 제1정렬점들과 상기 두부 이미지상에 설정되는 복수의 제2정렬점들을 포함한다. 여기서 상기 제2정렬점들은, 도 10 및 도 11에 도시된 바와 같이 상기 두부 이미지가 상기 측면 두부 이미지인 경우에, 피부 연조직에 의해 형성되는 상기 측면 두부 이미지의 테두리, 즉 윤곽라인상에 위치하며 상기 제1정렬점들에 대응되는 위치에 설정된다.

다시 말해서, 상기 제1정렬점들과 상기 제2정렬점들은, 상기 안면이미지와 두부 이미지에서 상기 얼굴의 동일 지점에 설정되는데, 본 실시예에서는 상기 제1정렬점들로서 한 쌍의 안면 정렬점들과 상기 제2정렬점들로서 한 쌍의 윤곽 정렬점들이 개시된다.

보다 구체적으로 설명하면, 본 실시예에서는 두 쌍의 대응점으로 상기 안면이미지와 두부 이미지 각각의 코끝점과 턱끝점을 선택하였다. 상기 3차원 안면이미지의 코끝점과 턱끝점이 상기 안면 정렬점이되고, 상기 두부 이미지의 코끝점과 턱끝점이 상기 윤곽 정렬점이 되도록 하였으나 이에 한정되는 것은 아니고 인중점이나 양미간점 등 다른 부분이 상기 정렬점으로 설정될 수도 있다. 상기 제2정렬점들, 즉 상기 코끝점과 턱끝점의 좌표값은 상기 데이터 파일이나 데이터 베이스 등의 데이터 저장부(140)에 저장된다.

그리고 상기 코끝점과 턱끝점의 좌표값을 이용하여 상기 3차원 안면이미지의 코끝점과 턱끝점을 연결하는 제1벡터를 생성하고 상기 두부 이미지의 코끝점과 턱끝점을 연결하는 제2벡터를 생성한 후, 상기 제1벡터와 제2벡터의 크기와 방향을 일치시키면 상기 안면이미지와 두부 이미지의 상기 SRT값이 동일하게 된다.

여기서 상기 3차원 안면이미지의 코끝점과 턱끝점의 위치는 상술한 특징점 추출에서 설정될 수도 있는데, 보다 상세하게는 상기 정합 기준선상에 위치하는 두개의 특징점, 예를 들면 상기 두부 이미지상의 코끝과 턱끝 두 개의 위치에 설정된다.

본 실시예에서는 상기 3차원 안면이미지상의 코끝과 턱끝에 X 표시로 정렬점이 표시되고, 상기 정렬점에서 각각 돌출되게 연장 형성되는 정합 정렬선이 화면 상에 표시될 수도 있으며, 상기 정합 정렬선의 끝에는 다른 색(예를 들면 빨간색)의 X 표시가 정합점으로 각각 표시된다. 상기 정합 정렬선은 방향과 길이의 조절이 가능하며, 따라서 사용자가 상기 정합점을 각각 마우스로 클릭/드래그하면 상기 정합선이 길이와 방향이 변화되고, 상기 두부 이미지상의 코끝점과 턱끝점에 각각 상기 정합 정렬선의 정합점을 위치시키면 두가지 이미지의 정합위치 기준이 설정된다. 여기서 상기 정합 정렬선은 사용자가 직관적으로 이해하기 쉽도록 하기 위함이며, 실제로는 두 쌍의 대응점의 위치를 찾아주는 것만으로도 두 이미지의 정합위치 기준의 설정이 가능하다.

상술한 바와 같이 상호 대응하는 코끝점과 턱끝점을 정확하게 연결한 후 화면상의 정합버튼(Match 버튼)을 누르면, 상기 두부 이미지의 크기, 위치, 회전값이 상기 안면이미지에 맞게 변화되고, 상기 두부 이미지와 상기 3차원 안면이미지가 정확하게 중첩된다.

한편, 상기 안면 이미지에서 상기 프로파일 라인을 제외한 나머지 부분이 투명하게 처리하여, 도 13에서와 같이 상기 두부 이미지와 상기 프로파일 라인만이 남은 정합이미지가 화면상에 선택적으로 출력될 수도 있으며, 이에 따라 상기 안면 이미지와 상기 두부 이미지의 중첩 정확도를 판별하는데 좀 더 편리하다. 이는 상술한 Opacity 1 트랙바가 조절됨에 따라 상기 이미지 출력모듈에(130) 의해 출력된다.

그리고, 도 13에 도시된 바와 같이,상기 이미지 출력모듈은 코끝점과 턱끝점을 연결하는 기울기선을 화면상에 출력할 수도 있으며, 상기 기울기선과 진수선(眞垂線))이 이루는 각도(True Vertical Line Angle; TVL 각도)가 표시된다. 본 실시예에서 상기 진수선은 화면의 수직 세로선에 평행한 방향의 가상선으로 가정하며, 상기 TVL 각도를 조정하여 얼굴의 기울기를 조절할 수 있다.

4. 예측 안면이미지의 출력

도 14를 참조하면, 상기 3차원 안면이미지의 프로파일 라인을 따라 중첩된 상기 두부 이미지에 의해 상기 3차원 안면이미지가 정확하게 잘린 정합이미지, 즉 반절단형 정합이미지를 볼 수 있다. 이에 따라 2차원의 두부 이미지와 3차원의 안면이미지의 중첩으로 얼굴 내부 골격 구조가 입체적으로 보이는 듯한 효과를 얻을 수 있다.

이를 위하여, 투명도 조절수단(Opacity 트랙바)를 이용하면 상기 두부 이미지에 의해 양분된 3차원 안면이미지의 우측 절반 부분의 투명도가 조절될 수 있다. 상기 반절단형 정합이미지는 사용자의 조작에 의해 원하는 방향으로 회전하여 출력될 수 있으며, 상기 이미지 출력모듈(130)은 도 14에서와 같이 상기 반절단형 정합이미지를 사용자가 원하는 방향으로 화면상에 출력한다.

그리고 상기 이미지 출력모듈(130)은 상기 (b)단계, 즉 예측 안면이미지 출력단계(S130)에서 상기 두부의 골격변화에 대응하여 상기 피부 연조직의 변화를 산출하고, 상기 피부 연조직의 변화를 기반으로 상기 예측 안면이미지를 화면상에 출력한다.

물론 역으로 상기 피부 연조직을 변화시키면 상기 두부의 골격변화(골조직 변화)가 수반되어 상기 화면상에 예측 안면이미지가 출력될 수도 있다. 이는 상기 두부의 골격변화에 대응하여 피부 연조직의 변화를 산출하는 방법의 역방향의 산출방법에 의해 수행될 수 있으며 구현원리는 동일하다.

상술한 골격변화에 따른 피부 연조직의 변화의 일 예를 보다 구체적으로 설명하면, 사용자가 상기 화면 우측의 치아(Teeth) 체크박스를 선택하면 상기 두부 이미지의 지표점 및 지표곡선 설정과정에서 상기 두부 이미지의 해당 치아 부분에 중첩되는 치아 모형이 치아 테두리를 형성하는 윤곽 라인 형태로 나타난다. 그리고 상기 정합이미지의 두부 이미지상에서 상기 치아 모형, 예를 들면 위아래 전치 모형의 위치 및 방향을 마우스를 이용해 변경하면, 상기 치아 모형의 변화에 따른 피부 연조직(soft tissue)의 변화가 화면상에 출력된다.

예를 들어, 사용자가 위/아래 앞니(전치) 모형의 치관끝에 설정된 지표점을 마우스로 클릭하여 앞뒤로 이동하면 상기 전치 모형의 위치변화에 따라 위/아래 입술 부위가 자연스럽게 앞뒤로 이동한다. 일반적으로 상기 위/아래 입술 부위의 변형 정도는 앞니 모델의 끝부분의 이동량에 비례한다. 이때 입술의 가장 돌출된 부위(입술 중앙부)가 가장 많이 변형되며, 입술 위아래 방향, 그리고 양쪽 끝 방향으로 갈수록 변형되는 정도가 점점 줄어든다. 즉, 상악 전치가 움직이는 경우에 이와 연동하여 변화되는 연조직 변형영역(예를 들어 입술부위)이 기설정되고, 상기 연조직 변형영역 내에서 부위별 변형률이 설정되면 이를 기준으로 안면이미지의 변형량이 산출하고 상기 변형량을 바탕으로 해당 부위의 피부 연조직이 변화된 안면 이미지가 화면상에 출력된다.

상기 입술의 변화를 위하여, 본 발명에서는 상기 치아의 위치 및 방향 변화에 대응하여 상기 피부 연조직, 즉 입술의 변화량과 변화영역을 산출하는데, 다양한 환자들의 시술 데이터가 데이터 파일(140)에 저장되고, 이러한 데이터를 기준으로 평균치가 도출되며 상기 평균치를 기준으로 치관끝의 변화량에 따른 입술의 변형률이 결정되고 상기 변형률을 바탕으로 입술의 형태 변화가 구현됨으로써 안면이미지가 변화된다. 상기 입술의 변형값은 수식화되어 자동으로 연산될 수도 있다.

즉, 다양한 환자들의 시술 데이터를 기준으로 피부 연조직의 변형부위와 변형값(변형률)이 결정되거나, 정해진 수식에 의하여 피부 연조직의 변형값을 자동으로 연산(파라미터 값은 사용자 입력 가능)하는 방식 중 적어도 하나의 방식이 수행될 수 있으며, 두 가지 방식이 복합적으로 적용될 수도 있다.

예를 들어, 상기 제어부(110)는 피부 연조직의 변형 부위에 대해서 시술 데이터가 존재하는 경우에 상기 시술 데이터를 이용하여 변형값을 도출할 수 있고, 시술 데이터가 없는 부위에 대해서는 적절한 수식을 이용해서 변형값을 산출한다.

구체적인 예로서, 상악/하악 전치의 이동에 의해 위/아래 입술 최전방점(Labrale Superius / Labrale Inferius)이 가장 많이 변형되는데, 이 부위의 변형량은 (위/아래 앞니 모형의 끝부분의 이동량) * (사용자가 입력한 변형률 또는 시술 데이터를 기반으로 도출된 변형률)로 계산될 수 있다.

그리고, 변형이 일어나는 전체 영역은 특징점을 기준으로 설정될 수 있다. 상악/하악 전치의 이동시 피부 연조직의 변화부위는 수직 방향으로는 코밑점 (Subnasale)부터 턱끝 최전방점까지, 수평 방향으로는 좌우 입술끝점(Right/Left Cheilion)에서 일정 거리 이내의 영역까지로 설정될 수 있으나 이러한 피부 연조직의 변형부위는 다양한 임상실험 결과, 즉 시술 데이터에 따라 변경될 수 있다.

이때, 피부 연조직 중에서 가장 많은 변형이 수반되는 위/아래 입술 최전방점으로부터 상하 방향 및 양쪽 끝 방향으로 갈수록 변형되는 정도가 점점 감소한다. 변화량의 감소를 산출하는 방식의 일 예로서 사인함수(Sine Function)를 이용할 수 있는데 매우 단순하긴 하지만 효과적이다.

상술한 방법을 이용하여, 특정 부분의 골격, 예를 들면 치아 영역이 변화되는 경우에 이와 연동하여 변화되는 피부 연조직 부위와 그 부위의 변형률이 국소 부분별로 결정되어 본 발명에 따른 안면보정 이미지 제공방법으로 구현되면 입체적인 안면 변형을 가상의 이미지로 출력할 수 있다.

물론 상기 치아 모델의 변화에 따른 입술의 변형 비율은 도 15에서와 같이 입력창을 통해 사용자가 직접 입력할 수도 있는데, 그 이유는 시술자마다 변형 비율에 관한 이론 및 기준이 조금씩 다를 뿐만 아니라, 입술 두께 등과 같은 환자의 특성에 따라서도 이 비율이 조금씩 달라지기 때문이다.

상기 치아 이외의 다른 부위, 예를 들면 광대뼈가 변화되는 경우에는 상기 광대뼈의 변화와 연동하여 변형되는 연조직 변형영역과 그 부분의 국소 부위별 변형비율도 별도로 설정된다.

도 17에서와 같이 화면 우측의 윗입술(Upper Lip) 트랙바와 아래입술(Lower Lip) 트랙바를 조절하면, 위아래 입술의 위치가 각각 상하 방향으로 조절되어 화면상에 출력될 수 있다.

그리고 본 발명에 따르면, 아랫입술 끝에서 목부분까지를 연결한 라인을 교정하는 시뮬레이션을 수행할 수도 있으며, 이 라인 위에 놓인 여러 개의 교정점(control point)들의 위치를 마우스로 이동하여 라인의 모양을 변형하면 턱부분의 모양이 자연스럽게 변형되어 최적의 안면형태를 도출할 수 있게 된다.

한편, 상기 이미지 출력모듈(130)은, 상기 측면 두부 이미지와 상기 정면 두부 이미지가 수직하게 교차하는 상태로 중첩된 중첩 이미지를 화면상에 출력할 수도 있으며, 이러한 이미지는 선택적으로 수행된다. 이는 상기 측면 두부 이미지를 화면상에서 일정 각도로 회전시켜 출력하고 상기 측면 두부 이미지에 수직하게 교차하도록 상기 정면 두부 이미지를 화면상에 회전시켜서 출력하는데, 이때 상기 측면 두부 이미지에 의해 상기 정면 두부 이미지는 양분된 형태가 되며, 상기 정면 두부 이미지는 상기 3차원 안면이미지와 상기 측면 두부 이미지와 함께 중첩된 형태가 될 수 있고, 이때 상기 3차원 안면이미지의 투명도 조절에 의해 상기 정면과 측면 두부 이미지만이 화면상에 보여질 수도 있다.

다음으로, 도 19를 참조하면, 상기 이미지 출력모듈(130)은 상기 (b)단계에서 상기 시뮬레이션 전과 후의 모습, 즉 시술전의 모습과 예측 안면이미지를 동시에 하나의 화면에 출력하거나 순차적으로 화면에 출력하는 비교화면 출력단계를 수행할 수도 있다.

다시 말해서, 화면 우측의 Before 버튼과 After 버튼을 번갈아 누르면서 시뮬레이션 이전과 이후의 모습을 비교해 볼 수 있다. 그리고 도 20에서와 같이 상기 예측 안면이미지상에 등고선이 출력될 수도 있다.

그리고 화면 우측의 등고선(Contour) 박스를 선택하면 앞니의 이동에 의한 입술 부위와 턱부분의 변형된 정도를 등고선 형태로 볼 수 있다. 변형된 정도가 동일한 부분을 연결하여 하나의 라인이 생성되며, 일정 간격의 여러 변형값에 대해서 각각 이와 같은 라인을 그려준다. 등고선에 마우스 포인터를 올려놓으면 실제 변형값이 mm 단위로 출력될 수도 있다. 상기 등고선은 골격변화에 따른 피부 연조직의 변형값을 바탕으로 화면상에 출력된다.

한편 본 발명은, 컴퓨터를, 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합수단과 상기 두부 이미지의 골격 변화에 따라 피부 연조직을 변형시켜서 예측 안면이미지를 화면상에 출력하는 이미지 출력수단으로 기능시키기 위한 안면보정 이미지 제공 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 또는 상기 프로그램을 네트워크을 통해 제공하도록 상기 컴퓨터로 읽을 수 있는 프로그램을 기록한 시스템 서버 등의 장치로 제공될 수도 있다. 상기 기록매체는 전술한 안면보정 이미지 제공방법의 각 단계를 구현하기 위한 프로그램이 수록될 수 있다.

상기와 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다.

그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

S120: 정합이미지 생성단계 S130: 예측 안면이미지 출력단계
110: 제어부 120: 정합모듈
130: 이미지 출력모듈 140: 데이터 저장부
141: 이미지 저장모듈 150: 인터페이스 출력모듈
210: 제1이미지 획득유닛 220: 제2이미지 획득유닛

Claims (16)

1. 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지(Cephalomeric Image)와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 (a)단계; 그리고
   상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 (b)단계를 포함하는 안면보정 이미지 제공방법.
2. 제1항에 있어서,
   상기 (a)단계는;
   상기 안면이미지와 상기 두부 이미지의 중첩을 위하여 상기 안면이미지상에 설정되는 복수의 제1정렬점들과, 상기 피부 연조직에 의해 형성되는 상기 두부 이미지의 윤곽상에 상기 제1정렬점들에 대응되는 위치에 설정되는 제2정렬점들을 일치시켜서, 상기 안면이미지와 상기 두부 이미지를 중첩시키는 안면보정 이미지 제공방법.
3. 제2항에 있어서,
   상기 (a)단계는;
   상기 제1정렬점들과 상기 제2정렬점들을 입력받는 (a1)단계, 그리고
   상기 두부 이미지가 중첩된 상기 안면이미지를 상기 화면에 출력하는 (a2)단계를 포함하는 안면보정 이미지 제공방법.
4. 제3항에 있어서,
   상기 (a)단계는; 상기 두부 이미지와 상기 안면이미지의 크기와 방향을 동일하게 조절하는 (a3)단계를 더 포함하는 안면보정 이미지 제공방법.
5. 제4항에 있어서,
   상기 제1정렬점들은 한 쌍의 안면 정렬점들을 포함하고; 상기 제2정렬점들은 상기 안면 정렬점들에 대응되는 위치의 한 쌍의 윤곽 정렬점들을 포함하며; 상기 안면 정렬점에 의해 형성되는 제1벡터와 상기 윤곽 정렬점들에 의해 형성되는 제2벡터의 크기와 방향을 일치시켜서 상기 (a3)단계를 수행하는 안면보정 이미지 제공방법.
6. 제3항에 있어서,
   상기 (a)단계는; 상기 제1정렬점들을 상기 제2정렬점들에 일대 일로 맞대응시키기 위하여, 상기 (a1)단계의 전에 상기 제1정렬점들에 각각 형성되며 방향과 길이 조절이 가능한 정합 정렬선을 화면에 출력하는 (a4)단계를 더 포함하는 안면보정 이미지 제공방법.
7. 제2항에 있어서,
   상기 (a)단계는, 상기 안면이미지에 설정된 정합 기준선에 의해 분할되는 상기 안면이미지의 단면상에 상기 두부 이미지를 중첩시켜 상기 정합이미지를 생성하는 안면보정 이미지 제공방법.
8. 제7항에 있어서,
   상기 정합 기준선은 상기 안면 이미지를 좌우로 양분하는 세로선이며; 상기 두부 이미지는 상기 안면교정 대상자의 두부를 얼굴의 정면과 90도를 이루는 측면에서 촬영한 측면이미지인 안면보정 이미지 제공방법.
9. 제1항에 있어서,
   상기 (a)단계는; 상기 두부 이미지가 상기 화면상에 출력되도록 두부 이미지에 의해 분할된 상기 안면 이미지의 일측 부분을 상기 화면상에 투명하게 출력하는 안면보정 이미지 제공방법.
10. 제1항에 있어서,
    상기 (b)단계는;
    상기 두부의 골격변화에 대응하여 상기 피부 연조직의 변화를 산출하는 (b1) 단계, 그리고
    상기 피부 연조직의 변화를 기반으로 상기 예측 안면이미지를 화면상에 출력하는 (b2)단계를 포함하는 안면보정 이미지 제공방법.
11. 제10항에 있어서,
    상기 피부 연조직의 변화는, 상기 두부의 골격변화는 치열의 이동과 두개골의 형상변화 중 적어도 어느 하나에 의해 이루어지는 안면보정 이미지 제공방법.
12. 제10항에 있어서,
    상기 (b2)단계는, 상기 예측 안면이미지상에 상기 피부 연조직의 변화를 나타내기 위한 등고선을 선택적으로 출력하는 안면보정 이미지 제공방법.
13. 제1항에 있어서,
    상기 (b)단계는, 상기 예측 안면이미지의 시뮬레이션 전과 후의 모습을 동시에 또는 순차적으로 화면상에 출력하는 안면보정 이미지 제공방법.
14. 안면교정 대상자의 두개골 이미지를 갖는 두부 이미지(Cephalomeric Image)와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합 모듈; 그리고
    상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력모듈을 포함하는 안면보정 이미지 제공시스템.
15. 안면교정 대상자의 두개골 이미지를 갖는 2차원 두부 이미지를 획득하는 제1이미지 획득유닛;
    상기 안면교정 대상자의 안면을 촬영하여 3차원 안면이미지를 획득하는 제2이미지 획득유닛;
    상기 두부 이미지와 상기 3차원 안면이미지를 전송받아 저장하는 이미지 저장모듈;
    상기 이미지 저장모듈에 저장된 상기 두부 이미지와 상기 안면이미지를 중첩하여 정합이미지를 생성하는 정합모듈; 그리고
    상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력모듈을 포함하여 구성되는 안면보정 이미지 제공 컴퓨터시스템.
16. 컴퓨터를,
    안면교정 대상자의 두개골 이미지를 갖는 두부 이미지와 상기 안면교정 대상자의 3차원 안면이미지를 중첩하여 정합이미지를 생성하는 정합수단; 그리고
    상기 정합이미지의 피부 연조직을 변형에 따른 예측 안면이미지를 화면상에 출력하는 이미지 출력수단으로 기능시키기 위한 안면보정 이미지 제공 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images