KR20150107064A - 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치 - Google Patents

Abstract

본 발명은 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치에 관한 것으로서, 스캔 시 동시에 얼굴 추적(Face Tracking)을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써, 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 RGB 영상을 취득하면서 촬영시점 정보를 동시에 기록함으로써, 3차원 스캔과정을 손쉽게 하도록 함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 것을 특징으로 한다.

Description

얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치{3D SCANNING DEVICE FOR FACIAL PLASTIC SURGERY SIMULATING}

본 발명은 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치에 관한 것으로서, 더욱 상세하게는 스캔 시 동시에 얼굴 추적(Face Tracking)을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써, 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 RGB 영상을 취득하면서 촬영시점 정보를 동시에 기록할 수 있는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치에 관한 것이다.

종래 3차원 스캔 장치와 관련해서는, 한국공개특허 제10-2013-0011586호(이하, 선행문헌) 외에 다수 등록 및 공개되어 있다.

상기한 선행문헌은, 제 1 구조광을 투사하고, 상기 제 1 구조광이 투사된 제 1 구조광 영상을 출력하도록 구성되는 제 1 3차원 스캐너; 제 2 구조광을 투사하고, 상기 제 2 구조광이 투사된 제 2 구조광 영상을 출력하도록 구성되는 제 2 3차원 스캐너; 그리고 상기 제 1 3차원 스캐너와 상기 제 2 3차원 스캐너로부터 상기 제 1 구조광 영상과 상기 제 2 구조광 영상을 수신하여 3차원 형상을 복원하도록 구성되는 3차원 형상 복원기를 포함한다.

상기한 선행문헌 및 기존의 이동형 3차원 스캔 시스템의 경우, 미리 정해진 촬영시점들로 사용자가 3차원 스캐너를 위치하여 촬영해 주어야 하는 불편함이 있고, 균일한 빛 조건을 만들어주는 조명 시스템이 부재하여, 텍스처 매핑시 다양한 시점에서 촬영된 RGB 영상의 광도(Luminosity) 차이로 인하여 경계선 색상 차이(Seam Artifact)가 발생되는 문제점이 있다(도 1a 참조).

이러한 문제점을 극복하기 위하여, 블렌딩 알고리즘을 통해 겹친 부분의 색상차이를 줄이게 된다. 그러나, 이 경우에도 알고리즘 수행을 위한 추가적인 계산시간이 필요하며, 원본 영상에 변형이 생겨서 의학적 관찰에 영향을 미치는 문제가 발생한다.

이런 제한으로 인해 환자의 만족도를 높이고 의사에게 보다 안전하고 편리하게 수술계획을 세울 수 있도록 보조해주는 3차원 스캔 시스템의 보급이 어려운 문제가 있다.

한국공개특허 제10-2013-0011586호.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명은 휴대용(Hand-held) 3차원 스캐너 장치로서, 스캔 시 동시에 얼굴 추적(Face Tracking)을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써, 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 RGB 영상을 취득하면서 촬영시점 정보를 동시에 기록함으로써, 3차원 스캔과정을 손쉽게 하도록 함에 그 목적이 있다.

이러한 기술적 과제를 달성하기 위한 본 발명은 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치에 관한 것으로서, 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 것을 특징으로 한다.

또한 상기 3차원 스캔장치는, 3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식하는 스캐너 위치 추적부; 인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출하는 얼굴 추적부; 얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 상기 얼굴 추적부를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어하는 카메라 시점 판단부; 및 상기 카메라 시점 판단부를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장하는 촬영부; 를 포함하는 것을 특징으로 한다.

또한 상기 얼굴 추적부는, 입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용하는 것을 특징으로 한다.

또한 상기 3차원 스캔장치는, TSDF Volume 상에 상기 얼굴 추적부를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단하는 스캔 판단부; 를 포함하는 것을 특징으로 한다.

그리고 상기 스캔 판단부는, TSDF 값이 업데이트 된 적이 없는지 판단하거나, 가중치(Weight) 값으로 업데이트 횟수를 추정하여 업데이트 횟수가 특정 임계값 이하인지를 판단하여, 스캔이 되지 않는 부분을 판단하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 이동이 불가능하고 운영을 위한 공간적 제약을 가지는 기존의 고정형 3차원 스캔 시스템의 문제점을 휴대용(Hand-held) 3차원 스캐너를 채용함으로써 개선하고, 기존의 이동형태의 3차원 스캐너의 RGB 영상 촬영을 위해 미리 정해진 시점으로 사용자가 수동으로 움직여서 촬영을 수행하고 RGB 영상의 겹치는 부분의 블렌딩 알고리즘 수행에 따른 계산량 증가 문제와 블렌딩 적용 영역의 영상 변형 문제를 개선함으로써, 손쉽게 활용 가능하며, 보다 안전하고 편안한 성형 시뮬레이션 시스템을 구축할 수 있는 효과가 있다.

도 1a 는 종래의 고정형 3차원 스캐너를 보이는 일예시도.
도 2 는 본 발명에 따른 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템을 개념적으로 도시한 전체 구성도.
도 3 은 본 발명에 따른 얼굴 추적부를 통한 추출한 피치, 롤, 요 등으로 움직이는 머리 자세와 얼굴 방향과 센서로부터 얼굴까지의 거리를 보이는 일예시도.
도 4 는 본 발명에 따른 촬영부를 통해 촬영된 RGB 영상을 보이는 일예시도.
도 5 및 도 6 은 본 발명에 따른 3차원 스캔장치의 형태를 보이는 일예시도.
도 7 은 본 발명에 따른 3차원 스캔장치의 스캔방법을 보이는 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치에 관하여 도 2 내지 도 7 을 참조하여 설명하면 다음과 같다.

도 2 는 본 발명에 따른 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치(100)를 개념적으로 도시한 전체 구성도이다.

본 발명에 따른 3차원 스캔장치(100)는 휴대용(Hand-held) 3차원 스캐너로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 기능을 수행하는 바, 도시된 바와 같이 스캐너 위치 추적부(110), 얼굴 추적부(120), 카메라 시점 판단부(130), 스캔 판단부(140) 및 촬영부(150)를 포함한다.

구체적으로, 스캐너 위치 추적부(110)는 ICP(Iterative Closest Point) 알고리즘을 이용하여, 3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식한다.

여기서, ICP(Iterative Closest Point)은 컴퓨터 그래픽스에서 주로 사용되는 알고리즘으로서, 어떠한 모델에 대한 측정 데이터가 있을 때, 이 측정 데이터를 모델에 매칭하기 위해 스케일 변환, 회전 및 이동 등을 계산하는 방법에 관한 것이다.

얼굴 추적부(120)는 인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출한다.

여기서, 얼굴 추적부(120)는 입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용한다.

도 3 에는 피치(Pitch), 롤(Roll), 요(Yaw) 등으로 움직이는 머리 자세(Head Pose)(a)와, 얼굴 방향과 센서로부터 얼굴까지의 거리(b)를 나타낸다.

카메라 시점 판단부(130)는 얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 얼굴 추적부(120)를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어한다. 여기서, 한번 촬영이 수행된 카메라 시점에 다시 도달하게 되면, RGB 촬영을 다시 수행하지 않도록 제어한다.

이때, 카메라 시점 판단부(130)는 얼굴 전체를 최적으로 촬영하기 위하여, 정면, 좌, 우 등 여러 위치에 대한 카메라 시점을 미리 설정하며, 이는 의사가 주로 환자를 관찰하는 시점에 관한 정보를 입력받아 생성할 수 있다.

한편, 스캔이 되지 않거나, 미흡한 부분이 발생할 수 있다. 이에 따라, 본 발명에 따른 스캔 판단부(140)는 스캔이 되지 않거나, 미흡한 부분에 대해서 얼굴위치를 도식화하여 스캔 품질 향상을 위한 사용성을 높일 수 있다.

즉, 스캔 판단부(140)는 TSDF Volume 상에 얼굴 추적부(120)를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단한다.

더욱 구체적으로, 스캔 판단부(140)는 얼굴의 부위별 복셀(Voxel) 정보를 확인하여, TSDF 값이 업데이트 된 적이 없는지 여부를 판단하여, 없는 경우 해당 부분을 스캔이 되지 않은 부분이라고 판단한다.

또한, 스캔 판단부(140)는 가중치(Weight) 값으로 업데이트 횟수를 추정하여, 업데이트 횟수가 특정 임계값 이하인지 여부를 판단하여, 이하인 경우 거리측정의 오차가 충분히 퓨전(Fusion)되지 않았다고 판단하여, 해당 부분을 표면이 매끄럽게 스캔되지 않는 부분 즉, 스캔이 미흡한 부분이라고 판단한다.

촬영부(150)는 카메라 시점 판단부(130)를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부(130)의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장한다. 이때, 촬영된 RGB 영상은 도 4 에 도시된 바와 같으며, 촬영부(150)는 촬영된 정보를 스캐너 위치 추적부(110)로 전송할 수 있다.

한편, 3차원 스캔장치(100)의 형태 및 스캔방법은 도 5 내지 도 7 에 도시된 바와 같으며, 도시된 바와 같이, 그 외부에 IR 프로젝션(a), RGB CMOS 센서(b), IR CMOD 센서(c), 배터리가 내장된 LED 조명(d) 등이 형성되어 있으며, 그 하단으로 손잡이(e) 및 기타장치와 인터페이스될 수 있는 USB 인터페이스 장치(f)가 연결될 수 있다.

본 실시예에서, 도 5 에 나타낸 바와 같이 3차원 스캔장치(100)에 Active 방식인 Structure Light 카메라가 적용되는 것으로 설정하였으나, 본 발명이 이에 한정되지 않는 바, Time-of-Flight(TOF) 깊이 카메라, Passive 방식인 Stereo Vision 카메라 등과 같이 깊이 맵(Depth Map)을 출력해주는 카메라는 모두 사용될 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

100: 3차원 스캔장치
110: 스캐너 위치 추적부
120: 얼굴 추적부
130: 카메라 시점 판단부
140: 스캔 판단부
150: 촬영부

Claims (5)

1. 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치.
   
2. 제 1 항에 있어서,
   상기 3차원 스캔장치는,
   3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식하는 스캐너 위치 추적부;
   인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출하는 얼굴 추적부;
   얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 상기 얼굴 추적부를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어하는 카메라 시점 판단부; 및
   상기 카메라 시점 판단부를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장하는 촬영부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치.
   
3. 제 2 항에 있어서,
   상기 얼굴 추적부는,
   입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치.
   
4. 제 2 항에 있어서,
   상기 3차원 스캔장치는,
   TSDF Volume 상에 상기 얼굴 추적부를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단하는 스캔 판단부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치.
   
5. 제 4 항에 있어서,
   상기 스캔 판단부는,
   TSDF 값이 업데이트 된 적이 없는지 판단하거나, 가중치(Weight) 값으로 업데이트 횟수를 추정하여 업데이트 횟수가 특정 임계값 이하인지를 판단하여, 스캔이 되지 않는 부분을 판단하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치.

Images