KR20170135758A

KR20170135758A - 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치

Info

Publication number: KR20170135758A
Application number: KR1020170067150A
Authority: KR
Inventors: 우운택; 장영균; 정은아; 김성실; 유정민
Original assignee: 한국과학기술원
Priority date: 2016-05-30
Filing date: 2017-05-30
Publication date: 2017-12-08
Also published as: KR101904192B1

Abstract

본 발명은 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치에 관한 것이다.
또한, 본 발명에 따르면, 컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치가 제공된다.

Description

공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치{User -independent Face Landmark Detection and Tracking Apparatus for Spatial Augmented Reality Interaction}

본 발명은 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치에 관한 것이다.

IllumiRoom [9]과 RoomAlive [8]와 같은 공간형 증강현실(SAR, Spatial Augmented Reality)은 실제 환경에 가상 객체를 투사(projection)하여 몰입감을 높여준다.

이와 같은 공간형 증강현실 환경에서 사용자는 투사된 가상 객체와 상호 작용을 하기 위하여 벽면을 접촉할 필요가 있다.

HMD(Head mounted Display)를 착용하지 않고 얼굴의 위치와 방향을 측정하는 것이 어렵기 때문에, 얼굴 자세를 측정하거나 얼굴 랜드마크를 검출하고 추적하는 것은 공간형 증강현실 환경에서 자연스러운 상호 작용이 가능하도록 하는 다양한 인터렉티브(interactive)한 해결점을 제시한다. 여기에서, 얼굴 방향은 사용자의 시선 방향을 의미한다.

더욱이, 모델 독립형 얼굴 랜드마크 검출과 추적 기술은 공간형 증강현실 환경에서 다양한 사용자를 지원할 수 있도록 한다.

그 결과, 실내 환경에서 모델 독립형 얼굴 랜드마크 검출과 추적 기술에 기반하면 HoloLens[1]과 Oculus[2]와 같은 무거운 HMD를 착용하지 않고도, 사용자에게 몰입감 있는 경험을 제공한다.

그러나 공간형 증강현실 환경에서는 실제 공간에 투사되는 컨텐츠들이 빠르게 이동하고 변화됨에 따라 방의 조명 변화가 매우 심하게 발생하고 사용자들의 얼굴의 위치와 방향 또한 끊임없이 변화하는데, 이런 상황에서 기존의 RGB 기반의 특징점 검출 방법은 조명변화 및 얼굴 회전에 강건하지 못하다는 어려움이 존재한다.

1. Microsoft HoloLens. https://www.microsoft.com/microsoft-hololens/, accessed Sep. 25,2015 2. Oculus VR. https://www.oculus.com/, accessed Sep. 25, 2015 3. Ahonen, T., Hadid, A., Pietikainen, M.: Face description with local binary patterns: Application to face recognition. IEEE Trans. Pattern Anal. Mach. Intell. 28(12), 2037-2041 (Dec2006) 4. Cao, C., Weng, Y., Lin, S., Zhou, K.: 3d shape regression for real-time facial animation. ACM Trans. Graph. 32(4), 41:1-41:10 (Jul 2013) 5. Dalal, N., Triggs, B.: Histograms of oriented gradients for human detection. In: Schmid, C.,Soatto, S., Tomasi, C. (eds.) International Conference on Computer Vision & Pattern Recognition. vol. 2, pp. 886-893. INRIA Rhone-Alpes, ZIRST-655, av. de l'Europe, Montbonnot-38334 (June 2005), http://lear.inrialpes.fr/pubs/2005/DT05 6. Denning, P.J.: The locality principle. Commun. ACM 48(7), 19-24 (Jul 2005) 7. Jang, Y., Woo, W.: Local feature descriptors for 3d object recognition in ubiquitous virtual reality. In: 2012 International Symposium on Ubiquitous Virtual Reality, Daejeon, Korea(South), August 22-25, 2012. pp. 42-45 (2012) 8. Jones, B., Sodhi, R., Murdock, M., Mehra, R., Benko, H., Wilson, A., Ofek, E., MacIntyre, B., Raghuvanshi, N., Shapira, L.: Roomalive: Magical experiences enabled by scalable, adaptive projector-camera units. In: Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology. pp. 637-644. UIST'14, ACM, New York, NY,USA (2014) 9. Jones, B.R., Benko, H., Ofek, E., Wilson, A.D.: Illumiroom: peripheral projected illusions for interactive experiences. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. pp. 869-878. CHI'13, ACM, New York, NY, USA (2013), http://doi.acm.org/10.1145/2470654.2466112 10. Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision 60(2), 91-110 (Nov 2004) 11. Lucas, B.D., Kanade, T.: An iterative image registration technique with an application to stereo vision. In: Proceedings of the 7th International Joint Conference on Artificial Intelligence- Volume 2. pp. 674-679. IJCAI'81, Morgan Kaufmann Publishers Inc., San Francisco,CA, USA (1981) 12. Shotton, J., Girshick, R., Fitzgibbon, A., Sharp, T., Cook, M., Finocchio, M., Moore, R.,Kohli, P., Criminisi, A., Kipman, A., Blake, A.: Efficient human pose estimation from single depth images. Trans. PAMI (2012) 13. Tang, D., Chang, H.J., Tejani, A., Kim, T.K.: Latent regression forest: Structured estimation of 3D articulated hand posture. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (June 2014) 14. Viola, P., Jones, M.: Rapid object detection using a boosted cascade of simple features. In:Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. vol. 1, pp. I-511-I-518 vol.1 (2001) 15. Wang, H., Klaser, A., Schmid, C., Liu, C.L.: Action recognition by dense trajectories. In:Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. pp.3169-3176. CVPR'11, IEEE Computer Society, Washington, DC, USA (2011)

본 발명은 상기와 같은 문제점을 해결하기 위하여, 공간형 증강현실 (SAR, Spatial Augmented Reality) 환경에서도 사람의 얼굴을 강건하고 일관성 있게 검출 및 추적할 수 있도록 하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치를 제공하는 데 있다.

본 발명의 일 측면은 컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함한다.

또한, 본 발명의 일 측면의 상기 영상 획득부는 컬러 영상과 깊이 영상을 촬영할 수 있는 RGB-D 카메라를 구비하여 컬러 영상과 깊이 영상을 획득한다.

또한, 본 발명의 일 측면의 상기 얼굴 특징 검출부는 상기 영상 획득부에서 획득한 영상에서 얼굴 영역을 검출하는 얼굴 검출기; 상기 얼굴 검출기에서 검출한 얼굴 영상의 컬러 영상으로부터 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 국부 이진 패턴을 산출하는 국부 이진 패턴 산출기; 상기 얼굴 검출기에서 검출한 얼굴 영상의 깊이 영상으로부터 국부 표면 법선 벡터(Local Surface Normal Vector)를 생성하는 표면 법선 산출기; 상기 표면 법선 산출기가 생성한 각 픽셀의 국부 표면 법선 벡터에 국부 원리(Locality Principle)를 적용하여 국부 각 패턴(LAP : Local Angular Pattern)을 산출하는 국부 각 산출기; 및 상기 국부 이진 패턴 산출기에서 산출한 국부 이진 패턴과 상기 국부 각 산출기에서 산출하는 국부 각 패턴을 결합하여 얼굴 특징을 형성하는 혼합기를 포함한다.

또한, 본 발명의 일 측면의 상기 국부 이진 패턴 산출기는 얼굴 영상에 LBP(Local Binary Pattern) 기법을 적용하여 국부 이진 패턴을 산출한다.

또한, 본 발명의 일 측면의 상기 표면 법선 산출기는 깊이 영상으로부터 3차원 객체의 기하정보를 표현하는 국부 표면 법선 벡터(Local Surface Normal Vector)를 추출할 때에 카메라 좌표계와 국부 얼굴 좌표계간의 변환을 위한 회전 행렬의 역행렬을 카메라 좌표계의 표면 접선 벡터에 적용하여 국부 얼굴 좌표계에서 국부 표면 법선 벡터를 생성한다.

또한, 본 발명의 일 측면의 상기 국부 각 산출기는 아래 수학식 4와 같이 각 픽셀에서 얻은 국부 표면 법선 벡터 vi를 피봇 국부 표면 법선 벡터 vpivot와의 내적(inner product)을 통해 사이각이 임계값(threshold) 보다 작을 경우 0, 클 경우 1 을 할당하여 국부 각 패턴을 생성한다.

(수학식 4)

여기에서, v_pivot는 피봇 국부 표면 법선 벡터이고, v_i는 픽셀 i의 국부 표면법선 벡터이고, threshold는 임계값이며, LAP[x, y]는 좌표(x,y)를 갖는 픽셀 i의 국부 각 패턴을 나타내며, lap[0] 내지 lap[7]은 국부 각 패턴의 구성요소를 나타며, lap[i]는 구성요소를 대표하는 대표값으로 i는 0 내지 7임.

또한, 본 발명의 일 측면의 상기 랜드 마크 검출부는 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하는 얼굴 토폴로지 형성기; 상기 얼굴 토폴로지의 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하는 잠재 회귀 포레스트 학습기; 및 상기 얼굴 특징 산출부의 얼굴 특징을 입력값으로 했을 때 학습된 잠재 회귀 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 계산하는 인식기를 포함한다.

또한, 본 발명의 일 측면의 상기 잠재 회귀 포레스트 학습기의 잠재 회귀 포레스트는 스플리트(split) 노드, 디비전 노드 및 리프 노드로 구성되는 바이너리 트리로 정의된다.

또한, 본 발명의 일 측면은 상기 랜드 마크 검출부에서 검출된 부분 랜드 마크에서 밀도 광학 플로우와 미디언 필터링 커널을 컨볼류션하여 부분 랜드 마크의 구성 랜드 마크의 위치를 추적하는 랜드 마크 추적부를 더 포함한다.

또한, 본 발명의 일 측면의 상기 랜드 마크 추적부는 구성 랜드 마크를 추적하는 동안에 주위의 구성 랜드 마크로부터 임계치를 초과한 오류 랜드 마크(outlier landmark)가 발생할 경우에 이들의 이웃 구성 랜드 마크들의 움직임 정보를 이용하여 추적 결과를 보정한다.

또한, 본 발명의 일 측면의 상기 랜드 마크 추적부는 오류 랜드 마크가 발생 시, 이웃 구성 랜드 마크들의 이동 거리 및 방향의 값을 평균하고, 이를 오류 랜드 마크에 적용하여 추적을 보정한다.

본 발명에서 제안된 RGB-D 특징은 조명 환경 및 얼굴 회전에 강건한 특징임과 동시에 컬러와 깊이 영상의 단점을 상호 보완한다는 장점을 가진다.

이 특징은 공간형 증강현실 환경에 그 응용이 제한되는 것이 아니라 조명변화가 심하게 일어나는 다양한 실내/외 환경에서 얼굴 검출 및 추적 어플리케이션에 추후 적용될 수 있을 것이다.

또한, 본 발명에서 제시하는 모델 독립형 얼굴 랜드마크 검출 방법을 통해 개인마다 눈, 코, 입 위치 차이가 있음에도 불구하고 자연스러운 가상 메이크업을 할 수 있다.

또한 학습한 포레스트를 바탕으로 테스트할 때에 매우 빠른 테스트가 가능하므로 실시간 가상 메이크업이 가능하다.

추후 연구로 가상 메이크업 시 발생할 수 있는 손의 가림 현상의 경우에도 강건하게 얼굴 랜드마크 검출하는 것이 필요하며 다양한 얼굴 표정 변화가 있음에도 불구하고 정확한 얼굴 랜드마크 검출을 수행하는 분류기 학습이 필요하다.

개인의 얼굴 랜드마크에 최적화된 검출 방법은 실시간 가상 메이크업 뿐만 아니라 애니메이션 캐릭터 얼굴 적용 등 다양한 오락 및 엔터테인먼트 컨텐츠에 응용 가능할 것이다.

본 발명은 얼굴의 모델 학습 없이 추적이 가능하며, 기존 KLT 추적기법 보다 강건한 추적 성능을 보였다.

향후, 변형이 심한 입, 눈의 강건한 움직임의 추적을 위해 검출된 랜드마크 정보를 일정한 추적 에러보다 높을 때 초기화를 위해 사용하거나, 제한된 토폴로지를 규정하여 이를 적용할 수 있다.

또한, 추적된 결과를 컴퓨터 그래픽스 모듈과 통합하여 실제 증강현실 기반시스템에 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치의 구성도이다.
도 2는 도 1의 얼굴 특징 검출부의 상세 구성도이다.
도 3은 지배적인 랜드마크에 근거한 국부 좌표계를 카메라 좌표계로 변환하는 변환 행렬을 구하는 과정을 보여주는 도면이다.
도 4는 표면 법선 영상에 국부 원리를 적용한 예를 보여주는 도면이다.
도 5는 도 1의 랜드 마크 검출부의 상세 구성도이다.
도 6은 본 발명에 이용되는 얼굴 랜드마크 토폴로지 모델의 예시도이다.
도 7은 잠재 회귀 포레스트 트리를 보여주는 도면이다.
도 8은 오류 랜드 마크를 보정하는 과정을 보여주는 도면이다.
도 9의 (a) 학습된 모델을 사용하지 않는 Sparse optical flow 기반 KLT tracker을 사용한 결과이고 도 9의 (b)는 본 발명을 사용한 것으로 우수한 성능을 보여준다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 공간형 증간 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치는 영상 획득부(100), 얼굴 특징 검출부(200), 랜드마크 검출부(300) 및 랜드마크 추적부(400)로 이루어져 있다.

상기 영상 획득부(100)는 컬러(RGB: red-green-blue) 영상과 깊이(Depth) 영상을 촬영할 수 있는 RGB-D 카메라를 구비하여 컬러 영상과 깊이 영상을 획득한다.

상기 컬러(RGB) 영상과 깊이(Depth) 영상을 획득하기 위한 RGB-D 카메라는 RGB 카메라에 깊이(Depth) 센서가 일체형으로 포함되거나 별도의 깊이(Depth) 카메라를 포함하여 구성될 수 있다.

일반적인 카메라는 RGB 영상만을 획득하나, 본 발명의 실시 예에서 사용되는 RGB-D 카메라는 깊이(Depth) 정보를 획득할 수 있는 카메라를 사용한다.

상기 깊이(Depth) 영상을 촬영하기 위해 설계 조건에 따라 SwissRanger 4000, PMD[vision] CamCube, D-IMager, Microsoft사의 Kinect를 사용할 수도 있다.

이러한 영상 획득부(100)는 소정의 시간 간격 동안 복수의 입력 영상을 획득한다.

한편, 영상 획득부(100)는 획득된 복수의 입력 영상을 각각 단일 채널의 영상으로 변환할 수 있다. 예를 들어, 입력 영상을 그레이(Gray) 스케일로 변경할 수 있다. 또는 입력 영상이 'RGB' 채널의 다채널 영상인 경우에 이를 하나의 채널 값으로 변경할 수도 있다. 따라서, 입력 영상에 대하여 하나의 채널에서의 인텐서티(Intensity) 값으로 변환함으로써, 입력 영상에 대한 밝기 분포를 용이하게 나타낼 수 있다.

다음으로, 얼굴 특징 검출부(200)는 복수의 입력 영상으로부터 각 얼굴 영상을 검출하고, 검출된 얼굴 영상에서 얼굴 특징을 검출한다.

이를 위해 얼굴 특징 검출부(200)는 도 2를 참조하면, 얼굴 검출기(210), 국부 이진 패턴 산출기(220), 표면 법선 산출기(230), 국부 각 산출기(240) 및 혼합기(250)를 포함한다.

상기 얼굴 검출기(210)는 복수의 입력 영상으로부터 각 얼굴 영상을 검출하는 역할을 한다. 얼굴 검출기(210)는 각각의 입력 영상으로부터 대략적인 얼굴을 검출 후에 얼굴 내의 특정 구성요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 소정의 얼굴 영역을 추출할 수 있다.

예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 얼굴 검출기(210)는 두 눈 사이의 거리에 기초하여 입력 영상에서 얼굴 영역을 얼굴 영상으로 추출할 수도 있으며, 이로써 입력 영상의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 줄일 수 있다.

이와 함께, 얼굴 검출기(210)는 추출된 얼굴 영역 정보를 이용하여 얼굴 영역의 크기를 정규화시킬 수 있다. 얼굴 영역의 크기를 정규화시킴으로써 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 고유한 특징을 동일한 스케일 레벨로 산출할 수 있다.

다음으로, 국부 이진 패턴 산출기(220)는 얼굴 영상의 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 국부 이진 패턴을 산출한다.

국부 이진 패턴 산출기(220)는 얼굴 영상을 LBP(Local Binary Pattern) 기법에 의하여 국부 이진 패턴을 산출할 수 있다.

이와 같이, LBP 기법을 적용함으로써, 얼굴 인식에 있어 조명 등에 의한 외부 간섭에 강인(robust)하게 대처할 수 있다. 다만, 국부 이진 패턴 산출기(220)는 조명 등의 외부 간섭이 미미한 경우에는 생략될 수도 있다. 또한, 국부 이진 패턴 산출기(220)는 각 얼굴 영상에 대하여 국부 이진 패턴을 산출할 수도 있고, 소정의 얼굴 영상에 대하여만 국부 이진 패턴을 산출할 수도 있다.

상기 LBP 기법은 높은 식별력과 조명의 변화에 대한 내구성과 간단한 연산 때문에 영상 복구, 생체 이미지 분석, 얼굴 영상 분석 및 인식 등 다양한 분야에 적용되고 있는 대표적인 이진 패턴 변환 방법이다. LBP는 현재 위치의 화소값과 이웃 화소값의 차이를 0과 1의 값으로 나타낸다.

LBP는 시계방향으로 중앙 픽셀값과 비교하여 크면 1, 그렇지 않으면 0의 값으로 변환하는 방법으로, 8개의 인접한 픽셀들과 비교하여 구성되기 때문에 8비트로 표현된다.

한편, 표면 법선 산출기(230)는 깊이 영상으로부터 3차원 객체의 기하정보를 표현하는 국부 표면 법선 벡터(Local Surface Normal Vector)를 추출하게 되는데, 카메라와 국부 얼굴 좌표계간의 변환을 위한 회전 행렬의 역행렬을 이용하여 얼굴 회전과 시점 전환에도 불구하고 일관성 있는 국부 표면 법선 벡터 영상을 추출한다.

여기에서, 표면 법선 산출기(230)는 도 3을 참조하면, 얼굴의 주요 랜드마크(양 눈썹, 양 턱의 중간)를 참조하여 카메라 좌표계와 로컬 얼굴 좌표계의 변환 행렬(Transformation Matrix) Tr을 구하게 된다.

변환 행렬(Transformation Matrix)은 회전(rotation)값과 선형이동(translation)의 값으로 결정되며 아래의 수학식 1을 통해 얼굴 방향에 일관된 3 차원 좌표들은 카메라 좌표계로 변환할 수 있다.

(수학식 1)

여기에서, (L_1x, L_1y, L_1z)은 국부 얼굴 좌표계에서 오른쪽 눈썹의 랜드마크이고, (L_2x, L_2y, L_2z)은 국부 얼굴 좌표계에서 왼쪽 눈썹의 랜드마크이며, (L_3x, L_3y, L_3z)은 국부 얼굴 좌표계에서 오른쪽 턱의 중간의 랜드마크이고, (L_4x, L_4y, L_4z)은 국부 얼굴 좌표계에서 왼쪽 턱의 중간의 랜드마크를 나타낸다.

그리고, (L'_1x, L'_1y, L'_1z)은 카메라 좌표계에서 오른쪽 눈썹의 랜드마크이고, (L'_2x, L'_2y, L'_2z)은 카메라 좌표계에서 왼쪽 눈썹의 랜드마크이며, (L'_3x, L'_3y, L'_3z)은 카메라 좌표계에서 오른쪽 턱의 중간의 랜드마크이고, (L'_4x, L'_4y, L'_4z)은 카메라 좌표계에서 왼쪽 턱의 중간의 랜드마크를 나타낸다.

한편, 변환 행렬 Tr은 아래 수학식 2에 나타난 바와 같이 카메라의 내부 보정 행렬(internal calibration matrix) A와, 회전 행렬(rotation matrix) R 및 전이 벡터(translation vector) T로 이루어져 있다.

(수학식 2)

위에서 설명한 바와 같이 아래 수학식3을 사용하여 카메라 좌표계와 국부 얼굴 좌표계간의 변환의 회전 행렬의 역행렬(R^-1)을 카메라 좌표계의 표면 접선 벡터 영상에 적용함으로서 얼굴 회전과 시점 전환에도 불구하고 일관성 있는 국부 얼굴 좌표계에서 국부 표면 법선 벡터 영상이 생성한다.

(수학식3)

여기에서, (SN_ix,SN_iy, SN_iz)(여기에서, i는 1부터 n까지이며 픽셀을 나타냄)은 카메라 좌표계의 표면 접선 벡터이며, (SN'_ix,SN'_iy, SN'_iz)(여기에서, i는 1부터 n까지이며 픽셀을 나타냄)은 국부 얼굴 좌표계의 국부 표면 접선 벡터이다.

한편, 국부 각 산출기(240)는 각 픽셀에서 얻은 국부 표면 법선 벡터에 국부 원리(Locality Principle)[9]를 적용하여 국부 각 패턴(LAP : Local Angular Pattern)을 산출한다.

이를 좀더 상세히 살펴보면, 국부 각 산출기(240)는 각 픽셀에서 얻은 국부 표면 법선 벡터들을 피봇(pivot) 국부 표면 법선 벡터와 내적(inner product)을 통해 사이각이 임계값(threshold) 보다 작을 경우 0, 클 경우 1 을 고려하여 깊이와 방향을 고려한 국부 각 패턴(LAP)을 생성한다.

상기 국부 각 산출기(240)는 아래 수학식 4를 통해서 결과적으로 0 과 1 로 이루어진 8 자리 0~255 사이의 국부 각 패턴을 형성한다.

(수학식 4)

여기에서, v_pivot는 피봇 국부 표면 법선 벡터이고, v_i는 픽셀 i의 국부 표면법선 벡터이고, threshold는 임계값이며, LAP[x, y]는 좌표(x,y)를 갖는 픽셀 i의 국부 각 패턴을 나타내며, lap[0] 내지 lap[7]은 국부 각 패턴의 구성요소를 나타며, lap[i]는 구성요소를 대표하는 대표값으로 i는 0 내지 7이다.

이렇게 정의가 된 픽셀들의 국부 각 패턴(LAP)은 전체적으로(holistic) 얼굴 검출 및 추적에 사용될 수 있으며 부분적(patch-based)으로 추출하여 얼굴 인식 및 랜드마크 검출에도 활용될 수 있다.

다음으로, 혼합기(250)는 국부 이진 패턴 산출기(220)에서 산출한 국부 이진 패턴과 국부 각 산출기(240)에서 산출한 국부 각 패턴을 결합하여 얼굴 특징을 형성한다.

다음으로, 랜드 마크 검출부(300)는 얼굴 영상의 부분 랜드 마크를 추출한다.

이를 위해 도 5에 도시된 바와 같이 랜드 마크 검출부(300)는 얼굴 토폴로지 형성기(310), 잠재 회귀 포레스트 학습기(320) 및 인식기(330)를 포함한다.

상기 얼굴 토폴로지 형성기(310)는 각 얼굴의 부분 랜드 마크가 얼굴 내에서 특정 위치에 있기 때문에 이러한 위치 관계를 이용하여 도 6과 같이 얼굴 토폴로지 트리를 설계한다.

트리는 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 생성한 얼굴 위상관계 트리로, 10개의 얼굴 랜드 마크 집합을 루트 노드로 하고 각 부분 랜드 마크를 리프 노드(Leaf Node)로 한다.

다음으로, 잠재 회귀 포레스트 학습기(320)는 상기 얼굴 토폴로지의 트리의 루트 노드와 일치하는 얼굴 전체 랜드 마크를 포함하는 다수의 테스트 얼굴 영상(구체적으로 말하면 상기 얼굴 특징 검출부(220)에서 검출한 테스트 얼굴 영상의 얼굴 특징을 입력값으로 하여 학습함)을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습한다.

그 결과, 잠재 회귀 포레스트 학습기(320)는 토폴로지의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 이미지 데이터를 가지며 이후 학습하는 과정에서 포레스트의 각 노드는 얼굴 토폴로지를 따라 얼굴 랜드마크 부분집합을 포함하는 이미지 데이터를 가진다.

도 7은 본 발명의 일 실시예에 따른 잠재 회귀 포레스트를 나타내는 도면이다.

잠재 회귀 포레스트는 스플리트(split) 노드, 디비전 노드 및 리프 노드로 구성되는 바이너리 트리로 정의될 수 있다. 스플리트 노드는 입력 데이터에 대한 테스트 기능을 수행하고, 왼쪽 자식 또는 오른쪽 자식으로 진행할지 여부를 결정할 수 있다.

디비전 노드는 테스트 기능을 수행하지 않는다. 대신, 디비전 노드는 스플리트 노드로부터 도착한 샘플들로부터 두 개의 분할된 샘플들을 생성한다. 리프 노드는 객체의 단일 부위에 해당하는 샘플들을 출력할 수 있다.

잠재 회귀 포레스트는 일반적인 회귀 포레스트와 달리 루트 노드에 입력된 샘플을 여러 부분들로 분할할 수 있다. 예를 들어, 루트 노드에 입력된 샘플은 미리 정해진 잠재 트리 모델에 따라 여러 부분들로 분할되고, 분할된 부분들은 병렬적으로 트리를 따라 각기 다른 리프 노드로 전파된다. 루트 노드에 입력된 테스트 샘플은 디비전 노드에서 분할되고, 분할된 부분들은 리프 노드로 전파될 수 있다. 반면, 일반적인 회귀 포레스트는 루트 노드에 입력된 샘플을 분할하지 않는다. 입력된 샘플은 전부 트리를 따라 하나의 리프 노드로 전파된다.

스플리터 노드에서는 얼굴 특징을 비교하여 데이터를 분리(Split)한다. 여러 번 테스트하여 분리된 데이터 부분 집합 사이의 분산값이 가장 클 때 두 집합으로 분리(Split)하고, 현재 스플리트 노드에의 분산값과 이전 스플리트 노드에서의 분산값의 차이가 충분히 크지 않을 경우 분리(Division)을 실행한다. 분리(Division)은 데이터를 토폴로지 노드의 자식 노드에 해당하는 부분 영역으로 나누고 각각 독립적인 트리를 생성하는 과정이다. 디비전 노드에는 토폴로지 부모 노드와 자식 노드에 해당하는 랜드 마크 집합의 위치값 차이(Offset Vectors)를 저장한다.

위 과정을 반복하던 중 토폴로지의 리프 노드에 도달했을 때 잠재 회귀 포레스트의 리프 노드로 설정하며 리프 노드는 각 부분 랜드 마크를 나타내고 위치값 차이가 저장된다.

인식기(330)는 상기 얼굴 특징 산출부(200)의 얼굴 특징을 입력값으로 했을 때 학습된 잠재 회귀 포레스트를 순회(Traverse)하며 디비전 노드와 ㄹ리프 노드에 저장된 위치값 차이를 축적하여 뚜렷한 얼굴 부분 랜드 마크의 결과값을 계산한다.

한편, M개의 노드를 가지는 얼굴 토폴로지 트리에서, p(i)는 부모 노드를 나타내고, l(i)와 r(i)는 자식 노드를 나타내며, 여기에서 i∈M에 속해 있고, i=0,1,2...｜M｜이다.

여기에서, p_i ^l은 영상 I에서 각각의 토롤로지 노드 i의 대응되는 랜드마크 집합의 중심 위치를 의미한다.

각각의 잠재 회귀 포레스트 트리는 각각의 토폴로지 단계에 대응되게 학습된다. 얼굴 랜드마크의 전 범위를 가지는 루트 노드는 토폴로지 트리 모델에서 i=0에 대응된다.

트리가 성장함에 따라, 랜드마크의 범위도 리프 노드에 도달할 때까지 자식 노드l(i)와 r(i)에 따라 분할된다. 각각의 노드에서 학습 데이터 S를 2개의 서브셋 S^l과 S^r로 분리 함수 f_i와 랜덤하게 선택된 임계값 τ_i를 사용하여 분리된다.

학습 과정은 토폴로지 노드 i를 사용하여 진행된다. 분리 함수 f_i와 서브셋은 다음과 같이 정의된다.

(수학식5)

(수학식6)

이 때, I(·)는 영상 I에서 픽셀값을 나타내며, u와 v는 랜덤하게 정규화된 오프셋(offset)를 나타낸다. 여기서 f_i는 분리 함수이다.

분리 함수 f_i에서 가장 큰 정보 이득값을 보여주며, 이전 노드 단계에서 정보 이득값이 증가되지 않으면, 학습 과정은 분리 과정으로 진행한다. 토폴로지 노드 i에서 정보 이득은 다음과 같은 수학식으로 정의된다.

(수학식7)

여기에서, ∑_imχ는 오프셋 벡터 θ_m의 집합의 샘플 공분산 행렬이다. 2개의 서브셋의 현재 중심 위치에서의 오프셋의 오프셋 벡터이다.

얼굴 영상의 주어진 학습 데이터에서 분리 과정은 선택된 오프셋 벡터의 중심에 의해 분리된다. 그에 해당하는 자식 노드는 그 자신의 학습 데이터의 미세한 범위로 진행한다. 오프셋 벡터는 분리 노드에 저장된다.

분리와 분할 과정은 토폴로지 노드에서 하나의 최종 랜드 마크를 나타나는 리프 노드에 도달할 때까지 반복된다.

각각의 리프노드에서, 부모 노드의 랜드마크의 중심으로부터 오프셋 노드가 저장되어 있다.

다음으로, 랜드 마크 추적부(400)는 검출된 t 프레임 영상의 랜드 마크 p^l _t (x^l _t ,y^l _t)(부분 랜드 마크)을 기반으로, 밀도 광학 플로우(dense optical flow) G=(u_t,v_t)[5]와 미디언 필터링 커널(median filtering kernel) M을 컨볼류션(convolution) 하여 t+1 프레임 영상에서의 랜드 마크p^l _t+1(부분 랜드 마크의 구성 랜드 마크)의 위치를 추적한다.

(수학식 8)

여기에서, ·는 컨볼류션을 의미하며, (x^- ^l _t ,y^- ^l _t)은 (x^l _t ,y^l _t)의 라운드된 위치이다.

이처럼 랜드 마크 추적부(400)가 구성 랜드 마크를 추적하는 동안에 얼굴의 갑작스러운 빠른 움직임 또는 회전 등의 이유로 주위의 구성 랜드 마크로부터 임계치를 초과한 오류 랜드 마크(outlier landmark)가 발생할 경우, 이들의 이웃 구성 랜드 마크들의 움직임 정보를 이용하여 추적 결과를 보정한다.

구체적으로는, 랜드 마크 추적부(400)는 먼저 이웃 구성 랜드 마크들을 지역적 공간과 의미(눈, 코, 입)를 고려하여 정의한다.

그리고 랜드 마크 추적부(400)는 오류 랜드 마크가 발생 시, 이웃 구성 랜드 마크들의 이동 거리 및 방향의 값을 평균하고, 이를 오류 랜드 마크에 적용하여 추적을 보정한다.

이를 도 8을 참조하면, 왼쪽 눈섭의 두번째 구성 랜드 마크가 주위의 다른 구성 랜드 마크들로부터 벗어나 오류 랜드 마크가 된 경우에 왼쪽 눈섭을 이루는 구성 랜드 마크들의 이동 거리 및 방향의 값을 평균하여 이를 오류 랜드 마크에 적용하여 추적을 보정한다.

이와 같은 본 발명에 따른 RGB 카메라로 촬영된 얼굴 정면 움직임 동영상에 제안된 얼굴 랜드 마크 추적 기법을 적용하여 초기 추적 결과를 확인하였다.

도 9의 (a) 학습된 모델을 사용하지 않는 Sparse optical flow 기반 KLT tracker을 사용한 결과이고 도 9의 (b)는 본 발명을 사용한 것으로 우수한 성능을 보여준다.

이처럼, 본 발명은 얼굴의 모델 학습 없이 추적이 가능하며, 기존 KLT 추적기법 보다 강건한 추적 성능을 보였다.

100 : 영상 획득부 200 : 얼굴 특징 검출부
210 : 얼굴 검출기 220 : 국부 이진 패턴 산출기
230 : 표면 법선 산출기 240 : 국부 각 산출기
250 : 혼합기 300 : 랜드마크 검출부
310 : 얼굴 토폴로지 형성기 320 : 잠재 회귀 포레스트 학습기
330 : 인식기 400 : 랜드 마크 추적부

Claims

컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및
상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 1항에 있어서,
상기 영상 획득부는 컬러 영상과 깊이 영상을 촬영할 수 있는 RGB-D 카메라를 구비하여 컬러 영상과 깊이 영상을 획득하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 1항에 있어서,
상기 얼굴 특징 검출부는
상기 영상 획득부에서 획득한 영상에서 얼굴 영역을 검출하는 얼굴 검출기;
상기 얼굴 검출기에서 검출한 얼굴 영상의 컬러 영상으로부터 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 국부 이진 패턴을 산출하는 국부 이진 패턴 산출기;
상기 얼굴 검출기에서 검출한 얼굴 영상의 깊이 영상으로부터 국부 표면 법선 벡터(Local Surface Normal Vector)를 생성하는 표면 법선 산출기;
상기 표면 법선 산출기가 생성한 각 픽셀의 국부 표면 법선 벡터에 국부 원리(Locality Principle)를 적용하여 국부 각 패턴(LAP : Local Angular Pattern)을 산출하는 국부 각 산출기; 및
상기 국부 이진 패턴 산출기에서 산출한 국부 이진 패턴과 상기 국부 각 산출기에서 산출하는 국부 각 패턴을 결합하여 얼굴 특징을 형성하는 혼합기를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 3항에 있어서,
상기 국부 이진 패턴 산출기는 얼굴 영상에 LBP(Local Binary Pattern) 기법을 적용하여 국부 이진 패턴을 산출하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 3항에 있어서,
상기 표면 법선 산출기는 깊이 영상으로부터 3차원 객체의 기하정보를 표현하는 국부 표면 법선 벡터(Local Surface Normal Vector)를 추출할 때에 카메라 좌표계와 국부 얼굴 좌표계간의 변환을 위한 회전 행렬의 역행렬을 카메라 좌표계의 표면 접선 벡터에 적용하여 국부 얼굴 좌표계에서 국부 표면 법선 벡터를 생성하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 3항에 있어서,
상기 국부 각 산출기는 아래 수학식 4와 같이 각 픽셀에서 얻은 국부 표면 법선 벡터 vi를 피봇 국부 표면 법선 벡터 vpivot와의 내적(inner product)을 통해 사이각이 임계값(threshold) 보다 작을 경우 0, 클 경우 1 을 할당하여 국부 각 패턴을 생성하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.

(수학식 4)

여기에서, v_pivot는 피봇 국부 표면 법선 벡터이고, v_i는 픽셀 i의 국부 표면법선 벡터이고, threshold는 임계값이며, LAP[x, y]는 좌표(x,y)를 갖는 픽셀 i의 국부 각 패턴을 나타내며, lap[0] 내지 lap[7]은 국부 각 패턴의 구성요소를 나타며, lap[i]는 구성요소를 대표하는 대표값으로 i는 0 내지 7임.
청구항 1항에 있어서,
상기 랜드 마크 검출부는
상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하는 얼굴 토폴로지 형성기;
상기 얼굴 토폴로지의 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하는 잠재 회귀 포레스트 학습기; 및
상기 얼굴 특징 산출부의 얼굴 특징을 입력값으로 했을 때 학습된 잠재 회귀 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 계산하는 인식기를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 7항에 있어서,
상기 잠재 회귀 포레스트 학습기의 잠재 회귀 포레스트는 스플리트(split) 노드, 디비전 노드 및 리프 노드로 구성되는 바이너리 트리로 정의되는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 1항에 있어서,
상기 랜드 마크 검출부에서 검출된 부분 랜드 마크에서 밀도 광학 플로우와 미디언 필터링 커널을 컨볼류션하여 부분 랜드 마크의 구성 랜드 마크의 위치를 추적하는 랜드 마크 추적부를 더 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 9항에 있어서,
상기 랜드 마크 추적부는 구성 랜드 마크를 추적하는 동안에 주위의 구성 랜드 마크로부터 임계치를 초과한 오류 랜드 마크(outlier landmark)가 발생할 경우에 이들의 이웃 구성 랜드 마크들의 움직임 정보를 이용하여 추적 결과를 보정하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.
청구항 10항에 있어서,
상기 랜드 마크 추적부는 오류 랜드 마크가 발생 시, 이웃 구성 랜드 마크들의 이동 거리 및 방향의 값을 평균하고, 이를 오류 랜드 마크에 적용하여 추적을 보정하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치.