KR102115150B1

KR102115150B1 - 얼굴 대칭성 측정 장치 및 방법

Info

Publication number: KR102115150B1
Application number: KR1020180060802A
Authority: KR
Inventors: 이의철; 이건영
Original assignee: 상명대학교산학협력단
Priority date: 2018-05-29
Filing date: 2018-05-29
Publication date: 2020-06-08
Also published as: KR20190135598A

Abstract

본 발명은 얼굴의 대칭성을 측정하는 기술에 관한 것으로, 보다 상세하게는 사용자의 얼굴 영상을 분석하여 얼굴의 대칭성을 측정하는 기술에 관한 것이다. 본 발명의 일 실시 예에 따르면, RBG 카메라를 통해 생성한 얼굴 영상을 통해 사용자의 얼굴 대칭성을 측정할 수 있고, 다양한 환경에서 촬영한 얼굴 영상을 통해 얼굴 대칭성을 측정할 수 있다.

Description

얼굴 대칭성 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASURING FACE SYMMETRY}

본 발명은 얼굴의 대칭성을 측정하는 기술에 관한 것으로, 보다 상세하게는 사용자의 얼굴 영상을 분석하여 얼굴의 대칭성을 측정하는 기술에 관한 것이다.

얼굴의 대칭성은 자발적인 표정과 비자발적인 표정을 분류하는 특징이다. 또한, 얼굴 대칭성은 얼굴 비대칭 교정, 안면 마비진단과 같은 의료 분야나 얼굴 인식을 이용한 생체 인증 등 다양한 분야에서 활용되는 특징이다.

종래에는 깊이 카메라를 이용하여 3차원 측정을 실시하고, 측정된 3차원 얼굴 영상에 대해 특정 자세로 강체 변환을 적용하여 얼굴 대칭성을 측정하였다. 하지만, 깊이 카메라에서 사용하는 적외선 측정 방식의 특성상 물체의 반사도 또는 투명도, 움직임, 외부 광원 등의 요인으로 인해 3차원 얼굴 영상의 깊이 정보에 대한 왜곡이 발생할 수 있어, 깊이 카메라를 이용하는 방식은 제한된 환경에서 사용될 수 밖에 없는 점이 있다.

본 발명의 배경기술은 대한민국 공개특허 제2017-0041005호에 개시되어 있다.

본 발명의 해결하고자 하는 과제는 얼굴 영상을 통해 얼굴 대칭성을 측정하는 얼굴 대칭성 측정 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 얼굴 대칭성 측정 장치가 제공된다.

본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치는 얼굴 영상을 입력 받는 입력부, 상기 얼굴 영상으로부터 특징점을 추출하는 특징점 추출부, 원점과 상기 특징점에 대응하는 특징 벡터를 산출하고, 상기 특징 벡터 중 코의 중심축에 해당하는 특징 벡터인 기준 벡터를 선정하고, 상기 특징 벡터 및 상기 기준 벡터 간의 내적을 산출하는 내적 산출부, 대칭 특징점 쌍에 대응하는 내적 간의 차인 내적 차를 산출하는 내적 차 산출부 및 상기 내적 차에 따라 얼굴 대칭성을 산출하는 대칭성 산출부를 포함하되, 상기 특징점 추출부는, 조건부 지역 뉴럴 필드 모델(Conditional Local Neural Fields model)을 이용하여 상기 얼굴 영상으로부터 상기 특징점을 추출할 수 있다.

상기 원점은 상기 특징점 중 코의 시작점에 해당하는 특징점일 수 있다.

상기 대칭 특징점 쌍은 좌측 얼굴 그룹 내의 일 특징점과 상기 일 특징점의 상대적 위치와 기준선을 기준으로 대응하는 위치의 우측 얼굴 그룹의 특징점을 포함할 수 있다.

상기 대칭성 산출부는 상기 내적 차에 대해 최소-최대 정규화를 적용하여 상기 얼굴 대칭성을 산출할 수 있다.

본 발명의 다른 측면에 따르면, 얼굴 대칭성 측정 방법이 제공된다.

본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 방법 및 이를 실행하는 컴퓨터 프로그램을 기록한 컴퓨터가 판독 가능한 기록매체는 얼굴 영상을 입력받는 단계, 상기 얼굴 영상으로부터 특징점을 추출하는 단계, 원점과 상기 특징점에 대응하는 특징 벡터를 산출하는 단계, 상기 특징 벡터 중 코의 중심축에 해당하는 특징 벡터인 기준 벡터를 선정하는 단계, 상기 특징 벡터 및 상기 기준 벡터 간의 내적을 산출하는 단계, 대칭 특징점 쌍에 대응하는 내적 간의 차인 내적 차를 산출하는 단계 및 상기 내적 차에 따라 얼굴의 대칭성을 산출하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, RBG 카메라를 통해 생성한 얼굴 영상을 통해 사용자의 얼굴 대칭성을 측정할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 다양한 환경에서 촬영한 얼굴 영상을 통해 얼굴 대칭성을 측정할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 추출하는 특징점을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 추출한 특징점 중 원점이 되는 특징점을 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출한 특징점의 인덱스를 예시한 도면.
도 5는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 기준 벡터를 예시한 도면.
도 6는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 기준 벡터 및 특징 벡터를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치의 내적을 산출하는 과정을 설명하기 위한 도면.
도 8은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 특징점 중 우측 얼굴과 좌측 얼굴의 특징점을 구분하여 예시한 도면.
도 9는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 얼굴의 대칭성을 측정하는 과정을 예시한 순서도.
도 10은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 방법의 효과를 설명하기 위한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 추출하는 특징점을 예시한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 추출한 특징점 중 원점이 되는 특징점을 예시한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출한 특징점의 인덱스를 예시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 기준 벡터를 예시한 도면이고, 도 6는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 기준 벡터 및 특징 벡터를 예시한 도면이고, 도 7은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치의 내적을 산출하는 과정을 설명하기 위한 도면이고, 도 8은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 산출하는 특징점 중 우측 얼굴과 좌측 얼굴의 특징점을 구분하여 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치는 입력부(110), 특징점 추출부(120), 내적 산출부(130), 내적 차 산출부(140) 및 대칭성 산출부(150)를 포함한다.

입력부(110)는 카메라로부터 얼굴 영상을 수신한다. 이 때, 카메라는 RGB 카메라일 수 있다. 입력부(110)는 카메라와 직접 연결되거나 네트워크 등의 통신 수단으로 연결되어 얼굴 영상을 수신할 수 있다. 입력부(110)는 특징점 추출부(120)로 얼굴 영상을 전송한다.

특징점 추출부(120)는 얼굴 영상으로부터 특징점을 추출한다. 예를 들어, 특징점 추출부(120)는 조건부 지역 뉴럴 필드 모델(Conditional Local Neural Fields model)을 이용하여 얼굴 영상으로부터 3차원 특징점을 도 2에 예시된 점과 같이 추출할 수 있다. 특징점 추출부(120)는 특징점을 내적 산출부(130)로 전송한다.

내적 산출부(130)는 원점과 특징점을 연결하여 특징 벡터를 산출하고, 각 특징 벡터 중 코의 중심축에 해당하는 특징 벡터를 기준 벡터로 산출하고, 기준 벡터와 각 특징 벡터의 내적을 산출한다. 예를 들어, 내적 산출부(130)는 도 3과 같이 코의 시작점에 해당하는 특징점을 원점으로 선정할 수 있다. 내적 산출부(130)는 도 4의 원점 O와 타 특징점(b₀ ~ ~ b₆₇)을 연결하여 특징 벡터를 산출할 수 있다. 즉, 내적 산출부(130)는 하기의 수학식 1에 따라 특징 벡터를 산출할 수 있다.

[수학식 1]

내적 산출부(130)는 특징 벡터 중 도 5와 같은 코의 중심축에 해당하는 특징 벡터를 기준 벡터로 선정할 수 있다. 내적 산출부(130)는 도 6의 화살표로 나타낸 기준 벡터와 선분으로 나타낸 특징 벡터 간의 내적을 각각 도 7과 같이 산출한다. 즉, 내적 산출부(130)는 하기의 수학식 2와 같이 내적을 산출할 수 있다.

[수학식 2]

이 때,

는 기준 벡터이고,

는 기준 벡터 이외의 특징 벡터이고,

는 기준 벡터와 기준 벡터 이외의 특징 벡터 간의 각도이다.

즉, 내적 산출부(130)가 산출하는 내적의 집합 d는 하기의 수학식 3과 같이 나타낼 수 있다.

[수학식 3]

이 때,

은 특징점을 의미한다.

내적 산출부(130)는 산출한 내적을 내적 차 산출부(140)로 전송한다.

내적 차 산출부(140)는 대칭 특징점 쌍의 각 특징점에 대응하는 내적 간의 차인 내적 차를 산출한다. 예를 들어, 내적 차 산출부(140)는 각 특징점을 도 8과 같이 코의 중심축을 포함하는 직선인 기준선을 기준으로 좌측 얼굴 그룹과 우측 얼굴 그룹으로 구분할 수 있다. 내적 차 산출부(140)는 좌측 얼굴 그룹 내의 특정 특징점과 해당 특징점의 상대적 위치와 기준선을 기준으로 대응하는 위치의 우측 얼굴 그룹의 특징점을 대칭 특징점 쌍으로 지정할 수 있다. 내적 차 산출부(140)는 모든 대칭 특징점 쌍의 각 특징점에 대응하는 내적 간의 차를 산출할 수 있다. 내적 차의 집합 S는 하기의 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

이 때,

및

은 n번 째 대칭 특징점 쌍을 구성하는 각 특징점이다.

내적 차 산출부(140)는 내적 차를 대칭성 산출부(150)로 전송한다.

대칭성 산출부(150)는 각 대칭 특징점 쌍에 대한 내적 차를 정규화하여, 정규화된 내적 차에 따라 각 대칭 특징점 쌍에 대응하는 얼굴 부위의 대칭성을 산출한다. 예를 들어, 대칭성 산출부(150)는 하기의 수학식 5와 같이 내적 차에 최소-최대(min-max) 정규화를 적용할 수 있다.

[수학식 5]

도 9는 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 장치가 얼굴의 대칭성을 측정하는 과정을 예시한 순서도이다. 이하 설명하는 각 단계는 얼굴 대칭성 측정 장치를 구성하는 각 기능부에 의해 수행되는 것이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 얼굴 대칭성 측정 장치로 통칭하도록 한다.

도 9를 참조하면, 단계 S910에서 얼굴 대칭성 측정 장치는 얼굴 영상을 카메라로부터 입력 받는다.

단계 S920에서 얼굴 대칭성 측정 장치는 얼굴 영상으로부터 특징점을 추출한다. 이 때, 얼굴 대칭성 측정 장치는 조건부 지역 뉴럴 필드 모델을 이용하여 얼굴 영상으로부터 3차원 특징점을 추출할 수 있다.

단계 S930에서 얼굴 대칭성 측정 장치는 원점과 각 특징점에 따른 특징 벡터를 산출한다. 특징 벡터를 산출하는 과정은 수학식 1을 참조하여 상술하였다.

단계 S940에서 얼굴 대칭성 측정 장치는 특징 벡터 중 코의 중심선에 대응하는 특징 벡터를 기준 벡터로 선정한다.

단계 S950에서 얼굴 대칭성 측정 장치는 각 특징 벡터와 기준 벡터 간의 내적을 산출한다. 내적을 산출하는 과정은 수학식 2 및 수학식 3을 참조하여 상술하였다.

단계 S960에서 얼굴 대칭성 측정 장치는 각 대칭 특징점 쌍에 대응하는 내적 차를 산출한다. 내적 차를 산출하는 과정은 수학식 4를 참조하여 상술하였다.

단계 S970에서 얼굴 대칭성 측정 장치는 각 내적 차에 대해 최소-최대 정규화를 적용하여 얼굴의 대칭성을 산출한다. 예를 들어, 얼굴 대칭성 측정 장치는 각 내적 차에 최소-최대 정규화를 적용한 것을 척도로 하는 미리 지정된 기준에 따라 얼굴 전체, 표정, 눈, 코, 입의 대칭성 등을 산출할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 얼굴 대칭성 측정 방법의 효과를 설명하기 위한 도면이다.

도 10의 테이블은 측정된 얼굴의 대칭성 척도를 특징으로 하여 기계학습 알고리즘인 서포트 벡터 머신(SVM)을 학습시켜 테스트한 결과이다. 본 발명에 따른 얼굴 대칭성 측정 방법에 의해 학습에 사용된 데이터 세트는 총 20,335장으로 정상적인 얼굴을 찍은 중립 이미지 10,459장, 인위적으로 한쪽 면만 움직인 비대칭 얼굴 이미지 9,876장이며, 서포트 벡터 머신을 학습시켰다. 학습된 SVM의 성능은 558개의 테스트 세트의 레이블을 예측한 후 실제 레이블과의 일치 정도로 성능이 평가되었다. 도 10의 서포트 벡터 머신 의 각 커널마다의 성능은 예측 모델의 일반적인 성능측정방법인 Accuracy, Recall, Precision으로 평가하였다. 평가 결과, 커널 타입 ANOVA, Radial, Dot에 대해 Accuracy는 97.7%, 96.9%, 99.6%로, Precision은 100%, 100%, 100%로, Recall은 95.6%, 94.1%, 99.2%로 본 발명에 따른 얼굴 대칭성 측정 방법이 매우 우수함을 확인할 수 있었다.

본 발명의 실시 예에 따른 얼굴 대칭성 측정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

얼굴 대칭성 측정 장치에 있어서,
얼굴 영상을 입력받는 입력부;
상기 얼굴 영상으로부터 특징점을 추출하는 특징점 추출부;
원점과 상기 특징점에 대응하는 특징 벡터를 산출하고, 상기 특징 벡터 중 코의 중심축에 해당하는 특징 벡터인 기준 벡터를 선정하고, 상기 특징 벡터 및 상기 기준 벡터 간의 내적을 산출하는 내적 산출부;
대칭 특징점 쌍에 대응하는 내적 간의 차인 내적 차를 산출하는 내적 차 산출부; 및
상기 내적 차에 따라 얼굴 대칭성을 산출하는 대칭성 산출부를 포함하는 얼굴 대칭성 측정 장치.
제1 항에 있어서,
상기 특징점 추출부는,
조건부 지역 뉴럴 필드 모델(Conditional Local Neural Fields model)을 이용하여 상기 얼굴 영상으로부터 상기 특징점을 추출하는 것을 특징으로 하는 얼굴 대칭성 측정 장치.
제1 항에 있어서,
상기 원점은 상기 특징점 중 코의 시작점에 해당하는 특징점인 것을 특징으로 하는 얼굴 대칭성 측정 장치.
제1 항에 있어서,
상기 대칭 특징점 쌍은 좌측 얼굴 그룹 내의 일 특징점과 상기 일 특징점의 상대적 위치와 기준선을 기준으로 대응하는 위치의 우측 얼굴 그룹의 특징점을 포함하는 것을 특징으로 하는 얼굴 대칭성 측정 장치.
제1 항에 있어서,
상기 대칭성 산출부는 상기 내적 차에 대해 최소-최대 정규화를 적용하여 상기 얼굴 대칭성을 산출하는 것을 특징으로 하는 얼굴 대칭성 측정 장치.
얼굴 대칭성 측정 장치가 얼굴 대칭성을 측정하는 방법에 있어서,
입력부에서 얼굴 영상을 입력받는 단계;
특징점 추출부에서 상기 얼굴 영상으로부터 특징점을 추출하는 단계;
내적 산출부에서 원점과 상기 특징점에 대응하는 특징 벡터를 산출하는 단계;
상기 내적 산출부에서 상기 특징 벡터 중 코의 중심축에 해당하는 특징 벡터인 기준 벡터를 선정하는 단계;
상기 내적 산출부에서 상기 특징 벡터 및 상기 기준 벡터 간의 내적을 산출하는 단계;
내적 차 산출부에서 대칭 특징점 쌍에 대응하는 내적 간의 차인 내적 차를 산출하는 단계; 및
대칭성 산출부에서 상기 내적 차에 따라 얼굴의 대칭성을 산출하는 단계를 포함하는 얼굴 대칭성 측정 방법.
제6 항에 있어서,
상기 특징점 추출부에서 얼굴 영상으로부터 특징점을 추출하는 단계는,
조건부 지역 뉴럴 필드 모델(Conditional Local Neural Fields model)을 이용하여 상기 얼굴 영상으로부터 상기 특징점을 추출하는 단계인 것을 특징으로 하는 얼굴 대칭성 측정 방법.
제6 항에 있어서,
상기 원점은 상기 특징점 중 코의 시작점에 해당하는 특징점인 것을 특징으로 하는 얼굴 대칭성 측정 방법.
제6 항에 있어서,
상기 대칭 특징점 쌍은 좌측 얼굴 그룹 내의 일 특징점과 상기 일 특징점의 상대적 위치와 기준선을 기준으로 대응하는 위치의 우측 얼굴 그룹의 특징점을 포함하는 것을 특징으로 하는 얼굴 대칭성 측정 방법.
제6 항에 있어서,
상기 대칭성 산출부에서 내적 차에 따라 얼굴의 대칭성을 산출하는 단계는 상기 내적 차에 대해 최소-최대 정규화를 적용하여 상기 얼굴 대칭성을 산출하는 단계인 것을 특징으로 하는 얼굴 대칭성 측정 방법.
제6항 내지 제10항 중 어느 하나의 얼굴 대칭성 측정 방법을 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.