KR101308347B1 - 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법 - Google Patents

Abstract

본 발명은 얼굴 인식 단계 이전에 얼굴 영상의 가려진 부분을 상관계수를 이용하여 검출하고, 검출된 가려진 얼굴 영역을 상관계수를 이용하여 복원할 수 있도록 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법에 관한 것이다.
본 발명에 따른 상관관계를 이용한 가려진 얼굴 영상 검출 복원 방법은 학습 얼굴 영상을 입력받아, 학습 얼굴 영상에 포함된 각 픽셀 값들의 상관계수를 계산하는 학습 단계와; 얼굴 영상 일부가 가려진 테스트 얼굴 영상을 입력받아, 상기 테스트 얼굴 영상의 각 픽셀 값과 상기 학습 단계를 통하여 계산된 상관계수에 따라 상관도가 높은 다수 개의 픽셀 값들에 의해 예측된 픽셀 값을 비교하여 차이를 계산함으로써 테스트 얼굴 영상에 포함된 가려진 영역을 검출하는 검출 단계와; 상기 검출 단계에서 검출된 가려진 영역의 픽셀 값을 상기 학습 단계에서 계산된 상관계수에 따라 상관도가 높은 다수 개의 가려지지 않은 부분의 픽셀 값들로 예측하고, 예측된 픽셀 값으로 가려진 영역의 픽셀 값을 대체하여 얼굴 영상을 복원하는 복원 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법 {The Detection and Recovery Method of Occlusion of a Face Image using a Correlation Based Method}

본 발명은 얼굴 영상의 가려진 부분을 검출하고 복원하는 방법에 관한 것으로, 특히 얼굴 인식 단계 이전에 얼굴 영상의 가려진 부분을 상관계수를 이용하여 검출하고, 검출된 가려진 얼굴 영역을 상관계수를 이용하여 복원할 수 있도록 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법에 관한 것이다.

전 세계적으로 감시카메라는 산업분야뿐만 아니라 사람이 많이 모이는 장소인 시가지나 편의점, 은행 등 곳곳에 설치되어 있다. 이렇게 우리 주변에 감시카메라가 많이 존재하고 있는 이유는 감시카메라가 적은 인원으로 넓은 장소 또는 여러 장소를 한 눈에 감시할 수 있고, 녹화 저장된 영상을 통해 문제 발생 시의 상황을 다시 볼 수 있어서 매우 편리하기 때문이다.

그러나 감시카메라가 항상 모든 상황에서 유용한 것은 아니다. 만일 범죄자들이 선글라스나 마스크 등으로 얼굴을 가린 채 감시카메라 영상에 잡힌다면, 실제 문제가 발생했을 시에도 그 범죄자의 신원을 확인할 수 있는 중요한 특징들을 잡아낼 수가 없을 가능성이 크다. 이는 곧, 최근 응용 범위가 확대되고 있는 얼굴 인식을 이용하여 범죄자의 신원을 알아내기가 어렵다는 뜻이다. 그러므로 더욱 정확히 신원을 확인하기 위해 얼굴 인식 단계 이전에 영상의 가려진 부분을 검출하고 검출된 영역을 복원하는 것이 영상 처리 분야에서 시급히 해결해야 할 중요한 과제이다.

영상, 특히 얼굴 영상에서 가려진 부분을 검출하고 복원하기 위한 대표적인 방법으로는 주성분 분석법(Principal Component Analysis, PCA)을 응용하는 방법이 있다. 이를 이용하여 얼굴 영상에서 안경을 제거하는 방법, 또는 얼굴에 존재하는 잡음을 제거하는 방법 등이 제시되었다. 또한 기존 주성분 분석법을 응용하는 방법을 발전시켜 영상의 가려진 부분을 더 빠르게 복원하는 Fast Recursive PCA, 확률론적 주성분 분석법(Probabilistic PCA)을 이용하는 Tipping과 Bishop의 연구 등 영상의 가려진 부분에 대한 연구가 다양한 방법으로 진행되고 있다.

도 1은 이러한 종래 주성분 분석법(PCA)을 이용하여 얼굴 영상에서 가려진 부분을 검출하고 복원하는 방법을 나타낸 개념도로서, 주성분 분석법을 이용한 얼굴 복원 방법은 학습과정(S10)과 검출과정(S20) 및 복원과정(S30)을 통하여 이루어진다.

[학습과정]

학습 과정(S10)은 먼저 학습 영상을 입력받아(S11), 정규화를 수행하고(S12), 공분산 행렬을 계산한 후(S13), 변환 행렬(W)을 구하는 과정(S14)으로 이루어진다. 즉 학습 과정(S10)에서 최종적으로 구하고자 하는 것은 축소하고자 하는 차원 수만큼의 고유 벡터로 구성된 변환 행렬(W)이다.

학습 영상이 입력되면(S11), 픽셀의 개수가 d개인 N개의 학습 얼굴 영상을

라 표현하고, 학습을 위해 하나의 열벡터로 표현한다. 그 다음 전체 얼굴 영상들의 평균 영상을 구하여 정규화를 수행한 후(S12), 각 얼굴 영상들로부터 평균을 뺀다. 위의 내용을 식으로 표현하면 다음과 같다.

각 얼굴 영상들로부터 평균을 뺀 영상들의 공분산 행렬(covariance matrix)을 구한다(S13).

공분산 행렬에 대한 고유분석을 행하여 d'개의 가장 큰 고유값

을 선택한다. 선택된 고유 값과 관련된 고유벡터를 구하고 변환 행렬

을 만든다(S14). 고유벡터는 원래의 차원 수인 d차원만큼 얻을 수 있는데, 축소하고자 하는 차원 수인 d' 차원만큼만 취하고 나머지는 버리면 된다.

상기의 학습 과정을 통하여 변환 행렬(W)이 구해진다.

[가려진 얼굴 영상의 검출 및 복원 과정]

상기 검출과정(S20)에서는 테스트 얼굴 영상

가 입력되면(S21) 이를 정규화하여(S22) 재구성한 후(S23), 테스트 얼굴 영상과 재구성된 얼굴 영상의 차를 계산하여(S24), 얼굴 영상의 가려진 부분을 검출하게 된다(S25)(S26). 또한, 복원과정(S30)에서는 상기 검출과정(S20)을 통하여 검출된 가려진 부분을 재구성한 영상을 이용하여 복원하게 되는데(S31), 이러한 복원은 기준치를 만족할 때까지 반복되어(S32), 최종 복원된 영상이 생성되게 된다(S33). 상기 입력되는 테스트 얼굴 영상들은 임의의 너비와 높이를 가진 사각형으로 얼굴의 일부분을 가린 영상을 의미한다.

각 테스트 얼굴 영상들은 앞의 학습과정(S10)에서 구한 평균 영상으로 정규화시킨 다음(S22), 학습 단계에서 마지막으로 도출해 낸 고유벡터에 대하여 가중치(weight) 값을 구하고, 이를 이용하여 각 테스트 얼굴 영상들을 고유벡터의 가중합계(weighted sum)의 형태로 재구성한다(S23).

여기서 x는 테스트 얼굴 영상이고, x'는 변환 행렬에 의해 재구성된 새로운 얼굴 영상이다. 이렇게 재구성된 얼굴 영상 x'와 테스트 얼굴 영상 x의 각 픽셀 사이의 차이값이 일정 경계값을 넘느냐 안 넘느냐에 따라 가려진 영역인지 아닌지를 판별하게 된다(S24). 얼굴 영상에서 가려진 영역을 판별한 후(S26), x"라는 새로운 영상에 재구성된 얼굴 영상과 테스트 얼굴 영상으로 채워 복원과정을 수행하게 된다(S30). 즉, 가려진 부분이라 판단된 픽셀 값에는 앞에서 재구성된 얼굴 영상의 픽셀 값으로 채우고, 가려지지 않은 부분이라 판단된 픽셀 값에는 원래 입력으로 들어온 테스트 얼굴 영상의 픽셀 값으로 채운다(S31).

여기서

는 가려지지 않은 영역을 뜻하고,

는 가려진 영역을 뜻한다. 이렇게 새롭게 구성된 영상

로 여기고 위의 과정을 기존에 정해 놓은 기준치가 수렴할 때까지 계속 반복한다(S32). 모든 반복 과정을 거지고 기준치가 수렴했을 때 생성된 영상을 최종적으로 복원된 영상으로 결정한다(S33).

상기의 과정을 통하여 최종적으로 얼굴 영상의 가려진 부분이 복원되는데, 이러한 종래 주성분 분석법(PCA)을 이용한 얼굴 영상 복원 방법은 얼굴 영상 복원 과정에서 얼굴 영상의 모든 픽셀 정보를 이용하기 때문에 계산 과정이 복잡하고 계산 속도가 느린 문제점이 있었다.

또한, 상기 주성분 분석법(PCA)을 이용한 얼굴 영상 복원 방법은 가려진 부분이 검출된 영상에서 가려진 부분의 모든 픽셀들을 검출하지 못하거나 가려진 부분 외의 픽셀에서 많은 잡음이 발생하는 문제점이 있었다. 뿐만 아니라, 상기 주성분 분석법(PCA)을 이용한 얼굴 영상 복원 방법은 복원된 영상에서 가려진 부분과 가려지지 않은 부분과의 경계선이 매끄럽게 연결되지 않고 끊기는 문제점이 있었으며, 복원된 영상 또한 뭉개지는 현상이 발생하는 문제점이 있었다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 얼굴 영상에서 가려진 부분을 검출하는 과정에서 각 픽셀간의 상관관계를 이용함으로써 가려진 영역이 검출된 얼굴 영상의 잡음 발생을 저하시킬 수 있도록 하는 상관관계를 이용한 가려진 얼굴 영상 검출 방법을 제공하는 데 있다.

또한 본 발명의 다른 목적은 얼굴 영상의 가려진 부분을 복원하는 과정에서 가려진 부분과 상관도가 높은 적은 수의 픽셀 정보만을 이용하여 얼굴 영상을 복원하도록 함으로서 얼굴 영상 복원 속도가 빠르게 이루어질 수 있도록 하며, 복원된 얼굴 영상이 뭉개지는 현상을 방지하고 복원되는 얼굴 영상의 가려진 부분과 가려지지 않는 부분의 경계가 부드럽게 형성될 수 있도록 하는 상관관계를 이용한 가려진 얼굴 영상 복원 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법은 입력되는 얼굴 영상의 가려진 부분을 검출하여 복원하는 얼굴 영상 검출 및 복원 방법에 있어서, 학습 얼굴 영상을 입력받아, 학습 얼굴 영상에 포함된 각 픽셀 값들의 상관계수를 계산하는 학습 단계와; 얼굴 영상 일부가 가려진 테스트 얼굴 영상을 입력받아, 상기 테스트 얼굴 영상의 각 픽셀 값과 상기 학습 단계를 통하여 계산된 상관계수에 따라 상관도가 높은 다수 개의 픽셀 값들에 의해 예측된 픽셀 값을 비교하여 차이를 계산함으로써 테스트 얼굴 영상에 포함된 가려진 영역을 검출하는 검출 단계와; 상기 검출 단계에서 검출된 가려진 영역의 픽셀 값을 상기 학습 단계에서 계산된 상관계수에 따라 상관도가 높은 다수 개의 가려지지 않은 부분의 픽셀 값들로 예측하고, 예측된 픽셀 값으로 가려진 영역의 픽셀 값을 대체하여 얼굴 영상을 복원하는 복원 단계;를 포함하여 이루어진다.

상기 학습 단계는 입력되는 학습 얼굴 영상에 포함된 각 픽셀 값의 평균 및 표준편차를 계산하고, 평균 및 표준편차를 이용하여 각 픽셀 간의 상관계수를 계산하게 되는데, 상기 학습 단계에서 계산되는 각 픽셀 간의 상관계수는 기준 값을 초과하는 일부 큰 값들이 선택되어, 검출 단계 및 복원 단계에서 이용되게 된다.

또한, 상기 검출 단계는 테스트 얼굴 영상의 각 픽셀과 상관도가 높은 다수 개의 픽셀 값을 예측하여 예측된 영상으로 각 픽셀 값을 재구성하는 단계와, 상기 계산된 테스트 얼굴 영상의 각 픽셀 값과 상관도가 높은 픽셀 값으로 재구성된 픽셀 값을 비교하여 각 픽셀 값의 차이가 기준 값을 초과하는 픽셀을 선택하여 가려진 영역으로 판단하는 단계를 포함하여 이루어진다.

상기 테스트 얼굴 영상의 각 픽셀 값을 재구성하는 단계에서 예측되는 테스트 얼굴 영상의 각 픽셀 값과 상관도가 높은 다수 개의 픽셀 값은, 상기 학습 단계에서 계산된 상관계수 중 기준 값을 초과하는 값이 큰 일부의 상관계수 값을 갖는 픽셀 값으로 예측되는 것이 바람직하다.

상기 테스트 얼굴 영상의 각 픽셀 값을 재구성하는 단계에서 예측되는 테스트 얼굴 영상의 각 픽셀 값과 상관도가 높은 다수 개의 픽셀 값은 다음의 수학식에 의해 계산된다.

[수학식]

여기에서, N은 얼굴 영상의 개수이고,

은 n번째 얼굴 영상에서의 i번째 픽셀 값이고,

는 i번 째, j번 째 샘플 평균을 나타낸다.

한편, 상기 복원 단계에서 예측되는 가려진 영역의 픽셀 값과 상관도가 높은 다수 개의 픽셀 값은, 상기 검출 단계에서 가려진 영역으로 판단되지 않은 테스트 얼굴 영역의 픽셀 값인 것이 바람직하다.

뿐만 아니라, 상기 복원 단계에서 예측되는 가려진 영역의 픽셀 값과 상관도가 높은 다수 개의 픽셀 값은, 상기 학습 단계에서 계산된 상관계수 중 기준 값을 초과하는 값이 큰 일부의 상관계수 값을 갖는 픽셀 값으로 예측되는 것이 바람직하다.

본 발명에 따른 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법은 얼굴 영상에 포함된 각 픽셀간의 상관관계를 이용하여 얼굴 영상에서 가려진 부분을 검출함으로써 가려진 얼굴 영역 및 주변 영역에서 발생하는 잡음을 최소화할 수 있는 효과가 있다. 또한 본 발명에 따른 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법은 얼굴 영역에서 가려진 영역이 검출되면 가려진 얼굴 영역과 상관도가 높은 픽셀을 이용하여 얼굴 영상을 복원함으로써 복원 속도가 빠르고, 복원된 얼굴 영상에서 뭉개지는 현상을 최소화할 수 있으며 복원된 얼굴 영상의 가려진 부분과 가려지지 않은 부분과의 경계가 부드럽게 형성할 수 있는 효과가 있다.

도 1은 종래 주성분 분석법(PCA)을 이용하여 얼굴 영상에서 가려진 부분을 검출하고 복원하는 방법을 나타낸 개념도,
도 2는 본 발명에 따른 상관관계를 이용하여 얼굴 영상에서 가려진 부분을 검출하고 복원하는 과정을 나타낸 개념도,
도 3은 본 발명에 따른 상관계수 예측치를 이용한 실제 얼굴 영상에서 얼굴의 특정 부분에 대하여 각각의 상관계수 맵을 나타낸 도면,
도 4는 상기 도 2의 얼굴 영상 중 눈, 코, 입, 볼 부분에 대해 연관도가 높은 여러 픽셀들의 집합을 나타낸 도면,
도 5는 얼굴 영상 부분 및 이 얼굴 영상 부분과 상관관계가 높은 픽셀들의 영향 관계를 나타낸 도면,
도 6은 테스트 얼굴 영상을 입력받아 가려진 부분을 검출하고 검출된 부분을 복원하는 과정을 주성분 분석법과 상관계수를 이용하여 실험한 일례를 나타낸 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 본 발명에 따른 상관관계를 이용하여 얼굴 영상에서 가려진 부분을 검출하고 복원하는 과정을 나타낸 개념도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 상관관계를 이용한 얼굴 검출 및 복원 방법은 학습과정(S100)과 검출과정(S200) 및 복원과정(S300)을 통하여 이루어진다.

상기 학습과정(S100)은 얼굴 영상의 어느 한 부분도 가려지지 않은 얼굴 영상을 학습 얼굴 영상으로 입력받아, 학습 얼굴 영상에 포함된 각 픽셀 값들의 상관계수를 계산하는 과정을 수행한다. 상기 학습과정(S100)에서는 입력되는 학습 얼굴 영상(S110)에 포함된 각 픽셀들의 평균 및 표준편차를 계산한 후(S120), 이를 이용하여 각 픽셀들의 상관계수를 계산하게 된다(S130).

상기 검출과정(S200)은 얼굴 영상 일부가 가려진 테스트 얼굴 영상을 입력받아 상기 테스트 얼굴 영상의 각 픽셀 값과 상기 학습 단계를 통하여 계산된 상관계수에 따라 상관도가 높은 다수 개의 픽셀 값을 비교하여 차이를 계산함으로써 테스트 얼굴 영상에 포함된 가려진 영역을 검출하는 과정을 수행하게 된다. 이를 위하여 검출과정(S200)에서는 입력되는 테스트 얼굴 영상의 각 픽셀 값을 계산하고(S210), 상기 테스트 얼굴 영상의 각 픽셀과 상관도가 높은 다수 개의 픽셀 값을 예측하여 추정하며(S220), 추정된 영상으로 각 픽셀 값을 재구성한 후 상기 테스트 얼굴 영상의 각 픽셀 값과 상관도가 높은 픽셀 값으로 재구성된 테스트 얼굴 영상의 픽셀 값을 비교하여 차를 계산하고(S230), 각 픽셀 값의 차이가 기준 값을 초과하는 픽셀을 선택하여 가려진 영역으로 판단하게 된다(S240)(S250).

또한, 상기 복원과정(S300)은 검출과정(S200)에서 검출된 가려진 영역의 픽셀 값을 상기 학습과정(S100)에서 계산된 상관계수에 따라 상관도가 높은 다수 개의 픽셀 값으로 예측하여 추정하고(S310), 추정된 픽셀 값으로 가려진 영역의 픽셀 값을 대체하여 얼굴 영상을 복원하게 되는데(S320), 이러한 얼굴 영상 복원은 복원되는 영상이 최종 복원된 영상으로 기 설정된 기준치를 만족할 때까지 반복하여 수행하여(S330), 최종 복원된 영상을 생성하게 된다(S340).

이하에서는 상기의 과정을 통하여 수행되는 상관관계를 이용한 얼굴 영상 검출 및 복원 방법의 각 과정에 대하여 상세히 설명하기로 한다.

먼저, 본 발명에 따른 상관관계를 이용한 얼굴 검출 및 복원 방법의 설명에 앞서, 본 발명에서 이용하고 있는 상관계수에 대하여 설명하기로 한다.

상관계수는 영상의 픽셀 간 연관성을 나타내는 값으로서, 영상의 각 픽셀을 하나의 확률변수라 가정하면, 이 상관계수는 두 확률변수 사이에 얼마나 연관성이 존재하는지를 나타내는 지표가 된다. 상관계수는 공분산을 표준편차로 나눠서 표준화시킨 것으로, -1에서 1까지의 값을 가진다. 상관계수는 1 또는 -1 값에 가까울수록 두 확률변수 간의 관련성이 크다는 뜻이고, 0에 가까울수록 관련성이 없다는 뜻이다.

두 확률변수 간의 상관계수는 다음의 수학식 9를 통하여 계산된다.

여기에서,

는 i번째 확률변수이고,

는 j번 째 확률변수를 의미한다. 또한,

는 두 확률변수의 공분산을 나타내고,

는 각각의 확률변수의 표준편차를 나타내며,

를 의미한다.

입력 영상에서는 각각의 픽셀을 하나의 확률변수로 생각할 수 있으므로 한 장의 영상은 하나의 d차원 확률벡터의 실현으로 생각할 수 있고, 각 픽셀들 사이의 연관도는 상기 수학식 9에서 정의한 상관계수를 통해 유추할 수 있다. 가려진 영상의 경우 가려진 부분의 픽셀 값을 해당 픽셀과 연관도가 높은 가려지지 않은 부분의 픽셀 값들로부터 예측할 수 있다는 것이 본 발명의 기본 개념이다.

만약, N장의 학습 얼굴 영상이 주어졌다고 가정하면, 실제 상황에서 수학식 9의 두 확률변수의 기댓값 E(.)을 알 수 없으므로 N개의 샘플을 이용한 상관계수의 예측치를 다음의 수학식 10과 같이 구할 수 있다.

여기에서

은 n번째 학습 영상에서의 i번째 픽셀 값이고,

는 i번 째, j번 째 샘플 평균을 나타낸다.

도 3은 이러한 상관계수 예측치를 이용한, 실제 얼굴 영상에서 얼굴의 특정 4부분, 즉 눈과 코, 입, 볼 부분에 대하여 각각의 상관계수 맵을 나타낸 것이다.

도 3의 상관관계 맵에서 밝게(하얀색) 표시된 부분은 상관계수의 절대값이 높은 부분이고, 어둡게(검정색) 표시된 부분은 상관계수의 절대값이 낮은 부분이다. 여기서 눈에 대한 상관계수 맵을 살펴보면, 왼쪽 눈동자의 한 픽셀과 연관도가 높은 픽셀들, 즉 왼쪽 눈동자 주변과 오른쪽 눈동자 주변이 밝게 표시되어 있는 것을 볼 수 있다. 이렇게 상관계수를 이용하면, 가까운 픽셀들의 정보뿐만이 아니라 그 픽셀과 멀리 떨어져 있는 픽셀들의 정보도 이용하여 더 좋은 결과를 얻을 수 있을 것으로 예상할 수 있다.

만약, 얼굴 영상의

의 픽셀 값을 모른다고 가정하고,

의 픽셀 값은 알고 있다고 가정하면,

의 픽셀 값은 해당 픽셀과 연관도가 높은 여러 픽셀들의 집합

을 이용해서 구할 수 있는데, 이때 이용하는 것이 jointly Gaussian 방법이다.

도 4는 상기 도 3의 얼굴 영상 중 눈, 코, 입, 볼 부분에 대해 연관도가 높은 여러 픽셀들의 집합을 나타낸 것으로,

로 표시된 픽셀은

픽셀을 나타낸 것이다.

만약,

일 때,

번째 픽셀 값이 v라고 가정하고

의 확률을 식으로 표현하면 다음의 수학식 11과 같이 나타낼 수 있다.

여기에서,

는 상수이기 때문에

는

에 비례한다고 볼 수 있다. 그러므로

는

를 생략하고

에 대해 나타낼 수 있는데,

를 정리하면 다음의 수학식 12와 같이 나타낼 수 있다.

여기에서

은 다음의 수학식 13과 같다.

상기 수학식 12를 통해 기댓값과 분산값을 아래의 수학식 14 및 수학식 15와 같이 정리할 수 있다.

만약,

이 경우에

번째 픽셀 값이 v,

번째 픽셀 값이 w 라고 가정할 때,

값을 구하기 어려우므로 가중합계(weighted sum)에 의해 구하게 된다. 이때, 가중치(weight)는 신뢰도(confidence)로 1/variance, 즉

이다. 만일 신뢰도(confidence)가 높으면 가중치(weight) 값을 크게 주고, 신뢰도(confidence)가 낮으면 가중치(weight) 값을 작게 준다.

이하에서는 상술한 상관관계를 이용하여 얼굴 영상에서 가려진 검출하고 복원하는 과정에 대하여 설명한다.

도 2에서 설명하였던 바와 같이, 본 발명에 따른 상관관계를 이용한 얼굴 검출 및 복원 방법은 학습과정과 검출과정 및 복원과정을 통하여 이루어진다.

상기 학습과정은 학습 영상을 입력받아 각 픽셀들의 상관관계를 계산하게 되고, 검출과정은 테스트 영상을 입력받아 상기 학습과정을 통하여 계산된 각 픽셀들의 상관관계를 이용하여 각 픽셀 값의 차를 계산하여 테스트 영상에서 가려진 부분을 검출하게 되며, 복원과정은 상기 검출과정에서 검출된 가려진 부분을 각 픽셀들의 상관관계를 이용하여 복원하게 된다.

상기 학습 과정은 가려지지 않은 얼굴 영상을 입력받아 모든 얼굴 영상들의 모든 픽셀에 대하여 상관계수를 구하게 된다. 즉, 상술한 수학식 10에서와 같이, 먼저 모든 얼굴 영상들의 평균 영상과 표준편차 영상을 구하고, 각 얼굴 영상들에서 평균 영상과의 차 영상들을 구한 후, 이렇게 구해진 차 영상들의 각 픽셀에 대해 상관계수를 구하고, 상관계수 값들 중 기준치를 초과하는 큰 값들의 일부만을 저장하여 이후 검출과정 및 복원과정에서 이용하게 된다. 본 발명의 실시예에서는 얼굴 영상의 픽셀이 10,000개라면 이중 상관계수가 높은 1,000개 정도의 상관계수만을 선택하여 이용함으로써, 이 후 이 상관계수를 이용하는 검출 및 복원 과정이 신속하게 이루어질 수 있도록 한다. 또한, 상기 상관계수 값을 구하기 위하여 먼저 계산되었던 평균 영상과 표준 편차 영상도 추후에 이용하기 위하여 저장하게 된다.

상기 과정을 통하여 학습과정이 수행되면, 테스트 얼굴 영상을 입력받아 테스트 영상 중 가려진 부분을 검출하는 검출과정을 수행하게 된다. 상기 테스트 얼굴 영상은 배경기술에서 설명하였던 주성분 분석법(PCA)에서와 같이, 임의의 위치에 임의의 너비와 높이를 가진 사각형으로 얼굴의 일부분이 가려진 영상이다.

상기 입력된 테스트 얼굴 영상들은 상기 학습과정을 통하여 구해진 평균 영상으로 정규화 시킨 다음, 정규화된 각 테스트 얼굴 영상의 픽셀 값을 상관관계를 이용하여 추정하게 된다. 만약, 정규화된 각 테스트 얼굴 영상들의 첫 번째 픽셀 값을 모른다고 가정하면, 첫 번째 픽셀에 대해 해당 픽셀과 연관도가 높은 여러 픽셀들의 픽셀 값을 이용하여 해당 픽셀 값을 예측할 수 있다. 이때, 해당 픽셀 값은 상관계수 값이 일정값을 넘는 여러 픽셀 값들의 가중합계(weighted sum)에 의해 구해지는데, 가중치(weight) 값과 예측되는 픽셀 값에 대한 내용을 더 쉽게 이해하기 위해 식으로 표현하면 다음의 수학식 16 내지 수학식 18과 같다.

여기에서

는 i번 째 픽셀(모른다고 가정한 첫 번째 픽셀)과 j번 째 픽셀 사이의 상관관계에 대한 가중치(weight) 값, 즉 앞에서 언급한 신뢰도(confidence)를 의미한다. 또한,

는 i번 째 픽셀과 연관도가 높은 픽셀들로, 그 픽셀들의 값은 우리가 알고 있다고 여긴다. 이를 간단히 그림으로 나타내면 도 5과 같은데, 도 5의 왼쪽은 얼굴 영상 부분을 간단하게 나타낸 도면이고, 오른쪽 그림은 상관관계가 높은 픽셀들이

에 영향을 주는 것을 나타낸 도면이다.

상기 도 5을 살펴보면,

로 나타낸 것은 픽셀 값을 알지 못해 값을 추정해야 하는 i번 째 픽셀을 나타낸 것이고,

는 i번 째 픽셀과 연관도가 높은 픽셀들을 그림으로 도시화한 것이다. 결론적으로

의 픽셀 값은 연관도가 높은 각각의

의 픽셀 값들의 가중합계(weighted sum)에 의해 결정된다.

상기에서는 첫 번째 픽셀 값을 모른다고 가정하였다. 이제는 정규화된 각 테스트 얼굴 영상들의 각각의 픽셀 값을 모른다고 가정해 보면, 테스트 얼굴 영상들의 각각의 픽셀 값은 연관도가 높은 픽셀 값들의 가중합계(weighted sum)에 의해 구해진 것으로 간주할 수 있다.

이때, 테스트 얼굴 영상 데이터들의 각각의 실제 픽셀 값

와 상관계수를 이용하여 예측된 픽셀 값

와의 차이값이 일정 경계값보다 크면 그 부분은 임의의 너비와 높이를 가지는 사각형에 의해 가려진 부분이라 판단되게 되는데, 이를 식으로 표현하면 다음의 수학식 19와 같다.

여기에서

는 가려지지 않은 영역을 의미하고,

는 가려진 영역을 의미한다.

상기 수학식 19에 의해 각 테스트 얼굴 영상의 특정 부분이 가려진 부분인지 아닌지를 판단하게 되며, 이로써 얼굴 영상의 가려진 부분을 검출할 수 있다.

상기의 과정을 통하여 테스트 얼굴 영상의 가려진 영역이 검출되면, 검출된 가려진 영역을 각 픽셀간의 상관관계를 이용하여 복원하게 된다.

상기 검출과정에서와는 달리, 복원과정에서는 얼굴 영상에서 어느 부분이 가려져 픽셀 값을 알지 못하는지 미리 알 수 있다. 따라서, 이 부분의 픽셀 값을 하나씩 채우기 위해서 각각의 픽셀을 제외한 나머지 부분, 즉 픽셀 값을 알고 있다고 가정한 부분만을 이용하여 가려진 픽셀과 연관도가 높은 픽셀들을 다시 찾게 된다. 모르는 픽셀 값은 상기 수학식 16과, 수학식 17, 수학식 18을 통해 예측값이 구해지며, 예측된 픽셀 값들은 상기 수학식 19에서 아래 수학식 20의 조건을 만족할 경우에 한해서 기존 픽셀 값들과 대체된다.

만약, 픽셀 값을 알고 있다고 가정한 부분이 값을 예측하고자 하는 픽셀의 주변이고 그 부분도 가려진 영역이라면, 가려진 픽셀은 상기 수학식 19의 조건을 만족하지 못하므로 다시 가려진 영역으로 판단된다. 반대로 픽셀 값을 알고 있다고 가정한 부분이 가려지지 않은 영역에 속한다면, 예측된 픽셀 값은 수학식 19의 조건을 만족하므로 모른다고 가정한 픽셀 값은 예측된 값으로 채워진다. 그러므로 알고 있다고 가정한 픽셀들이 가려진 영역에 속한 경우에는 먼저 앞에서 설명한 후자의 경우에 속하는 픽셀들부터 예측된 픽셀 값으로 채워진 다음, 예측된 값들에 의해 유추되게 된다. 결국 최종적으로 복원된 얼굴 영상은 영상의 가려진 영역의 각 픽셀 값들이

로 대체될 때까지 상기의 과정을 반복하여 마지막으로 얻어진 영상을 의미한다.

상기의 과정을 통하여 테스트 얼굴 영상에서 가려진 부분을 검출하게 되고, 검출된 가려진 부분의 픽셀은 상관관계에 따라 연관도가 높은 다른 픽셀들을 통하여 채워짐으로써 얼굴 영상이 복원된다.

도 6은 테스트 얼굴 영상을 입력받아 가려진 부분을 검출하고 검출된 부분을 복원하는 과정을 주성분 분석법과 상관계수를 이용하여 실험한 일례를 나타낸 것이다.

실험에 사용된 얼굴 영상은 BioID 데이터로 총 1521장의 그레이 영상으로, 각 영상은 23명의 정면 얼굴로 구성되어 있다. 각각의 영상의 크기는 100×100 픽셀의 크기로 이루어져 있으며, 각 영상의 사람 얼굴은 두 눈의 중심을 기점으로 고정되어 있다. 이 데이터는 현실 조건에 맞춰 촬영된 것으로 각 영상마다 매우 큰 변화를 가지는 조명 환경에서 획득되었다.

종래 주성분 분석법을 이용한 실험에서는 학습 영상으로 1521장 중 임의로 1000장을 선택하여 사용하였고, 나머지 521장을 테스트 영상으로 사용하였다. 본 발명의 상관관계를 이용한 실험에서는 1521장 모두에 대해 상관계수를 구한 다음, 주성분 분석법에서 사용한 것과 똑같은 테스트 영상을 이용하여 실험하였다. BioID 데이터는 영상의 얼굴 일부분이 가려져 있지 않으므로 실험을 위해, 도 6의 테스트 영상과 같이 임의의 너비와 높이를 가진 직사각형을 얼굴의 임의의 위치에 배열하였다.

종래 주분석 분석법을 이용한 실험에서는, 학습 단계에서 10000차원인 1000장의 학습 얼굴 영상 데이터를 주성분 분석법을 이용하여 50차원으로 축소시키고,

인 변환 행렬을 구했다. 테스트 영상으로 들어온 얼굴 부분이 가려진 데이터를 위의 배경기술에서 설명한 수학식 6을 이용하여 재구성한다. 그 다음, 재구성된 얼굴 영상과 테스트 영상인 가려진 얼굴 영상과의 차이를 구한다. 차 영상에서 각각의 픽셀 값이 일정 경계값을 넘으면 영상에서 가려진 부분이라고 간주하고, 일정 경계값을 넘지 않으면 가려지지 않은 부분이라 여긴다. 이를 그림으로 나타내기 위해서 경계값을 넘는 부분의 값은 1로 정하고, 넘지 않는 부분은 0으로 정하여 이를 도시화하였다. 도 6의 주성분 분석법 검출 영상에서와 같이, 가려진 부분을 어느 정도 찾지만 가려지지 않은 영역을 가려진 영역이라 판단하거나 가려진 영역에서도 0의 값을 가지는 픽셀들이 존재하는 등 여러 잡음이 발생하는 것을 볼 수 있다. 이제 앞의 수학식 8에서 언급했듯이, 새로운

에 영상의 가려진 부분이라 간주된 각 픽셀에는 위에서 재구성된 영상의 각 픽셀 값으로 채우고, 나머지 가려지지 않은 부분에는 테스트 얼굴 영상의 가려지지 않은 부분으로 채운다. 새롭게 생성된 영상

를 테스트 영상과 같이 취급하여 위의 과정을 실험에서 정한 기준치가 수렴할 때까지 반복한다. 이렇게 해서 최종적으로 복원된 영상은 도 6의 주성분 분석법 복원 영상에서 확인할 수 있다.

한편, 본 발명에 따른 상관관계를 이용한 실험에서는, BioID 데이터 1521장을 상기 수학식 10을 이용하여 각 픽셀에 대한 상관계수를 구한다. 그 중 상관계수 값들이 큰 1000개만을 추려 따로 저장해 둔다. 먼저 따로 저장해 둔 상관계수 값들을 이용하여 영상의 가려진 부분을 찾아낸다. 본 실험에서 1000개 중 큰 값부터 20개의 상관계수 값을 뽑아내어 그 상관계수 값이 0.9 이상일 때만 jointly Gaussian을 이용하였다. 만일 특정 한 픽셀 값을 모르고 20개의 상관계수 값이 다 0.9 이상일 때, 각 20개의 상관계수 값에 해당하는 영상 픽셀 값에 가중치(weight)를 주어 모르는 픽셀 값을 추정하게 된다. 이때, 추정된 픽셀 값과 테스트 영상의 픽셀 값의 차가 일정 경계값보다 크면 가려진 영역이라 간주하고, 경계값보다 작으면 가려지지 않은 영역이라 간주한다. 여기서도 위의 주성분 분석법의 실험에서와 같이 가려진 영역은 1의 값으로, 가려지지 않은 영역은 0의 값으로 정하여 도식화하였는데, 이는 도 6의 상관계수 검출 영상에서 확인할 수 있다. 도 6의 상관계수 검출 영상을 참조하면, 실제 가려진 영역보다 좀 더 튀어 나오는 잡음이 발생하지만, 주성분 분석법을 이용한 방법보다 가려진 영역과 거리가 먼 영역에서 발생하는 잡음이 존재하지 않으며 가려진 영역 내에서의 잡음이 발생하지 않는 것을 확인할 수 있다. 또한, 복원 영상에서도, 도 6의 상관계수 복원 영상을 육안으로 확인하는 것에 의하여도 주성분 분석법의 복원 영상보다 좀 더 깔끔한 결과를 도출하게 된다.

도 6에 도시된 바와 같이, 테스트 얼굴 영상 데이터들을 직접 눈으로 비교해 보아도 주성분 분석법을 이용하여 복원된 영상이 상관관계를 이용하여 복원된 영상들보다 뭉개지는 효과(blurring)가 더 심하고, 가려진 영역과 가려지지 않은 영역과의 경계가 부드럽게 연결되지 않는 것(discontinuity)을 확인할 수 있다. 또한, 주성분 분석법을 이용한 방법은 모든 픽셀들을 다 이용하는 반면에 본 발명에서 제안된 상관계수를 이용한 방법은 몇 개의 픽셀들만을 이용하는 장점이 있다.

상기에서 BioID 데이터의 테스트 얼굴 영상들을 주성분 분석법을 이용하여 영상의 가려진 부분을 복원하였고, 또 상관관계를 이용하여 영상의 가려진 부분을 복원하였다. 이렇게 두 가지 방법에 의해 복원된 영상들은 가려지기 전의 영상, 즉 실제 기준(ground truth) 영상과의 오차를 계산함으로써 복원 성능을 비교할 수 있다.

주성분 분석법을 이용하여 최종적으로 복원된 영상을

라고 하고, 상관관계를 이용하여 복원된 영상을

라고 하자. 또한, 테스트 얼굴 영상 데이터가 임의의 너비와 높이를 가진 사각형으로 가려지기 전의 실제 기준(ground truth) 영상 데이터를

라고 하자. 복원된 영상

또는

가 얼마나 실제 영상

와 비슷하게 복원되었는지를 알기 위해 L1-norm 오차와 L2-norm 오차를 구해 비교해 본다. 오차를 구하기 위한 식들은 아래의 수학식 21과 수학식 22와 같다.

다음의 표 1은 상기 수학식 21과 수학식 22를 통하여 계산된 주성분 분석법과 상관관계를 이용한 복원 영상의 L1-norm 오차와 L2-norm 오차를 비교한 도표이다.

상기 표 1에서 보여지는 바와 같이, L1-norm 평균 오차는 주성분 분석법이 17052.45, 상관관계를 이용한 방법이 9997.02로 상관관계를 이용한 방법이 주성분 분석법보다 7055.43 정도 오차가 작은 것을 볼 수 있다. L2-norm 평균 오차는 주성분 분석법이 788.06, 상관관계를 이용한 방법이 499.21로 상관관계를 이용한 방법이 주성분 분석법보다 288.85정도 오차가 작은 것을 확인할 수 있다. 이와 같이, 복원된 그림을 육안으로 비교해 보아도 상관관계를 이용한 방법이 오차가 작다는 것을 확인할 수 있었는데, 실제 계산한 L1-norm 오차와 L2-norm 오차를 비교해 보아도 상관관계를 이용한 방법이 오차가 작다는 것을 다시 한 번 확인할 수 있다.

이와 같이, 본 발명에 따른 상관관계를 이용하여 영상의 가려진 부분을 검출하고 복원하는 방법이 종래의 주성분 분석법을 이용한 방법보다 뭉개지는 현상(blurring)이 적고 더 적은 픽셀들의 정보를 이용하여 실제 기준(ground truth) 영상과의 오차가 작은 좋은 결과를 얻을 수 있는 것을 알 수 있다.

이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.

Claims (8)

1. 입력되는 얼굴 영상의 가려진 부분을 검출하여 복원하는 얼굴 영상 검출 및 복원 방법에 있어서,
   (a) 학습 얼굴 영상을 입력받아, 학습 얼굴 영상에 포함된 각 픽셀 값들의 상관계수를 계산하는 학습 단계와;
   (b) 얼굴 영상 일부가 가려진 테스트 얼굴 영상을 입력받아,
   상기 테스트 얼굴 영상의 각 픽셀 값을,
   상기 학습 단계를 통하여 계산된 학습 얼굴 영상의 픽셀 값들의 상관계수에 따라 예측되는, 상관도가 상대적으로 높은 테스트 얼굴 영상의 픽셀 값과 비교하여 차이를 계산함으로써 테스트 얼굴 영상에 포함된 가려진 영역을 검출하는 검출 단계와;
   (c) 상기 검출 단계에서 검출된 가려진 영역의 픽셀 값을,
   상기 학습 단계를 통하여 계산된 학습 얼굴 영상의 픽셀 값들의 상관계수에 따라 예측되는, 상관도가 상대적으로 높은 테스트 얼굴 영상의 가려지지 않은 부분의 픽셀 값으로 대체하여 얼굴 영상을 복원하는 복원 단계;를 포함하여 이루어지는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
2. 제 1항에 있어서,
   상기 학습 단계(a)는 입력되는 학습 얼굴 영상에 포함된 각 픽셀 값의 평균 및 표준편차를 계산하고, 평균 및 표준편차를 이용하여 각 픽셀 간의 상관계수를 계산하는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
3. 제 2항에 있어서,
   상기 학습 단계(a)에서 계산되는 각 픽셀 간의 상관계수는 기준 값을 초과하는 일부 큰 값들이 선택되어, 검출 단계 및 복원 단계에서 이용되는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
4. 제 1항에 있어서,
   상기 검출 단계(b)는
   (b-1) 상기 테스트 얼굴 영상의 각 픽셀과 상관도가 상대적으로 높은 픽셀 값들을 예측하여 예측된 영상으로 각 픽셀 값을 재구성하는 단계와,
   (b-2) 상기 테스트 얼굴 영상의 각 픽셀 값과 상관도가 상대적으로 높은 픽셀 값으로 재구성된 픽셀 값을 비교하여 각 픽셀 값의 차이가 기준 값을 초과하는 픽셀을 선택하여 가려진 영역으로 판단하는 단계를 포함하여 이루어지는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
5. 제 4항에 있어서,
   상기 테스트 얼굴 영상의 각 픽셀 값을 재구성하는 단계(b-1)에서 예측되는 테스트 얼굴 영상의 각 픽셀 값과 상관도가 상대적으로 높은 픽셀 값들은, 상기 학습 단계에서 계산된 상관계수 중 기준 값을 초과하는 값이 큰 일부의 상관계수 값을 갖는 픽셀 값으로 예측되는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
6. 제 4항에 있어서,
   상기 테스트 얼굴 영상의 각 픽셀 값을 재구성하는 단계(b-1)에서 예측되는 테스트 얼굴 영상의 각 픽셀 값과 상관도가 상대적으로 높은 픽셀 값들은 다음의 수학식에 의해 계산되는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
   [수학식]
   

   

   
   

   

   
   (수학식에서 N은 얼굴 영상의 개수,

   

   은 n번째 얼굴 영상에서의 i번째 픽셀 값,

   

   는 i번 째, j번 째 샘플 평균)
7. 제 1항에 있어서,
   상기 복원 단계(c)에서 예측되는 가려진 영역의 픽셀 값과 상관도가 상대적으로 높은 픽셀 값들은, 상기 검출 단계에서 가려진 영역으로 판단되지 않은 테스트 얼굴 영역의 픽셀 값인 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.
8. 제 1항에 있어서,
   상기 복원 단계(c)에서 예측되는 가려진 영역의 픽셀 값과 상관도가 상대적으로 높은 픽셀 값들은, 상기 학습 단계에서 계산된 상관계수 중 기준 값을 초과하는 값이 큰 일부의 상관계수 값을 갖는 픽셀 값으로 예측되는 것을 특징으로 하는 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법.

Images