KR101015671B1 - 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법 - Google Patents

측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법 Download PDF

Info

Publication number
KR101015671B1
KR101015671B1 KR1020090101459A KR20090101459A KR101015671B1 KR 101015671 B1 KR101015671 B1 KR 101015671B1 KR 1020090101459 A KR1020090101459 A KR 1020090101459A KR 20090101459 A KR20090101459 A KR 20090101459A KR 101015671 B1 KR101015671 B1 KR 101015671B1
Authority
KR
South Korea
Prior art keywords
image
algorithm
geodetic distance
initial point
face
Prior art date
Application number
KR1020090101459A
Other languages
English (en)
Inventor
조성원
기선호
김재민
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020090101459A priority Critical patent/KR101015671B1/ko
Application granted granted Critical
Publication of KR101015671B1 publication Critical patent/KR101015671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 영상분리기술에 관한 것으로서, 영상 인식 시스템에 입력된 영상에 대한 초기점을 결정하는 단계; 상기 초기점을 기반으로 측지거리변환을 적용한 알고리즘과, 가우시안 혼합 모델을 적용한 알고리즘 및 워터쉐드(Watershed) 알고리즘을 이용하여 영상을 분리하되, 각 알고리즘은 상호 독립되게 병렬 처리하는 단계; 및 상기 각 알고리즘을 통하여 얻어진 결과값에 가중치를 두어 선형 결합하는 가중합 처리를 수행하는 단계를 포함하는 측지거리변환 기반 영상 분리 방법이 제공된다.
영상분리, 측지거리변환, 가우시안 혼합 모델, 워터쉐드, 병렬처리, 가중합

Description

측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법 {Image segmentation method based on Geodesic Distance Transform and image elimination method in face authentication system using the same}
본 발명은 객체와 배경이 혼합되어 있는 영상에서 객체와 배경 영역을 분리하는 영상 분리 기술에 관한 것으로, 보다 상세하게는 측지거리변환을 적용한 알고리즘과, 가우시안 혼합 모델을 적용한 알고리즘 및 워터쉐드(Watershed) 알고리즘을 이용하여 영상을 각각 분리하되 병렬처리를 통한 고속화 및 가중합 기법을 이용한 영상 분리의 정밀도를 개선한 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법에 관한 것이다.
최근 영상 처리 관련 연구가 다양하게 진행되고 있으며 실생활에 적용되어 그 중요성과 관련 시장 규모는 날로 증대되고 있다. 예로 카메라에 사람의 표정을 인식하는 기능이 추가되거나, 핸드폰에 사진 합성 기능이 들어있고, 열쇠나 카드 대신 얼굴 인증으로 출입자를 확인하는 도어락 등과 같이 다양한 영상 처리 기술을 실제로 적용한 제품들이 인기를 얻고 있다.
이런 영상 처리 기술들은 하드웨어와 소프트웨어 기술의 발달로 인해 대량의 멀티미디어 정보를 고속으로 처리할 수 있게 되면서 발전하였다. 하지만, 영상 처리 기술의 발전을 위해 영상 관련 기기, 기술들의 규격의 통일이 필요하였고 현행 메모리의 구조에 따른 2차원 배열 구조로 통일되었다. 색공간의 조합이나 용량 압축에 따른 약간의 차이가 있지만 영상 데이터를 획득하는 하드웨어인 카메라의 CCD나 CMOS, 각종 기기에서 사용되는 영상 소프트웨어 파일 포맷인 BMP, JPG, PNG 등 모두 2차원 배열 구조로 이루어져 있다.
2차원 배열의 영상 규격 속에서 출입자의 얼굴을 인증하기 위한 영상 인식 기술, 전송받은 사진들을 합성하는 영상 합성과 변형, 표정을 인식하기 위한 검출 등의 다양한 형태의 객체를 다루는 기술을 사용하려면 문제가 발생한다. 영상 인식을 예로 들면, 인식 대상의 형태가 사각형일 경우 구도를 잘 맞추어 영상을 획득하면 인식 대상만의 정보를 얻을 수 있지만 인식 대상의 형태가 사각형이 아닐 경우 불가피하게 인식 대상의 정보와 인식 대상 주변의 정보가 함께 획득되게 된다. 이런 주변의 정보가 인식 대상과 색상, 형태가 비슷하면 영상 인식 시스템에 혼동을 주어 성능에 악영향을 미치게 된다. 이는 영상 합성, 변형, 검출 등에서도 유사한 문제를 발생시킨다.
따라서 영상 내의 원하는 객체의 영역만을 분리하기 위한 영상 분리 기술이 필요하며, 영상 분리 기술은 영상 처리 분야의 중요 부분으로 자리 잡고 지속적으로 연구되어 오고 있다.
그러나 영상 분리 기술은 기본적으로 ill-posed(풀이 불가능) 문제이다. 사 람이 시각적으로 객체의 영역을 인지하는 것은 직관과 방대한 경험의 정보를 바탕으로 하는 것이기 때문에 이를 컴퓨터 알고리즘으로 똑같이 구현하는 것은 불가능하기 때문이다. 이 문제를 해결하기 위해 영상 분리 기술은 객체와 배경에 대한 일부 초기점을 가지고 시작하는 것을 기반으로 연구되어 왔다. 사용자가 직접 객체와 배경에 대해 초기점을 지정해 주는 방식이다. 또한, 영상 분리는 속도와 정밀도의 양립 불가능한 문제가 있다. 정밀도를 높이기 위해서는 속도를 포기해야 하고 속도를 높이기 위해선 정밀도를 포기해야 하는 문제가 있다.
사용자 입력 초기점을 기반으로 하는 종래의 영상 분리 알고리즘들은 크게 표본, 확산, 표본과 확산을 융합한 모델, 추가적인 하드웨어를 이용한 네 가지 방식으로 연구되어 왔다.
표본 기반 영상 분리는 입력 초기점으로 선택된 픽셀들을 표본으로 색상 공간 분석을 통해 유사 표본들을 구별해 내는 알고리즘으로 Matting이 가장 처음 소개된 영상 분리 알고리즘이다. 이를 정교화와 객체의 투명도를 고려하는 Bayesian Matting과 Knockout, Grab Cut 등이 제안되었다. 표본 기반 영상 분리는 사용자가 선택한 표본(초기점)의 수와 신뢰도에 따라 성능이 크게 좌우되며 표본 모델을 최적화하기 위한 훈련이 필요하여 시간이 오래 걸리는 문제가 있으며, 훈련이 잘못되었을 경우 분리 결과가 크게 잘못되는 문제가 있다.
확산 기반 영상 분리는 표본 기반 영상 분리의 단점인 사용자 지정 표본 수를 최소화 하는 방향으로 발전되어 왔다. 객체와 배경의 색상 정보는 각각의 영역 내에서 변화량이 적다는 가정 하에 사용자가 지정한 최소한의 초기점에서 주변의 차이가 적은 이웃 픽셀로 영역을 확산해 나가는 알고리즘으로 확산 방식에 따라 Poisson Matting, Grow-Cut 등이 있다. 확산을 이용한 영상 분리는 반복적인 확산을 통해 정교화 하기 때문에 반복에 따른 속도 문제와 도넛형의 객체가 있을 경우 내부로의 확산 경로가 막혀있어 내부가 분리되지 않는 문제가 있다.
융합 모델 기반 영상 분리는 표본의 데이터 분포를 모델링하는 표본 기반 영상 분리와 픽셀 정보 확산에 따른 확산 기반 영상 분리를 융합한 영상 분리 기술로 Closed-form과 Robust Matting 등이 있다.
하드웨어 기반 영상 분리는 특정 하드웨어를 이용해서 영상을 분리하는 방법으로 Blue-screen Matting, Flash Matting, Defocus Matting 등이 있다. 분리 정밀도는 가장 높고 빠르지만, 추가적인 하드웨어가 필요하며, 기존의 영상 데이터에는 적용이 불가능하며, 일반적인 상황에는 적용이 불가능한 단점이 있다.
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 측지거리변환을 적용한 알고리즘과, 가우시안 혼합 모델을 적용한 알고리즘 및 워터쉐드(Watershed) 알고리즘을 이용하여 영상을 각각 분리하되 병렬처리를 통한 고속화 및 가중합 기법을 이용한 영상 분리의 정밀도를 개선시킨 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 영상 인식 시스템에 입력된 영상에 대한 초기점을 결정하는 단계; 상기 초기점을 기반으로 측지거리변환을 적용한 알고리즘과, 가우시안 혼합 모델을 적용한 알고리즘 및 워터쉐드(Watershed) 알고리즘을 이용하여 영상을 분리하되, 각 알고리즘은 상호 독립되게 병렬 처리하는 단계; 및 상기 각 알고리즘을 통하여 얻어진 결과값에 가중치를 두어 선형 결합하는 가중합 처리를 수행하는 단계를 포함하는 측지거리변환 기반 영상 분리 방법이 제공된다.
상기 측지거리변환을 적용한 알고리즘은 상기 초기점을 기반으로 측지거리변환(Geodesic Distance Transform)을 적용하여, 객체와 배경에 대한 각각의 측지거리변환 영상을 생성하는 단계; 및 상기 생성된 측지거리변환 영상에 형태 변형 알고리즘(Morphology)을 적용하여 잡음을 제거하는 단계를 포함한다.
상기 측지거리변환을 적용한 알고리즘은 상기 객체와 배경 각각에 측지거리변환을 적용하여 측지거리변환 영상을 생성하는 단계; 상기 생성된 측지거리변환의 잡음을 제거하기 위하여, 경계값의 범위를 결정하고, 각각의 경계값에 따른 GSM(Geodesic Symmetric Morphology) 영상 배열을 획득하는 단계; 상기 획득된 GSM 영상 조합에서 각 픽셀 마다 에너지 값을 계산하는 단계; 및 상기 계산된 에너지값 중 최소가 되는 조합의 픽셀 값을 최종결과 영상의 투명도로 선택하는 단계를 더 포함할 수 있다.
상기 측지거리변환(Geodesic Distance Transform)을 적용 시, 마스크의 확산은 대각선 4 방향으로 순환하는 방식으로 확산하는 것을 특징으로 한다.
상기 형태 변형 알고리즘(Morphology)은 객체 영역에는 닫힘 연산을 적용하는 단계; 배경 영역에는 열림 연산을 적용하는 단계; 및 상기 닫힘 연산과 상기 열림 연산 결과를 차분하여 측지거리변환 영상에서 잡음을 최소화하는 단계를 포함한다.
상기 가우시안 혼합 모델을 적용한 알고리즘은 상기 초기점에 대응되는 영상의 픽셀값을 추출하는 단계; 상기 추출된 픽셀값에 대하여 기대값 최대화(Expectation Maximization) 연산을 수행하는 단계; 상기 기대값 최대화의 반복을 통하여 색정보에 대한 가우시안 혼합 모델을 생성하는 단계; 및 상기 생성된 가우시안 혼합 모델을 사용하여 영상의 픽셀이 가질 투명도를 예측하여 결과 영상의 투명도를 계산하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서의 영상 제거 방법으로서, 상기 얼굴 인증 시스템에 영상을 입력하는 단계; 상기 입력된 영상에서 얼굴을 검출하는 단계; 상기 검출된 정보를 이용하여 영상 분리를 위한 초기점을 생성하는 단계; 상기 생성된 초기점을 기반으로 본 발명에 따른 측지거리변환 기반 영상 분리 방법에 따라 영상을 분리하는 단계; 및 상기 영상에서 배경을 제거하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 시스템에서의 영상 제거 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서의 영상 제거 방법으로서, 얼굴의 위치 정보를 이용하여 얼굴 영역의 영상 분리를 수행하는 단계; 상기 영상 분리한 결과를 이용하여 얼굴 특징점을 추출하는 단계; 상기 추출한 얼굴 특징점 정보를 이용하여 안경 영역의 영상 분리를 위한 초기점을 생성하는 단계; 상기 생성된 초기점을 기반으로 본 발명에 따른 측지거리변환 기반 영상 분리 방법에 따라 얼굴 영역과 안경 영역의 영상을 분리하는 단계; 및 분리된 영역을 인페인트(Inpaint) 기법을 사용하여 빈 공간을 채운 후, 입력된 영상에서 안경을 제거하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 시스템에서의 영상 제거 방법이 제공된다.
상기 초기점을 생성하는 단계는 얼굴 윤곽선을 이용하여 안경이 존재할 수 있는 후보 영역을 생성하는 단계; 및 전처리된 얼굴 영상을 이용하여 에지 성분이 강한 안경의 일부 특징을 추출하는 단계를 포함한다.
본 발명에 따르면, 다양한 알고리즘들의 병렬 처리에 따른 고속화와 다수의 결과들에 대한 선형 결합을 이용함으로써 정교한 결과를 동시에 얻을 수 있다.
본 발명에 따른 방법을 얼굴 인증 시스템에 적용함으로써 사용자의 초기점 입력 없이도 얼굴의 배경과 얼굴에 착용한 안경을 제거함으로써 얼굴 인증의 정확도가 더욱 향상되는 효과를 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
영상 분리는 입력된 영상의 픽셀들이 [식 1]에 의해 객체(Foreground, F)와 배경(Background, B)의 영역으로 혼합 구성되어 있다는 전제하에 진행된다.
[식 1]
Figure 112009065190273-pat00001
I z 는 입력된 영상의 z번째 픽셀을 의미하며, I z 는 투명도 a z 만큼의 객체 데이터 F와 (1-a z )의 배경 데이터 B의 값의 혼합(Mix)로 되어 있다는 것을 의미한다. 이때 투명도를 의미하는 a z 는 [0,1]의 범위를 가지며, a z =1 일 경우 I z 는 명확한 객체(Definite Foreground)가, a z =0 일 경우 I z 는 명확한 배경(Definite Background)이 된다. 따라서 영상 분리는 입력된 영상의 각 픽셀들의 투명도 a 값을 찾는 것을 목표로 한다.
도 1은 본 발명의 예시적인 실시예예 따른 측지거리변환 기반 영상 분리 방법의 전체 흐름도이다.
도 1을 참조하면, 우선 영상 인식 시스템에 영상 분리 대상이 되는 영상을 입력한다(S100).
사용자가 초기점을 입력하거나 영상 인식 시스템에서 초기점을 생성함으로써 초기점을 결정하는 과정을 수행한다(S200). 사용자의 초기점 입력없이 초기점을 생성하는 경우에, 객체 영역 검출, 예를 들면 얼굴 검출은 아다부스트(AdaBoost)의 알고리즘을 사용한다. 아다부스트는 입력 영상에서 복잡한 배경에서 다양한 형태와 자세의 얼굴도 검출이 가능한 장점이 있으므로 초기점 생성에 큰 무리 없이 적용할 수 있다.
S200 과정에서 결정된 초기점을 기반으로 측지거리변환 알고리즘을 이용하여 영상 분리하는 과정을 수행한다(S300). 그리고, S200 과정에서 결정된 초기점을 기반으로 가우시안 혼합 모델 알고리즘을 이용하여 영상 분리하는 과정을 수행한다(S400). 또한, S200 과정에서 결정된 초기점을 기반으로 워터쉐드(Watershed) 알고리즘을 이용하여 영상 분리하는 과정을 수행한다(S500). 한편, S300 과정, S400 과정 및 S500 과정은 데이터 레벨, 쓰레드 레벨에서 상호 독립되게 병렬처리하여 각각 결과를 얻는다.
그리고 나서, 각 과정에서 얻어진 결과값에 가중치를 두어 선형 결합하는 가중합 기법을 사용하여 영상 분리를 수행한다(S600).
본 발명에 따르면 다양한 알고리즘들을 병렬 처리함으로써 영상 분리 속도를 증가되는 효과를 얻을 수 있으며, 각 결과에 가중치를 달리하여 선형 결합함으로써 영상 분리의 정밀도를 증가시키는 효과를 동시에 얻을 수 있다.
본 발명에서 사용된 측지거리변환 알고리즘(S300), 가우시안 혼합 모델 알고리즘(S400) 및 워터쉐드(Watershed) 알고리즘(S500) 과정은 이하의 도면들을 참조하여 상세히 설명한다.
도 2는 도 1에 도시된 측지거리변환 알고리즘에 따른 영상 분리 방법을 나타낸 흐름도이다.
도 2를 참조하면, 우선 사용자가 해당 영상의 객체 및 배경에 대한 초기점을 입력하거나 또는 영상 인식 시스템에서 해당 영상의 특징점 검출 등의 알고리즘을 적용하여 초기점을 생성하는 과정을 수행한다(S310).
S310과정에서 결정된 초기점을 기반으로 측지거리변환(Geodesic Distance Transform)을 적용하여, 객체와 배경에 대한 각각의 측지거리변환 영상(GDT 영상)을 생성한다(S320, S330).
생성된 GDT 영상에 형태 변형 알고리즘(Morphology)을 적용하여 GDT 영상에 포함된 잡음을 제거하는 과정을 수행한다(S340). 그리고 나서, 다시 객체와 배경 각각에 측지거리변환을 적용하여 GDT 영상을 생성하고(S350), 생성된 GDT 영상의 잡음을 제거하기 위한 경계값(Threshold)을 다양하게 두어 각각의 경계값에 따른 GSM(Geodesic Symmetric Morphology) 영상 배열을 획득한다(S360).
S360 과정에서 얻어진 GSM 영상 조합에서 각 픽셀 마다 에너지 값을 계산하 는 과정(S370)을 수행하고, 에너지가 가장 최소화되는 조합의 픽셀 값을 최종결과 영상의 투명도로 선택한다(S380).
도 3은 기존 측지거리변환 시 문제점을 설명하기 위한 개념도이며, 도 4는 본 발명의 실시예에서 이용한 4방향 측지거리변환 방식을 설명하기 위한 개념도이며, 도 5는 본 발명에 따른 4방향 측지거리변환의 각 방향에 따른 마스크를 나타낸 도이고, 도 6a는 본 발명에 따른 4방향 측지거리변환 적용시 사용자가 입력한 객체 및 배경의 초기점이며, 도 6b는 생성된 객체 영역 초기점에 대한 측지거리변환 영상이고, 도 6c는 생성된 배경 영역 초기점에 대한 측지거리변환 영상이다.
도 3 내지 도 5를 참조하여, 본 발명의 실시예에서 적용된 측지거리변환(Geodesic Distance Transform)을 상세히 살펴본다.
측지 경로(Geodesic Path) 특정 영역 2점을 잇는 곡선 중에서의 최단거리를 의미한다. 이차원 영상 I에 대한 측지거리변환(GDT)은 영상에 대한 초기 마스크를 M (with M(x){0,1}x)이라 하였을 때 아래 식 2와 같다.
[식 2]
Figure 112009065190273-pat00002
식의 P a,b는 a와 b 픽셀간의 공간 거리를 의미하고, I는 a와 b 픽셀 사이의 그래디언트, u는 유닛 벡터, ( > 0)는 픽셀 사이의 그래디언트와 공간 거리 간의 가중 치를 의미하고, 가중치가 0일 경우엔 유클리디언 거리 변환(Euclidean Distance Transform)이 된다.
이 변형식을 마스크 M을 기준으로 영상 I의 모든 픽셀 x에 GDT 적용하면 마스크에 속한 픽셀 x의 수와, 마스크 외의 영역에 속한 픽셀 x'의 수의 곱인 O(n 2 )의 연산이 필요하다. 이 경우 영상 I의 크기가 커지면 연산량이 급격히 많아지게 된다.
이러한 연산량 문제를 해결하기 위한 종래기술은 Z 문자 방향으로 좌상단에서 우하단으로, 우하단에서 좌상단으로 GDT를 확산하는 것을 반복하여 픽셀들의 변화량이 일정 경계값 이하로 떨어져 수렴될 때까지 반복하는 방식으로서, 종래 기술에 따르면 O(n*i) (i는 반복횟수)의 연산량을 가지게 된다. 그러나, 종래기술의 문제는 반복에 의한 연산량 뿐이 아니고 Z 방향으로 GDT가 확산되기 때문에 도 3에 도시된 바와 같이 N 문자 방향(즉, 우측 상부와 좌측 하부)으로는 확산이 잘 안 되는 문제가 있었다.
본 발명의 실시예는 이러한 문제점을 보완하기 위하여, 도 4에 도시된 바와 같이 네 방향으로 돌아가며 GDT를 확산하는 방법으로, 반복 없이 O(4n)의 연산량으로 에러 공간이 없도록 GDT 확산을 하는 방식이다.
본 발명의 실시예에 따른 4방향 측지거리변환을 계산하기 위한 식은 이하의 식 3과 같으며, 4방향의 마스크는 도 5에 도시된 바와 같다.
[식 3]
Figure 112009065190273-pat00003
p는 C(x,y)와 이웃 픽셀 N과의 공간 거리이며 I는 그래디언트, 는 가중치이다. M은 새로 계산된 마스크 값을 의미한다. GDT 확산을 위해 선택되는 8개의 이웃하는 픽셀(N)들 중 각 방향에 따라 선택되는 이웃은 도 5에 도시된 마스크 그림과 같이 선택된다.
도 6a 내지 도 6c는 본 발명의 실시예에 따른 4방향 측지거리변환을 실제 영상에 적용한 결과이며, 입력 영상의 초록색, 붉은색 초기점은 사용자가 입력한 객체, 배경의 초기점이다.
도 7은 도 2에 도시된 잡음 제거를 위한 형태 변형(Morphology) 연산 과정을 나타낸 순서도이며, 도 8a 및 도 8b는 도 7에 도시된 형태 변형(Morphology) 연산을 설명하기 위한 개념도이며, 도 9는 본 발명에 따른 측지거리변환 영상에서의 형태 변형(Morphology) 연산을 나타낸 도이다.
도 7을 참조하면, 객체 영역에는 닫힘(Closing) 연산을 적용한다(S361). 그리고, 배경 영역에는 열림(Opening) 연산을 적용한다(S362). 그리고 나서, 닫힘 연산과 열림 연산 결과를 차분함으로써 측지거리변환 영상에서 잡음을 최소화하는 과 정을 수행한다(S363).
도 8a 및 도 8b를 참조하면, 형태 변형(Morphology) 알고리즘은 팽창(Dilate)과 침식(Erode)의 연산의 조합으로 이루어진다. 팽창과 침식의 영상 처리 예는 도 8a에 도시된 바와 같다.
입력 영상에 팽창과 침식을 영상에 차례로 적용하면 백색 부분의 잡음을 제거할 수 있으며, 이는 닫힘(Closing) 연산이라 불린다. 반대로 침식, 팽창을 적용하면 흑색 부분의 잡음을 제거할 수 있어 열림(Opening) 연산이라 불린다. 닫힘 연산을 적용한 후 열림 연산을 적용하면 잡음이 최소화된 영상을 얻을 수 있다(도 8b 참조).
영상 분리 대상 객체와 배경에 대한 GDT 영상을 아래 식 4와 같이 차분을 이용하여 깊이 정보를 생성한다. 생성된 깊이 정보(b 그래프)에서 아래 식 5와 같이 단순하게 경계값( d , e )의 값을 빼거나 더하는 것으로 팽창, 침식 영상(도 9의 c 그래프 참조)을 생성할 수 있다.
[식 4]
Figure 112009065190273-pat00004
[식 5]
Figure 112009065190273-pat00005
생성된 측지 팽창 영상과, 측지 침식 영상을 다시 이하의 식 6으로 측지 침식 연산, 측지 팽창 연산을 적용하여 측지 열림 영상, 측지 닫힘 영상을 생성한다.
[식 6]
Figure 112009065190273-pat00006
열림과 닫힘의 형태 변형 연산을 아래 식 7과 같이 객체 영역에는 닫힘을, 배경 영역에는 열림을 각각 적용하여 차분하는 것으로 입력 GDT 영상에서 잡음을 최소화 할 수 있다. 제거하는 잡음의 크기는 경계값(θd, θe)에 따라 임의로 결정할 수 있으며 영상에 적용한 결과는 도 10 내지 도 12에 도시된 바와 같다. 도 10은 도 9에 도시된 형태 변형(Morphology) 연산을 이용한 잡음 제거 결과 그래프이며, 도 11은 객체의 잡음을 제거한 결과이고, 도 12는 배경의 잡음을 제거한 결과이다.
[식 7]
Figure 112009065190273-pat00007
도 13은 도 2에 도시된 측지거리변환 알고리즘에 따른 영상 분리 방법을 나타낸 개념도이다. 도 13을 참조하여 도 2에 도시된 S350 내지 S380 과정을 보다 상 세히 살펴본다.
입력된 영상마다 잡음이 각각 다르기 때문에 일률적인 값을 적용할 수 없기 때문에 본 발명의 실시예에는 일반적인 잡음의 크기의 통계를 통해 잡음의 범위를 제한하였다. 실험을 통해 얻어낸 일반적인 잡음의 크기는 5, 6, 7,...,15의 분포를 보인다.
따라서, 객체의 잡음을 제거하기 위한 θ e 를 {5, 6, 7,...,15}, 배경의 잡음을 제거하기 위한 θ d 를 {5, 6, 7,...,15}로 제한하여 노이즈가 제거된 객체와 노이즈가 제거된 배경 각각 10장씩의 영상을 생성한다. 10장의 객체 영상과 10장의 배경 영상을 조합하면 총 100장의 영상이 만들어지게 된다. 1픽셀 당 100가지의 조합이 만들어지기 때문에 최적의 값을 선택해야 한다.
이를 위하여, 본 발명의 실시예에서는 Gibbs Energy Model을 사용하여 에너지를 계산하고 최소의 에너지를 가지게 되는 θ e 와 θ d 를 찾아 해당 픽셀의 마스크 값을 선택하게 한다. Gibbs Energy Model의 식은 다음 식 8과 같다.
[식 8]
Figure 112009065190273-pat00008
E(z,a*)를 얻기 위한 a*는 GDT의 형태 변형연산을 위한 θ의 조합으로 인해 만들어진 마스크 결과 값이며, U는 픽셀에 대한 a값의 가망(Likelihoods) 값이며, V는 주변 8개 이웃 픽셀에 대한 데이터 종속 페어와이즈(Pairwise)를 의미하고, G는 영상 크기에서의 객체의 영역 비율을 의미한다. 3개의 항을 이용하여 에너지를 계산하고 최소의 에너지값을 가지는 조합을 선택하여 결과를 생성한다. 결과 영상이 계산되는 과정은 도 13에 도시된다.
도 14는 도 1에 도시된 가우시안 혼합 모델 알고리즘에 따른 영상 분리 방법을 나타낸 흐름도이며, 도 15는 가우시안 혼합 모델을 사용한 영상의 전체 확률 밀도 함수를 표현한 그림이고, 도 16은 사용자 입력 초기점을 기반으로 가우시안 혼합 모델 알고리즘을 이용하여 분리한 영상이다.
입력된 영상의 데이터를 RGB 3차원 공간에서 볼 때 객체와 배경의 데이터 분 포는 다르다. 객체 데이터의 분포와 배경 데이터의 분포를 정확하게 모델링 할 수 있다면 객체와 배경의 영상 분리가 가능한데, 이를 바탕으로 입력 영상을 모델링하기 위해 본 발명의 실시예에서는 가우시안 혼합 모델을 사용하고, 기대값 최대화로 훈련하여 모델링을 최적하하는 방식을 사용하였다.
도 14를 참조하여, 가우시안 혼합 모델 알고리즘을 통한 영상 분리방법을 살펴본다.
우선 사용자가 초기점을 입력하거나 영상 인식 시스템에서 초기점을 생성함으로써 초기점을 지정하는 과정을 수행한다(S410). 객체와 배경에 대한 초기점을 입력한다.
사용자가 입력한 초기점에 대응되는 영상의 픽셀값을 추출하는 과정을 수행한다(S420). 그리고 나서, 추출된 픽셀값에 대하여 기대값 최대화(Expectation Maximization) 연산으로 훈련시켜 색정보에 대한 가우시안 혼합 모델(Gaussian Mixture Model)을 생성한다(S430, S440). 생성된 가우시안 혼합 모델을 사용하여 영상의 픽셀이 가질 투명도를 예측하여 결과 영상의 투명도를 계산한다(S450).
위의 알고리즘을 좀 더 상세히 살펴보면, 가우시안 혼합 모델은 데이터의 분포를 복수개의 가우시안 확률 밀도 함수로 모델링 하는 방법인데, 확률 밀도 함수는 가우시안 분포가 아닌 다른 분포가 될 수 있지만 본 발명의 실시예에서는 일반적인 가우시안 분포를 사용하였다. 가우시안 혼합 모델을 사용한 영상의 전체 확률 밀도 함수는 M개의 가우시안 확률밀도 함수의 선형 결합으로 다음 식9 및 도 15와 같이 표현된다.
[식 9]
Figure 112009065190273-pat00009
p는 데이터 x에 대하여 wi번째 성분 파라미터 θi로 이루어진 확률밀도함수를 의미하며, P(wi)는 혼합 가중치로 각 확률밀도함수의 상대적 중요도를 의미한다. 혼합 가중치의 전체 합은 1이 되어야 한다. 입력 영상을 가우시안 혼합 모델로 모델링하기 위해 필요한 것은 객체와 배경의 데이터이다. 그러나 알 수 있는 데이터는 사용자 입력에 의한 객체와 배경의 초기점 뿐이므로, 본 발명의 실시예에서는 최적화 기법인 기대값 최대화(EM)를 사용하여 가우시안 혼합 모델을 최적화하고, 이러한 최적화된 가우시안 혼합 모델을 기반으로 초기점을 제외한 나머지 픽셀들을 추정한다.
기대값 최대화(EM) 과정은 기대(Expectation)와 최대화(Maximization)의 두 가지 단계로 이루어진다. 기대단계에서는 데이터 x와 이전의 파라미터 추정치인 θ(i-1가 주어질 경우 확률변수 Z의 로그우도(Log Likelihood) log[P(X,Z|)]의 기댓값을 계산한다. 이를 Q함수로 표현하면 다음의 식10과 같다.
[식 10]
Figure 112009065190273-pat00010
X와 θ(i-1은 상수이고 θ는 Q가 증가하는 방향의 최적과 될 갱신 파라미터이다. Z는 확률밀도함수 P(X,Z| (i-1 )에 사용되는 확률 변수이다. 그러므로 Q는 θ에 관한 함수로 다음 식 11과 같다.
[식 11]
Figure 112009065190273-pat00011
Maximization의 단계는 Q로 정의되는 기댓값을 최대로 하는 파라미터 θ를 구하는 과정으로 이하의 식 12와 같다.
[식 12]
Figure 112009065190273-pat00012
위에서 살펴본 바와 같이, Expectation과 Maximization의 두 가지 단계를 반복하면 결과적으로 로그우도 값을 증가시키게 되고, 결국 기대값 최대화(EM) 알고리즘을 이용하여 부족한 데이터만으로도 최적화된 가우시안 혼합 모델링을 할 수 있게 된다. 이를 이용하여 영상을 분리한 결과는 도 16에 도시된다.
도 17은 도 1에 도시된 워터쉐드(Watershed) 알고리즘의 원리를 나타낸 그림이며, 도 18은 워터쉐드(Watershed) 알고리즘을 이용하여 분리된 영상을 나타낸 도 이다.
도 17 및 도 18을 참조하면, Watershed 알고리즘을 이용하여 초기점과 영상의 픽셀값에 의한 영역을 분리하여 투명도를 계산한다.
워터쉐드 알고리즘의 원리는 원영상에서 기울기(gradient)를 구하면 기울기(Gray level)가 높은 값과 낮은 값을 갖게 되는데, 이와 같은 기울기를 지형적인 의미로 보고 영상을 분석하는 방식이다(도 17참조). 또한, 워터쉐드 알고리즘은 기울기 영상의 최소값에 구멍이 있다고 가정하고 구멍을 통해서 조금씩 물이 올라 차기 시작하여 다른 웅덩이에 합쳐지려 할 때에 Catchment Basins(댐)이 만들어져 합쳐지지 못하도록 만든다. 이런 댐들로 이루어진 선을 워터쉐드 라인(WS Line)이라고 표현하고, 이러한 워터쉐드 라인을 이용하여 이미지를 분할하는 방식이다. 도 18에는 본 발명의 실시예에 따른 워터쉐드 알고리즘을 이용하여 분리된 영상 결과가 도시된다.
도 19a 내지 도 19d는 측지거리변환 알고리즘, 가우시안 혼합 모델 알고리즘 및 워터쉐드(Watershed) 알고리즘에 의한 영상 분리 결과이며, 도 20은 각각의 결과들의 가중합으로 만들어진 최종 분리 결과 영상이다.
도 1에 도시된 바와 같이, 본 발명은 측지거리변환 알고리즘, 가우시안 혼합 모델 알고리즘 및 워터쉐드(Watershed) 알고리즘을 병렬처리 각각의 영상 분리 결과를 얻었다. 각각의 알고리즘에 의해 얻어진 결과는 확산, 표본, 융합 모델에 의한 영상 분리로 각각의 장단점을 가지고 있다.
이러한 각 알고리즘에 따른 결과를 가중합을 이용하여 영상 분리 결과를 정교화하는 과정(도1, S600)을 상세히 살펴본다. 가중합(Weighted Sum)을 위한 결합 식은 이하의 식 13과 같다.
[식 13]
Figure 112009065190273-pat00013
Si 는 각각의 알고리즘에 의한 결과물을 의미하며, K는 알고리즘의 개수를 의미하며, Wi는 알고리즘 Si에 대한 가중치를 의미한다. 각각의 결과들의 가중합으로 만들어진 최종 분리 결과는 D이다. 이 가중합을 이용하여 실제 결과 영상들을 조합한 결과는 도 19 및 도 20에 도시된다.
도 21a 및 도 21b는 종래 기술과 본 발명에 따른 영상 분리 처리 시간과 비교표 및 종래 기술과 본 발명에 따른 영상 분리 정밀도의 비교표이다.
입력된 영상의 크기에 따른 영상 분리 시간은 도 21a에 도시된 표와 같다. 영상 분리 평균 처리 시간을 계산하기 위해 사용된 이미지의 해상도는 320x240, 640x480, 800x600, 1600x1200, 3200x2400의 총 5 종류이며, 각각의 해상도 당 10장의 영상을 임의의 사용자 입력에 따른 영상 분리를 하였고 영상 분리를 하는 처리 시간의 평균을 계산하였다.
도 21b를 참조하여 영상 분리 정밀도를 살펴본다. 분리된 영상의 정밀도는 영상 분리 성능 분석의 큰 지표이다. 본 발명의 실시예에 따른 영상 분리 정밀도를 측정하기 위해 비교 대상으로 Robust Matting을 선택하였고, 실험을 위한 영상으로는 The Berkeley Segmentation Dataset을 사용하였다. BSD에서 제공되는 영상 분리 표준 영상(Ground Truth Image)과 Robust Matting의 결과물, 본 발명에 따른 알고리즘에 의한 결과물을 각 픽셀간 오차의 제곱의 평균인 MSE(Mean Square Error)를 이용하여 비교하였다.
도 21a 및 도 21b에 도시된 표에서 알 수 있듯이, 본 발명에 따른 영상분리 방법은 종래 기술에 비하여 처리 시간의 단축은 물론 정밀도 역시 증가하는 효과를 얻는다.
도 22는 본 발명의 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서 배경을 제거하는 과정을 나타낸 흐름도이며, 도 23은 도 22에 도시된 방법에 따라 얼굴 인증 시스템에서 배경을 제거하는 과정을 나타낸 영상이다.
얼굴 인증 시스템은 입력받은 얼굴 영상에서 특징 정보를 추출하여 인증 대상자의 신원을 확인하는 시스템으로 개인 정보 보호를 위한 신원 확인, 건물이나 보안 구역의 출입자 관리 등의 다양한 분야에서 사용되고 있다. 이러한 얼굴 인증 시스템은 얼굴 검출, 특징점 추출, 인증의 단계로 이루어져 있다.
도 22 및 도 23을 참조하면, 얼굴 인증 시스템에 영상을 입력하는 과정을 수행한다(S810). 입력된 영상에서 얼굴을 검출하여 영상 분리를 위한 초기점을 생성 하는 과정을 수행한다(S820, S830). 얼굴 검출은 AdaBoost의 알고리즘을 사용한다. AdaBoost는 입력 영상에서 Haar-like feature를 사용하여 미리 학습된 얼굴의 패턴을 찾아 검출 하는 방법이다. 이는 복잡한 배경에서 다양한 형태와 자세의 얼굴도 검출이 가능한 장점이 있다. 하지만 패턴 검출이기 때문에 정확한 얼굴의 형태나 영역은 알 수 없고 대략적인 위치 정보만을 검출하게 된다. 본 발명의 실시예에 따른 영상 분리 방법을 통하여 객체 영역과 배경 영역을 분리한 후, 배경을 제거하는 과정을 수행한다(S840).
도 24는 본 발명의 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서 얼굴에 착용된 안경을 제거하는 과정을 나타낸 흐름도이며, 도 25는 도 24에 도시된 방법에 따라 얼굴 인증 시스템에서 얼굴에 착용된 안경을 제거하는 과정을 나타낸 영상이다.
도 24 및 도 25를 참조하면, 얼굴의 위치 정보를 이용하여 얼굴 영역 영상 분리를 한 결과를 이용하여 정확한 얼굴의 특징점을 추출한다(S910).
얼굴의 특징점은 눈, 코, 입, 얼굴 윤곽선 등의 자세한 정보이다. 추출한 얼굴 특징점정보를 이용하여 안경의 영역을 영상 분리하기 위한 초기점을 생성한다(S920). 이때, 초기점을 생성하는 방법으로는 얼굴 윤곽선을 이용하여 안경이 존재할 수 있는 후보 영역을 생성하고, 전처리된 얼굴 영상을 이용하여 에지 성분이 강한 안경의 일부 특징을 추출하여 생성할수 있다.
생성된 초기점을 기반으로 본 발명의 영상 분리 방법을 이용하여 얼굴 영역 과 안경 영역의 영상을 분리하는 과정을 수행한다(S930). 그리고 나서, 분리된 영역을 인페인트(Inpaint) 기법을 사용하여 빈곳을 채우면 입력된 영상에서 자동으로 안경을 제거할 수 있게 된다(S940).
이상에서 설명한 것은 본 발명에 따른 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
도 1은 본 발명의 예시적인 실시예예 따른 측지거리변환 기반 영상 분리 방법의 전체 흐름도이다.
도 2는 도 1에 도시된 측지거리변환 알고리즘에 따른 영상 분리 방법을 나타낸 흐름도이다.
도 3은 기존 측지거리변환 시 문제점을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에서 이용한 4방향 측지거리변환 방식을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 4방향 측지거리변환의 각 방향에 따른 마스크를 나타낸 도이다.
도 6a는 본 발명에 따른 4방향 측지거리변환 적용시 사용자가 입력한 객체 및 배경의 초기점이며, 도 6b는 생성된 객체 영역 초기점에 대한 측지거리변환 영상이고, 도 6c는 생성된 배경 영역 초기점에 대한 측지거리변환 영상이다.
도 7은 도 2에 도시된 잡음 제거를 위한 형태 변형(Morphology) 연산 과정을 나타낸 순서도이다.
도 8a 및 도 8b는 도 7에 도시된 형태 변형(Morphology) 연산을 설명하기 위한 개념도이다.
도 9는 본 발명에 따른 측지거리변환 영상에서의 형태 변형(Morphology) 연산을 나타낸 도이다.
도 10은 도 9에 도시된 형태 변형(Morphology) 연산을 이용한 잡음 제거 결 과 그래프이며, 도 11은 객체의 잡음을 제거한 결과이고, 도 12는 배경의 잡음을 제거한 결과이다.
도 13은 도 2에 도시된 측지거리변환 알고리즘에 따른 영상 분리 방법을 나타낸 개념도이다.
도 14는 도 1에 도시된 가우시안 혼합 모델 알고리즘에 따른 영상 분리 방법을 나타낸 흐름도이다.
도 15는 가우시안 혼합 모델을 사용한 영상의 전체 확률 밀도 함수를 표현한 그림이다.
도 16은 사용자 입력 초기점을 기반으로 가우시안 혼합 모델 알고리즘을 이용하여 분리한 영상이다.
도 17은 도 1에 도시된 워터쉐드(Watershed) 알고리즘의 원리를 나타낸 그림이다.
도 18은 워터쉐드(Watershed) 알고리즘을 이용하여 분리된 영상을 나타낸 도이다.
도 19a 내지 도 19d는 측지거리변환 알고리즘, 가우시안 혼합 모델 알고리즘 및 워터쉐드(Watershed) 알고리즘에 의한 영상 분리 결과이며, 도 20은 각각의 결과들의 가중합으로 만들어진 최종 분리 결과 영상이다.
도 21a 및 도 21b는 종래 기술과 본 발명에 따른 영상 분리 처리 시간과 비교표 및 종래 기술과 본 발명에 따른 영상 분리 정밀도의 비교표이다.
도 22는 본 발명의 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서 배경을 제거하는 과정을 나타낸 흐름도이다.
도 23은 도 22에 도시된 방법에 따라 얼굴 인증 시스템에서 배경을 제거하는 과정을 나타낸 영상이다.
도 24는 본 발명의 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서 얼굴에 착용된 안경을 제거하는 과정을 나타낸 흐름도이다.
도 25는 도 24에 도시된 방법에 따라 얼굴 인증 시스템에서 얼굴에 착용된 안경을 제거하는 과정을 나타낸 영상이다.

Claims (9)

  1. 영상 인식 시스템에 입력된 영상에 대한 초기점을 결정하는 단계;
    상기 초기점을 기반으로 측지거리변환을 적용한 알고리즘과, 가우시안 혼합 모델을 적용한 알고리즘 및 워터쉐드(Watershed) 알고리즘을 이용하여 영상을 분리하되, 각 알고리즘은 상호 독립되게 병렬 처리하는 단계; 및
    상기 각 알고리즘을 통하여 얻어진 결과값에 가중치를 두어 선형 결합하는 가중합 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  2. 제1항에 있어서, 상기 측지거리변환을 적용한 알고리즘은,
    상기 초기점을 기반으로 측지거리변환(Geodesic Distance Transform)을 적용하여, 객체와 배경에 대한 각각의 측지거리변환 영상을 생성하는 단계; 및
    상기 생성된 측지거리변환 영상에 형태 변형 알고리즘(Morphology)을 적용하여 잡음을 제거하는 단계를 포함하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  3. 제2항에 있어서, 상기 측지거리변환을 적용한 알고리즘은,
    상기 객체와 배경 각각에 측지거리변환을 적용하여 측지거리변환 영상을 생성하는 단계;
    상기 생성된 측지거리변환의 잡음을 제거하기 위하여, 경계값의 범위를 결정하고, 각각의 경계값에 따른 GSM(Geodesic Symmetric Morphology) 영상 배열을 획득하는 단계;
    상기 획득된 GSM 영상 조합에서 각 픽셀 마다 에너지 값을 계산하는 단계; 및
    상기 계산된 에너지값 중 최소가 되는 조합의 픽셀 값을 최종결과 영상의 투명도로 선택하는 단계를 더 포함하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  4. 제2항에 있어서,
    상기 측지거리변환(Geodesic Distance Transform)을 적용 시, 마스크의 확산은 대각선 4 방향으로 순환하는 방식으로 확산하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  5. 제2항에 있어서,
    상기 형태 변형 알고리즘(Morphology)은,
    객체 영역에는 닫힘 연산을 적용하는 단계;
    배경 영역에는 열림 연산을 적용하는 단계; 및
    상기 닫힘 연산과 상기 열림 연산 결과를 차분하여 측지거리변환 영상에서 잡음을 최소화하는 단계를 포함하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  6. 제1항에 있어서, 상기 가우시안 혼합 모델을 적용한 알고리즘은,
    상기 초기점에 대응되는 영상의 픽셀값을 추출하는 단계;
    상기 추출된 픽셀값에 대하여 기대값 최대화(Expectation Maximization) 연산을 수행하는 단계;
    상기 기대값 최대화의 반복을 통하여 색정보에 대한 가우시안 혼합 모델을 생성하는 단계; 및
    상기 생성된 가우시안 혼합 모델을 사용하여 영상의 픽셀이 가질 투명도를 예측하여 결과 영상의 투명도를 계산하는 단계를 포함하는 것을 특징으로 하는 측지거리변환 기반 영상 분리 방법.
  7. 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서의 영상 제거 방법으로서,
    상기 얼굴 인증 시스템에 영상을 입력하는 단계;
    상기 입력된 영상에서 얼굴을 검출하는 단계;
    상기 검출된 정보를 이용하여 영상 분리를 위한 초기점을 생성하는 단계;
    상기 생성된 초기점을 기반으로 제1항 내지 제6항 중 어느 한 항에 따른 측지거리변환 기반 영상 분리 방법에 따라 영상을 분리하는 단계; 및
    상기 영상에서 배경을 제거하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 시스템에서의 영상 제거 방법.
  8. 측지거리변환 기반 영상 분리 방법을 이용한 얼굴 인증 시스템에서의 영상 제거 방법으로서,
    얼굴의 위치 정보를 이용하여 얼굴 영역의 영상 분리를 수행하는 단계;
    상기 영상 분리한 결과를 이용하여 얼굴 특징점을 추출하는 단계;
    상기 추출한 얼굴 특징점 정보를 이용하여 안경 영역의 영상 분리를 위한 초기점을 생성하는 단계;
    상기 생성된 초기점을 기반으로 제1항 내지 제6항 중 어느 한 항에 따른 측지거리변환 기반 영상 분리 방법에 따라 얼굴 영역과 안경 영역의 영상을 분리하는 단계; 및
    분리된 영역을 인페인트(Inpaint) 기법을 사용하여 빈 공간을 채운 후, 입력된 영상에서 안경을 제거하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 시스 템에서의 영상 제거 방법.
  9. 제8항에 있어서, 상기 초기점을 생성하는 단계는,
    얼굴 윤곽선을 이용하여 안경이 존재할 수 있는 후보 영역을 생성하는 단계; 및
    전처리된 얼굴 영상을 이용하여 에지 성분이 강한 안경의 일부 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 인증 시스템에서의 영상 제거 방법.
KR1020090101459A 2009-10-23 2009-10-23 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법 KR101015671B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090101459A KR101015671B1 (ko) 2009-10-23 2009-10-23 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090101459A KR101015671B1 (ko) 2009-10-23 2009-10-23 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법

Publications (1)

Publication Number Publication Date
KR101015671B1 true KR101015671B1 (ko) 2011-02-22

Family

ID=43777594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090101459A KR101015671B1 (ko) 2009-10-23 2009-10-23 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법

Country Status (1)

Country Link
KR (1) KR101015671B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606165A (zh) * 2013-12-03 2014-02-26 西安电子科技大学 基于网络相位同步的医学影像处理方法
CN104376329A (zh) * 2014-11-17 2015-02-25 上海交通大学 基于空间自相关性和分水岭算法的聚类评估方法
US9036906B2 (en) 2012-04-20 2015-05-19 Thomson Licensing Method and apparatus for image segmentation
KR102225362B1 (ko) * 2019-11-15 2021-03-09 울산과학기술원 이미지 복원 방법
US10991103B2 (en) 2019-02-01 2021-04-27 Electronics And Telecommunications Research Institute Method for extracting person region in image and apparatus using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188428A (ja) 2007-02-05 2008-08-21 General Electric Co <Ge> 血管画像抽出及びラベル付けのシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188428A (ja) 2007-02-05 2008-08-21 General Electric Co <Ge> 血管画像抽出及びラベル付けのシステム及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036906B2 (en) 2012-04-20 2015-05-19 Thomson Licensing Method and apparatus for image segmentation
CN103606165A (zh) * 2013-12-03 2014-02-26 西安电子科技大学 基于网络相位同步的医学影像处理方法
CN103606165B (zh) * 2013-12-03 2016-07-06 西安电子科技大学 基于网络相位同步的医学影像处理方法
CN104376329A (zh) * 2014-11-17 2015-02-25 上海交通大学 基于空间自相关性和分水岭算法的聚类评估方法
US10991103B2 (en) 2019-02-01 2021-04-27 Electronics And Telecommunications Research Institute Method for extracting person region in image and apparatus using the same
KR102225362B1 (ko) * 2019-11-15 2021-03-09 울산과학기술원 이미지 복원 방법

Similar Documents

Publication Publication Date Title
US11238274B2 (en) Image feature extraction method for person re-identification
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
KR101015671B1 (ko) 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
JP6209069B2 (ja) 境界検出装置、境界検出方法及びコンピュータプログラム
Gurumurthy et al. Design and implementation of face recognition system in Matlab using the features of lips
CN105976327A (zh) 图像噪声降低
CN111339897A (zh) 活体识别方法、装置、计算机设备和存储介质
Sharma et al. OCA: An intelligent model for improving security breach of biometric based authentication systems
Liu et al. Temporal group fusion network for deep video inpainting
Cui et al. Multitask identity-aware image steganography via minimax optimization
Lee et al. Robust Face Detection Based on Knowledge‐Directed Specification of Bottom‐Up Saliency
KR101415325B1 (ko) 얼굴 검출 장치
Li et al. Solving a special type of jigsaw puzzles: Banknote reconstruction from a large number of fragments
KR20210127257A (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
Bashier et al. Graphical password: Pass-images Edge detection
JP6676563B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Min et al. Inferring segmented dense motion layers using 5D tensor voting
Phogat et al. Different image registration methods—an overview
Kimura et al. Single sensor-based multi-quality multi-modal biometric score database and its performance evaluation
Yoon et al. Conditional marked point process-based crowd counting in sparsely and moderately crowded scenes
CN114120391A (zh) 一种多姿态人脸识别系统及其方法
Rhee et al. Seam Generation Matrix Based on a Guided Energy-Depth Map for Image and Video Stitching
KR20100097861A (ko) 자동 배경 제거를 이용한 얼굴 인식 시스템 성능 향상

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140110

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee