KR101844371B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101844371B1
KR101844371B1 KR1020140032239A KR20140032239A KR101844371B1 KR 101844371 B1 KR101844371 B1 KR 101844371B1 KR 1020140032239 A KR1020140032239 A KR 1020140032239A KR 20140032239 A KR20140032239 A KR 20140032239A KR 101844371 B1 KR101844371 B1 KR 101844371B1
Authority
KR
South Korea
Prior art keywords
image
orthogonal transform
transform coefficients
orthogonal
block
Prior art date
Application number
KR1020140032239A
Other languages
English (en)
Other versions
KR20150109152A (ko
Inventor
김원준
서성주
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140032239A priority Critical patent/KR101844371B1/ko
Priority to US14/641,787 priority patent/US9547790B2/en
Publication of KR20150109152A publication Critical patent/KR20150109152A/ko
Application granted granted Critical
Publication of KR101844371B1 publication Critical patent/KR101844371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Abstract

영상 처리 방법 및 장치가 개시된다. 일실시예에 따른 영상 처리 장치는 입력 영상에 블록을 설정하고, 블록 내 픽셀 값을 직교 변환하여 직교 변환 계수를 획득할 수 있다. 영상 처리 장치는 획득된 직교 변환 계수를 정규화하여 결과 영상을 생성할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}
아래의 설명은 직교 변환에 기초하여 영상을 처리하는 기술에 관한 것이다.
최근 스마트폰 기술의 발전으로 사용자의 얼굴을 이용한 인증 등의 응용이 실현되고 있다. 그러나, 사용자의 얼굴을 이용한 인증은 실내외 환경의 복잡한 조명 조건에 영향을 많이 받는다. 예를 들어, 주변 환경이 어두워서 사용자의 얼굴 영상의 제대로된 식별이 불가능하거나 또는 조명의 위치에 의해 사용자 얼굴에 그림자가 생성되는 경우, 사용자 얼굴을 이용한 인증에 문제가 발생할 수 있다.
이러한, 문제를 해결하고자 Gradient Face의 얼굴 영상 생성 방법이 제안되었다. Gradient Face의 얼굴 영상 생성 방법은, 수평/수직 방향의 Gradient의 비율에 대한 Arctan 값을 이용하여 Gradient Face 영상을 생성하는 구성을 제안하였다. Gradient Face의 얼굴 영상 생성 방법에서는 Gradient 계산의 안정성을 위해 입력 영상에 Smoothing을 수행하고, DoG (Difference of Gaussian) Operator를 이용하여 Gradient 값을 계산한다.
일실시예에 따른 영상 처리 방법은, 입력 영상에 블록을 설정하는 단계; 상기 블록 내 픽셀 값을 직교 변환(orthogonal transform)하여 직교 변환 계수를 획득하는 단계; 및 상기 직교 변환 계수를 정규화한 결과에 기초하여 결과 영상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서, 상기 결과 영상을 생성하는 단계는, 상기 블록에 대해 획득된 직교 변환 계수들의 합과 상기 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은, 상기 획득된 직교 변환 계수에 가중치를 적용하는 단계를 더 포함할 수 있다.
일실시예에 따른 사용자 인증 방법은, 얼굴 영상 내 픽셀 값들을 직교 변환하여 직교 변환 계수를 획득하는 단계; 상기 직교 변환 계수를 정규화한 결과에 기초하여 결과 영상을 생성하는 단계; 및 상기 결과 영상에 기초하여 사용자 인증을 수행하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인증 방법은, 상기 획득된 직교 변환 계수에 가중치를 적용하는 단계를 더 포함할 수 있다.
일실시예에 따른 영상 처리 장치는, 입력 영상에 블록을 설정하는 블록 설정부; 상기 블록 내 픽셀 값을 직교 변환하여 직교 변환 계수를 획득하는 직교 변환 수행부; 및 상기 직교 변환 계수를 정규화한 결과를 이용하여 결과 영상을 생성하는 결과 영상 생성부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는, 상기 결과 영상에 기초하여 사용자 인증을 수행하는 사용자 인증부를 더 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 2는 일실시예에 따른 영상 처리 장치가 결과 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 다양한 입력 영상들에 대한 결과 영상들의 일례를 도시한 도면이다.
도 4는 일실시예에 따른, 서로 다른 조건이 적용된 결과 영상들의 일례를 도시한 도면이다.
도 5는 일실시예에 따른 가중치의 크기에 따른 결과 영상의 일례를 도시한 도면이다.
도 6은 일실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다. 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다.
도 1은 일실시예에 따른 영상 처리 장치(100)의 세부 구성을 도시한 도면이다.
영상 처리 장치(100)는 입력 영상을 처리하여 결과 영상을 생성할 수 있다. 영상 처리 장치(100)는 입력 영상에 직교 변환(orthogonal transform)을 수행하여 직교 변환 계수를 획득할 수 있다. 직교 변환은 구성 요소(component)들이 서로 직교(orthogonal)하도록 대상을 분해(decomposition)하여 나타내는 방법이다. 영상 처리 장치(100)는 획득된 직교 변환 계수를 정규화(normalization)한 값에 기초하여 결과 영상을 생성할 수 있다. 이렇게 생성된 결과 영상은 입력 영상에 나타난 조명 환경에 관계없이 입력 영상에 나타난 객체의 구조를 일관되게 표현할 수 있다. 예를 들어, 입력 영상이 어둡거나, 또는 입력 영상에 나타난 객체의 구조에 의한 구조적 그림자(structured shadow)이 존재한다 하더라도, 영상 처리 장치(100)는 객체의 구조를 일관되게 나타내는 결과 영상을 생성할 수 있다.
도 1을 참조하면, 영상 처리 장치(100)는 블록 설정부(110), 직교 변환 수행부(120) 및 결과 영상 생성부(130)를 포함할 수 있다.
블록 설정부(110)는 입력 영상에 블록(block)을 설정할 수 있다. 예를 들어, 블록 설정부(110)는 입력 영상에서 현재 픽셀을 중심으로 N X N 크기(N은 자연수)의 이미지 블록을 설정할 수 있다. 입력 영상에 설정되는 블록의 크기는 미리 결정되어 있거나, 또는 입력 영상의 크기, 입력 영상의 밝기 정도 등에 기초하여 적응적으로 결정될 수 있다.
직교 변환 수행부(120)는 입력 영상에 설정된 블록 내 픽셀 값을 직교 변환하여 직교 변환 계수를 획득할 수 있다. 예를 들어, 직교 변환 수행부(120)는 특이값 분해(Singular Value Decomposition; SVD), 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 푸리에 변환(Discrete Fourier Transform; DFT), 아다마드 변환(Hadamard Transform), 고속 푸리에 변환(Fast Fourier Transform; FFT), 웨이브릿 변환(Wavelet Transform; WT), 하틀리 변환(Hartley Transform), 카루넨 루베 변환(Karhunen-Loeve Transform; KLT), 경사 변환(Slant Transform) 및 하르 변환(Haar Transform) 중 적어도 하나를 이용하여 블록 내 픽셀 값들의 직교 변환 계수를 획득할 수 있다.
결과 영상 생성부(130)는 직교 변환 계수를 정규화한 결과를 이용하여 결과 영상을 생성할 수 있다. 예를 들어, 결과 영상 생성부(130)는 직교 변환 계수의 정규화 결과를 미리 설정된 범위의 픽셀 값으로 변환하는 것에 의해 결과 영상을 생성할 수 있다.
일실시예에 따르면, 결과 영상 생성부(130)는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성할 수 있다. 결과 영상 생성부(130)는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율 값을 계산하고, 계산된 비율 값을 입력 영상 내 블록에 대응하는 결과 영상 내 블록의 중심 픽셀 값으로 결정할 수 있다. 예를 들어, 결과 영상 생성부(130)는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 중 가장 크기가 큰 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성할 수 있다.
다른 실시예에 따르면, 결과 영상 생성부(130)는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 사이의 차이를 이용하여 결과 영상을 생성할 수 있다. 예를 들어, 결과 영상 생성부(130)는 두 개의 직교 변환 계수들 사이의 차이와 블록에 대해 획득된 직교 변환 계수들의 합 간의 비율에 기초하여 결과 영상을 생성할 수 있다.
결과 영상 생성부(130)는 입력 영상에 설정된 모든 블록에 대해 도출된 비율 값들을 조합하여 결과 영상을 생성할 수 있다. 결과 영상 생성부(130)가 결과 영상을 생성하는 과정은 도 2에서 보다 자세히 설명하도록 한다.
다른 실시예에 따르면, 결과 영상 생성부(130)는 직교 변환 수행부(120)에 의해 획득된 직교 변환 계수에 가중치를 적용할 수 있다. 가중치는 미리 설정된 값이거나, 또는 입력 영상의 크기, 입력 영상에 설정되는 블록의 크기 및 입력 영상의 밝기 정도 중 적어도 하나에 기초하여 결정될 수 있다. 가중치의 크기에 따라 입력 영상의 텍스처(texture)가 결과 영상에 반영되는 정도가 결정될 수 있다. 예를 들어, 가중치의 크기가 클수록 입력 영상의 텍스처가 결과 영상에 보다 많이 반영될 수 있다. 결과 영상 생성부(130)는 가중치의 크기를 조절함으로써 입력 영상의 텍스처 구조를 효과적으로 보존할 수 있다. 결과 영상 생성부(130)는 가중치가 적용된 직교 변환 계수를 정규화하여 결과 영상을 생성할 수 있다.
다른 실시예에 따르면, 영상 처리 장치(100)는 추가적으로 사용자 인증부(140)를 더 포함할 수 있다.
입력 영상은 사용자의 얼굴이 나타난 얼굴 영상일 수 있다. 사용자 인증부(140)는 얼굴 영상으로부터 생성된 결과 영상에 기초하여 사용자 인증을 수행할 수 있다. 사용자 인증부(140)는 얼굴 영상으로부터 생성된 결과 영상과 미리 저장된 기준 영상들에 기초하여 사용자 인증을 수행할 수 있다. 사용자 인증부(140)는 미리 저장된 기준 영상들과 결과 영상 간의 유사도에 기초하여 사용자 인증을 수행할 수 있다. 사용자 인증부(140)는 다양한 유사도 메트릭(similarity metric)을 이용하여 픽셀 단위로 기준 영상과 결과 영상을 비교하여 얼굴 인증을 수행할 수 있다. 예를 들어, 사용자 인증부(140)는 기준 영상들에 포함된 눈, 코, 입꼬리, 눈썹 등의 랜드마크(landmark)와 결과 영상에 포함된 랜드마크 간의 랜드마크별 유사도를 계산하고, 계산된 유사도들의 조합 결과가 미리 설정된 조건을 만족하는지 여부를 판단하는 것에 의해 사용자 인증을 수행할 수 있다.
도 2는 일실시예에 따른 영상 처리 장치(100)가 결과 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 2에서는, 영상 처리 장치(100)가 직교 변환의 예로써 특이값 분해(SVD)를 이용하여 결과 영상을 생성하는 방법에 대해 설명하도록 한다. 하지만, 실시예의 범위가 특이값 분해를 이용하는 것에 의해 한정되는 것으로 해석되어서는 안된다.
블록 설정부(110)가 입력 영상에 3X3 크기의 블록(210)을 설정하였다고 가정한다. 직교 변환 수행부(120)는 설정된 블록(210)에 SVD를 적용하여 3개의 특이 값들(Singular values)을 획득할 수 있다. 3개의 특이 값들은 각각
Figure 112014026460849-pat00001
,
Figure 112014026460849-pat00002
,
Figure 112014026460849-pat00003
라고 가정한다.
결과 영상 생성부(130)는 다음의 수학식 1에 기초하여 정규화할 수 있다.
Figure 112014026460849-pat00004
수학식 1에서,
Figure 112014026460849-pat00005
는 특이 값들에 대한 정규화 결과로서 정규화된 직교 변환 계수 값을 나타내고, i는 결과 영상 내 픽셀의 인덱스를 나타낸다.
Figure 112014026460849-pat00006
는 블록에 대해 계산된 직교 변환 계수를 나타내고, j는 직교 변환 계수의 인덱스를 나타낸다.
위 수학식 1을 3개의 특이 값
Figure 112014026460849-pat00007
,
Figure 112014026460849-pat00008
,
Figure 112014026460849-pat00009
에 적용하면 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112014026460849-pat00010
수학식 2에서는, 일례로서 c 값으로 주(main) 에너지인
Figure 112014026460849-pat00011
을 이용하였다. 결과 영상 생성부(130)는 블록들마다 계산된
Figure 112014026460849-pat00012
에 기초하여 결과 영상을 생성할 수 있다.
다른 실시예에 따르면, 결과 영상 생성부(130)는 c 값으로 직교 변환 계수들 간의 차이를 이용할 수 있다. 예를 들어, 결과 영상 생성부(130)는 c 값으로
Figure 112014026460849-pat00013
과
Figure 112014026460849-pat00014
간의 차이, 또는
Figure 112014026460849-pat00015
과
Figure 112014026460849-pat00016
간의 차이를 이용할 수 있다. 입력 영상이 복잡한 텍스쳐 구조를 포함하고 있는 경우, 직교 변환 계수들 간의 크기가 유사할 수 있고, 결과 영상 생성부(130)는 직교 변환 계수들 간의 차이에 기초하여 결과 영상 내 픽셀 값을 결정할 수 있다. 직교 변환 계수들 간의 차이는 대비 값 특성을 나타낼 수 있다.
일실시예에 따르면, 결과 영상 생성부(130)는 다음의 수학식 3과 같이 직교 변환 수행부(120)에 의해 획득된 직교 변환 계수에 가중치를 적용할 수 있다.
Figure 112014026460849-pat00017
수학식 3에서,
Figure 112014026460849-pat00018
는 직교 변환 계수에 적용되는 가중치이고,
Figure 112014026460849-pat00019
는 직교 변환 계수이며, i는 직교 변환 계수의 인덱스이다.
여기서,
Figure 112014026460849-pat00020
값은 입력 영상마다 고정된 값이 이용되거나 적응적으로 결정될 수 있다.
Figure 112014026460849-pat00021
값이 커질수록 입력 영상의 텍스처가 결과 영상에 많이 반영될 수 있다. 결과 영상 생성부(130)는
Figure 112014026460849-pat00022
값이 적용된 직교 변환 계수를 정규화하고, 정규화된 직교 변환 계수에 기초하여 입력 영상의 텍스처가 반영된 결과 영상을 생성할 수 있다.
직교 변환을 통해 획득된 직교 변환 계수의 정규화된 값은 조명 변화에 무관하다. 영상 처리 장치(100)는 직교 변환 및 정규화를 통해 현재 픽셀이 그림자 영역이 종류에 관계없이 다양한 조명 환경에 강인한 결과 영상을 생성할 수 있다.
이하에서는, 직교 변환 계수의 정규화된 값이 조명 변화에 강인함을 수학식을 통해 설명하도록 한다. 구체적으로, 조명에 대한 물리적 모델을 이용하여 직교 변환 계수의 정규화 값이 조명 변화에 강인함을 수학적으로 설명하도록 한다.
먼저, 일반적으로 입력 영상 내 픽셀 값은 다음의 수학식 4와 같이 조명(illumination) 성분과 반사(reflectance) 성분의 곱으로 나타낼 수 있다.
Figure 112014026460849-pat00023
수학식 4에서, P(x, y)는 입력 영상 내 위치(x, y)에서의 픽셀 값을 나타낸다. I(x, y)는 입력 영상 내 위치(x, y)의 픽셀이 가지는 조명 성분이고, R(x, y)는 입력 영상 내 위치(x, y)의 픽셀이 가지는 반사 성분이다.
조명 성분 I(x, y)는 그 종류에 따라 밝은(Illuminated) 성분, 반그림자(Penumbra) 성분, 본그림자(Umbra) 성분으로 나눌 수 있다. Illuminated 성분, Penumbra 성분, Umbra 성분은 다음의 수학식 5와 같이 나타낼 수 있다.
Figure 112014026460849-pat00024
Ca는 주변(ambient)의 빛의 세기를 나타내고, Cp는 광원의 세기를 나타낸다.
Figure 112014026460849-pat00025
는 광원과 표면의 법선(surface normal) 사이의 입사각을 나타내고, t는 Penumbra 영역 내 트랜지션(Transition)을 나타낸다. 수학식 5에서, Illuminated 성분은
Figure 112014026460849-pat00026
이고, Penumbra 성분은
Figure 112014026460849-pat00027
이며, Umbra 성분은
Figure 112014026460849-pat00028
이다.
Illuminated 영역, Penumbra 영역, Umbra 영역에 존재하는 N X N 크기의 블록을 각각 Bi, Bp, Bu라고 가정하면, 수학식 5에 기초하여 다음의 수학식 6과 같은 관계가 성립한다.
Figure 112014026460849-pat00029
각 블록에 대하여 직교 변환을 수행하면, 다음의 수학식 7과 같이 나타낼 수 있다.
Figure 112014026460849-pat00030
수학식 7에서, U와 V는 직교 행렬(orthogonal matrix)이다. 직교 행렬에 전치 행렬(transpose matrix)를 곱하면 단위 행렬(identity matrix)이 된다. 직교 변환 계수를 포함하고 있는 행렬 S는 각 영역 내 블록으로부터 획득될 수 있다.
수학식 6의 관계를 이용하여 각 영역 내 행렬 S를 다음의 수학식 8과 같이 나타낼 수 있다.
Figure 112014026460849-pat00031
수학식 8에서, K1과 K2는 수학식 6에서 정의된 상수이고, 각각의 행렬 S들은 직교 변환 계수
Figure 112014026460849-pat00032
를 포함하고 있다. 행렬 Sp는 Penumbra 영역에 존재하는 블록의 직교 변환 계수를 포함하고 있는 행렬이고, Su는 Umbra 영역에 존재하는 블록의 직교 변환 계수를 포함하고 있는 행렬이다. 수학식 8은 입력 영상이 촬영될 때의 조명 환경이 다르더라도 각 입력 영상의 직교 행렬은 서로 동일하다는 가정, 즉 "Up=Ui=Uu, Vp=Vi=Vu" 로부터 도출된 것이다.
설정된 블록의 크기가 3 X 3 픽셀일 때, 행렬 S는 다음의 수학식 9와 같이 나타낼 수 있다.
Figure 112014026460849-pat00033
세 가지 조명 영역(Illuminated, Penumbra, Umbra)에서, 각 조명 영역에 대한 직교 변환 계수의 정규화 값은 다음의 수학식 10과 같이 나타낼 수 있다.
Figure 112014026460849-pat00034
수학식 10에서, K1과 K2는 상수이기 때문에, 세 가지 조명 영역에서 정규화된 직교 변환 계수의 값은 모두 동일하다는 것을 알 수 있다. 따라서, 직교 변환 계수의 정규화 값을 이용하면 조명 환경 및 조명 변화에 관계 없이 입력 영상에 나타난 객체의 구조를 일관되게 표현할 수 있다.
도 3은 일실시예에 따른 다양한 입력 영상들에 대한 결과 영상들의 일례를 도시한 도면이다.
도 3을 참조하면, 영상(310)은 다양한 조명 환경에서 촬영된 입력 영상들로서 얼굴 영상을 나타낸다. 영상(310)은 밝은 환경에서 촬영된 얼굴 영상, 어두운 환경에서 촬영된 얼굴 영상, 얼굴 구조에 의한 그림자가 가리워진 얼굴 영상 등을 포함하고 있다.
영상(320)은 영상 처리 장치가 영상(310)을 처리한 결과 영상을 나타낸다. 구체적으로, 영상(320)은 수학식 1에 기초하여 계산된 정규화된 직교 변환 계수 값을 [0, 255] 범위의 그레이 스케일로 변환한 영상을 나타낸다. 얼굴 영상에 대한 결과 영상들로부터 영상 처리 장치에 의해 생성된 결과 영상들은 조명 변화에 관계 없이 얼굴 구조를 일관되게 표현하고 있음을 알 수 있다. 영상(320)에는 영상(310)에 나타난 눈 주변의 그림자, 코 주변의 그림자가 효과적으로 제거되어 사용자 얼굴의 구조가 조명 환경에 관계없이 일관되게 나타나고 있다.
도 4는 일실시예에 따른, 서로 다른 조건이 적용된 결과 영상들의 일례를 도시한 도면이다.
도 4를 참조하면, 영상(410)은 입력 영상을 나타낸다. 영상들(420-450)은 영상(410)에 기초하여 획득된 결과 영상들의 일례를 나타낸다. 구체적으로, 영상(420)은 입력 영상에 설정되는 블록의 크기를 3X3으로 하고, 수학식 1에서 c를 직교 변환 계수들 중 가장 큰
Figure 112014026460849-pat00035
으로 설정하였을 때의 결과 영상을 나타낸다. 영상(430)은 블록의 크기를 5X5으로 설정하고, 수학식 1에서 c를
Figure 112014026460849-pat00036
으로 설정하였을 때의 결과 영상을 나타낸다. 영상(440)은 블록의 크기를 3X3으로 설정하고, 수학식 1에서 c를 직교 변환 계수들 중 두 번째로 큰
Figure 112014026460849-pat00037
으로 설정하였을 때의 결과 영상을 나타낸다. 영상(450)은 블록의 크기를 5X5으로 설정하고, 수학식 1에서 c를
Figure 112014026460849-pat00038
으로 설정하였을 때의 결과 영상을 나타낸다.
도 5는 일실시예에 따른 가중치의 크기에 따른 결과 영상의 일례를 도시한 도면이다.
영상 처리 장치는 가중치의 크기를 조절하여 입력 영상의 텍스처 구조를 결과 영상에 반영할 수 있다. 예를 들어, 영상 처리 장치는 수학식 3과 같이 직교 변환 계수에 가중치를 적용하여 결과 영상에 입력 영상의 텍스처 구조를 반영할 수 있다. 영상 처리 장치는 가중치를 크게 설정하여 결과 영상에 입력 영상의 텍스처 구조를 보다 많이 반영할 수 있다.
도 5를 참조하면, 입력 영상(510)과 결과 영상들(520-550)의 일례가 도시되어 있다. 구체적으로, 결과 영상(520)은 가중치가 적용되지 않았을 때, 즉 수학식 3에서
Figure 112014026460849-pat00039
가 0으로 설정되었을 때의 결과 영상이다. 결과 영상(530)은 수학식 3에서
Figure 112014026460849-pat00040
가 0.5으로 설정되었을 때의 결과 영상이고, 결과 영상(540)은 수학식 3에서
Figure 112014026460849-pat00041
가 1.0으로 설정되었을 때의 결과 영상이다. 결과 영상(550)은 수학식 3에서
Figure 112014026460849-pat00042
가 5.0으로 설정되었을 때의 결과 영상이다. 결과 영상들(520-550)을 서로 비교해보면, 가중치
Figure 112014026460849-pat00043
의 크기가 커질수록 결과 영상에 입력 영상의 텍스처 구조가 보다 많이 반영되는 것을 알 수 있다.
도 6은 일실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
단계(610)에서, 영상 처리 장치는 입력 영상에 블록을 설정할 수 있다. 입력 영상에 설정되는 블록의 크기는 미리 결정되어 있거나, 또는 입력 영상의 크기, 입력 영상의 밝기 정도 등에 기초하여 적응적으로 결정될 수 있다.
단계(620)에서, 영상 처리 장치는 블록 내 픽셀 값을 직교 변환하여 직교 변환 계수를 획득할 수 있다. 예를 들어, 영상 처리 장치는 특이값 분해, 이산 코사인 변환, 이산 푸리에 변환, 아다마드 변환, 고속 푸리에 변환, 웨이브릿 변환, 하틀리 변환, 카루넨 루베 변환, 경사 변환 및 하르 변환 중 적어도 하나를 이용하여 블록 내 픽셀 값들의 직교 변환 계수를 획득할 수 있다.
다른 실시예에 따르면, 영상 처리 장치는 단계(640)을 수행하기 전에 단계(630)을 추가적으로 수행할 수 있다. 단계(630)에서, 영상 처리 장치는 단계(620)으로부터 획득된 직교 변환 계수에 가중치를 적용할 수 있다. 가중치는 미리 설정된 값이거나, 또는 영상 처리 장치는 입력 영상의 크기, 입력 영상에 설정되는 블록의 크기, 입력 영상 내 그림자의 분포 및 입력 영상의 밝기 정도 중 적어도 하나에 기초하여 가중치의 크기를 적응적으로 결정할 수 있다. 가중치의 크기에 따라 입력 영상의 텍스처가 결과 영상에 반영되는 정도가 결정될 수 있다.
단계(640)에서, 영상 처리 장치는 직교 변환 계수를 정규화하고, 정규화 결과에 기초하여 결과 영상을 생성할 수 있다. 영상 처리 장치는 직교 변환 계수의 정규화 결과를 미리 설정된 범위의 픽셀 값으로 변환하는 것에 의해 결과 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성할 수 있다. 다른 예로, 영상 처리 장치는 블록에 대해 획득된 직교 변환 계수들의 합과 직교 변환 계수들 사이의 차이를 이용하여 결과 영상을 생성할 수 있다. 영상 처리 장치는 두 개의 직교 변환 계수들 사이의 차이와 블록에 대해 획득된 직교 변환 계수들의 합 간의 비율에 기초하여 결과 영상을 생성할 수 있다. 영상 처리 장치는 입력 영상에 설정된 모든 블록에 대해 도출된 비율 값들을 조합하여 결과 영상을 생성할 수 있다.
단계(630)이 수행된 경우, 영상 처리 장치는 가중치가 적용된 직교 변환 계수를 정규화하여 결과 영상을 생성할 수 있다.
다른 실시예에 따르면, 영상 처리 장치는 단계(650)을 추가적으로 수행할 수 있다. 단계(650)에서, 영상 처리 장치는 결과 영상에 기초하여 사용자 인증을 수행할 수 있다. 입력 영상은 사용자의 얼굴이 나타난 얼굴 영상일 수 있다. 영상 처리 장치는 얼굴 영상으로부터 생성된 결과 영상에 기초하여 사용자 인증을 수행할 수 있다. 영상 처리 장치는 미리 저장된 기준 영상들과 결과 영상 간의 유사도에 기초하여 사용자 인증을 수행할 수 있다. 영상 처리 장치는 결과 영상과 기준 영상들 간의 유사도를 계산하고, 유사도가 미리 설정된 조건을 만족하는지 여부에 기초하여 사용자 인증을 수행할 수 있다.
실시예에 따른 방법은 하나 이상의 프로세서(processor)에 의해 수행될 수 있고, 또는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 블록 설정부
120: 직교 변환 수행부
130: 결과 영상 생성부
140: 사용자 인증부

Claims (20)

  1. 입력 영상에 블록을 설정하는 단계;
    상기 블록 내 픽셀 값을 직교 변환(orthogonal transform)하여 직교 변환 계수를 획득하는 단계;
    복수의 조명 영역들에서 각 조명 영역에 대한 직교 변환 계수의 정규화 값이 서로 동일하도록 상기 획득된 직교 변환 계수를 정규화하는 단계; 및
    상기 정규화된 직교 변환 계수에 기초하여 결과 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 획득된 직교 변환 계수에 가중치를 적용하는 단계
    를 더 포함하고,
    상기 획득된 직교 변환 계수를 정규화하는 단계는,
    상기 가중치가 적용된 직교 변환 계수를 정규화하는 단계
    를 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 가중치를 적용하는 단계는,
    상기 입력 영상의 크기, 상기 블록의 크기, 상기 입력 영상 내 그림자의 분포 및 상기 입력 영상의 밝기 정도 중 적어도 하나에 기초하여 가중치를 결정하는 단계; 및
    상기 결정된 가중치를 상기 획득된 직교 변환 계수에 적용하는 단계
    를 포함하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 가중치의 크기에 따라 상기 입력 영상의 텍스처(texture)가 상기 결과 영상에 반영되는 정도가 결정되는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 결과 영상을 생성하는 단계는,
    상기 블록에 대해 획득된 직교 변환 계수들의 합과 상기 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 결과 영상을 생성하는 단계는,
    상기 블록에 대해 획득된 직교 변환 계수들의 합과 상기 직교 변환 계수들 중 가장 크기가 큰 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  7. 입력 영상에 블록을 설정하는 단계;
    상기 블록 내 픽셀 값을 직교 변환(orthogonal transform)하여 직교 변환 계수를 획득하는 단계;
    상기 직교 변환 계수를 정규화하는 단계; 및
    상기 정규화된 직교 변환 계수에 기초하여 결과 영상을 생성하는 단계를 포함하고,
    상기 결과 영상을 생성하는 단계는,
    직교 변환 계수들 간의 차이와 상기 블록에 대해 획득된 직교 변환 계수들의 합 간의 비율에 기초하여 결과 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  8. 제1항에 있어서,
    상기 직교 변환 계수를 획득하는 단계는,
    특이값 분해(Singular Value Decomposition; SVD), 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 푸리에 변환(Discrete Fourier Transform; DFT), 아다마드 변환(Hadamard Transform), 고속 푸리에 변환(Fast Fourier Transform; FFT), 웨이브릿 변환(Wavelet Transform; WT), 하틀리 변환(Hartley Transform), 카루넨 루베 변환(Karhunen-Loeve Transform; KLT), 경사 변환(Slant Transform) 및 하르 변환(Haar Transform) 중 적어도 하나를 이용하여 상기 블록 내 픽셀 값들의 직교 변환 계수를 획득하는 단계
    를 포함하는 영상 처리 방법.
  9. 얼굴 영상 내 픽셀 값들을 직교 변환하여 직교 변환 계수를 획득하는 단계;
    복수의 조명 영역들에서 각 조명 영역에 대한 직교 변환 계수의 정규화 값이 서로 동일하도록 상기 획득된 직교 변환 계수를 정규화하는 단계;
    상기 정규화된 직교 변환 계수에 기초하여 결과 영상을 생성하는 단계; 및
    상기 결과 영상에 기초하여 사용자 인증을 수행하는 단계
    를 포함하는 사용자 인증 방법.
  10. 제9항에 있어서,
    상기 획득된 직교 변환 계수에 가중치를 적용하는 단계
    를 더 포함하고,
    상기 획득된 직교 변환 계수를 정규화하는 단계는,
    상기 가중치가 적용된 직교 변환 계수를 정규화하는 단계
    를 포함하는 사용자 인증 방법.
  11. 제9항에 있어서,
    상기 결과 영상을 생성하는 단계는,
    상기 직교 변환 계수들의 합과 상기 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 상기 결과 영상의 픽셀 값을 결정하는 단계
    를 포함하는 사용자 인증 방법.
  12. 제9항에 있어서,
    상기 사용자 인증을 수행하는 단계는,
    미리 저장된 기준 영상들과 상기 결과 영상 간의 유사도에 기초하여 사용자 인증을 수행하는 단계
    를 포함하는 사용자 인증 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  14. 입력 영상에 블록을 설정하는 블록 설정부;
    상기 블록 내 픽셀 값을 직교 변환하여 직교 변환 계수를 획득하는 직교 변환 수행부; 및
    복수의 조명 영역들에서 각 조명 영역에 대한 직교 변환 계수의 정규화 값이 서로 동일하도록 상기 획득된 직교 변환 계수를 정규화하고, 상기 정규화된 직교 변환 계수에 기초하여 결과 영상을 생성하는 결과 영상 생성부
    를 포함하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 결과 영상 생성부는,
    상기 획득된 직교 변환 계수에 가중치를 적용하고, 상기 가중치가 적용된 직교 변환 계수를 정규화하여 결과 영상을 생성하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 결과 영상 생성부는,
    상기 입력 영상의 크기, 상기 블록의 크기 및 상기 입력 영상의 밝기 정도 중 적어도 하나에 기초하여 가중치를 결정하는 영상 처리 장치.
  17. 제14항에 있어서,
    상기 결과 영상 생성부는,
    상기 블록에 대해 획득된 직교 변환 계수들의 합과 상기 직교 변환 계수들 중 어느 하나의 직교 변환 계수 간의 비율에 기초하여 결과 영상을 생성하는 영상 처리 장치.
  18. 제14항에 있어서,
    상기 입력 영상은, 사용자의 얼굴 영상이고,
    상기 결과 영상에 기초하여 사용자 인증을 수행하는 사용자 인증부
    를 더 포함하는 영상 처리 장치.
  19. 제1항에 있어서,
    상기 복수의 조명 영역들은,
    밝은(Illuminated) 영역, 반그림자(Penumbra) 영역 및 본그림자(Umbra) 영역을 포함하는, 영상 처리 방법.
  20. 제14항에 있어서,
    상기 복수의 조명 영역들은,
    밝은(Illuminated) 영역, 반그림자(Penumbra) 영역 및 본그림자(Umbra) 영역을 포함하는, 영상 처리 장치.
KR1020140032239A 2014-03-19 2014-03-19 영상 처리 방법 및 장치 KR101844371B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140032239A KR101844371B1 (ko) 2014-03-19 2014-03-19 영상 처리 방법 및 장치
US14/641,787 US9547790B2 (en) 2014-03-19 2015-03-09 Method and apparatus for processing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140032239A KR101844371B1 (ko) 2014-03-19 2014-03-19 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150109152A KR20150109152A (ko) 2015-10-01
KR101844371B1 true KR101844371B1 (ko) 2018-04-02

Family

ID=54142421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140032239A KR101844371B1 (ko) 2014-03-19 2014-03-19 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9547790B2 (ko)
KR (1) KR101844371B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700651B (zh) * 2015-12-01 2022-03-29 声科影像有限公司 成像方法、实施所述方法的装置以及计算机可读存储介质
KR101993063B1 (ko) * 2017-12-13 2019-06-26 국민대학교산학협력단 광학 카메라 통신을 이용하는 광원 검출 방법 및 장치
KR20210145781A (ko) 2019-03-25 2021-12-02 삼성전자주식회사 고운 결로 피부 텍스처를 향상시키는 안면 유연화 시스템 및 방법
KR102206490B1 (ko) * 2019-11-21 2021-01-22 주식회사 아이닉스 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법
CN112419249B (zh) * 2020-11-12 2022-09-06 厦门市美亚柏科信息股份有限公司 一种特殊服饰图片转化方法、终端设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167216A (ja) 1995-12-18 1997-06-24 Tec Corp 個人認証システム
KR100287216B1 (ko) 1998-04-09 2001-04-16 윤종용 조명변화를고려한얼굴인식방법
TWI245229B (en) 2003-09-18 2005-12-11 Ind Tech Res Inst Region based illumination-normalization method and system
KR100596559B1 (ko) 2003-11-01 2006-07-04 학교법인연세대학교 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
KR100545559B1 (ko) 2004-05-25 2006-01-24 한양대학교 산학협력단 하 라이크 피춰/선형 판별 분석을 이용한 얼굴 인식 장치및 방법
KR100690295B1 (ko) 2005-09-20 2007-03-09 삼성전자주식회사 휴대용 단말기용 얼굴 영상 정규화 방법 및 얼굴 인식시스템
KR100819027B1 (ko) 2006-04-26 2008-04-02 한국전자통신연구원 얼굴 영상을 이용한 사용자 인증 방법 및 장치
TW200842733A (en) 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
JP4631917B2 (ja) 2008-02-29 2011-02-16 エプソンイメージングデバイス株式会社 電気光学装置、駆動方法および電子機器
KR100904916B1 (ko) 2008-06-19 2009-07-01 주식회사 다우엑실리콘 얼굴 인식 시스템 및 방법
KR101082842B1 (ko) 2008-12-10 2011-11-11 한국전자통신연구원 영상을 이용한 얼굴 인식 방법 및 그 장치
US8600102B1 (en) 2011-09-19 2013-12-03 Google Inc. System and method of identifying advertisement in images
KR101314293B1 (ko) 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템

Also Published As

Publication number Publication date
US9547790B2 (en) 2017-01-17
KR20150109152A (ko) 2015-10-01
US20150269417A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
KR101844371B1 (ko) 영상 처리 방법 및 장치
US9652861B2 (en) Estimating device and estimation method
JP4459137B2 (ja) 画像処理装置及びその方法
US9679212B2 (en) Liveness testing methods and apparatuses and image processing methods and apparatuses
WO2016011834A1 (zh) 一种图像处理方法及系统
US9665803B2 (en) Image processing apparatus and image processing method
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
US9626552B2 (en) Calculating facial image similarity
Kim et al. SVD face: illumination-invariant face representation
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
KR102257897B1 (ko) 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
WO2017070923A1 (zh) 一种人脸识别方法和装置
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
Forczmański et al. Simple and robust facial portraits recognition under variable lighting conditions based on two-dimensional orthogonal transformations
Ren et al. A novel approach of low-light image used for face recognition
KR101678455B1 (ko) 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법
US9940718B2 (en) Apparatus and method for extracting peak image from continuously photographed images
KR101514551B1 (ko) 환경 변화에 강인한 멀티모달 사용자 인식
Kaur et al. Illumination invariant face recognition
CN108446737B (zh) 用于识别对象的方法和装置
KR102014093B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR20090088221A (ko) 구면 조화 계수의 비율 최적화를 이용한 영상 재조명시스템 및 방법
Xie et al. Non-ideal class non-point light source quotient image for face relighting
Kowalski et al. Evaluation of active appearance models in varying background conditions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant