KR102358355B1 - 얼굴 영상의 점진적 디블러링 방법 및 장치 - Google Patents

얼굴 영상의 점진적 디블러링 방법 및 장치 Download PDF

Info

Publication number
KR102358355B1
KR102358355B1 KR1020200146357A KR20200146357A KR102358355B1 KR 102358355 B1 KR102358355 B1 KR 102358355B1 KR 1020200146357 A KR1020200146357 A KR 1020200146357A KR 20200146357 A KR20200146357 A KR 20200146357A KR 102358355 B1 KR102358355 B1 KR 102358355B1
Authority
KR
South Korea
Prior art keywords
feature map
face
deblurring
face image
image
Prior art date
Application number
KR1020200146357A
Other languages
English (en)
Inventor
허용석
이태복
정수현
Original Assignee
아주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교 산학협력단 filed Critical 아주대학교 산학협력단
Priority to KR1020200146357A priority Critical patent/KR102358355B1/ko
Application granted granted Critical
Publication of KR102358355B1 publication Critical patent/KR102358355B1/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는 단계; 상기 얼굴 이미지의 특징맵(feature map)을 추출하는 단계; 복수의 얼굴 영역(facial component) 각각이 디블러링되도록 상기 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성하는 단계; 및 상기 결과특징맵을 이용하여 결과 이미지를 생성하는 단계를 포함하는 얼굴 영상의 점진적 디블러링 방법을 제공한다.

Description

얼굴 영상의 점진적 디블러링 방법 및 장치{METHOD AND APPARATUS FOR PROGRESSIVE DEBLURRING OF FACE IMAGE}
본 발명은 흐릿한(blurred) 얼굴 영상을 점진적으로 디블러링(deblurring)하는 방법 및 장치에 관한 것이다.
카메라 또는 피사체의 흔들림 등의 움직임에 의한 흐려짐(motion blur)이 발생한 얼굴 영상에서 흐릿함을 제거하고, 흔들리지 않은 얼굴 영상으로 복원(face image deblurring)해야 할 경우가 일상 생활에서 흔히 발생한다.
이러한 흔들림으로 인한 흐려진 영상의 복원 문제는 영상 처리 분야에서 오랜 연구 분야 중 하나이다. 특히 얼굴 영상의 흐려짐은 얼굴 검출(face detection), 얼굴 인식(face recognition) 및 신원 확인(identification) 등 중요 얼굴 영상 관련 알고리즘들의 성능을 크게 저하시키는 원인이 되기도 한다. 또한 일반적인 흐려짐 제거(generic image deblurring) 알고리즘들은 사람의 얼굴에 특화되어 있지 않다.
따라서, 얼굴 영상의 흐릿함을 제거하여, 흔들리지 않은 얼굴 영상을 보다 효과적으로 복원할 수 있는 얼굴 영상의 점진적 디블러링 방법 및 장치에 대한 필요성이 대두되고 있다.
본 발명에서는 흐릿한 얼굴 영상을 얼굴 영역별로 점진적으로 디블러링함으로써, 보다 효과적으로 얼굴 영상을 디블러링(deblurring)하는 방법 및 장치를 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법은 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는 단계; 상기 얼굴 이미지의 특징맵(feature map)을 추출하는 단계; 복수의 얼굴 영역(facial component) 각각이 디블러링되도록 상기 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성하는 단계; 및 상기 결과특징맵을 이용하여 결과 이미지를 생성하는 단계를 포함한다.
바람직하게는, 상기 결과특징맵을 생성하는 단계는 소정의 기준에 따라 결정되는 상기 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 상기 특징맵을 갱신할 수 있다.
바람직하게는, 상기 복수의 얼굴 영역은 피부(skin) 영역, 머리카락(hair) 영역 및 내부파트(eyes, eyebrows, nose, ears, mouth and lip) 영역을 포함할 수 있다.
바람직하게는, 상기 결과특징맵을 생성하는 단계는 상기 복수의 얼굴 영역 각각에 대하여 상기 특징맵을 갱신한 이후에, 상기 얼굴 이미지에 포함된 배경 영역 및 상기 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 상기 특징맵을 더 갱신할 수 있다.
바람직하게는, 상기 결과특징맵을 생성하는 단계는 상기 복수의 얼굴 영역 각각에 대응되는 U-Net(fully convolutional U-shaped network)을 이용하여 상기 결과특징맵을 생성할 수 있다.
또한, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 장치는 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는 입력부; 상기 얼굴 이미지의 특징맵(feature map)을 추출하는 특징맵추출부; 복수의 얼굴 영역(facial component) 각각이 디블러링되도록 상기 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성하는 특징맵갱신부; 및 상기 결과특징맵을 이용하여 결과 이미지를 생성하는 이미지생성부를 포함한다.
바람직하게는, 상기 특징맵갱신부는 소정의 기준에 따라 결정되는 상기 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 상기 특징맵을 갱신할 수 있다.
바람직하게는, 상기 복수의 얼굴 영역은 피부(skin) 영역, 머리카락(hair) 영역 및 내부파트(eyes, eyebrows, nose, ears, mouth and lip) 영역을 포함할 수 있다.
바람직하게는, 상기 특징맵갱신부는 상기 복수의 얼굴 영역 각각에 대하여 상기 특징맵을 갱신한 이후에, 상기 얼굴 이미지에 포함된 배경 영역 및 상기 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 상기 특징맵을 더 갱신할 수 있다.
바람직하게는, 상기 특징맵갱신부는 상기 복수의 얼굴 영역 각각에 대응되는 U-Net(fully convolutional U-shaped network)을 이용하여 상기 결과특징맵을 생성할 수 있다.
또한, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 얼굴 영상의 분류 방법은 제1항의 얼굴 영상의 점진적 디블러링 방법에서 점진적으로 갱신되는 복수의 특징맵에 대응되는 복수의 중간 이미지 및 얼굴 이미지의 원본 이미지를 이용하여 복수의 얼굴 영역 각각에 대응되는 합성곱 레이어(convolutional layer)를 학습시키는 단계; 분류 대상이 되는 이미지인 분류대상 얼굴 이미지를 입력받는 단계; 및 상기 합성곱 레이어를 이용하여 상기 분류대상 얼굴 이미지를 분류하는 단계;를 포함하고, 상기 합성곱 레이어를 학습시키는 단계는 상기 합성곱 레이어를 학습시킬 때 발생하는 오류값이 제1항의 얼굴 영상의 점진적 디블러링 방법에서 이용되도록 전달한다.
또한, 본 발명은 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술된 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체를 제공할 수 있다.
본 발명에서 개시하고 있는 일 실시예에 따르면, 흐릿한 얼굴 영상을 얼굴 영역별로 점진적으로 디블러링함으로써, 보다 효율적으로 얼굴 영상의 디블러링을 수행할 수 있는 효과가 있다.
또한, 본 발명에서 개시하고 있는 얼굴 영상의 점진적 디블러링 방법과 얼굴 영상의 분류 방법이 GAN(Generative adversarial network)을 구성하도록 학습됨으로써, 점진적 디블러링 효과를 극대화할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 영상의 분류 방법의 흐름도이다.
도 4은 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법의 전체적 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 영역을 구분하는 마스크(mask)를 설명하기 위한 도면이다.
도 6는 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법의 서브네트워크를 설명하기 위한 도면이다.
도 7은 는 본 발명의 일 실시예에 따른 얼굴 영상의 분류 방법을 설명하기 위한 도면이다.
도 8 및 9은 는 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법을 종래의 기술과 비교한 결과를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법의 흐름도이다.
단계 S110에서는, 디블러링 장치가 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는다.
이때, 디블러링 장치는 장치의 내부 또는 외부에 저장된 얼굴 이미지를 직접 또는 유/무선의 네트워크 망을 통해 입력받을 수 있다. 한편, 얼굴 이미지는 얼굴이 흐릿하게 표현되는 이미지일 수 있다.
단계 S120에서는, 디블러링 장치가 얼굴 이미지의 특징맵(feature map)을 추출한다.
예컨대, 영상 복원 장치는 RGB 이미지를 입력받아, 특징맵으로 변환하는 1x1 합성곱 레이어(convolutional layer)를 이용하여 특징맵을 추출할 수 있다. 도 4를 참조하면, h()가 이 합성곱 레이어에 해당할 수 있다.
단계 S130에서는, 디블러링 장치가 복수의 얼굴 영역(facial component) 각각이 디블러링되도록 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성한다.
예컨대, 도 4를 참조하면, 디블러링 장치는 복수의 얼굴 영역 각각을 디블러링 하도록 학습된 서브네트워크인 g1(), g2(), g3(), g4()을 이용하여 추출된 특징맵을 점진적으로 갱신하여 결과특징맵을 생성할 수 있다.
보다 구체적으로, 디블러링 장치는 최초 입력된 특징맵(Finit)을 g1(), g2(), g3(), g4()에 순차적으로 입력하여, 점진적으로 F1, F2, F3, F4으로 갱신해나갈 수 있다. 이때, F1=g1(Finit), F2=g2(F1), F3=g3(F2), F4=g4(F3)의 관계가 존재한다.
이때, 디블러링 장치는 F4를 결과특징맵으로 생성할 수 있다.
다른 실시예에서는, 디블러링 장치가 결과특징맵을 생성할 때, 소정의 기준에 따라 결정되는 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 특징맵을 갱신할 수 있다.
즉, 디블러링 장치는 디블러링 정확도가 가장 높은 얼굴 영역에서부터 가장 낮은 얼굴 영역의 순서로 특징맵을 갱신할 수 있다.
이때, 디블러링 정확도는 복수의 얼굴 영역 각각에 대하여 디블러링 결과와 원본(ground truth)의 L1 거리(distance)로 정의되는 손실함수(facial component loss)를 이용하여 결정될 수 있다.
한편, 도 4에서와 같이 복수의 얼굴 영역이 총 4개일 때, 손실함수는 아래의 수학식 1로 정의될 수 있다.
[수학식 1]
Figure 112020117942167-pat00001
여기서,
Figure 112020117942167-pat00002
는 i번째 영역의 손실함수이고,
Figure 112020117942167-pat00003
는 원본 이미지(ground truth image)이고,
Figure 112020117942167-pat00004
는 i번째 영역에 대응되는 마스크(해당되는 영역은 1, 아니면 0으로 표시)이고,
Figure 112020117942167-pat00005
는 i번째 영역에 대응되는 중간 이미지(intermediate image)이고,
Figure 112020117942167-pat00006
는 아다마르 곱(Hadamard product)를 의미한다.
또한, 이때의 전체 손실함수(total facial component loss)는 아래 수학식 2로 정의될 수 있다.
[수학식 2]
Figure 112020117942167-pat00007
이와 같이, 본 발명의 전체 손실함수는 개별적인 g()가 원본 분할 맵(ground truth segmentation maps)만을 이용하여 대응되는 얼굴 영역에 집중할 수 있도록 하는 것이다. 따라서, 본 발명의 G(g1(), g2(), g3(), g4()를 통칭)는 타겟 얼굴 영역에 대하여 기존 기술의 부정확한 분할 맵을 이용하게 되는 부작용없이, 보다 정확한 형상(shape)과 보다 우수한 디테일로 복원할 수 있게 된다.
또 다른 실시예에서는, 복수의 얼굴 영역은 피부(skin) 영역, 머리카락(hair) 영역 및 내부파트(eyes, eyebrows, nose, ears, mouth and lip) 영역을 포함할 수 있다.
이때, 도 5를 참조하면, 피부 영역은 얼굴의 피부가 흰색으로 표시된 영역(M1)이고, 머리카락 영역은 머리카락 부분이 흰색으로 표시된 영역(M2)이고, 내부파트 영역은 눈, 눈썹, 코, 귀, 입, 입술 부분이 흰색으로 표시된 영역(M3)이다.
또 다른 실시예에서는, 디블러링 장치가 결과특징맵을 생성할 때, 복수의 얼굴 영역 각각에 대하여 특징맵을 갱신한 이후에, 얼굴 이미지에 포함된 배경 영역 및 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 특징맵을 더 갱신할 수 있다.
또 다른 실시예에서는, 디블러링 장치가 결과특징맵을 생성할 때, 복수의 얼굴 영역 각각에 대응되는 U-Net(fully convolutional U-shaped network)을 이용하여 결과특징맵을 생성할 수 있다.
이때, U-Net은 복수의 레지듀얼 블록(residual blocks)을 포함할 수 있다. 이때, 노멀라이제이션 계층(normalization layer)는 모델 학습의 유연성을 증대시키기 위하여 표준 레지듀얼 블록(standard residual block)에서 제거될 수 있다. 또한, 보다 포커스된 특징을 추출하기 위하여, 채널 어텐션 메커니즘(channel-attention mechanism)을 레지듀얼 블록에 적용할 수 있다.
이때, 도 6을 참조하면, gi(i는 1에서 4)의 전체 아키텍쳐가 나타나 있다. 도 6을 보면, Kernel 컬럼의 로우는 커널크기, 필터 개수, 스트라이드(strides)에 관한 정보가 나타나 있다. 예컨대, "3x3, 64, s1"은 3x3 크기의 64개 필터, 스트라이드 1을 나타낸다.
마지막으로 단계 S140에서는, 디블러링 장치가 그 결과특징맵을 이용하여 결과 이미지를 생성한다.
예컨대, 영상 복원 장치는 특징맵을 입력받아, RGB 이미지로 변환하는 1x1 합성곱 레이어(convolutional layer)를 이용하여 결과 이미지를 생성할 수 있다. 도 4를 참조하면, t()가 이 합성곱 레이어에 해당할 수 있다.
이때, 결과 이미지는 디블러링이 완료된 최종 결과물에 해당할 수 있다.
한편, 도 8 및 9를 참조하면, 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 방법을 종래의 기술과 비교한 결과가 나타나 있다.
구체적으로, 도 8을 살펴보면, 본 발명(MSPL_GAN)이 기존 기술들과 비교하여 정성적인 측면에서 가장 우수한 결과를 나타낸 것을 확인할 수 있다. 또한, 도 9를 살펴보면 모든 데이터셋에 대하여, 본 발명(MSPL_GAN)이 정량적인 측면에서 가장 우수한 결과를 나타낸 것을 확인할 수 있다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 장치(200)는 입력부(210), 특징맵추출부(220), 특징맵갱신부(230) 및 이미지생성부(240)를 포함한다.
한편, 본 발명의 일 실시예에 따른 얼굴 영상의 점진적 디블러링 장치(200)는 데스크탑PC, 노트북PC, 서버컴퓨터, 클라우드컴퓨터, 스마트폰 및 태블릿 등에 탑재되어, 슈퍼 레졸루션 이미지를 복원하는데 이용될 수 있다.
입력부(210)는 디블러링 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는다.
특징맵추출부(220)는 얼굴 이미지의 특징맵을 추출한다.
특징맵갱신부(230)는 복수의 얼굴 영역 각각이 디블러링되도록 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성한다.
다른 실시예에서는, 특징맵갱신부(230)는 소정의 기준에 따라 결정되는 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 특징맵을 갱신할 수 있다.
또 다른 실시예에서는, 복수의 얼굴 영역은 피부 영역, 머리카락 영역 및 내부파트 영역을 포함할 수 있다.
또 다른 실시예에서는, 특징맵갱신부(230)는 복수의 얼굴 영역 각각에 대하여 특징맵을 갱신한 이후에, 얼굴 이미지에 포함된 배경 영역 및 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 특징맵을 더 갱신할 수 있다.
또 다른 실시예에서는, 특징맵갱신부(230)는 복수의 얼굴 영역 각각에 대응되는 U-Net을 이용하여 결과특징맵을 생성한다.
마지막으로 이미지생성부(240)는 결과특징맵을 이용하여 결과 이미지를 생성한다.
도 3은 본 발명의 일 실시예에 따른 얼굴 영상의 분류 방법의 흐름도이다.
한편, 도 4를 참조하면, 얼굴 영상의 점진적 디블러링 방법을 수행하는 디블러링 장치가 생성기(generator)에 해당하고, 얼굴 영상의 분류 방법을 수행하는 분류 장치가 분류기(discriminator)에 해당하며, 디블러링 장치와 분류 장치가 GAN(Generative adversarial network) 구조를 형성하여 각각의 정확도를 향상시키도록 학습될 수 있다. 하지만, 본 발명의 디블러링 장치는 반드시 분류 장치와 함께 GAN 구조를 형성하여 동작해야 하는 것은 아니며, 분류 장치와 무관하게 독립적으로 동작하도록 설정될 수 있음은 통상의 기술자에게 자명할 것이다.
단계 S310에서는, 분류 장치가 얼굴 영상의 점진적 디블러링 방법에서 점진적으로 갱신되는 복수의 특징맵에 대응되는 복수의 중간 이미지 및 얼굴 이미지의 원본 이미지를 이용하여 복수의 얼굴 영역 각각에 대응되는 합성곱 레이어(convolutional layer)를 학습시킨다.
이때, 분류 장치는 합성곱 레이어를 학습시킬 때 발생하는 오류값이 제1항의 얼굴 영상의 점진적 디블러링 방법에서 이용되도록 전달한다.
예컨대, 분류 장치는 O1, O2, O3, O4에 대응되는 복수의 중간이미지를 디블러링 장치로부터 전달받아, 원본 이미지와 함께 내부의 합성곱 레이어(d1(), d2(), d3(), d4())를 학습시키는데 이용할 수 있다. 이때, 복수의 중간이미지는 도 5에 나타난 복수의 얼굴 영역 각각에 대응되는 마스크를 이용하여 마스크된 이미지일 수 있다.
또한, 분류 장치는 합성곱 레이어(d1(), d2(), d3(), d4())를 학습시키면서 발생한 오류를 디블러링 장치에게 전달하여, 복수의 얼굴 영역 각각을 디블러링 하도록 학습된 서브네트워크인 g1(), g2(), g3(), g4()에 반영(backward propagation)되도록 할 수 있다.
단계 S320에서는, 분류 장치가 분류 대상이 되는 이미지인 분류대상 얼굴 이미지를 입력받는다.
이때, 분류 장치는 장치의 내부 또는 외부에 저장된 분류대상 얼굴 이미지를 직접 또는 유/무선의 네트워크 망을 통해 입력받을 수 있다. 한편, 분류대상 얼굴 이미지는 원본 이미지와 일치하도록 디블러링 되었는지를 0에서 1사이의 확률값으로 나타내려는 이미지일 수 있다.
마지막으로 단계 S330에서는, 분류 장치가 합성곱 레이어를 이용하여 분류대상 얼굴 이미지를 분류한다.
즉, 분류 장치는 분류대상 얼굴 이미지를 합성곱 레이어에 입력하여, 분류 결과를 0에서 1사이의 확률값으로 획득할 수 있다.
한편, 도 7을 참조하면, 본 발명의 분류 장치의 세부적인 구조가 나타나 있다. 이때, 분류 장치의 학습 안정성을 위하여 모든 합성곱 레이어에 spectral nomalization이 적용된 것을 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는 단계;
    상기 얼굴 이미지의 특징맵(feature map)을 추출하는 단계;
    복수의 얼굴 영역(facial component) 각각이 디블러링되도록 상기 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성하는 단계; 및
    상기 결과특징맵을 이용하여 결과 이미지를 생성하는 단계
    를 포함하고,
    상기 결과특징맵을 생성하는 단계는
    상기 복수의 얼굴 영역 각각에 대하여 상기 특징맵을 갱신한 이후에, 상기 얼굴 이미지에 포함된 배경 영역 및 상기 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 상기 특징맵을 더 갱신하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 방법.
  2. 제1항에 있어서,
    상기 결과특징맵을 생성하는 단계는
    소정의 기준에 따라 결정되는 상기 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 상기 특징맵을 갱신하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 방법.
  3. 제1항에 있어서,
    상기 복수의 얼굴 영역은
    피부(skin) 영역, 머리카락(hair) 영역 및 내부파트(eyes, eyebrows, nose, ears, mouth and lip) 영역을 포함하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 결과특징맵을 생성하는 단계는
    상기 복수의 얼굴 영역 각각에 대응되는 U-Net(fully convolutional U-shaped network)을 이용하여 상기 결과특징맵을 생성하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 방법.
  6. 디블러링(deblurring) 대상이 되며, 얼굴을 포함하는 이미지인 얼굴 이미지를 입력받는 입력부;
    상기 얼굴 이미지의 특징맵(feature map)을 추출하는 특징맵추출부;
    복수의 얼굴 영역(facial component) 각각이 디블러링되도록 상기 특징맵을 점진적으로 갱신함으로써, 결과특징맵을 생성하는 특징맵갱신부; 및
    상기 결과특징맵을 이용하여 결과 이미지를 생성하는 이미지생성부
    를 포함하고,
    상기 결과특징맵갱신부는
    상기 복수의 얼굴 영역 각각에 대하여 상기 특징맵을 갱신한 이후에, 상기 얼굴 이미지에 포함된 배경 영역 및 상기 얼굴 이미지에 포함된 얼굴의 전체 영역 중 적어도 하나에 대하여 상기 특징맵을 더 갱신하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 장치.
  7. 제6항에 있어서,
    상기 특징맵갱신부는
    소정의 기준에 따라 결정되는 상기 복수의 얼굴 영역 각각의 디블러링 정확도의 내림차순에 따라, 상기 특징맵을 갱신하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 장치.
  8. 제6항에 있어서,
    상기 복수의 얼굴 영역은
    피부(skin) 영역, 머리카락(hair) 영역 및 내부파트(eyes, eyebrows, nose, ears, mouth and lip) 영역을 포함하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 장치.
  9. 삭제
  10. 제6항에 있어서,
    상기 특징맵갱신부는
    상기 복수의 얼굴 영역 각각에 대응되는 U-Net(fully convolutional U-shaped network)을 이용하여 상기 결과특징맵을 생성하는 것을 특징으로 하는 얼굴 영상의 점진적 디블러링 장치.
  11. 제6항의 얼굴 영상의 점진적 디블러링 장치에 의해 점진적으로 갱신되는 복수의 특징맵에 대응되는 복수의 중간 이미지 및 얼굴 이미지의 원본 이미지를 이용하여 복수의 얼굴 영역 각각에 대응되는 합성곱 레이어(convolutional layer)를 학습시키는 단계;
    분류 대상이 되는 이미지인 분류대상 얼굴 이미지를 입력받는 단계; 및
    상기 합성곱 레이어를 이용하여 상기 분류대상 얼굴 이미지를 분류하는 단계;
    를 포함하고,
    상기 합성곱 레이어를 학습시키는 단계는
    상기 합성곱 레이어를 학습시킬 때 발생하는 오류값이 제6항의 얼굴 영상의 점진적 디블러링 장치에서 이용되도록 상기 오류값을 상기 얼굴 영상의 점진적 디블러링 장치로 전달하는 것을 특징으로 하는 얼굴 영상의 분류 방법.
KR1020200146357A 2020-11-04 2020-11-04 얼굴 영상의 점진적 디블러링 방법 및 장치 KR102358355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146357A KR102358355B1 (ko) 2020-11-04 2020-11-04 얼굴 영상의 점진적 디블러링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146357A KR102358355B1 (ko) 2020-11-04 2020-11-04 얼굴 영상의 점진적 디블러링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102358355B1 true KR102358355B1 (ko) 2022-02-07

Family

ID=80253542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146357A KR102358355B1 (ko) 2020-11-04 2020-11-04 얼굴 영상의 점진적 디블러링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102358355B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373854B1 (ko) * 2014-01-06 2014-03-17 주식회사 넥스파시스템 센서 기반 영상 개선방법을 이용한 주차유도 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373854B1 (ko) * 2014-01-06 2014-03-17 주식회사 넥스파시스템 센서 기반 영상 개선방법을 이용한 주차유도 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Haoran Zhang, Zhenzhen Hu, Changzhi Luo, Wangmeng Zuo, Meng Wang, "Semantic Image Inpainting with Progressive Generative Networks", MM '18: Proceedings of the 26th ACM international conference on Multimedia, Pages 1939-1947, 22-26 October 2018(2018.10.22.) 1부.* *
Ziyi Shen, Wei-Sheng Lai, Tingfa Xu, Jan Kautz &Ming-Hsuan Yang, "Exploiting Semantics for Face Image Deblurring", International Journal of Computer Vision volume 128, pages 1829-1846, 30 March 2020(2020.03.30.) 1부.* *

Similar Documents

Publication Publication Date Title
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
CN106778928B (zh) 图像处理方法及装置
EP3933693B1 (en) Object recognition method and device
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
US20200327309A1 (en) Image processing method and system
US20240062530A1 (en) Deep perceptual image enhancement
EP4006773A1 (en) Pedestrian detection method, apparatus, computer-readable storage medium and chip
WO2022022154A1 (zh) 脸部图像处理方法、装置、设备及存储介质
CN112446380A (zh) 图像处理方法和装置
US9305359B2 (en) Image processing method, image processing apparatus, and computer program product
JP6207210B2 (ja) 情報処理装置およびその方法
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
JP7419080B2 (ja) コンピュータシステムおよびプログラム
EP4006777A1 (en) Image classification method and device
JP2010108494A (ja) 画像内の顔の特性を判断する方法及びシステム
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN110222718A (zh) 图像处理的方法及装置
Khan et al. Face segmentation: A journey from classical to deep learning paradigm, approaches, trends, and directions
CN111860046A (zh) 一种改进MobileNet模型的人脸表情识别方法
Tarasiewicz et al. Skinny: A lightweight U-Net for skin detection and segmentation
JP2024026745A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant