KR102611931B1 - 얼굴 검지 영상의 윤곽 확장 장치 및 방법 - Google Patents

얼굴 검지 영상의 윤곽 확장 장치 및 방법 Download PDF

Info

Publication number
KR102611931B1
KR102611931B1 KR1020210056653A KR20210056653A KR102611931B1 KR 102611931 B1 KR102611931 B1 KR 102611931B1 KR 1020210056653 A KR1020210056653 A KR 1020210056653A KR 20210056653 A KR20210056653 A KR 20210056653A KR 102611931 B1 KR102611931 B1 KR 102611931B1
Authority
KR
South Korea
Prior art keywords
face
facial
landmark points
outline
calculated
Prior art date
Application number
KR1020210056653A
Other languages
English (en)
Other versions
KR20220149254A (ko
Inventor
강문호
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020210056653A priority Critical patent/KR102611931B1/ko
Publication of KR20220149254A publication Critical patent/KR20220149254A/ko
Application granted granted Critical
Publication of KR102611931B1 publication Critical patent/KR102611931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 검지 영상의 윤곽 확장 장치 및 방법이 개시된다. 얼굴 검지 영상의 윤곽 확장 방법은, 얼굴 영상을 획득하는 단계, 미리 설정된 얼굴 검지 알고리즘을 이용하여, 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하는 단계, 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 얼굴 윤곽을 산출하는 단계, 추출된 복수의 얼굴 랜드마크 포인트 및 산출된 얼굴 윤곽을 이용하여, 얼굴 확장 길이 및 아이라인(Eye line) 기울기를 산출하는 단계, 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하고, 선택된 얼굴 랜드마크 포인트의 이동치를 산출하는 단계 및 산출된 이동치만큼 선택된 얼굴 랜드마크 포인트를 이동시켜 얼굴 윤곽을 확장하는 단계를 포함한다.

Description

얼굴 검지 영상의 윤곽 확장 장치 및 방법{Apparatus and method for expand the facial contour of the face index image}
본 발명은 얼굴 검지 영상의 윤곽 확장 장치 및 방법에 관한 것이다.
얼굴 검지와 증강현실을 결합한 가상 얼굴 화장(Virtual facial makeup) 앱을 활용하면, 실제 화장을 하지 않고, 비용부담 없이 다양한 화장 효과를 체험할 수 있다. 그리고, 피부 관리와 미용 분야에도 증강현실이 결합된 얼굴 인식 앱이 다양하게 활용되고 있다.
가상의 얼굴 화장 및 얼굴 피부 관리는 얼굴 내에서 수행되어야 하므로, 화장 도중에 실시간으로 얼굴의 윤곽을 알아내야 한다. 통상적으로, 얼굴 검지 앱이 검지 알고리즘을 이용하여 얼굴을 검지하면, 검지된 얼굴내에서 눈, 입, 코, 눈썹, 얼굴의 외곽 지점 등의 얼굴 각 부위의 다양한 특징 지점들에 대한 랜드마크 포인트(landmarks points)들을 추출하여 이로부터 얼굴 윤곽을 알아낸다.
하지만, 현재 활용되는 얼굴 검지 알고리즘들에 대한 분석에 의하면, 이마의 전체 또는 일부분이 얼굴 윤곽에서 제외되어, 얼굴 전체에 대한 윤곽을 제공하기 위한 별도의 방안이 필요하다.
대한민국등록특허공보 제10-2234127호(2021.03.25)
본 발명은 미리 설정된 얼굴 검지 알고리즘을 이용하여 추출된 랜드마크 포인트(landmarks points)들을 필요한 만큼 이동시켜 얼굴 윤곽을 확장하여 간단히 얼굴 전체의 윤곽을 파악하는 얼굴 검지 영상의 윤곽 확장 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 얼굴 검지 영상의 윤곽 확장 장치가 수행하는 얼굴 검지 영상의 윤곽 확장 방법이 개시된다.
본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법은, 얼굴 영상을 획득하는 단계, 미리 설정된 얼굴 검지 알고리즘을 이용하여, 상기 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 얼굴 윤곽을 산출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트 및 상기 산출된 얼굴 윤곽을 이용하여, 얼굴 확장 길이 및 아이라인(Eye line) 기울기를 산출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하고, 상기 선택된 얼굴 랜드마크 포인트의 이동치를 산출하는 단계 및 상기 산출된 이동치만큼 상기 선택된 얼굴 랜드마크 포인트를 이동시켜 상기 얼굴 윤곽을 확장하는 단계를 포함한다.
상기 얼굴 확장 길이(Δf)는 하기 수학식을 이용하여 산출된다.
여기서, fl은 복수의 얼굴 랜드마크 포인트 중에서 얼굴 최상단의 얼굴 랜드마크 포인트와 얼굴 최하단의 얼굴 랜드마크 포인트 사이의 길이이고, fscale은 사용자로부터 입력받는 스케일값이다.
상기 얼굴 검지 영상의 윤곽 확장 장치는, 상기 사용자에 의하여 상기 얼굴 확장 길이가 조절되도록, 화면에 상기 스케일값을 입력하기 위한 시크바(seek bar)를 표시한다.
상기 아이라인 기울기(ae)는 하기 수학식을 이용하여 산출된다.
여기서, xre 및 yre는 오른쪽 눈의 얼굴 랜드마크 포인트(Pre)의 좌표값이고, xle 및 yle는 왼쪽 눈의 얼굴 랜드마크 포인트(Ple)의 좌표값이다.
상기 이동치(Δx, Δy)는 하기 수학식을 이용하여 산출된다.
본 발명의 다른 측면에 따르면, 얼굴 검지 영상의 윤곽 확장 장치가 개시된다.
본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 얼굴 영상을 획득하는 단계, 미리 설정된 얼굴 검지 알고리즘을 이용하여, 상기 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 얼굴 윤곽을 산출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트 및 상기 산출된 얼굴 윤곽을 이용하여, 얼굴 확장 길이 및 아이라인(Eye line) 기울기를 산출하는 단계, 상기 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하고, 상기 선택된 얼굴 랜드마크 포인트의 이동치를 산출하는 단계 및 상기 산출된 이동치만큼 상기 선택된 얼굴 랜드마크 포인트를 이동시켜 상기 얼굴 윤곽을 확장하는 단계를 포함하는 얼굴 검지 영상의 윤곽 확장 방법을 수행한다.
본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치 및 방법은, 미리 설정된 얼굴 검지 알고리즘을 이용하여 추출된 랜드마크 포인트(landmarks points)들을 필요한 만큼 이동시켜 얼굴 윤곽을 확장하여 간단히 얼굴 전체의 윤곽을 파악함으로써, 사용자 얼굴의 회전이나 이동에 상관없이 실시간으로 얼굴 전체 윤곽을 알아낼 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치가 수행하는 얼굴 검지 영상의 윤곽 확장 방법을 나타낸 흐름도.
도 2 내지 도 6은 도 1의 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치의 구성을 개략적으로 예시하여 나타낸 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치가 수행하는 얼굴 검지 영상의 윤곽 확장 방법을 나타낸 흐름도이고, 도 2 내지 도 6은 도 1의 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 설명하기 위한 도면이다. 이하, 도 1을 중심으로, 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 설명하되, 도 2 내지 도 6을 참조하기로 한다.
S110 단계에서, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 얼굴 인식 대상의 얼굴 영상을 획득한다.
예를 들어, 도 2를 참조하면, 얼굴 검지 영상의 윤곽 확장 장치(100)는 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 수행하는 어플리케이션을 탑재한 스마트폰일 수 있다. 얼굴 검지 영상의 윤곽 확장 장치(100)는 얼굴 인식 대상으로서 사람의 얼굴 사진(10)을 구비된 카메라를 이용하여 촬영하여 얼굴 인식 대상의 얼굴 영상을 획득할 수 있다. 그리고, 얼굴 검지 영상의 윤곽 확장 장치(100)는 도 2에 도시된 바와 같이, 획득된 얼굴 영상 및 얼굴 영상으로부터 추출된 얼굴 윤곽을 화면에 출력할 수 있다. 이때, 얼굴 검지 영상의 윤곽 확장 장치(100)는 도 2에 도시된 바와 같이, 화면 하단에 후술할 시크바(seek bar)(141)를 표시할 수 있다. 사용자는 시크바(141)를 이용하여 얼굴윤곽의 확장길이를 조절할 수 있다.
S120 단계에서, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 미리 설정된 얼굴 검지 알고리즘을 이용하여 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하고, 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 얼굴 윤곽을 산출한다.
도 3은 기존에 얼굴 인식에 사용되는 3가지의 얼굴 검지 알고리즘을 이용하여 얼굴 영상으로부터 얼굴 랜드마크 포인트를 추출한 예를 나타낸다. 도 3의 (a)에 도시된 바와 같이, A 얼굴 검지 알고리즘을 이용하여 68개의 얼굴 랜드마크 포인트가 추출되었고, 도 3의 (b)에 도시된 바와 같이, B 얼굴 검지 알고리즘을 이용하여 133개의 얼굴 랜드마크 포인트가 추출되었고, 도 3의 (c)에 도시된 바와 같이, C 얼굴 검지 알고리즘을 이용하여 468개의 얼굴 랜드마크 포인트가 추출되었다.
그리고, 도 4는, 도 3의 3가지로 추출된 얼굴 랜드마크 포인트로부터 산출된 3가지의 얼굴 윤곽을 나타낸 것으로, 얼굴 윤곽은, 추출된 복수의 얼굴 랜드마크 포인트 중에서 최외곽에 위치하는 얼굴 랜드마크 포인트를 연결하여 산출될 수 있다.
도 3 및 도 4에 도시된 얼굴 윤곽 산출 결과에서 알 수 있듯이, 3가지의 얼굴 검지 알고리즘 모두 이마의 전체 또는 일부를 제외한 상태로 얼굴 윤곽을 산출하였다. 따라서, 얼굴 전체에 대한 윤곽을 산출할 수 있는 방안이 필요하다. 즉, 얼굴 검지 알고리즘을 이용하여 산출된 얼굴 윤곽을 확장하는 것이 필요하다.
본 발명의 실시예에 따르면, 얼굴 윤곽의 확장은 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 임의의 복수의 얼굴 랜드마크 포인트의 위치를 이동시켜 이루어질 수 있다.
S130 단계에서, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 얼굴 영상으로부터 1차 산출된 얼굴 랜드마크 포인트 및 얼굴 윤곽을 이용하여, 얼굴 확장 길이 및 아이라인(Eye line) 기울기를 산출한다.
도 5는 얼굴 상부에 위치하는 복수의 얼굴 랜드마크 포인트 중에서 3개의 위치를 이동시켜 얼굴 윤곽을 확장한 예를 나타낸다. 이하에서는, 도 5를 참조하여 얼굴 윤곽 확장에 대하여 설명하기로 한다.
여기서, 얼굴 확장 길이(Δf)는 하기 수학식을 이용하여 산출될 수 있다.
여기서, fl은 복수의 얼굴 랜드마크 포인트 중에서 얼굴 최상단의 얼굴 랜드마크 포인트와 얼굴 최하단의 얼굴 랜드마크 포인트 사이의 길이이고, fscale은 전술한 시크바(141)를 통해 사용자로부터 입력받는 스케일값으로, 이를 통해 사용자에 의하여 얼굴 확장 길이가 조절될 수 있다.
도 2를 참조하면, 얼굴 검지 영상의 윤곽 확장 장치(100)와 얼굴 인식 대상 사이의 거리가 변경되면, 획득되는 얼굴 영상에서의 얼굴 크기도 변경되므로, 얼굴 확장 길이(Δf)도 획득되는 얼굴 영상에서의 변경되는 얼굴 크기에 맞추어 조절되어야 한다. 그래서, 얼굴 확장 길이는 수학식 1과 같이, 얼굴 길이에 비례하게 산출될 수 있다.
한편, 사용자마다 얼굴의 길이가 다르므로, 역시 얼굴 확장 길이(Δf)도 사용자에 맞추어 조절되어야 한다. 그래서, 전술한 시크바(141)를 이용하여, 사용자가 직접 자신의 얼굴에 맞추어 수학식 1의 스케일값을 조정하여 얼굴 확장 길이를 조절할 수 있다.
그리고, 아이라인(Eye line)은 도 2에 도시된 바와 같이, 양 눈의 얼굴 랜드마크 포인트(Ple, Pre)를 지나는 직선으로 정의될 수 있고, 아이라인 기울기(ae)는 하기 수학식을 이용하여 산출될 수 있다.
여기서, xre 및 yre는 오른쪽 눈의 얼굴 랜드마크 포인트(Pre)의 좌표값이고, xle 및 yle는 왼쪽 눈의 얼굴 랜드마크 포인트(Ple)의 좌표값이다.
한편, 얼굴 확장 길이(Δf)는 아이라인과 수직을 이룰 수 있다. 즉, 복수의 얼굴 랜드마크 포인트 중에서 얼굴 최상단의 얼굴 랜드마크 포인트와 얼굴 최하단의 얼굴 랜드마크 포인트를 지나는 직선인 얼굴라인(Face line)은 아이라인과 수직을 이룰 수 있으므로, 얼굴라인 기울기(af)와 아이라인 기울기는 하기 수학식과 같은 관계를 이룰 수 있다.
S140 단계에서, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 복수의 얼굴 랜드마크 포인트 중에서 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하고, 선택된 얼굴 랜드마크 포인트의 이동치를 산출한다.
예를 들어, 도 5에 도시된 바와 같이, 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하면서 최외곽에 위치하는 얼굴 랜드마크 포인트가 선택될 수 있다.
선택된 얼굴 랜드마크 포인트의 이동치(Δx, Δy)는 하기 수학식을 이용하여 산출될 수 있다.
S150 단계에서, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 산출된 이동치만큼 선택된 얼굴 랜드마크 포인트를 이동시켜 얼굴 윤곽을 확장한다.
즉, 얼굴 검지 영상의 윤곽 확장 장치(100)는, 하기 수학식과 같이, 산출된 이동치만큼 선택된 얼굴 랜드마크 포인트를 이동시킬 수 있으며, 이동된 얼굴 랜드마크 포인트를 연결하여 얼굴 확장 길이(Δf)만큼 얼굴 윤곽을 확장시킬 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 얼굴 상부에 위치하면서 최외곽에 위치하는 복수의 얼굴 랜드마크 포인트가 선택될 수 있으며, 선택된 얼굴 랜드마크 포인트는 산출된 이동치(Δx, Δy)만큼 이동되고, 이동된 얼굴 랜드마크 포인트가 연결됨으로써, 확장된 얼굴 윤곽이 산출될 수 있다. 이때, 연결 지점들이 코너 필터링을 통해 매끄럽게 처리되어, 확장된 얼굴 윤곽이 매끄럽게 산출될 수 있다.
한편, S130 단계에서 전술한 바와 같이, 사용자는 시크바(141)를 이용하여 실시간으로 스케일값을 조정하여 얼굴 확장 길이를 조절하고, 이에 따라 얼굴 검지 영상의 윤곽 확장 장치(100)가 출력하는 얼굴 윤곽의 확장 결과를 바로 확인할 수 있다.
도 6은 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 이용하여 얼굴 윤곽을 확장한 테스트 결과를 나타낸다.
도 6의 (a) 및 (b)는, 시크바(141)를 통해 사용자에 의하여 스케일값이 증가됨에 따라 얼굴 확장 길이가 증가하여, 얼굴 윤곽이 더 크게 확장되는 결과를 나타내고 있다.
도 6의 (c) 내지 (e)는 확장된 얼굴 윤곽을 코너 필터링하여 매끄럽게 처리한 결과를 나타내고 있다. 이때, 얼굴 랜드마크 포인트는 표시되지 않았다.
도 6의 (c) 및 (d)에 도시된 바와 같이, 얼굴이 회전하더라도 동일하게 얼굴 윤곽이 확장된 것을 알 수 있다. 그리고, 도 6의 (e)에 도시된 바와 같이, 얼굴 검지 영상의 윤곽 확장 장치(100)가 얼굴로부터 멀어져 획득된 얼굴 영상의 얼굴 크기가 작아지더라도 얼굴 윤곽의 확장은 동일한 비율로 이루어짐을 확인할 수 있다.
도 7은 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치의 구성을 개략적으로 예시하여 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치(100)는 프로세서(110), 메모리(120), 카메라부(130), 디스플레이부(140), 통신부(150) 및 인터페이스부(160)를 포함한다.
프로세서(110)는 메모리(120)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(120)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(120)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(120)는 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 방법을 수행하는 명령어들을 저장할 수 있다.
카메라부(130)는 구동 명령 신호의 입력에 따라 활성화되어 피사체를 촬영함으로써, 이미지를 획득한다. 예를 들어, 카메라부(130)는 사용자 조작에 따라 사용자가 원하는 얼굴 인식 대상을 촬영하여 얼굴 영상을 생성할 수 있다.
디스플레이부(140)는 본 발명의 실시예에 따른 얼굴 검지 영상의 윤곽 확장 장치(100)가 수신하거나 처리한 정보를 표시한다. 예를 들어, 디스플레이부(140)는 액정 디스플레이(liquid crystal display) 등으로 구현될 수 있다.
또한, 디스플레이부(140)는 터치 동작을 감지하는 센서가 상호 레이어 구조를 이루는 터치 스크린이 적용되어 사용자 입력부로 사용될 수 있다.
통신부(150)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(160)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 얼굴 검지 영상의 윤곽 확장 장치
110: 프로세서
120: 메모리
130: 카메라부
140: 디스플레이부
150: 통신부
160: 인터페이스부

Claims (6)

  1. 얼굴 검지 영상의 윤곽 확장 장치가 수행하는 얼굴 검지 영상의 윤곽 확장 방법에 있어서,
    카메라를 이용하여 얼굴 영상을 획득하고, 상기 획득된 얼굴 영상을 화면에 출력하고, 상기 화면에 시크바(seek bar)를 표시하는 단계;
    미리 설정된 얼굴 검지 알고리즘을 이용하여, 상기 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하고, 상기 추출된 복수의 얼굴 랜드마크 포인트를 상기 화면에 표시하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 중에서 최외곽에 위치하는 얼굴 랜드마크 포인트를 연결하여 얼굴 윤곽을 산출하여 상기 화면에 표시하는 단계;
    상기 시크바를 통해 사용자로부터 스케일값을 입력받는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 및 상기 입력된 스케일값을 이용하여 얼굴 확장 길이를 산출하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 아이라인(Eye line) 기울기를 산출하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하는 단계;
    상기 산출된 얼굴 확장 길이 및 아이라인 기울기를 이용하여 상기 선택된 얼굴 랜드마크 포인트의 이동치를 산출하는 단계; 및
    상기 산출된 이동치만큼 상기 선택된 얼굴 랜드마크 포인트를 이동시켜 상기 얼굴 윤곽을 확장하는 단계를 포함하되,
    상기 얼굴 확장 길이(Δf)는 하기 수학식을 이용하여 산출되고,

    여기서, fl은 상기 복수의 얼굴 랜드마크 포인트 중에서 얼굴 최상단의 얼굴 랜드마크 포인트와 얼굴 최하단의 얼굴 랜드마크 포인트 사이의 길이이고, fscale은 상기 스케일값이고,
    상기 아이라인 기울기(ae)는 하기 수학식을 이용하여 산출되고,

    여기서, xre 및 yre는 오른쪽 눈의 얼굴 랜드마크 포인트(Pre)의 좌표값이고, xle 및 yle는 왼쪽 눈의 얼굴 랜드마크 포인트(Ple)의 좌표값이고,
    상기 이동치(Δx, Δy)는 하기 수학식을 이용하여 산출되는 것을 특징으로 하는 얼굴 검지 영상의 윤곽 확장 방법.

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 얼굴 검지 영상의 윤곽 확장 장치에 있어서,
    명령어를 저장하는 메모리; 및
    상기 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    카메라를 이용하여 얼굴 영상을 획득하고, 상기 획득된 얼굴 영상을 화면에 출력하고, 상기 화면에 시크바(seek bar)를 표시하는 단계;
    미리 설정된 얼굴 검지 알고리즘을 이용하여, 상기 획득된 얼굴 영상으로부터 복수의 얼굴 랜드마크 포인트(landmarks points)를 추출하고, 상기 추출된 복수의 얼굴 랜드마크 포인트를 상기 화면에 표시하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 중에서 최외곽에 위치하는 얼굴 랜드마크 포인트를 연결하여 얼굴 윤곽을 산출하여 상기 화면에 표시하는 단계;
    상기 시크바를 통해 사용자로부터 스케일값을 입력받는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 및 상기 입력된 스케일값을 이용하여 얼굴 확장 길이를 산출하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트를 이용하여 아이라인(Eye line) 기울기를 산출하는 단계;
    상기 추출된 복수의 얼굴 랜드마크 포인트 중에서, 얼굴 상부에 위치하는 미리 설정된 개수의 얼굴 랜드마크 포인트를 임의로 선택하는 단계;
    상기 산출된 얼굴 확장 길이 및 아이라인 기울기를 이용하여 상기 선택된 얼굴 랜드마크 포인트의 이동치를 산출하는 단계; 및
    상기 산출된 이동치만큼 상기 선택된 얼굴 랜드마크 포인트를 이동시켜 상기 얼굴 윤곽을 확장하는 단계를 포함하는 얼굴 검지 영상의 윤곽 확장 방법을 수행하고,
    상기 얼굴 확장 길이(Δf)는 하기 수학식을 이용하여 산출되고,

    여기서, fl은 상기 복수의 얼굴 랜드마크 포인트 중에서 얼굴 최상단의 얼굴 랜드마크 포인트와 얼굴 최하단의 얼굴 랜드마크 포인트 사이의 길이이고, fscale은 상기 스케일값이고,
    상기 아이라인 기울기(ae)는 하기 수학식을 이용하여 산출되고,

    여기서, xre 및 yre는 오른쪽 눈의 얼굴 랜드마크 포인트(Pre)의 좌표값이고, xle 및 yle는 왼쪽 눈의 얼굴 랜드마크 포인트(Ple)의 좌표값이고,
    상기 이동치(Δx, Δy)는 하기 수학식을 이용하여 산출되는 것을 특징으로 하는 얼굴 검지 영상의 윤곽 확장 장치.
KR1020210056653A 2021-04-30 2021-04-30 얼굴 검지 영상의 윤곽 확장 장치 및 방법 KR102611931B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210056653A KR102611931B1 (ko) 2021-04-30 2021-04-30 얼굴 검지 영상의 윤곽 확장 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056653A KR102611931B1 (ko) 2021-04-30 2021-04-30 얼굴 검지 영상의 윤곽 확장 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220149254A KR20220149254A (ko) 2022-11-08
KR102611931B1 true KR102611931B1 (ko) 2023-12-08

Family

ID=84041230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056653A KR102611931B1 (ko) 2021-04-30 2021-04-30 얼굴 검지 영상의 윤곽 확장 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102611931B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2017081074A (ja) * 2015-10-30 2017-05-18 京セラドキュメントソリューションズ株式会社 画像形成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200305784A1 (en) * 2016-06-27 2020-10-01 Koninklijke Philips N.V Device and method for skin gloss detection
KR102234127B1 (ko) 2020-10-05 2021-03-30 신명수 셀프 촬영을 통한 얼굴 형태 인식 및 마사지 방법 안내 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2017081074A (ja) * 2015-10-30 2017-05-18 京セラドキュメントソリューションズ株式会社 画像形成装置

Also Published As

Publication number Publication date
KR20220149254A (ko) 2022-11-08

Similar Documents

Publication Publication Date Title
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
US10082879B2 (en) Head mounted display device and control method
EP3422250A1 (en) Facial verification method and apparatus
US10664983B2 (en) Method for providing virtual reality interface by analyzing image acquired by single camera and apparatus for the same
US10783351B2 (en) System and method for sensing facial gesture
US20180204052A1 (en) A method and apparatus for human face image processing
US20180007259A1 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
CN106664398B (zh) 具有与虚拟对象的深度协作的认可范围的显示装置及其控制方法
KR102056681B1 (ko) 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
KR20160046495A (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN110050251A (zh) 向用户显示引导指示符
JP2023511332A (ja) 拡張現実マップキュレーション
US20210081716A1 (en) Training system and analysis system
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
KR102611931B1 (ko) 얼굴 검지 영상의 윤곽 확장 장치 및 방법
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
KR101847446B1 (ko) 인지 데이터 네트워크 기반 시선 추적 서버 및 방법
KR101802062B1 (ko) 감성 tv를 위한 표정 인식 기반 스테레오스코픽 3d 콘텐츠에 기인한 시각 피로도 측정 방법 및 시스템
KR102175481B1 (ko) 생체 인식 장치 및 방법
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
EP3786838A1 (en) Face tracking method and apparatus
KR101660596B1 (ko) 안면 형상 기울기 보정 방법 및 보정 시스템
CN110799986A (zh) 一种基于面部特征点的眨眼动作识别的系统和方法
EP3173972A1 (en) Body relationship estimation method and apparatus
JP2018005510A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant