KR20190018483A - 인터넷에 기반하는 얼굴 미화 시스템 - Google Patents

인터넷에 기반하는 얼굴 미화 시스템 Download PDF

Info

Publication number
KR20190018483A
KR20190018483A KR1020197000965A KR20197000965A KR20190018483A KR 20190018483 A KR20190018483 A KR 20190018483A KR 1020197000965 A KR1020197000965 A KR 1020197000965A KR 20197000965 A KR20197000965 A KR 20197000965A KR 20190018483 A KR20190018483 A KR 20190018483A
Authority
KR
South Korea
Prior art keywords
image
face
unit
facial
beautification
Prior art date
Application number
KR1020197000965A
Other languages
English (en)
Other versions
KR102195922B1 (ko
Inventor
준잉 간
가이용 지앙
하잉 탄
Original Assignee
우이 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우이 유니버시티 filed Critical 우이 유니버시티
Publication of KR20190018483A publication Critical patent/KR20190018483A/ko
Application granted granted Critical
Publication of KR102195922B1 publication Critical patent/KR102195922B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지와 동영상 획득유닛, 얼굴 검출 유닛과 미화 처리 유닛을 포함하는 인터넷에 기반하는 얼굴 미화 시스템을 공개하고, 인터넷 플랫폼에 기반하여, ‘딥러닝’기술을 적용하는 얼굴 미화 시스템을 제공하여, 얼굴 외모지수 예측과 자동 미화를 융합하여 얼굴 이미지를 미화하고, 이미지 손상을 방지하여, 사용자가 수동으로 복잡한 이미지 미화 조작을 해야 하는 불편함을 해소할 수 있는 동시에 사용자들 간의 교류, 견해를 공유하는 커뮤니티 및 자신을 보여주는 개인 홈페이지를 제공하여 사용자의 다방면의 수요를 충족시킨다.

Description

인터넷에 기반하는 얼굴 미화 시스템
본 발명은 인터넷, 머신 러닝과 생체 특징 인식 시스템 분야에 관한 것으로, 특히 인터넷에 기반하는 얼굴 미화 시스템에 관한 것이다.
현재, 스마트폰과 인터넷 기술이 발전함에 따라, 소셜 미디어는 점점 사람들의 주목을 받게 되는데, 소셜 미디어에 개인 생활 사진, 여행사진을 업로드하는 것은 사람들의 생활에서 없어서는 안될 부분으로 되었으나, 원본 이미지의 이미징 품질에 대한 불만족 또는 개인 외모에 대한 '자신없음'으로 인해, 이미지를 소셜 미디어에 업로드하기 전에 흔히 먼저 포토샵을 하여 이미지의 시각적 효과를 개선하도록 한다. 우선, 사람들이 자기 자신의 아름다움(뷰티풀) 정도에 대한 인식이 부족하고, 정량적인 분석과 비교가 없어, 소프트웨어 툴을 사용하여 이미지를 미화하여 관상효과를 개선할 수 있을지라도, 통상적으로 하나의 포토샵 소프트웨어를 숙련되게 장악하고 완벽한 포토샵을 구현하는 작업량이 너무 크기에, 대량의 시간과 노력을 투입해야 되고, 이미지가 미화 처리된 후, 국부적인 디테일 처리가 이상적이지 못하고 전반적으로 왜곡되게 표시되는 등 문제가 자주 존재한다. 기존의 해결수단에서 얼굴 이미지 미화와 얼굴 외모지수 예측은 서로 다른 소프트웨어에서 구현된다. 그리고, 기존의 외모지수 채점 소프트웨어는 얼굴 이미지에 대해서만 채점 예측하고, 구체적인 얼굴과 예측 점수에 대하여 평점 높고 낮음의 판단근거를 제공하지 않았고 시각적 효과를 개선하는 미화 방안을 제공하지 않았으며, 미화 소프트웨어를 사용하여 포토샵할 때, 여전히 개인의 주관적인 인식에 의거하여 부단히 안면의 미적 감각을 조절해야 한다. 얼굴 외모지수 예측과 얼굴 미화를 어떻게 함께 융합하는지에 있어서, 예측 점수의 높고 낮음에 의하여 시스템은 맞춤성이 있는 미화방안을 제공하여 얼굴을 자동적으로 미화하고, 이미지 품질의 손상을 야기하는 것을 방지하는 것이 가장 급선무로 해결해야 할 과제이다.
상기 내용을 해결하기 위하여, 본 발명은 얼굴 외모지수 예측과 자동 미화를 융합하여 얼굴 이미지를 미화하고, 이미지 손상을 방지하는 인터넷 플랫폼에 기반하는 얼굴 미화 시스템을 제공하는데 그 목적이 있다.
본 발명이 기술적 과제를 해결하는데 사용되는 기술적 해결수단은 다음과 같다.
인터넷에 기반하는 얼굴 미화 시스템은,
클라이언트단에서 이미지와 동영상을 획득하고 처리하여 서버단에 업로드하기 위한 이미지와 동영상 획득유닛;
상기 이미지와 동영상 획득유닛이 업로드한 정보를 검출하여, 결과를 클라이언트단 또는 미화 처리 유닛에 피드백하기 위한 얼굴 검출 유닛;
얼굴 검출 유닛이 검출한 얼굴 정보를 처리하여, 결과를 얼굴 검출 유닛 또는 클라이언트단에 피드백하기 위한 미화 처리 유닛을 포함한다.
더 나아가, 상기 이미지와 동영상 획득유닛이 촬영한 원본 이미지를 RAW 고화질 포맷으로 저장하고, 이미지 처리 알고리즘을 호출하여 이의 해상도를 낮추고, 선명화를 향상시키고 콘트라스트를 증가하여, 저선명도 이미지를 얻어, 소프트웨어 처리가 완료된 후, 두 폭의 이미지를 인터넷으로 서버에 업로드하고, 서버가 이미지를 수신한 후, 저선명도 이미지는 얼굴 검출, 얼굴 인증과 얼굴 키포인트 검출을 위한 것이고, 고선명도 이미지는 얼굴을 미화하기 위한 것이다.
더 나아가, 상기 이미지와 동영상 획득유닛은 이미지 자원을 저장하기 위한 것으로, 로컬 저장과 서버단 저장인 두가지 방식을 포함하되, 로컬 저장은 이미지를 클라이언트단의 저장 매체에 저장하기 위한 것이고, 서버단 저장은 이미지 자원을 공용 클라우드 저장 플랫폼과 서버 저장 플랫폼에 저장하기 위한 것이며, 여기서 네트워크 클라우드에 저장되는 클라우드 플랫폼 저장 자원을 1000M으로 한정하고, 서버에 저장되는 플랫폼 저장 자원을 200M으로 한정한다.
더 나아가, 상기 얼굴 검출 유닛은 장거리 원격 얼굴 이미지 검출을 포함하고, 얼굴 검출 알고리즘을 원격 서버에 배치하여, 로컬 클라이언트단에서 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여 원격 서버에서 처리하고, 클라이언트단 이미지 업로드, 클라우드 얼굴 검출과 서버 이미지 다운로드인 3 개 과정을 포함하고, 상기 클라이언트단 이미지 업로드는 클라이언트단에서 이미지를 서버에 업로드하기 위한 것이고, 상기 얼굴 검출 유닛은 서버에 배치된 얼굴 검출 알고리즘을 호출하여 수신된 이미지에 대하여 얼굴 검출 처리를 진행하기 위한 것이며, 상기 서버 이미지 다운로드는 서버가 처리된 이미지, 얼굴 좌표를 클라이언트단에 피드백하도록 하기 위한 것이다.
더 나아가, 상기 얼굴 검출 유닛은 클라우드 얼굴 키포인트 검출을 포함하되, 얼굴 안면 형상을 나타내는 68 개 관건 특징점을 장거리 원격 검출하여, 얼굴 안면 오관영역을 결정하고 특징을 추출하도록 하기 위한 것인 바, 상기 알고리즘은 저선명도 이미지에서 진행되고, 추출된 키포인트 좌표를 클라이언트단에 피드백하고 얼굴 미화 알고리즘에 전송한다.
더 나아가, 상기 얼굴 검출 유닛은 클라우드 얼굴 인증 기능을 포함하되, 원시 얼굴 이미지와 얼굴 미화 유닛으로 미화된 이미지가 동일한 사람인지를 판단하기 위한 것인 바, 얼굴 미화 파라미터를 너무 크게 조절하여 유사도가 너무 낮고, 시스템 기본값인 유사도 역치 0.4보다 낮으면, 다시 미화 처리를 진행하는 것이다.
더 나아가, 상기 미화 처리 유닛은 ‘딥러닝’에 기반하는 얼굴 뷰티풀 예측 알고리즘을 사용하여 얼굴 이미지의 뷰티풀 정도를 예측하여, 얼굴 뷰티풀 정도를 나타내는 예측 점수를 획득하고, 뷰티풀 예측 점수는 백점제를 사용하되, 1 점으로부터 100 점까지 100 개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮다.
더 나아가, 상기 미화 처리 유닛은 오관 뷰티풀 외모지수 예측을 포함하고, 상기의 오관 뷰티풀 외모지수 예측은 얼굴 외모지수를 예측하는 기초상에서, 오관 뷰티풀 예측 알고리즘을 통하여, 추출된 얼굴 특징과 안면의 68 개 관건 특징점에 의하여 얼굴 오관 형상을 추출하고, 뷰티풀 정도를 예측하며, 뷰티풀 예측은 백점제를 사용하되, 1 점으로부터 100 점까지 100 개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮다. 여기서 안면 오관(五官) 중의 눈, 눈섭, 입, 코인 사관（四官）에 대해서만 평가를 진행한다.
더 나아가, 상기 미화 처리 유닛은 얼굴 뷰티풀 데이터 베이스를 포함하고, 상기 얼굴 뷰티풀 데이터 베이스에는 아시아 각 주요국가와 지역의 얼굴 구조 형상, 오관 분포, 피부색, 피부가 매끄러운 정도, 남성 얼굴 뷰티풀 표준 템플릿, 여성 얼굴 뷰티풀 표준 템플릿, 남성 오관 뷰티풀 표준 템플릿과 여성 오관 뷰티풀 표준 템플릿 등의 데이터를 저장되고, 얼굴 뷰티풀 예측 평가에 대한 사전학습으로서, 데이터 베이스에는 상이한 지역의 수많은 얼굴 이미지 트레이닝에 기반하는 예측 모델이 저장되었다.
더 나아가, 상기 미화 처리 유닛은 미화 실시 유닛과 자동 미화 유닛을 포함하고, 상기 미화 실시 유닛은 얼굴 미화 알고리즘이 얼굴 뷰티풀 데이터 베이스로부터 뷰티풀 표준 모델을 선택하도록 이끌어주기 위한 것이다. 상기 자동 미화 유닛은 시스템이 미화 실시 방안에 의하여 자동적으로 얼굴 오관을 매끄럽게 조절하고, 얼굴 표면의 피부결 원모습을 변화시키지 않는 것이다.
더 나아가, 상기 시스템은,
사용자 회원가입, 로그인과 개인화 앱 설정기능을 포함하여, 얼굴 인식 기술과 지문 인식 기술에 의하여 소프트웨어 계정에 대한 로그인과 유지보수를 구현하는 소프트웨어 기초기능 유닛;
제 3 자 소셜 미디어 계정 로그인을 포함하고, 즉시 채팅은 네트워크 친구사귀기 채팅을 위한 것으로, 기타 사용자를 친구로 추가하여, 그룹별 관리 모드를 사용하여 시스템 정보와 친구가 사용자 개인 네트워크 공간에 남긴 댓글 정보를 수신하는 즉시 통신 유닛;
개인 홈페이지와 EXE 네트워크 갤러리 전시를 포함하여, 개별적인 공간 꾸미기, 글자 입력, EXE 네트워크 갤러리를 자동적으로 플레이할 수 있고, EXE 네트워크 갤러리 온라인 제작과 온라인 다운로드 기능을 지원하는 개인 홈페이지 유닛을 더 포함한다.
본 발명의 유리한 효과는 아래와 같다.
본 발명은 인터넷 플랫폼에서 ‘딥러닝’의 얼굴 미화를 구현하고, 클라이언트단에 의하여 사용자의 얼굴 이미지를 수집하여 압축 처리한 후, 인터넷으로 서버에 업로드하고, 서버에서 얼굴 검출, 얼굴 인증, 얼굴 키포인트 검출과 얼굴 미화 알고리즘 처리를 진행하여, 핸드폰 성능이 부족하여 딥러닝 네트워크를 실행할 수 없는 폐단을 방지하였다. 아울러, 얼굴 뷰티풀 예측과 얼굴 미화를 융합하여 뷰티풀을 예측하는 동시에, 사용자가 설정한 해당 파라미터에 의하여, 시스템에 의해 자동적으로 최적화 방안을 추천하고, 아핀 등 이미지 처리기술과 딥러닝, 매니폴드 러닝 등 머신 러닝 알고리즘에 의하여, 얼굴 형, 오관의 일부를 매끄럽게 조절하여, 얼굴을 더욱 높은 뷰티풀 평점값으로 변화시킨다. 모든 과정은 시스템에 의하여 자동으로 완성되고, 안면 위치에 대해서만 일부 미학적으로 매끄럽게 조절하여, 이미지 전체에 영향을 주지 않고, 처리 완료 후, 처리 흔적을 남기지 않는다.
본 발명은 하나의 소프트웨어로서, 인터넷과 생체 특징 인식 기술을 결합하여, 지능화와 전자동 처리기능을 구비하여 이미지의 처리 속도와 미화 품질을 향상시킬 수 있다.
도 1은 본 발명의 시스템 블록도이다.
도 2는 본 발명에 도시된 이미지 미화 흐름도이다.
본 발명이 해결하고자 하는 기술적 과제, 기술적 해결수단 및 유리한 효과가 더욱 명확해지도록 하기 위하여, 이하 실시예를 결합하여, 본 발명을 상세하게 설명한다. 여기서 기술되는 구체적인 실시예는 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하기 위한 것이 아니다.
본 출원의 실시예에서는 인터넷에 기반하는 시스템, 이동단말기에 적용되는 얼굴 미화 APP을 제공하는 바, 본 얼굴 미화 APP은 이미지 촬영과 동영상 녹화, 이미지와 동영상 저장, 클라우드 얼굴 검출, 클라우드 얼굴 키포인트 검출, 클라우드 얼굴 인증, 클라우드 얼굴 외모지수 예측, 클라우드 오관 외모지수 예측, 얼굴 뷰티풀 데이터 베이스, 얼굴 미화 방안과 얼굴 자동 미화, 즉시 채팅과 개인 네트워크 공간 기능을 포함하고; 상기 얼굴 미화 APP은 소프트웨어 회원가입, 로그인과 개인화 앱 설정기능을 더 포함하며,
소프트웨어를 실행한 후, 시스템 로그인과 회원가입 화면을 기본적으로 열되, 본 소프트웨어를 처음 사용할 경우, 회원가입해야 시스템에 들어갈 수 있고, 그렇지 않을 경우 시스템의 어떠한 기능도 사용할 수 없게 되며, 상기 소프트웨어는 제 3 자 소셜 미디어 계정 회원가입과 로그인을 지원한다. 기본적으로 전화번호를 사용하여 회원가입할 수도 있고, 전자 이메일을 사용하여 회원가입할 수도 있다. 성공적으로 회원가입되면, 시스템에 들어간 후, 설정화면에서 소프트웨어 PIN 코드, 도형 비밀번호, 지문 인식과 얼굴 인식 로그인 방식을 설정할 수 있고, 소프트웨어는 로그인 계정과 비밀번호를 자동으로 기록한다.
더 나아가, 상기 소프트웨어의 부분적 기능은 ‘딥러닝’기술로 개발된 알고리즘으로 구현되는 바, 핸드폰 성능이 부족하여 딥러닝 네트워크를 실행할 수 없기에, 상기 소프트웨어는 클라우드 서버에 배치된 얼굴 검출, 얼굴 인증, 얼굴 키포인트 검출과 얼굴 미화 알고리즘을 사용하여, 클라이언트단에서 이미지를 수집하고, 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여 이미지를 클라우드 서버에 전송하여 알고리즘을 구현하고, 검출 알고리즘 처리가 완료된 후, 서버는 결과를 클라이언트단에 피드백하고, 클라이언트단에 표시한다. 알고리즘이 서버에서 구현되어 이미지 업로드와 다운로드의 과정과 연관되기에, 좋은 네트워크 조건으로 소프트웨어의 사용체험도를 향상하는 것이 매우 중요하다.
더 나아가, 클라이언트단은 이미지를 수집하여 서버에 업로드한 후, 서버에서 ‘딥러닝’알고리즘을 사용하여 얼굴을 검출하되, 얼굴이 검출가능하면, 알고리즘은 얼굴 ROI 좌표로 리턴되고, 서버에 의해 클라이언트단으로 리턴되어, 클라이언트단이 드로잉 알고리즘을 호출하여, 이미지에서 빨간 네모꼴 형식으로 얼굴 영역을 선택하고; 얼굴이 검출되지 않을 경우, 시스템은 에러 메시지로 리턴되어, 이미지를 교환하여 다시 테스트하도록 요구한다. 검출 알고리즘에 의하여 얼굴이 검출되는 동시에 얼굴의 68 개 특징점도 검출되고, 서버는 검출된 정보를 클라이언트단에 피드백하고 기타 알고리즘에 전송한다. 얼굴 미화 단계에서, 클라이언트로 리턴된 68 개 키포인트는 얼굴 이미지에서 나타나지 않는 바, 보기가 필요할 경우, 소프트웨어 설정에서 상응한 기능을 실행해야 된다.
더 나아가, ‘딥러닝’ 얼굴 검출 알고리즘에 의하여 얼굴과 68 개 특징점이 검출된 후, 이어서 이미지 처리기술을 사용하여, 얼굴 오관영역을 분할하여, 오관의 구체적인 위치와 영역을 위치결정하고, 사용자가 제출한 이미지 파라미터 예를 들어 출생지, 성별, 나이 등에 의하여, 시스템은 데이터 베이스로부터 대응 영역, 성별과 나이 대에서 트레이닝된 ‘딥러닝’ 뷰티풀 모델을 검색하여, 얼굴 뷰티풀 예측과 오관 뷰티풀 예측을 진행하되, 사용자가 개인의 이미지 파라미터를 제공하지 않을 경우, 시스템은 기본적으로 성별과 나이를 테스트하고, 공용 트레이닝 모델을 호출하여 퍼즈 시험을 진행하고, 서로 다른 국가와 지역의 사람들의 용모와 심미(美)관념에서 차이가 나기에 퍼즈 알고리즘으로 예측되는 뷰티풀 결과는 비교적 큰 편차가 생길 수 있고, 시스템이 향후 제공하는 미화 방안도 매칭되지 않을 수 있는 바, 예를 들어 신장(新疆) 사람의 오관 미화 방안을 강소성과 절강성 사람에게 추천하게 된다.
더 나아가, 시스템이 얼굴과 오관의 뷰티풀 정도를 예측한 후, 정보를 클라이언트단에 피드백하고, 클라이언트단의 화면에 표시하며, 얼굴과 오관의 뷰티풀 예측 점수는 백점제를 사용하되, 여기서, 1 점일 경우 가장 못생겼다고 표시되고, 100 점일 경우, 가장 아름답다고 표시되며, 점수가 높을 수록, 뷰티풀 정도는 더욱 높고, 반대일 경우 더욱 낮다. 사용자가 뷰티풀 평점을 받은 후, 이어서 얼굴 미화 파라미터를 설정할 수 있는 바, 예를 들어 달성하고자 하는 뷰티풀 점수, 달성하고자 하는 나이대 등을 설정하여 시스템이 설정된 파라미터에 의하여 최적화 모델을 자동적으로 선택하고 최적화 참조방안을 제공하도록 한다. 시스템은 사용자가 제출한 파라미터를 획득한 후, 뷰티풀 분석 데이터 베이스 중의 뷰티풀 모델을 호출하고, 매니폴드 러닝방법, 딥러닝과 이미지 처리 중의 아핀 변환기술을 사용하여, 오관을 설정된 뷰티풀 정도 모델에 매핑한 후, 딥러닝 방법으로 빛의 밝기 등 디테일을 융합하여, 처리된 안면 기관과 얼굴을 완벽하게 융합시키고, 사용자는 파라미터를 설정하지 않아도 되는 바, 알고리즘은 기본적으로 표준화 처리를 진행하여, 표준 뷰티풀 정도보다 낮은 오관을 미세조절한다.
더 나아가, 이미지를 미화 처리한 후, 이어서 ‘딥러닝’ 얼굴 인증 알고리즘을 사용하여 미화 처리된 이미지와 원본 이미지가 여전히 동일한 사람인 지를 판단한다. 알고리즘은 유사도로 측정하되, 얼굴 오관은 조절된 후, 얼굴 안면 특징 디테일이 변화되어, 다시 측정되어 추출된 특징점은 차이가 있어, 알고리즘은 동일한 사람에 대한 판단결과를 직접 제공할 수 없고, 하나의 판정 유사도를 제공하는 바, 유사도는 백점제를 사용하고, 0으로부터 100 점까지 100 개의 점수로 분할하되, 여기서 0은 완전히 다를 경우를 나타내고, 100은 완전히 같은 경우를 나타내며, 점수가 높을 수록 유사도 또한 더욱 높고, 반대일 경우 더욱 낮다. 시스템은 기본적으로 하나의 얼굴 유사도 역치를 설정하는 바, 즉 0.4로 설정하되, 이미지가 처리된 후, 유사도가 이 역치보다 낮으면, 다시 미화 처리를 진행한다. 이 역치는 시스템 설정에서 수정할 수 있다. 상기 소프트웨어에는 얼굴 인증 기능 또한 집적되어, 사용자가 동시에 두 장의 이미지를 업로드하여 인증할 수 있고, 이때 시스템 처리 후, 동일한 사람이거나 또는 동일한 사람이 아닌지에 대한 판단결과를 제공한다.
더 나아가, 사용자는 자신의 원본 이미지와 처리된 이미지를 소프트웨어 공용 플랫폼에 업로드하여 보여주어, 기타 사용자의 평점을 받게 되는 바, 평점 시스템은 10 개의 점수를 설정하되, 1 부터 10 까지 이고, 여기서 1 은 가장 못생겼다고 표시되고, 10 은 가장 아름답다고 표시되며, 점수가 높을 수록 뷰티풀 정도가 더욱 높고, 반대일 경우 더욱 낮으며, 친구는 채점하는 동시에 시스템에 설정된 얼굴 뷰티풀 판단에 관련된 문제에 대답할 수도 있고, 이미지 하단에 댓글을 남길 수도 있다. 시스템은 친구의 참여상황, 평점 수치, 평점 계산 통계 히스토그램, 외모지수 평균치와 평점 수치 분산에 의하여, 사용자가 참조하기 편리하도록 하여 평점의 효율성을 고찰하도록 한다. 사용자는 기타 사용자와의 PK에도 참여가능하여, '좋아요' 받기 형식으로 제한된 시간 내에 '좋아요'를 많이 받으면 승리로 인정되어 한 라운드가 더 높은 PK 시합에 진입하게 된다.
더 나아가, 사용자는 자신의 개인공간에 이미지, 동영상과 EXE 전자 갤러리를 업로드할 수도 있되, 전자 갤러리는 온라인 제작과 로컬 업로드가 지원되고, 온라인으로 제작된 전자 갤러리는 다운로드가 지원된다. 개인 공간 갤러리에 있는 이미지는 대량으로 외모지수 채점과 미화 처리 조작을 지원하고, 사용자는 평점 흔적을 보류하는 것을 선택할 수 있다.
더 나아가, 사용자들 간의 소통과 교류의 편리를 도모하기 위하여, 상기 소프트웨어는 즉시 채팅 기능을 개통하되, 사용자는 공용 보여주기 플랫폼에서 투표 채점된 이미지에 대한 새로운 투표와 평가를 받은 후, 투표 정보와 평가 정보는 시스템에 의해 채팅 기능 영역에 전달되어, 사용자는 관련 자문 정보를 수시로 획득할 수 있다.
더 나아가, 상기 포스팅과 댓글 달기 자격 심사는 규범화된 소프트웨어를 사용하고, 문명한 발언을 장려하고 국가이익에 해롭고 타인의 합법적 권익을 침해하는 언론을 금지발표하기 위한 것인 바, 제 3 자 알고리즘에 의해 검출되어, 소프트웨어 사용규칙을 위반하는 언론이 발견되면, 줄거리의 엄중한 상황에 따라 삭제하기와 발언 금지 등 처벌을 준다.
상술한 바와 같이, 이는 본 발명의 바람직한 실시예일 뿐, 본 발명을 한정하기 위한 것이 아니며, 본 발명의 원칙과 취지 내에서 진행한 어떠한 수정, 등가적 대체와 개선 등이든지, 모두 본 발명의 보호범위에 속할 것이다.

Claims (11)

  1. 이미지와 동영상을 획득하고 처리하여 서버단에 업로드하기 위한 이미지와 동영상 획득유닛;
    상기 이미지와 동영상 획득유닛이 업로드한 정보를 검출하여, 결과를 클라이언트단 또는 미화 처리 유닛에 피드백하기 위한 얼굴 검출 유닛;
    얼굴 검출 유닛이 검출한 얼굴 정보를 처리하여, 결과를 얼굴 검출 유닛 또는 클라이언트단에 피드백하기 위한 미화 처리 유닛; 을 포함하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  2. 제 1 항에 있어서,
    상기 이미지와 동영상 획득유닛이 촬영한 원본 이미지를 RAW 고화질 포맷으로 저장하고, 이미지 처리 알고리즘을 호출하여 이의 해상도를 낮추고, 선명화를 향상시키고 콘트라스트를 증가하여, 저선명도 이미지를 얻어, 소프트웨어 처리가 완료된 후, 두 폭의 이미지를 인터넷으로 서버에 업로드하고, 서버가 이미지를 수신한 후, 저선명도 이미지는 얼굴을 검출하기 위한 것이고, 고선명도 이미지는 얼굴을 미화하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  3. 제 2 항에 있어서,
    상기 이미지와 동영상 획득유닛은 또한 이미지 자원을 저장하기 위한 것으로, 로컬 저장과 서버단 저장인 두가지 방식을 포함하되, 로컬 저장은 이미지를 클라이언트단의 저장 매체에 저장하기 위한 것이고, 서버단 저장은 이미지 자원을 공용 클라우드 저장 플랫폼과 서버 저장 플랫폼에 저장하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  4. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 얼굴 검출 유닛은 얼굴 검출 알고리즘을 원격 서버에 배치하고, 로컬 클라이언트단에서 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여, 원격 서버에서 이미지를 처리하고, 상기 얼굴 검출 유닛은 클라이언트단 이미지 업로드 유닛, 클라우드 얼굴 검출 유닛과 서버 이미지 다운로드 유닛을 포함하고, 상기 클라이언트단 이미지 업로드 유닛은 클라이언트단에서 이미지를 서버에 업로드하기 위한 것이고, 상기 클라우드 얼굴 검출 유닛은 서버에 배치된 얼굴 검출 알고리즘을 호출하여 수신된 이미지에 대하여 얼굴 검출 처리를 진행하기 위한 것이며, 상기 서버 이미지 다운로드 유닛은 서버가 처리된 이미지, 얼굴 좌표를 클라이언트단에 피드백하도록 하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  5. 제 4 항에 있어서,
    상기 얼굴 검출 유닛은 클라우드 얼굴 키포인트 검출유닛을 더 포함하되, 얼굴 안면 형상을 나타내는 68 개 관건 특징점을 장거리 원격 검출하여, 얼굴 안면 오관영역을 결정하고 특징을 추출하도록 하기 위한 것인 바, 상기 과정은 저선명도 이미지에서 진행되고, 추출된 키포인트 좌표를 클라이언트단에 피드백하고 얼굴 미화 알고리즘에 전송하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  6. 제 5 항에 있어서,
    상기 얼굴 검출 유닛은 클라우드 얼굴 인증 유닛을 더 포함하되, 원시 얼굴 이미지와 얼굴 미화 유닛으로 미화된 이미지가 동일한 사람인지를 판단하기 위한 것인 바, 유사도가 너무 낮고, 시스템 기본값인 유사도 역치보다 낮으면, 다시 미화 처리를 진행하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  7. 제 4 항에 있어서,
    상기 미화 처리 유닛은 얼굴 검출 알고리즘을 사용하여 얼굴 이미지의 뷰티풀 정도를 예측하여, 얼굴 뷰티풀 정도를 나타내는 예측 점수를 획득하고, 뷰티풀 예측 점수는 백점제를 사용하되, 1 점으로부터 100 점까지 100개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮음을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  8. 제 7 항에 있어서,
    상기 미화 처리 유닛은 오관 뷰티풀 외모지수 예측유닛을 더 포함하고, 상기의 오관 뷰티풀 외모지수 예측유닛은 얼굴 외모지수를 예측하는 기초상에서, 오관 뷰티풀 예측 알고리즘을 통하여, 추출된 얼굴 특징과 안면의 68 개 관건 특징점에 의하여 얼굴 오관 형상을 추출하고, 뷰티풀 정도를 예측하며, 뷰티풀 예측은 백점제를 사용하되, 1 점으로부터 100 점까지 100개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮음을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  9. 제 8 항에 있어서,
    상기 미화 처리 유닛은 얼굴 뷰티풀 데이터 베이스를 더 포함하고, 상기 얼굴 뷰티풀 데이터 베이스는 아시아 각 주요국가와 지역의 얼굴 구조 형상, 오관 분포, 피부색, 피부가 매끄러운 정도, 남성 얼굴 뷰티풀 표준 템플릿, 여성 얼굴 뷰티풀 표준 템플릿, 남성 오관 뷰티풀 표준 템플릿과 여성 오관 뷰티풀 표준 템플릿 데이터를 저장하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  10. 제 9 항에 있어서,
    상기 미화 처리 유닛은 미화 실시 유닛과 자동 미화 유닛을 포함하고, 상기 미화 실시 유닛은 얼굴 미화 알고리즘이 얼굴 뷰티풀 데이터 베이스로부터 뷰티풀 표준 모델을 선택하도록 이끌어 주기 위한 것이고, 상기 자동 미화 유닛은 시스템이 미화 실시 방안에 의하여 자동적으로 얼굴 오관을 매끄럽게 조절하고, 얼굴 표면의 피부결 원모습을 변화시키지 않는 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
  11. 제 1 항에 있어서,
    상기 시스템은,
    사용자 회원가입, 로그인과 개인화 앱 설정기능을 포함하여, 얼굴 인식 기술과 지문 인식 기술에 의하여 소프트웨어 계정에 대한 로그인과 유지보수를 구현하는 소프트웨어 기초기능 유닛;
    제 3 자 소셜 미디어 계정 로그인을 포함하고, 즉시 채팅은 네트워크 친구사귀기 채팅을 위한 것으로, 기타 사용자를 친구로 추가하여, 그룹별 관리 모드를 사용하여 시스템 정보와 친구가 사용자 개인 네트워크 공간에 남긴 댓글 정보를 수신하는 즉시 통신 유닛;
    개인 홈페이지와 EXE 네트워크 갤러리 전시를 포함하여, 개별적인 공간 꾸미기, 글자 입력, EXE 네트워크 갤러리를 자동적으로 플레이할 수 있고, EXE 네트워크 갤러리 온라인 제작과 온라인 다운로드 기능을 지원하는 개인 홈페이지 유닛; 을 더 포함하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
KR1020197000965A 2017-06-27 2017-11-08 인터넷에 기반하는 얼굴 미화 시스템 KR102195922B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710498941.6A CN107392110A (zh) 2017-06-27 2017-06-27 基于互联网的人脸美化系统
CN201710498941.6 2017-06-27
PCT/CN2017/109834 WO2019000777A1 (zh) 2017-06-27 2017-11-08 基于互联网的人脸美化系统

Publications (2)

Publication Number Publication Date
KR20190018483A true KR20190018483A (ko) 2019-02-22
KR102195922B1 KR102195922B1 (ko) 2020-12-29

Family

ID=60333671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000965A KR102195922B1 (ko) 2017-06-27 2017-11-08 인터넷에 기반하는 얼굴 미화 시스템

Country Status (4)

Country Link
JP (1) JP6773883B2 (ko)
KR (1) KR102195922B1 (ko)
CN (1) CN107392110A (ko)
WO (1) WO2019000777A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210038482A (ko) * 2020-04-17 2021-04-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995428B (zh) * 2017-12-21 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN108040296B (zh) * 2017-12-25 2020-08-28 北京奇虎科技有限公司 基于自适应跟踪框分割的直播服饰装扮方法及装置
CN108629296A (zh) * 2018-04-17 2018-10-09 广州视源电子科技股份有限公司 图像处理方法和装置
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN109145865A (zh) * 2018-09-07 2019-01-04 北京相貌空间科技有限公司 人脸标准程度计算方法及装置
CN109712082B (zh) * 2018-12-05 2020-08-07 厦门美图之家科技有限公司 协作修图的方法及装置
CN110188652A (zh) * 2019-05-24 2019-08-30 北京字节跳动网络技术有限公司 人脸图像的处理方法、装置、终端及存储介质
CN110414489A (zh) * 2019-08-21 2019-11-05 五邑大学 一种基于多任务学习的人脸美丽预测方法
CN110688946A (zh) * 2019-09-26 2020-01-14 上海依图信息技术有限公司 基于图片识别的公有云静默活体检测设备和方法
CN110933354B (zh) * 2019-11-18 2023-09-01 深圳传音控股股份有限公司 一种可定制的多风格多媒体处理方法及其终端
CN110889352A (zh) * 2019-11-18 2020-03-17 珠海全志科技股份有限公司 图像模糊化处理方法、计算机装置及计算机可读存储介质
CN111274919A (zh) * 2020-01-17 2020-06-12 桂林理工大学 基于卷积神经网络的五官检测方法、系统、服务器及介质
CN111343472B (zh) * 2020-02-21 2023-05-26 腾讯科技（深圳）有限公司 一种图像处理效果的调节方法、装置、设备及介质
CN111489311B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN113554557A (zh) * 2020-04-26 2021-10-26 华为技术有限公司 以增强现实方式显示皮肤细节的方法及电子设备
WO2021237736A1 (zh) * 2020-05-29 2021-12-02 深圳市大疆创新科技有限公司 图像处理方法、装置和系统，计算机可读存储介质
CN112991155A (zh) * 2020-10-16 2021-06-18 陈晶晶 基于大数据和人工智能的人脸美化指令处理方法
CN113421197B (zh) * 2021-06-10 2023-03-10 杭州海康威视数字技术股份有限公司 一种美颜图像的处理方法及其处理系统
CN113688708A (zh) * 2021-08-12 2021-11-23 北京数美时代科技有限公司 一种基于概率特征的人脸识别方法、系统及存储介质
CN113643417B (zh) * 2021-08-17 2023-06-27 腾讯科技（深圳）有限公司 图像调整方法、装置、电子设备及存储介质
CN116074618B (zh) * 2023-03-31 2023-07-25 广州翼拍联盟网络技术有限公司 防止人像信息泄露的智慧拍照服务方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100596498B1 (ko) * 2004-06-30 2006-07-03 전자부품연구원 다중 프레임 기반 온라인 얼굴 인식 시스템
KR101254177B1 (ko) * 2011-10-07 2013-04-19 위아코퍼레이션 주식회사 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템
KR101634701B1 (ko) * 2011-11-15 2016-06-29 페이스북, 인크. 소셜 네트워킹 정보를 이용한 얼굴 인식

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246673A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 顔画像処理装置及びシステム
KR101901591B1 (ko) * 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
CN104346136B (zh) * 2013-07-24 2019-09-13 腾讯科技（深圳）有限公司 一种图片处理的方法及装置
CN103761536B (zh) * 2014-01-28 2017-03-22 五邑大学 基于无监督最优美丽特征和深度评价模型的人脸美化方法
CN104537612A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种自动的人脸图像皮肤美化方法
JP2016085579A (ja) * 2014-10-24 2016-05-19 大学共同利用機関法人情報・システム研究機構 対話装置のための画像処理装置及び方法、並びに対話装置
CN104503749B (zh) * 2014-12-12 2017-11-21 广东欧珀移动通信有限公司 照片处理方法和电子设备
CN104574306A (zh) * 2014-12-24 2015-04-29 掌赢信息科技（上海）有限公司 一种即时视频中的人脸美化方法和电子设备
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技（深圳）有限公司 视频处理方法及终端设备
CN106558025B (zh) * 2015-09-29 2021-02-09 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN105469081B (zh) * 2016-01-15 2019-03-22 成都品果科技有限公司 一种用于美颜的人脸关键点定位方法及系统
CN105787878B (zh) * 2016-02-25 2018-12-28 杭州格像科技有限公司 一种美颜处理方法及装置
CN105931211A (zh) * 2016-04-19 2016-09-07 中山大学 一种人脸图像美化方法
CN105979194A (zh) * 2016-05-26 2016-09-28 努比亚技术有限公司 一种视频图像处理装置和方法
CN106296701A (zh) * 2016-08-15 2017-01-04 北京小米移动软件有限公司 图像处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100596498B1 (ko) * 2004-06-30 2006-07-03 전자부품연구원 다중 프레임 기반 온라인 얼굴 인식 시스템
KR101254177B1 (ko) * 2011-10-07 2013-04-19 위아코퍼레이션 주식회사 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템
KR101634701B1 (ko) * 2011-11-15 2016-06-29 페이스북, 인크. 소셜 네트워킹 정보를 이용한 얼굴 인식

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210038482A (ko) * 2020-04-17 2021-04-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기

Also Published As

Publication number Publication date
CN107392110A (zh) 2017-11-24
WO2019000777A1 (zh) 2019-01-03
KR102195922B1 (ko) 2020-12-29
JP6773883B2 (ja) 2020-10-21
JP2019523489A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
KR20190018483A (ko) 인터넷에 기반하는 얼굴 미화 시스템
US11321385B2 (en) Visualization of image themes based on image content
EP3338217B1 (en) Feature detection and masking in images based on color distributions
JP6715152B2 (ja) ケア情報取得方法、ケア情報共有方法及びこれらの方法のための電子装置
KR102266361B1 (ko) 거울을 가상화하는 디바이스들, 시스템들 및 방법들
US9286706B1 (en) Editing image regions based on previous user edits
US8983152B2 (en) Image masks for face-related selection and processing in images
CN105684038A (zh) 用于替换图像的部分的图像缓存
CN107085654B (zh) 基于人脸图像的健康分析方法及装置
WO2017177259A1 (en) System and method for processing photographic images
US11501564B2 (en) Mediating apparatus and method, and computer-readable recording medium thereof
CN109165428B (zh) 一种智能服装定制平台
WO2015135475A1 (en) Multimedia file push method and apparatus
US11263436B1 (en) Systems and methods for matching facial images to reference images
WO2018214115A1 (zh) 一种评价脸妆的方法及装置
CN107609487B (zh) 一种用户头像的生成方法和装置
CA3050456C (en) Facial modelling and matching systems and methods
CN110443122A (zh) 信息处理方法及相关产品
CN113408452A (zh) 表情重定向训练方法、装置、电子设备和可读存储介质
CN108647600A (zh) 人脸识别方法、设备及计算机可读存储介质
CN112822393A (zh) 图像处理方法、装置及电子设备
CN111461005A (zh) 一种手势识别方法、装置、计算机设备以及存储介质
US20220198825A1 (en) Systems and methods for matching facial images to reference images
CN109145724A (zh) 基于人物面部图像特征分析的“四季型人”自动判别方法
CN102509284B (zh) 一种肖像光照艺术性的自动评测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant