KR20180050702A - 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체 - Google Patents

이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체 Download PDF

Info

Publication number
KR20180050702A
KR20180050702A KR1020187009599A KR20187009599A KR20180050702A KR 20180050702 A KR20180050702 A KR 20180050702A KR 1020187009599 A KR1020187009599 A KR 1020187009599A KR 20187009599 A KR20187009599 A KR 20187009599A KR 20180050702 A KR20180050702 A KR 20180050702A
Authority
KR
South Korea
Prior art keywords
point
reference point
line segment
mapping
image
Prior art date
Application number
KR1020187009599A
Other languages
English (en)
Other versions
KR102076431B1 (ko
Inventor
멍런 첸
즈빈 왕
페이 청
쉬안 추
샤오이 리
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180050702A publication Critical patent/KR20180050702A/ko
Application granted granted Critical
Publication of KR102076431B1 publication Critical patent/KR102076431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체에 관한 것으로, 처리 대기 이미지를 획득하고 이미지 속에 있는 사람 얼굴 이미지를 식별하여 오관 기준점을 포지셔닝하는 것과, 구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 오관 기준점에서 구성 참조점에 대응하는 현재의 참조점과 구성 기준점에 대응하는 정합 대기 기준점을 확정하는 것, 구성 참조점과 구성 기준점의 위치관계, 현재 참조점과 정합 대기 기준점의 위치관계에 따라 오관 유사성 매핑을 진행하여 처리 대기 이미지에서 구성 기준점에 대응하는 목표 기준점을 얻고 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하는 것, 매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 처리 대기 이미지 점의 매핑 관계를 확정하고 매핑 관계에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 것을 포함한다.

Description

이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체
본 발명은 컴퓨터 기술분야에 관한 것으로, 특히 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체에 관한 것이다.
이미지 처리 기술과 컴퓨터 기술이 발전하면서 인물 사진을 미화하고 변형시키려는 사용자들의 요구는 더욱 높아지고 있다. 오관 변형은 이미지 변형 영역에서 매우 중요하게 응용되고 광고, 영화, 애니메이션 등의 영역에서 광범히 응용되고 있다.
종래의 사람 얼굴 변형 기술은 흔히 로컬 이미지 변형 알고리듬에 기초하여 모델 파라메터로 변형을 진행하므로 사용자들이 제시하는 목표 형태에 자체적응하여 정합시킬 수 없다.
이에 기초하여 상기 기술 문제에 있어서 이미지 변형 처리 방법과 장치, 컴퓨터 기억 매체를 제공하여 변형 후의 이미지와 목표 이미지의 정합도를 제고하는 것이다.
이미지 변형 처리 방법은,
획득한 이미지 속에 있는 사람 얼굴 이미지의 오관 기준점을 포지셔닝하는 것과,
구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 상기 오관 기준점에서 상기 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하는 것,
처리 대기 이미지에서 상기 구성 기준점에 대응하는 목표 기준점을 확정하고 상기 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하는 것,
목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 것을 포함한다.
이미지 변형 처리 장치는,
획득한 이미지 속에 있는 사람 얼굴 이미지의 오관 기준점을 포지셔닝하도록 설치된 기준점 포지셔닝 모듈과,
구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 상기 오관 기준점에서 상기 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하도록 설치된 기준점 구분 모듈,
처리 대기 이미지에서 상기 구성 기준점에 대응하는 목표 기준점을 확정하고 상기 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하도록 설치된 유사성 매핑 모듈,
목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하도록 설치된 처리 대기 이미지 점 매핑 모듈을 포함한다.
컴퓨터 기억 매체는 상기 이미지 변형 처리 방법을 실행하도록 설치된 컴퓨터 프로그램을 기억한다.
상기 이미지 변형 처리방법 및 장치, 컴퓨터 기억 매체는 처리 대기 이미지를 획득하여 처리 대기 이미지 속에 있는 사람 얼굴 이미지를 식별하고 사람 얼굴 이미지의 오관 기준점을 포지셔닝하고, 구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고, 오관 기준점에서 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하고, 구성 참조점과 구성 기준점의 위치관계 및 현재 참조점과 정합 대기 기준점의 위치관계에 따라 오관 유사성 매핑을 진행하여 처리 대기 이미지에서 구성 기준점에 대응하는 목표 기준점을 얻고 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하고, 매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 의해 처리 대기 이미지 점의 매핑 관계를 확정하고 매핑 관계에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하며, 변형 템플릿이 자체로 구성 참조점과 구성 기준점을 가지고 있고 상응한 처리 대기 이미지 중의 현재 참조점과 정합 대기 기준점을 거쳐 먼저 오관 유사성 매핑 목표 기준점을 얻고 다시 처리 대기 이미지 점의 매핑 관계를 확정하므로서 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하며 변형 템플릿에 의해 변형 크기를 자체적응적으로 확정하고 변형 후의 이미지 및 목표 이미지의 정합도를 제고할 수 있다.
도 1은 일 실시예 중의 이미지 변형 처리 방법의 응용 환경도이다.
도 2는 일 실시예 중의 도 1의 단말의 내부 구조도이다.
도 3은 일 실시예 중의 도 1의 서버의 내부 구조도이다.
도 4는 일 실시예 중의 이미지 변형 처리 방법의 흐름도이다.
도 5는 일 실시예 중의 사람 얼굴 이미지의 오관 기준점의 개략도이다.
도 6은 일 실시예 중의 변형 템플릿의 오관 기준점의 개략도이다.
도 7은 일 실시예 중의 처리 대기 이미지의 오관 기준점의 개략도이다.
도 8은 일 실시예 중의 목표 기준점의 위치를 확정하는 흐름도이다.
도 9는 일 실시예 중의 구성 참조점과 구성 기준점의 위치 관계도이다.
도 10은 일 실시예 중의 목표 기준점의 위치를 확정하는 개략도이다.
도 11은 일 실시예 중의 삼각도형에 따라 목표 기준점의 위치를 확정하는 흐름도이다.
도 12는 일 실시예 중의 구성 참조점으로 구성 삼각도형을 형성하는 개략도이다.
도 13은 다른 실시예 중의 구성 참조점과 구성 기준점의 위치 관계도이다.
도 14는 다른 실시예 중의 목표 기준점의 위치를 확정하는 개략도이다.
도 15는 일 실시예 중의 처리 대기 이미지를 대응하는 목표 위치에 점 매핑하는 흐름도이다.
도 16은 일 실시예 중의 점 매핑 계산 개략도이다.
도 17은 일 실시예 중의 점 매핑 결과 개략도이다.
도 18은 일 실시예 중의 블록으로 나누어 처리 대기 이미지를 대응하는 목표 위치에 점 매핑하는 흐름도이다.
도 19는 일 실시예 중의 처리 대기 이미지를 블록으로 나누는 개략도이다.
도 20은 일 실시예 중의 처리 대기 이미지를 블록으로 나누어 매핑하는 개략도이다.
도 21은 일 실시예 중의 변형 후의 이미지의 개략도이다.
도 22는 일 실시예 중의 이미지 변형 처리 방법 기술의 블록도이다.
도 23은 일 실시예 중의 이미지 변형 처리 장치의 구조 블록도이다.
도 24는 일 실시예 중의 유사성 매핑 모듈의 구조 블록도이다.
도 25는 일 실시예 중의 처리 대기 이미지 점 매핑 모듈의 구조 블록도이다.
도 26은 일 실시예 중의 목표 위치 확정 유닛의 구조 블록도이다.
도 1은 실시예 중의 이미지 변형 처리 방법을 운영하는 응용 환경도이다.
도 1에 도시한 바와 같이 이 응용 환경은 망을 거쳐 통신할 수 있는 단말 110과 서버 120을 포함한다.
단말 110은 스마트 폰, 판형 컴퓨터, 노트북, 데스크탑 컴퓨터 등일 수 있지만 이에 제한되지 않는다. 단말 110은 서버 120에 변형 템플릿 획득 요청과 이미지 데이터 등을 송신할 수 있고 서버 120은 단말 110에 변형 템플릿 등을 송신할 수 있다. 이미지 변형 처리 방법은 단말이나 서버에서 실시할 수 있다.
일 실시예에서, 도 1 중의 단말 110의 내부 구조는 도 2에 도시하였다. 이 단말 110은 시스템 모선을 통하여 연결된 프로세서, 도형 처리 유닛, 기억 매체, 메모리, 네트워크 인터페이스, 디스플레이 화면 및 입력 설비를 포함한다. 여기서, 단말 110의 기억 매체는 조작 시스템을 기억하고, 단말의 이미지 변형 처리에 적용되는 방법을 실현하는데 쓰이는 제1 이미지 변형 처리 장치를 더 포함한다. 이 프로세서는 계산 및 조종 능력을 제공하고 단말 110의 전체 운영을 지원하는데 이용된다. 단말 110의 도형 처리 유닛은 디스플레이 인터페이스의 제도 능력을 제공하는데 이용되고, 단말의 메모리는 기억 매체 중의 제1 이미지 변형 처리 장치의 운영환경을 제공하며 여기에는 컴퓨터 리더블 지령이 기억되어 있고 이 컴퓨터 리더블 지령이 상기 프로세서에 의해 실행될 때 상기 프로세서가 이미지 변형 처리 방법을 실행하게 할 수 있다. 네트워크 인터페이스는 서버 120과 네트워크 통신을 진행하는데 이용되며, 예를 들어 변형 템플릿 획득 요청을 서버 120에 송신하고, 서버 120이 되돌리는 데이터를 수신하는 것 등이다. 디스플레이 화면은 응용 인터페이스 등을 현시하는데, 입력 설비는 사용자가 입력한 명령이나 데이터 등을 수신하는데 이용된다. 터치 화면을 가진 단말 110에 대하여 디스플레이 화면과 입력 설비는 터치 화면일 수 있다.
일 실시예에서, 도 1 중의 서버 120의 내부 구조는 도 3에 도시하였다. 이 서버 120에는 시스템 버스를 거쳐 연결된 프로세서, 기억 매체, 메모리, 네트워크 인터페이스를 포함한다. 여기서, 서버 120의 기억 매체는 조작 시스템, 데이터 베이스, 제2 이미지 변형 처리 장치를 기억하고, 제2 이미지 변형 처리 장치는 서버 120의 이미지 변형 처리에 적용되는 방법을 실현하는데 쓰인다. 서버 120의 프로세서는 계산 및 조종 능력을 제공하고 서버 120의 전체 운영을 지원하는데 이용된다. 서버 120의 메모리는 기억 매체 중의 제2 이미지 변형 처리 장치의 운영 환경을 제공하며 여기에는 컴퓨터 리더블 지령이 기억되어 있고 이 컴퓨터 리더블 지령이 프로세서에 의해 실행될 때 프로세서가 이미지 변형 처리 방법을 실행하게 할 수 있다. 서버 120의 네트워크 인터페이스는 외부의 단말 110과 네트워크를 통하여 연결되어 통신하는데 이용되며, 예를 들어 단말 110이 송신하는 이미지 데이터를 수신하고 단말 110에 데이터를 되돌리는 것 등이다.
도 4에 도시한 바와 같이, 일 실시예에서, 이하 단계를 포함하는 이미지 변형 처리 방법을 제공하고, 상기 응용 환경에 응용되는 단말이나 서버를 예를 들어 설명하였다.
처리 대기 이미지를 획득하고 처리 대기 이미지 속에 있는 사람 얼굴 이미지를 식별하고 사람 얼굴 이미지의 오관 기준점을 포지셔닝하는 S210 단계.
구체적으로 처리 대기 이미지는 카메라로 실시간적으로 찍은 도형일 수 있고 단말에 사전에 보관된 도형일 수 있고 또 서버로부터 실시간적으로 얻은 도형일 수 있다.
수요에 따라 자체로 정의할 수 있는 사람 얼굴 검측 알고리듬으로 처리 대기 이미지 속에 있는 사람 얼굴 이미지를 식별할 수 있는데 사람 얼굴 검측 알고리듬은 OpenCV 사람 얼굴 검측 알고리듬, IOS, Android 시스템을 가진 사람 얼굴 검측 알고리듬, Face++ 얼굴 검측 알고리듬 등일 수 있다. 입력된 임의의 처리 대기 이미지에 대하여 사람 얼굴 검측 알고리듬은 도형에 사람 얼굴이 포함되어 있는가 하는 정보 및 구체적인 사람 얼굴 범위를 되돌릴 수 있다. 예를 들어 직4각형으로 사람의 얼굴 위치를 표식하고 여러 사람의 얼굴이 있으면 여러개의 직4각형 틀을 되돌려 보낸다. 오관 기준점은 사람 얼굴의 오관, 표정 동작을 확정하는 관건점을 가리킨다. 도 5는 사람 얼굴 이미지의 오관 기준점의 개략도이다. 오관 기준점은 사람 얼굴 윤곽 기준점 즉 도에서 1번부터 9번 점까지, 좌우 눈 기준점 즉 도에서 10-14번 점, 15-19번 점, 코 기준점 즉 도에서 20-26번 점, 입술 기준점 즉 도의 27-30번 점, 좌우 눈섭 기준점 즉 도의 31-32번 점, 33-34번 점 등을 포함하는데 서로 다른 부위에 서로 다른 유형의 기준점이 대응되어 있고 오관 기준점에는 최소한 한가지 유형의 기준점이 포함된다.
구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 오관 기준점에서 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하는 S220 단계.
구체적으로 변형 템플릿은 뾰족한 얼굴, 큰 눈, 작은 코 등 목표 특징을 가진 목표 형태 이미지이다. 오프라인 상태에서 전처리하거나 임의의 목표 이미지를 온라인 상태에서 전처리하여 변형 템플릿을 얻을 수 있는데 전처리 과정은 오관 기준점 추출, 목표 이미지 오관 기준점의 구체적인 위치 얻기, 좌표로 기록하기, 아이콘 표식을 진행하는 것을 포함한다. 검측 알고리듬으로 변형 템플릿의 오관 기준점을 직접 얻지 못하면 오프라인 수동표식 방식으로 오관 기준점을 표식할 수 있다. 현재 처리 대기 이미지와 변형 템플릿의 오관 기준점 위치 차이를 판단하는데 이용되는 구성 참조점과 현재 처리 대기 이미지와 변형 템플릿의 오관 기준점의 변형 경향을 계산하는데 이용되고 다른 처리 대기 이미지 점 변형에 영향을 주는 조종점으로 되는 구성 기준점은 모두 오관 기준점이다. 서로 다른 오관 변형에 있어서 서로 다른 구성 참조점을 배치할 수 있다. 예를 들어 얼굴형 참조점은 코끝, 좌우 눈에 대응하는 얼굴부위 윤곽점, 턱 팁 점이다. 왼눈 변형 참조점은 왼눈 중심점, 코끝, 왼눈에 대응하는 얼굴부위 윤곽점이다. 오른눈 변형 참조점은 오른눈 중심점, 코끝, 오른눈에 대응하는 얼굴부위 윤곽점이다. 코 변형 참조점은 왼눈 중심점, 코끝, 오른눈 중심점이다. 입 변형 참조점은 입의 서로 다른 위치에 따라 확정된 참조점을 좌우 절반으로 나누면 각각 입 중심점, 코끝, 왼눈 중심점 또는 입 중심점, 코끝, 오른눈 중심점이다.
처리 대기 이미지에서 검측해낸 오관 기준점은 변형 템플릿 중의 구성 참조점과 구성 기준점에 대응하도록 조종하고 서로 다른 알고리듬으로 처리 대기 이미지와 변형 템플릿에 대해 오관 기준점을 검측하므로서 검측해낸 오관 기준점의 정합성을 담보할 수 있다. 만일 처리 대기 이미지에서 검측한 오관 기준점과 변형 템플릿 중의 구성 참조점과 구성 기준점이 개수가 차이나는 것처럼 대응하지 않고 2차 검측이나 정합산법에서 정합되지 않은 기준점을 없앨 수 있다.
만일 변형 템플릿 중의 구성 참조점이 코끝, 좌우 눈에 대응하는 외부 윤곽점, 턱 팁, 이 네개 점이라면 처리 대기 이미지의 오관 기준점으로부터 대응하는 코끝, 좌우 눈에 대응하는 외부 윤곽점, 턱 팁 점을 현재 참조점으로 할 수 있다. 이미지 변형 과정에 현재 참조점의 위치가 변하지 않고 포지셔닝 참조 작용을 한다. 도 6에 도시한 바와 같이, 변형 템플릿 개략도인데, 여기서 311, 312, 313, 314는 구성 참조점이고 315-320은 구성 기준점이다. 도 7은 처리 대기 이미지 개략도인데 여기서 321, 322, 323, 324는 현재 참조점이고 325-330은 정합 대기 기준점이다.현재 참조점의 개수와 구성 참조점의 개수는 같고 서로 대응되며 정합 대기 기준점의 개수와 구성 기준점의 개수는 같고 서로 대응된다.
구성 참조점과 구성 기준점의 위치관계, 현재 참조점과 정합 대기 기준점의 위치관계에 따라 오관 유사성 매핑을 진행하여 처리 대기 이미지에서 구성 기준점에 대응하는 목표 기준점을 얻고 목표 기준점과 대응하는 정합 대기 기준점은 매핑 점 쌍을 형성하는 S230 단계.
구체적으로 매개 구성 참조점은 조합을 진행하여 대응하는 도형을 형성할 수 있다. 예를 들어 인접한 임의의 3개의 점은 구성 삼각도형을 형성하며 4개의 점은 구성 사변형 등을 형성하고 현재 참조점도 구성 참조점과 같은 규칙의 조합으로 대응하는 현재 삼각도형, 현재 사변형 등을 형성할 수 있다. 구성 도형과 현재 도형 사이의 면적 비례, 구성 도형과 현재 도형에 대응하는 도형 각도 비례 및 구성 기준점과 구성 참조점의 거리 비례, 구성 기준점과 구성 참조점 사이에 형성된 선분의 위치관계를 거쳐 구성 기준점을 처리 대기 이미지의 대응하는 위치에 매핑하여 목표 기준점을 얻을 수 있다. 매핑 과정에 먼저 변형 인자를 계산해내고 다시 변형 인자에 따라 목표 기준점의 위치를 계산해낼 수 있다. 유사성 매핑을 진행하는 구체적인 알고리듬은 필요에 따라 자체로 정의할 수 있다. 일 실시예에서, 인접한 현재 참조점을 연결하여 참고 선분을 얻고 인접한 현재 참조점을 연결하여 현재 선분을 얻고 구성 기준점에 인접한 참고 선분을 획득하고 구성 기준점과 참고 선분의 위치관계에 의해 목표 기준점과 현재 선분의 위치관계를 확정하므로서 위치관계에 따라 목표 기준점의 위치를 확정한다. 구성 기준점이 바로 참고 선분에 놓이면 목표 기준점의 위치도 대응하는 현재 선분에 놓인다. 목표 기준점은 정합 대기 기준점에 대응하며 목표 기준점과 정합 대기 기준점사이의 이동편위는 변형 템플릿과 처리 대기 이미지의 변형 크기를 대표한다.
매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 위치관계와 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 의해 처리 대기 이미지 점의 매핑 관계를 확정하고 매핑 관계에 의해 처리 대기 이미지를 대응하는 목표 위치에 매핑하는 S240 단계.
구체적으로 매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 이동편위 계산에서는 목표 기준점과 정합 대기 기준점의 좌표에 따라 상응한 이동편위를 계산 하여 얻을 수 있다. 목표 기준점의 좌표가 (x, y)이고 정합 대기 기준점의 좌표가 (a, b)라면 이동편위는 (x-a, y-b)이다. 벡터 형식으로 이동편위를 표시할 수 있다. 매핑 점쌍의 분포 위치에 따라 처리 대기 이미지를 구역으로 나누고 서로 다른 구역안에는 상응한 매핑 점쌍이 포함된다. 만일 제1 구역에 제1 매핑 점쌍을 포함하면 제1 구역안의 처리 대기 이미지 점은 제1 매핑 점쌍의 영향만을 받고 기타 매핑 점쌍은 제1 구역내의 처리 대기 이미지 점의 변형에 영향을 주지 않는다. 또한 구역을 가르지 않고 매핑 점쌍과 처리 대기 이미지 점과의 거리에 따라 처리 대기 이미지 점에 대한 매 매핑 점쌍의 변형 영향 가중치를 계산할 수도 있다. 영향 가중치와 이동편위를 결합하여 처리 대기 이미지 점의 매핑 관계를 얻고 매핑 관계에 따라 처리 대기 이미지 점의 변형 후의 위치를 직접 확정하므로서 처리 대기 이미지 점을 대응하는 목표 위치에 매핑할 수 있다.
본 실시예에서, 처리 대기 이미지를 획득하고 처리 대기 이미지 속에 있는 사람 얼굴 이미지를 식별하고 사람 얼굴 이미지의 오관 기준점 위치를 지정하고 구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하며 오관 기준점에서 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하고 구성 참조점과 구성 기준점의 위치관계 및 현재 참조점과 정합 대기 기준점의 위치관계에 따라 오관 유사성 매핑을 진행하여 구성 기준점의 처리 대기 이미지에 대응하는 목표 기준점을 얻고, 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하고 매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 처리 대기 이미지 점의 매핑 관계를 확정하고 매핑 관계에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑한다. 변형 템플릿 자체에 구성 참조점과 구성 기준점이 들어 있고 상응한 처리 대기 이미지 중의 현재 참조점과 정합 대기 기준점으로 먼저 오관 유사성 매핑 목표 기준점을 얻고 다시 처리 대기 이미지 점의 매핑 관계를 확정하므로서 처리 대기 이미지를 대응하는 목표 위치에 매핑하여 변형 템플릿에 따라 변형 크기를 자체적응적으로 확정하여 변형 후의 이미지와 목표 이미지의 정합도를 제고하였다.
일 실시예에서, 변형 템플릿은 여러가지 오관 유형에 대응하는 구성 기준점과 구성 참조점을 포함한다.
구체적으로 변형하는 오관 유형이 다르면 상응한 구성 기준점과 구성 참조점의 위치와 개수도 다르다. 얼굴형 변형인 경우 구성 참조점은 코끝, 좌우 눈에 대응하는 외부 윤곽점, 턱 팁 점이고 구성 기준점은 얼굴부위 외부 윤곽점이다. 좌측눈변형인 경우 구성 참조점은 오른눈 중심점, 코끝, 우측 눈에 대응하는 얼굴부위 윤곽점이고 구성 기준점은 눈알 외부 윤곽상의 점이다. 구성 기준점은 흔히 변형오관외부윤곽상의 점이고 구성 참조점은 수요에 따라 변형오관주변에서 위치지정에 편리한 점을 선택할 수 있다. 여러가지 오관 유형에 대응하는 구성 기준점과 구성 참조점을 포함하면 여러가지 유형의 오관 변형을 일차적으로 완성할 수 있고 매 오관 변형 사이의 변형 크기가 서로 영향을 주어 전반적으로 오관 변형을 진행할 수 있다.
일 실시예에서, 도 8에 도시한 바와 같이 단계 S230은 이하 단계를 포함한다.
구성 참조점으로 형성된 도형의 제1 중심점을 획득하고 구성 기준점과 제1 중심점을 연결하여 제1 선분을 형성하고 제1 중심점과 서로 다른 구성 참조점을 연결하여 제1 참조점 선분 모임을 형성하는 S231 단계.
구체적으로 획득하는 구성 참조점의 개수는 수요에 따라 자체로 정의하는데 최소한 3개이다. 예를 들어 4개의 인접한 임의의 구성 참조점으로 형성된 사변형의 제1 중심점 400을 획득한다. 구성 기준점은 흔히 여러개이고 매 구성 기준점에 대응하는 목표 기준점의 위치를 순서대로 확정한다. 도 9에 도시한 바와 같이 구성 기준점 410과 제1 중심점 400을 연결하여 제1 선분 411을 형성하고 제1 중심점 400과 서로 다른 구성 참조점 420, 430, 440, 450을 연결하여 제1 참조 선분 412, 413, 414, 415를 형성한다.
제1 선분과 제1 참조 선분 모임 중의 협각 관계, 제1 선분의 길이, 제1 참조 선분 모임 중의 선분길이에 따라 변형 인자를 확정하는 S232 단계.
구체적으로 제1 선분과 제1 참조 선분 412, 413, 414, 415는 각각 협각 ε1, ε2, ε3, ε4를 형성한다. 제1 선분과 제1 참조 선분 모임 중의 선분거리에 따라 변형 가중치를 확정한다. 예를 들어 제1 참조 선분 412, 제1 참조 선분 415의 변형 가중치는 크게 하고 제1 참조 선분 413, 414의 변형 가중치는 작게 한다. 제1 참조 선분 중의 일부 목표 선분을 선택하여 목표 협각을 계산할 수도 있다. 변형 인자를 계산할 때 목표 협각만을 고려할 수 있다. 예를 들어 목표 선분으로서 제1 참조 선분 412, 제1 참조 선분 모임 415를 선정하고 계산할 때 목표 협각 ε1, 목표 협각 ε2만을 고려한다. 변형 인자를 확정하는 알고리듬은 수요에 따라 자체로 정의할 수 있다. 예를 들어 선형함수와 비선형함수를 이용할 수 있다. 실시예에서 선형함수를 이용하고 식 Dsrc=d 1 ε 1 kp 1 + d 2 ε 2 kp 2 +…+ d n ε n kp n 에 따라 변형 인자 k를 확정한다. 그중 Dsrc는 제1 선분 411의 길이이고 ε1부터 ε n 은 각각 제1 선분과 제1 참조 선분 모임 중의 매 선분의 협각이다. 그중 N은 제1 참조 선분 모임 중의 선분의 수이고 d 1 부터 dN은 제1 참조 선분 모임 중의 매 선분의 길이이고 p1부터 pn은 변형 가중치로서 구체적인 크기는 자체로 정의할 수 있다.
현재 참조점에 의해 형성된 도형의 제2 중심점을 획득하고 목표 기준점과 제2 중심점을 연결하여 제2 선분을 형성하고 제2 중심점과 서로 다른 현재 참조점을 연결하여 제2 참조 선분 모임을 형성하고, 협각 관계에 따라 제2 선분과 제2 참조 선분 모임 중의 매 선분의 협각을 확정하는 S233 단계.
구체적으로 획득하는 현재 참조점의 개수와 위치는 구성 참조점의 개수와 위치에 대응된다. 예를 들어 임의로 인접한 4개의 현재 참조점으로 형성된 사변형의 제2 중심점 500을 획득한다. 도 10에 도시한 바와 같이 먼저 한개 목표 기준점의 위치를 가정하고 목표 기준점 510와 제2 중심점 500을 연결하여 제2 선분 511을 형성하고 제2 중심점 500과 서로 다른 구성 참조점 520, 530, 540, 550을 연결하여 제2 참조 선분 모임 512, 513, 514, 515를 형성한다. 제2 선분 511과 제2 참조 선분 512, 513, 514, 515는 각각 제2 협각
Figure pct00001
,
Figure pct00002
,
Figure pct00003
,
Figure pct00004
을 형성한다. 예를 들어 제1 선분과 제1 참조 선분으로 각각 형성된 제1 협각은 ε1, ε2, ε3, ε4이라면 자체로 알고리듬을 정의하고 제1 선분과 제1 참조 선분으로 형성된 협각 관계에 따라 제2 선분 511과 제2 참조 선분 모임 중의 선분 협각을 확정할 수 있다. 예를 들어 임의의 2개의 제1 협각을 선택하여 2개의 제1 협각의 비례를 계산하여 제2 협각에 대응하는 협각의 비례와 제1 협각의 비례가 같게 하여 제2 선분의 방향을 얻고
Figure pct00005
,
Figure pct00006
,
Figure pct00007
,
Figure pct00008
의 구체적인 각도를 확정한다.
변형 인자, 협각과 제2 참조 선분 모임 중의 선분길이에 따라 목표 기준점의 위치를 확정하는 S234 단계.
구체적으로 위치를 확정하는 알고리듬을 자체로 정의할 수 있다. 예를 들어 선형성함수와 비선형성함수를 이용할 수 있다. 실시예에서 식
Figure pct00009
에 따라 목표 기준점의 위치를 계산한다. 그중 Ddst는 제2 선분 511의 길이,
Figure pct00010
부터
Figure pct00011
은 제2 선분과 제2 참조 선분 모임 중의 선분의 협각이다. 그중 n은 제2 참조 선분 모임 중의 선분의 수이고 체1 참조 선분 모임 중의 선분의 수와 일치한다. p1부터 pn은 변형 가중치인데 구체적인 크기는 변형 인자를 계산할 때 이용한 것과 일치한다. 제2 선분 511의 길이를 확정한 다음 제2 중심점 500의 위치에 의해 선분의 한 끝점을 확정하고 선분방향을 확정하므로서 다른 끝점의 목표 기준점 위치를 확정할 수 있다.
본 실시예에서, 구성 참조점과 현재 참조점으로 형성된 도형중심 및 각종 선분길이, 각도관계에 따라 목표 기준점 위치를 확정하면 목표 기준점의 위치계산의 정확도를 제고하여 변형 후의 처리 대기 이미지와 목표 이미지를 더 가깝게 접근시키고 특정 정합도를 더 높일 수 있게 한다.
일 실시예에서, 구성 참조점으로 형성된 도형은 인접한 3개의 구성 참조점에 따라 형성된 구성 삼각도형이고 현재 참조점으로 형성된 도형은 구성 삼각도형과 같은 규칙에 따라 형성된 현재 삼각도형이다. 도 11에 도시한 바와 같이 S230 단계는 이하 단계를 포함한다.
구성 삼각도형의 구성 중심점을 획득하고 구성 기준점과 구성 중심점을 연결하여 제1 선분을 형성하고, 구성 기준점과 인접한 2개의 목표 구성 참조점을 획득하고 구성 중심점과 목표 구성 참조점을 연결하여 제1 구성 참조 선분과 제2 구성 참조 선분을 형성하는 S236 단계.
구체적으로 구성 참조점이 4개일 때 임의의 인접한 3개의 구성 참조점은 3개의 구성 삼각도형을 형성한다. 도 12에 도시한 바와 같이 구성 참조점 321, 322, 323, 324 중 임의로 인접한 3개는 구성 삼각도형 S1, S2, S3을 형성한다. 구성 기준점의 위치에 의해 어느 구성 삼각도형으로 목표 기준점을 계산하겠는가를 확정한다. 예를 들어 구성 기준점거리와 가장 가까운 구성 삼각도형을 이용할 수 있다. 도 13에 도시한 바와 같이 구성 기준점 610과 구성 중심점 600을 연결하여 제1 선분 611을 형성하고 구성 중심점 600과 구성 참조점 620, 630을 연결하여 제1 구성 참조 선분 612와 제2 구성 참조 선분 613을 형성한다.
제1 선분과 제1 구성 참조 선분의 협각 α, 제1 선분과 제2 구성 참조 선분의 협각 β, 제1 선분의 길이 Dsrc, 제1 구성 참조 선분의 길이 d 1 , 제2 구성 참조 선분의 길이 d 2 을 획득하고 식 Dsrc=d 1 αk+d 2 βk에 따라 변형 인자 k를 확정하는 S237 단계.
현재 삼각형의 현재 중심점을 획득하고 목표 기준점과 현재 중심점을 연결하여 제2 선분을 형성하고, 목표 구성 참조점에 대응하는 2개의 목표 현재 참조점을 획득하고 현재 중심점과 목표 현재 참조점을 연결하여 제1 현재 참조 선분과 제2 현재 참조 선분을 형성하고 식
Figure pct00012
에 따라 제2 선분과 제1 현재 참조 선분의 협각 α′와 제2 선분과 제2 현재 참조 선분의 협각 β′을 확정하는 S238 단계.
구체적으로 도 14에 도시한 바와 같이 먼저 한개의 목표 기준점 위치를 가정하고 목표 기준점 710과 현재 중심점 700을 연결하여 제2 선분 711을 형성하고 현재 중심점 700과 목표 현재 참조점 720, 730을 연결하여 제1 현재 참조 선분 712와 제2 현재 참조 선분 713을 형성하며, 제2 선분 711은 제1 현재 참조 선분 712와 제2 현재 참조 선분 713과 각각 협각 α′와 β′를 형성하고 식
Figure pct00013
에 따라 α′와 β′의 구체적인 각도를 확정한다. 예를 들어 α:β=1:2이고 제1 현재 참조 선분 712와 제2 현재 참조 선분 713으로 형성된 협각이 60˚이면 α′와 β′는 각각 20˚와 40˚이므로 제2 선분의 방향을 얻는다.
제1 현재 참조 선분의 길이 d 1′, 제2 현재 참조 선분의 길이 d 2′를 획득하고 식 Ddst=d 1 α′k+d 2 β′k에 따라 제2 선분의 길이 Ddst를 계산하여 목표 기준점의 위치를 확정하는 S239 단계.
구체적으로 제2 선분 711의 길이를 확정한 다음 현재 중심점 700의 위치에 의해 선분의 그중 한개 끝점을 확정하고 선분의 방향을 확정하므로 다른 끝점의 목표 기준점 위치를 확정할 수 있다.
본 실시예에서, 삼각형의 중심을 이용하는데 삼각형은 끝점이 적고 안정한 도형이므로 목표 기준점의 위치를 고속으로 편리하게 계산할 수 있다. 계산할 때 구성 기준점과 인접한 2개 목표 구성 참조점으로 계산을 진행하고 위치에 접근할 때 영향이 비교적 큰 원칙을 충분히 고려하였으므로 목표 기준점의 위치계산의 정확성을 담보하였다.
일 실시예에서, 도 15에 도시한 바와 같이 단계 S240은 이하 단계를 포함한다.
처리 대기 이미지 점과 정합 대기 기준점의 위치에 의해 매 매핑 점쌍에 대응하는 영향 가중치 인자를 계산하는 S241 단계.
구체적으로 처리 대기 이미지 점에 더 가까울수록 매핑 점쌍이 처리 대기 이미지 점에 주는 변형 영향이 더 크다는 반비례 관계에 의해 처리 대기 이미지 점과 매 정합 대기 기준점과의 위치거리를 계산할 수 있다. 반비례 관계에 의해 큰 거리에 비교적 작은 영향 가중치 인자를 분배하고, 작은 거리에 비교적 큰 영향 가중치 인자를 분배하고 구체적인 분배알고리듬은 수요에 따라 자체로 정의할 수 있다. 예를 들어 매핑 점쌍의 총 수에 따라 서로 다른 등급의 영향 가중치 인자를 분배한다면, 예를 들어 4개의 매핑 점쌍이면 4개 등급의 영향 가중치 인자를 분배하고 매 등급의 영향 가중치 인자의 합은 1이고 각각 0.1, 0.2, 0.3, 0.4인데, 다시 처리 대기 이미지 점과 4개의 매핑 점쌍 중의 정합 대기 기준점의 거리를 계산해내고 거리크기 순서에 따라 정합되는 영향 가중치 인자를 찾고 거리가 최대인 큰 영향인자의 가중치는 가장 작으므로 매 매핑 점쌍에 대응하는 영향 가중치 인자를 얻을 수 있다.
매 매핑 점쌍에 대응하는 이동편위를 계산하고 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위에 따라, 처리 대기 이미지 점의 이동을 계산하고 이동에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 S242 단계.
구체적으로 매핑 점은 (S 1 , D1), (S 2 , D 2 )…( S n , D n )으로 표시할 수 있는데 그중 n은 매핑 점쌍의 총 수이고 그중 매 점은 상응한 좌표, 예를 들어 S 1 ( S 1x , S 1y )를 가지고 매핑 점쌍에 대응하는 이동편위는 D i - S i이다. 그중 D i 는 i번째 의 매핑 점쌍 중의 목표 기준점의 좌표이고 S i는 i번째 매핑 점쌍 중의 정합 대기 기준점 좌표이다. 좌표는 2차원이므로 이동편위는 절대 이동거리와 방향을 포함한다. 처리 대기 이미지 점의 이동은 이미지의 전체 또는 일부 매핑 점쌍에 대응하는 이동편위와 대응하는 영향 가중치 인자에 따라 얻는다. 처리 대기 이미지를 사전에 분할처리하면 매 구역안의 처리 대기 이미지 점의 이동은 동일한 구역안의 매핑 점쌍의 영향만을 받는다. 처리 대기 이미지를 대응하는 목표 위치에 매핑하여 계산할 때 먼저 같은 구역내의 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위를 획득하고 다시 처리 대기 이미지 점이 매핑되는 목표 위치를 계산한다. 도 16에 도시한 바와 같이, 점 매핑 계산 개략도이며 6개의 매핑 점쌍 (S 1 , D 1 ), (S 2 , D 2 ), … (S 6 , D 6 )을 포함한다. 매핑 점쌍 중 두점 사이의 화살표는 매 매핑 점쌍에 대응하는 이동편위를 대표하고 화살표의 방향은 변형 방향을 표시하고 화살표의 길이는 변형 크기를 표시한다. 그중 처리 대기 이미지 점 A와 정합 대기 기준점 S1 사이의 점선은 A와 S1 사이의 유클리드의(Euclidean) 거리를 표시한다. 도 17에 도시한 바와 같이, 점 매핑 결과 개략도인데 그중 처리 대기 이미지 점 A는 A′에 매핑되고 처리 대기 이미지 점 B는 B′에 매핑된다. A점은 매핑 점쌍으로부터 가깝기때문에 변형도 비교적 크다. B점은 매핑 점쌍으로부터 비교적 멀기때문에 변형도 비교적 적다. (S 1 , D 1 ), (S 2 , D 2 ), (S 3 , D 3 )으로부터의 A점 거리는 (S 4 , D 4 ), (S 5 , D 5 ),(S 6 , D 6 )의 거리보다 가깝기때문에 (S 1 , D 1 ), (S 2 , D 2 ), (S 3 , D 3 )이 A에 주는 영향은 (S 4 , D 4 ), (S 5 , D 5 ), (S 6 , D 6 )의 영향보다 크다. 따라서 A점의 변형방향은 (S 1 , D 1 ), (S 2 , D 2 ), (S 3 , D 3 )의 이동방향과 비슷하다는 것을 알수 있다.
본 실시예에서, 처리 대기 이미지 점에 대한 서로 다른 매핑 점쌍의 변형 영향 가중치가 다르면 전반 변형 상태에서 국부 변형 차이를 고려하여 변형 후의 이미지의 정확도를 더 제고할 수 있다.
일 실시예에서, S241 단계는
Figure pct00014
에 따라 i번째 매핑 점쌍에 대응하는 영향 가중치 인자 w i 를 계산하여 획득하는 것을 포함하는데, 그중 A는 처리 대기 이미지 점의 위치 좌표이고 Si는 i번째 매핑 점쌍 중의 정합 대기 기준점 좌표이다. ┃A-Si┃는 A에서 Si까지의 거리이고 j는 색인이고 N은 매핑 점쌍의 총 수이다.
구체적으로 ┃A-Si┃는 A에서 Si까지의 유클리드 거리와 같은 거리이다. 공식에 따라 A에서 Si까지의 거리가 클수록 영향 가중치 인자 wi는 더 작아지고 공식으로 계산해낸 N개의 영향 가중치 인자의 총합은 1이다.
S242 단계는
Figure pct00015
에 따라 목표 위치 A′를 계산하는 것을 포함한다. 그중 D i 는 i번째 매핑 점쌍 중의 목표 기준점 좌표이다.
구체적으로 N은 매핑 점쌍의 총 수이므로 처리 대기 이미지 점 A의 변형 후의 위치와 처리 대기 이미지의 모든 매핑 점쌍은 서로 상관되고 국부가중치의 차이와 이미지의 총체성도 고려하였다.
본 실시예에서, 영향 가중치 인자는 매 매핑 점쌍과 처리 대기 이미지 점의 거리에 자체적응하여 계산이 더 정확하고 간단하고 편리할 뿐아니라 처리 대기 이미지 중의 모든 매핑 점쌍이 현재 처리 대기 이미지 점의 변형에 영향을 줄 뿐만아니라 현재 처리 대기 이미지 점과의 거리가 가까울수록 영향도 더욱 커진다.
일 실시예에서, 도 18에 도시한 바와 같이 S240 단계에 있어서 매핑 관계에 따라 처리 대기 이미지 점을 대응하는 목표 위치에로 매핑하는 단계는 이하 단계를 포함한다.
처리 대기 이미지를 블록으로 나누어 초기 블록을 얻고 초기 블록에 대응하는 정점을 제1 처리 대기 이미지 점으로 하고 매 초기 블록안의 기타 점을 제2 처리 대기 이미지 점으로 하는 S243 단계.
구체적으로 블록으로 나누는 규칙은 수요에 따라 삼각형, 사변형 등과 같이 자체로 정의할 수 있다. 블록의 량은 계산의 복잡도와 정밀도를 결정한다. 블록이 많을 수록 매 블록은 작아지며 복잡도가 높을 수록 정밀도는 더욱 높아진다. 블록으로 나눈 다음 매 초기 블록의 정점이 제1 처리 대기 이미지 점이다. 제1 처리 대기 이미지 점은 변형과정에 목표 변형위치 점을 정확히 계산해야 하는 점이다. 매 초기 블록안의 기타 점은 제2 처리 대기 이미지 점이고 제2 처리 대기 이미지 점의 변형 후의 위치는 제1 처리 대기 이미지 점의 변형 후의 위치에 따라 결정되어 정확히 계산할 필요가 없으므로 점의 계산량을 크게 줄여서 계산속도를 제고하였다. 도 19에 도시한 바와 같이는 실시예 중의 블록가르기도이다. 처리 대기 이미지를 블록으로 나누어 많은 삼각형 초기 블록을 얻었다.
매핑 관계에 따라 제1 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하여 초기 블록에 대응하는 매핑 블록을 형성하는 제1 매핑 이미지 점을 얻는 S244 단계.
구체적으로 제1 처리 대기 이미지 점을 매핑 관계에 따라 대응하는 목표 위치에 매핑하여 제1 매핑 이미지 점을 얻고 매 삼각형의 초기의 3개의 정점의 편위량에 의해 전체 블록의 편위량을 계산해낼 수 있다. 도 20에 도시한 바와 같이 처리 대기 이미지 중의 삼각형 초기 블록 810을 이미지중의 매핑 블록 820의 위치에 편위시킨다.
제2 처리 대기 이미지 점을 초기 블록을 처리단위로 하여 초기 블록에 대응하는 매핑 블록안의 대응하는 위치에 매핑하는 S245 단계.
구체적으로 매 삼각형 초기 블록안의 제2 처리 대기 이미지 점을 대응하는 매핑 블록안의 대응하는 위치에 직접 매핑할 수 있다. 매 삼각형 원시 블록을 변형 후의 이미지 중의 위치에서 얻을 수 있으며, 도 21에 도시한 바와 같이 매 삼각형 초기 블록의 정점은 공유하므로 변형 후의 이미지도 연속인 픽셀이다. 전체 변형 과정은 OpenGL ES(OpenGL for Embedded Systems)로 실현할 수 있고 출력 이미지의 정점착색기(Vertex Shader)의 좌표를 조절하여 처리 대기 이미지의 변형 후의 효과를 실현한다. GPU의 강한 계산능력으로 해서 전체 계산과정은 매우 짧은 시간안에 완성할 수 있다. 분해율이 640×480인 이미지인 경우 저급 이동 단말 iPod Touch 5 설비 상에서 20ms 즉 50FPS만 걸리므로 실시간적인 변형 성능에 도달할 수 있다.
구체적인 실시예에서 이미지 변형 처리 방법 기술의 블록도는 도 22에 도시한 바와 같이 온라인 처리 부분 920과 오프라인 처리 부분 910을 포함한다. 그중 온라인 처리 부분 910은 변형 템플릿을 생성하고 변형 템플릿 중의 구성 참조점과 구성 기준점을 식별검측하여 얻는다. 오프라인 처리 부분 910은 목표 변형 이미지를 획득하도록 설치된 목표 이미지 획득 유닛 911과, 목표 변형 이미지에 대한 검측을 하여 구성 참조점과 구성 기준점을 얻도록 설치된 사람 얼굴 검측 및 오관 기준점 검측 유닛 912, 그리고 사람 얼굴을 검측하지 못하는 경우 인공표식방식으로 사람 얼굴이 있는 구역을 확정하고 구성 참조점과 구성 기준점을 표식하여 최종적으로 구성 참조점과 구성 기준점을 가진 변형 템플릿을 얻도록 설치된 수동 표식 유닛 913을 포함한다. 온라인 처리 부분 920은 처리 대기 입력 이미지를 획득하도록 설치된 처리 대기 이미지 획득 유닛 921과 처리 대기 이미지 속에 있는 사람 얼굴을 검측하고 오관 포지셔닝을 하여 변형 템플릿에 대응하는 현재 참조점과 정합 대기 기준점을 포함하는 오관 기준점을 얻도록 설치된 기준점 포지셔닝 모듈 922, 그리고 변형 템플릿과 처리 대기 이미지 중의 구성 참조점, 구성 기준점의 위치관계와 현재 참조점과 정합 대기 기준점의 위치관계에 의해 블록을 단위로 블록 변형량을 계산하도록 설치된 블록 변형량 계산 유닛 923과 매 블록의 변형에 따라 총적인 변형 후의 이미지를 생성하도록 설치된 목표 변형 이미지 생성 유닛 924를 포함한다.
일 실시예에서, 도 23에 도시한 바와 같이,
처리 대기 이미지를 획득하고 처리 대기 이미지 속에 있는 사람 얼굴 이미지를 인식하고 사람 얼굴 이미지의 오관 기준점을 포지셔닝하도록 설치된 기준점 포지셔닝 모듈 1010과,
구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 오관 기준점에서 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하도록 설치된 기준점 구분 모듈 1020,
구성 참조점과 구성 기준점의 위치관계, 현재 참조점과 정합 대기 기준점의 위치관계에 의해 오관 유사성 매핑을 진행하여 처리 대기 이미지에서 구성 기준점에 대응하는 목표 기준점을 얻고 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하도록 설치된 유사성 매핑 모듈 1030,
매핑 점쌍 중의 목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 처리 대기 이미지 점의 매핑 관계를 확정하고 매핑 관계에 의해 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 처리 대기 이미지 점 매핑 모듈 1040을 포함하는 이미지 변형 처리 장치를 제공하였다.
일 실시예에서, 변형 템플릿은 여러가지 오관 유형에 대응하는 구성 기준점과 구성 참조점을 포함한다.
일 실시예에서, 도 24에 도시한 바와 같이 유사성 매핑 모듈 1030은,
구성 참조점으로 형성된 도형의 제1 중심점을 획득하고 구성 기준점과 제1 중심점을 연결하여 제1 선분을 형성하고 제1 중심점과 서로 다른 구성 참조점을 연결하여 제1 참조 선분 모임을 형성하고 제1 선분과 제1 참조 선분 모임 중의 선분의 협각 관계, 제1 선분의 길이, 제1 참조 선분 모임 중의 선분의 길이에 의해 변형 인자를 확정하도록 설치된 변형 인자 확정 유닛 1031과,
현재 참조점으로 형성된 도형의 제1 중심점을 획득하고 목표 기준점과 제2 중심점을 연결하여 제2 선분을 형성하고 제 2중심점과 서로 다른 현재 참조점을 연결하여 제2 참조 선분 모임을 형성하고 협각 관계에 의해 제2 선분과 제2 참조 선분 모임 중의 매 선분의 협각을 확정하도록 설치된 협각 확정 유닛 1032,
변형 인자, 협각과 제2 참조 선분 모임 중의 선분의 길이에 의해 목표 기준점의 위치를 확정하도록 설치된 목표 기준점 확정 유닛 1033을 포함한다.
일 실시예에서, 구성 참조점으로 형성된 도형이 인접한 3개의 구성 참조점에 의해 형성된 구성 삼각도형이고 현재 참조점으로 형성된 도형이 구성 삼각도형과 같은 규칙으로 형성된 현재 삼각도형이다. 변형 인자 확정 유닛 1031은 또한 구성 삼각도형의 구성 중심점을 획득하고 구성 기준점과 구성 중심점을 연결하여 제1 선분을 형성하고 구성 기준점과 인접한 2개의 목표 구성 참조점을 획득하고 구성 중심점과 목표 구성 참조점을 연결하여 제1 구성 참조 선분과 제2 구성 참조 선분을 형성하고 제1 선분과 제1 구성 참조 선분의 협각 α, 제1 선분과 제2 구성 참조 선분의 협각 β, 제1 선분의 길이 Dsrc, 제1 구성 참조 선분의 길이 d 1 , 제2 구성 참조 선분의 길이 d 2 를 획득하여 식 Dsrc = d 1 αk + d 2 βk에 따라 변형 인자 k를 확정하도록 설치된다.
협각 확정 유닛 1032는 현재 삼각도형의 현재 중심점을 획득하고 목표 기준점과 현재 중심점을 연결하여 제2 선분을 형성하고 목표 구성 참조점에 대응하는 2개의 목표 현재 참조점을 획득하고 현재 중심점과 목표 현재 참조점을 연결하여 제1 현재 참조 선분과 제2 현재 참조 선분을 형성하고 식
Figure pct00016
에 의해 상기 제2 선분과 제1 현재 참조 선분의 협각 α′와 제2 선분과 제2 현재 참조 선분의 협각 β′를 확정하도록 설치된다.
목표 기준점 확정 유닛 1033은 제1 현재 참조 선분의 길이 d 1 ′, 제2 현재 참조 선분의 길이 d 2 ′를 획득하고 식 Ddst = d 1 α′k+ d 2 β′k 에 따라 제2 선분의 길이 Ddst를 얻어서 상기 목표 기준점의 위치를 확정하도록 설치된다.
일 실시예에서, 도 25에 도시한 바와 같이 처리 대기 이미지 점 매핑 모듈 1040은,
처리 대기 이미지 점과 정합 대기 기준점의 위치에 의해 매 매핑 점쌍에 대응하는 영향 가중치 인자를 계산하도록 설치된 영향 가중치 인자 계산 유닛 1041과,
매 매핑 점쌍에 대응하는 이동편위를 계산하고 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위에 의해 처리 대기 이미지 점의 이동을 계산하고 이동에 의해 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하도록 설치된 목표 위치 확정 유닛 1042를 포함한다.
일 실시예에서, 영향 가중치 인자 계산 유닛 1041은 또한
Figure pct00017
에 따라 i번째 매핑 점쌍에 대응하는 영향 가중치 인자 wi를 계산하도록 설치되며, 그중 A는 처리 대기 이미지 점의 위치 좌표, Si는 i번째 매핑 점쌍 중의 정합 대기 기준점의 좌표를, ┃A-Si┃는 A에서 Si까지의 거리를 표시하고 j는 색인, N은 매핑 점쌍의 총 수이다.
목표 위치 확정 유닛 1042는 또한
Figure pct00018
에 의해 목표 위치 A′를 계산하도록 설치되며 그중 Di는 i번째 매핑 점쌍 중의 목표 기준점의 좌표를 표시한다.
일 실시예에서, 도 26에 도시한 바와 같이 목표 위치 확정 유닛 1042는,
처리 대기 이미지를 블록으로 나누어 초기 블록을 얻고 매 초기 블록에 대응하는 정점을 제1 처리 대기 이미지 점으로 하고 매 초기 블록안의 기타 점을 제2 처리 대기 이미지 점으로 하도록 설치된 분할 유닛 1042a와,
매핑 관계에 의해 제1 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하여 초기 블록에 대응하는 매핑 블록을 형성하는 제1 매핑 이미지 점을 얻도록 설치된 제1 매핑 유닛 1042b,
제2 처리 대기 이미지 점을 초기 블록을 처리단위로 초기 블록에 대응하는 매핑 블록내의 대응하는 위치로 매핑하도록 설치된 제2 매핑 유닛 1042c를 포함한다.
실지 응용에서 상기 이미지 변형 처리 장치 중의 매 단위가 실현하는 기능은 이미지 변형 처리 장치에 위치한 중앙 프로세서(Central Processing Unit, CPU), 또는 마이크로 프로세서(Micro Processor Unit, MPU), 또는 수자신호 프로세서(Digital Signal Processor, DSP), 또는 필드 프로그램 가능 문 행렬(Field programmable Gate Array, FPGA) 등으로 실현한다.
이 기술분야의 당업자라면, 상기 실시예의 방법 중의 전부 또는 일부 흐름과정은 컴퓨터 프로그램에 따라 관련 하드웨어에 지령을 주어 완성할 수 있는 것으로 이해하고, 상기 프로그람은 컴퓨터 리더블 기억 매체에 보관할 수 있다. 예를 들어 본 발명의 실시예에서 이 프로그람은 컴퓨터 시스템의 기억 매체에 기억시킬 수 있고 이 컴퓨터 시스템 중의 최소한 한개 프로세서에 의해 실행되어 상기 각종 방법의 실시예를 포함한 흐름과정을 실현할 수 있다. 상기 기억 매체는 자기 디스크, CD, 읽기 전용 메모리(Read-Only Memory, ROM) 또는 등속 호출 메모리(Random Access Memory, RAM) 등일 수 있다.
상응하게 본 발명의 실시예의 이미지 변형 처리 방법을 실행하도록 설치된 컴퓨터 프로그램이 기억된 컴퓨터 기억 매체를 제공하였다.
상기 실시예의 기술적특징은 임의로 조합할 수 있고 간단히 서술하기 위해 상기 실시예의 매 기술적특징의 모든 가능한 조합을 다 서술하지 않았지만 이 기술적특징의 조합에 모순이 없으면 본 설명서에 기재된 범위로 인식해야 한다.
상기 실시예는 단지 본 발명의 몇가지 실시방식만을 표현하였고 그 서술이 비교적 구체적이고 세부적이지만 이로부터 본 발명의 특허범위가 제한된 것으로 이해할 수는 없다. 이 기술분야의 당업자라면, 본 발명의 구상을 벗어나지 않은 상태에서 몇가지 변형 및 개진을 할 수 있으며 이것은 모두 본 발명의 보호범위에 속한다. 따라서 본 발명특허의 보호범위는 첨부된 청구항을 기준으로 하여야 한다.

Claims (15)

  1. 획득한 이미지 속에 있는 사람 얼굴 이미지의 오관 기준점을 포지셔닝하는 것과,
    구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하는 것,
    상기 오관 기준점에서 상기 구성 참조점에 대응하는 현재 참조점, 구성 기준점에 대응하는 정합 대기 기준점을 확정하는 것,
    처리 대기 이미지에서 상기 구성 기준점에 대응하는 위치가 목표 기준점임을 확정하고 상기 구성 기준점과 목표 기준점이 매핑 점쌍을 형성하는 것,
    목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 것을 포함하는 이미지 변형 처리 방법.
  2. 청구항 1에 있어서,
    상기 변형 템플릿이 여러가지 오관 유형에 대응하는 구성 기준점과 구성 참조점을 포함하는 방법.
  3. 청구항 1에 있어서,
    처리 대기 이미지에서 상기 구성 기준점에 대응하는 위치가 목표 기준점임을 확정하는 상기 단계가,
    상기 구성 참조점으로 형성된 도형의 제1 중심점을 획득하고 상기 구성 기준점과 제1 중심점을 연결하여 제1 선분을 형성하고 상기 제1 중심점과 서로 다른 구성 참조점을 연결하여 제1 참조 선분 모임을 형성하는 것,
    상기 제1 선분과 제1 참조 선분 모임 중의 선분의 협각 관계, 상기 제1 선분의 길이, 상기 제1 참조 선분 모임 중의 선분의 길이에 따라 변형 인자를 확정하는 것,
    상기 현재 참조점으로 형성된 도형의 제2 중심점을 획득하고, 상기 목표 기준점과 제2 중심점을 연결하여 제2 선분을 형성하고 상기 제2 중심점과 서로 다른 현재 참조점을 연결하여 제2 참조 선분 모임을 형성하는 것,
    상기 협각 관계에 따라 상기 제2 선분과 제2 참조 선분 모임 중의 매 선분의 협각을 확정하는 것,
    상기 변형 인자, 상기 협각과 제2 참조 선분 모임 중의 선분의 길이에 따라 상기 목표 기준점의 위치를 확정하는 것을 포함하는 방법.
  4. 청구항 3에 있어서,
    상기 구성 참조점으로 형성된 도형이 인접한 3개의 구성 참조점에 따라 형성된 구성 삼각도형이고 상기 현재 참조점으로 형성된 도형이 구성 삼각도형과 같은 규칙에 따라 형성된 현재 삼각도형이고 상기 구성 참조점과 구성 기준점의 위치관계, 현재 참조점과 정합 대기 기준점의 위치관계에 따라 오관 유사성 매핑을 진행하여 처리 대기 이미지에서 상기 구성 기준점에 대응하는 목표 기준점을 얻는 단계가,
    상기 구성 삼각도형의 구성 중심점을 획득하고 상기 구성 기준점과 구성 중심점을 연결하여 상기 제1 선분을 형성하고 상기 구성 기준점과 인접한 2개의 목표 구성 참조점을 획득하고 상기 구성 중심점과 목표 구성 참조점을 연결하여 제1 구성 참조 선분과 제2 구성 참조 선분을 형성하는 것과,
    상기 제1 선분과 제1 구성 참조 선분의 협각 α, 상기 제1 선분과 제2 구성 참조 선분의 협각 β, 상기 제1 선분의 길이 Dsrc, 상기 제1 구성 참조 선분의 길이 d 1 , 상기 제2 구성 참조 선분의 길이 d 2 을 획득하고 식 Dsrc=d 1 αk+d 2 βk에 따라 변형 인자 k를 확정하는 것,
    상기 현재 삼각도형의 현재 중심점을 획득하고 상기 목표 기준점과 현재 중심점을 연결하여 제2 선분을 형성하고 상기 목표 구성 참조점에 대응하는 2개의 목표 현재 참조점을 획득하고 상기 현재 중심점과 목표 현재 참조점을 연결하여 제1 현재 참조 선분과 제2 현재 참조 선분을 형성하는 것,
    식
    Figure pct00019
    에 따라 상기 제2 선분과 제1 현재 참조 선분의 협각α′와 제2 선분과 제2 현재 참조 선분의 협각 β′를 확정하는 것,
    상기 제1 현재 참조 선분의 길이 d 1 ′, 제2 현재 참조 선분의 길이 d 2 ′를 획득하고 식 Ddst=d 1 α′+d 2 β′k에 따라 제2 선분의 길이 Ddst를 얻어서 상기 목표 기준점의 위치를 확정하는 것을 포함하는 방법.
  5. 청구항 1에 있어서,
    상기 목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점과의 위치관계에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 단계가,
    처리 대기 이미지 점과 정합 대기 기준점의 위치에 따라 매 매핑 점쌍에 대응하는 영향 가중치 인자를 계산하는 것과,
    매 매핑 점쌍에 대응하는 이동편위를 계산하는 것,
    상기 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위에 따라 처리 대기 이미지 점의 이동을 계산하는 것,
    상기 이동에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 것을 포함하는 방법.
  6. 청구항 4에 있어서,
    상기 처리 대기 이미지 점과 정합 대기 기준점의 위치에 따라 매 매핑 점쌍에 대응하는 영향 가중치 인자를 계산하는 상기 단계가,
    Figure pct00020
    에 따라 i번째 매핑 점쌍에 대응하는 영향 가중치 인자 w i 를 계산하는 것을 포함하고, 그중 A는 처리 대기 이미지 점의 위치 좌표를, Si는 i번째 매핑 점쌍 중의 정합 대기 기준점의 좌표를,
    Figure pct00021
    는 A에서 Si까지의 거리를 표시하고 j는 색인, N은 매핑 점쌍의 총 수를 표시하며,
    매 매핑 점쌍에 대응하는 이동편위를 계산하고 상기 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위에 따라 처리 대기 이미지 점의 이동을 계산하고 상기 이동에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 상기 단계가,
    Figure pct00022
    에 따라 목표 위치 A′를 계산하는 것을 포함하고, 그중 D i 는 i번째 매핑 점쌍 중의 목표 기준점의 좌표를 표시하는 방법.
  7. 청구항 1에 있어서,
    처리 대기 이미지 점을 대응하는 목표 위치에 매핑하는 상기 단계가,
    상기 처리 대기 이미지를 분할하여 초기 블록을 얻고 매 초기 블록에 대응하는 정점을 제1 처리 대기 이미지 점으로 하고 매 초기 블록안의 기타 점을 제2 처리 대기 이미지 점으로 하는 것과,
    상기 매핑 관계에 따라 상기 제1 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하여 제1 매핑 이미지 점을 얻고 상기 제1 매핑 이미지 점으로 상기 초기 블록에 대응하는 매핑 블록을 형성하는 것,
    상기 제2 처리 대기 이미지 점을 초기 블록을 처리단위로 하여 상기 초기 블록에 대응하는 매핑 블록 중의 대응하는 위치에 매핑하는 것을 포함하는 방법.
  8. 획득한 이미지 중의 사람 얼굴 이미지의 오관 기준점을 포지셔닝하도록 설치된 기준점 포지셔닝 모듈과,
    구성 참조점과 구성 기준점을 가진 변형 템플릿을 획득하고 상기 오관 기준점에서 상기 구성 참조점에 대응하는 현재 참조점과 구성 기준점에 대응하는 정합 대기 기준점을 확정하도록 설치된 기준점 구분 모듈,
    처리 대기 이미지에서 상기 구성 기준점에 대응하는 목표 기준점을 확정하고 상기 목표 기준점과 대응하는 정합 대기 기준점이 매핑 점쌍을 형성하도록 설치된 유사성 매핑 모듈,
    목표 기준점과 정합 대기 기준점의 위치관계 및 매핑 점쌍과 처리 대기 이미지 점의 위치관계에 따라 상기 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하도록 설치된 처리 대기 이미지 점 매핑 모듈을 포함하는 이미지 변형 처리 장치.
  9. 청구항 8에 있어서,
    상기 변형 템플릿이 여러가지 오관 유형에 대응하는 구성 기준점과 구성 참조점을 포함하는 장치.
  10. 청구항 8에 있어서,
    상기 유사성 매핑 모듈이,
    상기 구성 참조점으로 형성된 도형의 제1 중심점을 획득하고 상기 구성 기준점과 제1 중심점을 연결하여 제1 선분을 형성하고 상기 제1 중심점과 서로 다른 구성 참조점을 연결하여 제1 참조 선분 모임을 형성하고 상기 제1 선분과 제1 참조 선분 모임 중의 협각 관계, 상기 제1 선분의 길이, 상기 제1 참조 선분 모임 중의 선분의 길이에 따라 변형 인자를 확정하도록 설치된 변형 인자 확정 유닛과,
    상기 현재 참조점으로 형성된 도형의 제2 중심점을 획득하고 상기 목표 기준점과 제2 중심점을 연결하여 제2 선분을 형성하고 상기 제2 중심점과 서로 다른 현재 참조점을 연결하여 제2 참조 선분 모임을 형성하고 상기 협각 관계에 따라 상기 제2 선분과 제2 참조 선분 모임 중의 매 선분의 협각을 확정하도록 설치된 협각 확정 유닛,
    상기 변형 인자, 상기 협각과 제2 참조 선분 모임 중의 선분의 길이에 따라 상기 목표 기준점의 위치를 확정하도록 설치된 목표 기준점 확정 유닛을 포함하는 장치.
  11. 청구항 10에 있어서,
    상기 구성 참조점으로 형성된 도형이 인접한 3개의 구성 참조점에 따라 형성된 구성 삼각도형이고 상기 현재 참조점으로 형성된 도형이 구성 삼각도형과 같은 규칙에 따라 형성된 현재 삼각도형이고 상기 변형 인자 확정 유닛이 상기 구성 삼각도형의 구성 중심점을 획득하고 상기 구성 기준점과 구성 중심점을 연결하여 상기 제1 선분을 형성하고 상기 구성 기준점에 인접한 2개의 목표 구성 참조점을 획득하고 상기 구성 중심점과 목표 구성 참조점을 연결하여 제1 구성 참조 선분과 제2 구성 참조 선분을 형성하고 상기 제1 선분과 제1 구성 참조 선분의 협각 α, 상기 제1 선분과 제2 구성 참조 선분의 협각 β, 상기 제1 선분의 길이 Dsrc, 상기 제1 구성 참조 선분의 길이 d 1 , 상기 제2 구성 참조 선분의 길이 d 2 을 획득하고 식 Dsrc=d 1 αk+d 2 βk에 따라 변형 인자 k를 확정하며,
    상기 협각 확정 유닛이 또한 상기 현재 삼각도형의 현재 중심점을 획득하고 상기 목표 기준점과 현재 중심점을 연결하여 제2 선분을 형성하고 상기 목표 구성 참조점에 대응하는 2개의 목표 현재 참조점을 획득하고 상기 현재 중심점과 목표 현재 참조점을 연결하여 제1 현재 참조 선분과 제2 현재 참조 선분을 형성하고 식
    Figure pct00023
    에 따라 상기 제2 선분과 제1 현재 참조 선분의 협각 α′와 제2 선분과 제2 현재 참조 선분의 협각 β′를 확정하도록 설치되고,
    상기 목표 기준점 확정 유닛이 또한 상기 제1 현재 참조 선분의 길이 d 1 ′, 제2 현재 참조 선분의 길이 d 2 ′를 획득하고 식 Ddst=d 1 α′k+d 2 β′에 따라 제2 선분의 길이 Ddst를 계산하여 상기 목표 기준점의 위치를 확정하도록 설치된 장치.
  12. 청구항 8에 있어서,
    상기 처리 대기 이미지 점 매핑 모듈이,
    처리 대기 이미지 점과 구성 기준점의 위치에 따라 매 매핑 점쌍에 대응하는 영향 가중치 인자를 계산하도록 설치된 영향 가중치 인자 계산 유닛과,
    매 매핑 점쌍에 대응하는 이동편위를 계산하고 상기 매 매핑 점쌍에 대응하는 영향 가중치 인자와 이동편위에 따라 처리 대기 이미지 점의 이동을 계산하고 상기 이동에 따라 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하도록 설치된 목표 위치 확정 유닛을 포함하는 장치.
  13. 청구항 12에 있어서,
    상기 영향 가중치 인자 계산 유닛이 또한
    Figure pct00024
    에 따라 i번째 매핑 점쌍에 대응하는 영향 가중치 인자 w i 를 계산하도록 설치되고, 그중 A는 처리 대기 이미지 점의 위치 좌표를, Si는 i번째 매핑 점쌍 중의 정합 대기 기준점의 좌표를,
    Figure pct00025
    는 A에서 Si까지의 거리를 표시하고, j는 색인, N은 매핑 점쌍의 총 수를 표시하며,
    상기 목표 위치 확정 유닛이
    Figure pct00026
    에 따라 목표 위치 A′를 계산하도록 설치되고, 그중 D i 는 i번째 매핑 점쌍 중의 목표 기준점의 좌표를 표시하는 장치.
  14. 청구항 8에 있어서,
    목표 위치 확정 유닛이,
    상기 처리 대기 이미지를 분할하여 초기 블록을 얻고 매 초기 블록에 대응하는 정점을 제1 처리 대기 이미지 점으로 하고 매 초기 블록안의 기타 점을 제2 처리 대기 이미지 점으로 하도록 설치된 분할 유닛과
    상기 매핑 관계에 따라 제1 처리 대기 이미지 점을 대응하는 목표 위치에 매핑하여 제1 매핑 이미지 점을 얻고 제1 매핑 이미지 점으로 상기 초기 블록에 대응하는 매핑 블록을 형성하도록 설치된 제1 매핑 유닛,
    상기 제2 처리 대기 이미지 점을 초기 블록을 처리단위로 하여 상기 초기 블록에 대응하는 매핑 블록안의 대응하는 위치에 매핑하도록 설치된 제2 매핑 유닛을 포함하는 장치.
  15. 상기 청구항 1 내지 청구항 7중의 어느 한 항에 따른 이미지 변형 처리 방법을 실행하도록 설치된 컴퓨터 실행 가능 지령이 기억된 컴퓨터 기억 매체.
KR1020187009599A 2016-04-27 2017-04-17 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체 KR102076431B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610270547.2 2016-04-27
CN201610270547.2A CN105956997B (zh) 2016-04-27 2016-04-27 图像形变处理的方法和装置
PCT/CN2017/080822 WO2017186016A1 (zh) 2016-04-27 2017-04-17 图像形变处理的方法和装置、计算机存储介质

Publications (2)

Publication Number Publication Date
KR20180050702A true KR20180050702A (ko) 2018-05-15
KR102076431B1 KR102076431B1 (ko) 2020-03-02

Family

ID=56916929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009599A KR102076431B1 (ko) 2016-04-27 2017-04-17 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체

Country Status (5)

Country Link
US (1) US10691927B2 (ko)
JP (1) JP6585838B2 (ko)
KR (1) KR102076431B1 (ko)
CN (1) CN105956997B (ko)
WO (1) WO2017186016A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956997B (zh) * 2016-04-27 2019-07-05 腾讯科技（深圳）有限公司 图像形变处理的方法和装置
WO2019075666A1 (zh) * 2017-10-18 2019-04-25 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110799164B (zh) * 2017-12-13 2021-05-18 上海联影医疗科技股份有限公司 用于诊断和治疗的系统和方法
CN110415164A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 人脸变形处理方法、存储介质、电子设备及系统
CN108564082B (zh) * 2018-04-28 2023-06-09 苏州赛腾精密电子股份有限公司 图像处理方法、装置、服务器和介质
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830784A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN108830787A (zh) * 2018-06-20 2018-11-16 北京微播视界科技有限公司 图像变形的方法、装置及电子设备
CN109003224A (zh) * 2018-07-27 2018-12-14 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
CN110837332A (zh) * 2019-11-13 2020-02-25 北京字节跳动网络技术有限公司 面部图像变形方法、装置、电子设备和计算机可读介质
CN112149647B (zh) * 2020-11-24 2021-02-26 北京蜜莱坞网络科技有限公司 图像处理方法、装置、设备及存储介质
CN112729214B (zh) * 2020-11-27 2022-06-14 成都飞机工业（集团）有限责任公司 一种基于试验数据修正基准点坐标的测量方法
CN113436063B (zh) * 2021-07-30 2024-03-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115775279B (zh) * 2023-02-13 2023-05-16 苏州希盟科技股份有限公司 点胶定位方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041039A (ko) * 2007-10-23 2009-04-28 에스케이 텔레콤주식회사 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
KR20140086463A (ko) * 2012-12-28 2014-07-08 삼성전자주식회사 영상 변형 장치 및 그 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034724A (ja) * 2005-07-27 2007-02-08 Glory Ltd 画像処理装置、画像処理方法および画像処理プログラム
CN100514365C (zh) * 2007-01-15 2009-07-15 浙江大学 多张人脸照片自动合成方法
CN101276474B (zh) * 2008-04-14 2010-09-01 中山大学 一种基于局部坐标的线性约束图像变形方法
JP2011053942A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
JP5840528B2 (ja) * 2012-02-21 2016-01-06 花王株式会社 顔画像合成装置及び顔画像合成方法
CN104751404B (zh) * 2013-12-30 2019-04-12 腾讯科技（深圳）有限公司 一种图像变换的方法及装置
CN105184735B (zh) * 2014-06-19 2019-08-06 腾讯科技（深圳）有限公司 一种人像变形方法及装置
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN105118024A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 人脸交换方法
CN105205779B (zh) * 2015-09-15 2018-10-19 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
CN105956997B (zh) * 2016-04-27 2019-07-05 腾讯科技（深圳）有限公司 图像形变处理的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041039A (ko) * 2007-10-23 2009-04-28 에스케이 텔레콤주식회사 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
KR20140086463A (ko) * 2012-12-28 2014-07-08 삼성전자주식회사 영상 변형 장치 및 그 방법

Also Published As

Publication number Publication date
CN105956997B (zh) 2019-07-05
JP2018536221A (ja) 2018-12-06
US10691927B2 (en) 2020-06-23
KR102076431B1 (ko) 2020-03-02
JP6585838B2 (ja) 2019-10-02
CN105956997A (zh) 2016-09-21
US20180300537A1 (en) 2018-10-18
WO2017186016A1 (zh) 2017-11-02

Similar Documents

Publication Publication Date Title
KR20180050702A (ko) 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체
US11538229B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
WO2021103648A1 (zh) 手部关键点检测方法、手势识别方法及相关装置
JP5248806B2 (ja) 情報処理装置、情報処理方法
JP5855416B2 (ja) ３次元座標取得装置、カメラ姿勢推定装置、プログラム
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
US20200349754A1 (en) Methods, devices and computer program products for generating 3d models
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
US20180114339A1 (en) Information processing device and method, and program
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN115210763A (zh) 用于包括姿态和大小估计的对象检测的系统和方法
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN110020577B (zh) 人脸关键点扩展计算方法、存储介质、电子设备及系统
US20180330514A1 (en) Selective 3d registration
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
CN109840943B (zh) 三维可视化分析方法及系统
JP2022128087A (ja) 計測システム及び計測プログラム
JP2018200175A (ja) 情報処理装置、情報処理方法及びプログラム
CN108108694A (zh) 一种人脸特征点定位方法及装置
KR102536096B1 (ko) 학습 데이터 생성 방법 및 그를 위한 컴퓨팅 장치
CN112033379B (zh) 一种对象检测方法、装置以及计算机可读存储介质
WO2023054661A1 (ja) 注視位置分析システム及び注視位置分析方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant