KR20210077655A - 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

이미지 처리 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210077655A
KR20210077655A KR1020210073499A KR20210073499A KR20210077655A KR 20210077655 A KR20210077655 A KR 20210077655A KR 1020210073499 A KR1020210073499 A KR 1020210073499A KR 20210073499 A KR20210073499 A KR 20210073499A KR 20210077655 A KR20210077655 A KR 20210077655A
Authority
KR
South Korea
Prior art keywords
image
style
person
real
feature information
Prior art date
Application number
KR1020210073499A
Other languages
English (en)
Inventor
하오 순
푸 리
신 리
티안웨이 린
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210077655A publication Critical patent/KR20210077655A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • G06K9/00268
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T3/0012
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원은 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 개시하는데 이는 인공 지능에서의 컴퓨터 비전, 딥 러닝 분야에 관한 것이다. 상기 방법의 구체적인 구현 방식은, 얼굴 형상이 포함되는 처리 대기 이미지를 획득하고; 상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하며; 상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 것이다. 본 출원의 기술적 해결수단을 이용하면, 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장할 수 있어 사용자 체험을 향상시킨다.

Description

이미지 처리 방법, 장치, 전자 기기 및 저장 매체{ METHOD AND DEVICE FOR PROCESSING IMAGE, RELATED ELECTRONIC DEVICE AND STORAGE MEDIUM}
본 출원의 실시예는 이미지 처리 기술에 관한 것으로, 구체적으로 인공 지능 분야에 관한 것이며, 특히 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
이미지 처리 기술의 발전과 더불어 사용자는 더이상 원본 촬영 이미지에 만족하지 않고, 개성화에 대한 수요가 날로 강화하고 있으며, 사용자는 상이한 스타일의 필터를 추구하기 시작하였다.
유화 스타일 필터, 수묵화 스타일 필터 등과 같은 페인팅 스타일의 필터는 스타일이 독특하고 효과가 생생하다. 이미지에 페인팅 스타일 필터를 추가하는 것은 일반적으로 이미지에 스타일화(Stylization) 전이를 수행하여 구현됨으로써 이미지 내용을 유지하는 동시에 페인팅 스타일을 융합시킨다. 발명자는 본 출원을 구현하는 과정에서 종래 기술에 다음과 같은 결함이 존재하는 것을 발견하였다. 페인팅 스타일 필터가 인물 이미지에 응용될 때, 인물의 안면 오관이 변형되고 페인팅 스타일의 융합 효과가 저하되며 사용자 체험이 저하된다.
본 출원의 실시예는 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장하는 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 양태에서, 본 출원의 실시예는 이미지 처리 방법을 제공하는데, 상기 방법은,
얼굴 형상이 포함되는 처리 대기 이미지를 획득하는 단계;
상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하는 단계; 및
상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 단계를 포함한다.
제2 양태에서, 본 출원의 실시예는 이미지 처리 장치를 제공하는데, 상기 장치는,
얼굴 형상이 포함되는 처리 대기 이미지를 획득하는 처리 대기 이미지 획득 모듈;
상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출 모듈; 및
상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 스타일 전환 이미지 획득 모듈을 포함한다.
제3 양태에서, 본 출원의 실시예는 전자 기기를 제공하는데, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하는 전자 기기에 있어서, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 명령은 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서에 의해 본 출원의 실시예 중 어느 하나에 따른 이미지 처리 방법이 수행될 수 있도록 한다.
제4 양태에서, 본 출원의 실시예는 컴퓨터가 본 출원의 실시예 중 어느 하나에 따른 이미지 처리 방법을 수행하게 하는 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
제5 양태에서, 제공하는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램은, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 본 출원의 실시예 중 어느 하나에 따른 이미지 처리 방법이 실행된다.
본 출원의 기술적 해결수단은 처리 대기 이미지의 얼굴 특징 정보를 추출하고, 얼굴 특징 정보에 따라 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 스타일 전환 이미지를 획득한다. 종래 기술 중 얼굴 형상이 포함된 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행할 때, 얼굴 형상의 오관이 변형되고 페인팅 스타일을 설정하는 융합 효과가 저하되며 사용자 체험이 저하되는 문제를 해결함으로써 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장하는 효과를 구현하여 사용자 체험을 향상시킨다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다. 여기서,
도 1a는 본 출원의 실시예 1의 이미지 처리 방법의 흐름도이고;
도 1b는 본 출원의 실시예에 적용되는 얼굴 특징 정보를 추출한 효과 개략도이며;
도 1c는 본 출원의 실시예에 적용되는 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행한 효과 개략도이고;
도 1d는 본 출원의 실시예에 적용되는 실제 인물 이미지의 개략도이며;
도 1e는 본 출원의 실시예에 적용되는 스타일 인물 이미지의 개략도이고;
도 2a는 본 출원의 실시예 2의 이미지 처리 방법의 흐름도이며;
도 2b는 본 출원의 실시예에 적용되는 실제 인물 이미지에 대해 이미지 사전 처리를 수행한 효과 개략도이고;
도 2c는 본 출원의 실시예에 적용되는 스타일 전이 모델의 트레이닝 과정의 개략도이며;
도 3은 본 출원의 실시예 3의 이미지 처리 장치의 구조 개략도이고;
도 4는 본 출원의 실시예 4의 전자 기기의 구조 개략도이다.
이하, 첨부 도면을 결부하여 본 출원의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본 출원의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 출원의 기술 분야의 통상의 지식을 가진 자라면 본 출원의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.
실시예 1
도 1a는 본 출원의 실시예 1에 의해 제공되는 이미지 처리 방법의 흐름도이고, 본 출원의 실시예의 기술적 해결수단은 얼굴 형상이 포함된 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하는 경우에 적용될 수 있다. 상기 방법은 이미지 처리 장치에 의해 구현될 수 있고, 상기 장치는 소프트웨어 및/또는 하드웨어에 의해 구현될 수 있으며, 일반적으로 전자 기기에 집적되고, 전형적으로는 휴대폰, 태블릿 등 이동 단말기에 집적될 수 있다.
도 1a에 도시된 바와 같이, 본 출원의 실시예의 기술적 해결수단은 구체적으로 하기의 단계를 포함한다.
단계 S110, 얼굴 형상이 포함되는 처리 대기 이미지를 획득한다.
여기서, 처리 대기 이미지는 얼굴 형상이 포함된, 페인팅 스타일을 설정하는 전환을 수행해야 하는 이미지인 바, 예를 들어, 처리 대기 이미지는 사용자의 셀프 촬영 이미지일 수 있다.
본 출원의 실시예에서, 페인팅 스타일을 설정하는 이미지 전환이 수행된 객체는 얼굴 형상이 포함된 처리 대기 이미지다.
단계 S120, 상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출한다.
여기서, 얼굴 특징 정보는 오관, 안면 윤곽, 헤어스타일 윤곽 등과 같은 처리 대기 이미지에 포함된 얼굴 키 포인트를 포함할 수도 있고 점, 안경, 귀걸이 등과 같은 얼굴 형상의 고유한 특징을 포함할 수도 있다. 얼굴 특징 정보는 처리 대기 이미지의 얼굴 형상에 매칭된다.
본 출원의 일 선택 가능한 실시예에서, 상기 얼굴 특징 정보는 오관 위치, 오관 크기, 안면 윤곽 및 헤어스타일 윤곽 중 적어도 하나를 포함할 수 있다.
여기서, 오관 위치는 처리 대기 이미지에서의 얼굴 오관의 위치일 수 있고, 오관 크기는 얼굴 중 오관이 차지하는 면적일 수 있으며, 안면 윤곽은 인물 안면의 윤곽선일 수 있고, 헤어스타일 윤곽은 인물 헤어스타일에서 분할된 영역일 수 있다. 도 1b는 얼굴 특징 정보를 추출한 효과 개략도를 제공하는데, 도 1b에 도시된 바와 같이, 원본 이미지 중 오관 위치, 크기 및 안면 윤곽을 추출하여 얼굴 키 포인트를 형성하고, 헤어스타일 영역을 추출하며, 얼굴 키 포인트 및 헤어스타일 영역은 함께 얼굴 특징 정보를 구성한다.
본 출원의 실시예에서, 처리 대기 이미지에 대해 이미지 전환을 수행하기 전에, 우선 처리 대기 이미지의 얼굴 특징 정보를 추출해야 하는데, 이러한 설정의 장점은, 얼굴 특징 정보를 미리 추출하면 이미지가 전환된 후 얼굴 형상의 완정성을 유지하도록 할 수 있어, 얼굴 형상의 미관성을 강화시키고 사용자 체험을 향상시키는 것이다.
단계 S130, 상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득한다.
여기서, 페인팅 스타일을 설정하는 것은 사용자에 의해 선택된, 처리 대기 이미지에 대해 전환을 수행하고자 하는 페인팅 스타일인 바, 예를 들어, 페인팅 스타일을 설정하는 것은 유화 스타일, 수묵화 스타일, 공필화 스타일 등일 수 있고, 페인팅 스타일을 설정하는 것은 동일한 페인팅 유형의 상이한 장르의 스타일일 수도 있으며, 예를 들어, 페인팅 스타일을 설정하는 것은 현실주의 유화 스타일, 추상주의 유화스타일, 인상주의 유화 스타일 등일 수 있다. 본 출원의 실시예에서는 페인팅 스타일을 설정하는 구체적인 유형에 대해 한정하지 않는다.
스타일 전환 이미지는 처리 대기 이미지 중 내용을 유지하는 전제하에, 페인팅 스타일을 설정하는 것을 융합시켜 형성된 이미지이다. 도 1c는 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행한 효과 개략도를 제공하고, 도 1c에 도시된 바와 같이, 처리 대기 이미지에는 얼굴 형상이 포함되며, 유화 스타일 이미지 전환을 수행한 후, 스타일 전환 이미지를 획득함으로써 스타일 전환 이미지는 처리 대기 이미지의 얼굴 특징을 유지하면서 유화 스타일도 구현한다.
얼굴 특징 정보에 따라 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하는 것은, 스타일 전이 모델을 트레이닝시키고, 얼굴 특징 정보 및 처리 대기 이미지를 스타일 전이 모델에 입력하는 것을 통해 구현될 수 있으며, 얼굴 특징 정보의 유지를 토대로, 처리 대기 이미지 및 페인팅 스타일을 설정하는 이미지 사이의 차이를 감소시키는 것을 통해 구현될 수도 있는바, 본 출원의 실시예에서는 스타일 전환 이미지를 획득하는 방식 및 구체적인 구현 과정에 대해 한정하지 않는다.
본 출원의 일 선택 가능한 실시예에서, 상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 단계는, 상기 페인팅 스타일에 매칭되는 스타일 전이 모델을 획득하고, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득하는 단계를 포함할 수 있고, 실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 각 인물 이미지 세트의 각 인물 이미지에 매칭되는 얼굴 특징 정보를 미리 사용하고, 순환 생성적 대립 네트워크를 트레이닝시켜 스타일 전이 모델을 획득하며, 스타일 인물 이미지 세트는 상기 페인팅 스타일에 매칭된다.
여기서, 스타일 전이 모델은 처리 대기 이미지를 페인팅 스타일을 설정하는 스타일 전환 이미지로 전환시키는 모델이고, 스타일 전이 모델은 실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 각 인물 이미지에 매칭되는 얼굴 특징 정보에 따라 순환 생성적 대립 네트워크를 트레이닝시켜 획득된 것이다. 실제 인물 이미지 세트는 다수의 실제 인물 이미지로 구성된 집합이고, 도 1d는 실제 인물 이미지의 개략도를 제공하며, 도 1d에 도시된 바와 같이, 실제 인물 이미지에는 실제의 얼굴 형상이 포함되고, 스타일 인물 이미지 세트는 다수의 페인팅 스타일을 설정하는 스타일 인물 이미지로 구성된 집합이며, 도 1e는 스타일 인물 이미지의 개략도를 제공하고, 도 1e에 도시된 바와 같이, 스타일 인물 이미지는 얼굴 형상이 포함된 페인팅 스타일을 설정하는 이미지이며, 순환 생성적 대립 네트워크는 한 유형의 사진을 다른 유형의 사진으로 전환시킨다.
본 출원의 실시예에서, 처리 대기 이미지의 얼굴 특징 정보를 추출하고, 얼굴 특징 정보를 선험 정보로서 스타일 전이 모델에 입력함으로써 스타일 전이 모델에서 입력된 처리 대기 이미지에 대해 스타일 전환을 수행할 경우, 얼굴 특징을 고정하고, 얼굴 오관의 완정성 및 일관성을 보장하며, 스타일 전환 효과의 미관성을 강화시킬 수 있다.
본 실시예의 기술적 해결수단은, 처리 대기 이미지의 얼굴 특징 정보를 추출하고, 얼굴 특징 정보에 따라 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 스타일 전환 이미지를 획득한다. 종래 기술 중 얼굴 형상이 포함된 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행할 때, 얼굴 형상의 오관이 변형되고 페인팅 스타일을 설정하는 융합 효과가 저하되며 사용자 체험이 저하되는 문제를 해결함으로써 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장하는 효과를 구현하여 사용자 체험을 향상시킨다.
실시예 2
도 2a는 본 출원의 실시예 2의 이미지 처리 방법의 흐름도이고, 본 실시예에서는 상기 실시예를 토대로, 스타일 전이 모델을 트레이닝시켜 얻는 과정을 더 구체화한다.
상응하게, 도 2a에 도시된 바와 같이, 본 출원의 실시예의 기술적 해결수단은 구체적으로 하가의 단계를 포함한다.
단계 S210, 실제 인물 이미지 세트 및 상기 페인팅 스타일에 매칭되는 스타일 인물 이미지 세트를 획득한다.
여기서, 단계 S210는 또한 하기의 단계를 포함한다.
단계 S211, 표준 실제 인물 이미지 데이터베이스에서 다수의 실제 인물 이미지를 획득하여 실제 인물 이미지 세트를 구성한다.
여기서, 표준 실제 인물 이미지 데이터베이스는 다수의 표준 실제 인물 이미지가 포함된 데이터베이스인 바, 예를 들어, 표준 실제 인물 이미지 데이터베이스는 FFHQ(Flickr-Faces-HQ, 고화질 얼굴 데이터 세트) 데이터 세트일 수 있고, FFHQ데이터 세트에는 70000장 이상의 고화질 얼굴 이미지가 포함된다. 실제 인물 이미지 세트는 표준 실제 인물 이미지 데이터베이스에서 선택된 실제 인물 이미지로 구성되고, 본 실시예에서는 표준 실제 인물 이미지 데이터베이스의 유형 및 선택된 실제 인물 이미지의 수량에 대해 한정하지 않는다.
단계 S212, 상기 실제 인물 이미지 세트의 각 실제 인물 이미지에 대해 적어도 하나의 이미지 사전 처리를 수행하고, 사전 처리된 후의 실제 인물 이미지를 상기 실제 인물 이미지 세트에 추가한다.
여기서, 이미지 사전 처리는 실제 인물 이미지에 대해 수행하는 처리 동작이고, 이미지 사전 처리는 클리핑, 회전, 블러링(Blurring), 밝기 조절 및 명암비 조절 등과 같은 동작을 포함할 수 있다. 도 2b는 실제 인물 이미지에 대해 이미지 사전 처리를 수행한 효과 개략도를 제공하고, 도 2b에 도시된 바와 같이, 실제 인물 이미지에 대해 클리핑, 회전 및 명암비 강화 처리를 수행하고, 획득된 이미지를 모두 실제 인물 이미지 세트에 추가한다.
실제 인물 이미지에 대해 이미지 사전 처리를 수행하는 작용은, 표준 실제 인물 이미지를 사전 처리하면, 사용자의 실제 촬영 효과를 시뮬레이션 할 수 있어, 실제 인물 이미지의 다양성을 증가시켜, 스타일 전이 모델의 강건성(robustness)을 향상시키는데 있다.
단계 S213, 표준 스타일 이미지 데이터베이스에서, 상기 페인팅 스타일에 매칭되는 표준 스타일 이미지를 획득한다.
여기서, 표준 스타일 이미지 데이터베이스는 페인팅 스타일 이미지가 저장되어 있는 데이터베이스인 바, 예를 들어, 페인팅 스타일이 유화일 때, 표준 스타일 이미지 데이터베이스는 wikiart 데이터베이스 일 수 있거나, 또는 painter-by-numbers 데이터베이스 일 수 있다. 표준 스타일 이미지는 페인팅 스타일에 매칭되는 이미지이다.
단계 S214, 각 상기 표준 스타일 이미지에서, 얼굴 형상이 포함된 선별 결과 이미지를 선별한다.
선별 결과 이미지는 다수의 표준 스타일 이미지에서 선별된, 얼굴 형상이 포함된 표준 스타일 이미지이다. 다수의 표준 스타일 이미지에서 얼굴 형상이 포함된 표준 스타일 이미지를 선별하는 것은, 얼굴 검출 모델을 통해 구현될 수 있고, 기설정된 이미지 식별 알고리즘을 통해 구현될 수도 있으며, 본 출원의 실시예에서는 얼굴 형상이 포함된 표준 스타일 이미지를 선별하는 방식 및 구체적인 구현 과정에 대해 한정하지 않는다.
단계 S215, 각 선별 결과 이미지에 대해 얼굴 영역 클리핑을 수행하고, 클리핑 결과에 따라 스타일 인물 이미지 세트를 구성한다.
각 선별 결과 이미지에 대해 얼굴 영역 클리핑을 수행한 후 얻은 이미에 따라 스타일 인물 이미지 세트를 구성하고, 얼굴 영역 클리핑을 수행하는 작용은 얼굴 특징 정보의 추출에 편리하기 위함이다.
본 출원의 실시예에서, 실제 인물 이미지 세트 중 실제 인물 이미지의 수량은 스타일 인물 이미지 세트에서 스타일 인물 이미지의 수량과 동일하거나 상이할 수 있다.
단계 S220, 상기 실제 인물 이미지 세트 및 상기 스타일 인물 이미지 세트에 따라 다수의 실제 스타일 인물 이미지 페어를 생성한다.
실제 스타일 인물 이미지 페어는 한 장의 실제 인물 이미지와 한 장의 스타일 인물 이미지로 구성된 이미지 페어이고, 본 출원의 실시예에서, 실제 인물 이미지 세트 및 스타일 인물 이미지 세트는 순환 생성적 대립 네트워크의 트레이닝 세트이며, 실제 인물 이미지와 스타일 인물 이미지는 서로 매칭될 필요없다.
단계 S230, 상기 실제 스타일 인물 페어 중 각 인물 이미지에 대응되는 얼굴 특징 정보를 획득한다.
단계 S240, 각 실제 스타일 인물 이미지 페어의 각 인물 이미지 및 각 인물 이미지의 얼굴 특징 정보를 사용하여 순환 생성적 대립 네트워크를 트레이닝시킨다.
여기서, 순환 생성적 대립 네트워크는 실제 인물을 스타일 인물에 전환하는 제너레이터, 스타일 인물을 실제 인물에 전환하는 제너레이터, 실제 인물 판별기 및 스타일 인물 판별기를 포함한다.
도 2c는 스타일 전이 모델의 트레이닝 과정의 개략도를 제공한다. 도 2c에 도시된 바와 같이, 순환 생성적 대립 네트워크는 두 개의 제너레이터 및 두 개의 판별기로 이루어진다. 실제 인물을 스타일 인물에 전환하는 제너레이터는 실제 인물 이미지를 스타일 전환 이미지로 전환시키고, 스타일 인물을 실제 인물에 전환하는 제너레이터는 스타일 전환 이미지를 실제 인물 시뮬레이션 이미지로 전환시키며, 판별기 1은 실제 인물 판별기로서, 실제 인물 시뮬레이션 이미지가 실제의 실제 인물 이미지인지 여부를 판정하고, 또한, 스타일 전이 모델은 또한 실제 인물 이미지 및 실제 인물 시뮬레이션 이미지에 대한 일관성 제약을 추가한다. 아울러, 스타일 인물을 실제 인물에 전환하는 제너레이터는 스타일 인물 이미지를 실제 인물 시뮬레이션 이미지로 전환시키고, 실제 인물을 스타일 인물에 전환하는 제너레이터는 실제 인물 시뮬레이션 이미지를 스타일 전환 이미지를 전환시키며, 판별기 2는 스타일 인물 판별기로서, 스타일 전환 이미지가 실제의 스타일 인물 이미지인지 여부를 판정하고, 마찬가지로, 스타일 인물 이미지 및 스타일 전환 이미지에 대해 일관성 제약을 추가한다. 두 개의 일관성 제약을 추가하는 작용은, 실제 인물 이미지 및 스타일 전환 이미지 중 얼굴 형상의 일관성을 보장할 수 있는데 있다.
단계 S250, 트레이닝 종료 조건이 만족된 것이 검출되었는지 여부를 판정하고, 검출되면 단계 S260를 수행하며, 그렇지 않으면 단계 S240를 수행한다.
여기서, 트레이닝 종료 조건이 만족된 것이 검출되는 것은 사용자가 발송한 트레이닝 정지 명령이 검출되는 것일 수 있고, 순환 생성적 대립 네트워크의 순환 트레이닝 과정이 설정된 횟수에 도달한 것이 검출되는 것일 수도 있으며, 본 출원의 실시예에서는 트레이닝 종료 조건의 구체적인 내용에 대해 한정하지 않는다.
단계 S260, 순환 생성적 대립 네트워크의 실제 인물을 스타일 인물에 전환하는 제너레이터를 상기 페인팅 스타일에 매칭되는 스타일 전이 모델로 한다.
트레이닝이 종료될 때, 현재 순환 생성적 대립 네트워크의 실제 인물을 스타일 인물에 전환하는 제너레이터는 스타일 전이 모델로 될 수 있고, 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행할 수 있다.
단계 S270, 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행해야 하는지 여부를 판정하고, 수행해야 하면 단계 S280를 수행하며, 그렇지 않으면 단계 S2110를 수행한다.
단계 S280, 얼굴 형상이 포함되는 처리 대기 이미지를 획득한다.
단계 S290, 상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출한다.
단계 S2100, 상기 페인팅 스타일에 매칭되는 스타일 전이 모델을 획득하고, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득한다.
단계 S2110, 종료.
본 실시예의 기술적 해결수단은, 실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 이미지 세트의 각 인물 이미지에 매칭되는 얼굴 특징 정보에 따라 스타일 전이 모델을 트레이닝하여 얻고, 처리 대기 이미지의 얼굴 특징 정보를 추출하며, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득한다. 종래 기술 중 얼굴 형상이 포함된 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행할 때, 얼굴 형상의 오관이 변형되고 페인팅 스타일을 설정하는 융합 효과가 저하되며 사용자 체험이 저하되는 문제를 해결함으로써 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장하는 효과를 구현하여 사용자 체험을 향상시킨다.
실시예 3
도 3은 본 출원의 실시예 3에 의해 제공되는 이미지 처리 장치의 구조 개략도이고, 상기 장치는 일반적으로 전자 기기에 집적되며, 전형적으로는 휴대폰, 태블릿 등 이동 단말기에 집적될 수 있다. 상기 장치는 처리 대기 이미지 획득 모듈(310), 얼굴 특징 정보 추출 모듈(320) 및 스타일 전환 이미지 획득 모듈(330)을 포함한다. 여기서,
처리 대기 이미지 획득 모듈(310)은 얼굴 형상이 포함되는 처리 대기 이미지를 획득하고;
얼굴 특징 정보 추출 모듈(320)은 상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하며;
스타일 전환 이미지 획득 모듈(330)은 상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득한다.
본 실시예의 기술적 해결수단에 따르면, 처리 대기 이미지의 얼굴 특징 정보를 추출하고, 얼굴 특징 정보에 따라 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 스타일 전환 이미지를 획득한다. 종래 기술 중 얼굴 형상이 포함된 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행할 때, 얼굴 형상의 오관이 변형되고 페인팅 스타일을 설정하는 융합 효과가 저하되며 사용자 체험이 저하되는 문제를 해결함으로써 이미지 전환 과정에서 얼굴 형상의 완정성, 일관성 및 미관성을 보장하는 효과를 구현하여 사용자 체험을 향상시킨다.
상기 실시예를 토대로, 상기 얼굴 특징 정보는 오관 위치, 오관 크기, 안면 윤곽 및 헤어스타일 윤곽 중 적어도 하나를 포함한다.
상기 실시예를 토대로, 상기 스타일 전환 이미지 획득 모듈은,
상기 페인팅 스타일에 매칭되는 스타일 전이 모델을 획득하고, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득하는 스타일 전환 이미지 획득 유닛을 포함하고,
실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 각 인물 이미지 세트의 각 인물 이미지에 매칭되는 얼굴 특징 정보를 미리 사용하고, 순환 생성적 대립 네트워크를 트레이닝시켜 스타일 전이 모델을 획득하며, 스타일 인물 이미지 세트는 상기 페인팅 스타일에 매칭된다.
상기 실시예를 토대로, 상기 장치는,
실제 인물 이미지 세트 및 상기 페인팅 스타일에 매칭되는 스타일 인물 이미지 세트를 획득하는 인물 이미지 세트 획득 모듈;
상기 실제 인물 이미지 세트 및 상기 스타일 인물 이미지 세트에 따라 다수의 실제 스타일 인물 이미지 페어를 생성하는 인물 이미지 페어 생성 모듈;
상기 실제 스타일 인물 페어 중 각 인물 이미지에 대응되는 얼굴 특징 정보를 획득하는 얼굴 특징 정보 획득 모듈;
각 실제 스타일 인물 이미지 페어의 각 인물 이미지 및 각 인물 이미지의 얼굴 특징 정보를 사용하여 순환 생성적 대립 네트워크를 트레이닝시키는 순환 생성적 대립 네트워크 트레이닝 모듈; 및
트레이닝 종료 조건이 만족된 것이 검출될 경우, 순환 생성적 대립 네트워크의 실제 인물을 스타일 인물에 전환하는 제너레이터를 상기 페인팅 스타일에 매칭되는 스타일 전이 모델로 하는 스타일 전이 모델 생성 모듈을 더 포함하고,
순환 생성적 대립 네트워크는 실제 인물을 스타일 인물에 전환하는 제너레이터, 스타일 인물을 실제 인물에 전환하는 제너레이터, 실제 인물 판별기 및 스타일 인물 판별기를 포함한다.
상기 실시예를 토대로, 상기 인물 이미지 세트 획득 모듈은,
표준 실제 인물 이미지 데이터베이스에서 다수의 실제 인물 이미지를 획득하여 실제 인물 이미지 세트를 구성하는 실제 인물 이미지 세트 획득 유닛을 포함한다.
상기 실시예를 토대로, 상기 장치는,
상기 실제 인물 이미지 세트의 각 실제 인물 이미지에 대해 적어도 하나의 이미지 사전 처리를 수행하고, 사전 처리된 후의 실제 인물 이미지를 상기 실제 인물 이미지 세트에 추가하는 이미지 사전 처리 모듈을 더 포함한다.
상기 실시예를 토대로, 상기 인물 이미지 세트 획득 모듈은,
표준 스타일 이미지 데이터베이스에서, 상기 페인팅 스타일에 매칭되는 표준 스타일 이미지를 획득하는 표준 스타일 이미지 획득 유닛;
각 상기 표준 스타일 이미지에서, 얼굴 형상이 포함된 선별 결과 이미지를 선별하는 선별 결과 이미지 획득 유닛; 및
각 선별 결과 이미지에 대해 얼굴 영역 클리핑을 수행하고, 클리핑 결과에 따라 스타일 인물 이미지 세트를 구성하는 스타일 인물 이미지 세트 획득 유닛을 포함한다.
본 출원의 실시예에 의해 제공되는 이미지 처리 장치는 본 출원의 임의의 실시예에 의해 제공되는 이미지 처리 방법을 수행할 수 있고, 방법의 수행에 대응되는 기능 모듈 및 유익한 효과를 갖는다.
실시예 4
본 출원의 실시예에 따르면, 본 출원은 또한 전자 기기 및 판독 가능 저장 매체를 제공한다. 본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 이미지 처리 방법이 실행된다.
도 4는 본 출원의 실시예 4에 의해 제공되는 전자 기기의 구조 개략도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 또한 개인용 정보 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술되거나 청구된 본 출원의 구현을 한정하도록 의도되지 않는다.
도 4에 도시된 바와 같이, 상기 전자 기기는 하나 이상의 프로세서(401), 메모리(402) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 다양한 구성 요소를 연결하기 위한 인터페이스를 포함한다. 다양한 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 외부 입력/출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위해 메모리에 저장된 명령을 포함하여 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 방식에서, 필요한 경우, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자 기기를 연결할 수 있고, 각 장치는 단지 몇 가지 필요한 기능(예를 들어, 서버 배열, 블레이드 서버 그룹 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 4는 프로세서(401)가 하나인 경우를 예를 들어 설명한다.
메모리(402)는 본 출원에 의해 제공된 비 일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 적어도 하나의 프로세서에 의해 본 출원의 이미지 처리 방법을 수행하도록, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장된다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터로 하여금 본 출원의 이미지 처리 방법을 실행하게 하는 컴퓨터 명령어가 저장된다.
메모리(402)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램, 본 출원의 실시예의 이미지 처리 방법에 대응하는 프로그램 명령/모듈과 같은 모듈(예를 들어, 도 3에 도시된 처리 대기 이미지 획득 모듈(310), 얼굴 특징 정보 추출 모듈(320) 및 스타일 전환 이미지 획득 모듈(330))을 저장하기 위해 사용될 수 있다. 프로세서(401)는 메모리(402)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 실행한다. 다시 말하면, 상기 방법 실시예의 이미지 처리 방법을 구현한다.
메모리(402)는 프로그램을 저장하기 위한 영역 및 데이터를 저장하기 위한 영역을 포함할 수 있고, 여기서 프로그램을 저장하기 위한 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고; 데이터를 저장하기 위한 영역에는 이미지 처리 방법을 수행하는 전자 기기를 사용하여 생성된 데이터가 저장될 수 있다. 또한, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비 일시적 솔리드 스테이트 저장 장치와 같은 적어도 하나의 비 일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(402)는 프로세서(401)에 대해 원격으로 설정된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 이미지 처리 방법을 수행하는 전자 기기에 연결될 수 있다. 상기 네트워크의 사례는 인터넷, 인트라넷, 근거리 네트워크, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지는 않는다.
이미지 처리 방법을 수행하는 전자 기기는 입력 장치(403) 및 출력 장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력 장치(403) 및 출력 장치(404)는 버스를 통해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 4는 버스를 통한 연결을 예시한 것이다.
입력 장치(403)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 이미지 처리 방법을 수행하는 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 터치 스크린, 키 패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 이상의 마우스 버튼, 트랙 볼, 조이스틱 및 기타 입력 장치일 수 있다. 출력 장치(404)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시 방식에서, 디스플레이 장치는 터치 스크린일 수 있다
본 명세서에 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로, 집적 회로 시스템, 전용 ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시 방식은 하나 이상의 컴퓨터 프로그램에 의해 실시될 수 있고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그램 가능 프로세서의 기계 명령어가 포함되고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리 언어/기계어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장비 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 지칭한다.
사용자와의 상호 작용을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있다. 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터)와 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 포함하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 상호 작용을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 임의의 형태(음성 입력, 스피치 입력 또는 촉각 입력 포함)로 사용자에 의해 발송된 정보를 수신할 수 있다.
본 명세서에 설명된 시스템 및 기술은 백 엔드 구성 요소(예를 들어, 데이터 서버)를 포함하는 컴퓨팅 시스템 또는 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하는 컴퓨팅 시스템 또는 프론트 엔드 구성 요소(예를 들어, 예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 구현과 상호 작용할 수 있음)를 포함하는 컴퓨팅 시스템 또는 이러한 백 엔드 구성 요소, 미들웨어 구성 요소 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷이 포함될 수 있다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다.
상기에 도시된 다양한 형태의 과정을 통해 단계를 재정렬, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 설명된 각 단계들은 병렬, 순차적 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 달성할 수만 있으면, 별도로 한정되지 않는다.
상기 구체적인 실시 방식은 본 출원의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 다른 요인에 따라 다양한 변형, 조합, 하위 조합 및 대체가 이루어질 수 있다는 것을 이해해야 한다. 본 출원의 원리와 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본 출원의 보호 범위에 포함된다.

Claims (17)

  1. 이미지 처리 방법에 있어서,
    얼굴 형상이 포함되는 처리 대기 이미지를 획득하는 단계;
    상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하는 단계; 및
    상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 얼굴 특징 정보는 오관 위치, 오관 크기, 안면 윤곽 및 헤어스타일 윤곽 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 단계는,
    상기 페인팅 스타일에 매칭되는 스타일 전이 모델을 획득하고, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득하는 단계를 포함하되,
    실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 각 인물 이미지 세트의 각 인물 이미지에 매칭되는 얼굴 특징 정보를 미리 사용하고, 순환 생성적 대립 네트워크를 트레이닝시켜 스타일 전이 모델을 획득하며, 스타일 인물 이미지 세트는 상기 페인팅 스타일에 매칭되는 것을 특징으로 하는 이미지 처리 방법.
  4. 제3항에 있어서,
    실제 인물 이미지 세트 및 상기 페인팅 스타일에 매칭되는 스타일 인물 이미지 세트를 획득하는 단계;
    상기 실제 인물 이미지 세트 및 상기 스타일 인물 이미지 세트에 따라 다수의 실제 스타일 인물 이미지 페어를 생성하는 단계;
    상기 실제 스타일 인물 페어 중 각 인물 이미지에 대응되는 얼굴 특징 정보를 획득하는 단계;
    각 실제 스타일 인물 이미지 페어의 각 인물 이미지 및 각 인물 이미지의 얼굴 특징 정보를 사용하여 순환 생성적 대립 네트워크를 트레이닝시키는 단계; 및
    트레이닝 종료 조건이 만족된 것이 검출될 경우, 순환 생성적 대립 네트워크의 실제 인물을 스타일 인물에 전환하는 제너레이터를 상기 페인팅 스타일에 매칭되는 스타일 전이 모델로 하는 단계를 더 포함하되,
    순환 생성적 대립 네트워크는 실제 인물을 스타일 인물에 전환하는 제너레이터, 스타일 인물을 실제 인물에 전환하는 제너레이터, 실제 인물 판별기 및 스타일 인물 판별기를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 실제 인물 이미지 세트를 획득하는 단계는,
    표준 실제 인물 이미지 데이터베이스에서 다수의 실제 인물 이미지를 획득하여 실제 인물 이미지 세트를 구성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 실제 인물 이미지 세트의 각 실제 인물 이미지에 대해 적어도 하나의 이미지 사전 처리를 수행하고, 사전 처리된 후의 실제 인물 이미지를 상기 실제 인물 이미지 세트에 추가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제4항에 있어서,
    상기 페인팅 스타일에 매칭되는 스타일 인물 이미지 세트를 획득하는 단계는,
    표준 스타일 이미지 데이터베이스에서, 상기 페인팅 스타일에 매칭되는 표준 스타일 이미지를 획득하는 단계;
    각 상기 표준 스타일 이미지에서, 얼굴 형상이 포함된 선별 결과 이미지를 선별하는 단계; 및
    각 선별 결과 이미지에 대해 얼굴 영역 클리핑을 수행하고, 클리핑 결과에 따라 스타일 인물 이미지 세트를 구성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 이미지 처리 장치에 있어서,
    얼굴 형상이 포함되는 처리 대기 이미지를 획득하는 처리 대기 이미지 획득 모듈;
    상기 얼굴 형상에 매칭되는 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출 모듈; 및
    상기 얼굴 특징 정보에 따라 상기 처리 대기 이미지에 대해 페인팅 스타일을 설정하는 이미지 전환을 수행하여 상기 처리 대기 이미지에 매칭되는 스타일 전환 이미지를 획득하는 스타일 전환 이미지 획득 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  9. 제8항에 있어서,
    상기 얼굴 특징 정보는 오관 위치, 오관 크기, 안면 윤곽 및 헤어스타일 윤곽 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 스타일 전환 이미지 획득 모듈은,
    상기 페인팅 스타일에 매칭되는 스타일 전이 모델을 획득하고, 처리 대기 이미지 및 얼굴 특징 정보를 스타일 전이 모델에 입력하여 스타일 전환 이미지를 획득하는 스타일 전환 이미지 획득 유닛을 포함하되,
    실제 인물 이미지 세트, 스타일 인물 이미지 세트 및 각 인물 이미지 세트의 각 인물 이미지에 매칭되는 얼굴 특징 정보를 미리 사용하고, 순환 생성적 대립 네트워크를 트레이닝시켜 스타일 전이 모델을 획득하며, 스타일 인물 이미지 세트는 상기 페인팅 스타일에 매칭되는 것을 특징으로 하는 이미지 처리 장치.
  11. 제10항에 있어서,
    실제 인물 이미지 세트 및 상기 페인팅 스타일에 매칭되는 스타일 인물 이미지 세트를 획득하는 인물 이미지 세트 획득 모듈;
    상기 실제 인물 이미지 세트 및 상기 스타일 인물 이미지 세트에 따라 다수의 실제 스타일 인물 이미지 페어를 생성하는 인물 이미지 페어 생성 모듈;
    상기 실제 스타일 인물 페어 중 각 인물 이미지에 대응되는 얼굴 특징 정보를 획득하는 얼굴 특징 정보 획득 모듈;
    각 실제 스타일 인물 이미지 페어의 각 인물 이미지 및 각 인물 이미지의 얼굴 특징 정보를 사용하여 순환 생성적 대립 네트워크를 트레이닝시키는 순환 생성적 대립 네트워크 트레이닝 모듈; 및
    트레이닝 종료 조건이 만족된 것이 검출될 경우, 순환 생성적 대립 네트워크의 실제 인물을 스타일 인물에 전환하는 제너레이터를 상기 페인팅 스타일에 매칭되는 스타일 전이 모델로 하는 스타일 전이 모델 생성 모듈을 더 포함하되,
    순환 생성적 대립 네트워크는 실제 인물을 스타일 인물에 전환하는 제너레이터, 스타일 인물을 실제 인물에 전환하는 제너레이터, 실제 인물 판별기 및 스타일 인물 판별기를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 인물 이미지 세트 획득 모듈은, 표준 실제 인물 이미지 데이터베이스에서 다수의 실제 인물 이미지를 획득하여 실제 인물 이미지 세트를 구성하는 실제 인물 이미지 세트 획득 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  13. 제12항에 있어서,
    상기 실제 인물 이미지 세트의 각 실제 인물 이미지에 대해 적어도 하나의 이미지 사전 처리를 수행하고, 사전 처리된 후의 실제 인물 이미지를 상기 실제 인물 이미지 세트에 추가하는 이미지 사전 처리 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제11항에 있어서,
    상기 인물 이미지 세트 획득 모듈은,
    표준 스타일 이미지 데이터베이스에서, 상기 페인팅 스타일에 매칭되는 표준 스타일 이미지를 획득하는 표준 스타일 이미지 획득 유닛;
    각 상기 표준 스타일 이미지에서, 얼굴 형상이 포함된 선별 결과 이미지를 선별하는 선별 결과 이미지 획득 유닛; 및
    각 선별 결과 이미지에 대해 얼굴 영역 클리핑을 수행하고, 클리핑 결과에 따라 스타일 인물 이미지 세트를 구성하는 스타일 인물 이미지 세트 획득 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  15. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 제1항 내지 제7항 중 어느 한 항에 따른 이미지 처리 방법이 수행되도록 하는 것을 특징으로 하는 전자 기기.
  16. 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제7항 중 어느 한 항에 따른 이미지 처리 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체.
  17. 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제7항 중 어느 한 항에 따른 이미지 처리 방법이 실행되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.
KR1020210073499A 2020-06-12 2021-06-07 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 KR20210077655A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010537221.8 2020-06-12
CN202010537221.8A CN111738910A (zh) 2020-06-12 2020-06-12 一种图像处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20210077655A true KR20210077655A (ko) 2021-06-25

Family

ID=72649026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210073499A KR20210077655A (ko) 2020-06-12 2021-06-07 이미지 처리 방법, 장치, 전자 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US20210241498A1 (ko)
EP (1) EP3872766A3 (ko)
JP (1) JP7342062B2 (ko)
KR (1) KR20210077655A (ko)
CN (1) CN111738910A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置
CN112241729A (zh) * 2020-11-04 2021-01-19 深兰科技(上海)有限公司 智能眼镜和基于智能眼镜的场景风格迁移方法
CN112464009A (zh) * 2020-11-17 2021-03-09 百度(中国)有限公司 用于生成配对图像的方法、装置、电子设备及存储介质
CN112764845B (zh) * 2020-12-30 2022-09-16 北京字跳网络技术有限公司 视频处理方法及装置、电子设备和计算机可读存储介质
CN112734633A (zh) * 2021-01-07 2021-04-30 京东方科技集团股份有限公司 虚拟发型的替换方法、电子设备及存储介质
CN113822798B (zh) * 2021-11-25 2022-02-18 北京市商汤科技开发有限公司 生成对抗网络训练方法及装置、电子设备和存储介质
CN116934577A (zh) * 2022-04-01 2023-10-24 北京字跳网络技术有限公司 一种风格图像生成方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221812A (ja) 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN108961198B (zh) * 2018-07-09 2021-06-08 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用
CN111127304B (zh) * 2018-10-31 2024-02-20 微软技术许可有限责任公司 跨域图像转换
CN109859295B (zh) * 2019-02-01 2021-01-12 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110399712B (zh) * 2019-07-31 2022-03-22 杭州网易智企科技有限公司 基于验证码的交互验证方法、装置、介质和计算设备
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置

Also Published As

Publication number Publication date
CN111738910A (zh) 2020-10-02
EP3872766A3 (en) 2021-10-20
JP2021121966A (ja) 2021-08-26
EP3872766A2 (en) 2021-09-01
US20210241498A1 (en) 2021-08-05
JP7342062B2 (ja) 2023-09-11

Similar Documents

Publication Publication Date Title
KR20210077655A (ko) 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US11587300B2 (en) Method and apparatus for generating three-dimensional virtual image, and storage medium
JP7227292B2 (ja) 仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
KR102410328B1 (ko) 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기
US20210398334A1 (en) Method for creating image editing model, and electronic device and storage medium thereof
US20210397947A1 (en) Method and apparatus for generating model for representing heterogeneous graph node
KR102648232B1 (ko) 다중 모드 사전 훈련 모델 취득 방법, 장치, 전자 기기 및 기록 매체
CN112347769B (zh) 实体识别模型的生成方法、装置、电子设备及存储介质
US20220148239A1 (en) Model training method and apparatus, font library establishment method and apparatus, device and storage medium
CN111709875B (zh) 图像处理方法、装置、电子设备及存储介质
JP7212770B2 (ja) 絵文字パッケージ生成方法、装置、機器および記憶媒体
JP7418370B2 (ja) 髪型を変換するための方法、装置、デバイス及び記憶媒体
US11983849B2 (en) Image filling method and apparatus, device, and storage medium
CN111539897A (zh) 用于生成图像转换模型的方法和装置
US20230082715A1 (en) Method for training image processing model, image processing method, apparatus, electronic device, and computer program product
JP7393388B2 (ja) 顔編集方法、装置、電子デバイス及び可読記憶媒体
JP7267379B2 (ja) 画像処理方法、事前トレーニングモデルのトレーニング方法、装置及び電子機器
JP7270114B2 (ja) 顔キーポイントの検出方法、装置及び電子機器
JP7419226B2 (ja) 画像変換方法及び装置、画像変換モデルのトレーニング方法及び装置
CN114820867A (zh) 字形生成方法、字形生成模型的训练方法及装置
CN111680623B (zh) 姿态转换方法及装置、电子设备、存储介质
CN113223128B (zh) 用于生成图像的方法和装置
CN111833239A (zh) 图像的翻译方法和装置、图像翻译模型的训练方法和装置
CN117557674B (zh) 基于人机交互的图片处理方法、装置、设备以及存储介质
CN116843833A (zh) 三维模型生成方法、装置和电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application