KR20210084348A - 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체 - Google Patents

이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210084348A
KR20210084348A KR1020207037116A KR20207037116A KR20210084348A KR 20210084348 A KR20210084348 A KR 20210084348A KR 1020207037116 A KR1020207037116 A KR 1020207037116A KR 20207037116 A KR20207037116 A KR 20207037116A KR 20210084348 A KR20210084348 A KR 20210084348A
Authority
KR
South Korea
Prior art keywords
grid
region
point
image
keypoint
Prior art date
Application number
KR1020207037116A
Other languages
English (en)
Inventor
통 리
웬타오 리우
첸 퀴안
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210084348A publication Critical patent/KR20210084348A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/0012
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T3/0093
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체를 개시한다. 상기 이미지 처리 방법은, 제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하는 단계; 상기 제1 키포인트의 위치 정보에 기반하여, 상기 제1 키포인트를 포함하는 제1 영역을 결정하는 단계; 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하는 단계; 및 상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
관련 출원의 상호 참조
본 발명은 출원 번호가 201911360894.4이고, 출원일이 2019년 12월 25일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 이미지 기술분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체에 관한 것이다.
이미지 기술분야에서, 사용자가 사진을 찍은 후, 상기 사진에 대해 변형 처리를 수행해야 할 부분이 존재한다. 현재, 일반적으로 전체 이미지에 대해 변형을 수행하거나, 이미지에서의 부분 영역에 대해 변형을 수행하고 다른 영역에 대해서는 변형 처리를 수행하지 않는다. 이미지에서의 부분 영역에 대해 변형 처리를 수행하는 경우, 변형 처리된 영역 및 변형 처리 되지 않은 영역 사이의 전환이 매우 부자연스러워, 이미지 효과가 매우 나빠지고, 사용자를 만족시킬 수 없다.
본 발명의 실시예는 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체를 제공할 것으로 예상한다.
본 발명의 실시예의 기술방안은 하기와 같이 구현된다.
본 발명의 실시예의 제1 측면에 따르면, 이미지 처리 방법을 제공하며, 제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하는 단계; 상기 제1 키포인트의 위치 정보에 기반하여, 상기 제1 키포인트를 포함하는 제1 영역을 결정하고; 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하는 단계; 및 상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하는 단계는, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하는 단계; 변형 명령어에 따라, 상기 그리드 포인트의 제1 변위량을 결정하는 단계; 및 상기 감쇠 파라미터에 따라 상기 제1 변위량에 대해 감쇠 처리를 수행하여, 상기 제1 변위량보다 작은 제2 변위량을 얻는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계는, 상기 제2 변위량에 따라, 상기 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하는 단계는, 복수 개의 상기 제1 키포인트의 연결선 상에 위치한 픽셀 포인트를 결정하여, 제1 집합을 얻는 단계; 상기 제1 집합 내의 픽셀 포인트와 상기 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻는 단계 - 상기 제2 집합은, 상기 변형 그리드에서 상기 제1 집합 내의 각 픽셀 포인트와 가장 가까운 목표 그리드 포인트를 포함함 - ; 및 상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계는, 각 상기 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 상기 제2 집합에서의 각 상기 목표 그리드 포인트를 각각 순회하여, 상기 제2 집합에서의 각 상기 목표 그리드 포인트가 각 상기 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻는 단계; 및 상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계는, 상기 제2 집합에서 임의의 하나의 상기 목표 그리드 포인트가 복수 개의 상기 제1 키포인트의 소정의 방향에 위치하는 경우, 복수 개의 상기 제1 키포인트에 대응하는 상기 간격 순서에 따라, 상기 감쇠 파라미터의 후보값을 결정하는 단계; 및 상기 후보값 중 최대값을, 임의의 하나의 상기 목표 그리드 포인트의 상기 감쇠 파라미터로 선택하는 단계를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 부위는 상지이고; 상기 제1 이미지에서의 목표에 포함된 제1 부위의 키포인트의 위치 정보를 획득하는 단계는, 상기 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하는 단계를 포함하고, 상기 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 이미지 처리 방법은, 상기 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하는 단계; 및 상기 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 상기 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함한다.
본 발명의 실시예에서 개시한 이미지 처리 장치는, 제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하도록 구성된 획득 모듈; 상기 제1 키포인트의 위치 정보에 기반하여, 상기 제1 키포인트를 포함하는 제1 영역을 결정하도록 구성된 제1 결정 모듈; 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하도록 구성된 제2 결정 모듈; 및 상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된 제어 모듈을 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제2 결정 모듈은, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하고; 변형 명령어에 따라, 상기 그리드 포인트의 제1 변위량을 결정하며; 상기 감쇠 파라미터에 따라 상기 제1 변위량에 대해 감쇠 처리를 수행하여, 상기 제1 변위량보다 작은 제2 변위량을 얻도록 구성된다.
본 발명의 일부 선택적인 실시예에서, 상기 제어 모듈은, 상기 제2 변위량에 따라, 상기 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻도록 구성된다.
본 발명의 일부 선택적인 실시예에서, 상기 제2 결정 모듈은, 복수 개의 상기 제1 키포인트의 연결선 상에 위치한 픽셀 포인트를 결정하여, 제1 집합을 얻고; 상기 제1 집합 내의 픽셀 포인트와 상기 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻으며 - 상기 제2 집합은, 상기 변형 그리드에서 상기 제1 집합 내의 각 픽셀 포인트와 가장 가까운 목표 그리드 포인트를 포함함 - ; 상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하도록 구성된다.
본 발명의 일부 선택적인 실시예에서, 상기 제2 결정 모듈은, 각 상기 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 상기 제2 집합에서의 각 상기 목표 그리드 포인트를 각각 순회하여, 상기 제2 집합에서의 각 상기 목표 그리드 포인트가 각 상기 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻고; 상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하도록 구성된다.
본 발명의 일부 선택적인 실시예에서, 상기 제2 결정 모듈은, 상기 제2 집합에서 임의의 하나의 상기 목표 그리드 포인트가 복수 개의 상기 제1 키포인트의 소정의 방향에 위치하는 경우, 복수 개의 상기 제1 키포인트에 대응하는 상기 간격 순서에 따라, 상기 감쇠 파라미터의 후보값을 결정하고; 상기 후보값 중 최대값을, 임의의 하나의 상기 목표 그리드 포인트의 상기 감쇠 파라미터로 선택하도록 구성된다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 부위는 상지이고; 상기 획득 모듈은, 상기 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하도록 구성되고, 상기 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함한다.
본 발명의 일부 선택적인 실시예에서, 상기 제1 결정 모듈은 또한, 상기 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하도록 구성되고;
상기 제어 모듈은 또한, 상기 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 상기 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된다.
본 발명의 실시예의 제3 측면에 따르면, 이미지 처리 기기를 제공하며, 메모리; 및 상기 메모리에 연결되어, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써 전술한 임으의 기술방안에서 제공하는 이미지 처리 방법을 구현하기 위한 프로세서를 포함한다.
본 발명의 실시예의 제4 측면에 따르면, 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 저장 매체를 제공하며, 상기 컴퓨터 실행 가능 명령어가 프로세서에 의해 실행된 후, 전술한 임의의 기술방안에서 제공하는 이미지 처리 방법을 구현할 수 있다.
본 발명의 실시예에서 제공한 기술방안은, 변형 그리드를 사용하여 전체 제1 이미지에 대해 변형을 수행하기 전에, 제1 부위의 제1 키포인트를 먼저 결정할 수 있고, 다음 제1 키포인트에 기반하여 보호해야 할 제1 영역 내의 픽셀 포인트를 얻으며, 변형 수행 시, 제1 영역 내의 그리드 포인트의 변위량은 단일한 변형 명령어에만 기반하여 결정되는 것이 아닌, 상기 제1 영역 내의 그리드 포인트와 픽셀 포인트 사이의 상대적 위치에 따라 결정된다. 이런 방식으로, 그리드 포인트와 픽셀 포인트 사이의 상대적 위치를 도입하여 그리드 포인트의 변위량을 결정함으로써, 제1 영역 내의 그리드 포인트의 변위량에 대한 정확한 제어를 구현할 수 있어, 동일한 이미지 내의 상이한 영역 내의 픽셀의 변형에 대한 정밀한 제어를 구현할 수 있으므로, 이미지 변형 효과를 효과적으로 향상시킨다.
도 1은 본 발명의 실시예에서 제공한 이미지 처리 방법의 흐름 모식도이다.
도 2a는 본 발명의 실시예에서 제공한 제1 이미지 상에 배치된 표준 변형 그리드의 사용도이다.
도 2b는 본 발명의 실시예에서 제공한 제1 영역 및 제2 영역의 모식도이다.
도 3은 본 발명의 실시예에서 제공한 결정 감쇠 파라미터의 흐름 모식도이다.
도 4는 본 발명의 실시예에서 제공한 키포인트의 연결선 및 제2 집합의 그리드 포인트의 모식도이다.
도 5는 본 발명의 실시예에서 제공한 이미지 처리 장치의 구조 모식도이다.
도 6은 본 발명의 실시예에서 제공한 이미지 처리 기기의 구조 모식도이다.
아래에 본 명세서의 첨부 도면 및 구체적인 실시예를 결합하여 본 발명의 실시예의 기술방안에 대해 상세히 설명하고자 한다.
본 발명의 실시예의 용어는 다만 특정된 실시예를 설명하기 위한 것이며, 본 발명의 실시예를 한정하려는 것은 아니다. 본 발명의 실시예 및 청구 범위에 사용된 단수 형태인 “한 가지” 및 "상기”는 본문이 다른 의미를 명확하게 나타내지 않는 한, 복수 형태를 포함한다. 또한 이해해야 할 것은, 본발명의 실시예에 사용된 용어 “및/또는”은 하나 또는 복수 개의 관련되어 열거된 항목의 임의의 조합 또는 모든 가능한 조합을 의미하고 포함한다.
이해해야 할 것은, 비록 제 1, 제 2, 제 3 등의 용어가 본 발명의 실시예에서 다양한 정보를 설명하기 위해 사용될 수 있지만, 이러한 정보는 이러한 용어에 의해 한정되지 않아야 한다. 이러한 용어는 한 타입의 정보를 다른 타입과 구별하기 위해서만 사용된다. 예컨대 본 발명 실시예의 범위를 벗어나지 않는 한, 제1 정보는 제2 정보로 지칭될 수 있고, 마찬가지로 제2 정보도 제1 정보로 지칭될 수 있다. 문맥에 따라, 본문에 사용되는 용어 "....면"은 상황에 따라 "....할 때" 또는 "....할 경우" 또는 "...결정에 응답하여"를 의미하는 것으로 이해 될수 있다.
도 1에 도시된 바와 같이, 본 발명의 실시예는 이미지 처리 방법을 제공하며, 다음의 단계를 포함한다.
단계 S110에 있어서, 제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득한다.
단계 S120에 있어서, 제1 키포인트의 위치 정보에 기반하여, 제1 키포인트를 포함하는 제1 영역을 결정한다.
단계 S130에 있어서, 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 제1 영역 내의 그리드 포인트의 변위량을 결정한다.
단계 S140에 있어서, 제1 영역 내의 그리드 포인트의 변위량에 따라, 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는다.
본 실시예에서 제공한 이미지 처리 방법은, 이미지 처리 기능이 있는 전자 기기에 적용될 수 있다. 예시적으로, 상기 이미지 기기는 다양한 단말 기기를 포함할 수 있으며, 상기 단말 기기는, 휴대폰 또는 웨어러블 기기 등을 포함한다. 상기 단말 기기는 차량용 단말 기기, 또는 이미지 수집 전용으로 특정 위치에 고정된 고정 단말 기기를 더 포함할 수 있다. 다른 일부 실시예에서, 이미지 기기는, 로컬 서버, 또는 클라우드 플랫폼에 위치하여 이미지 처리 서비스의 클라우드 서버 등과 같은 서버를 더 포함할 수 있다.
일부 실시예에서, 목표 대상은 예를 들어 인체, 동물, 또는 가상의 3 차원 모델로부터 렌더링된 가상 대상 등이며, 본 발명은 목표 대상의 구체적인 형태에 대해 한정하지 않는다. 목표 대상의 제1 부위는 지체 부위일 수 있고, 예를 들어, 목표 대상이 인체인 경우, 목표 대상의 제1 부위는, 팔, 다리 또는 복부 등일 수 있으며, 본 발명의 실시예는 이에 한정되지 않는다.
본 실시예에서, 이미지의 변형 처리를 수행하기 전에, 제1 이미지는 복수 개의 영역으로 분할될 수 있고, 제1 영역은 복수 개의 영역 중 하나 또는 복수 개의 영역을 포함할 수 있다.
일부 실시예에서, 제1 영역은 변형을 억제해야 하는 제1 부위를 포함한 영역일 수 있거나, 제1 영역은 변형을 강화해야 하는 제1 부위를 포함하는 영역일 수 있다. 예시적으로, 변형을 강화해야 하는 제1 부위의 영역은 변형해야 할 정도가 비교적 큰 영역일 수 있고; 변형을 억제해야 하는 제1 부위의 영역은 변형해야 할 정도가 비교적 작은 영역일 수 있다.
본 실시예에서, 제1 이미지를 획득한 후에, 제1 이미지에 대해 변형 처리를 수행하기 전에, 변형 그리드를 결정할 수 있다. 예를 들어, 제1 이미지에 변형 그리드를 배치한다. 예시적으로, 변형 그리드는, 가로선 및 세로선이 교차하여 형성된 그리드 포인트를 포함할 수 있다. 변형 그리드에 포함된 가로선을 위선이라 할 수 있고, 세로선을 경선이라고 할 수 있으며; 변형 그리드 내의 선은 경위선이라 통칭할 수 있다. 제1 이미지에 대해 변형 처리를 수행하기 전에, 경위선은 표준적인 가로선 및 세로선 방향으로 배치된 직선일 수 있다.
경위선으로 구성된 변형 그리드에 대해 일치한 변형을 수행하면, 이미지에서의 각 영역의 변형 진폭은 동일하여, 변형이 필요하지 않게 하여, 변형해야 할 정도가 비교적 작거나 변형해야 할 정도가 비교적 큰 영역도 일치한 변형 진폭에 따라 변형이 수행될 수 있으며, 일치한 변형 진폭에 따른 변형 방식은, 생성된 제2 이미지가 부조화를 이루는 현상이 발생함으로써, 제1 이미지의 변형 효과가 저하될 수 있다.
도 2a는 기설정된 변형 그리드가 배치된 모식도이다. 도 2b는 도 2a의 인물을 예로 들어, 우측 상지 영역을 제1 영역으로 결정한다.
본 실시예에서, 먼저 제1 이미지에서 목표에 포함된 제1 부위의 제1 키포인트를 결정한다. 예시적으로, 상기 제1 키포인트는 제1 부위의 골격 키포인트 또는 윤곽 키포인트일 수 있으며, 골격 키포인트는 인체의 뼈 또는 동물의 뼈가 위치하는 키포인트이다. 윤곽 키포인트는 인체나 동물의 표면에 나타나는 윤곽의 키포인트일 수 있다. 이해할 수 있는 것은, 제1 키포인트는 제1 부위에 위치한 포인트일 수 있고, 제1 부위의 포인트를 포지셔닝하는데 사용될 수 있으며, 골격 키포인트의 분포 위치는 제1 부위가 제1 이미지에서의 위치를 결정한다. 따라서, 본 실시예에서, 하나 또는 복수 개의 골격 키포인트의 위치에 기반하여, 제1 영역을 결정할 수 있다.
본 실시예에서, 단계 S120에서, 제1 키포인트의 위치 정보에 기반하여, 제1 영역의 경계를 적어도 결정하고; 제1 영역의 경계에 기반하여 제1 영역을 결정할 수 있다. 단계 S130에서, 제1 영역을 결정한 후, 제1 영역 내의 픽셀 포인트를 얻을 수 있다.
본 실시예에서, 기설정된 변형 그리드를 사용하여 이미지 변형을 수행하는 변형 방법을 그리드 변형이라 한다. 일부 실시예에서, 기설정된 변형 그리드를 사용하여 이미지 변형을 수행할 때, 제1 영역 내의 픽셀 포인트는 이동할 위치의 픽셀 포인트이며, 픽셀 포인트의 위치를 이동한 후, 픽셀 포인트 사이의 간격 크기는 변경될 수 있다.
일부 실시예에서, 단계 S140은, 제1 영역 내의 그리드 포인트의 변위량에 따라, 제1 영역 내의 픽셀 포인트 사이의 밀집도가 조정됨으로써, 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함할 수 있다.
이런 방식으로, 제1 이미지에서의 제1 부위의 키포인트를 결정한 후, 제1 키포인트에 기반하여 제1 영역 내의 픽셀 포인트를 얻고; 이미지 변형 수행 시, 제1 영역 내의 그리드 포인트의 변위량은 단일한 변형 명령어에만 기반하여 결정되는 것이 아닌, 상기 영역 내의 그리드 포인트와 픽셀 포인트 사이의 상대적 위치에 기반하여 결정된다. 이런 방식으로, 제1 영역 내의 그리드 포인트의 변위량에 대한 정확한 제어를 통해, 이미지의 상이한 영역 내의 픽셀 변형(즉 픽셀 포인트 사이의 간격 크기)의 정밀한 제어를 구현함으로써, 이미지 변형 효과를 향상시킬 수 있다.
본 발명의 일부 선택적인 실시예에서, 단계 S130은, 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 그리드 포인트의 변위량의 감쇠 파라미터를 결정하고; 변형 명령어에 따라, 그리드 포인트의 제1 변위량을 결정하는 단계; 및 감쇠 파라미터에 따라 제1 변위량에 대해 감쇠 처리를 수행하여, 제1 변위량보다 작은 제2 변위량을 얻는 단계를 포함할 수 있다.
본 실시예에서, 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라 제1 영역 내의 특정 픽셀과 각 그리드 포인트사이의 거리를 얻어, 상기 거리에 따라 그리드 포인트의 변위량의 감쇠 파라미터의 크기를 결정할 수 있다. 예를 들어, 상기 특정 픽셀 포인트는 제1 키포인트의 위치에 있는 픽셀 포인트일 수 있거나, 또는, 상기 특정 픽셀 포인트는 제1 키포인트의 위치 근처에 있는 픽셀 포인트일 수 있다. 여기서는 전술한 상대적 위치에 기반하여, 제1 영역 내의 그리드 포인트의 변위량의 감쇠 파라미터에 대한 한 가지 예일 뿐이며, 이에 한정되는 것은 아니다.
본 실시예에서, 변형 명령어는 인간-컴퓨터 인터랙션 인터페이스에 따라 수신된 사용자 입력에 의해 생성된 명령어이거나, 또는, 원키 뷰티 또는 바디 뷰티와 같은 이미지 사전 설정 처리 기능에 기반하여 생성된 명령어일 수 있다. 예를 들어, 이미지에서의 인물에 대한 허리 자동 보정 기능이 있는 경우, 이미지 처리 기기는 허리 자동 보정 기능에 따라 대응하는 변형 명령어를 생성할 수 있다. 상기 변형 명령어는 변형 파라미터를 포함할 수 있으며, 예시적으로, 상기 변형 파라미터는 상기 제1 변위량을 포함할 수 있다.
제1 변위량을 결정한 후, 감쇠 파라미터 및 제1 변위량을 기지수로 사용하여, 각 제1 변위량에 대해 감쇠 처리를 수행함으로써, 제1 변위량보다 작은 제2 변위량을 얻는다.
본 발명의 일부 선택적인 실시예에서, 감쇠 파라미터는 제1 영역 내의 그리드 포인트를 감소하기 위한 변위량의 파라미터이다. 제1 영역 내의 픽셀 포인트의 변형 진폭과 제1 영역 내의 그리드 포인트의 변위량은 정의 상관 관계를 가지고, 즉 그리드 포인트의 변위량이 클수록, 제1 영역 내의 픽셀 포인트의 변형 진폭도 크며; 이에 따라, 그리드 포인트의 변위량이 작을 수록, 제1 영역 내의 픽셀 포인트의 변형 진폭도 작다.
일부 선택적인 실시예에서, 감쇠 파라미터는 감쇠 계수 및 감쇠 값 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
감쇠 계수에 있어서, 감쇠 계수는 감쇠 비율이라고도 하며; 예를 들어, 변형 명령어에 따라 제1 영역 내의 각 그리드 포인트의 원래 제1 변위량을 계산하여 얻고, 상기 제1 변위량과 상기 감쇠 계수를 곱셈하여, 제1 영역 내의 각 그리드 포인트의 최종 제2 변위량을 얻는다.
감쇠 값에 있어서, 상기 감쇠값이 양의 값이면, 원래의 제1 변위량에서 상기 감쇠값을 감하여, 원래의 제1 변위량보다 더 작은 제2 변위량을 얻을 수 있다.
본 발명의 일부 선택적인 실시예에서, 단계 S140은, 제2 변위량에 따라, 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함할 수 있다.
예시적으로, 제2 변위량에 따라 제1 영역 내의 일부 인접한 픽셀 포인트 사이의 간격을 확대하거나, 및/또는, 제2 변위량에 따라 제1 영역 내의 일부 인접한 픽셀 포인트 사이의 간격을 축소함으로써, 변형된 제1 영역은 인접한 픽셀 포인트의 등 간격의 특성에서 인접한 픽셀 포인트 사이의 부등 간격의 특성으로 변환된다. 예를 들어, 그리드 포인트 A의 제2 변위량이 그리드 포인트 B의 제2 변위량보다 크면, 그리드 포인트 A에 의해 제어되는 픽셀 포인트 사이의 간격 변화량은, 그리드 포인트 B에 의해 제어되는 픽셀 포인트 사이의 간격 변화량보다 크다.
예를 들어, 허리 영역에 포함된 인접한 픽셀 포인트 사이의 간격이 감소되면, 허리에 대응하는 픽셀 포인트의 총 개수가 변하지 않는 조건 하에서, 허리가 날씬해지는 효과를 달성한다. 가슴 영역에 포함된 인접한 픽셀 포인트 사이의 간격이 증가하면, 가슴에 대응하는 픽셀 포인트의 총 개수가 변하지 않는 조건 하에서, 가슴 확대 효과를 달성한다.
이런 방식으로, 제1 영역 내의 인접한 픽셀 포인트 사이의 간격의 변화가 클수록, 대응하는 부위 또는 영역의 변형 진폭이 커진다. 반대로, 제1 영역 내의 인접한 픽셀 포인트 사이의 간격의 변화가 작을수록, 대응하는 부위 또는 영역의 변형 진폭도 작아진다.
본 실시예에서, 제1 영역 내의 그리드 포인트의 변위량에 대해 감쇠 처리를 수행함으로써, 변형 명령어에 기반하여 얻은 제1 변위량을 제2 변위량으로 축소하며, 이런 방식으로, 제1 영역의 변형 진폭을 억제(즉 약화)할 수 있으므로, 제1 영역 및 다른 영역의 변형 진폭이 상이하여, 상이한 영역의 상이한 변형 진폭의 변형 수요를 만족시킬 수 있음으로써, 제1 이미지가 제2 이미지로 변형되는 변형 효과를 향상시킨다.
본 발명의 일부 선택적인 실시예에서, 도 3에 도시된 바와 같이, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 그리드 포인트의 변위량의 감쇠 파라미터를 결정하는 단계는, 다음의 단계를 포함할 수 있다.
단계 301에 있어서, 복수 개의 제1 키포인트의 연결선 상에 위치한 픽셀 포인트를 결정하여, 제1 집합을 얻는다.
단계 302에 있어서, 제1 집합 내의 픽셀 포인트와 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻으며, 여기서, 제2 집합은, 변형 그리드에서 제1 집합 내의 각 픽셀 포인트와 가장 가까운 목표 그리드 포인트를 포함한다.
단계 303에 있어서, 제2 집합에서의 각 목표 그리드 포인트와 제1 집합에서 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 제2 집합에서의 각 목표 그리드 포인트의 감쇠 파라미터를 결정한다.
본 실시예에서, 제1 키포인트를 결정한 후, 연결선에 인접한 제1 키포인트로부터 직접 하나 또는 복수 개의 연결선을 얻으며, 이러한 연결선 상에 위치한 픽셀 포인트는 제1 집합을 형성한다. 도 4를 참조하면, 제1 키포인트의 연결선 상의 픽셀 포인트는 제1 집합을 형성한다. 제1 집합을 얻은 후, 변형 그리드에서의 각 그리드 포인트와 제1 집합에서의 픽셀 포인트의 상대적 위치에 따라, 제1 집합에서의 각 픽셀 포인트에 가장 가까운 그리드 포인트를 목표 그리드 포인트로 찾아, 제2 집합을 형성한다.
여기서, 제1 집합은 제1 키포인트의 연결선 상의 픽셀 포인트에 의해 형성되고; 제2 집합은 상기 연결선에 인접한 목표 그리드 포인트를 포함한다. 따라서, 제1 집합은 픽셀 포인트의 집합이고, 제2 집합은 그리드 포인트의 집합이며, 구체적으로 목표 그리드 포인트의 집합이다.
변형 과정에서, 제1 이미지의 변형은 변형 그리드의 그리드 포인트에 기반하여 수행되기 때문이다. 제2 집합에서의 목표 그리드 포인트로 둘러싸인 영역은 상기 제1 영역이다.
본 실시예에서, 제1 집합에서 목표 그리드 포인트에 의해 제어되는 픽셀 포인트는, 목표 그리드 포인트와 가장 가까운 픽셀 포인트일 수 있다. 이해할 수 있는 것은, 제2 집합에서의 각각의 목표 그리드 포인트의 감쇠 파라미터는, 각 목표 그리드 포인트와 제1 키포인트에 의해 형성되는 연결선에서 픽셀 포인트 사이의 상대적 위치에 따라 결정될 수 있다.
예시적으로, 한편으로, 제2 집합에서의 목표 그리드 포인트에서, 일부는 제1 키포인트에 가깝고, 일부는 제1 키포인트에서 멀리 떨어져 있다. 제2 집합에서 제1 키포인트에 가까운 목표 그리드 포인트는, 제1 키포인트와 멀리 떨어진 목표 그리드 포인트보다, 더 큰 감쇠 파라미터를 갖는다. 다른 한편으로, 제1 집합 내의 픽셀 포인트는 제1 영역 내의 부분 픽셀 포인트일 수 있다. 제1 영역에서의 제1 집합을 제외한 나머지 픽셀 포인트에서, 일부 픽셀 포인트는 제1 집합에서의 픽셀 포인트에 가깝고, 일부 픽셀 포인트는 제1 집합에서의 픽셀 포인트에서 멀리 떨어져 있다. 제1 집합에서의 픽셀 포인트에서 멀리 떨어진 픽셀 포인트는, 일반적으로 제1 키포인트에서 멀리 떨어진 목표 그리드 포인트에 의해 제어되므로, 제1 키포인트에서 멀리 떨어진 픽셀 포인트의 감쇠 변형 진폭은, 제1 키포인트에 가까운 픽셀 포인트의 감쇠 변형 진폭보다 작다.
본 발명의 일부 선택적인 실시예에서, 단계 303은, 각 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 제2 집합에서의 각 목표 그리드 포인트를 각각 순회하여, 제2 집합에서의 각 목표 그리드 포인트가 각 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻는 단계; 및 간격 순서에 따라, 제2 집합에서의 각 목표 그리드 포인트의 감쇠 파라미터를 결정하는 단계를 포함할 수 있다.
일부 실시예에서, 제2 집합에서의 각 목표 그리드 포인트와, 제1 집합에서의 각 픽셀 포인트 사이의 최소 거리에 따라, 제2 집합 내의 각 목표 그리드 포인트의 감쇠 파라미터를 결정할 수 있다. 상기 최소 거리는 상기 간격 순서에 사용되는 간격의 선택적인 예이다. 예를 들어, 제1 집합이 M 개의 픽셀 포인트를 포함한다고 가정하면, 제2 집합은 N 개의 목표 그리드 포인트를 포함한다. M 및 N은 모두 양의 정수이다. 상기 N 개의 목표 그리드 포인트와 M 개의 픽셀 포인트는 M 개의 거리를 가지므로, N 개의 목표 그리드 포인트에서의 각각의 목표 그리드 포인트에 대응하는 M 개의 거리 중 최소 거리를 결정한다. N 개의 목표 그리드 포인트에 대응하는 최소 거리에 대해 정렬을 수행하여, 상기 간격 순서를 얻는다. 상기 최소 거리가 작을수록, 대응하는 간격 순서는 앞에 있고, 대응하는 목표 그리드 포인트의 감쇠 파라미터는 더욱 크며; 이에 따라, 상기 최소 거리가 클수록, 대응하는 간격 순서는 뒤에 있으며, 대응하는 목표 그리드 포인트의 감쇠 파라미터는 더욱 작다. 이런 방식으로, 그리드 포인트와 제1 키포인트 사이의 상대적 위치는, 상기 간격 또는 간격 순서로 표현될 수 있다.
그러나 이러한 방식이 제1 부위에서의 포즈가 특별한 경우, 제1 부위의 중심 위치에 가장 가까운 그리드 포인트의 감쇠 파라미터가 작아져, 이미지 효과가 예상과 다른 현상이 발생할 수 있다.
본 실시예에서, 각 제1 키포인트를 순회의 시작 위치로 취하여, 제2 집합에서의 각각의 목표 그리드 포인트를 순회함으로써, 제2 집합에서의 각각의 목표 그리드 포인트가 상기 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻는다. 예시적으로, 상기 소정의 방향은, 제1 부위의 변형을 억제해야 하는 방향이거나, 변형을 금지해야 하는 방향일 수 있다. 일부 실시예에서, 상기 소정의 방향은, 변형 그리드의 가로선 방향 및 세로선 방향에서, 제1 키포인트에 대응하는 연결선 협각이 비교적 큰 방향일 수 있다. 다른 일부 실시예에서, 상기 소정의 방향은, 변형 그리드의 가로선 방향 및 세로선 방향에서, 제1 키포인트에 의해 형성된 연결선의 전체 연장 방향과 협각이 비교적 큰 방향일 수 있다. 다른 일부 실시예에서, 상기 소정의 방향은, 변형 그리드의 가로선 방향 및 세로선 방향에서 제1 부위의 연장 방향과 협각이 비교적 큰 방향일 수 있다. 일반적인 경우, 제2 집합에서의 하나의 그리드 포인트는 다만 하나의 픽셀 포인트의 소정의 방향에만 위치할 수 있다.
본 실시예에서, 상기 간격 순서는 대응하는 감쇠 파라미터와 일정한 상관성을 가질 수 있다. 예를 들어, 감쇠 파라미터가 목표 그리드 포인트의 제1 변위량의 감쇠에 직접 사용되면, 간격 순서가 앞에 있을수록, 감쇠 파라미터의 값은 작아진다.
일부 선택적인 실시예에서, 상기 간격 순서에 따라, 제2 집합에서의 목표 그리드 포인트의 감쇠 파라미터를 결정하는 단계는, 제2 집합에서의 임의의 하나의 목표 그리드 포인트가 복수 개의 제1 키포인트의 소정의 방향에 위치한 경우, 각 제1 키포인트에 대응하는 간격 순서에 따라, 감쇠 파라미터의 후보값을 결정하는 단계; 및 후보값에서의 최대값을, 임의의 하나의 목표 그리드 포인트의 감쇠 파라미터로 선택하는 단계를 포함한다.
본 실시형태에서, 제2 집합에서의 하나의 목표 그리드 포인트가 복수 개의 제1 키포인트의 소정의 방향에 위치할 경우, 복수 개의 간격 순서를 결정할 수 있다. 이 경우, 하나의 간격 순서는 하나의 감쇠 파라미터에 대응한다. 이러한 방식으로 상이한 제1 키포인트의 간격 순서에 대응하는 목표 그리드 포인트를 얻을 수 있어, 복수 개의 감쇠 파라미터의 후보 파라미터값을 얻을 수 있다. 마지막으로 복수 개의 감쇠 파라미터의 후보값 중 최대값을, 상기 목표 그리드 포인트의 감쇠 파라미터로 선택하며, 이런 방식으로, 제1 키포인트에 의해 형성된 연결선에 가까울수록 목표 그리드 포인트의 감쇠 파라미터가 커지는 상황을 확보한다.
본 발명의 일부 선택적인 실시예에서, 제1 부위는 상지이다. 상기 상지는, 위팔, 팔뚝 및/또는 손 중 적어도 하나를 포함할 수 있다.
본 발명의 일부 선택적인 실시예에서, 단계 S110은, 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하는 단계를 포함할 수 있고, 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함한다. 상기 제1 키포인트의 연결선은, 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트에서 손 키포인트 중 적어도 하나의 키포인트까지의 순차적인 연결선일 수 있다. 상기 제1 집합에 포함된 픽셀 포인트는, 어깨 키포인트와 팔꿈치 관절 키포인트 사이의 연결선 상의 픽셀 포인트, 팔꿈치 관절 키포인트와 손목 키포인트 사이의 연결선 상의 픽셀 포인트, 손목 키포인트에서 손 키포인트 사이의 연결선 상의 픽셀 포인트 중 적어도 하나를 포함할 수 있다.
본 발명의 일부 선택적인 실시예에서, 이미지 처리 방법은, 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하는 단계; 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 더 포함한다. 여기서, 제1 부위는 제2 부위와 상이하다. 도 2b를 참조하면, 또한 우측 상지 이외의 허리 영역을 제2 영역으로 결정할 수 있다.
본 발명의 실시예에서, 제1 영역 내 및 제2 영역 내의 그리드 포인트의 제1 변위량은, 모두 변형 명령어에 따라 결정된 초기 변위량일 수 있다.
변형 진폭은 그리드 포인트의 변위량에 의해 제어될 수 있다. 따라서, 본 실시예에서, 제1 영역은 변형을 억제해야 하는 영역일 수 있으며, 제2 영역은 변형을 수행해야 하는 영역일 수 있다. 기설정된 변형 그리드를 사용하여 변형을 수행하는 과정에서, 감쇠 파라미터에 기반하고, 동일한 변형 명령어에 기반하는 경우, 제1 영역의 변형 진폭을 제2 영역의 변형 진폭보다 작게 할 수 있다. 여기서, 변형 진폭에 대응하는 변형 방향은, 대응 영역의 변형 부위의 증가, 축소, 회전, 미러링, 선 모양의 변경 등 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
예를 들어, 이미지에서의 인체에 대해 변형 처리를 수행할 때, 변형 처리된 제1 부위가 허리이면, 기설정된 변형 그리드를 사용하여 허리 축소 변형 처리를 수행하는 과정에서, 인물의 중심을 향해 허리를 축소할 때, 허리 근처의 팔은 연장으로 인한 변형이 발생할 수 있다.
허리 변형이 팔에 대한 부정적인 영향을 줄이기 위해, 본 실시예에서, 팔이 있는 이미지 영역을 제1 영역으로 설정하고, 허리가 있는 이미지 영역을 제2 영역으로 설정할 수 있다. 이런 방식으로, 본 실시예에서 감쇠 파라미터를 통해 제1 영역 및 제2 영역으로 하여금 동일한 하나의 변형 그리드를 사용하여 변형을 수행하게 할 때, 제1 영역의 변형 진폭은 작아지고, 제2 영역의 변형 진폭은 커지며; 이런 방식으로, 한편으로, 제2 영역의 큰 변형을 통해 허리 축소 효과를 얻을 수 있고; 다른 한편으로, 제1 영역의 감쇠 파라미터를 통해 팔의 모양을 유지함으로써; 전체 이미지의 변형 효과를 향상시킨다.
일부 실시예에서, 제1 영역 및 제2 영역은 인접한 두 영역일 수 있다.
다른 일부 실시예에서, 제1 영역 및 제2 영역은 두 개의 분리된 영역일 수 있다. 예를 들어, 제1 영역 및 제2 영역 사이에 제3 영역이 설정되고; 제2 영역은 변형해야 하는 제2 부위의 영역을 포함하고; 제1 영역은 변형을 억제해야 하는 제1 부위의 영역을 포함하며; 제3 영역은 제1 부위 영역 및 제2 부위의 영역을 포함하지 않는다.
일부 실시예에서, 제1 영역(예를 들어, 제2 영역) 내에서 그리드 포인트가 변형될 때의 위치 매핑 공식은 다음과 같다.
src+(dst-src) (1)
여기서, src는 그리드 포인트 변형 전의 위치이고; dst는 그리드 포인트 변형 후의 위치이며; dst-src는 제1 변위량이다.
제1 영역 내의 그리드 포인트가 변형될 때에 사용하는 제2 변위량의 계산 공식 (2) 또는 공식 (3)은 다음과 같다.
src+(dst-src)*(1-s) (2)
여기서, src는 그리드 포인트 변형 전의 위치이고; dst는 그리드 포인트 변형 후의 위치이며; dst-src는 제1 변위량이고, s는 감쇠 파라미터 중의 감쇠 계수이다. 예시적으로, s의 값의 범위는 0에서 1 사이의 임의의 수치일 수 있다. (dst-src)*(1-s)는 제1 변위량보다 작은 제2 변위량을 나타낸다.
src+(dst-src)-S (3)
여기서, src는 그리드 포인트 변형 전의 위치이고; dst는 그리드 포인트 변형 후의 위치이며; dst-src는 제1 변위량이고, S는 감쇠 파라미터 중의 감쇠값이다. 예시적으로, S의 값의 범위는 임의의 양의 정수이다. src +(dst-src)-S는 제1 변위량보다 작은 제2 변위량이다.
도 5에 도시된 바와 같이, 본 발명의 실시예는 또한 이미지 처리 장치를 제공하며, 상기 이미지 처리 장치는,
제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하도록 구성된 획득 모듈(510);
제1 키포인트의 위치 정보에 기반하여, 제1 키포인트를 포함하는 제1 영역을 결정하도록 구성된 제1 결정 모듈(520);
제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 제1 영역 내의 그리드 포인트의 변위량을 결정하도록 구성된 제2 결정 모듈(530); 및
제1 영역 내의 그리드 포인트의 변위량에 따라, 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된 제어 모듈(540)을 포함한다.
본 실시예에서 제공한 이미지 처리 장치는 단말 기기 또는 서버와 같은 이미지 변형을 위한 다양한 전자 기기에 적용된다.
일부 실시예에서, 상기 획득 모듈(510), 제1 결정 모듈(520), 제2 결정 모듈(530) 및 제어 모듈(540)은 모두 프로그램 모듈이며, 프로그램 모듈은 프로세서에 의해 실행될 후, 상기 임의의 모듈의 기능을 구현할 수 있다.
다른 일부 실시예에서, 상기 획득 모듈(510), 제1 결정 모듈(520), 제2 결정 모듈(530) 및 제어 모듈(540)은 모두 소프트웨어와 하드웨어 결합 모듈일 수 있고, 소프트웨어와 하드웨어 결합 모듈은 다양한 프로그래머블 어레이를 포함할 수 있으며; 상기 프로그래머블 어레이는 현장 프로그래머블 어레이 또는 복잡한 프로그래머블 어레이를 포함하지만 이에 한정되지 않는다.
또 다른 일부 실시예에서, 상기 획득 모듈(510), 제1 결정 모듈(520), 제2 결정 모듈(530) 및 제어 모듈(540)은 모두 순수 하드웨어 모듈이고; 순수 하드웨어 모듈은 주문형 반도체를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시예에서, 상기 제2 결정 모듈(530)은, 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 그리드 포인트의 변위량의 감쇠 파라미터를 결정하고; 변형 명령어에 따라, 그리드 포인트의 제1 변위량을 결정하며; 감쇠 파라미터에 따라 제1 변위량에 대해 감쇠 처리를 수행하여, 제1 변위량보다 작은 제2 변위량을 얻도록 구성된다.
일부 실시예에서, 상기 제어 모듈(540)은, 제2 변위량에 따라, 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻도록 구성된다.
일부 실시예에서, 상기 제2 결정 모듈(530)은 또한, 복수 개의 제1 키포인트의 연결선 상에 위치한 픽셀 포인트를 결정하여, 제1 집합을 얻고; 제1 집합 내의 픽셀 포인트와 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻고 - 제2 집합은, 변형 그리드에서 제1 집합 내의 각 픽셀 포인트와 가장 가까운 목표 그리드 포인트를 포함함 - ; 제2 집합에서의 각 목표 그리드 포인트와 제1 집합에서 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 제2 집합에서의 각 목표 그리드 포인트의 감쇠 파라미터를 결정하도록 구성된다.
일부 실시예에서, 상기 제2 결정 모듈(530)은, 각 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 제2 집합에서의 각 목표 그리드 포인트를 각각 순회하여, 제2 집합에서의 각 목표 그리드 포인트가 각 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻으며; 간격 순서에 따라, 제2 집합에서의 각 목표 그리드 포인트의 감쇠 파라미터를 결정하도록 구성된다.
일부 실시예에서, 상기 제2 결정 모듈(530)은, 제2 집합에서의 임의의 하나의 목표 그리드 포인트가 복수 개의 제1 키포인트의 소정의 방향에 위치한 경우, 복수 개의 제1 키포인트에 대응하는 간격 순서에 따라, 감쇠 파라미터의 후보값을 결정하고; 후보값 중 최대값을, 임의의 하나의 목표 그리드 포인트의 감쇠 파라미터로 선택하도록 구성된다.
일부 실시예에서, 상기 제1 부위는 상지이고; 상기 획득 모듈(510)은, 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하도록 구성되고, 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함한다.
일부 실시예에서, 상기 제1 결정 모듈(520)은, 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하도록 구성되고;
상기 제어 모듈(540)은 또한, 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된다.
이하는 상기 실시예의 구체적인 예시적 설명이다.
그리드 변형은 이미지 변형을 위한 한 가지 변형 도구이고, 변형 전의 변형 그리드는 정돈된 그리드이고, 일반적으로 곧은 경선 및 위선으로 형성된 직사각형 그리드를 포함한다.
변형될 이미지에서 제1 영역 및 제2 영역을 결정한다. 제1 영역은 변형 진폭을 억제해야 하는 제1 부위가 있는 영역이고, 제2 영역은 제1 영역에 대해 변형 진폭을 억제할 필요가 없는 제2 부위가 있는 영역이다. 예를 들어, 변형 그리드를 사용하여 인체의 허리에 대해 허리 축소 변형 처리를 수행할 때, 팔은 허리 옆에 있을 수 있고, 허리 변형이 팔에 주는 영향을 줄이기 위해, 본 발명의 실시예의 기술방안을 사용하며, 팔은 전술한 제1 부위일 수 있고; 허리는 전술한 제2 부위일 수 있다.
본 예에서, 제1 영역 내에 위치한 그리드 포인트에 대한 제1 변위량(예를 들어, 상기 제1 변위량은 변형 명령어에 기반하여 직접 얻은 원래 변위량임)의 기초 상에서 감쇠 처리를 수행하여, 제1 변위량보다 작은 제2 변위량을 얻는다.
이런 방식으로, 제1 영역 내의 그리드 포인트의 변위량을 감소시킴으로써, 제1 영역 내의 픽셀 포인트의 변형 진폭을 감소시킬 수 있다.
팔을 전술한 제1 부위로 하고, 팔을 포함한 이미지 영역을 제1 영역으로 예를 들면, 본 예에서 제공한 이미지 처리 방법은 다음의 다섯 가지 단계를 포함할 수 있다.
제1 단계에 있어서, 제1 키포인트를 결정하며, 예를 들어, 제1 키포인트는, 팔의 4 개의 키포인트를 제1 키포인트로 결정한다. 이 4 개의 제1 키포인트를 A, B, C, D 4 개의 키포인트라고 가정하면; 예를 들어, 상지의 경우, A, B, C, D 4 개의 키포인트는, 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트일 수 있으며;
제2 단계에 있어서, A, B, C, D 4 개의 키포인트를 연결하여, 제1 키포인트에 의해 형성된 연결선을 얻는다;
제3 단계에 있어서, 제1 집합 및 제2 집합을 결정하며; 제1 집합 내에 포함된 픽셀 포인트는 상기 연결선 상에 위치한다. 제2 집합에 포함된 그리드 포인트는, 변형 그리드에서 제1 집합 내의 픽셀 포인트와 가장 가까운 그리드 포인트이다.
제4 단계에 있어서, 제2 집합에서의 각 그리드 포인트와 제1 집합에서 대응하는 그리드 포인트에 의해 제어되는 픽셀 포인트의 상대적 위치에 따라, 제2 집합에서의 각 그리드 포인트의 감쇠 파라미터를 결정한다.
제5 단계에 있어서, 제1 영역에 대해, 각 그리드 포인트의 감쇠 파라미터에 따라 제1 변위량에 대해 감쇠 처리를 수행하여, 제1 변위량보다 작은 제2 변위량을 얻고, 제2 변위량에 기반하여 변형 처리를 수행하고; 제2 영역에 대해, 제1 변위량에 기반하여 변형 처리를 직접 수행할 수 있다.
제1 영역 내의 그리드 포인트의 변위량에 대한 정확한 제어를 통해, 제1 영역의 변형 진폭을 제2 영역의 변형 진폭보다 작게 하여, 동일한 이미지 내의 상이한 영역 내의 픽셀의 변형의 정밀한 제어를 구현함으로써, 이미지 변형 효과를 향상시킨다.
도 6에 도시된 바와 같이, 본 발명의 실시예는 또한 이미지 처리 기기를 제공하며, 상기 이미지 처리 기기는,
정보를 저장하기 위한 메모리; 및
프로세서 및 메모리와 각각 연결되고, 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 전술한 하나 또는 복수 개의 기술방안에서 제공한 이미지 처리 방법(예를 들어, 도 1 및/또는 도 3에 도시된 이미지 처리 방법)을 구현할 수 있는 프로세서를 포함한다.
상기 메모리는 램, 롬, 플래시 메모리 등과 같이 다양한 타입의 메모리일 수 있다. 상기 메모리는 컴퓨터 실행 가능 명령어 등과 같은 정보를 저장하기 위한 것이다. 컴퓨터 실행 가능 명령어는 타겟 프로그램 명령어 및/또는 소스 프로그램 명령어 등과 같은 다양한 프로그램 명령일 수 있다.
프로세서는 중앙처리장치, 마이크로 프로세서, 디지털 시그널 프로세서, 프로그래머블 어레이, 주문형 집적 회로 또는 이미지 프로세서 등과 같은 다양한 타입의 프로세서일 수 있다.
프로세서는 버스를 통해 메모리에 연결될 수 있다. 버스는 집적 회로 버스 등일 수 있다.
일부 실시예에서, 단말 기기는, 통신 인터페이스를 더 포함할 수 있고, 상기 통신 인터페이스는, 네트워크 인터페이스를 포함할 수 있으며; 네트워크 인터페이스는 예를 들어, 근거리 통신망 인터페이스, 트랜시버 안테나 등을 포함한다. 통신 인터페이스는 마찬가지로 프로세서에 연결되어, 정보의 송수신에 사용될 수 있다.
일부 실시예에서, 단말 기기는 인간-컴퓨터 인터랙션 인터페이스를 더 포함하고, 예를 들어, 인간-컴퓨터 인터랙션 인터페이스는 키보드, 터치 스크린과 같은 다양한 입력 및 출력 기기를 포함할 수 있다.
일부 실시예에서, 이미지 처리 기기는, 모니터를 더 포함하고, 상기 모니터는 다양한 지시, 수집된 얼굴 이미지 및/또는 당양한 인터페이스를 디스플레이할 수 있다.
본 발명의 실시예는 또한 컴퓨터 저장 매체를 제공하며, 컴퓨터 저장 매체는 컴퓨터 실행 가능 코드를 저장하고; 컴퓨터 실행 가능 코드는 실행될 경우, 전술한 하나 또는 복수 개의 기술방안에서 제공한 도 1 및/또는 도 3에 도시된 이미지 처리 방법과 같은 이미지 처리 방법을 구현할 수 있다.
본 발명에서 제공한 몇 개의 실시예에서, 개시된 기기 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 기기 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 각각의 디스플레이되거나 논의된 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통한 기기 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태 일 수 있다.
상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 모듈에 전부 통합될 수 있으며, 각 유닛이 각각 독립적으로 하나의 유닛으로서 존재할 수도 있거나, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 발명의 임의의 실시예에서 개시한 기술특징은, 충돌이 없는 조건 하에, 새로운 방법 실시예 또는 장치 실시예를 임의로 조합하여 형성할 수 있다.
본 발명의 임의의 실시예에서 개시한 방법 실시예는, 충돌이 없는 조건 하에, 새로운 방법 실시예를 임의로 조합하여 형성할 수 있다.
본 발명의 임의의 실시예에서 개시한 기기 실시예는, 충돌이 없는 조건 하에, 새로운 기기 실시예를 임의로 조합하여 형성할 수 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완성되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 실행은 상기 방법 실시예의 단계를 포함하며; 전술한 저장 매체는 모바일 저장 기기, 롬(Read-Only Memory, ROM), 램(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
이상의 설명은 본 출원의 구체적인 실시형태에 불과한 것으로서, 본 발명의 보호범위는 이에 한정되지 않으며, 본 출원이 속하는 기술 분야의 통상의 기술자라면 본 출원에 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 발명의 보호 범위 내에 속해야 함을 알 수 있을 것이다. 따라서, 본 발명의 보호 범위는 특허 청구 범위의 보호 범위를 기준으로 해야 한다.

Claims (18)

  1. 이미지 처리 방법으로서,
    제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하는 단계;
    상기 제1 키포인트의 위치 정보에 기반하여, 상기 제1 키포인트를 포함하는 제1 영역을 결정하는 단계;
    상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하는 단계; 및
    상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하는 단계는,
    상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하고; 변형 명령어에 따라, 상기 그리드 포인트의 제1 변위량을 결정하는 단계; 및
    상기 감쇠 파라미터에 따라 상기 제1 변위량에 대해 감쇠 처리를 수행하여, 상기 제1 변위량보다 작은 제2 변위량을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계는,
    상기 제2 변위량에 따라, 상기 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제2항에 있어서,
    상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하는 단계는,
    복수 개의 상기 제1 키포인트의 연결선 상의 픽셀 포인트를 결정하여, 제1 집합을 얻는 단계;
    상기 제1 집합 내의 픽셀 포인트와 상기 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻는 단계 - 상기 제2 집합은 상기 변형 그리드에서 상기 제1 집합 내의 각 픽셀 포인트와 각각 거리가 가장 가까운 목표 그리드 포인트를 포함함 - ; 및
    상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계는,
    각 상기 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 상기 제2 집합에서의 각 상기 목표 그리드 포인트를 각각 순회하여, 상기 제2 집합에서의 각 상기 목표 그리드 포인트가 각 상기 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻는 단계; 및
    상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하는 단계는,
    상기 제2 집합에서 임의의 하나의 상기 목표 그리드 포인트가 복수 개의 상기 제1 키포인트의 소정의 방향에 위치하는 경우, 복수 개의 상기 제1 키포인트에 대응하는 상기 간격 순서에 따라, 상기 감쇠 파라미터의 후보값을 결정하는 단계; 및
    상기 후보값 중 최대값을, 임의의 하나의 상기 목표 그리드 포인트의 상기 감쇠 파라미터로 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 부위는 상지이고; 상기 제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하는 단계는,
    상기 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하는 단계를 포함하고, 상기 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 이미지 처리 방법은,
    상기 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하는 단계; 및
    상기 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 상기 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 이미지 처리 장치로서,
    제1 이미지에서의 목표 대상에 포함된 제1 부위의 제1 키포인트의 위치 정보를 획득하도록 구성된 획득 모듈;
    상기 제1 키포인트의 위치 정보에 기반하여, 상기 제1 키포인트를 포함하는 제1 영역을 결정하도록 구성된 제1 결정 모듈;
    상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제1 영역 내의 그리드 포인트의 변위량을 결정하도록 구성된 제2 결정 모듈; 및
    상기 제1 영역 내의 그리드 포인트의 변위량에 따라, 상기 제1 영역 내의 픽셀 포인트의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된 제어 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 제2 결정 모듈은, 상기 제1 영역 내의 기설정된 변형 그리드의 그리드 포인트와 상기 제1 영역 내의 픽셀 포인트 사이의 상대적 위치에 따라, 상기 그리드 포인트의 변위량의 감쇠 파라미터를 결정하고; 변형 명령어에 따라, 상기 그리드 포인트의 제1 변위량을 결정하며; 상기 감쇠 파라미터에 따라 상기 제1 변위량에 대해 감쇠 처리를 수행하여, 상기 제1 변위량보다 작은 제2 변위량을 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  11. 제10항에 있어서,
    상기 제어 모듈은, 상기 제2 변위량에 따라, 상기 제1 영역 내의 인접한 픽셀 포인트 사이의 간격을 제어하여, 변형된 제2 이미지를 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  12. 제10항에 있어서,
    상기 제2 결정 모듈은, 복수 개의 상기 제1 키포인트의 연결선 상에 위치한 픽셀 포인트를 결정하여, 제1 집합을 얻고; 상기 제1 집합 내의 픽셀 포인트와 상기 변형 그리드 내의 그리드 포인트의 상대적 위치에 따라, 제2 집합을 얻고 - 상기 제2 집합은, 상기 변형 그리드에서 상기 제1 집합 내의 각 픽셀 포인트와 가장 가까운 목표 그리드 포인트를 포함함 - ; 상기 제2 집합에서의 각 상기 목표 그리드 포인트와 상기 제1 집합에서 상기 목표 그리드 포인트에 의해 제어되는 픽셀 포인트 사이의 상대적 위치에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  13. 제12항에 있어서,
    상기 제2 결정 모듈은, 각 상기 제1 키포인트를 중심으로 하고, 소정의 방향에서 바깥쪽으로 상기 제2 집합에서의 각 상기 목표 그리드 포인트를 각각 순회하여, 상기 제2 집합에서의 각 상기 목표 그리드 포인트가 각 상기 제1 키포인트에 대한 소정의 방향에서의 간격 순서를 얻고; 상기 간격 순서에 따라, 상기 제2 집합에서의 각 상기 목표 그리드 포인트의 상기 감쇠 파라미터를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 제2 결정 모듈은, 상기 제2 집합에서 임의의 하나의 상기 목표 그리드 포인트가 복수 개의 상기 제1 키포인트의 소정의 방향에 위치하는 경우, 복수 개의 상기 제1 키포인트에 대응하는 상기 간격 순서에 따라, 상기 감쇠 파라미터의 후보값을 결정하고; 상기 후보값 중 최대값을, 임의의 하나의 상기 목표 그리드 포인트의 상기 감쇠 파라미터로 선택하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 부위는 상지이고;
    상기 획득 모듈은, 상기 제1 이미지에서의 상지의 골격 키포인트의 위치 정보를 획득하도록 구성되고, 상기 골격 키포인트는 어깨 키포인트, 팔꿈치 관절 키포인트, 손목 키포인트 및 손 키포인트 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  16. 제9항 내지 제15항 중 어느 한 항에 있어서,
    상기 제1 결정 모듈은 또한, 상기 제1 이미지에서의 목표 대상에 포함된 제2 부위의 제2 키포인트의 위치 정보에 따라, 제2 부위에 대응하는 제2 영역을 결정하도록 구성되고;
    상기 제어 모듈은 또한, 상기 제2 영역 내의 기설정된 변형 그리드의 그리드 포인트의 제1 변위량에 따라, 상기 제1 이미지 내의 제2 영역의 변형을 제어하여, 변형된 제2 이미지를 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  17. 이미지 처리 기기로서,
    메모리; 및
    상기 메모리에 연결되어, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 구현하는 프로세서를 포함하는 것을 특징으로 하는 이미지 처리 기기.
  18. 컴퓨터 실행 가능 명령어가 저장된 컴퓨터 저장 매체로서,
    상기 컴퓨터 실행 가능 명령어가 프로세서에 의해 실행된 후, 제1항 내지 제8항 중 어느 한 항에 따른 이미지 처리 방법을 구현 가능한 것을 특징으로 하는 컴퓨터 저장 매체.
KR1020207037116A 2019-12-25 2020-05-29 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체 KR20210084348A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911360894.4A CN111145084B (zh) 2019-12-25 2019-12-25 图像处理方法及装置、图像处理设备及存储介质
CN201911360894.4 2019-12-25
PCT/CN2020/093442 WO2021128731A1 (zh) 2019-12-25 2020-05-29 图像处理方法及装置、图像处理设备及存储介质

Publications (1)

Publication Number Publication Date
KR20210084348A true KR20210084348A (ko) 2021-07-07

Family

ID=70520246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037116A KR20210084348A (ko) 2019-12-25 2020-05-29 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체

Country Status (7)

Country Link
US (1) US20210342970A1 (ko)
JP (1) JP7160958B2 (ko)
KR (1) KR20210084348A (ko)
CN (1) CN111145084B (ko)
SG (1) SG11202109179WA (ko)
TW (1) TW202125402A (ko)
WO (1) WO2021128731A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145084B (zh) * 2019-12-25 2023-06-16 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN112767288B (zh) * 2021-03-19 2023-05-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628465A (ja) * 1992-07-07 1994-02-04 Seiko Epson Corp 画像変換装置
JP4566591B2 (ja) * 2004-03-19 2010-10-20 キヤノン株式会社 画像変形推定方法および画像変形推定装置
US7952595B2 (en) * 2007-02-13 2011-05-31 Technische Universität München Image deformation using physical models
JP4289415B2 (ja) * 2007-03-27 2009-07-01 セイコーエプソン株式会社 画像変形のための画像処理
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
CN102496140B (zh) * 2011-12-06 2013-07-31 中国科学院自动化研究所 一种基于多层嵌套笼体的实时交互式图像变形方法
JP6328669B2 (ja) * 2013-02-23 2018-05-23 クゥアルコム・インコーポレイテッドQualcomm Incorporated 電子デバイスによる対話型画像戯画化のためのシステムおよび方法
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
CN103824253B (zh) * 2014-02-19 2017-01-18 中山大学 一种基于图像局部精确变形的人物五官变形方法
CN110766607A (zh) * 2018-07-25 2020-02-07 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN110060287B (zh) * 2019-04-26 2021-06-15 北京迈格威科技有限公司 人脸图像鼻部整形方法及装置
CN110060348B (zh) * 2019-04-26 2023-08-11 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110555798B (zh) * 2019-08-26 2023-10-17 北京字节跳动网络技术有限公司 图像变形方法、装置、电子设备及计算机可读存储介质
CN111145084B (zh) * 2019-12-25 2023-06-16 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质

Also Published As

Publication number Publication date
WO2021128731A1 (zh) 2021-07-01
CN111145084A (zh) 2020-05-12
SG11202109179WA (en) 2021-09-29
JP2022518641A (ja) 2022-03-16
TW202125402A (zh) 2021-07-01
US20210342970A1 (en) 2021-11-04
JP7160958B2 (ja) 2022-10-25
CN111145084B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111460871B (zh) 图像处理方法及装置、存储介质
US20210110599A1 (en) Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium
KR101606628B1 (ko) 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체
CN108596854B (zh) 图像畸变校正方法及装置、计算机可读介质、电子设备
US11331574B2 (en) Method, apparatus, electronic device, and storage medium for locking on to target an object in game scene
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN113610889B (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN109377467A (zh) 训练样本的生成方法、目标检测方法和装置
KR20210084348A (ko) 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
CN111275801A (zh) 一种三维画面渲染方法及装置
JPH07302336A (ja) 画像の特徴を曖昧化する方法および装置
JP2017076397A (ja) メッシュのボクセル化
JP3124999B1 (ja) レンダリング方法及び装置、ゲーム装置、並びに仮想空間内のオブジェクトの陰影に関するデータを計算するためのプログラムを格納するコンピュータ読み取り可能な記録媒体
US11450068B2 (en) Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN113100944B (zh) 手术环境的构建方法、机器人控制方法和系统
KR101888837B1 (ko) 스테레오 매칭 시스템의 전처리 장치
JP2020532022A (ja) 全視角方向の球体ライトフィールドレンダリング方法
JP2018132319A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
KR20130057327A (ko) 스테레오 매칭 시스템의 전처리 장치
CN116415652A (zh) 一种数据生成方法、装置、可读存储介质及终端设备
CN113544732A (zh) 面部上的透视缩短失真校正
CN106204417A (zh) 利用网格变形的虚拟整容手术方法及系统
CN110852934A (zh) 图像处理方法及装置、图像设备及存储介质
US11004266B2 (en) Articulated model registration apparatus and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right