KR20220108597A - 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 - Google Patents

딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 Download PDF

Info

Publication number
KR20220108597A
KR20220108597A KR1020210011766A KR20210011766A KR20220108597A KR 20220108597 A KR20220108597 A KR 20220108597A KR 1020210011766 A KR1020210011766 A KR 1020210011766A KR 20210011766 A KR20210011766 A KR 20210011766A KR 20220108597 A KR20220108597 A KR 20220108597A
Authority
KR
South Korea
Prior art keywords
reference point
image
bounding box
image correction
point
Prior art date
Application number
KR1020210011766A
Other languages
English (en)
Other versions
KR102532250B1 (ko
Inventor
정승원
강예슬
Original Assignee
주식회사 써머캣
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 써머캣 filed Critical 주식회사 써머캣
Priority to KR1020210011766A priority Critical patent/KR102532250B1/ko
Publication of KR20220108597A publication Critical patent/KR20220108597A/ko
Application granted granted Critical
Publication of KR102532250B1 publication Critical patent/KR102532250B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템이 개시된다. 본 개시의 기술적 사상의 일측면에 따른 이미지 보정 방법은, 객체가 포함된 이미지를 수신하는 단계, 딥 러닝 알고리즘을 활용하여 상기 객체에 대응되는 적어도 하나의 기준점을 추출하는 단계, 상기 적어도 하나의 기준점 중 제1 기준점 및 제2 기준점을 이은 가상 선의 각도를 계산하는 단계 및 계산한 상기 각도를 활용하여 상기 이미지를 회전하는 단계를 포함할 수 있다.

Description

딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템{IMAGE CORRECTING METHOD CORRECT IMAGE BY USING DEEP LEARNING ALGORITHM AND IMAGE CORRECTING SYSTEM PERFORMING THE SAME}
본 개시의 기술적 사상은 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템에 관한 것으로, 더욱 상세하게는 딥러닝 알고리즘을 활용하여 이미지에 대한 보정을 수행하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템에 관한 것이다.
카메라는 단일 이미지 또는 비디오 신호의 프레임들로서 이용될 일련의 이미지들을 캡처하는데 이용될 수 있다. 사람들은 카메라를 이용하여 사람들을 피사체로 하는 이미지를 생성하고, 생성된 이미지를 추억을 보관하는 용도로 사용하거나 이력서, 여권 등에 붙이는 등의 공적인 용도 등 다양한 용도로 사용한다. 하지만, 이러한 이미지들은 카메라의 위치, 촬영사의 실력 등에 따라서 피사체인 사람이 원하는 위치에 오지 않도록 촬영될 수 있고, 피사체가 기울어지거나 원하는 사이즈의 이미지가 촬영되지 않는 등의 문제점이 발생할 수 있다.
이러한 문제점을 해결하기 위해 이미지 보정 기술이 등장하였다. 이미지의 사이즈, 각도, 위치 등을 조절하고, 피사체가 원하는 얼굴로 보정하기 위해 이러한 이미지 보정 기술이 사용되는데, 아직까지는 전문가의 전문 소프트웨어 툴이 있어야 이미지 보정이 가능하였고, 일반인들은 전문가 없이는 간단한 보정도 어려운 상황이 발생하였다.
본 개시의 기술적 사상이 해결하려는 과제는 딥러닝 알고리즘을 활용하여 이미지를 보정함으로써 자동으로 이미지에 대한 보정을 수행할 수 있는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템을 제공하는데 있다.
본 개시의 기술적 사상이 해결하려는 과제는 딥러닝 알고리즘을 활용하여 이미지를 회전함으로써 자동으로 객체에 따라서 이미지에 대한 회전을 수행할 수 있는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템을 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 보정 방법은, 객체가 포함된 이미지를 수신하는 단계, 딥 러닝 알고리즘을 활용하여 상기 객체에 대응되는 적어도 하나의 기준점을 추출하는 단계, 상기 적어도 하나의 기준점 중 제1 기준점 및 제2 기준점을 이은 가상 선의 각도를 계산하는 단계 및 계산한 상기 각도를 활용하여 상기 이미지를 회전하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 제1 기준점과 상기 제2 기준점은 상기 객체의 중심축을 기준으로 서로 대칭되는 위치에 대응될 수 있다.
일 실시예에 따르면, 상기 객체는 사람의 얼굴이고, 상기 적어도 하나의 기준점은 사람의 얼굴을 구성하는 선들에 대응되고, 상기 제1 기준점은 상기 객체의 좌안에 포함되고, 상기 제2 기준점은 상기 객체의 우안에 포함될 수 있다.
일 실시예에 따르면, 상기 제1 기준점은 상기 객체의 좌안에 포함된 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 우안에 포함된 점들 중 가장 오른쪽에 위치하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제1 기준점은 상기 객체의 왼쪽 눈썹에 대응되는 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 오른쪽 눈썹에 대응되는 점들 중 가장 오른쪽에 위치하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제1 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 오른쪽에 위치하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 이미지 보정 방법은, 상기 객체의 좌안에 포함되는 점들 중 적어도 일부에 대한 제1 평균 좌표를 상기 제1 기준점으로 결정하는 단계 및 상기 객체의 우안에 포함되는 점들 중 적어도 일부에 대한 제2 평균 좌표를 상기 제2 기준점으로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 제1 기준점은 상기 객체의 코에 대응되는 점들 중 가장 위에 위치하고, 상기 제2 기준점은 상기 객체의 코에 대응되는 점들 중 가장 아래에 위치하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 가상 선의 각도는 수평 선과 상기 가상 선이 이루는 각도이고, 상기 이미지를 회전하는 단계는, 상기 이미지를 상기 가상 선이 상기 수평 선과 일치되도록 회전하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 이미지 보정 방법은, 바운딩 박스에 대한 정보를 수신하는 단계, 상기 적어도 하나의 기준점 중 제3 기준점 및 제4 기준점을 이용하여 상기 바운딩 박스에 대응되도록 상기 이미지의 크기를 조절하는 단계 및 상기 적어도 하나의 기준점 중 제5 기준점을 이용하여 상기 바운딩 박스에 대응되도록 상기 이미지의 위치를 변경하는 단계를 더 포함하고, 상기 이미지의 크기를 조절하는 단계는, 상기 제3 기준점 및 상기 제4 기준점의 좌표 거리를 계산하는 단계, 상기 바운딩 박스의 가로 길이를 획득하는 단계, 상기 좌표 거리와 상기 가로 길이의 비율을 계산하는 단계 및 계산한 상기 비율에 기초하여 상기 이미지의 크기를 조절하는 단계를 포함하고, 상기 이미지의 위치를 변경하는 단계는, 상기 바운딩 박스의 중점의 X좌표를 계산하는 단계, 상기 제3 기준점 및 상기 제4 기준점의 중점을 계산하는 단계, 상기 제3 기준점 및 상기 제4 기준점의 중점과 상기 바운딩 박스의 중점의 X좌표가 일치하도록 상기 이미지의 X축으로 이동하는 단계, 상기 바운딩 박스의 아랫변의 Y좌표를 획득하는 단계 및 상기 제5 기준점과 상기 바운딩 박스의 아랫변의 Y좌표가 일치하도록 상기 이미지의 Y축으로 이동하는 단계를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템에 따르면, 딥러닝 알고리즘을 활용하여 추출된 기준점을 이용하여 사용자가 자동으로 이미지를 회전할 수 있고, 이에 따라서 사용자가 전문적인 편집 작업 없이도 객체에 따라서 회전된 이미지를 획득할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 보정 시스템을 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 4는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다.
도 5는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 6은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 7은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다.
도 8은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다.
도 11은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다.
도 12는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다. 본 발명의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 개시에서 사용한 "제1~", "제2~" 와 같은 서수적인 표현은 "제1~"이 "제2~"보다 앞선 것임을 한정하지 않으며, 유사한 구성을 달리 구분하여 표현하기 위한 것으로 이해되어야 한다. 또한, 청구항에서 "제1~" 로 표현되었다고 하여 명세서 상의 "제1~"에 한정되어 해석되지 않고, "제1~" 내지 "제n~" 중 어느 하나를 지칭하도록 표현된 것임은 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다.
도 1을 참조하면, 이미지 보정 방법(S1)은 이미지 수신 단계(S10), 기준점 추출 단계(S20), 이미지 회전 단계(S30), 이미지 크기 조절 단계(S40), 이미지 이동 단계(S50)를 포함할 수 있다.
이미지 수신 단계(S10)에서, 이미지 보정 시스템은 사용자로부터 객체가 포함된 이미지를 수신할 수 있다. 일 실시예에서, 이미지 보정 시스템은 이미지를 업로드 가능한 웹사이트 또는 어플리케이션을 운용할 수 있고, 사용자는 이미지 보정 시스템에 의해 운용되는 웹사이트 또는 어플리케이션에 이미지를 업로드함으로써 이미지 보정 시스템에 이미지를 전송할 수 있다.
기준점 추출 단계(S20)에서, 이미지 보정 시스템은 딥러닝 알고리즘을 이용하여 이미지에 포함된 객체에 대응하는 적어도 하나의 기준점을 추출할 수 있다. 적어도 하나의 기준점은 이미지에 포함된 객체의 외곽선이나 형태를 따라서 위치할 수 있고, 객체가 사람의 얼굴인 실시예에서, 적어도 하나의 기준점은 얼굴에 포함된 눈, 눈썹, 코, 입술, 턱의 외곽선을 따라서 위치할 수 있다.
일 실시예에서, 이미지 보정 시스템은 딥러닝 알고리즘으로서 CNN(Convolutional Neural Network), HR Nets(High Resolution Networks)와 같은 이미지 분석 딥 러닝 알고리즘을 사용할 수 있으나, 본 개시의 기술적 사상은 이제 제한되지 않는다.
이미지 회전 단계(S30)에서, 이미지 보정 시스템은 추출된 적어도 하나의 기준점을 이용하여 이미지를 회전할 수 있다. 일 실시예에서, 이미지 보정 시스템은 기준점을 활용하여 이미지의 회전 각도를 계산하고, 계산된 각도에 따라서 이미지를 회전할 수 있다.
이미지 크기 조절 단계(S40)에서, 이미지 보정 시스템은 추출된 적어도 하나의 기준점을 이용하여 이미지의 크기를 조절할 수 있다. 일 실시예에서, 이미지 보정 시스템은 지정된 바운딩 박스의 크기 및 기준점을 활용하여 이미지가 바운딩 박스의 크기에 정합할 수 있도록 이미지의 크기를 확대하거나 축소할 수 있다.
이미지 이동 단계(S50)에서, 이미지 보정 시스템은 추출된 적어도 하나의 기준점을 이용하여 이미지를 이동할 수 있다. 일 실시예에서, 이미지 보정 시스템은 지정된 박스의 위치와 기준점을 활용하여 이미지가 바운딩 박스의 위치에 정합할 수 있도록 이미지를 이동시킬 수 있다.
본 개시의 기술적 사상에 따른 이미지 보정 방법에 따르면, 딥 러닝 알고리즘을 활용하여 추출한 기준점을 기초로 이미지를 자동으로 회전, 크기 조절, 이동함으로써, 사용자가 삐뚤어지거나, 객체가 너무 크거나, 객체가 너무 작거나, 객체가 지정된 위치에 벗어난 이미지를 업로드하더라도 자동으로 원하는 양식의 이미지를 획득할 수 있고, 이에 따라서 별다른 노력 없이 효율적으로 이미지에 대한 보정이 가능하다.
도 1에서는 이미지 회전 단계(S30), 이미지 크기 조절 단계(S40), 이미지 이동 단계(S50)의 순서대로 진행되는 실시예가 도시되어 있으나, 이는 일 예시이고, 또 다른 실시예에서, 이미지 회전 단계(S30), 이미지 크기 조절 단계(S40), 이미지 이동 단계(S50)는 도시된 예시와 다른 순서로도 진행될 수 있다.
도 1에서는 도시되지 않았지만, 모든 단계를 마친 이미지는 미리 결정된 크기로 컷팅될 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 보정 시스템을 나타내는 블록도이다.
도 2를 참조하면, 이미지 보정 시스템(10)은 이미지(IMG)를 수신하고, 인공지능을 이용하여 자동으로 보정된 보정 이미지(IMG_C)를 출력하기 위해 활용되는 각종 소프트웨어, 하드웨어를 포함할 수 있고, 일 실시예에서, 이미지 보정 시스템(10)은 이미지 보정 시스템(10)을 관리하는 관리 서버(Server) 및 상기 서버를 운용하는 운용 컴퓨터 등을 포함할 수 있다. 관리 서버는 웹사이트, 어플리케이션(Application) 등의 응용 프로그램을 이용하여 이미지 보정 시스템을 운용할 수 있다. 본 명세서에서 이미지 보정 시스템의 각 구성이 수행하는 동작은 실제로 관리 서버의 저장 장치에 저장된 응용 프로그램이나 적어도 하나의 명령어를 이용하여 관리 서버의 프로세서가 수행하는 동작일 수 있다.
이미지 보정 시스템(10)은 인공지능 모듈(110), 회전 모듈(120), 크기 조절 모듈(130) 및 이동 모듈(140)을 포함할 수 있다. 인공지능 모듈(110), 회전 모듈(120), 크기 조절 모듈(130) 및 이동 모듈(140) 각각의 동작은 구성별 소프트웨어 또는 적어도 하나의 명령어에 의해 구동되는 프로세서의 동작을 의미할 수 있다.
인공지능 모듈(110)은 이미지(IMG)를 수신하고, 이미지(IMG)로부터 적어도 하나의 기준점(CP)을 추출할 수 있다. 도 1에서 상술한 바와 같이 인공지능 모듈(110)은 CNN(Convolutional Neural Network), HR Nets(High Resolution Networks)와 같은 이미지 분석 딥 러닝 알고리즘을 사용하여 이미지(IMG)로부터 객체의 외곽선이나 형태를 따라서 위치하는 기준점(CP)을 추출할 수 있다. 인공지능 모듈(110)은 추출한 기준점(CP)을 회전 모듈(120), 크기 조절 모듈(130) 및 이동 모듈(140)에 출력할 수 있다.
회전 모듈(120)은 이미지(IMG)를 수신하고, 적어도 하나의 기준점(CP)을 기초로 이미지(IMG)에 대한 회전 각도를 계산할 수 있다. 일 실시예에서, 회전 모듈(120)은 적어도 하나의 기준점(CP) 중 제1 기준점 및 제2 기준점을 결정하고, 제1 기준점 및 제2 기준점에 대한 가상 선과 기준 선(예를 들면, 수평선, 수직선)이 이루는 각도를 계산함으로써 회전 각도를 계산할 수 있다. 일 실시예에서, 제1 기준점 및 제2 기준점은 이미지(IMG)에 포함되는 객체(예를 들면, 사람의 얼굴)의 중심선을 기준으로 대칭된 위치에 존재하는 점일 수 있다. 회전 모듈(120)은 계산된 회전 각도를 이용하여 이미지(IMG)를 회전시킴으로써 회전된 이미지(IMG_R)를 생성할 수 있다. 회전 모듈(120)은 회전된 이미지(IMG_R)를 크기 조절 모듈(130)에 출력할 수 있다.
크기 조절 모듈(130)은 회전된 이미지(IMG_R)를 수신하고, 별도로 수신한 바운딩 박스(BB)에 대한 크기 정보 및 적어도 하나의 기준점(CP)을 이용하여, 바운딩 박스(BB)의 크기에 정합하도록 회전된 이미지(IMG_R)의 크기를 변경할 수 있다. 본 명세서에서, 바운딩 박스(BB)는 크기 및 위치가 지정된 직사각형의 가상 박스로서, 일 실시예에서, 사용자가 원하는 사진의 종류에 따라서 바운딩 박스(BB)를 지정할 수 있고, 지정된 바운딩 박스에 맞도록 이미지가 보정될 수 있다.
크기 조절 모듈(130)은 적어도 하나의 기준점(CP) 중 제3 기준점 및 제4 기준점을 이용하여 회전된 이미지(IMG_R)의 크기를 조절할 수 있다. 일 실시예에서, 크기 조절 모듈(130)은 제3 기준점 및 제4 기준점 사이의 좌표 거리를 계산하고, 계산된 좌표 거리와 바운딩 박스(BB)의 길이(예를 들면, 가로 길이 또는 세로 길이)가 일치하도록 회전된 이미지(IMG_R)의 크기를 조절할 수 있다. 크기 조절 모듈(130)은 회전된 이미지(IMG_R)의 크기를 조절함으로써 크기가 변경된 이미지(IMG_S)를 생성하고, 크기가 변경된 이미지(IMG_S)를 이동 모듈(140)에 출력할 수 있다.
이동 모듈(140)은 크기가 변경된 이미지(IMG_S)를 수신하고, 바운딩 박스(BB)에 대한 위치 정보 및 적어도 하나의 기준점(CP)을 이용하여 바운딩 박스(BB)의 위치에 정합하도록 크기가 변경된 이미지(IMG_S)의 위치를 변경할 수 있다. 일 실시예에서, 이동 모듈(140)은 적어도 하나의 기준점(CP) 중 제5 기준점 및 제6 기준점의 중점이 바운딩 박스(BB)의 중점과 일치하도록 크기가 변경된 이미지(IMG_S)를 X축 방향으로 이동하고, 적어도 하나의 기준점(CP) 중 제7 기준점이 바운딩 박스(BB)의 아래변과 일치하도록 크기가 변경된 이미지(IMG_S)를 Y축 방향으로 이동할 수 있다. 이동 모듈(140)은 크기가 변경된 이미지(IMG_S)를 이동한 결과 보정된 이미지(IMG_C)를 생성할 수 있고, 보정된 이미지(IMG_C)를 외부(예를 들면, 사용자가 운용하는 단말)에 출력할 수 있다.
본 개시의 기술적 사상에 따른 이미지 보정 시스템(10)은 이미지로부터 기준점을 추출하고, 추출된 기준점을 이용하여 회전, 크기 조절, 이동을 수행함으로써 사용자가 원하는 방향으로 효율적으로 이미지를 보정할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다. 상세하게는, 도 3은 도 1의 기준점 추출 단계(S20)에 따라서 딥러닝 알고리즘을 활용하여 적어도 하나의 기준점을 추출하는 동작을 나타낸다.
도 2 및 도 3을 참조하면, 인공지능 모듈(110)은 사람 얼굴이 포함된 이미지(IMG)를 수신하고, 딥 러닝 알고리즘을 활용하여 이미지(IMG)로부터 적어도 하나의 기준점(CP)을 추출할 수 있다.
도 3에서는 턱선에 대응하는 1번 내지 17번 기준점, 왼쪽 눈썹에 대응하는 18번 내지 22번 기준점, 오른쪽 눈썹에 대응하는 23번 내지 27번 기준점, 코에 대응하는 28번 내지 31번 기준점, 콧구멍에 대응하는 32번 내지 36번 기준점, 좌안(왼쪽 눈)에 대응하는 37번 내지 42번 기준점, 우안(오른쪽 눈)에 대응하는 43번 내지 48번 기준점, 입술에 대응하는 49번 내지 68번 기준점의 총 68개의 기준점이 추출될 수 있다. 본 개시의 기술적 사상에 따른 기준점의 개수 및 위치는 도 3의 예시에 한정되지 않고, 다양하게 조절 가능함은 당연하다.
도 4는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다. 상세하게는, 도 4는 도 1의 이동 단계(S30)를 나타낸다.
도 2 및 도 4를 참조하면, 이미지 보정 시스템(10)은 추출된 적어도 하나의 기준점 중 제1 기준점 및 제2 기준점을 이은 가상 선의 각도를 계산할 수 있다(S110). 일 실시예에서, 제1 기준점 및 제2 기준점은 이미지 보정 시스템(10)에 의해 미리 결정될 수 있고, 객체를 중심으로 서로 대칭되도록 결정될 수 있다.
일 예시에서, 제1 기준점은 객체의 좌안에 포함된 점들 중 가장 왼쪽에 위치하는 기준점이고, 제2 기준점은 객체의 우안에 포함된 점들 중 가장 오른쪽에 위치하는 기준점일 수 있다. 일 예시에서, 제1 기준점은 객체의 왼쪽 눈썹에 대응되는 점들 중 가장 왼쪽에 위치하는 기준점이고, 제2 기준점은 객체의 오른쪽 눈썹에 대응되는 점들 중 가장 오른쪽에 위치하는 기준점일 수 있다.
일 예시에서, 제1 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 왼쪽에 위치하는 기준점이고, 제2 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 오른쪽에 위치하는 기준점일 수 있다. 일 예시에서, 제1 기준점은 객체의 좌안에 포함되는 점들 중 적어도 일부에 대한 평균 좌표일 수 있고, 제2 기준점은 객체의 우안에 포함되는 점들 중 적어도 일부에 대한 평균 좌표일 수 있다. 일 예시에서, 제1 기준점은 객체의 코에 대응되는 점들 중 가장 위에 위치하는 기준점이고, 제2 기준점은 객체의 코에 대응되는 점들 중 가장 아래에 위치하는 기준점일 수 있다.
본 개시의 일 실시예에 따르면, 사람의 대칭적인 포인트가 될 수 있는 기준점이 결정될 수 있고, 이에 따라서 이미지를 회전함으로써 이미지가 효율적이고 똑바르게 회전될 수 있다.
이미지 보정 시스템(10)은 기준점을 이용하여 계산한 각도를 이용하여 이미지(IMG)를 회전함으로써 회전된 이미지(IMG_R)를 생성할 수 있다(S120).
본 개시의 일 실시예에 따른 이미지 보정 시스템(10)은 추출된 기준점을 활용하여 객체가 똑바르게 보일 수 있도록 자동으로 회전할 수 있고, 이에 따라서 사용자가 별다른 전문적인 보정 기술 없이 자동으로 편하게 회전 보정을 수행할 수 있다. 또한, 본 개시의 일 실시예에 따르면, 사람의 대칭적인 포인트가 될 수 있는 기준점이 결정될 수 있고, 이에 따라서 이미지를 회전함으로써 이미지가 효율적이고 똑바르게 회전될 수 있다.
도 4에서 나열된 기준점을 결정하는 예시는 일 예시일 뿐이고, 이미지(IMG)를 똑바르게 회전하기 위해 적어도 두 개의 기준점을 결정하고 이를 이용하여 이미지(IMG)를 회전하는 실시예는 본 개시의 기술적 사상에 포함됨은 이해되어야 할 것이다.
도 5는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다. 상세하게는, 도 5는 눈 양쪽 끝점을 이용하여 이미지를 회전하는 실시예를 나타낸다.
도 2 및 도 5(a)를 참조하면, 이미지 보정 시스템(10)은 제1 기준점(CP1)으로 객체의 좌안에 포함되는 기준점 중 가장 왼쪽에 위치하는 37번 기준점을 결정할 수 있고, 제2 기준점(CP2)으로 객체의 우안에 포함되는 기준점 중 가장 오른쪽에 위치하는 46번 기준점을 결정할 수 있다. 이미지 보정 시스템(10)은 제1 기준점(CP1) 및 제2 기준점(CP2)을 이은 가상 선(CPL)이 이루는 각도(Deg)를 계산할 수 있다.
도 5(b)를 참조하면, 이미지 보정 시스템(10)은 계산한 각도(Deg)를 이용하여 이미지(IMG)를 회전함으로써 회전된 이미지(IMG_R)를 생성할 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다. 상세하게는, 도 6는 기준점을 결정하는 다양한 실시예를 도시한다. 도 5와 중복되는 내용은 생략한다.
도 2 및 도 6(a)를 참조하면, 이미지 보정 시스템(10)은 제1 기준점(CP1_1)으로 객체의 왼쪽 눈썹에 포함되는 기준점 중 가장 왼쪽에 위치하는 18번 기준점을 결정할 수 있고, 제2 기준점(CP2_1)으로 객체의 오른쪽 눈썹에 포함되는 기준점 중 가장 오른쪽에 위치하는 27번 기준점을 결정할 수 있다. 이미지 보정 시스템(10)은 제1 기준점(CP1_1) 및 제2 기준점(CP2_1)을 이은 가상 선(CPL1)이 이루는 각도(Deg1)를 계산할 수 있다. 이미지 보정 시스템(10)은 계산한 각도(Deg1)를 이용하여 이미지(IMG)를 회전함으로써 회전된 이미지(IMG_R)를 생성할 수 있다.
도 2 및 도 6(b)를 참조하면, 이미지 보정 시스템(10)은 객체의 좌안에 포함되는 37번 기준점 내지 42번 기준점 중 적어도 일부의 좌표를 이용하여 제1 평균 좌표를 구하고, 제1 평균 좌표를 제1 기준점(CP1_2)으로 결정할 수 있다. 또한, 이미지 보정 시스템(10)은 객체의 우안에 포함되는 43번 기준점 내지 48번 기준점 중 적어도 일부의 좌표를 이용하여 제2 평균 좌표를 구하고, 제2 평균 좌표를 제2 기준점(CP2_2)으로 결정할 수 있다. 이미지 보정 시스템(10)은 제1 기준점(CP1_2) 및 제2 기준점(CP2_2)을 이은 가상 선(CPL2)이 이루는 각도(Deg2)를 계산하고, 계산한 각도(Deg2)를 이용하여 이미지(IMG)를 회전함으로써 회전된 이미지(IMG_R)를 생성할 수 있다.
도 2 및 도 6(c)를 참조하면, 이미지 보정 시스템(10)은 제1 기준점(CP1_3)으로 객체의 코에 포함되는 기준점 중 가장 위쪽에 위치하는 28번 기준점을 결정할 수 있고, 제2 기준점(CP2_3)으로 객체의 코에 포함되는 기준점 중 가장 아래쪽에 위치하는 31번 기준점을 결정할 수 있다. 이미지 보정 시스템(10)은 제1 기준점(CP1_3) 및 제2 기준점(CP2_3)을 이은 가상 선(CPL3)이 이루는 각도(Deg3)를 계산할 수 있다. 이미지 보정 시스템(10)은 계산한 각도(Deg3)를 이용하여 이미지(IMG)를 회전함으로써 회전된 이미지(IMG_R)를 생성할 수 있다.
본 개시의 실시예들에 따른 기준점을 결정하는 예시는 도 6에 나타난 예시에 한정되지 않고, 일 예시에서, 입술의 양 쪽 끝점(49번 기준점, 55번 기준점)이 제1 기준점 및 제2 기준점으로 결정될 수 있고, 좌안에 포함되는 점들(37번 내지 42번 기준점과 우안에 포함되는 점들(43번 내지 48번 기준점)이 대응되는 쌍으로써 각각 제1 기준점 및 제2 기준점으로 결정될 수 있다.
도 7은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다. 상세하게는, 도 7은 도 1의 크기 조절 단계(S40)를 나타낸다.
도 2 및 도 7를 참조하면, 이미지 보정 시스템(10)은 바운딩 박스(BB)의 크기 정보를 수신할 수 있다(S210). 일 실시예에서, 이미지 보정 시스템(10)은 바운딩 박스(BB)의 가로와 세로 크기 정보를 수신할 수 있고, 또 다른 실시예에서, 이미지 보정 시스템(10)은 바운딩 박스를 구성하는 네 개의 꼭지점에 대한 좌표 정보를 수신하고, 좌표들에 대한 거리를 계산함으로써 바운딩 박스(BB)의 크기 정보를 획득할 수 있다.
이미지 보정 시스템(10)은 적어도 하나의 기준점 중 제3 기준점 및 제4 기준점의 좌표 거리를 계산할 수 있다(S220). 일 실시예에서, 제3 기준점 및 제3 기준점은 이미지 보정 시스템(10)에 의해 미리 결정될 수 있고, 객체를 중심으로 서로 대칭되도록 결정될 수 있다. 일 예시에서, 제3 기준점은 이미지(IMG)의 턱선에 대응되는 기준점 중 왼쪽에서 N(N은 자연수) 번째 위치하는 기준점이고, 제4 기준점은 턱선에 대응되는 기준점 중 오른쪽에서 N번째 위치하는 기준점일 수 있다.
이미지 보정 시스템(10)은 바운딩 박스(BB)의 가로 길이와 제3 기준점 및 제4 기준점 사이의 좌표 거리의 비율을 계산할 수 있다(S230). 이미지 보정 시스템(10)은 계산된 비율에 기초하여 이미지 크기를 확대하거나 축소함으로써 이미지 크기를 조절할 수 있다(S240).
본 개시의 일 실시예에 따른 이미지 보정 시스템(10)은 추출된 기준점을 활용하여 객체가 바운딩 박스(BB)의 크기에 맞을 수 있도록 자동으로 이미지의 크기를 조절할 수 있고, 이에 따라서 사용자가 별다른 전문적인 보정 기술 없이 자동으로 편하게 크기 조절 보정을 수행할 수 있다.
도 7에서 나열된 기준점을 결정하는 예시는 일 예시이고, 이미지(IMG_R)의 크기를 바운딩 박스(BB)에 맞추기 위해 적어도 두 개의 기준점을 결정하고 이를 이용하여 이미지(IMG_R)의 크기를 조절하는 실시예는 본 개시의 기술적 사상에 포함됨은 이해되어야 할 것이다.
도 8은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다. 상세하게는, 도 8은 기준점들을 이용하여 이미지의 크기를 조절하는 실시예를 나타낸다.
도 2 및 도 8을 참조하면, 이미지 보정 시스템(10)은 제3 기준점(CP3)으로 턱선을 따라 추출된 1번 내지 17번 기준점 중 왼쪽에서 세번째 위치하는 3번 기준점을 결정할 수 있고, 제4 기준점(CP4)으로 턱선을 따라 추출된 1번 내지 17번 기준점 중 오른쪽에서 세번째 위치하는 15번 기준점을 결정할 수 있다.
이미지 보정 시스템(10)은 제3 기준점(CP3)과 제4 기준점(CP4)의 좌표 길이를 계산할 수 있다. 일 실시예에서, 이미지 보정 시스템(10)은 제3 기준점(CP3)과 제4 기준점(CP4)의 x축 좌표 차이를 좌표 길이로서 계산할 수 있다.
또한, 이미지 보정 시스템(10)은 바운딩 박스(BB)의 정보를 기초로 바운딩 박스(BB)의 가로 길이를 획득할 수 있다. 이미지 보정 시스템(10)은 바운딩 박스의 가로 길이를 계산한 좌표 길이로 나눔으로써 크기 조절 비율을 계산할 수 있고, 이미지(IMG_R)의 크기를 크기 조절 비율에 기초하여 확대하거나 축소함으로써 크기가 조절된 이미지(IMG_S)를 획득할 수 있다. 이에 따라서, 이미지(IMG_S)는 객체의 원하는 부위에 바운딩 박스(BB)가 위치되도록 크기가 조절될 수 있다.
본 개시의 일 실시예에 따르면, 바운딩 박스(BB)에 기초하여 사용자가 이미지를 컷팅하기 좋은 기준점이 결정될 수 있고, 이에 따라서 사용자가 추후에 이미지를 활용하기 좋도록 이미지의 크기가 조절될 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다. 상세하게는, 도 9는 도 1의 이동 단계(S50)를 나타낸다.
도 2 및 도 9를 참조하면, 이미지 보정 시스템(10)은 적어도 하나의 기준점 중 제5 기준점 및 제6 기준점을 이용하여 이미지를 X축으로 이동할 수 있다(S310). 이미지 보정 시스템(10)은 적어도 하나의 기준점 중 제7 기준점을 이용하여 이미지를 Y축으로 이동할 수 있다(S320).
본 개시의 일 실시예에 따른 이미지 보정 시스템(10)은 추출된 기준점을 활용하여 객체가 바운딩 박스(BB)의 위치에 맞을 수 있도록 자동으로 이미지의 위치를 이동시킬 수 있고, 이에 따라서 사용자가 별다른 전문적인 보정 기술 없이 자동으로 편하게 위치 조절 보정을 수행할 수 있다.
도 9에서는 2개의 기준점을 이용하여 X축으로 이미지를 이동하고, 1개의 기준점을 이용하여 Y축으로 이미지를 이동하는 예시를 도시하고 있으나, 이는 일 예시이고, 2개보다 많거나 적은 기준점을 이용하여 X축으로 이미지를 이동하고, 1개보다 많은 기준점을 이용하여 Y축으로 이미지를 이동하는 예시도 본 개시의 기술적 사상에 포함될 수 있다. 일 예시로, 이미지 보정 시스템(10)은 하나의 기준점을 이용하여 바운딩 박스(BB)의 위치에 맞도록 이미지를 X축 및 Y축으로 이동할 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다. 상세하게는, 도 10는 도 9의 X축 이동 단계(S310)를 나타낸다.
도 2 및 도 10을 참조하면, 이미지 보정 시스템(10)은 바운딩 박스의 중점의 X좌표를 계산할 수 있다(S311). 일 예시에서, 이미지 보정 시스템(10)은 바운딩 박스의 꼭지점 중 X좌표가 다른 두 개의 꼭지점의 X좌표에 대한 평균을 이용하여 바운딩 박스의 중점의 X좌표를 계산할 수 있다.
이미지 보정 시스템(10)은 적어도 하나의 기준점 중 제5 기준점 및 제6 기준점의 중점을 계산할 수 있다. 일 실시예에서, 제5 기준점과 제6 기준점은 서로 대칭되도록 결정될 수 있고, 제5 기준점은 크기 조절에 활용된 제3 기준점과 동일할 수 있고, 제6 기준점은 크기 조절에 활용된 제4 기준점과 동일할 수 있다. 일 예시에서, 제5 기준점은 턱선에 대응되는 기준점 중 왼쪽에서 N(N은 자연수) 번째 위치하고, 제6 기준점은 턱선에 대응되는 기준점 중 오른쪽에서 N번째 위치할 수 있다.
이미지 보정 시스템(10)은 제5 기준점과 제6 기준점의 중점에 대한 X좌표와, 바운딩 박스의 중점의 X좌표를 이용하여 이미지를 X축으로 이동할 수 있다(S313). 일 예시에서, 이미지 보정 시스템(10)은 제5 기준점과 제6 기준점의 중점에 대한 X좌표와, 바운딩 박스의 중점의 X좌표의 차이만큼 이미지를 X축으로 이동시킬 수 있다.
도 11은 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 순서도이다. 상세하게는, 도 11는 도 9의 Y축 이동 단계(S320)를 나타낸다.
도 2 및 도 11을 참조하면, 이미지 보정 시스템(10)은 바운딩 박스의 아랫변 Y좌표를 획득할 수 있다(S321). 일 예시에서, 이미지 보정 시스템(10)은 바운딩 박스의 꼭지점 중 아래쪽 꼭지점의 Y좌표를 아랫변 Y좌표로서 획득할 수 있다.
이미지 보정 시스템(10)은 적어도 하나의 기준점 중 제7 기준점과 아랫변 Y좌표 사이의 거리에 기초하여 이미지를 Y축으로 이동할 수 있다(S322). 일 실시예에서, 제7 기준점은 적어도 하나의 기준점 중 가장 아래에 위치하는 기준점으로 결정될 수 있다. 일 실시예에서, 제7 기준점은 턱선을 따라 형성된 기준점 중 가운데 기준점으로 결정될 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 이미지 보정 방법을 나타내는 도면이다. 상세하게는, 도 12는 이미지 이동 방법을 나타낸다.
도 2 및 도 12를 참조하면, 이미지 보정 시스템(10)은 제5 기준점(CP5)으로서 턱선을 따라 형성된 기준점 중 왼쪽에서 3번째 위치하는 3번 기준점을 결정하고, 제6 기준점(CP6)으로서 턱선을 따라 형성된 기준점 중 오른쪽에서 3번째 위치하는 15번 기준점을 결정하고, 제7 기준점(CP7)으로서 턱선을 따라 형성된 기준점 중 중간에 위치하는 9번 기준점을 결정할 수 있다. 9번 기준점은 적어도 하나의 기준점 중 가장 하단에 위치할 수 있다.
이미지 보정 시스템(10)은 제5 기준점(CP5)의 X좌표(x1)와 제6 기준점(CP6)의 X좌표(x2)을 이용해 제1 중점(CP_C)의 X좌표((x1+x2)/2)를 획득할 수 있다. 또한, 이미지 보정 시스템(10)은 바운딩 박스(BB)의 꼭지점들(CP_B1, CP_B2, CP_B3, CP_B4)의 좌표를 이용하여 제2 중점(CP_B)의 X좌표((x4+x5)/2)를 획득할 수 있다.
이미지 보정 시스템(10)은 제2 중점(CP_B)의 X좌표((x4+x5)/2)에서 제1 중점(CP_C)의 X좌표((x1+x2)/2)의 차이를 계산하고, 계산한 차이((x4+x5-x1-x2)/2)를 이용하여 이미지를 X축 방향으로 이동할 수 있다.
이미지 보정 시스템(10)은 제7 기준점(CP7)의 Y좌표(y3)와 바운딩 박스(BB)의 아랫변의 Y좌표(y5)를 획득하고, 그 차이를 계산할 수 있다. 이미지 보정 시스템(10)은 계산한 차이(y5-y3)를 이용하여 이미지를 Y축 방향으로 이동할 수 있다.
본 개시의 일 실시예에 따르면, 기준점들의 좌표를 이용하여 자동으로 이미지를 이동함으로써 사용자가 지정한 바운딩 박스(BB)에 정합하도록 이미지에 대한 이동 보정이 자동으로 수행될 수 있다. 본 개시의 일 실시예에 따르면, 바운딩 박스(BB)에 기초하여 사용자가 이미지를 컷팅하기 좋은 기준점이 결정될 수 있고, 이에 따라서 사용자가 추후에 이미지를 활용하기 좋도록 이미지의 위치가 이동될 수 있다.
이상과 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 객체가 포함된 이미지를 수신하는 단계;
    딥 러닝 알고리즘을 활용하여 상기 객체에 대응되는 적어도 하나의 기준점을 추출하는 단계;
    상기 적어도 하나의 기준점 중 제1 기준점 및 제2 기준점을 이은 가상 선의 각도를 계산하는 단계;및
    계산한 상기 각도를 활용하여 상기 이미지를 회전하는 단계;를 포함하는 이미지 보정 방법.
  2. 제1항에 있어서,
    상기 제1 기준점과 상기 제2 기준점은 상기 객체의 중심축을 기준으로 서로 대칭되는 위치에 대응되는 것을 특징으로 하는 이미지 보정 방법.
  3. 제2항에 있어서,
    상기 객체는 사람의 얼굴이고, 상기 적어도 하나의 기준점은 사람의 얼굴을 구성하는 선들에 대응되고,
    상기 제1 기준점은 상기 객체의 좌안에 포함되고, 상기 제2 기준점은 상기 객체의 우안에 포함되는 것을 특징으로 하는 이미지 보정 방법.
  4. 제3항에 있어서,
    상기 제1 기준점은 상기 객체의 좌안에 포함된 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 우안에 포함된 점들 중 가장 오른쪽에 위치하는 것을 특징으로 하는 이미지 보정 방법.
  5. 제2항에 있어서,
    상기 제1 기준점은 상기 객체의 왼쪽 눈썹에 대응되는 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 오른쪽 눈썹에 대응되는 점들 중 가장 오른쪽에 위치하는 것을 특징으로 하는 이미지 보정 방법.
  6. 제2항에 있어서,
    상기 제1 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 왼쪽에 위치하고, 상기 제2 기준점은 상기 객체의 입술에 대응되는 점들 중 가장 오른쪽에 위치하는 것을 특징으로 하는 이미지 보정 방법.
  7. 제1항에 있어서,
    상기 객체의 좌안에 포함되는 점들 중 적어도 일부에 대한 제1 평균 좌표를 상기 제1 기준점으로 결정하는 단계;및
    상기 객체의 우안에 포함되는 점들 중 적어도 일부에 대한 제2 평균 좌표를 상기 제2 기준점으로 결정하는 단계;를 더 포함하는 이미지 보정 방법.
  8. 제1항에 있어서,
    상기 제1 기준점은 상기 객체의 코에 대응되는 점들 중 가장 위에 위치하고, 상기 제2 기준점은 상기 객체의 코에 대응되는 점들 중 가장 아래에 위치하는 것을 특징으로 하는 이미지 보정 방법.
  9. 제1항에 있어서,
    상기 가상 선의 각도는 수평 선과 상기 가상 선이 이루는 각도이고,
    상기 이미지를 회전하는 단계는, 상기 이미지를 상기 가상 선이 상기 수평 선과 일치되도록 회전하는 단계를 포함하는 이미지 보정 방법.
  10. 제1항에 있어서,
    바운딩 박스에 대한 정보를 수신하는 단계;
    상기 적어도 하나의 기준점 중 제3 기준점 및 제4 기준점을 이용하여 상기 바운딩 박스에 대응되도록 상기 이미지의 크기를 조절하는 단계;및
    상기 적어도 하나의 기준점 중 제5 기준점을 이용하여 상기 바운딩 박스에 대응되도록 상기 이미지의 위치를 변경하는 단계;를 더 포함하고,
    상기 이미지의 크기를 조절하는 단계는,
    상기 제3 기준점 및 상기 제4 기준점의 좌표 거리를 계산하는 단계;
    상기 바운딩 박스의 가로 길이를 획득하는 단계;
    상기 좌표 거리와 상기 가로 길이의 비율을 계산하는 단계;및
    계산한 상기 비율에 기초하여 상기 이미지의 크기를 조절하는 단계;를 포함하고,
    상기 이미지의 위치를 변경하는 단계는,
    상기 바운딩 박스의 중점의 X좌표를 계산하는 단계;
    상기 제3 기준점 및 상기 제4 기준점의 중점을 계산하는 단계;
    상기 제3 기준점 및 상기 제4 기준점의 중점과 상기 바운딩 박스의 중점의 X좌표가 일치하도록 상기 이미지의 X축으로 이동하는 단계;
    상기 바운딩 박스의 아랫변의 Y좌표를 획득하는 단계;및
    상기 제5 기준점과 상기 바운딩 박스의 아랫변의 Y좌표가 일치하도록 상기 이미지의 Y축으로 이동하는 단계;를 포함하는 이미지 보정 방법.



KR1020210011766A 2021-01-27 2021-01-27 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 KR102532250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210011766A KR102532250B1 (ko) 2021-01-27 2021-01-27 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210011766A KR102532250B1 (ko) 2021-01-27 2021-01-27 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템

Publications (2)

Publication Number Publication Date
KR20220108597A true KR20220108597A (ko) 2022-08-03
KR102532250B1 KR102532250B1 (ko) 2023-05-15

Family

ID=82847214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210011766A KR102532250B1 (ko) 2021-01-27 2021-01-27 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템

Country Status (1)

Country Link
KR (1) KR102532250B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248815A (ja) * 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム
KR20060132040A (ko) * 2004-04-15 2006-12-20 마츠시타 덴끼 산교 가부시키가이샤 얼굴 화상 작성장치 및 방법
JP2009302910A (ja) * 2008-06-13 2009-12-24 Canon Inc 撮像装置及び画像再生装置
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248815A (ja) * 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム
KR20060132040A (ko) * 2004-04-15 2006-12-20 마츠시타 덴끼 산교 가부시키가이샤 얼굴 화상 작성장치 및 방법
JP2009302910A (ja) * 2008-06-13 2009-12-24 Canon Inc 撮像装置及び画像再生装置
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치

Also Published As

Publication number Publication date
KR102532250B1 (ko) 2023-05-15

Similar Documents

Publication Publication Date Title
US11037281B2 (en) Image fusion method and device, storage medium and terminal
EP3742333A1 (en) Image processing method and apparatus, and computer device and storage medium
JP6330036B2 (ja) 画像処理装置及び画像表示装置
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN107507217B (zh) 证件照的制作方法、装置及存储介质
CN110049351B (zh) 视频流中人脸变形的方法和装置、电子设备、计算机可读介质
CN107452049B (zh) 一种三维头部建模方法及装置
US11790495B2 (en) Method for optimal body or face protection with adaptive dewarping based on context segmentation layers
KR101710003B1 (ko) 실시간 동적 비평면 프로젝션 장치 및 방법
US20080267449A1 (en) 3-d modeling
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
JP2004038973A (ja) コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
CN110264396B (zh) 视频人脸替换方法、系统及计算机可读存储介质
CN107767326B (zh) 图像中对象变换处理方法、装置及计算设备
KR102532250B1 (ko) 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템
KR102532251B1 (ko) 딥러닝 알고리즘을 활용하여 추출한 얼굴 특징점을 이용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템
JP7110899B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112507766A (zh) 人脸图像提取方法、存储介质及终端设备
JP2014006604A (ja) 画像生成装置、画像生成方法及びプログラム
CN113920196A (zh) 视觉定位方法、装置及计算机设备
JP2003070021A (ja) ポータブル三次元データ入力装置及び立体モデル生成装置
CN113610864A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108108694A (zh) 一种人脸特征点定位方法及装置

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant