KR20230146716A - 이미지 매팅 방법 및 그 장치 - Google Patents

이미지 매팅 방법 및 그 장치 Download PDF

Info

Publication number
KR20230146716A
KR20230146716A KR1020220045443A KR20220045443A KR20230146716A KR 20230146716 A KR20230146716 A KR 20230146716A KR 1020220045443 A KR1020220045443 A KR 1020220045443A KR 20220045443 A KR20220045443 A KR 20220045443A KR 20230146716 A KR20230146716 A KR 20230146716A
Authority
KR
South Korea
Prior art keywords
map
image
feature map
foreground
saliency
Prior art date
Application number
KR1020220045443A
Other languages
English (en)
Other versions
KR102624296B1 (ko
Inventor
백준기
박혁진
박석목
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020220045443A priority Critical patent/KR102624296B1/ko
Publication of KR20230146716A publication Critical patent/KR20230146716A/ko
Application granted granted Critical
Publication of KR102624296B1 publication Critical patent/KR102624296B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Packaging Of Special Articles (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

이미지 매팅 방법 및 그 장치가 개시된다. 이미지 매팅 방법은, (a) 입력 이미지를 딥러닝 기반 모델에 적용하여 타겟 객체에 대한 전경 맵과 돌출 맵을 각각 추출하는 단계; (b) 배경 이미지의 크기를 고려하여 상기 전경 맵과 상기 돌출 맵의 크기를 조절하는 단계; (c) 상기 크기가 조절된 돌출 맵을 보간(interpolation)하고 제로 패딩(zero padding)하여 상기 배경 이미지의 타겟 위치에 돌출 영역을 생성하는 단계; 및 (d) 상기 돌출 영역에 상기 크기가 조절된 전경 맵을 포화시키는 단계를 포함한다.

Description

이미지 매팅 방법 및 그 장치{Method and apparatus of image matting}
본 발명은 사람을 제외한 배경을 매트화하는 이미지 매팅 방법 및 그 장치에 관한 것이다.
인간의 생각을 표현하고 전달하는 방법에는 여러 가지가 있지만 그 중 사진과 이미지를 이용한 시각화가 중요하다. 같은 인물이 등장하더라도 사진의 배경에 따라 다른 느낌을 전달할 수 있으며, 이러한 배경의 시각적 정보는 다양한 효과를 제공할 수 있다.
최근에는 크로마키를 이용한 배경 매팅 방식이 주로 사용되고 있다. 이미지 A와 이미지 B가 있는 경우, 크로마키는 이미지 B에서 덜 분산된 색상을 제거하고 이미지 A만 보이도록 투명하게 만들 수 있다.
이러한 크로마키를 이용하는 경우 크로마키를 반드시 설치해야 하기 때문에, 위치 제한이 있는 단점이 있다.
본 발명은 사람을 제외한 배경을 매트화하는 이미지 매팅 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 크로마키를 사용하지 않고 배경 매칭이 가능한 이미지 매팅 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 시각적 착시를 제공하여 보다 풍부한 시각적 아름다움을 전달할 수 있는 이미지 매팅 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면 사람을 제외한 배경을 매트화하는 이미지 매팅 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 입력 이미지를 딥러닝 기반 모델에 적용하여 타겟 객체에 대한 전경 맵과 돌출 맵을 각각 추출하는 단계; (b) 배경 이미지의 크기를 고려하여 상기 전경 맵과 상기 돌출 맵의 크기를 조절하는 단계; (c) 상기 배경 이미지의 타겟 위치에 상기 크기가 조절된 돌출 맵을 보간 (interpolation)하고 제로 패딩(zero padding)하여 돌출 영역을 생성하는 단계; 및 (d) 상기 돌출 영역에 상기 크기가 조절된 전경 맵을 포화시키는 단계를 포함하는 이미지 매팅 방법이 제공될 수 있다.
상기 돌출 영역은 상기 배경 이미지와 상기 돌출 맵의 채도 계산을 수행한 후 임계치를 기반으로 보간 및 제로 패딩을 이용하여 생성될 수 있다.
상기 임계치 이상인 경우, 상기 배경 이미지의 돌출 영역 중 어느 하나의 픽셀이 제1 값으로 변경되고, 상기 임계치 미만이면 상기 전경 맵 중 어느 하나의 픽셀값이 제1 값으로 변경될 수 있다.
상기 딥러닝 기반 모델은, 상기 입력 이미지를 입력받아 조악한(coarse) 특징맵을 생성하는 예측 모델; 및 상기 조악한 특징맵을 정제하여 정제된 특징맵을 생성하는 정제 모델을 포함하되, 상기 정제 모델은 잔차 블록과 컨볼루션 블록 어텐션 모듈을 결합한 구조이되,
상기 잔차 블록은 인코더-디코더 구조를 가지되, 상기 인코더는 맥스 풀링을 적용하여 압축한 제1 결과값과 복수의 컨볼루션 레이어를 통해 압축한 제2 결과값을 더하여 압축된 특징맵을 출력할 수 있다.
상기 디코더는, 상기 압축된 특징맵을 업샘플링하되, 저 레벨 특징맵은 3 x 3 컨볼루션 연산하고, 고 레벨 특징맵은 글로벌 풀링(Global pooling)을 적용한 후 1 x 1 컨볼루션 연산한 후 상기 저 레벨 특징맵과 곱하며 점진적으로 업샘플링될 수 있다.
상기 (b) 단계는, 상기 전경 맵과 상기 돌출 맵의 크기를 절반으로 줄일 수 있다.
본 발명의 다른 측면에 따르면, 사람을 제외한 배경을 매트화하는 이미지 매팅 장치가 제공된다.
본 발명의 일 실시예에 따르면, 적어도 하나의 명령어를 저장하는 메모리; 상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되, 상기 프로세서에 의해 실행된 명령어는, (a) 입력 이미지를 딥러닝 기반 모델에 적용하여 타겟 객체에 대한 전경 맵과 돌출 맵을 각각 추출하는 단계; (b) 배경 이미지의 크기를 고려하여 상기 전경 맵과 상기 돌출 맵의 크기를 조절하는 단계; (c) 상기 배경 이미지의 타겟 위치에 상기 크기가 조절된 돌출 맵을 보간 (interpolation)하고 제로 패딩(zero padding)하여 돌출 영역을 생성하는 단계; 및 (d) 상기 돌출 영역에 상기 크기가 조절된 전경 맵을 포화시키는 단계를 수행하는 것을 특징으로 하는 이미지 매팅 장치가 제공될 수 있다.
본 발명의 일 실시예에 따른 사람을 제외한 배경을 매트화하는 이미지 매팅 방법 및 그 장치를 제공함으로써, 크로마키를 사용하지 않고 배경 매칭이 가능한 이점이 있다.
또한, 본 발명은 딥러닝 모델의 개선을 통해 에질 부분을 개선할 수 있으며, 시각적 착시를 제공하여 보다 풍부한 시각적 아름다움을 전달할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 매팅 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 모델의 상세 구조를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 정제 모델의 잔차 모듈과 CBAM 결합 구조를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 정제 모델의 디코더 업샘플링 구조를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 정제 모델의 인코더의 다운샘플링 구조를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 전경 맵과 돌출 맵 추출 결과를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 각 단계의 이미지 매트화 결과를 도시한 도면.
도 8은 종래와 본 발명의 일 실시예에 따른 돌출 맵 추출 결과를 비교한 도면.
도 9는 본 발명의 일 실시예에 따른 이미지 매트화 결과를 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 이미지 매팅 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 매팅 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 모델의 상세 구조를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 정제 모델의 잔차 모듈과 CBAM 결합 구조를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 정제 모델의 디코더 업샘플링 구조를 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 정제 모델의 인코더의 다운샘플링 구조를 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 전경 맵과 돌출 맵 추출 결과를 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 각 단계의 이미지 매트화 결과를 도시한 도면이며, 도 8은 종래와 본 발명의 일 실시예에 따른 돌출 맵 추출 결과를 비교한 도면이고, 도 9는 본 발명의 일 실시예에 따른 이미지 매트화 결과를 도시한 도면이다.
단계 110에서 이미지 매팅 장치(100)는 입력 이미지를 딥러닝 기반 모델에 적용하여 전경 맵과 돌출 맵을 각각 획득한다.
본 발명의 일 실시예에 따르면 딥러닝 기반 모델은 BASNet을 기반으로 한다. 이러한, 딥러닝 기반 모델의 구조는 도 2에 도시된 바와 같다. 딥러닝 기반 모델은 예측 모델과 정제 모듈로 구성된다.
이에 대해 도 2를 참조하여 보다 상세히 설명하기로 한다.
예측 모델의 백본네트워크는 BASNet의 백본네트워크와 같이 인코더-디코더 구조 기반으로 구성된다.
이러한, 예측 모델의 인코더-디코더 구성은 도 2에 도시된 바와 같다.
예측 모델은 입력 레이어의 컨볼루션 필터가 3 x 3 크기의 64이며, 입력 레이어에 풀링 오퍼레이션(pooling operation)이 없다. 풀링(pooling)이 없기 때문에 두번째 블록 전의 특징 맵은 입력 이미지와 동일한 해상도를 가지며, 이로 인해 초기의 블록에서도 높은 해상도의 특징을 획득하면서 동시에 전체적인 수용 필드(receptive fields)를 감소시킬 수 있다.
또한, 도 2에서 보여지는 바와 같이, 인코더와 디코더 사이에는 브리지 스테이지(bridge stage)를 추가하여 고 레벨 특징(high level feature)를 넘겨줄 수 있다. 인코더와 디코더 모듈은 도 3에 도시된 바와 같다.
예측 모델에서 생성된 특징맵은 조악한(coarse) 성질을 지니고 있다. 여기서, 조악한(coarse) 성질이란 흐릿하고 노이즈가 많은 경계(boundary)를 포함하며, 불균형하게 예측된 지역적 확률(regional probabilities)을 의미한다.
예측 모델에서 생성된 조악한 성질을 가지는 특징맵의 조악(coarse)함을 감소시키기 위해 잔차 블록(Residual block) 기반의 정제 모델이 예측 모델 뒤에 위치된다.
이러한 정제 모델은 도 2에서 보여지는 바와 같이, 기본 구조는 예측 모델과 유사하게 인코더-디코더 구조로 구성된다.
다만, 정제 모듈은 잔차 블록과 CBAM(Convolutional Block Attention Module)이 결합된 구조이다.
도 3를 참조하여 간략히 설명하면, 채널 어텐션 모듈(channel attention module)은 예측 모델의 출력인 특징맵을 입력받아 어텐션 맵을 출력하되, 평균 풀링(averaging pooling)으로 획득 가능한 공간적 정보와 맥스 풀링(max pooling)으로 획득된 가능한 공간적 정보를 모두 활용하여 두 어텐션 맵을 더한 후 시그모이드 연산을 통해 최종 채널 어텐션 맵을 생성한다.
또한, 공간 어텐션 모듈(spatial attention module)은 예측 모델의 출력인 특징맵에 채널 어텐션 맵을 반영한 결과를 입력받아 어텐션 맵을 출력하되, 평균 풀링과 맥스 풀링을 이용하여 두 어텐션 맵을 생성한 후 이를 결합(concatenate)한 후 7 x 7 컨볼루션 연산을 수행하고, 시그모이드 활성화(sigmoid activation)을 통해 최정 공간적 어텐션 맵을 생성할 수 있다.
정제 모델의 인코더 구조는 도 4에 도시된 바와 같다. 정제 모델의 인코더는 맥스 풀링(Max pooling, K=2, S=2)을 적용한 결과와 복수의 컨볼루션 연산 결과를 더하여 압축된 특징맵을 출력하되, 점진적으로 다운샘플링될 수 있다.
이와 같이, 2 x 2 커널을 사용한 맥스 풀링을 적용함으로써 에지 부분을 보다 개선할 수 있는 이점이 있다.
디코더의 업 샘플링 구조는 도 5에 도시된 바와 같다.
디코더의 업 샘플링시, 저 레벨 특징맵은 3 x 3 컨볼루션 연산하고, 고 레벨 특징맵은 글로벌 평균 풀링(Global average pooling)을 적용한 후 1 x 1 컨볼루션 연산한 후 상기 저 레벨 특징맵과 곱하며 점진적으로 업샘플링할 수 있다.
글로벌 평균 풀링을 수행하여 저 레벨 카테고리 탐색 상세(category localization detail)에 더 집중하도록 할 수 있는 이점이 있다.
도 6에는 원본 이미지와 딥러닝 기반 모델을 통해 추출된 전경 맵과 돌출 맵이 예시되어 있다. 도 6의 (a)는 원본 이미지를 나타내고, (b)는 전경 맵이며, (c)는 돌출 맵이다.
단계 115에서 이미지 매팅 장치(100)는 배경 이미지의 크기를 고려하여 전경 맵과 돌출 맵의 크기를 조절한다.
입력 이미지와 배경 이미지의 크기가 다르기 때문에 적절한 크기로 대상 객체를 배치하기 위해서는 전경 맵과 돌출 맵의 크기를 조절해야만 한다.
예를 들어, 전경 맵과 돌출 맵은 절반 크기로 줄여서 조절될 수 있다.
다른 예를 들어, 입력 이미지와 배경 이미지의 해상도를 고려하여 전경 맵과 돌출 맵의 크기가 조절될 수 있다.
단계 120에서 이미지 매팅 장치(100)는 배경 이미지에 상기 크기가 조절된 돌출 맵을 보간(interpolation)하고 제로 패딩(zero padding)하여 배경 이미지의 타겟 위치에 돌출 영역을 생성한다.
이때, 이미지 매팅 장치(100)는 배경 이미지와 돌출 맵의 채도 계산을 수행한 후 임계치를 기반으로 배경 이미지상에 돌출 영역을 생성할 수 있다.
예를 들어, 이미지 매팅 장치(100)는 배경 이미지와 돌출 맵의 채도 계산을 수행한 후 임계치(예를 들어, 80) 이상이면, 타겟 위치의 돌출 맵에 대응하는 배경 이미지 중 어느 하나의 픽셀을 제1 값(예를 들어, 0)으로 변경할 수 있다. 그러나 만일 임계치 미만이면, 이미지 매팅 장치(100)는 전경 맵 중 어느 하나의 픽셀값을 제1 값으로 변경하는 제로 패딩을 수행할 수 있다.
단계 125에서 이미지 매팅 장치(100)는 배경 이미지의 돌출 영역에 크기가 조절된 전경 맵을 포화시킨다.
도 7에는 이미지 매트화 결과가 도시되어 있다. 도 7의 (a)는 배경 이미지를 나타내고, (b)는 포화 결과 이미지를 나타낸다.
배경 이미지내에 크기가 조절된 돌출 맵을 보간하고 제로 패딩하면 도 7의 (b)와 같이 나타낸다. 도 7의 (b)와 같은 돌출 영역에 도 6의 (b)와 같은 타겟 객체에 해당하는 전경 맵으로 포화시키기 위해 돌출 영역을 제1 값으로 변경한 결과가 도 7의 (c)와 같으며, 돌출 영역에 전경 맵을 포화시킨 결과는 도 7의 (d)와 같다.
도 8은 종래와 본 발명의 일 실시예에 따른 돌출 맵 추출 결과를 비교한 결과이다. 도 8에서 보여지는 바와 같이, 머리카락, 동물의 머리카락 등 섬세한 부분에서 보다 정확한 돌출 맵을 보여주며, 감지되지 않은 부분도 식별이 가능함을 알 수 있다.
도 9는 본 발명의 일 실실시예에 따른 이미지 매트 결과를 도시한 도면이다. 도 9에서 보여지는 바와 같이, 이미지 매트 결과 배경 이미지에 타겟 객체(사람)만 다른 이미지로 변환되며, 보간과 제로 패딩 등을 사용하여 배경과 인물 간의 자연스러운 연결을 보여주는 것을 알 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지 매팅 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 이미지 매팅 장치(100)는 추출부(1010), 이미지 매팅부(1020), 메모리(1030) 및 프로세서(1040)를 포함하여 구성된다.
추출부(1010)는 딥러닝 기반 모델을 구비하되, 딥러닝 기반 모델을 통해 입력 이미지에서 타겟 객체(사람)에 대한 전경 맵과 돌출 맵을 추출하기 위한 수단이다.
딥러닝 기반 모델은 BASNet 기반 모델이되, 이에 대한 상세한 구조는 도 2 내지 도 5를 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
이미지 매팅부(1020)는 전경 맵과 돌출 맵을 이용하여 배경 이미지를 매트화하기 위한 수단이다.
예를 들어, 이미지 매팅부(1020)는 보간을 통해 돌출 맵의 크기를 조정하고 배경 이미지와 크기를 일치시키기 위해 제로 패딩을 적용하며, 배경 이미지와 돌출 맵의 채도 계산을 수행한 후 임계값을 사용하여 돌출 영역을 제1 값으로 변경하며, 돌출 영역에 전경 맵을 다시 포화시킬 수 있다.
이는 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
메모리(1030)는 본 발명의 일 실시예에 따른 이미지 매팅 방법을 수행하기 위한 프로그램 코드(명령어)를 저장하기 위한 수단이다.
프로세서(1040)는 본 발명의 일 실시예에 따른 이미지 매팅 장치(100)의 내부 구성 요소들(예를 들어, 추출부(1010), 이미지 매팅부(1020), 메모리(1030) 등)을 제어하기 위한 수단이다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 이미지 매팅 장치
1010: 추출부
1020: 이미지 매팅부
1030: 메모리
1040: 프로세서

Claims (12)

  1. (a) 입력 이미지를 딥러닝 기반 모델에 적용하여 타겟 객체에 대한 전경 맵과 돌출 맵을 각각 추출하는 단계;
    (b) 배경 이미지의 크기를 고려하여 상기 전경 맵과 상기 돌출 맵의 크기를 조절하는 단계;
    (c) 상기 크기가 조절된 돌출 맵을 보간(interpolation)하고 제로 패딩(zero padding)하여 상기 배경 이미지의 타겟 위치에 돌출 영역을 생성하는 단계; 및
    (d) 상기 돌출 영역에 상기 크기가 조절된 전경 맵을 포화시키는 단계를 포함하는 이미지 매팅 방법.
  2. 제1 항에 있어서,
    상기 돌출 영역은 상기 배경 이미지와 상기 돌출 맵의 채도 계산을 수행한 후 임계치를 기반으로 상기 돌출 맵에 상응하는 영역이 제1 값으로 변경되어 생성되는 것을 특징으로 하는 이미지 매팅 방법.
  3. 제2 항에 있어서,
    상기 임계치 이상인 경우, 상기 돌출 영역 중 어느 하나의 픽셀이 제1 값으로 변경하고, 상기 임계치 미만이면 상기 전경 맵 중 어느 하나의 픽셀값을 제1 값으로 변경하는 것을 특징으로 하는 이미지 매팅 방법.
  4. 제1 항에 있어서,
    상기 딥러닝 기반 모델은,
    상기 입력 이미지를 입력받아 조악한(coarse) 특징맵을 생성하는 예측 모델; 및
    상기 조악한 특징맵을 정제하여 정제된 특징맵을 생성하는 정제 모델을 포함하되,
    상기 정제 모델은 잔차 블록과 컨볼루션 블록 어텐션 모듈을 결합한 구조이되,
    상기 잔차 블록은 인코더-디코더 구조를 가지되, 상기 인코더는 맥스 풀링을 적용하여 압축한 제1 결과값과 복수의 컨볼루션 레이어를 통해 압축한 제2 결과값을 더하여 압축된 특징맵을 출력하는 것을 특징으로 하는 이미지 매팅 방법.
  5. 제4 항에 있어서,
    상기 디코더는,
    상기 압축된 특징맵을 업샘플링하되, 저 레벨 특징맵은 3 x 3 컨볼루션 연산하고, 고 레벨 특징맵은 글로벌 풀링(Global pooling)을 적용한 후 1 x 1 컨볼루션 연산한 후 상기 저 레벨 특징맵과 곱하며 점진적으로 업샘플링되는 것을 특징으로 하는 이미지 매팅 방법.
  6. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 전경 맵과 상기 돌출 맵의 크기를 절반으로 줄이는 것을 특징으로 하는 이미지 매팅 방법.
  7. 제1 항 내지 제6 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  8. 적어도 하나의 명령어를 저장하는 메모리;
    상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되,
    상기 프로세서에 의해 실행된 명령어는,
    (a) 입력 이미지를 딥러닝 기반 모델에 적용하여 타겟 객체에 대한 전경 맵과 돌출 맵을 각각 추출하는 단계;
    (b) 배경 이미지의 크기를 고려하여 상기 전경 맵과 상기 돌출 맵의 크기를 조절하는 단계;
    (c) 상기 배경 이미지의 타겟 위치에 상기 크기가 조절된 돌출 맵을 보간 (interpolation)하고 제로 패딩(zero padding)하여 돌출 영역을 생성하는 단계; 및
    (d) 상기 돌출 영역에 상기 크기가 조절된 전경 맵을 포화시키는 단계를 수행하는 것을 특징으로 하는 이미지 매팅 장치.
  9. 제8 항에 있어서,
    상기 (c) 단계는,
    상기 배경 이미지와 상기 돌출 맵의 채도 계산을 수행하여 임계치를 기반으로 상기 돌출 영역을 생성하는 것을 특징으로 하는 이미지 매팅 장치.
  10. 제9 항에 있어서,
    상기 (c) 단계는, 상기 임계치 이상인 경우, 상기 배경 이미지의 돌출 영역 중 어느 하나의 픽셀이 제1 값으로 변경되고, 상기 임계치 미만이면 상기 전경 맵 중 어느 하나의 픽셀값이 제1 값으로 변경되는 것을 특징으로 하는 이미지 매팅 장치.
  11. 제7 항에 있어서,
    상기 딥러닝 기반 모델은,
    상기 입력 이미지를 입력받아 조악한(coarse) 특징맵을 생성하는 예측 모델; 및
    상기 조악한 특징맵을 정제하여 정제된 특징맵을 생성하는 정제 모델을 포함하되,
    상기 정제 모델은 잔차 블록과 컨볼루션 블록 어텐션 모듈을 결합한 구조이되,
    상기 잔차 블록은 인코더-디코더 구조를 가지되, 상기 인코더는 맥스 풀링을 적용하여 압축한 제1 결과값과 복수의 컨볼루션 레이어를 통해 압축한 제2 결과값을 더하여 압축된 특징맵을 출력하는 것을 특징으로 하는 이미지 매팅 장치.
  12. 제11 항에 있어서,
    상기 디코더는,
    상기 압축된 특징맵을 업샘플링하되, 저 레벨 특징맵은 3 x 3 컨볼루션 연산하고, 고 레벨 특징맵은 글로벌 풀링(Global pooling)을 적용한 후 1 x 1 컨볼루션 연산한 후 상기 저 레벨 특징맵과 곱하며 점진적으로 업샘플링되는 것을 특징으로 하는 이미지 매팅 장치.

KR1020220045443A 2022-04-13 2022-04-13 이미지 매팅 방법 및 그 장치 KR102624296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220045443A KR102624296B1 (ko) 2022-04-13 2022-04-13 이미지 매팅 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220045443A KR102624296B1 (ko) 2022-04-13 2022-04-13 이미지 매팅 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20230146716A true KR20230146716A (ko) 2023-10-20
KR102624296B1 KR102624296B1 (ko) 2024-01-11

Family

ID=88514701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220045443A KR102624296B1 (ko) 2022-04-13 2022-04-13 이미지 매팅 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102624296B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014658A (ja) * 2010-07-05 2012-01-19 Casio Comput Co Ltd 画像処理装置及び方法、並びにプログラム
KR102114738B1 (ko) * 2019-10-21 2020-05-25 가천대학교 산학협력단 언노운 영역 감지를 통한 알파 매트의 트라이맵 자동 생성 방법 및 그 장치
KR20200131417A (ko) * 2019-05-14 2020-11-24 경희대학교 산학협력단 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램
US20210225037A1 (en) * 2019-05-09 2021-07-22 Disney Enterprises, Inc. Learning-based sampling for image matting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014658A (ja) * 2010-07-05 2012-01-19 Casio Comput Co Ltd 画像処理装置及び方法、並びにプログラム
US20210225037A1 (en) * 2019-05-09 2021-07-22 Disney Enterprises, Inc. Learning-based sampling for image matting
KR20200131417A (ko) * 2019-05-14 2020-11-24 경희대학교 산학협력단 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램
KR102114738B1 (ko) * 2019-10-21 2020-05-25 가천대학교 산학협력단 언노운 영역 감지를 통한 알파 매트의 트라이맵 자동 생성 방법 및 그 장치

Also Published As

Publication number Publication date
KR102624296B1 (ko) 2024-01-11

Similar Documents

Publication Publication Date Title
CN111050219B (zh) 用于利用空间-时间记忆网络处理视频内容的方法和系统
US11430205B2 (en) Method and apparatus for detecting salient object in image
CN109493350B (zh) 人像分割方法及装置
CN108010031B (zh) 一种人像分割方法及移动终端
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN106846241B (zh) 一种图像融合的方法、装置和设备
US12165292B2 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
US11393100B2 (en) Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network
JP2022501662A (ja) 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
US8605118B2 (en) Matrix generation apparatus, method, and program, and information processing apparatus
CN111915627A (zh) 语义分割方法、网络、设备及计算机存储介质
JP5695257B1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN112330696A (zh) 人脸分割方法、装置及计算机可读存储介质
US20230053588A1 (en) Generating synthesized digital images utilizing a multi-resolution generator neural network
US20220076119A1 (en) Device and method of training a generative neural network
US20230325985A1 (en) Systems and methods for inpainting images at increased resolution
CN114022497A (zh) 一种图像处理方法及装置
CN112700460A (zh) 图像分割方法及系统
CN115049556A (zh) 一种基于StyleGAN的人脸图像修复方法
KR101795952B1 (ko) 2d 영상에 대한 깊이 영상 생성 방법 및 장치
KR102166016B1 (ko) 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
KR102624296B1 (ko) 이미지 매팅 방법 및 그 장치
KR20210049648A (ko) 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법
KR101856426B1 (ko) 3차원 기하 증강 방법 및 그 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220413

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20230214

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20220413

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230525

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231017

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240109

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240109

End annual number: 3

Start annual number: 1

PG1601 Publication of registration