KR101617685B1 - 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치 - Google Patents

파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치 Download PDF

Info

Publication number
KR101617685B1
KR101617685B1 KR1020140190047A KR20140190047A KR101617685B1 KR 101617685 B1 KR101617685 B1 KR 101617685B1 KR 1020140190047 A KR1020140190047 A KR 1020140190047A KR 20140190047 A KR20140190047 A KR 20140190047A KR 101617685 B1 KR101617685 B1 KR 101617685B1
Authority
KR
South Korea
Prior art keywords
alpha
matting
elements
foreground
alpha matting
Prior art date
Application number
KR1020140190047A
Other languages
English (en)
Inventor
이상웅
위성국
Original Assignee
조선대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교 산학협력단 filed Critical 조선대학교 산학협력단
Priority to KR1020140190047A priority Critical patent/KR101617685B1/ko
Application granted granted Critical
Publication of KR101617685B1 publication Critical patent/KR101617685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치에 관한 것으로, 사진의 불투명도를 추정하여 분할과 합성에서 높은 정확성과 나은 성능을 위해 알파매트를 그룹 짓기 전에 불필요한 알파 요소를 제거함으로써 사용자의 어떤 입력도 없이 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하는 파라미터-프리 스펙트럴 매팅 기술을 통해, 기존 이미지 추출 기술보다 보다 정확하고 경계가 매끄러운 결과물을 제공하는 자동 분할 향상 방법 및 장치에 관한 것이다.

Description

파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치 {METHOD AND APPARATUS FOR IMPROVING AUTOMATIC SEGMENTATION BASED ON PARAMETER-FREE SPECTRAL MATTING}
본 발명은 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치에 관한 것으로, 더욱 자세하게는 사진에서 좋은 분할 결과를 실현하는 라플라시안 행렬의 최소 고유 벡터로부터 필수적인 매팅 요소를 자동으로 추출하는 파라미터-프리 스펙트럴 매팅을 이용하여, 분할과 합성에서 높은 정확성과 나은 성능을 위해 알파매트를 그룹 짓기 전에 알파 요소를 버리고, 또한 사용자의 어떤 입력도 없이 사진의 불투명도 추정을 통해 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하는 자동 분할 향상 방법 및 장치에 관한 것이다.
오늘날 영상 기술의 발전 및 영상 관련 문화 콘텐츠의 산업 확대로 다양한 영상 처리 기술이 개발되고 있다. 특히 영상의 분할 및 합성 등 편집 분야에서는 원본 이미지에서 인물 같은 전경(Foreground)의 특정 부분(Region Of Interest, ROI)을 추출해야 하는 경우가 빈번하다.
종래 원본으로부터 전경을 추출하는 분할 기술들은 Grab Cut, Graph Cut, Intelligent Scissors, Magic Wand, Bayesian Matting 등이 있다. 그러나 종래의 분할 기술들은 분할 결과의 경계선이 평평하지 않거나 고르지 못한 문제가 있다. 또한 종래 분할 기술들은 배경으로부터 전경 영역을 인식하기 위해 직사각형이나 트라이-맵(tri-map) 등을 경계 짓는 형태로 사용자로부터 추가적인 입력이 필요하기 때문에 다량의 이미지 편집의 위해서는 작업량이 늘어나는 문제가 있었다.
본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치는 이러한 종래 기술의 문제점을 해결하기 위해 사진에서 좋은 분할 결과를 실현하는 라플라시안 행렬의 최소 고유 벡터로부터 필수적인 매팅 요소를 자동으로 추출하는 파라미터-프리 스펙트럴 매팅을 이용하여 분할과 합성에서 높은 정확성과 나은 성능을 위해 알파매트를 그룹 짓기 전에 알파 요소를 버려서 종래 분할 기술에 비해 매끄러운 분할 경계의 전경을 추출한다. 또한 사용자의 어떤 입력도 없이 사진의 불투명도 추정을 통해 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하는 자동 분할 향상 방법을 제공하고자 한다.
본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치와 관련한 종래의 선행기술문헌으로, 한국등록특허 제2005-0131986호(2007.03.16)는 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그 장치에 관한 것으로, 입력된 영상에서 인물 외형을 추출하고 추출된 인물 외형을 이용하여 영상을 편집하는 방법 및 그 장치에 관한 것이다.
또 다른 선행기술문헌으로서, 한국등록특허 제2010-0071822호(2010.06.29)는 이미지에서의 의류 검출 장치와 그 방법에 관현 발명으로, 이미지에서 사람의 얼굴을 인식하고, 인식된 얼굴을 기반으로 의류를 검출하는 의류 검출 장치와 그 방법에 관한 발명이다.
그러나 상기 종래의 선행기술문헌들은 필수적이지 않은 알파 매팅 요소의 제거에 의한 스펙트럴 매팅 기술을 적용하지 않아, 배경으로부터 전경을 분할하는 과정에서 효율적이고 정확하고 매끄러운 분할 결과를 제공하지 못하고 있다. 또한 사용자의 어떤 입력도 없이 사진의 불투명도 추정을 통해 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출 방법에 대한 제시도 없으므로 이미지 추출에서 비효율적이다.
따라서 본 발명은 이러한 단점을 해결하기 위하여, 라플라시안 행렬의 최소 고유 벡터로부터 필수적인 매팅 요소를 자동으로 추출하는 파라미터-프리 스펙트럴 매팅을 이용하여, 사진의 불투명도 추정을 통해 분할과 합성에서 높은 정확성과 나은 성능을 위해 알파매트를 그룹 짓기 전에 알파 요소를 제외함으로써 사용자의 어떤 입력도 없이 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하는 자동 분할 향상 방법 및 장치를 제시하고자 한다.
본 발명은 사진의 불투명도를 추정하여 분할과 합성에서 높은 정확성과 나은 성능을 얻기 위해 알파매트를 그룹 짓기 전에 불필요한 알파 요소를 제거함으로써 사용자의 어떤 입력도 없이 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하는 파라미터-프리 스펙트럴 매팅 기술을 통해, 기존 이미지 추출 기술보다 보다 정확하고 경계가 매끄러운 결과물을 제공하는 자동 분할 향상 방법 및 그 장치를 제공하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법은, 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 단계; 필수적이지 않은 알파요소를 제거하는 알파요소 제거 단계; 상기 알파 요소 제거부에 의해 제거하고 남은 필수 알파 매팅 요소만을 결합하는 알파매팅 요소 결합 단계; 및 상기 알파 매팅 요소로부터 전경을 추출하는 전경 추출 단계;를 포함하는 것을 특징으로 한다.
또한 상기 알파요소 제거 단계는, 알파 매팅 요소의 불투명도 요소 개수를 체크하는 불투명도 요소 개수 체크 단계;를 포함하여, 상기 알파 매팅 요소의 불투명도 개수가 0이면 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 알파요소 제거 단계는, 상기 알파 매팅 요소의 불투명도 개수가 0이 아니면 알파 매팅 불투명도 요소의 사이즈를 체크하는 알파 매팅 불투명도 요소 체크 단계;를 더 포함하며, 상기 사이즈가 소정의 임계치 이상이 아니면 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 알파요소 제거 단계는, 상기 사이즈가 소정의 임계치 이상이면 알파 매팅 요소 간의 거리를 측정하는 알파 매팅 요소 간의 거리 측정 단계;를 더 포함하며, 상기 알파 매팅 요소 간의 거리에 대한 측정값이 소정의 값 이상이면 더 작은 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 전경 추출 단계는, 전경 영역을 인식하기 위해 직사각형이나 트라이-맵(tri-map)으로 경계 짓는 형태의 사용자 입력 없이 자동으로 전경을 인식하여 추출하는 것을 특징으로 한다.
또한 상기 이미지의 데이터 셋은, 반복 실험을 위해 세 가지 다른 카테고리, 즉 자연의 사진들 (NPs), 어린이 사진들 (KPs) 및 꽃 사진들(FPs)로 정해지는 것을 특징으로 한다.
또한 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법은, 상기 추출된 전경을 새로운 배경에 합성하는 배경 합성 단계;를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 또 다른 일 실시예에 따른 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치는, 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 수단; 필수적이지 않은 알파요소를 제거하는 알파요소 제거 수단; 상기 알파 요소 제거부에 의해 제거하고 남은 필수 알파 매팅 요소만을 결합하는 알파매팅 요소 결합 수단; 및 상기 알파 매팅 요소로부터 전경을 추출하는 전경 추출 수단;을 포함하는 것을 특징으로 한다.
또한 상기 알파요소 제거 수단은, 알파 매팅 요소의 불투명도 요소 개수를 체크하는 불투명도 요소 개수 체크 수단;을 포함하여, 상기 알파 매팅 요소의 불투명도 개수가 0이면 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 알파요소 제거 수단은, 상기 알파 매팅 요소의 불투명도 개수가 0이 아니면 알파 매팅 불투명도 요소의 사이즈를 체크하는 알파 매팅 불투명도 요소 체크 수단;을 더 포함하며, 상기 사이즈가 소정의 임계치 이상이 아니면 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 알파요소 제거 수단은, 상기 사이즈가 소정의 임계치 이상이면 알파 매팅 요소 간의 거리를 측정하는 알파 매팅 요소 간의 거리 측정 수단;을 더 포함하며, 상기 알파 매팅 요소 간의 거리에 대한 측정값이 소정의 값 이상이면 더 작은 알파 매팅 요소를 제거하는 것을 특징으로 한다.
또한 상기 전경 추출 수단은, 전경 영역을 인식하기 위해 직사각형이나 트라이-맵(tri-map)으로 경계 짓는 형태의 사용자 입력 없이 자동으로 전경을 인식하여 추출하는 것을 특징으로 한다.
또한 이미지의 데이터 셋은, 반복 실험을 위해 세 가지 다른 카테고리, 즉 자연의 사진들 (NPs), 어린이 사진들 (KPs) 및 꽃 사진들(FPs)로 정해지는 것을 특징으로 한다.
또한 상기 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치는, 추출된 전경을 새로운 배경에 합성하는 배경 합성부;를 더 포함하는 것을 특징으로 한다.
본 발명은 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치에 관한 것으로, 불필요한 알파매트 요소를 제거하여 필수적인 매팅 요소를 자동으로 추출하는 파라미터-프리 스펙트럴 매팅 기술을 통해, 사용자의 어떤 입력도 없이 사진의 불투명도를 추정하여 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하므로, 기존의 딱딱(hard)한 이미지 추출 방법보다 더 효율적이고, 보다 정확하고, 분할경계가 매끄러운 분할 결과를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 그 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 과정을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상을 위한 (a) FPS, (b) KPS, (c) NPS 각각의 샘플 입력 이미지를 도시한 것이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상을 위한 (a) FPS, (b) KPS, (c) NPS 각각의 샘플 이미지들을 본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법에 의해 전경을 추출한 이미지들이다.
도 9는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법에 의해 전경을 추출한 이미지 및 다른 이미지 추출 방법에 의한 결과를 비교한 이미지이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치의 개념도이다.
상기 도 1을 참조하면, 소스 이미지(100)가 본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 장치(200)에 입력되면 사용자의 어떤 입력도 없이 사진의 불투명도를 추정하여 전경의 최고의 알파 요소들의 결합을 통한 전경 이미지(300)를 추출한다.
이하에서는 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 기법에 대해서 자세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 장치의 블록도이다.
도 2에 도시된 바와 같이, 상기 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 장치(200)는 입력된 이미지로부터 알파매트를 추출 하는 알파매트 추출부(210), 알파 매팅 요소의 불투명도 개수, 알파 매팅 요소의 사이즈, 알파 매팅 요소 간의 거리에 관한 데이터를 바탕으로 필수적이지 않은 알파요소를 제거하는 알파요소 제거부(220), 상기 알파 요소 제거부에 의해 제거하고 남은 필수 알파 매팅 요소만을 결합하는 알파매팅 요소 결합부(230), 상기 알파 매팅 요소로부터 전경을 추출하는 전경 추출부(240), 상기 추출된 전경 이미지를 새로운 배경에 함성하는 배경 합성부(250)로 이루어져 있다.
또한 상기 전경 추출부(240)는 배경에서 전경을 추출하는 수단으로 전경 영역을 인식하기 위해 기존 이미지 추출 기술에서 사용하는 직사각형이나 트라이-맵(tri-map) 등으로 경계 짓는 형태의 어떠한 사용자 입력 없이 자동으로 전경을 인식하여 추출하는 것을 특징으로 한다.
또한 배경 합성부(250)는 상기 추출된 전경을 새로운 배경과 합성하여 새로운 이미지를 출력하는 역할을 하게 된다.
도 3은 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 과정을 나타낸 흐름도이다.
도 1 내지 도 3을 참조하여 설명하면, 이미지가 본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 장치(200)에 입력(S100)되면, 상기 알파매트 추출부에서 이미지의 알파매트를 추출한다(S110). 추출된 알파매팅 요소의 불투명도 요소의 개수를 체크하여(S120) 그 값이 0이면 해당 알파매팅 요소를 제거한다(S140). 만약 알파매팅 요소의 불투명도 요소의 개수의 값이 O이 아니면 불투명도 요소의 사이즈를 체크하여(S130) 그 값이 임계 설정값(
Figure 112014126078542-pat00001
)과 비교하여 크지 않다면 해당 알파 매팅요소를 제거한다(S140). 혹은 그 값이 설정값(
Figure 112014126078542-pat00002
)보다 크다면 매팅 요소 사이의 거리를 측정하여 설정값(d) 이상이면(S150) 두 요소 중에 더 작은 매팅 요소를 제거한다(S160).
다음으로 상기 S120 단계에서 S160 단계를 통해 불필요한 알파 매팅 요소를 제거하고 남은 필수 알파 매팅요소를 결합한다(S170). 이후 상기 S170 단계에서 결합된 알파 매팅 요소를 통해 전경 이미지를 추출한다(S180). 다음으로 추출된 전경 이미지를 배경 합성부(250)을 통해 새 배경에 합성한다(S190).
도 4는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상을 위한 (a) FPS, (b) KPS, (c) NPS 각각의 샘플 입력 이미지를 도시한 것이며, 도 5는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상을 위한 (a) FPS, (b) KPS, (c) NPS 각각의 샘플 이미지들을 본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법에 의해 전경을 추출한 이미지들이다.
도 5는 본 발명 파라미터-프리 스펙트럴 매팅에 기초한 어린아이들 초상화(KPs) 카테고리의 분할 결과물로 도 5의 (a)는 원본 이미지이고, 도 5의 (b)는 k-means 클러스터링(clustering)을 통한 이미지 처리 결과이고, 도 5의 (c)에서는 알파매트 스펙트럴 컴포넌트(alpha matte spectral components)로 버려진 알파매트 요소들은 빨간 직사각형으로 표시됐고 남은 매팅 요소들은 초록 직사각형으로 표시됐다. 도 5의 (d)는 Levin 등의 프로세스 결과물로 아이의 몸체가 제거된 것이다. 도 5의 (e)는 본 발명에 따른 최종 불투명도 이미지로 ROI 추출에 적합하다는 점을 보여준다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 (a) FPS, (b) KPS, (c) NPS의 각각의 샘플 이미지들을 본 발명 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법에 의해 전경을 추출한 이미지들이다. 도 6 내지 도 8의 (a)는 원본 이미지이고, (b)는 알파 추정 결과이며, (c)는 전경 추출 결과물이고, (d)는 배경 추출 결과물이다.
도 9는 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법에 의해 전경을 추출한 이미지 및 다른 이미지 추출 방법에 의한 결과를 비교한 이미지이다. 도 9의 (a)는 원본 이미지이고, 도 9의 (b)는 파라미터-프리 스펙트럴 매팅 추출이미지이며, 도 9의 (c)는 Bayesian 매팅 추출 이미지를 나타낸 것이고, 도 9의 (d)는 Gragh Cut 추출 이미지이며, 도 9의 (e)는 Grab Cut 추출 이미지이다.
이와 같이 구성한 본 발명의 실시예에 따른 동작 과정을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
이미지 매팅 방법들은 입력 이미지 I(x,y), 의 각 픽셀
Figure 112014126078542-pat00003
이 전경색 , 배경색 , 알파매트의 선형 결합이라는 것을 전형적으로 가정한다. 알파매트는 픽셀 전경 불투명도 파라미터이다. [수학식 1]에서 이미지의 합성 방정식을 볼 수 있다.
Figure 112014126078542-pat00004
스펙트럴 매팅의 일반화된 합성 방정식은 이미지의 각 픽셀이 [수학식 2]에 주어진 대로 K 이미지 레이어
Figure 112014126078542-pat00005
의 볼록 합성이라는 것을 가정함으로써 얻어진다.
Figure 112014126078542-pat00006
픽셀
Figure 112014126078542-pat00007
의 알파매트
Figure 112014126078542-pat00008
는 아래의 [수학식 3]에 주어져 있다.
Figure 112014126078542-pat00009
여기에서
Figure 112014126078542-pat00010
는 픽셀
Figure 112014126078542-pat00011
의 RGB 값이고 b는 전체 이미지의 노이즈 요소이다. 알파매트
Figure 112014126078542-pat00012
의 추정은 [수학식 4]에 주어진 비용 함수를 최소화함으로써 완료된다.
Figure 112014126078542-pat00013
여기에서
Figure 112014126078542-pat00014
,
Figure 112014126078542-pat00015
이고
Figure 112014126078542-pat00016
는 'a'의 정규화된 항이다. 선형 모델 계수 a, b는 [수학식 5]로부터 제거되어서
Figure 112014126078542-pat00017
의 T차 비용 함수를 만든다.
Figure 112014126078542-pat00018
[수학식 1]의 매팅 요소
Figure 112014126078542-pat00019
는 반드시 [수학식 2]의 조건을 만족해야 한다.
Figure 112014126078542-pat00020
의 K 벡터들은 각 픽셀 위치의 모든 레이어에 의한 최종 색깔에 대한 단편적인 기여를 명시한다. 매팅 요소들은 음수가 아니고 [수학식 2]에 주어진 모든 픽셀의 1까지의 합이다. 입력 사진이
Figure 112014126078542-pat00021
에 대해 유일한
Figure 112014126078542-pat00022
인 K 요소
Figure 112014126078542-pat00023
를 포함한다고 가정하자. 라플라시안 행렬 L은
Figure 112014126078542-pat00024
성분이 [수학식 4]에 주어진 대로인
Figure 112014126078542-pat00025
행렬이다.
Figure 112014126078542-pat00026
여기에서
Figure 112014126078542-pat00027
는 크로네커 델타이고,
Figure 112014126078542-pat00028
와
Figure 112014126078542-pat00029
는 k 주위의 창
Figure 112014126078542-pat00030
의 강도의 평균과 분산이고,
Figure 112014126078542-pat00031
는 이 창에 있는 픽셀의 수이다. 라플라시안 행렬의 M 기저벡터들은
Figure 112014126078542-pat00032
행렬을 형성하기 위해
Figure 112014126078542-pat00033
로 계산된다. k-평균 클러스터링 스펙트럴 분할은 기저벡터 행렬, E에 기초한 이미지의 개별적인 요소
Figure 112014126078542-pat00034
를 얻기 위해 수행된다. 이미지의 개별적인 요소들은 [수학식 7]에 주어진다.
Figure 112014126078542-pat00035
개별적인 알파 요소들을 더하기 전에, 우리는 작은 불투명도 값을 가지는 알파 요소를 버려야 한다.
알파매트
Figure 112014126078542-pat00036
의 각 요소 K에 대해
Figure 112014126078542-pat00037
행렬
Figure 112014126078542-pat00038
를 만든다.
V[X]행렬의 (x+1)번째 성분을 x번째 성분과 연속적으로 비교한다.
if (x+1)<x, then replace (x+1)st element with xth element
for x = 1-X
stop the comparison between (x+1)st and xth elements
else
x= x+1
V[X]의 모든 요소는 알파매트
Figure 112014126078542-pat00039
에 대응된다. V[X]의 첫 번째 성분은 0 ~ 1 범위의 높은 값을 가지는
Figure 112014126078542-pat00040
를 나타낸다.
V[X]의 모든 성분에 대해 다음을 체크한다. (i) k=1, 2, …, m에 대해 연결되고 닫힌 불투명도 요소의
Figure 112014126078542-pat00041
개수와, (ii) 각 연결된 요소의 크기
Figure 112014126078542-pat00042
를 체크하여,
Figure 112014126078542-pat00043
= 0이면 매팅 요소를 버린다(매팅 요소는 연결되거나 닫히지 않았다).
Figure 112014126078542-pat00044
= 1 이고,
Figure 112014126078542-pat00045
<
Figure 112014126078542-pat00046
라면 매팅 요소를 버린다(매팅 요소의 크기가 작다).
Figure 112014126078542-pat00047
= 0 이고,
Figure 112014126078542-pat00048
<
Figure 112014126078542-pat00049
인 경우, 알파매트 요소를 버린다.
Figure 112014126078542-pat00050
≠0 이고,
Figure 112014126078542-pat00051
>
Figure 112014126078542-pat00052
인 경우, 매팅 요소 사이의 거리
Figure 112014126078542-pat00053
를 체크한다, 여기에서 C1과 C2는 거리 D로 분리된 두개의 연결된 매팅 요소의 중심이다.
만약
Figure 112014126078542-pat00054
라면 두 요소 중에서 더 작은 매팅 요소를 버린다. 본 발명에서는 임계값
Figure 112014126078542-pat00055
= 21이 선택되었다.
남은 알파 요소는
Figure 112014126078542-pat00056
이다, 여기서
Figure 112014126078542-pat00057
는 버려진 알파 요소다. [수학식 7]의
Figure 112014126078542-pat00058
와 같이 남은 요소를 결합함으로써, 우리는 자연의 사진의 전경과 배경을 구별할 수 있는 불투명도 추청 파라미터를 찾을 수 있다.
Figure 112014126078542-pat00059
여기서 ω는 배경과 전경을 각각 나타내는 알파 요소를 위한 값 [0,1]의 가중치 행렬이다.
전경 (F) 또는 ROI는 아래의 [수학식 9]에 주어진 듯이 입력 이미지로부터 추출된다.
Figure 112014126078542-pat00060
ROI를 새로운 배경(B)에 합성하기 위해, [수학식 10]을 이용한다.
Figure 112014126078542-pat00061
이상에서 본 발명의 일 실시예에 따른 파라미터-프리 스펙트럴 매팅(Parameter-free Spectral Matting)에 기초한 자동 분할 향상 방법 및 장치에 대해서 설명하였다. 상기 설명에 따르면, 불필요한 알파매트 요소를 제거하여 필수적인 매팅 요소를 자동으로 추출하는 파라미터-프리 스펙트럴 매팅 기술을 통해, 사용자의 어떤 입력도 없이 사진의 불투명도를 추정하여 전경의 최고의 알파 요소들의 결합을 통한 전경(ROI)을 추출하므로, 기존의 딱딱(hard)한 이미지 추출 방법보다 더 효율적이고, 보다 정확하고, 분할경계가 매끄러운 분할 결과를 제공하는 효과가 있음을 알 수 있었다.
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하고, 본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 소스이미지 200 : 자동 이미지 분할 장치
210 : 알파매트추출부 220 : 알파요소 제거부
230 : 알파매팅요소 결합부 240 : 전경 추출부
250 : 배경 합성부 300 : 추출된 전경 이미지

Claims (14)

  1. 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 단계;
    상기 추출한 알파매트의 알파매팅 요소에서 특정 알파매팅 요소를 제거하는 알파요소 제거 단계;
    상기 알파요소 제거 단계에서 제거하고 남은 알파매팅 요소만을 결합하는 알파매팅 요소 결합 단계; 및
    상기 알파매팅 요소 결합 단계에서 결합한 알파매팅 요소를 이용하여 전경을 추출하는 전경 추출 단계;를 포함하며,
    상기 알파요소 제거 단계에서 상기 특정 알파매팅 요소를 제거하는 것은,
    두 개의 알파매팅 요소 간의 거리를 측정하여, 상기 측정한 값이 소정의 값 이상이면 두 개의 알파매팅 요소 중에서 사이즈가 더 작은 알파매팅 요소를 제거하는 것을 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법.
  2. 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 단계;
    상기 추출한 알파매트의 알파매팅 요소에서 특정 알파매팅 요소를 제거하는 알파요소 제거 단계;
    상기 알파요소 제거 단계에서 제거하고 남은 알파매팅 요소만을 결합하는 알파매팅 요소 결합 단계; 및
    상기 알파매팅 요소 결합 단계에서 결합한 알파매팅 요소를 이용하여 전경을 추출하는 전경 추출 단계;를 포함하며,
    상기 알파요소 제거 단계에서 상기 특정 알파매팅 요소를 제거하는 것은,
    상기 알파매팅 요소 중에서 연결되고 닫힌 불투명도 알파매팅 요소 개수를 체크하여, 상기 불투명도 알파매팅 요소 개수가 0이면, 알파매팅 요소를 제거하고,
    상기 불투명도 알파매팅 요소 개수가 0이 아니면, 불투명도 알파매팅 요소의 사이즈를 체크하여, 상기 사이즈가 소정의 임계치 이상이 아니면, 해당 알파매팅 요소를 제거하며,
    상기 사이즈가 소정의 임계치 이상이면, 두 개의 알파매팅 요소 간의 거리를 측정하여, 상기 측정한 값이 소정의 값 이상이면 두 개의 알파매팅 요소 중에서 사이즈가 더 작은 알파매팅 요소를 제거하는 것을 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1 또는 청구항 2에 있어서,
    상기 전경 추출 단계는,
    입력된 이미지에 상기 알파매팅 요소 결합 단계에서 결합한 알파매팅 요소를 곱하여 전경을 인식하여 추출하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법.
  6. 삭제
  7. 청구항 1 또는 청구항 2에 있어서,
    상기 자동 분할 향상 방법은,
    상기 추출된 전경을 새로운 배경에 합성하는 배경 합성 단계;를 더 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 방법.
  8. 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 수단;
    상기 추출한 알파매트의 알파매팅 요소에서 특정 알파매팅 요소를 제거하는 알파요소 제거 수단;
    상기 알파요소 제거 수단에 의해 제거하고 남은 알파매팅 요소만을 결합하는 알파매팅 요소 결합 수단; 및
    상기 알파매팅 요소 결합 수단에서 결합한 알파매팅 요소를 이용하여 전경을 추출하는 전경 추출 수단;를 포함하며,
    상기 알파요소 제거 수단에서 상기 특정 알파매팅 요소를 제거하는 것은,
    두 개의 알파매팅 요소 간의 거리를 측정하여, 상기 측정한 값이 소정의 값 이상이면 두 개의 알파매팅 요소 중에서 사이즈가 더 작은 알파매팅 요소를 제거하는 것을 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치.
  9. 입력된 이미지로부터 알파매트를 추출하는 알파매트 추출 수단;
    상기 추출한 알파매트의 알파매팅 요소에서 특정 알파매팅 요소를 제거하는 알파요소 제거 수단;
    상기 알파요소 제거 수단에 의해 제거하고 남은 알파매팅 요소만을 결합하는 알파매팅 요소 결합 수단; 및
    상기 알파매팅 요소 결합 수단에서 결합한 알파매팅 요소를 이용하여 전경을 추출하는 전경 추출 수단;를 포함하며,
    상기 알파요소 제거 수단에서 상기 특정 알파매팅 요소를 제거하는 것은,
    상기 알파매팅 요소 중에서 연결되고 닫힌 불투명도 알파매팅 요소 개수를 체크하여, 상기 불투명도 알파매팅 요소 개수가 0이면, 알파매팅 요소를 제거하고,
    상기 불투명도 알파매팅 요소 개수가 0이 아니면, 불투명도 알파매팅 요소의 사이즈를 체크하여, 상기 사이즈가 소정의 임계치 이상이 아니면, 해당 알파매팅 요소를 제거하며,
    상기 사이즈가 소정의 임계치 이상이면, 두 개의 알파매팅 요소 간의 거리를 측정하여, 상기 측정한 값이 소정의 값 이상이면 두 개의 알파매팅 요소 중에서 사이즈가 더 작은 알파매팅 요소를 제거하는 것을 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치.
  10. 삭제
  11. 삭제
  12. 청구항 8 또는 청구항 9에 있어서,
    상기 전경 추출 수단은,
    입력된 이미지에 상기 알파매팅 요소 결합 수단에서 결합한 알파매팅 요소를 곱하여 전경을 인식하여 추출하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치.
  13. 삭제
  14. 청구항 8 또는 청구항 9에 있어서,
    상기 자동 분할 향상 장치는,
    상기 추출된 전경을 새로운 배경에 합성하는 배경 합성부;를 더 포함하는 것을 특징으로 하는 파라미터-프리 스펙트럴 매팅과 알파매트 추출에 의한 자동 분할 향상 장치.
KR1020140190047A 2014-12-26 2014-12-26 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치 KR101617685B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140190047A KR101617685B1 (ko) 2014-12-26 2014-12-26 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140190047A KR101617685B1 (ko) 2014-12-26 2014-12-26 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101617685B1 true KR101617685B1 (ko) 2016-05-04

Family

ID=56022194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140190047A KR101617685B1 (ko) 2014-12-26 2014-12-26 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101617685B1 (ko)

Similar Documents

Publication Publication Date Title
US10304166B2 (en) Eye beautification under inaccurate localization
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
US8805065B2 (en) Image processing apparatus and image processing method
CN103177446A (zh) 基于邻域和非邻域平滑先验的图像前景精准提取方法
CN107239729B (zh) 一种基于光照估计的光照人脸识别方法
KR20150007880A (ko) 영상 화질 개선 방법, 장치 및 기록 매체
Dawod et al. A new method for hand segmentation using free-form skin color model
KR20130064556A (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
CN110111239B (zh) 一种基于tof相机软分割的人像头部背景虚化方法
Bhattacharya et al. Dehazing of color image using stochastic enhancement
CN108335268A (zh) 一种基于盲解卷积的彩色图像去模糊的方法
Wang Image matting with transductive inference
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
JP2013182330A (ja) 画像処理装置および画像処理方法
JP5807555B2 (ja) 画像処理プログラム、装置及び方法
KR101617685B1 (ko) 파라미터-프리 스펙트럴 매팅에 기초한 자동 분할 향상 방법 및 장치
Hu et al. Unsupervised and reliable image matting based on modified spectral matting
RU2329535C2 (ru) Способ автоматического кадрирования фотографий
AU2016273984A1 (en) Modifying a perceptual attribute of an image using an inaccurate depth map
Yeung et al. Extracting smooth and transparent layers from a single image
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Chen et al. Automatic skin color beautification
CN105931192A (zh) 基于加权中值滤波的图像纹理滤波方法
Juneja et al. A hybrid mathematical model for face localization over multi-person images and videos
JP2005141523A (ja) 画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190326

Year of fee payment: 4