KR101624801B1 - 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 - Google Patents

전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101624801B1
KR101624801B1 KR1020140138865A KR20140138865A KR101624801B1 KR 101624801 B1 KR101624801 B1 KR 101624801B1 KR 1020140138865 A KR1020140138865 A KR 1020140138865A KR 20140138865 A KR20140138865 A KR 20140138865A KR 101624801 B1 KR101624801 B1 KR 101624801B1
Authority
KR
South Korea
Prior art keywords
pixel
input image
processing cost
local
cost value
Prior art date
Application number
KR1020140138865A
Other languages
English (en)
Other versions
KR20160044203A (ko
Inventor
송우진
김미광
김병광
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020140138865A priority Critical patent/KR101624801B1/ko
Priority to US14/700,511 priority patent/US9489588B2/en
Publication of KR20160044203A publication Critical patent/KR20160044203A/ko
Application granted granted Critical
Publication of KR101624801B1 publication Critical patent/KR101624801B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

전경 물체 추출을 위한 매팅 방법 및 장치가 개시된다. 전경 물체 추출을 위한 매팅 방법은 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 단계, 적어도 하나의 비국부 이웃 픽셀을 추출하여 제1 처리 비용 값을 산출하는 단계, 적어도 하나의 국부 이웃 픽셀을 추출하여 제2 처리 비용 값을 산출하는 단계 및 제1 처리 비용 값 및 제2 처리 비용 값을 기반으로 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행하는 단계를 포함한다. 따라서, 고품질의 영상 매팅을 수행하여 입력 영상에서 전경 물체의 추출 성능을 향상시킴으로써 다양한 목적의 영상 편집 소프트웨어에 적용시킬 수 있다.

Description

전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치{MATTING METHOD FOR EXTRACTING OBJECT OF FOREGROUND AND APPARATUS FOR PERFORMING THE MATTING METHOD}
본 발명은 영상 편집 기술에 관한 것으로, 더욱 상세하게는, 전경의 물체를 추출하기 위해 입력 영상을 구성하는 픽셀 각각과 비국부적 관계 및 국부적 관계를 생성하는 이웃 픽셀을 추출하여 고품질의 영상 매팅을 수행하는 매팅 방법 및 이를 수행하는 장치에 관한 것이다.
최근 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant) 등과 같은 사용자 단말의 이용이 대중화되고 정보 처리 기술이 발달함에 따라 사용자 단말을 이용하여 이미지 또는 동영상을 촬영하고, 촬영한 영상을 사용자의 요구에 맞게 편집하는 영상 편집 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.
영상 편집(Image Editing) 기술은 사용자의 요청에 따라 영상의 일부를 추출하여 분리한 후, 분리한 영상의 일부를 다른 영상과 합성하여 새로운 영상을 생성하는 것을 목적으로 한다. 이를 위해 영상 편집 기술은 영상에서 편집하고자 하는 대상을 정교하게 추출하기 위한 영상 매팅(Image Matting) 기술이 필수적으로 요구된다.
일반적으로, 영상 매팅 기술은 트라이맵(trimap)을 이용하여 입력 영상에서 전경의 물체를 추출한다. 트라이맵이란 영상을 개략적으로 전경(foreground), 배경(background) 및 불확실 영역의 세 영역으로 구분된 영상을 의미할 수 있다.
그리하여, 입력 영상과 트라이맵이 주어지면 국부적 전파(local-propagation) 방식 또는 비국부적 전파(nonlocal-propagation) 방식을 기반으로 전경의 물체를 추출하는 매팅 기술이 제안되었다.
국부적 전파 방식에 기반한 매팅 기술은 입력 영상에서 미리 설정된 범위 내에 위치하는 픽셀을 이용하는 매팅 방식으로, 전경의 물체가 털과 같이 부드러운 질감을 표현하는 경우에는 매팅 성능이 좋으나 구멍과 같이 전경과 배경을 구분하기 복잡한 특징을 표현하거나 다양한 색상의 조합으로 표현되는 경우에는 매팅 성능이 떨어진다는 문제가 있다.
반면, 비국부적 전파에 기반한 매팅 기술은 입력 영상에서 비슷한 특성을 가지는 픽셀을 이용하는 매팅 방식으로, 전경의 물체가 구멍과 같이 복잡한 특징을 표현하거나 다양한 색상의 조합으로 표현되는 경우에는 매팅 성능이 좋으나 털과 같이 부드러운 질감을 표현하는 경우에는 매팅 성능이 떨어진다는 문제가 있다.
이와 같이 종래의 매팅 기술은 입력 영상에서 전경의 물체가 표현되는 외형적 특징 또는 색상 등의 조건에 따라 매팅 성능이 크게 달라질 수 있다는 점에서 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 입력 영상에서 전경의 물체가 표현되는 외형적 특징 또는 색상과 같은 조건에 관계 없이 고품질의 영상 매팅을 수행할 수 있는 전경 물체 추출을 위한 매팅 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은, 고품질의 영상 매팅을 수행하여 입력 영상에서 전경의 물체에 대한 추출 성능을 향상시킴으로써 다양한 목적을 가진 영상 편집 소프트웨어에 적용시킬 수 있는 전경 물체 추출을 위한 매팅 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 전경 물체 추출을 위한 매팅 방법은, 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되며, 입력 영상 및 입력 영상에 대한 트라이맵이 입력됨에 따라 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 단계, 적어도 하나의 픽셀 각각과 비국부적 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀을 추출하여 제1 처리 비용 값을 산출하는 단계, 미리 설정된 추출 범위에 포함되어 적어도 하나의 픽셀 각각과 국부적 관계를 생성하는 적어도 하나의 국부 이웃 픽셀을 추출하여 제2 처리 비용 값을 산출하는 단계 및 제1 처리 비용 값 및 제2 처리 비용 값을 기반으로 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행하는 단계를 포함한다.
여기에서, 트라이맵은 입력 영상을 전경(foreground) 영역, 배경(background) 영역 및 불확실 영역으로 구분하여 표현한 영상을 의미할 수 있다.
여기에서, 적어도 하나의 픽셀을 추출하는 단계는 입력 영상 및 트라이맵의 불확실 영역에 위치하여 불투명도 값이 불명확한 적어도 하나의 픽셀이 추출될 수 있다.
여기에서, 제1 처리 비용 값을 생성하는 단계는 적어도 하나의 픽셀 각각에 대한 색상 정보 및 위치 정보를 이용하여 적어도 하나의 픽셀 각각에 대한 특징 벡터를 생성하는 단계, 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 픽셀 간의 거리를 산출하여 적어도 하나의 픽셀 각각과 비국부적 관계를 가지는 적어도 하나의 비국부 이웃 픽셀을 추출하는 단계 및 적어도 하나의 비국부 이웃 픽셀을 이용하여 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값을 추출하는 단계를 포함할 수 있다.
여기에서, 적어도 하나의 비국부 이웃 픽셀을 추출하는 단계는 K-최근접 이웃 알고리즘을 이용하여 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 픽셀 간의 유클리디안 거리를 산출하여 픽셀 간의 거리가 가까운 적어도 하나의 픽셀을 적어도 하나의 비국부 이웃 픽셀로써 추출할 수 있다.
여기에서, 제2 처리 비용 값을 산출하는 단계는 적어도 하나의 픽셀 각각을 기준으로 미리 설정된 추출 범위 내에 위치하는 적어도 하나의 픽셀을 적어도 하나의 픽셀 각각과 국부적 관계를 가지는 적어도 하나의 국부 이웃 픽셀로써 추출하고, 적어도 하나의 국부 이웃 픽셀을 이용하여 적어도 하나의 픽셀 각각에 대한 제2 처리 비용 값을 추출할 수 있다.
여기에서, 입력 영상에 대한 매팅을 수행하는 단계는 제1 처리 비용 값 및 제2 처리 비용 값을 이용하여 적어도 하나의 픽셀 각각에 대한 처리 비용이 최소화되도록 최종 처리 비용 값을 산출하고, 최종 처리 비용 값을 기반으로 적어도 하나의 픽셀 각각에 대하여 최적화된 불투명도 값을 추정할 수 있다.
여기에서, 입력 영상에 대한 매팅을 수행하는 단계는 최적화된 적어도 하나의 픽셀 각각에 대한 불투명도 값을 이용하여 입력 영상에 대한 매팅을 수행함으로써 입력 영상에서 전경 물체를 추출할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 전경 물체 추출을 위한 매팅 장치는, 디지털 신호 처리가 가능한 정보 처리 장치에 구현되며, 입력 영상 및 입력 영상에 대한 트라이맵이 입력됨에 따라 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 픽셀 추출부, 적어도 하나의 픽셀 각각과 비국부적 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀을 추출하여 제1 처리 비용 값을 산출하는 비국부 처리부, 미리 설정된 추출 범위에 포함되어 적어도 하나의 픽셀 각각과 국부적 관계를 생성하는 적어도 하나의 국부 이웃 픽셀을 추출하여 제2 처리 비용 값을 산출하는 국부 처리부 및 제1 처리 비용 값 및 제2 처리 비용 값을 기반으로 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행하는 매팅 수행부를 포함한다.
상술한 바와 같은 본 발명의 실시예에 따른 전경 물체 추출을 위한 매팅 방법 및 장치에 따르면, 입력 영상에서 전경의 물체가 표현되는 외형적 특징 또는 색상과 같은 조건에 관계 없이 고품질의 영상 매팅을 수행할 수 있다.
또한, 고품질의 영상 매팅을 수행하여 입력 영상에서 전경의 물체에 대한 추출 성능을 향상시킴으로써 다양한 목적을 가진 영상 편집 소프트웨어에 적용시킬 수 있다.
도 1은 본 발명의 실시예에 따른 전경 물체 추출을 위한 매팅 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시예에 따른 입력 영상 및 트라이맵을 설명하는 예시도이다.
도 3은 본 발명의 실시예에 따른 비국부 이웃 픽셀을 이용하여 제1 처리 비용 값을 산출하는 것을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 비국부 이웃 픽셀을 추출하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 전경 물체 추출을 위한 매팅 장치를 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 전경 물체 추출을 위한 매팅 방법을 설명하는 흐름도이고, 도 2는 본 발명의 실시예에 따른 입력 영상 및 트라이맵을 설명하는 예시도이다.
도 1을 참조하면, 전경 물체 추출을 위한 매팅 방법은 디지털 신호 처리가 가능한 정보 처리 장치에서 수행될 수 있다.
여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 적어도 하나의 이미지 센서를 탑재하고 촬영한 입력 영상의 매팅을 수행할 수 있도록 정보 처리 기능을 구비한 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 네비게이션(Navigation), 노트북, 컴퓨터, 스마트 가전 기기 및 시스템 로봇을 포함할 수 있으나 이에 한정되지 않고 매팅 기술이 필요한 다양한 기기로 확장될 수 있다.
종래에는 국부적 전파(local-propagation) 방식 또는 비국부적 전파(nonlocal-propagation) 방식을 이용하여 입력 영상에 대한 매팅을 수행하였다.
다만, 국부적 전파 방식을 기반으로 하는 매팅 기술은 전경의 물체가 구멍과 같이 전경과 배경을 구분하기 복잡한 특징을 표현하거나 다양한 색상의 조합으로 표현되는 경우에는 매팅 성능이 떨어지고, 비국부적 전파 방식을 기반으로 하는 매팅 기술은 전경의 물체가 털과 같이 부드러운 질감을 표현하는 경우에는 매팅 성능이 떨어진다는 문제가 있다.
상술한 바와 같이 종래의 매팅 기술은 입력 영상에서 전경의 물체가 표현되는 외형적 특징 또는 색상 등의 조건에 따라 매팅 성능이 크게 달라질 수 있다는 점에서 한계가 있다.
따라서, 본 발명은 입력 영상에서 전경의 물체가 표현되는 외형적 특징 또는 색상과 같은 조건에 관계 없이 고품질의 영상 매팅이 수행되도록 국부적 전파 방식과 비국부적 전파 방식을 결합하는 매팅 방법을 제안한다.
본 발명에 따른 전경 물체 추출을 위한 매팅 방법은 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 단계(S100), 픽셀 각각에 대한 비국부 이웃 픽셀을 추출하여 제1 비용 값을 산출하는 단계(S200), 픽셀 각각에 대한 국부 이웃 픽셀을 추출하여 제2 비용 값을 산출하는 단계(S300) 및 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행하는 단계(S400)를 포함할 수 있다.
먼저, 입력 영상 및 입력 영상에 대한 트라이맵(trimap)이 입력됨에 따라 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출할 수 있다(S100).
여기에서, 입력 영상은 TOF 기반 카메라 또는 정보 처리 장치 내에 탑재된 이미지 센서에 의해 촬영된 이미지 또는 동영상을 의미할 수 있다. 다만, 입력 영상에서 추출하고자 하는 전경의 물체에 털과 같은 부드러운 질감을 표현하는 영역 또는 구멍과 같은 영역이 표현되는 경우, 해당 영역이 전경인지 배경인지 명확하게 구분되지 않아 고품질의 영상 매팅을 수행하는 것에 한계가 있다.
따라서, 사용자가 입력 영상을 통해 전경 영역, 배경 영역 및 불확실 영역을 미리 정의한 트라이맵을 입력 영상과 함께 입력받을 수 있다. 즉, 트라이맵은 입력 영상이 전경(foreground) 영역, 배경(background) 영역 및 불확실 영역으로 구분하여 표현될 수 있다.
구체적으로 예를 들어, 추출하고자 하는 물체에 털과 같이 부드러운 질감을 표현하는 영역이 포함된 입력 영상(10)의 트라이맵(20)은, 도 2 (a)에 도시된 바와 같이 입력 영상(10)에서 추출하고자 하는 물체인 것으로 명확하게 인식되는 전경 영역(21)을 흰색으로 표시하고, 전경 영역(21)이 아닌 것으로 인식되는 배경 영역(23)은 검정색으로 표시하며, 입력 영상(10)에서 털과 같이 부드러운 질감을 표현하는 영역이 포함되어 전경 영역(21)인지 배경 영역(23)인지 불명확한 불확실 영역(25)은 회색으로 표시함으로써 입력 영상(10)을 세 영역으로 구분할 수 있다.
이와 마찬가지로, 추출하고자 하는 물체에 구멍이 포함된 입력 영상(10)의 트라이맵(20) 또한 도 2(b)에 도시된 바와 같이 물체인 것으로 명확하게 인식되는 영역인 전경 영역(21), 전경 영역(21)이 명확하게 아닌 것으로 인식되는 배경 영역(23) 및 물체에 포함된 구멍으로 인해 전경 영역(21)인지 배경 영역(23)인지 불명확한 불확실 영역(25)으로 구분되도록 표현될 수 있다.
즉, 트라이맵(20)에서 불확실 영역(25)은 전경 영역(21)과 배경 영역(23)의 경계 영역 즉, 입력 영상(10)에서 물체와 물체가 아닌 영역의 경계선이거나 물체 외형의 고유한 특징으로 인해 전경 영역인지 배경 영역인지 불명확한 영역이 포함될 수 있다.
이 때, 전경 영역(21)과 배경 영역(23)에 위치하는 픽셀은 불투명도(opacity) 값이 명확하나 불확실 영역(25)에 위치하는 픽셀은 불투명도(opacity) 값이 불명확하여 정교한 매팅을 수행할 수 없다. 이에 따라, 본 발명은 고품질의 영상 매팅을 수행하기 위해 불확실 영역에 위치하는 픽셀의 불투명도 값을 추정하는 것을 목표로 한다.
이를 위해 입력 영상(10) 및 트라이맵(20)의 불확실 영역에 위치하여 불투명도(opacity) 값이 불명확한 적어도 하나의 픽셀을 추출할 수 있다.
불투명도 값이 불명확한 적어도 하나의 픽셀이 추출되면, 적어도 하나의 픽셀 각각과 비국부적(nonlocal) 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀(nonlocal neighbor pixel)을 추출하여 제1 처리 비용 값을 산출할 수 있다(S200).
비국부 이웃 픽셀을 추출하여 제1 처리 비용 값을 산출하는 방법은 이하 도 3 및 도 4를 통해 상세히 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 비국부 이웃 픽셀을 이용하여 제1 처리 비용 값을 산출하는 것을 설명하는 흐름도이고, 도 4는 본 발명의 실시예에 따른 비국부 이웃 픽셀을 추출하는 것을 설명하는 예시도이다.
도 3을 참조하면, 제1 처리 비용 값을 산출하는 방법은 적어도 하나의 픽셀 각각에 대한 특징 벡터를 생성하는 단계(S210), 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 픽셀 간의 거리를 산출하여 적어도 하나의 픽셀 각각과 비국부적 관계를 가지는 적어도 하나의 비국부 이웃 픽셀을 추출하는 단계(S220) 및 적어도 하나의 비국부 이웃 픽셀을 이용하여 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값을 추출하는 단계(S230)를 포함할 수 있다.
Figure 112014098030717-pat00001
먼저, 수학식 1을 참조하면, 입력 영상 및 트라이맵의 불확실 영역에 위치하여 불투명도 값이 불명확한 적어도 하나의 픽셀 i에 대한 특징 벡터 X(i)를 생성할 수 있다(S210).
여기에서, IR는 입력 영상 I에서 픽셀 i의 R(Red) 채널 값을 의미하고, IG는 입력 영상 I에서 픽셀 i의 G(Green) 채널 값을 의미하며, IB는 입력 영상 I에서 픽셀 i의 B(Blue) 채널 값을 의미할 수 있다. 또한, x, y는 입력 영상에서 픽셀이 위치하는 좌표 값을 의미할 수 있다.
즉, 불투명도 값이 불명확한 픽셀의 특징 벡터는 픽셀이 입력 영상에서 표현되는 색상 정보 및 위치 정보를 기반으로 생성될 수 있다.
Figure 112014098030717-pat00002
불투명도 값이 불명확한 픽셀 각각에 대한 특징 벡터가 생성되면, 상기 수학식 2와 같이 픽셀 각각의 특징 벡터를 이용하여 픽셀 간의 유클리디안(Euclicean) 거리를 산출함으로써 불투명도 값이 불명확한 픽셀 각각과 비국부적 관계를 가지는 적어도 하나의 비국부 이웃 픽셀을 추출할 수 있다(S220).
구체적으로 예를 들어, 도 4a에 도시된 바와 같이 입력 영상(10)에서 추출하고자 하는 물체에 털과 같은 부드러운 질감을 표현하는 영역이 포함되는 경우, K-최근접 이웃 알고리즘(K-Nearest Neighbors Algorithm)과 불확실 영역(25)에 위치하는 픽셀 각각에 대한 특징 벡터를 기반으로 불확실 영역(25)에 위치하는 임의의 기준 픽셀(41)에 대한 유클리디안 거리를 산출하여 기준 픽셀(41)과 유클리디안 거리가 가까운 K개의 픽셀을 비국부 이웃 픽셀(non-local neighbor pixels)로써 추출할 수 있다.
이와 마찬가지로, 도 4b에 도시된 바와 같이 입력 영상(10)에서 추출하고자 하는 물체에 구멍과 같은 영역이 포함되는 경우에도, K-최근접 이웃 알고리즘(K-Nearest Neighbors Algorithm)과 불확실 영역(25)에 위치하는 픽셀 각각에 대한 특징 벡터를 기반으로 불확실 영역(25)에 위치하는 임의의 기준 픽셀(41)에 대한 유클리디안 거리를 산출하여 기준 픽셀(41)과 유클리디안 거리가 가까운 K개의 픽셀을 비국부 이웃 픽셀(non-local neighbor pixels)로써 추출할 수 있다.
Figure 112014098030717-pat00003
불투명도 값이 불명확한 픽셀 각각과 비국부 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀이 추출되면, 상기 수학식 3과 같이 미리 정의된 비용 함수를 이용하여 픽셀 각각에 대한 제1 처리 비용 값 Jn을 산출할 수 있다.
여기에서, α는 N×1의 벡터를 의미하며, Ln은 N×N 라플라시안(Laplacian) 행렬을 의미할 수 있다. 이 때, (j, k)번째 원소에 대한 Ln은 하기 수학식 4을 이용하여 산출할 수 있다.
Figure 112014098030717-pat00004
수학식 4에서 Ni는 i번째 픽셀에 대한 적어도 하나의 비국부적 이웃 픽셀을 의미하고, Σi는 픽셀 i에 대한 3×3 공분산 행렬(covariance matrix)을 의미할 수 있다. 또한, μi는 Ni에 대한 평균 RGB 색상 값을 의미하며, I3는 3×3의 단위 행렬을 의미할 수 있다. ?은 α값을 정규화하는 미리 설정된 상수 값을 의미할 수 있다.
다시 도 1을 참조하면, 불투명도 값이 불명확한 적어도 하나의 픽셀 각각과 국부적(local) 관계를 생성하는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)을 추출하여 제2 처리 비용 값을 산출할 수 있다(S300).
즉, 불투명도 값이 불명확한 적어도 하나의 픽셀 각각을 기준으로 미리 설정된 추출 범위 내에 위치하는 적어도 하나의 픽셀을 적어도 하나의 픽셀 각각과 국부적 관계를 가지는 적어도 하나의 국부 이웃 픽셀로써 추출할 수 있다.
Figure 112014098030717-pat00005
불투명도 값이 불명확한 픽셀 각각과 국부 관계를 생성하는 적어도 하나의 국부 이웃 픽셀이 추출되면, 상기 수학식 5와 같이 미리 정의된 비용 함수를 기반으로 픽셀 각각에 대한 제2 처리 비용 값 Jl을 산출할 수 있다.
여기에서, α는 N×1의 벡터를 의미하며, Ll은 N×N 라플라시안(Laplacian) 행렬을 의미할 수 있다. 이 때, (j, k)번째 원소에 대한 Ll은 하기 수학식 6을 이용하여 산출할 수 있다.
Figure 112014098030717-pat00006
수학식 6에서 Mi는 i번째 픽셀에 대한 적어도 하나의 국부적 이웃 픽셀을 의미하고, Σi는 픽셀 i에 대한 3×3 공분산 행렬(covariance matrix)을 의미할 수 있다. 또한, μi는 Mi의 평균 RGB 색상 값을 의미하며, I3는 3×3의 단위 행렬을 의미할 수 있다. ?은 α 값을 정규화하는 미리 설정된 상수 값을 의미할 수 있다.
상술한 바와 같이 불확실 영역에 위치하는 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 및 제2 처리 비용이 산출됨에 따라, 제1 처리 비용 값 및 제2 처리 비용 값을 기반으로 불확실 영역에 위치하는 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행할 수 있다(S400).
먼저, 불확실 영역에 위치하는 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하기 위해서는 하기 수학식 7과 같이 미리 정의된 비용 함수를 기반으로 픽셀 각각에 대한 처리 비용이 최소화되도록 최종 처리 비용 값 J를 산출할 수 있다.
Figure 112014098030717-pat00007
수학식 7에서 Jn은 픽셀 각각과 비국부 관계를 생성하는 비국부 이웃 픽셀을 기반으로 산출된 제1 처리 비용 값을 의미하고, Ln은 Jn을 산출하기 위해 사용된 N×N 라플라시안 행렬을 나타낼 수 있다. 더불어, Jl은 픽셀 각각과 국부 관계를 생성하는 국부 이웃 픽셀을 기반으로 산출된 제2 처리 비용 값을 의미하고, Ll은 Jl을 산출하기 위해 사용된 N×N 라플라시안 행렬을 나타낼 수 있다. 또한, μ은 픽셀의 비국부적 관계와 국부적 관계 간의 중요도를 결정하는 0과 1사이의 상수이며, λ는 미리 설정된 상수이다.
bs는 트라이맵에서 전경 영역과 배경 영역에 위치하는 픽셀의 불투명도 값 즉, α값이 기재된 N×1 벡터를 의미할 수 있다. Ds는 트라이맵에서 픽셀이 전경 영역 또는 배경 영역에 위치하는 경우 대각선 원소가 1인 N×N 대각선 행렬이고, 픽셀이 불확실 영역에 위치하는 경우 대각선 원소가 0인 N×N 대각선 행렬을 의미할 수 있다.
Figure 112014098030717-pat00008
수학식 8은 최종 처리 비용 값 J를 최소화 하는 선형 시스템이다. 선형 시스템은 역행렬(inverse matrix), Conjugate Gradient Method 또는 Guided filtering과 같은 다양한 방법으로 해결할 수 있으며 이를 통해 픽셀 각각에 대하여 최적화된 불투명도 값인 α값을 추정할 수 있다.
이와 같이 최적화된 불투명도 값을 이용하여 입력 영상에 대한 매팅을 수행함으로써 입력 영상에서 정교한 전경의 물체를 추출할 수 있다.
도 5는 본 발명의 실시예에 따른 전경 물체 추출을 위한 매팅 장치를 나타내는 블록도이다.
도 5를 참조하면, 전경 물체 추출을 위한 매팅 장치(100)는 디지털 신호 처리가 가능한 정보 처리 장치에 구현될 수 있다. 여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 적어도 하나의 이미지 센서를 탑재하고 촬영한 입력 영상의 매팅을 수행할 수 있도록 정보 처리 기능을 구비한 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 네비게이션(Navigation), 노트북, 컴퓨터, 스마트 가전 기기 및 시스템 로봇을 포함할 수 있으나 이에 한정되지 않고 매팅 기술이 필요한 다양한 기기로 확장될 수 있다.
본 발명에 따른 전경 물체 추출을 위한 매팅 장치(100)는 픽셀 추출부(110), 비국부 처리부(120), 국부 처리부(130) 및 매팅 수행부(140)를 포함할 수 있다.
픽셀 추출부(110)는 입력 영상 및 입력 영상에 대한 트라이맵(trimap)이 입력됨에 따라 입력 영상 및 트라이맵으로부터 적어도 하나의 픽셀을 추출할 수 있다.
여기에서, 입력 영상은 TOF 기반 카메라 또는 정보 처리 장치 내에 탑재된 이미지 센서에 의해 촬영된 이미지 또는 동영상을 의미할 수 있다. 다만, 입력 영상에서 추출하고자 하는 전경의 물체에 털과 같은 부드러운 질감을 표현하는 영역 또는 구멍과 같은 영역이 표현되는 경우, 해당 영역이 전경인지 배경인지 명확하게 구분되지 않아 고품질의 영상 매팅을 수행하는 것에 한계가 있다.
따라서, 사용자가 입력 영상을 통해 전경 영역, 배경 영역 및 불확실 영역을 미리 정의한 트라이맵을 입력 영상과 함께 입력받을 수 있다. 즉, 트라이맵은 입력 영상이 전경(foreground) 영역, 배경(background) 영역 및 불확실 영역으로 구분하여 표현될 수 있다.
트라이맵에서 불확실 영역은 전경 영역과 배경 영역의 경계 영역 즉, 입력 영상에서 물체와 물체가 아닌 영역의 경계선이거나 물체 외형의 고유한 특징으로 인해 전경 영역인지 배경 영역인지 불명확한 영역이 포함될 수 있다.
이 때, 전경 영역과 배경 영역에 위치하는 픽셀은 불투명도 값이 명확하나 불확실 영역에 위치하는 픽셀은 불투명도 값이 불명확하여 정교한 매팅을 수행할 수 없다. 이에 따라, 본 발명은 고품질의 영상 매팅을 수행하기 위해 불확실 영역에 위치하는 픽셀의 불투명도 값을 추정하는 것을 목표로 한다.
이를 위해, 픽셀 추출부(110)는 입력 영상 및 트라이맵의 불확실 영역에 위치하여 불투명도 값이 불명확한 적어도 하나의 픽셀을 추출할 수 있다.
비국부 처리부(120)는 픽셀 추출부(110)에서 불투명도 값이 불명확한 적어도 하나의 픽셀이 추출되면, 추출된 적어도 하나의 픽셀 각각과 비국부적 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀을 추출하여 제1 처리 비용 값을 산출할 수 있다.
먼저, 불투명도 값이 불명확한 적어도 하나의 픽셀 각각에 대한 특징 백터를 생성할 수 있다. 여기에서, 특징 벡터는 픽셀 각각이 입력 영상에서 표현되는 색상 정보 및 위치 정보를 기반으로 생성될 수 있다.
불투명도 값이 불명확한 픽셀 각각의 특징 벡터가 생성되면, 픽셀 각각의 특징 벡터를 이용하여 픽셀 간의 유클리디안(Euclicean) 거리를 산출할 수 있다. 이 때, 유클리디안 거리의 산출에는 K-최근접 이웃 알고리즘(K-Nearest Neighbors Algorithm)이 이용될 수 있다.
그리하여, 픽셀 각각에 대하여 유클리디안 거리가 가까운 K개의 픽셀을 비국부 이웃 픽셀로써 추출하여 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값을 추출할 수 있다. 여기에서 제1 처리 비용 값은 미리 정의된 비용 함수를 이용할 수 있으나 이에 한정되는 것은 아니다.
국부 처리부(130)는 불투명도 값이 불명확한 적어도 하나의 픽셀 각각과 국부적(local) 관계를 생성하는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)을 추출하여 제2 처리 비용 값을 산출할 수 있다.
보다 구체적으로, 국부 처리부(130)는 불투명도 값이 불명확한 적어도 하나의 픽셀 각각을 기준으로 미리 설정된 추출 범위 내에 위치하는 적어도 하나의 픽셀을 적어도 하나의 픽셀 각각과 국부적 관계를 가지는 적어도 하나의 국부 이웃 픽셀로써 추출하고, 미리 정의된 비용 함수를 이용하여 제2 처리 비용 값을 산출할 수 있다.
매팅 수행부(140)는 불확실 영역에 위치하는 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값 및 제2 처리 비용 값이 산출됨에 따라, 제1 처리 비용 값 및 제2 처리 비용 값을 기반으로 불확실 영역에 위치하는 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하여 입력 영상에 대한 매팅을 수행할 수 있다.
이를 위해 매팅 수행부는(140)는 적어도 하나의 픽셀 각각에 대한 처리 비용이 최소화되도록 미리 정의된 비용 함수를 이용하여 최종 처리 비용 값을 산출하고, 최종 처리 비용 값을 기반으로 적어도 하나의 픽셀 각각의 최적화된 불투명도 값을 추정할 수 있다.
이와 같이 최적화된 불투명도 값을 이용하여 입력 영상에 대한 매팅을 수행함으로써 입력 영상에서 정교한 전경의 물체를 추출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 입력 영상 20: 트라이맵
21: 전경 영역 23: 배경 영역
25: 불확실 영역 41: 기준 픽셀
100: 전경 물체 추출을 위한 매팅 장치
110: 픽셀 추출부 120: 비국부 처리부
130: 국부 처리부 140: 매팅 수행부

Claims (16)

  1. 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되는 전경 물체 추출을 위한 매팅 방법에 있어서,
    입력 영상 및 상기 입력 영상에 대한 트라이맵(trimap)이 입력됨에 따라 상기 입력 영상 및 상기 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 단계;
    상기 적어도 하나의 픽셀 각각과 비국부적(nonlocal) 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀(nonlocal neighbor pixel)을 추출하여 제1 처리 비용 값을 산출하는 단계;
    미리 설정된 추출 범위에 포함되어 상기 적어도 하나의 픽셀 각각과 국부적(local) 관계를 생성하는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)을 추출하여 제2 처리 비용 값을 산출하는 단계; 및
    상기 제1 처리 비용 값 및 상기 제2 처리 비용 값을 기반으로 상기 적어도 하나의 픽셀 각각에 대한 불투명도(opacity) 값을 추정하여 상기 입력 영상에 대한 매팅(matting)을 수행하는 단계를 포함하는 전경 물체 추출을 위한 매팅 방법.
  2. 청구항 1에 있어서,
    상기 트라이맵(trimap)은,
    상기 입력 영상을 전경(foreground) 영역, 배경(background) 영역 및 불확실 영역으로 구분하여 표현한 영상인 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 픽셀을 추출하는 단계는,
    상기 입력 영상 및 상기 트라이맵의 상기 불확실 영역에 위치하여 불투명도(opacity) 값이 불명확한 적어도 하나의 픽셀이 추출되는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  4. 청구항 3에 있어서,
    상기 제1 처리 비용 값을 산출하는 단계는,
    상기 추출된 적어도 하나의 픽셀 각각에 대한 색상 정보 및 위치 정보를 이용하여 상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 생성하는 단계;
    상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 픽셀 간의 거리를 산출하여 상기 적어도 하나의 픽셀 각각과 비국부적(nonlocal) 관계를 가지는 상기 적어도 하나의 비국부 이웃 픽셀을 추출하는 단계; 및
    상기 추출된 적어도 하나의 비국부 이웃 픽셀을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값을 추출하는 단계를 포함하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  5. 청구항 4에 있어서,
    상기 적어도 하나의 비국부 이웃 픽셀을 추출하는 단계는,
    K-최근접 이웃 알고리즘(K-Nearest Neighbors Algorithm)과 상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 상기 적어도 하나의 픽셀 중에서 임의로 설정된 기준 픽셀과 상기 기준 픽셀을 제외한 다른 픽셀들 각각 간의 유클리디안(Euclicean) 거리를 산출하고, 상기 산출된 유클리디안 거리를 비교하여 상기 기준 픽셀로부터 유클리디안 거리가 상대적으로 가까운 적어도 하나의 픽셀을 상기 적어도 하나의 비국부 이웃 픽셀로써 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  6. 청구항 3에 있어서,
    상기 제2 처리 비용 값을 산출하는 단계는,
    상기 추출된 적어도 하나의 픽셀 각각을 기준으로 상기 미리 설정된 추출 범위 내에 위치하는 적어도 하나의 픽셀을 상기 적어도 하나의 픽셀 각각과 국부적(local) 관계를 가지는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)로써 추출하고, 상기 적어도 하나의 국부 이웃 픽셀을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 제2 처리 비용 값을 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  7. 청구항 3에 있어서,
    상기 입력 영상에 대한 매팅을 수행하는 단계는,
    상기 제1 처리 비용 값 및 상기 제2 처리 비용 값을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 처리 비용이 최소화되도록 최종 처리 비용 값을 산출하고, 상기 산출된 최종 처리 비용 값에 상응하도록 상기 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  8. 청구항 7에 있어서,
    상기 입력 영상에 대한 매팅을 수행하는 단계는,
    상기 추정된 적어도 하나의 픽셀 각각에 대한 불투명도 값을 이용하여 상기 입력 영상에 대한 매팅을 수행함으로써 상기 입력 영상에서 전경 물체를 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 방법.
  9. 디지털 신호 처리가 가능한 정보 처리 장치에 구현되는 전경 물체 추출을 위한 매팅 장치에 있어서,
    입력 영상 및 상기 입력 영상에 대한 트라이맵(trimap)이 입력됨에 따라 상기 입력 영상 및 상기 트라이맵으로부터 적어도 하나의 픽셀을 추출하는 픽셀 추출부;
    상기 적어도 하나의 픽셀 각각과 비국부적(nonlocal) 관계를 생성하는 적어도 하나의 비국부 이웃 픽셀(nonlocal neighbor pixel)을 추출하여 제1 처리 비용 값을 산출하는 비국부 처리부;
    미리 설정된 추출 범위에 포함되어 상기 적어도 하나의 픽셀 각각과 국부적(local) 관계를 생성하는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)을 추출하여 제2 처리 비용 값을 산출하는 국부 처리부; 및
    상기 제1 처리 비용 값 및 상기 제2 처리 비용 값을 기반으로 상기 적어도 하나의 픽셀 각각에 대한 불투명도(opacity) 값을 추정하여 상기 입력 영상에 대한 매팅(matting)을 수행하는 매팅 수행부를 포함하는 전경 물체 추출을 위한 매팅 장치.
  10. 청구항 9에 있어서,
    상기 트라이맵(trimap)은,
    상기 입력 영상을 전경(foreground) 영역, 배경(background) 영역 및 불확실 영역으로 구분하여 표현한 영상인 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  11. 청구항 10에 있어서,
    상기 픽셀 추출부는,
    상기 입력 영상 및 상기 트라이맵의 상기 불확실 영역에 위치하여 불투명도(opacity) 값이 불명확한 적어도 하나의 픽셀을 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  12. 청구항 11에 있어서,
    상기 비국부 처리부는,
    상기 추출된 적어도 하나의 픽셀 각각에 대한 색상 정보 및 위치 정보를 이용하여 상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 생성하고,
    상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 픽셀 간의 거리를 산출하여 상기 적어도 하나의 픽셀 각각과 비국부적(nonlocal) 관계를 가지는 상기 적어도 하나의 비국부 이웃 픽셀을 추출하고,
    상기 추출된 적어도 하나의 비국부 이웃 픽셀을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 제1 처리 비용 값을 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  13. 청구항 12에 있어서,
    상기 비국부 처리부는,
    K-최근접 이웃 알고리즘(K-Nearest Neighbors Algorithm)과 상기 적어도 하나의 픽셀 각각에 대한 특징 벡터를 기반으로 상기 적어도 하나의 픽셀 중에서 임의로 설정된 기준 픽셀과 상기 기준 픽셀을 제외한 다른 픽셀들 각각 간의 유클리디안(Euclicean) 거리를 산출하고, 상기 산출된 유클리디안 거리를 비교하여 상기 기준 픽셀로부터 유클리디안 거리가 상대적으로 가까운 적어도 하나의 픽셀을 상기 적어도 하나의 비국부 이웃 픽셀로써 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  14. 청구항 11에 있어서,
    상기 국부 처리부는,
    상기 추출된 적어도 하나의 픽셀 각각을 기준으로 상기 미리 설정된 추출 범위 내에 위치하는 적어도 하나의 픽셀을 상기 적어도 하나의 픽셀 각각과 국부적(local) 관계를 가지는 적어도 하나의 국부 이웃 픽셀(local neighbor pixel)로써 추출하고, 상기 적어도 하나의 국부 이웃 픽셀을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 제2 처리 비용 값을 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  15. 청구항 11에 있어서,
    상기 매팅 수행부는,
    상기 제1 처리 비용 값 및 상기 제2 처리 비용 값을 이용하여 상기 적어도 하나의 픽셀 각각에 대한 처리 비용이 최소화되도록 최종 처리 비용 값을 산출하고, 상기 산출된 최종 처리 비용 값에 상응하도록 상기 적어도 하나의 픽셀 각각에 대한 불투명도 값을 추정하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
  16. 청구항 15에 있어서,
    상기 매팅 수행부는,
    상기 추정된 적어도 하나의 픽셀 각각에 대한 불투명도 값을 이용하여 상기 입력 영상에 대한 매팅을 수행함으로써 상기 입력 영상에서 전경 물체를 추출하는 것을 특징으로 하는 전경 물체 추출을 위한 매팅 장치.
KR1020140138865A 2014-10-15 2014-10-15 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 KR101624801B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140138865A KR101624801B1 (ko) 2014-10-15 2014-10-15 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
US14/700,511 US9489588B2 (en) 2014-10-15 2015-04-30 Matting method for extracting foreground object and apparatus for performing the matting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140138865A KR101624801B1 (ko) 2014-10-15 2014-10-15 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20160044203A KR20160044203A (ko) 2016-04-25
KR101624801B1 true KR101624801B1 (ko) 2016-05-26

Family

ID=55749446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140138865A KR101624801B1 (ko) 2014-10-15 2014-10-15 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치

Country Status (2)

Country Link
US (1) US9489588B2 (ko)
KR (1) KR101624801B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071843A (ko) 2018-12-04 2020-06-22 엔에이치엔 주식회사 딥러닝 기반 가상 헤어 염색방법 및 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3046073A1 (en) * 2015-01-14 2016-07-20 Thomson Licensing Method and apparatus for color correction in an alpha matting process
CN107516319B (zh) * 2017-09-05 2020-03-10 中北大学 一种高精度简易交互式抠图方法、存储设备及终端
CN109697722B (zh) * 2017-10-23 2021-10-15 北京京东尚科信息技术有限公司 用于生成三分图的方法及装置
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
KR20210101713A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그의 동작 방법
CN112634314A (zh) * 2021-01-19 2021-04-09 深圳市英威诺科技有限公司 目标图像获取方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165966A1 (en) * 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background
KR101471199B1 (ko) 2008-04-23 2014-12-09 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
KR100960694B1 (ko) 2008-11-04 2010-06-01 광주과학기술원 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
CA2745380C (en) * 2008-12-11 2018-07-17 Imax Corporation Devices and methods for processing images using scale space
CN102388391B (zh) 2009-02-10 2014-01-22 汤姆森特许公司 基于前景-背景约束传播的视频抠图
CN103177446B (zh) * 2013-03-13 2016-03-30 北京航空航天大学 基于邻域和非邻域平滑先验的图像前景精准提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1
논문2

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071843A (ko) 2018-12-04 2020-06-22 엔에이치엔 주식회사 딥러닝 기반 가상 헤어 염색방법 및 시스템
US11037335B2 (en) 2018-12-04 2021-06-15 Nhn Corporation Deep learning based virtual hair dyeing method and method for providing virtual hair dyeing service using the same

Also Published As

Publication number Publication date
KR20160044203A (ko) 2016-04-25
US20160110876A1 (en) 2016-04-21
US9489588B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
KR101624801B1 (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
WO2018176925A1 (zh) Hdr图像的生成方法及装置
WO2018082185A1 (zh) 图像处理方法和装置
CN111563908B (zh) 一种图像处理方法及相关装置
EP2863362B1 (en) Method and apparatus for scene segmentation from focal stack images
CN110728722B (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
JP2020129276A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5914046B2 (ja) 画像処理装置および画像処理方法
US11501404B2 (en) Method and system for data processing
JP2012014535A (ja) 物体領域抽出システム、方法、及び、プログラム
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
CN113781330A (zh) 图像处理方法、装置及电子系统
KR101481370B1 (ko) 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치
Montero et al. Watermark detection and clearance in video using simple signal and image processing techniques
KR101470763B1 (ko) 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
KR101297465B1 (ko) 컬러 영상을 흑백 영상으로 변환하는 변환 방법 및 이를 수행하는 프로그램이 기록된 기록매체
JP7012457B2 (ja) 画像処理装置、画像処理方法
JP2024076886A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4