KR20160147374A - 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 - Google Patents

전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 Download PDF

Info

Publication number
KR20160147374A
KR20160147374A KR1020150084037A KR20150084037A KR20160147374A KR 20160147374 A KR20160147374 A KR 20160147374A KR 1020150084037 A KR1020150084037 A KR 1020150084037A KR 20150084037 A KR20150084037 A KR 20150084037A KR 20160147374 A KR20160147374 A KR 20160147374A
Authority
KR
South Korea
Prior art keywords
map
image
generating
interest
meta
Prior art date
Application number
KR1020150084037A
Other languages
English (en)
Other versions
KR102115328B1 (ko
Inventor
김재환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150084037A priority Critical patent/KR102115328B1/ko
Priority to US14/855,827 priority patent/US9569855B2/en
Publication of KR20160147374A publication Critical patent/KR20160147374A/ko
Application granted granted Critical
Publication of KR102115328B1 publication Critical patent/KR102115328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G06K9/3233—
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T7/0083—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치는 입력된 영상에 상응하는 색상 공간 확률 분포를 이용하여 상기 영상 내부의 관심 객체에 상응하는 중요맵을 생성하는 중요맵 생성부; 필터들을 이용하여 메타 트라이맵을 생성하고, 상기 메타 트라이맵을 클러스터링하여 트라이맵을 생성하는 트라이맵 생성부; 및 상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 영상을 이용한 영상 매팅에 기반하여 관심 객체를 추출하는 알파맵 생성부를 포함한다.

Description

전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법{APPARATUS FOR EXTRACTING OBJECT OF INTEREST IN IMAGE USING IMAGE MATTING BASED ON GLOBAL CONTRAST AND METHOD USING THE SAME}
본 발명은 영상 내부의 관심 객체를 추출하는 기술에 관한 것으로, 특히 중요맵, 트라이맵 및 알파맵을 이용하여 영상 내부의 관심 객체를 추출하는 기술에 관한 것이다.
영상 콘텐츠 내 객체 자동 분할 및 추출 기술은 컴퓨터 비전 분야에서 매우 중요하게 고려되는 주제로서 관심 객체 영상 분할(object-of-interest image segmentation), 객체 인식(object recognition), 객체 어노테이션(object annotation), 적응적 영상 압축(adaptive image compression), 영상 검색(image retrieval), 영상 기반 콘텐츠 제작(예로, 영상 합성, 비사실적 렌더링 등) 등의 응용서비스를 위한 핵심 모듈이기도 하다. 그러나, 해당 문제는 본질적인 불량조건(ill-posed) 문제로서 안정적인 해(즉, 정밀하게 분할, 추출된 관심객체 영역)를 얻기 위해서는 부가적인 제약조건이 요구된다. 이러한 부가적인 제약조건은 사용자 사전정보 입력(예로, 정보가 명확한 픽셀에 대한 사용자 레이블링) 혹은 컬러 모델의 임의 가정(선형적 컬러 모델, Gaussian Mixture Model등)의 형태로서 제공되고 있다.
특히, 위에서 언급한 응용서비스들 중 객체 인식, 객체 어노테이션, 영상 검색 등을 위한 객체 추출 방법은 주로 직사각형 슬라이딩 윈도우(rectangular sliding windows)의 스캐닝(scanning)통해 검출하는 고전적인 방법에 의존하는 경향이 있는데, 이러한 방식은 관심객체의 정확한 공간지원(spatial support: 대상 객체를 포함하는 서브영역)을 제공하는데 어려움이 있다. 즉, 객체의 정확한 공간지원 및 관련 응용서비스의 고성능 보장을 위해서는 대략적인 관심영역(Region-of-Interest)이 아닌 관심객체(Object-of-Interest)의 정밀 추출이 필요하다.
더불어, 다양하면서도 대규모인, Large-Scale 영상을 이용하는 여러 응용서비스에서, 사용자에 의한 각각의 제약조건 설정은 사실상 불가능하므로, 자동화를 위한 개선된 방법이 요구된다
대부분의 영상 분할 및 축약(image segmentation & abstraction)기술은 영상 컬러 분포(color distribution)기반의 영역 그룹핑(grouping)으로서, 특정 관심객체 내에서도 서로 다른 영역 그룹-레이블(group-label: 상호배제적인 label로서로 구별되는 서브영역의 index)을 갖는 한계점과 공간적으로 근접해 있는 서로 다른 영역들간 경계선(edge)의 부정확함으로 인해 분할결과들이 조악하다는(coarseness) 문제점이 존재한다.
또한, 영상 객체 정밀 추출(object extraction)은 영상 매팅(matting)이라는 방법을 통해 특정 객체 영역과 나머지 영역간의 투명도(opacity, alpha matte)값을 확률적으로 계산하여 객체 정밀 추출을 하게 된다. 그러나, 사전정보(즉, trimap 혹은 스크리블 형태로 영상 내 일부 픽셀에 대하여 전경, 배경 레이블을 명시한 사전정보맵)를 원본 영상 입력과 함께 동시에 요구(주로, 사용자에 의해 입력됨)하는 한계점이 존재한다.
한국 등록 특허 제 1384627호는 꽃을 포함하는 객체를 확률 분포 추정 알고리즘에 의하여 영상에서 신속하게 분할하는 기술을 개시하고 있다.
하지만, 한국 등록 특허 제 1384627호는 영상 내부의 객체를 분할함에 있어, 좀 더 정교하게 분할할 수 있는 색상에 대한 공간적인 분포를 이용하지 않는 단점이 있다.
따라서, 최근의 3D 컨텐츠가 폭발적으로 보급되고 있는 추세에 미루어 볼 때, 영상 내부의 관심 객체를 자동으로 정교하게 추출할 수 있는 기술의 필요성이 대두되고 있다.
본 발명의 목적은 인지적인 관점에서 분석한 유사 영역들 내의 요소들이 비슷한 중요맵 값과 알파맵 값을 갖는 것을 이용하여 관심 객체를 자동으로 추출하는 것이다.
또한, 본 발명의 목적은 알파맵을 이용하여 관심 객체와 배경 간의 투명도 알파값을 이용하여 관심 객체를 좀 더 정밀하게 추출하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치는 입력된 영상에 상응하는 색상 공간 확률 분포를 이용하여 상기 영상 내부의 관심 객체에 상응하는 중요맵을 생성하는 중요맵 생성부; 필터들을 이용하여 메타 트라이맵을 생성하고, 상기 메타 트라이맵을 클러스터링하여 트라이맵을 생성하는 트라이맵 생성부; 및 상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 영상을 이용한 영상 매팅에 기반하여 관심 객체를 추출하는 알파맵 생성부를 포함한다.
이 때, 상기 중요맵 생성부는 상기 입력된 영상에서 GMM 기반의 색상 분할을 수행하여, 분할된 서브 영역들을 바이너리 트리에 저장하는 색상 분할부; 상기 영상에 상응하는 픽셀 값이 라벨링된 영상에 기반하여 상기 색상 공간 확률 분포를 생성하는 확률 분포 생성부; 및 상기 색상 공간 확률 분포 및 공간 분산에 기반하여 측정한 확률 값을 이용하여 상기 중요맵을 생성하는 생성부를 포함할 수 있다.
이 때, 상기 생성부는 수학식을 이용하여 상기 공간 분산을 계산할 수 있다.
[수학식]
Figure pat00001
(
Figure pat00002
: 공간 분포,
Figure pat00003
: GMM 요소,
Figure pat00004
: 픽셀의 색상 값,
Figure pat00005
: 공간 평균,
Figure pat00006
: GMM 요소인
Figure pat00007
내의 픽셀)
이 때, 상기 트라이맵 생성부는 상기 중요맵을 상기 두 개의 필터들을 이용하여 두 개의 메타 트라이맵들을 생성하는 메타 트라이맵 생성부; 상기 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 하는 클러스터링부; 및 상기 클러스터링된 메타 트라이맵을 통합하여 트라이맵을 생성하는 생성부를 포함할 수 있다.
이 때, 상기 메타 트라이맵 생성부는 가우시안 블러 필터 및 팽창 및 침식 필터를 이용하여 두 개의 메타 트라이맵을 생성할 수 있다.
이 때, 상기 클러스터링부는 상기 메타 트라이맵 각각에 존재하는 군집 그룹 내의 모든 픽셀들의 값을 동일하게 할당할 수 있다.
이 때, 상기 클러스터링부는 상기 픽셀들의 값을 상기 군집 그룹 내의 모든 픽셀들의 색상 평균 값을 할당할 수 있다.
이 때, 상기 알파맵 생성부는 상기 영상 내부의 모든 픽셀들 간의 색상 거리들이 반영된 매팅 라플라시안 행렬을 계산하는 매팅 라플라시안 행렬 계산부; 상기 매팅 라플라시안 행렬 및 상기 트라이맵을 이용하여 픽셀의 투명값을 계산하고, 상기 투명값에 기반하여 알파맵을 생성하는 생성부; 및 상기 알파맵 및 상기 영상을 이용한 이미지 매팅에 기반하여 상기 관심 객체를 추출하는 객체 추출부를 포함할 수 있다.
이 때, 상기 매팅 라플라시안 행렬 계산부는 상기 라플라시안 행렬을 희소 행렬로 변환하여 저장할 수 있다.
이 때, 상기 객체 추출부는 전경 영역, 배경 영역 및 상기 알파맵에 상응하는 투명도 알파 값의 선형적 조합 관계에 기반하여 상기 관심 객체를 추출할 수 있다.
또한, 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법은 입력된 영상에 상응하는 색상 공간 확률 분포를 이용하여 상기 영상 내부의 관심 객체에 상응하는 중요맵을 생성하는 단계; 필터들을 이용하여 상기 중요맵에 상응하는 메타 트라이맵들을 생성하고, 상기 메타 트라이맵들을 클러스터링하여 트라이맵을 생성하는 단계; 및 상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 입력된 영상을 이용한 영상 매팅에 기반하여 상기 관심 객체를 추출하는 단계를 포함한다.
이 때, 상기 중요맵을 생성하는 단계는 상기 입력된 영상에서 GMM(Gaussian Mixture Model) 기반의 색상 분할을 수행하여, 분할된 서브 영역들을 바이너리 트리에 저장하는 단계; 상기 입력된 영상에 상응하는 픽셀 값이 라벨링된 영상에 기반하여 상기 색상 공간 확률 분포를 생성하는 단계; 및 상기 색상 공간 확률 분포 및 공간 분산에 기반하여 계산한 확률 값에 기반하여 상기 중요맵을 생성하는 단계를 포함할 수 있다.
이 때, 상기 중요맵을 생성하는 단계는 수학식을 이용하여 상기 공간 분산을 계산할 수 있다.
[수학식]
Figure pat00008
(
Figure pat00009
: 공간 분포,
Figure pat00010
: GMM 요소,
Figure pat00011
: 픽셀의 색상 값,
Figure pat00012
: 공간 평균,
Figure pat00013
: GMM 요소인
Figure pat00014
내의 픽셀)
이 때, 상기 트라이맵을 생성하는 단계는 상기 중요맵을 두 개의 필터들을 이용하여 두 개의 메타 트라이맵들을 생성하는 단계; 상기 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 하는 단계; 및 클러스터링된 메타 트라이맵을 통합하여 트라이맵을 생성하는 단계를 포함할 수 있다.
이 때, 상기 메타 트라이맵을 생성 하는 단계는 가우시안 블러 필터 및 팽창, 침식 필터를 이용하여 두 개의 메타 트라이맵을 생성할 수 있다.
이 때, 상기 클러스터링 하는 단계는 상기 메타 트라이맵 각각에 존재하는 군집 그룹 내의 모든 픽셀들의 값을 동일하게 할당할 수 있다.
이 때, 상기 클러스터링 하는 단계는 상기 픽셀들의 값을 상기 군집 그룹 내의 모든 픽셀들의 색상 평균 값을 할당할 수 있다.
이 때, 상기 알파맵을 생성하는 단계는 모든 픽셀들 간의 색상 거리들이 반영된 매팅 라플라시안 행렬을 계산하는 단계; 상기 매팅 라플라시안 행렬 및 상기 트라이맵을 이용하여 픽셀의 투명값을 계산하고, 상기 투명값에 기반하여 알파맵을 생성하는 단계; 및 상기 알파맵 및 상기 영상에 기반하여 상기 관심 객체를 추출하는 단계를 포함할 수 있다.
이 때, 상기 매팅 라플라시안 행렬을 계산하는 단계는 상기 매팅 라플라시안 행렬을 희소 행렬로 변환하여 저장할 수 있다.
이 때, 상기 객체를 추출하는 단계는 전경 영역, 배경 영역 및 투명도 알파값의 선형적 조합 관계에 기반하여 상기 관심 객체를 추출할 수 있다.
본 발명은 인지적인 관점에서 분석한 유사 영역들 내의 요소들이 비슷한 중요맵 값과 알파맵 값을 갖는 것을 이용하여 관심 객체를 자동으로 추출할 수 있다.
또한, 본 발명은 알파맵을 이용하여 관심 객체와 배경 간의 투명도 알파값을
확률적으로 추정하므로 관심 객체를 좀 더 정밀하게 추출할 수 있다.
또한, 본 발명은 관심 객체를 정밀하게 추출할 수 있어 영상 내부의 객체에 대한 공간 지원이 가능하다.
도 1은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 중요맵 생성부의 일실시예를 나타낸 블록도이다.
도 3은 도 1에 도시된 트라이맵 생성부의 일실시예를 나타낸 블록도이다.
도 4는 도 1에 도시된 알파맵 생성부의 일실시예를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 메타 트라이맵을 통합하는 규칙을 나타낸 표이다.
도 6 내지 도 9는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 메타 트라이맵을 통합하는 일 실시예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치 내부의 알파맵 생성부에서 투명도 알파값을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 생성되는 메타 데이터를 저장하기 위한 타입의 일실시예를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치를 이용하여 관심 객체를 추출하는 것을 도시한 도면이다.
도 13은 도 12에 도시된 관심 객체를 추출함에 있어, 중요맵 생성부에서 생성하는 색상 공간 확률 분포를 도시한 도면이다.
도 14는 대조도 만을 이용하여 관심 객체를 추출한 결과와 본 발명의 일실시예에 따라 관심 객체를 추출한 결과를 도시한 도면이다.
도 15는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법을 나타낸 동작흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치는 중요맵 생성부(110), 트라이맵 생성부(120) 및 알파맵 생성부(130)로 구성되어 있다.
중요맵 생성부(110)는 입력된 영상에 상응하는 색성 공간 확률 분포를 이용하여 영상 내부의 관심 객체에 상응하는 중요맵을 생성한다.
이 때, 중요맵(Saliency-map)은 영상에서 인간이 생물학적으로 눈에 먼저 들어오는 영역 또는 객체를 추출하는 것을 의미한다.
이 때, 중요맵 생성부(110)는 입력된 영상에서 GMM(Gaussian Mixture Model기반의 색상 분할을 수행하고, 픽셀 값으로 라벨링된 영상에 기반하여 색상 공간 확률 분포를 생성한다.
이 때, 중요맵 생성부(110)가 색상 분할을 수행하면서 생성된 서브 영역은 이진 트리 리프 노드에 저장될 수 있다.
이 때, 중요맵 생성부(110)는 색상 공간 확률 분포와 공간 분산에 기반하여 측정한 확률값을 이용하여 중요맵을 생성할 수 있다. 이에 대한 상세한 설명은 도 2에서 서술한다.
트라이맵 생성부(120)는 필터들을 이용하여 메타 트라이맵을 생성하고, 상기 메타 트라이맵을 클러스터링하여 트라이맵을 생성한다.
이 때, 트라이맵 생성부(120)가 이용하는 필터는 가우시안 블러 필터와 팽창, 침식 필터일 수 있다.
이 때, 가우시안 필터는 중요맵의 하드 경계(Hard edge)면을 소프트 경게(Sofe edge)로 변환하여, 알파맵 생성부(130)에서 계산되는 관심 객체 영역과 배경 영역간의 경계 면의 투명도 알파 값을 보다 정밀하게 계산하기 위해서 이용될 수 있다.
이 때, 팽창과 침식 필터는 관심 객체 내부의 밀도를 더욱 증가시켜서, 알파맵 생성부(130)에서 계산되는 관심 객체 영역 내부의 투명도 알파값을 보다 정확하게 계산하기 위해서 이용될 수 있다. 예를 들어, 객체의 가운데에 큰 구멍이 존재하는 관심 객체의 경우, 구멍을 제외한 객체의 색상과 구멍의 색상과 큰 차이가 있어, 관심 객체의 영역으로 판단하기 힘들지만, 팽창과 침식 필터를 이용하여 트라이 맵을 생성하게 되면, 보정이 가능하다.
이 때, 메타 트라이맵은 중요맵을 필터를 이용하여 영상 처리한 결과일 수 있다.
이 때, 트라이맵 생성부(120)는 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 한다.
이 때, 전경 영역은 관심 객체가 존재하는 영역을 의미하며, 배경 영역은 관심 객체가 존재하지 않는 영역을 의미하며, 미지의 영역은 관심 객체가 존재하는지 여부를 판단할 수 없는 영역을 의미한다.
이 때, 메타 트라이맵들 각각을 세 가지 영역으로 클러스터링할 때, 그래프 분할 방법을 이용할 수도 있다.
이 때, 클러스터링된 각각의 영역 내부의 모든 픽셀들의 값을 동일하게 할당할 수 있다. 예를 들어, 전경 영역 내부의 모든 픽셀들의 값을 평균 값으로 동일하게 할당할 수 있다.
이 때, 클러스터링된 메타 트라이맵을 통합하여 트라이맵을 형성할 수 있다. 이에 대한 상세한 설명은 도 5 내지 도 10에서 서술한다.
알파맵 생성부(130)는 상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 영상을 이용한 이미지 매팅에 기반하여 관심 객체를 추출한다.
이 때, 알파맵은 컴퓨터에서 처리하는 3가지 색상(R, G, B)이외에 다른 데이터를 의미하며, 한 픽셀의 색이 다른 픽셀의 색과 겹쳐서 나타나는 경우, 두 색을 효과적으로 융합하는데 이용될 수 있다. 본 발명에서는 영상 내부의 미지 영역 내에 배경 영역 대비 전경 영역에 포함될 확률 값을 투명도 값으로 할당하고, 알파맵은 투명도 값을 도시한 영상을 의미한다. 이에 대한 설명은 도 10에서 서술한다.
이 때, 이미지 매팅은 두 개 이상의 영상을 비교하여, 영상 원본에서 배경 영역을 제거하고 전경 영역만을 표시하는 기술을 의미한다. 알파맵 생성부(130)는 알파맵과 원본 영상을 이용한 이미지 매팅을 이용하여 관심 객체를 추출할 수 있다.
이 때, 알파맵 생성부(130)는 영상 내부의 모든 픽셀들 간의 색상 거리들이반영된 매팅 라플라시안 행렬과 알파맵을 이용하여 알파맵을 생성할 수 있다. 상세한 설명은 도 4에서 서술한다.
도 2는 도 1에 도시된 중요맵 생성부의 일실시예를 나타낸 블록도이다.
도 2를 참조하면, 중요맵 생성부(110)는 색상 분할부(210), 확률 분포 생성부(220) 및 생성부(230)로 구성되어 있다.
색상 분할부(210)는 입력된 영상에서 GMM 기반의 색상 분할을 수행하여, 분할된 서브 영역들을 바이너리 트리에 저장한다.
이 때, 색상 분할부(210)는 색상 분산(Color Variance) 값이 작은 서브 영역일 수록 잘 분할된 그룹이라는 가정 아래에, 하나의 영상에서부터 재귀적으로 분할 할 수 있고, 분할된 서브 영역들은 이진 트리 리프 노드에 저장될 수 있다.
확률 분포 생성부(220)는 영상에 상응하는 픽셀 값이 라벨링된 영상에 기반하여 색상 공간 확률 분포를 생성한다.
이 때, 색상 공간 확률 분포는 상이한 색상으로 이루어진 서브 영역 간의 중심 평균 거리와 분산을 모멘텀으로 활용하여 구해진 분포를 의미할 수 있다.
이 때, 색상 공간 확률 분포에서 임의의 GMM 요소인 c 내에 픽셀(
Figure pat00015
)에 대한 색상 공간 분포 모멘텀은 수학식 1, 2를 이용하여 계산할 수 있다.
[수학식 1]
Figure pat00016
(
Figure pat00017
: 공간 평균,
Figure pat00018
: 픽셀 색상 Ix가 GMM 요소인 c에 포함될 확률,
Figure pat00019
: GMM 요소인 c 내부의 픽셀)
[수학식 2]
Figure pat00020
(
Figure pat00021
: 공간 분포,
Figure pat00022
: 공간 평균,
Figure pat00023
: 픽셀 색상 Ix가 GMM 요소인 c에 포함될 확률,
Figure pat00024
: GMM 요소인 c 내부의 픽셀)
[수학식 3]
Figure pat00025
(
Figure pat00026
: 픽셀 색상 Ix가 GMM 요소인 c에 포함될 확률,
Figure pat00027
: 픽셀 값)
생성부(230)는 색상 공간 확률 분포 및 공간 분산에 기반하여 측정한 확률 값을 이용하여 중요맵을 생성한다.
이 때, 중요맵은 흑백의 단일 채널 영상일 수 있다.
이 때, 생성부(230)는 확률 분포 생성부(220)에서 생성한 공간 분산 값이 가중치된 확률 값을 할당하여, 중요맵을 생성할 수 있다.
이 때, 공간 분산 값이 가중치된 확률 값은 색상 분산이 작은 영역일수록 잘 분할되었고, 사람이 잘 인지할 수 있다는 관점에서 좀 더 중요한 영역임을 강조하기 위하여 공간 분산 값을 가중치할 수 있다.
도 3은 도 1에 도시된 트라이맵 생성부의 일실시예를 나타낸 블록도이다.
도 3을 참조하면, 트라이맵 생성부(120)는 메타 트라이맵 생성부(310), 클러스터링부(320) 및 생성부(330)로 구성된다.
메타 트라이맵 생성부(310)는 중요맵을 두 개의 필터들을 이용하여 두 개의 메타 트라이맵들을 생성한다.
이 때, 메타 트라이맵은 중요맵에서 트라이맵을 생성하는 중간 과정에서 생성되는 맵을 통칭하는 이름일 수 있다.
이 때, 메타 트라이맵 생성부(310)가 이용하는 필터는 가우시안 블러 필터와 팽창, 침식 필터일 수 있다.
이 때, 가우시안 필터는 중요맵의 하드 경계(Hard edge)면을 소프트 경게(Sofe edge)로 변환하여, 알파맵 생성부(130)에서 계산되는 관심 객체 영역과 배경 영역간의 경계 면의 투명도 알파 값을 보다 정밀하게 계산하기 위해서 이용될 수 있다.
이 때, 팽창과 침식 필터는 관심 객체 내부의 밀도를 더욱 증가시켜서, 알파맵 생성부(130)에서 계산되는 관심 객체 영역 내부의 투명도 알파값을 보다 정확하게 계산하기 위해서 이용될 수 있다. 예를 들어, 객체의 가운데에 큰 구멍이 존재하는 관심 객체의 경우, 구멍을 제외한 객체의 색상과 구멍의 색상과 큰 차이가 있어, 관심 객체의 영역으로 판단하기 힘들지만, 팽창과 침식 필터를 이용하여 트라이 맵을 생성하게 되면, 보정이 가능하다.
클러스터링부(320)는 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링한다.
이 때, 전경 영역은 관심 객체가 존재하는 영역을 의미하며, 배경 영역은 관심 객체가 존재하지 않는 영역을 의미하며, 미지의 영역은 관심 객체가 존재하는지 여부를 판단할 수 없는 영역을 의미한다.
이 때, 메타 트라이맵들 각각을 세 가지 영역으로 클러스터링할 때, 그래프 분할 방법을 이용할 수도 있다.
이 때, 클러스터링된 각각의 영역 내부의 모든 픽셀들의 값을 동일하게 할당할 수 있다. 예를 들어, 전경 영역 내부의 모든 픽셀들의 값을 평균 값으로 동일하게 할당할 수 있다.
생성부(330)는 클러스터링된 메타 트라이맵들을 통합하여 트라이맵을 생성한다.
이 때, 클러스터링부(320)에서 생성된 두 개의 메타 트라이맵들을 통합하여 트라이맵을 생성한다.
이 때, 두 개의 메타 트라이맵에 존재하는 전경 영역(F로 표시), 배경 영역(B로 표시) 및 미지 영역(E로 표시)를 각각 합성하는 방법은 도 5 내지 도 10에서 서술한다.
도 4는 도 1에 도시된 알파맵 생성부의 일실시예를 나타낸 블록도이다.
도 4를 참조하면, 알파맵 생성부(130)는 매팅 라플라시안 행렬 계산부(410), 생성부(420) 및 객체 추출부(430)로 구성되어 있다.
매팅 라플라시안 행렬 계산부(410)는 상기 영상 내부의 모든 픽셀들 간의 색상 거리들이 반영된 유사 행렬을 계산하고, 상기 유사 행렬에 기반하여 라플라시안 행렬을 생성한다.
이 때, 유사 행렬은 영상 내부의 모든 픽셀들 간의 색상 거리들이 반영된 행렬로서, 유사한 색상 거리인 픽셀 간의 관계를 나타낼 수 있다.
이 때, 유사 행렬은 수학식 4를 이용하여 계산할 수 있다.
[수학식 4]
Figure pat00028
(
Figure pat00029
: 윈도우 내 픽셀 수,
Figure pat00030
: p 픽셀에서의 지엽적 윈도우,
Figure pat00031
: 윈도우 내 픽셀들의 평균 값)
이 때, 유사 행렬에 기반하여 매팅 라플라시안 행렬을 계산할 수 있다.
[수학식 5]
Figure pat00032
(
Figure pat00033
: 매팅 라플라시안 행렬
Figure pat00034
: 유사 행렬
Figure pat00035
: 유사행렬 A 내의 i번째 행과 j번째 열에 해당하는 요소)
이 때, 매팅 라플라시안 행렬을 구하는 것은 고해상도 영상의 경우, 유사 행렬의 크기가 매우 커져서 데이터 저장 및 전송에 문제가 생길 수 있어 희소(sparse) 행렬을 생성하기 위해서 이다.
생성부(420)는 상기 매팅 라플라시안 행렬 및 상기 트라이맵을 이용하여 픽셀의 투명값을 계산하고, 상기 투명값에 기반하여 알파맵을 생성한다.
이 때, 알파맵은 컴퓨터에서 처리하는 3가지 색상(R, G, B)이외에 다른 데이터를 의미하며, 한 픽셀의 색이 다른 픽셀의 색과 겹쳐서 나타나는 경우, 두 색을 효과적으로 융합하는데 이용될 수 있다. 본 발명에서는 영상 내부의 미지 영역 내에 배경 영역 대비 전경 영역에 포함될 확률 값을 투명도 값으로 할당하고, 알파맵은 투명도 값을 도시한 영상을 의미한다.
이 때, 알파맵을 생성하는 것은 매팅 라플라시안과 트라이맵에 기반하여 영상 내 미지 영역 내 모든 픽셀들에 대하여 배경 영역 대비 전경 영역에 포함될 확률 값을 계산한 후 확률 값에 기반한 맵을 형성하는 것을 의미할 수 있다.
객체 추출부(430)는 상기 알파맵 및 상기 영상에 기반한 이미지 매팅을 이용하여 관심 객체를 추출한다.
이 때, 이미지 매팅은 두 개 이상의 영상을 비교하여, 영상 원본에서 배경 영역을 제거하고 전경 영역만을 표시하는 기술을 의미한다. 객체 추출부(430)는 알파맵과 원본 영상을 이용한 이미지 매팅을 이용하여 관심 객체를 추출할 수 있다.
이 때, 객체 추출부(430)는 영상 내 미지 영역에서 전경 영역과 배경 영역을 분리하고, 기존에 추출하였던 전경 영역과 영상 내 미지 영역에서의 전경 영역을 합한 영역을 관심 객체로 추출할 수 있다.
이 때, 객체 추출부(430)가 영상 내 미지 영역에서 전경 영역을 추출함에 있어, 원본 영상 내부에서 관심 객체에 해당하는 전경 영역(F)과 그 외의 배경 영역(B)는 투명도 알파값(α)이 가중치 된 선형적 조합 관계를 가정하여 전경 영역을 추출할 수 있다.
이 때, 원본 영상 내부에서 관심 객체에 해당하는 전경 영역(F)과 그 외의 배경 영역(B)는 투명도 알파값(α)이 가중치 된 선형적 조합 관계는 수학식 6을 이용하여 나타낼 수 있다.
[수학식 6]
Figure pat00036
(F: 전경 영역, B: 배경 영역, I: 상수)
이 때, 수힉식 6의 의미는 영상 내부의 픽셀이 전경 영역일 확률이 높아질수록 배경 영역일 확률이 낮아진다는 의미로서, 전경 영역과 배경 영역 및 투명도 알파 값이 선형적으로 조합된 관계임을 나타내는 것이다.
도 5는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 메타 트라이맵을 통합하는 규칙을 나타낸 표이고, 도 6 내지 도 9는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 메타 트라이맵을 통합하는 일 실시예를 도시한 도면이다.
도 5 내지 도 9를 이용하여 메타 트라이맵을 통합하여 트라이맵을 생성하는 과정에 대해서 서술한다.
도 5를 참조하면, 관심 객체의 전경 영역은 F로 표시하였고, 배경 영역은 B로 표시하였고, 미지 영역은 E로 표시하였다.
먼저, 메타 트라이맵 생성부(310)에서 가우시안 블러(GB) 및 팽창 침식 필터(Dilation and erosion filter, DB)를 이용하여 생성한 두 개의 메타 트라이맵들이 클러스터링부(320)에서 전경 영역, 배경 영역 및 미지 영역으로 클러스터링된 결과가 도 6 및 도 7에 도시되어 있다.
도 5에 도시된 표를 활용하여 도 6 및 도 7을 통합하면 도 8이 생성됨을 확인할 수 있다.
도 8에 도시된 원의 중심으로부터 가까운 영역 순으로 F, E, F, E, B가 도시되어 있음을 알 수 있다.
이 때, 가우시안 블러(GB)를 이용하여 생성한 메타 트라이 맵에 도시된 E와 팽창 침식 필터(DB)를 이용하여 생성한 메타 트라이 맵에 도시된 F를 통합한 결과를 도 5에서 확인하면 F가 생성됨을 알 수 있다.
이 때, GB를 이용하여 생성한 메타 트라이 맵에 도시된 E와 DB를 이용하여 생성한 메타 트라이 맵에 도시된 B를 통합한 결과를 도 5에서 확인하면 E가 생성됨을 알 수 있다.
상기 설명한 방식대로 두 개의 메타 트라이 맵을 합성한 결과가 도 10에 도시되어 있다.
도 10은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치 내부의 알파맵 생성부에서 투명도 알파값을 도시한 도면이다.
도 10을 참조하면, 투명도 알파값(α)은 0 이상 1 이하의 값으로, 영상 내부의 미지 영역 내 모든 픽셀들에 대하여 배경 영역 대비 전경 영역에 포함될 확률값을 의미한다.
이 때, 전경 영역에 상응하는 투명도 알파 값을 1로 설정하고, 배경 영역에 상응하는 투명도 알파 값을 0으로 설정할 수 있다.
이 때, 미지 영역에 상응하는 투명도 알파 값은 0 이상 1사이의 값이 될 수 있으며, 1에 가까워 질수록 전경 영역에 가깝다고 볼 수 있으며, 0에 가까워 질수록 배경 영역에 가깝다고 볼 수 있다.
이 때, 미지 영역에 상응하는 투명도 알파 값을 매팅 라플라시안 행렬과 트라이맵에 기반하여 계산할 수 있다.
이 때, 객체 추출부(430)가 영상 내 미지 영역에서 전경 영역을 추출함에 있어, 원본 영상 내부에서 관심 객체에 해당하는 전경 영역(F)과 그 외의 배경 영역(B)는 투명도 알파값(α)이 가중치 된 선형적 조합 관계를 가정하여 전경 영역을 추출할 수 있다.
이 때, 원본 영상 내부에서 관심 객체에 해당하는 전경 영역(F)과 그 외의 배경 영역(B)는 투명도 알파값(α)이 가중치 된 선형적 조합 관계는 수학식 6을 이용하여 나타낼 수 있다.
[수학식 6]
Figure pat00037
(F: 전경 영역, B: 배경 영역, I: 상수)
이 때, 수힉식 6의 의미는 영상 내부의 픽셀이 전경 영역일 확률이 높아질수록 배경 영역일 확률이 낮아진다는 의미로서, 전경 영역과 배경 영역 및 투명도 알파 값이 선형적으로 조합된 관계임을 나타내는 것이다.
도 11은 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에서 생성되는 메타 데이터를 저장하기 위한 타입의 일실시예를 도시한 도면이다.
도 11을 참조하면, 본 발명에서 중요맵 생성부(110), 트라이맵 생성부(120) 및 알파맵 생성부(130)에서 수 많은 메타 데이터들이 형성될 수 있으며, 고품질 영상의 경우 매우 많은 메타 데이터들이 생성될 수 있다.
이 때, 수많은 메타 데이터들을 효율적으로 관리하기 위해서 접근의 용이성 및 고속 검색이 가능한 다중 균형 이진 트리 컨테이너 구조들을 활용할 수 있다.
이 때, 메타 데이터들이 다중 균형 이진 트리 컨테이너에 저장됨에 있어 <KEY, VALUE> 형태로 저장될 수 있다.
이 때, KEY는 중복되지 않는 메타 데이터들 각각의 고유 ID를 의미할 수 있다.
이 때, VALUE는 메타 데이터들 각각에 상응하는 데이터를 의미할 수 있다.
도 11은 <KEY, VALUE> 형태의 메타 데이터들이 저장되는 예시를 도시하였다.
도 12는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치를 이용하여 관심 객체를 추출하는 것을 도시한 도면이다.
도 12를 참조하면, 원본 영상(1210), 중요맵 생성부(110)에서 생성한 양자화된 영상(1220), 트라이맵 생성부(120)에서 생성한 필터링된 중요맵(1230) 및 클러스터링된 트라이맵(1240)을 도시하였다.
도 13은 도 12에 도시된 관심 객체를 추출함에 있어, 중요맵 생성부에서 생성하는 색상 공간 확률 분포를 도시한 도면이다.
도 13을 참조하면, 도 12에 도시된 원본 영상(1210)을 이용하여 GMM 기반의 색상 분할을 수행한 결과(1330), 색상 분할을 수행한 영상에 대한 컬러 공간 분포 생성을 수행한 결과 생성되는 평균 색상 요소들간의 상관 관계를 행렬로 도시한 결과(1320) 및 평균 색상 요소들간의 히스토그램(1310)으로 구성되어 있다.
이 때, 평균 색상 요소들간의 히스토그램(1310)에서 X축은 평균 색상 요소들간의 분산 정도를, Y축은 전체 GMM 대비 해당 평균 색상 요소의 비율을 나타낼 수 있다.
이 때, 행렬로 도시한 결과(1320)를 분석해보면, 첫 번째, 세 번째 및 열한 번째의 밝은 영역들과 일곱 번째의 붉은 서브 영역은 서로 매우 다른 색상임에도 불구하고, 동일 관심 객체라는 공간에 대해서 밀접한 상관 관계를 보여주고 있다.
이 때, 첫 번째, 세 번째 및 열한 번째 요소와 일곱 번째 요소 그룹의 분산이 다른 그룹에 비하여 작음을 알 수 있는데, 이는 공간 분산이 가장 작은 영역이 다른 영역들에 비하여 축약된 중요 영역임을 반영하는 결과이다.
도 14는 대조도 만을 이용하여 관심 객체를 추출한 결과와 본 발명의 일실시예에 따라 관심 객체를 추출한 결과를 도시한 도면이다.
도 14를 참조하면, 기존의 대조도만을 이용하여 관심 영역을 추출한 결과(1410, 1420)와 본 발명의 일실시예에 따른 관심 영역을 추출한 결과(1430, 1440)로 구성되어 있다.
이 때, 기존의 대조도만을 이용하여 생성한 알파맵(1410)과 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치를 이용하여 생성한 알파맵(1430)을 비교하면, 알파맵(1430)이 다른 알파맵(1410)에 비해 좀 더 정밀하게 생성되어 있음을 알 수 있다.
이 때, 관심 영역을 추출한 결과들(1420, 1440)을 비교할 때, 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치에 의하여 추출된 관심 영역(1440)이 좀 더 정밀함을 알 수 있다.
도 15는 본 발명의 일실시예에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법을 나타낸 동작흐름도이다.
도 15를 참조하면, 먼저 색상 공간 확률 분포를 이용하여 중요맵을 생성한다(S1510).
이 때, 중요맵(Saliency-map)은 영상에서 인간이 생물학적으로 눈에 먼저 들어오는 영역 또는 객체를 추출하는 것을 의미한다.
이 때, 입력된 영상에서 GMM(Gaussian Mixture Model)기반의 색상 분할을 수행하고, 픽셀 값으로 라벨링된 영상에 기반하여 색상 공간 확률 분포를 생성한다.
이 때, 색상 분할을 수행하면서 생성된 서브 영역은 이진 트리 리프 노드에 저장될 수 있다.
이 때, 색상 공간 확률 분포와 공간 분산에 기반하여 측정한 확률값을 이용하여 중요맵을 생성할 수 있다.
또한, 필터를 이용하여 메타 트라이맵들을 생성한다(S1520).
이 때, 메타 트라이맵들을 생성하는데 이용하는 필터는 가우시안 블러 필터와 팽창, 침식 필터일 수 있다.
이 때, 가우시안 필터는 중요맵의 하드 경계(Hard edge)면을 소프트 경게(Sofe edge)로 변환하여, 알파맵 생성부(130)에서 계산되는 관심 객체 영역과 배경 영역간의 경계 면의 투명도 알파 값을 보다 정밀하게 계산하기 위해서 이용될 수 있다.
이 때, 팽창과 침식 필터는 관심 객체 내부의 밀도를 더욱 증가시켜서, 알파맵 생성부(130)에서 계산되는 관심 객체 영역 내부의 투명도 알파값을 보다 정확하게 계산하기 위해서 이용될 수 있다. 예를 들어, 객체의 가운데에 큰 구멍이 존재하는 관심 객체의 경우, 구멍을 제외한 객체의 색상과 구멍의 색상과 큰 차이가 있어, 관심 객체의 영역으로 판단하기 힘들지만, 팽창과 침식 필터를 이용하여 트라이 맵을 생성하게 되면, 보정이 가능하다.
이 때, 메타 트라이맵은 중요맵을 필터를 이용하여 영상 처리한 결과일 수 있다.
또한, 메타 트라이맵들을 클러스터링하고, 클러스터링된 메타 트라이맵들을 통합하여 트라이맵을 생성한다(S1530).
이 때, 트라이맵 생성부(120)는 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 한다.
이 때, 전경 영역은 관심 객체가 존재하는 영역을 의미하며, 배경 영역은 관심 객체가 존재하지 않는 영역을 의미하며, 미지의 영역은 관심 객체가 존재하는지 여부를 판단할 수 없는 영역을 의미한다.
이 때, 메타 트라이맵들 각각을 세 가지 영역으로 클러스터링할 때, 그래프 분할 방법을 이용할 수도 있다.
이 때, 클러스터링된 각각의 영역 내부의 모든 픽셀들의 값을 동일하게 할당할 수 있다. 예를 들어, 전경 영역 내부의 모든 픽셀들의 값을 평균 값으로 동일하게 할당할 수 있다.
이 때, 클러스터링된 메타 트라이맵을 통합하여 트라이맵을 형성할 수 있다.
또한, 트라이맵에 기반하여 알파맵을 생성하고, 관심 객체를 추출한다(S1540).
이 때, 알파맵은 컴퓨터에서 처리하는 3가지 색상(R, G, B)이외에 다른 데이터를 의미하며, 한 픽셀의 색이 다른 픽셀의 색과 겹쳐서 나타나는 경우, 두 색을 효과적으로 융합하는데 이용될 수 있다. 본 발명에서는 영상 내부의 미지 영역 내에 배경 영역 대비 전경 영역에 포함될 확률 값을 투명도 값으로 할당하고, 알파맵은 투명도 값을 도시한 영상을 의미한다. 이에 대한 설명은 도 10에서 서술하였다.
이 때, 이미지 매팅은 두 개 이상의 영상을 비교하여, 영상 원본에서 배경 영역을 제거하고 전경 영역만을 표시하는 기술을 의미한다. 알파맵 생성부(130)는 알파맵과 원본 영상을 이용한 이미지 매팅을 이용하여 관심 객체를 추출할 수 있다.
이 때, 알파맵 생성부(130)는 영상 내부의 모든 픽셀들 간의 색상 거리들이반영된 매팅 라플라시안 행렬과 알파맵을 이용하여 알파맵을 생성할 수 있다.
이상에서와 같이 본 발명에 따른 전역 대조도 기반 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 입력된 영상에 상응하는 색상 공간 확률 분포를 이용하여 상기 영상 내부의 관심 객체에 상응하는 중요맵을 생성하는 중요맵 생성부;
    필터들을 이용하여 메타 트라이맵을 생성하고, 상기 메타 트라이맵을 클러스터링하여 트라이맵을 생성하는 트라이맵 생성부; 및
    상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 영상을 이용한 영상 매팅에 기반하여 관심 객체를 추출하는 알파맵 생성부
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  2. 청구항 1에 있어서,
    상기 중요맵 생성부는
    상기 입력된 영상에서 GMM 기반의 색상 분할을 수행하여, 분할된 서브 영역들을 바이너리 트리에 저장하는 색상 분할부;
    상기 영상에 상응하는 픽셀 값이 라벨링된 영상에 기반하여 상기 색상 공간 확률 분포를 생성하는 확률 분포 생성부; 및
    상기 색상 공간 확률 분포 및 공간 분산에 기반하여 측정한 확률 값을 이용하여 상기 중요맵을 생성하는 생성부
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  3. 청구항 2에 있어서,
    상기 생성부는
    하기 수학식을 이용하여 상기 공간 분산을 계산하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
    [수학식]
    Figure pat00038

    (
    Figure pat00039
    : 공간 분산,
    Figure pat00040
    : GMM 요소,
    Figure pat00041
    : 픽셀의 색상 값,
    Figure pat00042
    : 공간 평균,
    Figure pat00043
    : GMM 요소
    Figure pat00044
    내의 픽셀)
  4. 청구항 1에 있어서,
    상기 트라이맵 생성부는
    상기 중요맵을 상기 두 개의 필터들을 이용하여 두 개의 메타 트라이맵들을 생성하는 메타 트라이맵 생성부;
    상기 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 하는 클러스터링부; 및
    상기 클러스터링된 메타 트라이맵을 통합하여 트라이맵을 생성하는 생성부
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  5. 청구항 4에 있어서,
    상기 메타 트라이맵 생성부는
    가우시안 블러 필터 및 팽창 및 침식 필터를 이용하여 두 개의 메타 트라이맵을 생성하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  6. 청구항 4에 있어서,
    상기 클러스터링부는
    상기 메타 트라이맵 각각에 존재하는 군집 그룹 내의 모든 픽셀들의 값을 동일하게 할당하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  7. 청구항 6에 있어서,
    상기 클러스터링부는
    상기 픽셀들의 값을 상기 군집 그룹 내의 모든 픽셀들의 색상 평균 값을 할당하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  8. 청구항 1에 있어서,
    상기 알파맵 생성부는
    상기 영상 내부의 모든 픽셀들 간의 색상 거리들이 반영된 매팅 라플라시안
    행렬을 계산하는 매팅 라플라시안 행렬 계산부;
    상기 매팅 라플라시안 행렬 및 상기 트라이맵을 이용하여 픽셀의 투명값을 계산하고, 상기 투명값에 기반하여 알파맵을 생성하는 생성부; 및
    상기 알파맵 및 상기 영상을 이용한 이미지 매팅에 기반하여 상기 관심 객체를 추출하는 객체 추출부
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  9. 청구항 8에 있어서,
    상기 매팅 라플라시안 행렬 계산부는
    상기 라플라시안 행렬을 희소 행렬로 변환하여 저장하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  10. 청구항 8에 있어서,
    상기 객체 추출부는
    전경 영역, 배경 영역 및 상기 알파맵에 상응하는 투명도 알파 값의 선형적 조합 관계에 기반하여 상기 관심 객체를 추추출하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 장치.
  11. 입력된 영상에 상응하는 색상 공간 확률 분포를 이용하여 상기 영상 내부의 관심 객체에 상응하는 중요맵을 생성하는 단계;
    필터들을 이용하여 상기 중요맵에 상응하는 메타 트라이맵들을 생성하고, 상기 메타 트라이맵들을 클러스터링하여 트라이맵을 생성하는 단계; 및
    상기 트라이맵 및 매팅 라플라시안 행렬을 이용하여 알파맵을 생성하고, 상기 알파맵과 상기 입력된 영상을 이용한 영상 매팅에 기반하여 상기 관심 객체를 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  12. 청구항 11에 있어서,
    상기 중요맵을 생성하는 단계는
    상기 입력된 영상에서 GMM(Gaussian Mixture Model) 기반의 색상 분할을 수행하여, 분할된 서브 영역들을 바이너리 트리에 저장하는 단계;
    상기 입력된 영상에 상응하는 픽셀 값이 라벨링된 영상에 기반하여 상기 색상 공간 확률 분포를 생성하는 단계; 및
    상기 색상 공간 확률 분포 및 공간 분산에 기반하여 계산한 확률 값에 기반하여 상기 중요맵을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  13. 청구항 12에 있어서,
    상기 중요맵을 생성하는 단계는
    하기 수학식을 이용하여 하기 공간 분산을 계산하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
    [수학식]
    Figure pat00045

    (
    Figure pat00046
    : 공간 분산,
    Figure pat00047
    : GMM 요소,
    Figure pat00048
    : 픽셀의 색상 값,
    Figure pat00049
    : 공간 평균,
    Figure pat00050
    : GMM 요소
    Figure pat00051
    내의 픽셀)
  14. 청구항 11에 있어서,
    상기 트라이맵을 생성하는 단계는
    상기 중요맵을 두 개의 필터들을 이용하여 두 개의 메타 트라이맵들을 생성하는 단계;
    상기 메타 트라이맵들 각각을 전경 영역, 배경 영역 및 미지의 영역으로 클러스터링 하는 단계; 및
    클러스터링된 메타 트라이맵을 통합하여 트라이맵을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  15. 청구항 14에 있어서,
    상기 메타 트라이맵을 생성 하는 단계는
    가우시안 블러 필터 및 팽창, 침식 필터를 이용하여 두 개의 메타 트라이맵을 생성하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  16. 청구항 14에 있어서,
    상기 클러스터링 하는 단계는
    상기 메타 트라이맵 각각에 존재하는 군집 그룹 내의 모든 픽셀들의 값을 동일하게 할당하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  17. 청구항 16에 있어서,
    상기 클러스터링 하는 단계는
    상기 픽셀들의 값을 상기 군집 그룹 내의 모든 픽셀들의 색상 평균 값을 할당하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  18. 청구항 11에 있어서,
    상기 알파맵을 생성하는 단계는
    모든 픽셀들 간의 색상 거리들이 반영된 매팅 라플라시안 행렬을 계산하는 단계;
    상기 매팅 라플라시안 행렬 및 상기 트라이맵을 이용하여 픽셀의 투명값을 계산하고, 상기 투명값에 기반하여 알파맵을 생성하는 단계; 및
    상기 알파맵 및 상기 영상에 기반하여 상기 관심 객체를 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  19. 청구항 18에 있어서,
    상기 매팅 라플라시안 행렬을 계산하는 단계는
    상기 매팅 라플라시안 행렬을 희소 행렬로 변환하여 저장하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
  20. 청구항 18에 있어서,
    상기 객체를 추출하는 단계는
    전경 영역, 배경 영역 및 투명도 알파값의 선형적 조합 관계에 기반하여 상기 관심 객체를 추출하는 것을 특징으로 하는 영상 매팅을 이용한 영상 내부 관심 객체 추출 방법.
KR1020150084037A 2015-06-15 2015-06-15 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 KR102115328B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150084037A KR102115328B1 (ko) 2015-06-15 2015-06-15 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
US14/855,827 US9569855B2 (en) 2015-06-15 2015-09-16 Apparatus and method for extracting object of interest from image using image matting based on global contrast

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150084037A KR102115328B1 (ko) 2015-06-15 2015-06-15 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160147374A true KR20160147374A (ko) 2016-12-23
KR102115328B1 KR102115328B1 (ko) 2020-05-26

Family

ID=57517225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150084037A KR102115328B1 (ko) 2015-06-15 2015-06-15 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법

Country Status (2)

Country Link
US (1) US9569855B2 (ko)
KR (1) KR102115328B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021089A (ko) * 2017-08-22 2019-03-05 한국과학기술연구원 식물 잎 식별 시스템 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3074956B1 (en) * 2014-03-21 2018-04-11 St. Jude Medical, Cardiology Division, Inc. Methods and systems for generating a multi-dimensional surface model of a geometric structure
KR102075088B1 (ko) * 2016-03-22 2020-02-10 한국전자통신연구원 객체 추출 장치 및 방법
CN108961258B (zh) * 2017-05-18 2021-02-23 北京金山云网络技术有限公司 一种前景图像获得方法及装置
CN107452010B (zh) * 2017-07-31 2021-01-05 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
US10803596B2 (en) * 2018-01-29 2020-10-13 HypeVR Fully automated alpha matting for virtual reality systems
CN109544583B (zh) * 2018-11-23 2023-04-18 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN109712145B (zh) * 2018-11-28 2021-01-08 山东师范大学 一种图像抠图方法及系统
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US10984558B2 (en) * 2019-05-09 2021-04-20 Disney Enterprises, Inc. Learning-based sampling for image matting
CN110363728A (zh) * 2019-07-25 2019-10-22 上海尊溢商务信息咨询有限公司 一种基于语义分割的图像trimap生成方法
US11657513B2 (en) * 2019-11-29 2023-05-23 Samsung Electronics Co., Ltd. Method and system for generating a tri-map for image matting
US11494944B2 (en) 2020-11-18 2022-11-08 Disney Enterprises, Inc. Automatic low contrast detection
US11544828B2 (en) 2020-11-18 2023-01-03 Disney Enterprises, Inc. Automatic occlusion detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084075A (ko) * 2009-01-15 2010-07-23 연세대학교 산학협력단 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR20110025621A (ko) * 2009-09-04 2011-03-10 가시오게산키 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940985B2 (en) * 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
KR101086232B1 (ko) 2008-12-22 2011-11-24 한국전자통신연구원 동적 압축 장치 및 방법
US20100302376A1 (en) * 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
WO2011017806A1 (en) * 2009-08-14 2011-02-17 Genesis Group Inc. Real-time image and video matting
DE102009038364A1 (de) * 2009-08-23 2011-02-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
KR101281961B1 (ko) 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
KR20130085316A (ko) 2012-01-19 2013-07-29 한국전자통신연구원 원거리 사람 식별을 위한 다중 카메라 기반의 얼굴영상 획득 장치
KR101384627B1 (ko) 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084075A (ko) * 2009-01-15 2010-07-23 연세대학교 산학협력단 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR20110025621A (ko) * 2009-09-04 2011-03-10 가시오게산키 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021089A (ko) * 2017-08-22 2019-03-05 한국과학기술연구원 식물 잎 식별 시스템 및 방법
US10679096B2 (en) 2017-08-22 2020-06-09 Korea Institute Of Science And Technology System and method for plant leaf identification

Also Published As

Publication number Publication date
US20160364877A1 (en) 2016-12-15
KR102115328B1 (ko) 2020-05-26
US9569855B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
KR102115328B1 (ko) 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
US8280164B2 (en) Producing object cutouts in topically related images
EP1831823B1 (en) Segmenting digital image and producing compact representation
CN105493078B (zh) 彩色草图图像搜索
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
KR100836740B1 (ko) 영상 데이터 처리 방법 및 그에 따른 시스템
WO2017181892A1 (zh) 前景分割方法及装置
CN110517270B (zh) 一种基于超像素深度网络的室内场景语义分割方法
US20230360354A1 (en) Detection of annotated regions of interest in images
US11869127B2 (en) Image manipulation method and apparatus
Lonarkar et al. Content-based image retrieval by segmentation and clustering
CN106548118A (zh) 影院放映内容的识别检索方法及系统
Ghodhbani et al. Depth-based color stereo images retrieval using joint multivariate statistical models
CN111582275B (zh) 一种序列号识别方法及装置
Lizarraga-Morales et al. Integration of color and texture cues in a rough set–based segmentation method
CN113627124A (zh) 一种针对字体迁移模型的处理方法、装置、电子设备
Dimai Unsupervised extraction of salient region-descriptors for content based image retrieval
Yuan et al. Image segmentation via foreground and background semantic descriptors
CN114979742B (zh) 视频处理方法、装置、设备及存储介质
CN111866301B (zh) 数据的处理方法、装置及设备
Han et al. Image retrieval using CBIR including light position analysis
JP2007188176A (ja) コンテンツ情報特定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
Kumari et al. A Study and usage of Visual Features in Content Based Image Retrieval Systems.
Xu et al. Salient object detection based on regional contrast and relative spatial compactness
Banerjee et al. Video text localization using wavelet and shearlet transforms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant