KR20130075636A - 배경 합성을 위한 자동 객체 분할 장치 및 방법 - Google Patents

배경 합성을 위한 자동 객체 분할 장치 및 방법 Download PDF

Info

Publication number
KR20130075636A
KR20130075636A KR1020120081911A KR20120081911A KR20130075636A KR 20130075636 A KR20130075636 A KR 20130075636A KR 1020120081911 A KR1020120081911 A KR 1020120081911A KR 20120081911 A KR20120081911 A KR 20120081911A KR 20130075636 A KR20130075636 A KR 20130075636A
Authority
KR
South Korea
Prior art keywords
input image
region
image frame
interest
input
Prior art date
Application number
KR1020120081911A
Other languages
English (en)
Other versions
KR101316848B1 (ko
Inventor
백준기
김대희
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Publication of KR20130075636A publication Critical patent/KR20130075636A/ko
Application granted granted Critical
Publication of KR101316848B1 publication Critical patent/KR101316848B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

배경 합성을 위한 자동 객체 분할 장치 및 방법이 개시된다. 입력 영상 분할부는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다. 움직임 영역 검출부는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다. 초기 라벨 맵 생성부는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다. 라벨 맵 생성부는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다. 객체 분할부는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다. 본 발명에 따르면, 사용자의 개입 없이 움직임 영역에 포함된 관심 객체를 자동으로 분할함으로써 시간 및 비용을 절감할 수 있다.

Description

배경 합성을 위한 자동 객체 분할 장치 및 방법{Apparatus and method for automatic object segmentation for background composition}
본 발명은 배경 합성을 위한 자동 객체 분할 장치 및 방법에 관한 것으로, 보다 상세하게는, 사용자의 개입 없이 자동으로 영상 내의 객체를 분할하고 배경을 합성하기 위한 장치 및 방법에 관한 것이다.
자동 객체 분할 및 배경 합성 기술은 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서 주목받고 있는 기술 중 하나이다. 기존의 객체 분할 기술은 질감이나 색상 등의 특징이 유사한 영역을 검출하여 분할하였으나, 최근의 객체 분할 기술은 사전에 설정한 의미 있는 영역인 관심 객체를 분할할 수 있다. 예를 들면, 영상 통신을 수행하는 사용자를 의미 있는 영역인 관심 객체로 분할할 수 있다. 그러나 색상, 모양, 움직임 및 질감 등과 같은 관심 객체의 다양한 특징 때문에 이를 정확히 분할하는 데는 어려움이 따른다.
이 경우 사용자가 객체 분할에 개입하여 정확도를 높이고 계산 부하를 감소시킬 수 있다. 그러나 사용자의 개입에 따른 시간 및 비용 등의 증가가 발생하므로 자동 객체 분할 방식을 기본으로 하되, 사용자의 개입을 최소화하는 방식이 논의되고 있다.
본 발명과 관련하여 Boykov는 선행저널 Graph cuts and efficient N-D image segmentation(Int. Journal of Computer Vision)에서 사용자 상호작용(user interaction)을 이용한 최적화 기반 그래프 컷 알고리즘(optimization-based graph cut algorithm)을 제안하였다.
또한 Ning은 Interactive image segmentation by maximal similarity based region merging(In Proc. Pattern Recognition)에서 MSRM(Maximum Similarity-based Region Merging)을 사용한 상호적인 객체(interactive object) 분할 알고리즘을 제안하였다.
그러나 그래프 컷(graph-cut) 및 MSRM 기반 방식은 상호적인 초기 라벨 맵(interactive initial label map)을 요구하기 때문에, 낮은 계산 성능과 터치 스크린의 제한된 해상도를 갖는 모바일 단말에서는 초기 라벨 맵의 자동 생성이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적인 자동 객체 분할 장치 및 방법을 제공함에 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적인 자동 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치는, 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할부; 상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출부; 상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성부; 상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성부; 및 상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법은, 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할단계; 상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출단계; 상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성단계; 상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성단계; 및 상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할단계;를 갖는다.
본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치 및 방법에 의하면, 사용자의 개입 없이 움직임 영역에 포함된 관심 객체를 자동으로 분할함으로써 시간 및 비용을 절감할 수 있다. 또한 초기 라벨 맵을 갱신하는 방식에 의해 객체 분할에 요구되는 계산량과 메모리를 감소시킬 수 있다. 이에 따라 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적이다.
도 1은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 입력 영상 프레임에 대한 복수의 분할 영역 및 영역 인접 그래프를 나타낸 도면,
도 3은 초기 라벨 맵이 생성되는 과정을 설명하기 위한 영상들,
도 4는 라벨 맵을 갱신하는 과정을 설명하기 위한 도면,
도 5는 입력 영상 프레임의 배경 영역으로부터 복수의 참고 영역을 선택한 예를 나타낸 영상,
도 6은 배경 영역의 움직임에 따른 관심 객체의 움직임을 나타낸 도면,
도 7은 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘을 적용한 결과를 나타낸 영상,
도 8은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 9는 기존의 객체 분할 알고리즘과 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체를 나타낸 영상들,
도 10은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 의해 관심 객체를 분할하고 배경 영상을 합성한 목표 영상들, 그리고,
도 11은 관심 객체의 움직임이 있는 연속하여 순차적으로 입력된 입력 영상 프레임에 대해 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법을 적용한 결과를 나타낸 영상들이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치는, 입력 영상 분할부(110), 움직임 영역 검출부(120), 초기 라벨 맵 생성부(130), 라벨 맵 생성부(140), 객체 분할부(150) 및 배경 합성부(160)를 포함한다.
입력 영상 분할부(110)는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다. 하나의 실시예로, 입력 영상 분할부(110)는 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 적용할 수 있다. 그 결과 각각의 입력 영상 프레임은 과분할(over-segmentation) 된다. 그리고 입력 영상 분할부(110)는 복수의 분할 영역의 상호 인접한 상태에 따라 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성할 수 있다.
도 2는 입력 영상 프레임에 대한 복수의 분할 영역 및 영역 인접 그래프를 나타낸 도면이다.
도 2의 (a)는 입력 영상 분할부(110)에 의해 생성된 복수의 분할 영역을 나타낸 것이고, (b)는 복수의 분할 영역에 대응하는 각각의 노드를 트리 구조로 연결한 영역 인접 그래프를 나타낸 것이다.
도 2의 (a)를 참조하면, 입력 영상 분할부(110)는 입력 영상 프레임을 메디안 필터 기반 워터쉬드 알고리즘을 사용해 과분할하여 7개의 분할 영역을 생성하였다. 도 2의 (b)를 참조하면, 입력 영상 분할부(110)는 7개의 분할 영역 각각에 대응하는 복수의 노드를 분할 영역의 상호 인접 상태에 따라 트리 구조로 연결한 영역 인접 그래프를 생성하였다.
다시 도 1을 참조하면, 움직임 영역 검출부(120)는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다. 하나의 실시예로, 움직임 영역의 검출에는 광류(optical flow) 정보가 사용될 수 있다. 구체적으로, 움직임 영역은 0이 아닌 광류 값을 가지므로 움직임 영역 검출부(120)는 제2 입력 영상 프레임의 광류 정보를 움직임 영역을 검출하는데 사용할 수 있다. 먼저 움직임 영역 검출부(120)는 다음의 수학식 1로 표현되는 광류를 제2 입력 영상 프레임으로부터 검출할 수 있다.
Figure pat00001
여기서, Vx는 제2 입력 영상 프레임의 시간 t에서의 속도 또는 광류의 x성분, Vy는 제2 입력 영상 프레임의 시간 t에서의 속도 또는 광류의 y성분,
Figure pat00002
는 x성분에 대한 제2 입력 영상 프레임의 도함수,
Figure pat00003
는 y성분에 대한 제2 입력 영상 프레임의 도함수,
Figure pat00004
는 t성분에 대한 제2 입력 영상 프레임의 도함수이다.
그리고 움직임 영역 검출부(120)는 다음의 수학식 2를 만족시키는 영역을 움직임 영역 RM으로 검출할 수 있다.
Figure pat00005
여기서, RM은 움직임 영역, (x,y)는 제2 입력 영상 프레임 내 화소의 좌표, Vx는 제2 입력 영상 프레임의 속도 또는 광류의 x성분, Vy는 제2 입력 영상 프레임의 속도 또는 광류의 y성분,
Figure pat00006
은 사전에 설정된 임계값(pre-specified threshold)이다.
그 다음으로, 움직임 영역 검출부(120)는 검출된 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성할 수 있다. 구체적으로 움직임 영역 검출부(120)는 움직임 영역에 존재하는 좁은 틈(break)이나 얇고 긴 격차(gulfs)를 결합(fuse)시켜, 움직임 영역에 존재하는 작은 구멍 및 윤곽에 생긴 갭(gap in the contour)을 제거할 수 있다.
초기 라벨 맵 생성부(130)는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다.
구체적으로, 초기 라벨 맵 생성부(130)는 중심 영역을 검출하기 위해 골격화 알고리즘(skeletonization algorithm)을 정제된 움직임 영역에 적용할 수 있다. 그리고 골격화 알고리즘에 의해 검출된 중심 영역을 관심 객체 영역으로 라벨링(labeling)한다. 또한 초기 라벨 맵 생성부(130)는 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 관심 객체 영역을 나타내는 초기 라벨 값을 할당한다.
마찬가지로, 초기 라벨 맵 생성부(130)는 경계 영역을 검출하기 위해 모폴로지 연산을 정제된 움직임 영역에 적용할 수 있다. 그리고 모폴로지 연산에 의해 검출된 경계 영역을 배경 영역으로 라벨링한다. 배경 영역은 입력 영상 프레임 내의 관심 객체 이외의 영역을 의미한다. 또한 초기 라벨 맵 생성부(130)는 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 배경 영역을 나타내는 초기 라벨 값을 할당한다.
이에 따라, 초기 라벨 맵 생성 과정은 다음의 수학식 3으로 표현될 수 있다.
Figure pat00007
여기서, (x,y)는 제2 입력 영상 프레임 내 화소의 좌표, Lp(x,y)는 (x,y) 좌표를 포함하는 노드의 초기 라벨 값, fO(x,y)는 (x,y) 좌표에 골격화 알고리즘을 적용한 결과, fB(x,y)는 (x,y) 좌표에 모폴로지 연산을 적용한 결과를 의미한다. 즉, fO(x,y)가 참(true)인 (x,y) 좌표를 포함하는 제2 입력 영상 프레임의 분할 영역에 대응하는 노드에는 초기 라벨 값 1이 할당된다. 그리고 fB(x,y)가 참(true)인 (x,y) 좌표를 포함하는 제2 입력 영상 프레임의 분할 영역에 대응하는 노드에는 초기 라벨 값 -1이 할당된다. 또한 이외의 노드에는 초기 라벨 값 0이 할당된다.
도 3은 초기 라벨 맵이 생성되는 과정을 설명하기 위한 영상들이다.
도 3의 (a)는 제2 입력 영상 프레임을 나타낸 것이고, (b)는 제2 입력 영상 프레임에서 검출된 광류를 나타낸 것이고, (c)는 제2 입력 영상 프레임의 정제된 움직임 영역을 나타낸 것이다. 그리고 (d)는 제2 입력 영상 프레임에 골격화 알고리즘을 적용하여 검출한 중심 영역을 나타낸 것이고, (e)는 제2 입력 영상 프레임에 모폴로지 연산을 적용하여 검출한 경계 영역을 나타낸 것이고, (f)는 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 나타낸 것이다.
도 3을 참조하면, 제2 입력 영상 프레임에 대응하는 초기 라벨 맵에서 (가)영역은 배경 영역으로 라벨링 되고 (나)영역은 관심 객체 영역으로 라벨링 된다.
다시 도 1을 참조하면, 라벨 맵 생성부(140)는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다.
도 4는 라벨 맵을 갱신하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 라벨 맵 생성부(140)는 라벨 값(1 또는 -1)을 갖는 제t-1 입력 영상 프레임의 노드인 기준 노드 Lp에 대하여 복수의 인접 노드 Nq 및 Np를 검출할 수 있다. 복수의 인접 노드 Nq 및 Np는 제t-1 입력 영상 프레임에 연속하여 입력된 제t 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 앞서 설명한 입력 영상 분할부(110)가 생성한 영역 인접 그래프(RAG)를 이용할 수 있다. 즉, 제t-1 입력 영상 프레임을 제t 입력 영상 프레임에 직교 사영시키고 제t-1 입력 영상 프레임의 영역 인접 그래프와 제t 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드 Lp에 대응되는 하나의 유사 노드 Np를 선택한다. 이를 위해, RGB 색상 히스토그램과 바타차랴 계수(Bhattacharyya coefficient)를 사용할 수 있다. 그리고 선택된 유사 노드 Np에 기준 노드 Lp의 초기 라벨 값을 할당하는 방식으로 제t 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제t 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제t 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다.
구체적으로, 라벨 맵 생성부(140)는 초기 라벨 값(1 또는 -1)을 갖는 제2 입력 영상 프레임의 노드인 기준 노드 각각에 대하여 복수의 인접 노드를 검출할 수 있다. 복수의 인접 노드는 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 앞서 설명한 입력 영상 분할부(110)가 생성한 영역 인접 그래프(RAG)를 이용할 수 있다. 즉, 제2 입력 영상 프레임의 영역 인접 그래프와 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드에 대응되는 하나의 유사 노드를 선택한다. 이를 위해, RGB 색상 히스토그램과 바타차랴 계수(Bhattacharyya coefficient)를 사용할 수 있다. 그리고 선택된 유사 노드에 기준 노드의 초기 라벨 값을 할당하는 방식으로 제3 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제3 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다.
이와 같은 방식으로, 라벨 맵 생성부(140)는 제3 입력 영상 프레임에 연속하여 입력된 제4 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다. 구체적으로, 라벨 맵 생성부(140)는 라벨 값(1 또는 -1)을 갖는 제3 입력 영상 프레임의 노드인 기준 노드 각각에 대하여 복수의 인접 노드를 검출할 수 있다. 복수의 인접 노드는 제4 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 제3 입력 영상 프레임의 영역 인접 그래프와 제4 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드에 대응되는 하나의 유사 노드를 선택하여 기준 노드의 라벨 값을 할당하는 방식으로 제4 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제4 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제4 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다. 결과적으로, 라벨 맵 생성부(140)는 초기 라벨 맵을 갱신하여 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하게 된다.
앞서 설명한 바와 같이, 유사 노드를 선택하는 과정에 바타차랴 계수가 사용될 수 있다. 이는 입력 영상 프레임에 포함된 두 영역이 유사하면 두 영역의 색상 히스토그램 역시 유사하게 되고 이에 따라 두 영역 간의 바타차랴 계수가 증가한다는 원리를 이용한 것이다.
바타차랴 계수는 다음의 수학식 4와 같이 정의된다.
Figure pat00008
여기서, w는 바타차랴 계수, Np는 기준 노드, Nq는 Np의 인접 노드, n은 색상 히스토그램의 순서,
Figure pat00009
은 Np의 정규화된 n번째 RGB 히스토그램,
Figure pat00010
은 Nq의 정규화된 n번째 RGB 히스토그램을 나타낸다. 또한 n은 4,096까지 계산된다. 이는 각각의 색상 채널을 16개의 레벨로 설정하여 4,096(16×16×16)개의 히스토그램에 대해 판단해야 하기 때문이다. 즉, 기준 노드와 복수의 인접 노드의 w값을 각각 산출하여 w값이 가장 큰 인접 노드가 유사 노드로 선택된다.
객체 분할부(150)는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다.
기존의 그래프 컷 알고리즘은 깁스 에너지(Gibbs Energy)를 최소화하는 것으로 다음의 수학식 5와 같다.
Figure pat00011
여기서, E(L)은 깁스 에너지, R(L)은 분할하고자 하는 관심 객체를 나타내는 항, B(L)은 경계 영역을 나타내는 항, λ는 R(L)과 B(L) 사이의 상대적 중요도를 나타내는 값이다.
객체 분할부(150)는 R(L)을 바타차랴 계수와 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 고려하여 다음의 수학식 6에 의해 산출한다.
Figure pat00012
여기서, p는 입력 영상 프레임의 분할 영역에 대응하는 임의의 노드,
Figure pat00013
은 노드p의 정규화된 n번째 RGB 히스토그램,
Figure pat00014
은 라벨 값이 1 또는 -1인 노드의 정규화된 n번째 RGB 히스토그램, w는 바타차랴 계수를 나타낸다.
또한 객체 분할부(150)는 B(L)을 다음의 수학식 7에 의해 산출한다.
Figure pat00015
여기서, pi 및 qj는 입력 영상 프레임 내의 임의의 화소,
Figure pat00016
는 경계 영역에 대한 그래디언트 정보(gradient information), Cij는 두 화소 pi 및 qj의 RGB 색상 차의 l2-놈(norm)을 나타내며 g(Cij)는 1/(1+Cij)와 같이 산출된다.
배경 합성부(160)는 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성한다. 배경 영상은 분할된 관심 객체와 합성되어 입력 영상 프레임에서 새로운 배경으로 설정될 영상이다.
관심 객체와 배경 영상을 합성하는 기존의 방법으로 관심 객체를 검출하는 장치인 블루 스크린(Blue screen)을 이용하는 방법 및 사용자와의 추가적인 상호 작용을 요구하는 트리맵(Trimap) 기반의 알고리즘을 사용하는 방법 등이 있다. 이러한 배경 합성 알고리즘에 의해 관심 객체가 포함된 기존의 배경 영역이 새로운 배경 영상으로 교체된다.
한편, 일반적인 모바일 폰 등을 이용한 영상 통신에서는 복수의 영상 프레임이 연속하여 입력되며, 각각의 영상 프레임으로부터 관심 객체가 분할될 수 있다. 또한 카메라의 움직임에 따라 배경 영역의 위치가 달라질 수 있다. 따라서 배경 합성부(160)는 카메라의 움직임을 고려하여 관심 객체와 배경 영상을 합성할 필요가 있다.
먼저, 배경 합성부(160)는 입력 영상 프레임에서 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택한다. 참고 영역은 배경 영역의 움직임 정도를 측정하는데 기준이 되는 영역을 의미한다.
도 5는 입력 영상 프레임의 배경 영역으로부터 복수의 참고 영역을 선택한 예를 나타낸 영상이다.
도 5를 참조하면, 배경 합성부(160)는 입력 영상 프레임의 배경 영역으로부터 v1 및 v2의 참고 영역을 각각 선택하였다. 이때 참고 영역의 크기와 수는 다양하게 설정할 수 있다.
그 후, 배경 합성부(160)는 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 참고 영역에 대응하는 영역과 참고 영역 사이의 움직임을 검출하고 이를 반영한 목표 영상을 생성한다. 참고 영역의 움직임은 광류를 통해 검출할 수 있다.
구체적으로, 배경 합성부(160)는 다음의 수학식 8에 의해 참고 영역의 움직임을 검출한다.
Figure pat00017
여기서,
Figure pat00018
는 v1 및 v2 참고 영역에 대한 움직임의 평균값, (Vx, Vy)는 v1 및 v2 참고 영역 내 화소 각각의 좌표값, ws는 참고 영역의 크기를 나타낸다. 본 발명에 따른 자동 객체 분할 장치에서는 참고 영역의 크기를 16×16으로 설정할 수 있다.
배경 합성부(160)는 이와 같이 검출된 움직임을 반영하여 관심 객체의 좌표를 이동시킨 후 배경 영상과 합성한 목표 영상을 생성한다.
검출된 움직임은 다음의 수학식 9에 의해 관심 객체의 좌표 이동에 반영된다.
Figure pat00019
여기서, t는 목표 영상을 생성하고자 하는 현재 시점에서의 입력 영상 프레임, t-1은 현재 바로 이전 시점에서의 입력 영상 프레임, Ob(x,y)는 관심 객체의 좌표,
Figure pat00020
는
Figure pat00021
의 x 좌표,
Figure pat00022
는
Figure pat00023
의 y 좌표이다.
도 6은 배경 영역의 움직임에 따른 관심 객체의 움직임을 나타낸 도면이다.
도 6을 참조하면, 배경 합성부(160)는 v1 및 v2 참고 영역의 움직임에 대응하여 관심 객체를 이동시킨다.
또한 배경 합성부(160)는 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용함으로써 부자연스러운 경계를 보정할 수 있다.
도 7은 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘을 적용한 결과를 나타낸 영상이다.
도 7의 (a)는 코헤런트 매팅 알고리즘을 적용하기 전의 목표 영상, (b)는 코헤런트 매팅 알고리즘을 적용한 목표 영상을 나타낸다.
도 7을 참조하면, 코헤런트 매팅 알고리즘은 베이지언 매팅 알고리즘(Bayesian matting algorithm)에 정규화(regularization) 항인 α를 도입하여 성능을 향상시킨 것으로, 코헤런트 매팅 알고리즘에 의해 관심 객체와 배경 영상 사이의 부자연스러운 경계가 부드럽게 보정되는 것을 확인할 수 있다.
도 8은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
입력 영상 분할부(110)는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다(S810). 이때 입력 영상 분할부(110)는 메디안 필터 기반 워터쉬드 알고리즘을 사용하여 복수의 분할 영역을 생성할 수 있다.
그 후, 움직임 영역 검출부(120)는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다(S820). 이때 움직임 영역 검출부(120)는 광류 정보를 이용하여 움직임 영역을 검출하고, 움직임 영역에 모폴로지 연산을 적용하여 움직임 영역을 정제한 정제된 움직임 영역을 생성할 수 있다.
그리고 초기 라벨 맵 생성부(130)는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다(S830). 구체적으로, 초기 라벨 맵 생성부(130)는 정제된 움직임 영역에 골격화 알고리즘을 적용하여 중심 영역을 검출하고, 정제된 움직임 영역에 모폴로지 연산을 적용하여 경계 영역을 검출할 수 있다.
그 다음으로, 라벨 맵 생성부(140)는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다(S840).
그 후, 객체 분할부(150)는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다(S850).
마지막으로 배경 합성부(160)는 분할된 관심 객체에 배경 영상을 합성하여 목표 영상을 생성한다(S860).
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에는 모바일 폰 카메라에 의해 연속적으로 촬영된 복수의 비디오 입력 영상 프레임을 사용하였다. 관심 객체를 포함하는 입력 영상 프레임의 크기는 320×480이고, 관심 객체와 합성되는 배경 영상의 크기는 640×480이다.
도 9는 기존의 객체 분할 알고리즘과 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체를 나타낸 영상들이다.
도 9의 (a)는 입력 영상 프레임의 초기 라벨 맵을 나타낸 것이고, (b)는 Boykov가 제안한 알고리즘에 의해 분할된 관심 객체들을 나타낸 것이고, (c)는 Ning이 제안한 알고리즘에 의해 분할된 관심 객체들을 나타낸 것이고, (d)는 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체들을 나타낸 것이다.
도 9의 (a)를 참조하면, 세 종류의 입력 영상 프레임은 각각 관심 객체로 새, 원숭이, 여성을 포함한다. 점선으로 표시된 영역은 관심 객체 영역으로 라벨링된 것이고, 실선으로 표시된 영역은 배경 영역으로 라벨링 된 것이다. (b)를 참조하면, 각각의 관심 객체는 Boykov가 제안한 최적화 기반 그래프 컷 알고리즘으로 분할된 것이다. (c)를 참조하면, 각각의 관심 객체는 Ning이 제안한 MSRM을 사용한 상호적인 객체 분할 알고리즘으로 분할된 것이다. (d)를 참조하면, 각각의 관심 객체는 본 발명에 따른 히스토그램 색상 기반의 그래프 컷 알고리즘으로 분할된 것이다. 각각의 방법으로 분할된 관심 객체는 유사하나 관심 객체를 분할하는데 걸리는 시간에 있어서 차이가 있다.
다음의 표 1은 도 9에 제시된 방법들로 관심 객체를 분할하는데 걸리는 시간을 나타낸 것이다.
입력 영상 프레임의
관심 객체		 Boykov Ning 본 발명
새 0.089초 45.792초 0.067초
원숭이 0.110초 60.120초 0.072초
여성 0.095초 51.356초 0.071초
표 1을 참조하면, 본 발명에 따른 자동 객체 분할 방법에 의하면 기존의 객체 분할 알고리즘보다 관심 객체를 분할하는데 걸리는 시간이 감소하게 된다.
도 10은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 의해 관심 객체를 분할하고 배경 영상을 합성한 목표 영상들이다.
도 10을 참조하면, 도 10의 (a)는 입력 영상 프레임들을 나타낸 것이고, (b)는 본 발명에 따른 객체 분할 방법에 의해 분할된 관심 객체들을 나타낸 것이고, (c)는 새롭게 합성할 배경 영상들을 나타낸 것이고, (d)는 분할된 관심 객체에 배경 영상을 합성한 목표 영상들을 나타낸 것이다. 본 발명에 따른 자동 객체 분할 방법에 의해 자연스러운 목표 영상이 생성되었음을 확인할 수 있다.
도 11은 관심 객체의 움직임이 있는 연속하여 순차적으로 입력된 입력 영상 프레임에 대해 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법을 적용한 결과를 나타낸 영상들이다.
도 11의 (a)는 연속하여 순차적으로 입력된 입력 영상 프레임을 입력된 특정 순서에 따라 나타낸 것이고, 도 11의 (b)는 특정 순서에 해당하는 (a)의 입력 영상 프레임에서 관심 객체를 분할하고 배경 영상을 합성하여 생성한 목표 영상을 나타낸 것이다.
도 11을 참조하면, 본 발명에 따른 자동 객체 분할 방법에 의해 관심 객체가 움직이는 경우에도 자연스러운 목표 영상이 생성되었음을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (25)

  1. 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할부;
    상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출부;
    상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성부;
    상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성부; 및
    상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할부;를 포함하는 것을 특징으로 하는 자동 객체 분할 장치.
  2. 제 1항에 있어서,
    상기 입력 영상 분할부는 상기 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 사용하여 복수의 분할 영역을 생성하고, 상기 복수의 분할 영역의 상호 인접한 상태에 따라 상기 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  3. 제 2항에 있어서,
    상기 움직임 영역 검출부는 상기 제2 입력 영상 프레임에 대한 광류(optical flow) 정보를 이용하여 상기 움직임 영역을 검출하고, 상기 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  4. 제 3항에 있어서,
    상기 초기 라벨 맵 생성부는 상기 정제된 움직임 영역에 골격화 알고리즘(skeletonization algorithm)을 적용하여 상기 중심 영역을 검출하고 상기 검출된 중심 영역을 상기 관심 객체 영역으로 라벨링(labeling)하며, 상기 정제된 움직임 영역에 모폴로지 연산을 적용하여 상기 경계 영역을 검출하고 상기 검출된 경계 영역을 상기 관심 객체 이외의 영역인 배경 영역으로 라벨링하여 상기 초기 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  5. 제 4항에 있어서,
    상기 초기 라벨 맵 생성부는 상기 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 상기 관심 객체 영역을 나타내는 초기 라벨 값을 할당하고, 상기 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 상기 배경 영역을 나타내는 초기 라벨 값을 할당하는 것을 특징으로 하는 자동 객체 분할 장치.
  6. 제 5항에 있어서,
    상기 라벨 맵 생성부는 상기 제2 입력 영상 프레임의 영역 인접 그래프와 상기 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여, 상기 초기 라벨 값을 할당받은 기준 노드 별로 상기 기준 노드에 인접한 복수의 인접 노드를 상기 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출하는 것을 특징으로 하는 자동 객체 분할 장치.
  7. 제 6항에 있어서,
    상기 라벨 맵 생성부는 상기 기준 노드에 대한 색상 히스토그램과 상기 검출된 인접 노드 각각에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 기준 노드에 대응되는 유사 노드를 상기 인접 노드 중에서 선택하고, 상기 기준 노드에 할당된 초기 라벨 값을 상기 유사 노드의 라벨 값으로 할당하여 상기 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  8. 제 2항에 있어서,
    상기 객체 분할부는 상기 각각의 입력 영상 프레임에 대응하는 복수의 노드 각각에 대한 색상 히스토그램과 상기 관심 객체 영역 또는 상기 경계 영역에 대응하는 노드에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 것을 특징으로 하는 자동 객체 분할 장치.
  9. 제 1항에 있어서,
    상기 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성하는 배경 합성부를 더 포함하는 것을 특징으로 하는 자동 객체 분할 장치.
  10. 제 9항에 있어서,
    상기 배경 합성부는 상기 입력 영상 프레임에서 상기 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택하고, 상기 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 상기 참고 영역에 대응하는 영역과 상기 참고 영역 사이의 움직임을 검출하여 이를 반영한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  11. 제 10항에 있어서,
    상기 배경 합성부는 상기 움직임을 반영하여 상기 관심 객체의 좌표를 이동시킨 후 상기 배경 영상과 합성한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 장치.
  12. 제 9항에 있어서,
    상기 배경 합성부는 상기 관심 객체와 상기 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용하는 것을 특징으로 하는 자동 객체 분할 장치.
  13. 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할단계;
    상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출단계;
    상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성단계;
    상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성단계; 및
    상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할단계;를 포함하는 것을 특징으로 하는 자동 객체 분할 방법.
  14. 제 13항에 있어서,
    상기 입력 영상 분할단계에서, 상기 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 사용하여 복수의 분할 영역을 생성하고, 상기 복수의 분할 영역의 상호 인접한 상태에 따라 상기 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  15. 제 14항에 있어서,
    상기 움직임 영역 검출단계에서, 상기 제2 입력 영상 프레임에 대한 광류(optical flow) 정보를 이용하여 상기 움직임 영역을 검출하고, 상기 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  16. 제 15항에 있어서,
    상기 초기 라벨 맵 생성단계에서, 상기 정제된 움직임 영역에 골격화 알고리즘(skeletonization algorithm)을 적용하여 상기 중심 영역을 검출하고 상기 검출된 중심 영역을 상기 관심 객체 영역으로 라벨링(labeling)하며, 상기 정제된 움직임 영역에 모폴로지 연산을 적용하여 상기 경계 영역을 검출하고 상기 검출된 경계 영역을 상기 관심 객체 이외의 영역인 배경 영역으로 라벨링하여 상기 초기 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  17. 제 16항에 있어서,
    상기 초기 라벨 맵 생성단계에서, 상기 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 상기 관심 객체 영역을 나타내는 초기 라벨 값을 할당하고, 상기 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 상기 배경 영역을 나타내는 초기 라벨 값을 할당하는 것을 특징으로 하는 자동 객체 분할 방법.
  18. 제 17항에 있어서,
    상기 라벨 맵 생성단계에서, 상기 제2 입력 영상 프레임의 영역 인접 그래프와 상기 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여, 상기 초기 라벨 값을 할당받은 기준 노드 별로 상기 기준 노드에 인접한 복수의 인접 노드를 상기 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출하는 것을 특징으로 하는 자동 객체 분할 방법.
  19. 제 18항에 있어서,
    상기 라벨 맵 생성단계에서, 상기 기준 노드에 대한 색상 히스토그램과 상기 검출된 인접 노드 각각에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 기준 노드에 대응되는 유사 노드를 상기 인접 노드 중에서 선택하고, 상기 기준 노드에 할당된 초기 라벨 값을 상기 유사 노드의 라벨 값으로 할당하여 상기 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  20. 제 14항에 있어서,
    상기 객체 분할단계에서, 상기 각각의 입력 영상 프레임에 대응하는 복수의 노드 각각에 대한 색상 히스토그램과 상기 관심 객체 영역 또는 상기 경계 영역에 대응하는 노드에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 것을 특징으로 하는 자동 객체 분할 방법.
  21. 제 13항에 있어서,
    상기 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성하는 배경 합성단계를 더 포함하는 것을 특징으로 하는 자동 객체 분할 방법.
  22. 제 21항에 있어서,
    상기 배경 합성단계에서, 상기 입력 영상 프레임에서 상기 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택하고, 상기 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 상기 참고 영역에 대응하는 영역과 상기 참고 영역 사이의 움직임을 검출하여 이를 반영한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  23. 제 22항에 있어서,
    상기 배경 합성단계에서, 상기 움직임을 반영하여 상기 관심 객체의 좌표를 이동시킨 후 상기 배경 영상과 합성한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 방법.
  24. 제 21항에 있어서,
    상기 배경 합성단계에서, 상기 관심 객체와 상기 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용하는 것을 특징으로 하는 자동 객체 분할 방법.
  25. 제 13항 내지 제 24항 중 어느 한 항에 기재된 자동 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120081911A 2011-12-27 2012-07-26 배경 합성을 위한 자동 객체 분할 장치 및 방법 KR101316848B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110143312 2011-12-27
KR1020110143312 2011-12-27

Publications (2)

Publication Number Publication Date
KR20130075636A true KR20130075636A (ko) 2013-07-05
KR101316848B1 KR101316848B1 (ko) 2013-10-10

Family

ID=48989483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120081911A KR101316848B1 (ko) 2011-12-27 2012-07-26 배경 합성을 위한 자동 객체 분할 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101316848B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131729A1 (ko) * 2017-01-11 2018-07-19 전자부품연구원 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR20210049648A (ko) * 2019-10-25 2021-05-06 주식회사 아이오로라 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법
CN117221504A (zh) * 2023-11-07 2023-12-12 北京医百科技有限公司 一种视频抠像方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832539A (zh) * 2020-07-28 2020-10-27 北京小米松果电子有限公司 视频处理方法及装置、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101173559B1 (ko) * 2009-02-10 2012-08-13 한국전자통신연구원 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131729A1 (ko) * 2017-01-11 2018-07-19 전자부품연구원 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR20180082739A (ko) * 2017-01-11 2018-07-19 전자부품연구원 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR20210049648A (ko) * 2019-10-25 2021-05-06 주식회사 아이오로라 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법
CN117221504A (zh) * 2023-11-07 2023-12-12 北京医百科技有限公司 一种视频抠像方法及装置
CN117221504B (zh) * 2023-11-07 2024-01-23 北京医百科技有限公司 一种视频抠像方法及装置

Also Published As

Publication number Publication date
KR101316848B1 (ko) 2013-10-10

Similar Documents

Publication Publication Date Title
CN100514367C (zh) 基于彩色分割的立体3d重构系统和方法
JP4777433B2 (ja) ビデオ前景の分割方法
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
Radke Computer vision for visual effects
US9042662B2 (en) Method and system for segmenting an image
Butler et al. Real-time adaptive foreground/background segmentation
KR101401184B1 (ko) 동영상의 객체 경계 추정 방법
US11030495B2 (en) Systems and methods for instance segmentation
JP2004519966A (ja) 多重解像度ビデオオブジェクトのセグメント化方法
JP2005513656A (ja) 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法
KR20140063440A (ko) 수퍼픽셀 라이프 사이클 관리 방법
EP2980754A1 (en) Method and apparatus for generating temporally consistent superpixels
CN111886600A (zh) 一种用于图像的实例级别分割的设备和方法
KR101316848B1 (ko) 배경 합성을 위한 자동 객체 분할 장치 및 방법
EP2958077B1 (en) Method and apparatus for generating temporally consistent superpixels
EP3053137B1 (en) Method and apparatus for generating superpixel clusters
US7840068B2 (en) System and method for video processing by image segmentation
JP2002525988A (ja) 意味的映像オブジェクト分割のためのシステムおよび方法
KR20130001635A (ko) 깊이 맵 생성 방법 및 장치
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
KR101108491B1 (ko) 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법
JP4177689B2 (ja) 映像特徴情報生成装置
Chen et al. Improving Graph Cuts algorithm to transform sequence of stereo image to depth map
Cinque et al. Real-time foreground segmentation with Kinect sensor
US20230169708A1 (en) Image and video matting

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6