KR20130075636A - 배경 합성을 위한 자동 객체 분할 장치 및 방법 - Google Patents
배경 합성을 위한 자동 객체 분할 장치 및 방법 Download PDFInfo
- Publication number
- KR20130075636A KR20130075636A KR1020120081911A KR20120081911A KR20130075636A KR 20130075636 A KR20130075636 A KR 20130075636A KR 1020120081911 A KR1020120081911 A KR 1020120081911A KR 20120081911 A KR20120081911 A KR 20120081911A KR 20130075636 A KR20130075636 A KR 20130075636A
- Authority
- KR
- South Korea
- Prior art keywords
- input image
- region
- image frame
- interest
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 title claims description 41
- 230000033001 locomotion Effects 0.000 claims abstract description 93
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000001427 coherent effect Effects 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 13
- 238000003786 synthesis reaction Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 241000282693 Cercopithecidae Species 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
배경 합성을 위한 자동 객체 분할 장치 및 방법이 개시된다. 입력 영상 분할부는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다. 움직임 영역 검출부는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다. 초기 라벨 맵 생성부는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다. 라벨 맵 생성부는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다. 객체 분할부는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다. 본 발명에 따르면, 사용자의 개입 없이 움직임 영역에 포함된 관심 객체를 자동으로 분할함으로써 시간 및 비용을 절감할 수 있다.
Description
본 발명은 배경 합성을 위한 자동 객체 분할 장치 및 방법에 관한 것으로, 보다 상세하게는, 사용자의 개입 없이 자동으로 영상 내의 객체를 분할하고 배경을 합성하기 위한 장치 및 방법에 관한 것이다.
자동 객체 분할 및 배경 합성 기술은 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서 주목받고 있는 기술 중 하나이다. 기존의 객체 분할 기술은 질감이나 색상 등의 특징이 유사한 영역을 검출하여 분할하였으나, 최근의 객체 분할 기술은 사전에 설정한 의미 있는 영역인 관심 객체를 분할할 수 있다. 예를 들면, 영상 통신을 수행하는 사용자를 의미 있는 영역인 관심 객체로 분할할 수 있다. 그러나 색상, 모양, 움직임 및 질감 등과 같은 관심 객체의 다양한 특징 때문에 이를 정확히 분할하는 데는 어려움이 따른다.
이 경우 사용자가 객체 분할에 개입하여 정확도를 높이고 계산 부하를 감소시킬 수 있다. 그러나 사용자의 개입에 따른 시간 및 비용 등의 증가가 발생하므로 자동 객체 분할 방식을 기본으로 하되, 사용자의 개입을 최소화하는 방식이 논의되고 있다.
본 발명과 관련하여 Boykov는 선행저널 Graph cuts and efficient N-D image segmentation(Int. Journal of Computer Vision)에서 사용자 상호작용(user interaction)을 이용한 최적화 기반 그래프 컷 알고리즘(optimization-based graph cut algorithm)을 제안하였다.
또한 Ning은 Interactive image segmentation by maximal similarity based region merging(In Proc. Pattern Recognition)에서 MSRM(Maximum Similarity-based Region Merging)을 사용한 상호적인 객체(interactive object) 분할 알고리즘을 제안하였다.
그러나 그래프 컷(graph-cut) 및 MSRM 기반 방식은 상호적인 초기 라벨 맵(interactive initial label map)을 요구하기 때문에, 낮은 계산 성능과 터치 스크린의 제한된 해상도를 갖는 모바일 단말에서는 초기 라벨 맵의 자동 생성이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적인 자동 객체 분할 장치 및 방법을 제공함에 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적인 자동 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치는, 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할부; 상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출부; 상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성부; 상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성부; 및 상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법은, 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할단계; 상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출단계; 상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성단계; 상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성단계; 및 상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할단계;를 갖는다.
본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치 및 방법에 의하면, 사용자의 개입 없이 움직임 영역에 포함된 관심 객체를 자동으로 분할함으로써 시간 및 비용을 절감할 수 있다. 또한 초기 라벨 맵을 갱신하는 방식에 의해 객체 분할에 요구되는 계산량과 메모리를 감소시킬 수 있다. 이에 따라 모바일 폰, 태블릿 PC, 스마트 TV와 같은 대화형 비디오 통신을 수행하는 단말에서의 영상 통신에 효과적이다.
도 1은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 입력 영상 프레임에 대한 복수의 분할 영역 및 영역 인접 그래프를 나타낸 도면,
도 3은 초기 라벨 맵이 생성되는 과정을 설명하기 위한 영상들,
도 4는 라벨 맵을 갱신하는 과정을 설명하기 위한 도면,
도 5는 입력 영상 프레임의 배경 영역으로부터 복수의 참고 영역을 선택한 예를 나타낸 영상,
도 6은 배경 영역의 움직임에 따른 관심 객체의 움직임을 나타낸 도면,
도 7은 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘을 적용한 결과를 나타낸 영상,
도 8은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 9는 기존의 객체 분할 알고리즘과 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체를 나타낸 영상들,
도 10은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 의해 관심 객체를 분할하고 배경 영상을 합성한 목표 영상들, 그리고,
도 11은 관심 객체의 움직임이 있는 연속하여 순차적으로 입력된 입력 영상 프레임에 대해 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법을 적용한 결과를 나타낸 영상들이다.
도 2는 입력 영상 프레임에 대한 복수의 분할 영역 및 영역 인접 그래프를 나타낸 도면,
도 3은 초기 라벨 맵이 생성되는 과정을 설명하기 위한 영상들,
도 4는 라벨 맵을 갱신하는 과정을 설명하기 위한 도면,
도 5는 입력 영상 프레임의 배경 영역으로부터 복수의 참고 영역을 선택한 예를 나타낸 영상,
도 6은 배경 영역의 움직임에 따른 관심 객체의 움직임을 나타낸 도면,
도 7은 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘을 적용한 결과를 나타낸 영상,
도 8은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 9는 기존의 객체 분할 알고리즘과 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체를 나타낸 영상들,
도 10은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 의해 관심 객체를 분할하고 배경 영상을 합성한 목표 영상들, 그리고,
도 11은 관심 객체의 움직임이 있는 연속하여 순차적으로 입력된 입력 영상 프레임에 대해 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법을 적용한 결과를 나타낸 영상들이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 배경 합성을 위한 자동 객체 분할 장치는, 입력 영상 분할부(110), 움직임 영역 검출부(120), 초기 라벨 맵 생성부(130), 라벨 맵 생성부(140), 객체 분할부(150) 및 배경 합성부(160)를 포함한다.
입력 영상 분할부(110)는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다. 하나의 실시예로, 입력 영상 분할부(110)는 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 적용할 수 있다. 그 결과 각각의 입력 영상 프레임은 과분할(over-segmentation) 된다. 그리고 입력 영상 분할부(110)는 복수의 분할 영역의 상호 인접한 상태에 따라 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성할 수 있다.
도 2는 입력 영상 프레임에 대한 복수의 분할 영역 및 영역 인접 그래프를 나타낸 도면이다.
도 2의 (a)는 입력 영상 분할부(110)에 의해 생성된 복수의 분할 영역을 나타낸 것이고, (b)는 복수의 분할 영역에 대응하는 각각의 노드를 트리 구조로 연결한 영역 인접 그래프를 나타낸 것이다.
도 2의 (a)를 참조하면, 입력 영상 분할부(110)는 입력 영상 프레임을 메디안 필터 기반 워터쉬드 알고리즘을 사용해 과분할하여 7개의 분할 영역을 생성하였다. 도 2의 (b)를 참조하면, 입력 영상 분할부(110)는 7개의 분할 영역 각각에 대응하는 복수의 노드를 분할 영역의 상호 인접 상태에 따라 트리 구조로 연결한 영역 인접 그래프를 생성하였다.
다시 도 1을 참조하면, 움직임 영역 검출부(120)는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다. 하나의 실시예로, 움직임 영역의 검출에는 광류(optical flow) 정보가 사용될 수 있다. 구체적으로, 움직임 영역은 0이 아닌 광류 값을 가지므로 움직임 영역 검출부(120)는 제2 입력 영상 프레임의 광류 정보를 움직임 영역을 검출하는데 사용할 수 있다. 먼저 움직임 영역 검출부(120)는 다음의 수학식 1로 표현되는 광류를 제2 입력 영상 프레임으로부터 검출할 수 있다.
여기서, Vx는 제2 입력 영상 프레임의 시간 t에서의 속도 또는 광류의 x성분, Vy는 제2 입력 영상 프레임의 시간 t에서의 속도 또는 광류의 y성분, 는 x성분에 대한 제2 입력 영상 프레임의 도함수, 는 y성분에 대한 제2 입력 영상 프레임의 도함수, 는 t성분에 대한 제2 입력 영상 프레임의 도함수이다.
그리고 움직임 영역 검출부(120)는 다음의 수학식 2를 만족시키는 영역을 움직임 영역 RM으로 검출할 수 있다.
여기서, RM은 움직임 영역, (x,y)는 제2 입력 영상 프레임 내 화소의 좌표, Vx는 제2 입력 영상 프레임의 속도 또는 광류의 x성분, Vy는 제2 입력 영상 프레임의 속도 또는 광류의 y성분, 은 사전에 설정된 임계값(pre-specified threshold)이다.
그 다음으로, 움직임 영역 검출부(120)는 검출된 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성할 수 있다. 구체적으로 움직임 영역 검출부(120)는 움직임 영역에 존재하는 좁은 틈(break)이나 얇고 긴 격차(gulfs)를 결합(fuse)시켜, 움직임 영역에 존재하는 작은 구멍 및 윤곽에 생긴 갭(gap in the contour)을 제거할 수 있다.
초기 라벨 맵 생성부(130)는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다.
구체적으로, 초기 라벨 맵 생성부(130)는 중심 영역을 검출하기 위해 골격화 알고리즘(skeletonization algorithm)을 정제된 움직임 영역에 적용할 수 있다. 그리고 골격화 알고리즘에 의해 검출된 중심 영역을 관심 객체 영역으로 라벨링(labeling)한다. 또한 초기 라벨 맵 생성부(130)는 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 관심 객체 영역을 나타내는 초기 라벨 값을 할당한다.
마찬가지로, 초기 라벨 맵 생성부(130)는 경계 영역을 검출하기 위해 모폴로지 연산을 정제된 움직임 영역에 적용할 수 있다. 그리고 모폴로지 연산에 의해 검출된 경계 영역을 배경 영역으로 라벨링한다. 배경 영역은 입력 영상 프레임 내의 관심 객체 이외의 영역을 의미한다. 또한 초기 라벨 맵 생성부(130)는 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 배경 영역을 나타내는 초기 라벨 값을 할당한다.
이에 따라, 초기 라벨 맵 생성 과정은 다음의 수학식 3으로 표현될 수 있다.
여기서, (x,y)는 제2 입력 영상 프레임 내 화소의 좌표, Lp(x,y)는 (x,y) 좌표를 포함하는 노드의 초기 라벨 값, fO(x,y)는 (x,y) 좌표에 골격화 알고리즘을 적용한 결과, fB(x,y)는 (x,y) 좌표에 모폴로지 연산을 적용한 결과를 의미한다. 즉, fO(x,y)가 참(true)인 (x,y) 좌표를 포함하는 제2 입력 영상 프레임의 분할 영역에 대응하는 노드에는 초기 라벨 값 1이 할당된다. 그리고 fB(x,y)가 참(true)인 (x,y) 좌표를 포함하는 제2 입력 영상 프레임의 분할 영역에 대응하는 노드에는 초기 라벨 값 -1이 할당된다. 또한 이외의 노드에는 초기 라벨 값 0이 할당된다.
도 3은 초기 라벨 맵이 생성되는 과정을 설명하기 위한 영상들이다.
도 3의 (a)는 제2 입력 영상 프레임을 나타낸 것이고, (b)는 제2 입력 영상 프레임에서 검출된 광류를 나타낸 것이고, (c)는 제2 입력 영상 프레임의 정제된 움직임 영역을 나타낸 것이다. 그리고 (d)는 제2 입력 영상 프레임에 골격화 알고리즘을 적용하여 검출한 중심 영역을 나타낸 것이고, (e)는 제2 입력 영상 프레임에 모폴로지 연산을 적용하여 검출한 경계 영역을 나타낸 것이고, (f)는 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 나타낸 것이다.
도 3을 참조하면, 제2 입력 영상 프레임에 대응하는 초기 라벨 맵에서 (가)영역은 배경 영역으로 라벨링 되고 (나)영역은 관심 객체 영역으로 라벨링 된다.
다시 도 1을 참조하면, 라벨 맵 생성부(140)는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다.
도 4는 라벨 맵을 갱신하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 라벨 맵 생성부(140)는 라벨 값(1 또는 -1)을 갖는 제t-1 입력 영상 프레임의 노드인 기준 노드 Lp에 대하여 복수의 인접 노드 Nq 및 Np를 검출할 수 있다. 복수의 인접 노드 Nq 및 Np는 제t-1 입력 영상 프레임에 연속하여 입력된 제t 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 앞서 설명한 입력 영상 분할부(110)가 생성한 영역 인접 그래프(RAG)를 이용할 수 있다. 즉, 제t-1 입력 영상 프레임을 제t 입력 영상 프레임에 직교 사영시키고 제t-1 입력 영상 프레임의 영역 인접 그래프와 제t 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드 Lp에 대응되는 하나의 유사 노드 Np를 선택한다. 이를 위해, RGB 색상 히스토그램과 바타차랴 계수(Bhattacharyya coefficient)를 사용할 수 있다. 그리고 선택된 유사 노드 Np에 기준 노드 Lp의 초기 라벨 값을 할당하는 방식으로 제t 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제t 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제t 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다.
구체적으로, 라벨 맵 생성부(140)는 초기 라벨 값(1 또는 -1)을 갖는 제2 입력 영상 프레임의 노드인 기준 노드 각각에 대하여 복수의 인접 노드를 검출할 수 있다. 복수의 인접 노드는 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 앞서 설명한 입력 영상 분할부(110)가 생성한 영역 인접 그래프(RAG)를 이용할 수 있다. 즉, 제2 입력 영상 프레임의 영역 인접 그래프와 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드에 대응되는 하나의 유사 노드를 선택한다. 이를 위해, RGB 색상 히스토그램과 바타차랴 계수(Bhattacharyya coefficient)를 사용할 수 있다. 그리고 선택된 유사 노드에 기준 노드의 초기 라벨 값을 할당하는 방식으로 제3 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제3 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다.
이와 같은 방식으로, 라벨 맵 생성부(140)는 제3 입력 영상 프레임에 연속하여 입력된 제4 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다. 구체적으로, 라벨 맵 생성부(140)는 라벨 값(1 또는 -1)을 갖는 제3 입력 영상 프레임의 노드인 기준 노드 각각에 대하여 복수의 인접 노드를 검출할 수 있다. 복수의 인접 노드는 제4 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출된 것이다. 이를 위해, 라벨 맵 생성부(140)는 제3 입력 영상 프레임의 영역 인접 그래프와 제4 입력 영상 프레임의 영역 인접 그래프를 비교하여 기준 노드 별로 복수의 인접 노드를 검출한다.
그 다음으로, 라벨 맵 생성부(140)는 검출된 복수의 인접 노드 중에서 기준 노드에 대응되는 하나의 유사 노드를 선택하여 기준 노드의 라벨 값을 할당하는 방식으로 제4 입력 영상 프레임의 노드에 라벨 값을 할당한다. 라벨 맵 생성부(140)는 제4 입력 영상 프레임의 노드 각각에 할당된 라벨 값을 기초로 제4 입력 영상 프레임에 대응하는 라벨 맵을 생성할 수 있다. 결과적으로, 라벨 맵 생성부(140)는 초기 라벨 맵을 갱신하여 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하게 된다.
앞서 설명한 바와 같이, 유사 노드를 선택하는 과정에 바타차랴 계수가 사용될 수 있다. 이는 입력 영상 프레임에 포함된 두 영역이 유사하면 두 영역의 색상 히스토그램 역시 유사하게 되고 이에 따라 두 영역 간의 바타차랴 계수가 증가한다는 원리를 이용한 것이다.
바타차랴 계수는 다음의 수학식 4와 같이 정의된다.
여기서, w는 바타차랴 계수, Np는 기준 노드, Nq는 Np의 인접 노드, n은 색상 히스토그램의 순서, 은 Np의 정규화된 n번째 RGB 히스토그램, 은 Nq의 정규화된 n번째 RGB 히스토그램을 나타낸다. 또한 n은 4,096까지 계산된다. 이는 각각의 색상 채널을 16개의 레벨로 설정하여 4,096(16×16×16)개의 히스토그램에 대해 판단해야 하기 때문이다. 즉, 기준 노드와 복수의 인접 노드의 w값을 각각 산출하여 w값이 가장 큰 인접 노드가 유사 노드로 선택된다.
객체 분할부(150)는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다.
기존의 그래프 컷 알고리즘은 깁스 에너지(Gibbs Energy)를 최소화하는 것으로 다음의 수학식 5와 같다.
여기서, E(L)은 깁스 에너지, R(L)은 분할하고자 하는 관심 객체를 나타내는 항, B(L)은 경계 영역을 나타내는 항, λ는 R(L)과 B(L) 사이의 상대적 중요도를 나타내는 값이다.
객체 분할부(150)는 R(L)을 바타차랴 계수와 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 고려하여 다음의 수학식 6에 의해 산출한다.
여기서, p는 입력 영상 프레임의 분할 영역에 대응하는 임의의 노드, 은 노드p의 정규화된 n번째 RGB 히스토그램, 은 라벨 값이 1 또는 -1인 노드의 정규화된 n번째 RGB 히스토그램, w는 바타차랴 계수를 나타낸다.
또한 객체 분할부(150)는 B(L)을 다음의 수학식 7에 의해 산출한다.
여기서, pi 및 qj는 입력 영상 프레임 내의 임의의 화소, 는 경계 영역에 대한 그래디언트 정보(gradient information), Cij는 두 화소 pi 및 qj의 RGB 색상 차의 l2-놈(norm)을 나타내며 g(Cij)는 1/(1+Cij)와 같이 산출된다.
배경 합성부(160)는 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성한다. 배경 영상은 분할된 관심 객체와 합성되어 입력 영상 프레임에서 새로운 배경으로 설정될 영상이다.
관심 객체와 배경 영상을 합성하는 기존의 방법으로 관심 객체를 검출하는 장치인 블루 스크린(Blue screen)을 이용하는 방법 및 사용자와의 추가적인 상호 작용을 요구하는 트리맵(Trimap) 기반의 알고리즘을 사용하는 방법 등이 있다. 이러한 배경 합성 알고리즘에 의해 관심 객체가 포함된 기존의 배경 영역이 새로운 배경 영상으로 교체된다.
한편, 일반적인 모바일 폰 등을 이용한 영상 통신에서는 복수의 영상 프레임이 연속하여 입력되며, 각각의 영상 프레임으로부터 관심 객체가 분할될 수 있다. 또한 카메라의 움직임에 따라 배경 영역의 위치가 달라질 수 있다. 따라서 배경 합성부(160)는 카메라의 움직임을 고려하여 관심 객체와 배경 영상을 합성할 필요가 있다.
먼저, 배경 합성부(160)는 입력 영상 프레임에서 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택한다. 참고 영역은 배경 영역의 움직임 정도를 측정하는데 기준이 되는 영역을 의미한다.
도 5는 입력 영상 프레임의 배경 영역으로부터 복수의 참고 영역을 선택한 예를 나타낸 영상이다.
도 5를 참조하면, 배경 합성부(160)는 입력 영상 프레임의 배경 영역으로부터 v1 및 v2의 참고 영역을 각각 선택하였다. 이때 참고 영역의 크기와 수는 다양하게 설정할 수 있다.
그 후, 배경 합성부(160)는 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 참고 영역에 대응하는 영역과 참고 영역 사이의 움직임을 검출하고 이를 반영한 목표 영상을 생성한다. 참고 영역의 움직임은 광류를 통해 검출할 수 있다.
구체적으로, 배경 합성부(160)는 다음의 수학식 8에 의해 참고 영역의 움직임을 검출한다.
여기서, 는 v1 및 v2 참고 영역에 대한 움직임의 평균값, (Vx, Vy)는 v1 및 v2 참고 영역 내 화소 각각의 좌표값, ws는 참고 영역의 크기를 나타낸다. 본 발명에 따른 자동 객체 분할 장치에서는 참고 영역의 크기를 16×16으로 설정할 수 있다.
배경 합성부(160)는 이와 같이 검출된 움직임을 반영하여 관심 객체의 좌표를 이동시킨 후 배경 영상과 합성한 목표 영상을 생성한다.
검출된 움직임은 다음의 수학식 9에 의해 관심 객체의 좌표 이동에 반영된다.
여기서, t는 목표 영상을 생성하고자 하는 현재 시점에서의 입력 영상 프레임, t-1은 현재 바로 이전 시점에서의 입력 영상 프레임, Ob(x,y)는 관심 객체의 좌표, 는 의 x 좌표, 는 의 y 좌표이다.
도 6은 배경 영역의 움직임에 따른 관심 객체의 움직임을 나타낸 도면이다.
도 6을 참조하면, 배경 합성부(160)는 v1 및 v2 참고 영역의 움직임에 대응하여 관심 객체를 이동시킨다.
또한 배경 합성부(160)는 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용함으로써 부자연스러운 경계를 보정할 수 있다.
도 7은 관심 객체와 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘을 적용한 결과를 나타낸 영상이다.
도 7의 (a)는 코헤런트 매팅 알고리즘을 적용하기 전의 목표 영상, (b)는 코헤런트 매팅 알고리즘을 적용한 목표 영상을 나타낸다.
도 7을 참조하면, 코헤런트 매팅 알고리즘은 베이지언 매팅 알고리즘(Bayesian matting algorithm)에 정규화(regularization) 항인 α를 도입하여 성능을 향상시킨 것으로, 코헤런트 매팅 알고리즘에 의해 관심 객체와 배경 영상 사이의 부자연스러운 경계가 부드럽게 보정되는 것을 확인할 수 있다.
도 8은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
입력 영상 분할부(110)는 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성한다(S810). 이때 입력 영상 분할부(110)는 메디안 필터 기반 워터쉬드 알고리즘을 사용하여 복수의 분할 영역을 생성할 수 있다.
그 후, 움직임 영역 검출부(120)는 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출한다(S820). 이때 움직임 영역 검출부(120)는 광류 정보를 이용하여 움직임 영역을 검출하고, 움직임 영역에 모폴로지 연산을 적용하여 움직임 영역을 정제한 정제된 움직임 영역을 생성할 수 있다.
그리고 초기 라벨 맵 생성부(130)는 움직임 영역을 기초로 관심 객체의 뼈대를 나타내는 중심 영역 및 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성한다(S830). 구체적으로, 초기 라벨 맵 생성부(130)는 정제된 움직임 영역에 골격화 알고리즘을 적용하여 중심 영역을 검출하고, 정제된 움직임 영역에 모폴로지 연산을 적용하여 경계 영역을 검출할 수 있다.
그 다음으로, 라벨 맵 생성부(140)는 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 초기 라벨 맵을 반복적으로 갱신하여 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성한다(S840).
그 후, 객체 분할부(150)는 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘을 사용하여 각각의 입력 영상 프레임으로부터 관심 객체를 분할한다(S850).
마지막으로 배경 합성부(160)는 분할된 관심 객체에 배경 영상을 합성하여 목표 영상을 생성한다(S860).
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에는 모바일 폰 카메라에 의해 연속적으로 촬영된 복수의 비디오 입력 영상 프레임을 사용하였다. 관심 객체를 포함하는 입력 영상 프레임의 크기는 320×480이고, 관심 객체와 합성되는 배경 영상의 크기는 640×480이다.
도 9는 기존의 객체 분할 알고리즘과 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체를 나타낸 영상들이다.
도 9의 (a)는 입력 영상 프레임의 초기 라벨 맵을 나타낸 것이고, (b)는 Boykov가 제안한 알고리즘에 의해 분할된 관심 객체들을 나타낸 것이고, (c)는 Ning이 제안한 알고리즘에 의해 분할된 관심 객체들을 나타낸 것이고, (d)는 본 발명에 따른 자동 객체 분할 방법에 의해 분할된 관심 객체들을 나타낸 것이다.
도 9의 (a)를 참조하면, 세 종류의 입력 영상 프레임은 각각 관심 객체로 새, 원숭이, 여성을 포함한다. 점선으로 표시된 영역은 관심 객체 영역으로 라벨링된 것이고, 실선으로 표시된 영역은 배경 영역으로 라벨링 된 것이다. (b)를 참조하면, 각각의 관심 객체는 Boykov가 제안한 최적화 기반 그래프 컷 알고리즘으로 분할된 것이다. (c)를 참조하면, 각각의 관심 객체는 Ning이 제안한 MSRM을 사용한 상호적인 객체 분할 알고리즘으로 분할된 것이다. (d)를 참조하면, 각각의 관심 객체는 본 발명에 따른 히스토그램 색상 기반의 그래프 컷 알고리즘으로 분할된 것이다. 각각의 방법으로 분할된 관심 객체는 유사하나 관심 객체를 분할하는데 걸리는 시간에 있어서 차이가 있다.
다음의 표 1은 도 9에 제시된 방법들로 관심 객체를 분할하는데 걸리는 시간을 나타낸 것이다.
입력 영상 프레임의 관심 객체 |
Boykov | Ning | 본 발명 |
새 | 0.089초 | 45.792초 | 0.067초 |
원숭이 | 0.110초 | 60.120초 | 0.072초 |
여성 | 0.095초 | 51.356초 | 0.071초 |
표 1을 참조하면, 본 발명에 따른 자동 객체 분할 방법에 의하면 기존의 객체 분할 알고리즘보다 관심 객체를 분할하는데 걸리는 시간이 감소하게 된다.
도 10은 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법에 의해 관심 객체를 분할하고 배경 영상을 합성한 목표 영상들이다.
도 10을 참조하면, 도 10의 (a)는 입력 영상 프레임들을 나타낸 것이고, (b)는 본 발명에 따른 객체 분할 방법에 의해 분할된 관심 객체들을 나타낸 것이고, (c)는 새롭게 합성할 배경 영상들을 나타낸 것이고, (d)는 분할된 관심 객체에 배경 영상을 합성한 목표 영상들을 나타낸 것이다. 본 발명에 따른 자동 객체 분할 방법에 의해 자연스러운 목표 영상이 생성되었음을 확인할 수 있다.
도 11은 관심 객체의 움직임이 있는 연속하여 순차적으로 입력된 입력 영상 프레임에 대해 본 발명에 따른 배경 합성을 위한 자동 객체 분할 방법을 적용한 결과를 나타낸 영상들이다.
도 11의 (a)는 연속하여 순차적으로 입력된 입력 영상 프레임을 입력된 특정 순서에 따라 나타낸 것이고, 도 11의 (b)는 특정 순서에 해당하는 (a)의 입력 영상 프레임에서 관심 객체를 분할하고 배경 영상을 합성하여 생성한 목표 영상을 나타낸 것이다.
도 11을 참조하면, 본 발명에 따른 자동 객체 분할 방법에 의해 관심 객체가 움직이는 경우에도 자연스러운 목표 영상이 생성되었음을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
Claims (25)
- 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할부;
상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출부;
상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성부;
상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성부; 및
상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할부;를 포함하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 1항에 있어서,
상기 입력 영상 분할부는 상기 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 사용하여 복수의 분할 영역을 생성하고, 상기 복수의 분할 영역의 상호 인접한 상태에 따라 상기 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 2항에 있어서,
상기 움직임 영역 검출부는 상기 제2 입력 영상 프레임에 대한 광류(optical flow) 정보를 이용하여 상기 움직임 영역을 검출하고, 상기 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 3항에 있어서,
상기 초기 라벨 맵 생성부는 상기 정제된 움직임 영역에 골격화 알고리즘(skeletonization algorithm)을 적용하여 상기 중심 영역을 검출하고 상기 검출된 중심 영역을 상기 관심 객체 영역으로 라벨링(labeling)하며, 상기 정제된 움직임 영역에 모폴로지 연산을 적용하여 상기 경계 영역을 검출하고 상기 검출된 경계 영역을 상기 관심 객체 이외의 영역인 배경 영역으로 라벨링하여 상기 초기 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 4항에 있어서,
상기 초기 라벨 맵 생성부는 상기 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 상기 관심 객체 영역을 나타내는 초기 라벨 값을 할당하고, 상기 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 상기 배경 영역을 나타내는 초기 라벨 값을 할당하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 5항에 있어서,
상기 라벨 맵 생성부는 상기 제2 입력 영상 프레임의 영역 인접 그래프와 상기 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여, 상기 초기 라벨 값을 할당받은 기준 노드 별로 상기 기준 노드에 인접한 복수의 인접 노드를 상기 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 6항에 있어서,
상기 라벨 맵 생성부는 상기 기준 노드에 대한 색상 히스토그램과 상기 검출된 인접 노드 각각에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 기준 노드에 대응되는 유사 노드를 상기 인접 노드 중에서 선택하고, 상기 기준 노드에 할당된 초기 라벨 값을 상기 유사 노드의 라벨 값으로 할당하여 상기 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 2항에 있어서,
상기 객체 분할부는 상기 각각의 입력 영상 프레임에 대응하는 복수의 노드 각각에 대한 색상 히스토그램과 상기 관심 객체 영역 또는 상기 경계 영역에 대응하는 노드에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 1항에 있어서,
상기 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성하는 배경 합성부를 더 포함하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 9항에 있어서,
상기 배경 합성부는 상기 입력 영상 프레임에서 상기 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택하고, 상기 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 상기 참고 영역에 대응하는 영역과 상기 참고 영역 사이의 움직임을 검출하여 이를 반영한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 10항에 있어서,
상기 배경 합성부는 상기 움직임을 반영하여 상기 관심 객체의 좌표를 이동시킨 후 상기 배경 영상과 합성한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 장치. - 제 9항에 있어서,
상기 배경 합성부는 상기 관심 객체와 상기 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용하는 것을 특징으로 하는 자동 객체 분할 장치. - 연속하여 순차적으로 입력된 입력 영상 프레임을 사전에 설정한 방식으로 각각 분할하여 상기 순차적으로 입력된 입력 영상 프레임 각각에 대한 복수의 분할 영역을 생성하는 입력 영상 분할단계;
상기 순차적으로 입력된 입력 영상 프레임 중 최초로 입력된 제1 입력 영상 프레임에 연속하여 입력된 제2 입력 영상 프레임으로부터 분할하고자 하는 관심 객체를 포함하는 영역인 움직임 영역을 검출하는 움직임 영역 검출단계;
상기 움직임 영역을 기초로 상기 관심 객체의 뼈대를 나타내는 중심 영역 및 상기 움직임 영역의 윤곽선을 나타내는 경계 영역을 검출하여 상기 제2 입력 영상 프레임에 대응하는 초기 라벨 맵을 생성하는 초기 라벨 맵 생성단계;
상기 제2 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램(color histogram) 정보를 기초로 상기 초기 라벨 맵을 반복적으로 갱신하여 상기 제2 입력 영상 프레임에 연속하여 순차적으로 입력된 입력 영상 프레임 각각에 대응하는 복수의 라벨 맵을 생성하는 라벨 맵 생성단계; 및
상기 각각의 입력 영상 프레임의 분할 영역 각각에 대한 색상 히스토그램 정보를 기초로 수정한 그래프 컷 알고리즘(graph-cut algorithm)을 사용하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 객체 분할단계;를 포함하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 13항에 있어서,
상기 입력 영상 분할단계에서, 상기 순차적으로 입력된 입력 영상 프레임 각각에 대하여 메디안 필터 기반 워터쉬드 알고리즘(median filter-based watershed algorithm)을 사용하여 복수의 분할 영역을 생성하고, 상기 복수의 분할 영역의 상호 인접한 상태에 따라 상기 각각의 분할 영역에 대응하는 복수의 노드를 트리(tree) 구조로 연결한 영역 인접 그래프(Region Adjacency Graph : RAG)를 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 14항에 있어서,
상기 움직임 영역 검출단계에서, 상기 제2 입력 영상 프레임에 대한 광류(optical flow) 정보를 이용하여 상기 움직임 영역을 검출하고, 상기 움직임 영역에 모폴로지 연산(morphological operation)을 적용하여 움직임 영역을 정제(refine)한 정제된 움직임 영역을 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 15항에 있어서,
상기 초기 라벨 맵 생성단계에서, 상기 정제된 움직임 영역에 골격화 알고리즘(skeletonization algorithm)을 적용하여 상기 중심 영역을 검출하고 상기 검출된 중심 영역을 상기 관심 객체 영역으로 라벨링(labeling)하며, 상기 정제된 움직임 영역에 모폴로지 연산을 적용하여 상기 경계 영역을 검출하고 상기 검출된 경계 영역을 상기 관심 객체 이외의 영역인 배경 영역으로 라벨링하여 상기 초기 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 16항에 있어서,
상기 초기 라벨 맵 생성단계에서, 상기 검출된 중심 영역을 포함하는 분할 영역에 대응하는 노드에 상기 관심 객체 영역을 나타내는 초기 라벨 값을 할당하고, 상기 검출된 경계 영역을 포함하는 분할 영역에 대응하는 노드에 상기 배경 영역을 나타내는 초기 라벨 값을 할당하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 17항에 있어서,
상기 라벨 맵 생성단계에서, 상기 제2 입력 영상 프레임의 영역 인접 그래프와 상기 제2 입력 영상 프레임에 연속하여 입력된 제3 입력 영상 프레임의 영역 인접 그래프를 비교하여, 상기 초기 라벨 값을 할당받은 기준 노드 별로 상기 기준 노드에 인접한 복수의 인접 노드를 상기 제3 입력 영상 프레임의 영역 인접 그래프에 포함된 노드 중에서 검출하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 18항에 있어서,
상기 라벨 맵 생성단계에서, 상기 기준 노드에 대한 색상 히스토그램과 상기 검출된 인접 노드 각각에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 기준 노드에 대응되는 유사 노드를 상기 인접 노드 중에서 선택하고, 상기 기준 노드에 할당된 초기 라벨 값을 상기 유사 노드의 라벨 값으로 할당하여 상기 제3 입력 영상 프레임에 대응하는 라벨 맵을 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 14항에 있어서,
상기 객체 분할단계에서, 상기 각각의 입력 영상 프레임에 대응하는 복수의 노드 각각에 대한 색상 히스토그램과 상기 관심 객체 영역 또는 상기 경계 영역에 대응하는 노드에 대한 색상 히스토그램이 유사한 정도를 비교하여 상기 각각의 입력 영상 프레임으로부터 상기 관심 객체를 분할하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 13항에 있어서,
상기 분할된 관심 객체를 사전에 입력된 배경 영상과 합성한 목표 영상을 생성하는 배경 합성단계를 더 포함하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 21항에 있어서,
상기 배경 합성단계에서, 상기 입력 영상 프레임에서 상기 관심 객체 이외의 영역인 배경 영역으로부터 복수의 참고 영역을 선택하고, 상기 입력 영상 프레임에 연속하여 입력된 입력 영상 프레임에서 상기 참고 영역에 대응하는 영역과 상기 참고 영역 사이의 움직임을 검출하여 이를 반영한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 22항에 있어서,
상기 배경 합성단계에서, 상기 움직임을 반영하여 상기 관심 객체의 좌표를 이동시킨 후 상기 배경 영상과 합성한 상기 목표 영상을 생성하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 21항에 있어서,
상기 배경 합성단계에서, 상기 관심 객체와 상기 배경 영상 사이의 경계에 코헤런트 매팅 알고리즘(coherent matting algorithm)을 적용하는 것을 특징으로 하는 자동 객체 분할 방법. - 제 13항 내지 제 24항 중 어느 한 항에 기재된 자동 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20110143312 | 2011-12-27 | ||
KR1020110143312 | 2011-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130075636A true KR20130075636A (ko) | 2013-07-05 |
KR101316848B1 KR101316848B1 (ko) | 2013-10-10 |
Family
ID=48989483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120081911A KR101316848B1 (ko) | 2011-12-27 | 2012-07-26 | 배경 합성을 위한 자동 객체 분할 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101316848B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131729A1 (ko) * | 2017-01-11 | 2018-07-19 | 전자부품연구원 | 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템 |
KR20210049648A (ko) * | 2019-10-25 | 2021-05-06 | 주식회사 아이오로라 | 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법 |
CN117221504A (zh) * | 2023-11-07 | 2023-12-12 | 北京医百科技有限公司 | 一种视频抠像方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832539A (zh) * | 2020-07-28 | 2020-10-27 | 北京小米松果电子有限公司 | 视频处理方法及装置、存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101173559B1 (ko) * | 2009-02-10 | 2012-08-13 | 한국전자통신연구원 | 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법 |
-
2012
- 2012-07-26 KR KR1020120081911A patent/KR101316848B1/ko active IP Right Grant
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131729A1 (ko) * | 2017-01-11 | 2018-07-19 | 전자부품연구원 | 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템 |
KR20180082739A (ko) * | 2017-01-11 | 2018-07-19 | 전자부품연구원 | 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템 |
KR20210049648A (ko) * | 2019-10-25 | 2021-05-06 | 주식회사 아이오로라 | 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법 |
CN117221504A (zh) * | 2023-11-07 | 2023-12-12 | 北京医百科技有限公司 | 一种视频抠像方法及装置 |
CN117221504B (zh) * | 2023-11-07 | 2024-01-23 | 北京医百科技有限公司 | 一种视频抠像方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR101316848B1 (ko) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100514367C (zh) | 基于彩色分割的立体3d重构系统和方法 | |
JP4777433B2 (ja) | ビデオ前景の分割方法 | |
JP4954206B2 (ja) | ビデオオブジェクトのカットアンドペースト | |
Radke | Computer vision for visual effects | |
US9042662B2 (en) | Method and system for segmenting an image | |
Butler et al. | Real-time adaptive foreground/background segmentation | |
KR101401184B1 (ko) | 동영상의 객체 경계 추정 방법 | |
US11030495B2 (en) | Systems and methods for instance segmentation | |
JP2004519966A (ja) | 多重解像度ビデオオブジェクトのセグメント化方法 | |
JP2005513656A (ja) | 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法 | |
KR20140063440A (ko) | 수퍼픽셀 라이프 사이클 관리 방법 | |
EP2980754A1 (en) | Method and apparatus for generating temporally consistent superpixels | |
CN111886600A (zh) | 一种用于图像的实例级别分割的设备和方法 | |
KR101316848B1 (ko) | 배경 합성을 위한 자동 객체 분할 장치 및 방법 | |
EP2958077B1 (en) | Method and apparatus for generating temporally consistent superpixels | |
EP3053137B1 (en) | Method and apparatus for generating superpixel clusters | |
US7840068B2 (en) | System and method for video processing by image segmentation | |
JP2002525988A (ja) | 意味的映像オブジェクト分割のためのシステムおよび方法 | |
KR20130001635A (ko) | 깊이 맵 생성 방법 및 장치 | |
JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
KR101108491B1 (ko) | 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법 | |
JP4177689B2 (ja) | 映像特徴情報生成装置 | |
Chen et al. | Improving Graph Cuts algorithm to transform sequence of stereo image to depth map | |
Cinque et al. | Real-time foreground segmentation with Kinect sensor | |
US20230169708A1 (en) | Image and video matting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20181122 Year of fee payment: 6 |