KR20130102895A - 동영상에서의 전경 레이어 추출 장치 및 방법 - Google Patents

동영상에서의 전경 레이어 추출 장치 및 방법 Download PDF

Info

Publication number
KR20130102895A
KR20130102895A KR1020120024077A KR20120024077A KR20130102895A KR 20130102895 A KR20130102895 A KR 20130102895A KR 1020120024077 A KR1020120024077 A KR 1020120024077A KR 20120024077 A KR20120024077 A KR 20120024077A KR 20130102895 A KR20130102895 A KR 20130102895A
Authority
KR
South Korea
Prior art keywords
layer
tracking
region
unit
control point
Prior art date
Application number
KR1020120024077A
Other languages
English (en)
Inventor
유정재
장호욱
남승우
장경호
김해동
김혜선
반윤지
김명하
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120024077A priority Critical patent/KR20130102895A/ko
Priority to US13/791,791 priority patent/US8873855B2/en
Publication of KR20130102895A publication Critical patent/KR20130102895A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력된 동영상에서 깊이 값이 배경과 불연속적인 전경 객체 레이어 영역을 추출하는 동영상에서의 전경 레이어 추출 장치 및 방법에 관한 것이다. 이를 위하여 동영상에서의 전경 레이어 추출 장치에 있어서, 카메라에 의해 촬영된 원본 동영상을 수신하는 동영상 수신부; 입력 장치를 통해 입력된 선택 정보에 의해 프레임별 영상 데이터에서의 레이어 영역의 윤곽을 따라 복수의 컨트롤 포인트들을 지정하는 초기 영역 지정부; 상기 지정된 컨트롤 포인트들 연결하여 전경 레이어 영역을 생성하고, 상기 생성된 전경 레이어를 각 프레임에 대해 추적하는 레이어 영역 추적부; 및 상기 레이어 영역이 추적된 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하고, 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하는 알파맵 생성부;를 포함한다. 본 발명을 활용하여 전경과 배경간의 깊이 값이 불연속적인 동영상에서 시작 프레임에서의 사용자 설정을 통해 이후 프레임에서는 자동으로 레이어 영역을 추적함으로써 밀림현상(Drift)과 떨림현상(Flickering)이 적은 전경 레이어 영역 추출 결과를 얻을 수 있는 장점이 있다.

Description

동영상에서의 전경 레이어 추출 장치 및 방법{APPARATUS AND METHOD OF A FOREGROUND LAYER EXTRACTION IN THE IMAGE SEQUENCE}
본 발명은 동영상에서의 전경 레이어 추출 장치 및 방법에 관한 것으로서, 상세하게는 입력된 동영상에서 깊이 값이 배경과 불연속적인 전경 객체 레이어 영역을 추출하는 동영상에서의 전경 레이어 추출 장치 및 방법에 관한 것이다.
입력된 실사 동영상에서 특정 전경 영역(foreground), 즉, 사람이나 움직이는 객체 영역을 추출하는 작업은 컴퓨터 그래픽(CG)과 실사 합성 작업, 2D 동영상을 3D 입체 동영상으로 변환하는 2D 대 3D 변환 작업, 스테레오 입체영상에서의 객체 별 입체감 조절 등의 다양한 목적을 위하여 이용될 수 있다.
종래의 동영상에서 객체의 영역 또는 윤곽선을 추출하는 방법으로 'Active Contour', 'Gradient Vector Flow', 'Graph-cut 기반 영상 분할 방식' 등이 연구되었지만 이들 모두 객체의 경계선 영역에서의 휘도 기울기(Gradient) 또는 색상 분포에 의존하기 때문에 떨림 현상(Flickering) 문제가 발생하고, 전경과 배경간의 색상이 유사할 경우 경계선 부근에서의 밀림현상(Drift)이 심각하게 발생한다.
또한, 전경과 배경의 깊이 값이 불연속적인 경우 촬영 카메라가 이동하거나 전경 객체가 동적으로 움직이면 경계선 외곽의 배경 색상정보가 변화하므로 프레임간 추적이 진행되면서 분할 영역의 경계선 침범현상이 발생한다.
한편, 영상 콘텐츠 제작 업계에서 활용되는 'After Effect', 'Mocha' 등의 상용 툴에서도 레이어 자동 추출 기능을 제공하지만 그 결과는 극장용 콘텐츠를 제작하는 업체에서 활용할 수 있는 수준의 품질을 갖지 못하기에 관련 업체들은 여전히 작업자의 수작업에 의존하고 있는 상황이다.
따라서, 떨림현상 또는 밀림현상 등을 억제하면서 효과적으로 전경 레이어를 추출할 수 있는 방법의 필요성이 요구되고 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은, 사용자의 초기 설정을 통해 전경과 배경간의 깊이 값이 불연속적인 입력 동영상으로부터 전경 레이어 윤곽선에서의 밀림현상(Drift)과 떨림현상(Flickering)이 적은 전경 레이어 영역을 효과적으로 추출할 수 있는 동영상에서의 전경 레이어 추출 장치 및 방법을 제공하는 것이다.
이를 위하여, 본 발명의 제1 측면에 따르면, 본 발명에 따른 동영상에서의 전경 레이어 추출 장치는, 카메라에 의해 촬영된 원본 동영상을 수신하는 동영상 수신부; 입력 장치를 통해 입력된 선택 정보에 의해 프레임별 영상 데이터에서의 레이어 영역의 윤곽을 따라 복수의 컨트롤 포인트들을 지정하는 초기 영역 지정부; 상기 지정된 컨트롤 포인트들 연결하여 전경 레이어 영역을 생성하고, 상기 생성된 전경 레이어를 각 프레임에 대해 추적하는 레이어 영역 추적부; 및 상기 레이어 영역이 추적된 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하고, 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하는 알파맵 생성부;를 포함한다.
본 발명의 제2 측면에 따르면, 본 발명에 따른 동영상에서의 전경 레이어 추출 방법은, 동영상 수신부에서 카메라에 의해 촬영된 원본 동영상을 수신하는 단계; 초기 영역 지정부에서 입력 장치를 통해 입력된 선택 정보에 의해 프레임별 영상 데이터에서의 레이어 영역의 윤곽을 따라 복수의 컨트롤 포인트들을 지정하는 단계; 레이어 영역 추적부에서 상기 지정된 컨트롤 포인트들 연결하여 전경 레이어 영역을 생성하는 단계; 상기 레이어 영역 추적부에서 상기 생성된 전경 레이어를 각 프레임에 대해 추적하는 단계; 알파맵 생성부에서 상기 레이어 영역이 추적된 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하는 단계; 및 상기 알파맵 생성부에서 상기 연결된 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하는 단계;를 포함한다.
상기와 같은 본 발명에 따른 동영상에서의 레이어 추출 방법 및 이를 위한 장치를 이용할 경우, 전경과 배경간의 깊이 값이 불연속적인 동영상에서 시작 프레임에서의 사용자 설정을 통해 이후 프레임에서는 자동으로 레이어 영역을 추적함으로써 밀림현상(Drift)과 떨림현상(Flickering)이 적은 전경 레이어 영역 추출 결과를 얻을 수 있는 장점이 있다.
이에 따라, CG(Computer Graphics) 실사 합성, 2D 대 3D 입체변환, 스테레오 입체영상 보정에 필요한 레이어 분할 작업에서의 자동화율을 높여 제작비용과 작업시간을 현저히 줄일 수 있다는 이점이 있다.
도 1은 본 발명의 실시예에 따른 동영상에서의 전경 레이어 추출 장치를 나타내는 블록도.
도 2는 본 발명의 실시예에 따른 컨트롤 포인트 지정 및 초기 레이어 영역 생성을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 알파맵과 레이어 영역 추출 결과를 나타내는 도면.
도 4는 본 발명의 실시예에 따른 레이어 영역 추적부의 세부 구성을 나타내는 블록도.
도 5는 본 발명의 실시예에 따른 윤곽선 침범의 밀림 현상을 해결하는 방법을 나타내는 도면.
도 6은 본 발명의 실시예에 따른 컬러 마스크 탬플릿을 나타내는 도면.
도 7은 본 발명의 실시예에 따른 에지 영상과 에지 마스크 영상을 나타내는 도면.
도 8은 레이어 윤곽선을 따라 발생하는 밀림 현상의 예를 나타내는 도면.
도 9는 본 발명의 실시예에 따른 동영상에서의 전경 레이어 추출 절차를 나타내는 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 동영상에서의 전경 레이어 추출 장치를 나타내는 도면이다. 즉, 도 1은 본 발명의 일 실시예에 따라 시퀀스 영상에서의 레이어 추출 장치를 나타낸다.
도 1을 참조하면, 본 발명의 실시예에 따른 동영상에서의 레이어 추출 장치는 동영상 수신부(110), 초기 영역 지정부(120), 레이어 영역 추적부(130), 후처리부(140) 및 알파맵 생성부(150) 등을 포함하여 구성될 수 있다.
한편, 본 발명의 레이어 추출 과정에서 정의하는 레이어(layer) 영역은 도 2, 도 3에서 분리한 전방의 사람 영역처럼 입력영상에서 깊이 값이 배경과 불연속적이면서 CG 실사 합성, 입체변환 등의 목적으로 영상의 배경 영역과 분할해야 할 필요가 있는 객체 영역을 의미한다. 이때 레이어는 반드시 독립적인 단일 객체이어야 할 필요는 없으며 필요에 따라 주관적인 기준에 의해 레이어 영역을 구분할 수 있다. 예를 들어 한 명의 움직이는 사람 영역을 추출할 때 전신을 하나의 레이어로 취급할 수도 있지만 팔, 다리, 몸, 머리와 같은 신체 부위를 각각 분리된 레이어로 간주하고 독립적으로 추출한 뒤 최종 알파맵 생성부(150)에서 각각의 레이어들을 합쳐서 최종적인 전신을 포함하는 레이어를 얻을 수 있다.
한편, 본 발명의 실시예에 따라 제안하는 레이어 추출 방식은 후술하는 도 4의 평면 추적 처리부(410)를 포함하므로 가급적 추출하고자 하는 객체가 평면에 근사할 수 있을 정도로 객체를 분할하는 것이 바람직하다. 즉, 객체를 분할하여 각각을 독립된 레이어로 취급하고 추출 과정을 거친 뒤 상기 알파맵 생성부(150)에서 결과를 융합함으로써 독립된 객체의 최종적인 레이어를 얻을 수 있다. 이렇게 함으로써 결과물의 정확성을 향상시킬 수 있다.
먼저, 동영상 수신부(110)는 카메라에 의해 촬영된 원본 동영상을 입력받고 설정된 포맷에 따라 복호화하여 이후 단계에서 입력으로 사용할 프레임별 영상 데이터를 획득한다. 이때, 상기 원본 동영상이라 함은 영상에 별도의 시각적 효과를 통하여 가공되거나 변형되지 않은 동영상을 말하며, Mpeg, AVI, MOV 등과 같은 일반적인 동영상 파일 포맷을 모두 포함할 수 있고, 이 외에 기타 특정 장치에서 사용되는 동영상을 포함할 수도 있다.
일단 원본 동영상이 입력되면 동영상 수신부(110)에서는 동영상의 파일 포맷을 분석하고 그에 적합한 비디오/오디오 코덱을 결정한다. 비디오 코덱에는 H.264, x264, HDX4 등이 될 수 있으며, 오디오 코덱에는 mp3, wma, flac 등이 될 수 있다. 이들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 통상적으로 사용되고 있는 코덱이라는 것을 알 수 있을 것이다.
이때, 상기에서 분석된 파일 포맷에 따라 원본 동영상을 복호화한다. 통상적으로 복호화라 함은 파일 포맷에 따라 특정 방법으로 압축되어 있는 각 프레임의 비디오 데이터와 오디오 데이터를 압축 해제하여 추출하는 것이라 할 수 있다. 추출된 비디오 데이터는 프레임별 영상으로 메모리에 저장되어 이후 단계에서 입력으로 활용된다.
이때, 사용자는 마우스 또는 유사한 입력 장치를 이용하여 추적을 시작하는 시작 프레임에서 도 2(a)에서와 같이 추출하고자 하는 레이어 영역의 윤곽선을 따라 컨트롤 포인트들을 지정하여 초기 영역을 지정한다. 상기 지정된 초기 영역 관련 데이터는 초기 영역 지정부(120)를 통해 설정되어 저장된다.
한편, 도 2에 도시된 바와 같이 단일 객체 전체를 하나의 레이어로 취급할 수도 있지만, 앞서 설명한 바와 같이 필요에 따라서는 머리, 몸, 팔 등의 국부적인 부위들을 별도의 레이어로 정의하여 이후 과정에서 별도의 레이어에 대해 추적을 수행할 수도 있다.
그런 다음, 레이어 영역 추적부(130)에서는 필요에 따라 특정 구간을 순방향 또는 역방향으로 추적을 수행할 수 있다. 이때, 초기 영역 지정부(120)에서의 시작 프레임은 반드시 시간축상에서의 첫 프레임일 필요는 없다. 시작프레임은 추출하고자 하는 전경 레이어 영역이 가장 많이 포함된 프레임을 선택하는 것이 바람직하며, 경우에 따라서는 시작 프레임을 동일 컷 안에서 특정 중간 프레임으로 선택하고 이전, 이후 구간을 별도로 역방향, 순방향 추적해야 하는 경우도 발생할 수 있다.
사용자가 입력하는 컨트롤 포인트들은 도 2(a)에서와 같이 입력 영상 영역 내부 또는 외부에 위치할 수 있으며 컨트롤 포인트들을 모두 지정한 후 이들을 'Bezier', 'Catmull Rom' 등의 곡선 생성방법에 의해 연결하여 도 2(b)과 같은 시작 프레임에서의 전경 레이어 영역을 생성한다.
도 3은 상기 과정을 거쳐 생성된 시작프레임에서의 현재 레이어의 알파맵과 전경 레이어 추출 결과를 도시한 도면이다. 이때, 알파맵이란 도 3(a)에 도시된 바와 같이 전경 레이어 영역의 픽셀들을 255, 배경 영역의 픽셀들을 0의 값으로 매핑하여 레이어 영역을 표현하는 흑백 영상을 지칭하며, 이러한 알파맵에 의하여 레이어 영역만을 추출하고 배경영역을 청색으로 매핑한 예가 도 3(b)이다.
도 4는 본 발명의 실시예에 따른 레이어 영역 추적부의 세부 구성을 나타내는 블록도이다. 도 4를 참조하면, 상기 레이어 영역 추적부(130)는 평면 추적 처리부(410)와 미세 조정부(420)로 구성될 수 있다. 또한, 상기 평면 추적 처리부(410)는 평면 추적 영역 정의부(411), LKT 기반 평면움직임 계산부(412) 및 LM 기반 최적화부(413) 등을 포함하여 구성될 수 있으며, 상기 미세 조정부(420)는 탬플릿 세트 갱신부(421), 컬러 블록 매칭부(422), 컬러 및 에지 블록 가중치 계산부(423) 및 에지 블록 매칭 및 최종 매칭 결과 계산부(424) 등을 포함하여 구성될 수 있다.
우선 각 프레임에 대해서 평면 추적 처리부(410)에서는 추적하려는 레이어 영역을 평면으로 가정하고 2D 투영변환(Projective transform) 관계를 나타내는 3*3 호모그래피 행렬(Homography matrix)를 계산한다. 평면 추적 처리부(410)의 첫번째 처리부인 평면 추적 영역 정의부(411)에서는 초기 영역 지정부(120)에서 지정한 레이어 영역 또는 이전 프레임에서의 연산결과로 얻은 레이어 영역에 모폴로지(Morphology) 팽창연산(Dilatation)을 적용하여 레이어 영역과 배경간의 경계부분을 포함하도록 수 픽셀 범위를 확장시킨 영역을 생성하여 평면 추적 영역으로 정의한다.
두번째 처리부인 LKT기반 평면 움직임 계산부(412)에서는 앞서 정의된 추적 영역 안에서 Loucas Kanade Tracking(LKT) 방식으로 전후 프레임간 검출된 특징점들의 대응관계를 찾는다. 이렇게 얻어진 특징점 대응관계로부터 Least-Median방식에 기반한 최적화 과정을 거쳐 특징점간의 대응관계를 설명하는 최적의 3*3 호모그래피 행렬(Homography matrix)을 계산한다. 이때 계산된 호모그래피 행렬은 LKT 검출된 특징점들에 대해서만 최적화 되었으므로 추적 영역 내부의 모든 픽셀에 대해서 최적의 관계를 내포하지는 않는다. 또한 LKT 특징점들이 추적 영역안에 고르게 분포하지 않고 특정 부위에 집중되어 비대칭적으로 분포한다면 구해진 호모그래피 행렬은 추적영역 전체에 대해서는 상당히 높은 오차를 유발하기도 한다.
평면 추적 처리부(410)의 세 번째 처리부인 LM 기반 최적화부(413)에서는 이전 처리 블록(즉, LK기반 평면움직임 계산부(412))에서 획득한 호모그래피 행렬을 추적 영역 안의 모든 픽셀의 컬러정보에 대해서 적합하도록 최적화하는 과정을 수행하고 레이어의 윤곽선을 구성하는 각각의 컨트롤 포인트에 대해서 이전 프레임에서의 좌표에 호모그래피 행렬을 적용하여 현재 프레임에서의 컨트롤 포인트 좌표를 계산한다.
보다 구체적으로 설명하면, 추적 영역 안의 모든 픽셀 또는 일정 간격으로 샘플링된 픽셀들에 대해서 R, G, B 영상 평면에서 자코비언 행렬 (Jacobian matrix)을 계산하고 LM(Levenberg-Marquardt) 알고리즘에 의해 호모그래피 행렬에 의해 설명되는 전, 후 영상간의 오차가 최소가 되도록 호모그래피 행렬의 원소값들을 조정한다. 그리고 이렇게 계산된 호모그래피 행렬 HLM에 따라 현재 프레임에서의 각각의 컨트롤 포인트의 좌표를 계산한다. 하기 <수학식 1>에서 Xi ,t-1은 이전 프레임에서 i번째 컨트롤 포인트의 동종 좌표계(Homogeneous Coordinate) 좌표이며 Xi,t,LM은 현재 프레임 HLM을 적용하여 계산된 i번째 컨트롤 포인트의 동종 좌표계 좌표이다.
Figure pat00001
도 4의 미세 조정부(420)는 각각의 컨트롤 포인트에 대해서 R, G, B 영상 및 에지(Edge) 영상에서의 블록 매칭을 통해서 현재 프레임에서의 더욱 정교한 좌표를 찾는다.
도 4의 미세 조정부(420)의 첫 번째 처리부인 템플릿 세트 갱신부(421)는 모든 프레임에서 각각의 컨트롤 포인트 별로 컬러, 에지 블록 매칭 시 사용할 템플릿(Template) 세트를 갱신한다. 여기서 블록이라 함은 영상 특정 좌표를 중심으로 M*N 픽셀 크기로 추출한 작은 영상을 의미한다. 템플릿이라 함은 컨트롤 포인트의 정확한 위치 탐색을 위해서 기준으로 사용할 블록을 의미하며, 템플릿 세트라 함은 R, G, B 영상과 에지 영상, 컬러 마스크 영상, 에지 마스크 영상에서의 템플릿 6종을 의미한다. 템플릿은 직전 프레임의 동일 컨트롤 포인트 좌표에서의 해당 블록을 추출하여 사용하는 것이 일반적이지만 추적이 진행되면서 조금씩 밀려나가는 밀림현상(Drift)을 줄이기 위해 과거 프레임들로부터 누적된 복수개의 템플릿 세트를 사용한다.
도 4의 미세 조정부(420)는 각각의 컨트롤 포인트에 대해서 템플릿 세트 갱신부(421), 컬러 블록 매칭부(422), 컬러 및 에지 블록 가중치 계산부(423), 에지 블록 매칭 및 최종매칭 결과 계산부(424)를 반복하여 수행하므로 이하 설명에서는 편의상 i번째 컨트롤 포인트에 대해서 작업을 수행하는 방식으로 설명한다.
템플릿 세트 갱신부(421)에서는 직전 프레임으로부터 i번째 컨트롤 포인트의 템플릿 세트를 저장하며 i번째 컨트롤 포인트의 템플릿 세트가 미리 정의된 TN개를 초과하면 오래된 템플릿 세트부터 순차적으로 제거한다. 저장 방법은 우선 직전 프레임의 컬러 영상을 R, G, B 영상으로 분리하여 R, G, B 영상 템플릿을 저장한다. 그런데 초기 영역 지정부(120)에서 지정한 컨트롤 포인트들은 레이어의 윤곽선상에 존재하므로 R, G, B 영상 템플릿에는 레이어 내부 색상 정보뿐 아니라 배경 영역의 색상정보 역시 함께 포함된다.
한편, 본 발명에서 추출하고자 하는 레이어는 뒷배경과 깊이 값이 불연속적이라는 특성을 갖고 있으므로 촬영 카메라가 이동하거나 레이어의 객체가 동적으로 움직일 경우 템플릿 블록 안에 포함되어 있는 배경 영역 픽셀들이 객체의 윤곽선을 침범하는 밀림현상을 유발할 가능성이 있다.
도 5(a)는 이러한 밀림현상(drift)의 발생 예를 보여준다. 도 5(a)를 참조하면 레이어 객체인 사람이 걸어가면서 11번, 12번 컨트롤 포인트들이 레이어를 따라가지 않고 배경영역의 나무 모서리점으로 밀려나간 것을 확인할 수 있다. 이러한 문제를 해결하기 위하여 본 발명에서는 컬러 마스크 템플릿과 에지 마스크 템플릿을 활용한다. 컬러 마스크 템플릿은 도 3(a)와 같이 이전 프레임에서 획득한 레이어의 알파맵을 모폴로지 확장연산을 통하여 수 픽셀 확장시키고 다시 가우시안 블러링을 적용한 영상으로부터 i번째 컨트롤 포인트 주변의 M*N픽셀 블록을 추출하여 획득한다.
도 6은 예제 영상의 12번째 컨트롤 포인트의 컬러 마스크 템플릿 추출 예를 보여준다. 또한 추적이 진행되다 보면 컨트롤 포인트 주변에서 레이어 내부, 외부 영역의 색상정보를 모두 신뢰할 수 없는 경우도 발생한다. 카메라가 대상 객체를 향한 상태에서 주변을 돌면서 촬영한 영상이 대표적인 경우이다. 이 경우 객체의 경계선에서의 에지 정보를 활용하면 밀림현상이 감소하며 이를 위해 에지 템플릿, 에지 마스크 템플릿을 저장한다.
도 7(a)는 입력인 이전 프레임 컬러 영상이며 도 7(b)은 컬러 영상을 흑백영상으로 변환한 뒤 소벨 연산자를 적용하여 획득한 에지 영상이다. 또한, 도 7(c)는 이전 프레임에서 획득한 레이어 경계선 영역을 확장시켜 획득한 에지 마스크 영상이며, 도 7(d)는 에지 영상과 에지 마스크 영상을 곱하여 획득한 경계선 에지 영상이다. 에지 템플릿은 도 7(d)의 경계선 에지 영상으로부터 i번째 컨트롤 포인트 좌표 주변의 M*N픽셀 블록을 추출하여 저장한다. 에지 마스크 템플릿은 도 7(c)의 에지 마스크 영상으로부터 i번째 컨트롤 포인트 좌표 주변의 M*N픽셀 블록을 추출하여 저장한다.
본 발명의 실시 예에서는 에지 영상과 에지 마스크 영상을 획득하기 위해서 소벨 연산자와 모폴로지 연산자를 사용하였지만 유사한 에지, 마스크 결과를 획득할 수만 있다면 다른 방법을 사용하여도 동일한 발명의 효과를 얻을 수 있다.
컬러 블록 매칭부(422)에서는 i번째 컨트롤 포인트에 대해서 R, G, B 영상에서 M*N픽셀 형태의 템플릿(template) 블록과 가장 유사한 현재 프레임의 위치를 탐색한다. 이때 유사도를 평가하는 기준은 하기 <수학식 2>와 같이 SAD(Sum of Absolute Difference)를 사용하며 R, G, B 영상에서 SAD 합으로부터 계산한 유사도를 최대로 하는 좌표를 평면 추적 처리부의 결과로 얻은 Xi ,t, LM 주변의 정해진 범위 안에서 탐색한다.
하기 <수학식 2>에서
Figure pat00002
는 R 영상에서 i번째 컨트롤 포인트를 평면 추적 처리부(410)의 결과로부터 (u, v)만큼 이동하였을 경우 SAD값이다.
Figure pat00003
는 i번째 컨트롤 포인트의 k번째 템플릿 세트에서 R 영상 템플릿이며
Figure pat00004
는 i번째 컨트롤 포인트의 k번째 템플릿 세트에서 컬러 마스크 템플릿을 의미한다.
Figure pat00005
는 i번째 컨트롤 포인트의 현재 템플릿 세트 개수이다.
Figure pat00006
는 현재 프레임 R 영상에서 평면 추적 처리부(410)의 결과로 얻은 i번째 컨트롤 포인트의 좌표
Figure pat00007
로부터 (u, v)만큼 이동하였을 경우 템플릿 세트의 (m, n)에 대응하는 값이다. 상기 <수학식 2>의 과정을 G, B 영상에서도 반복하여 SADG , i (u, v), SADB , i (u, v)를 계산한다.
Figure pat00008
이때 SAD를 최소로 하는 (u, v)만을 찾다 보면 레이어의 윤곽선을 따라 컨트롤 포인트들이 밀리는 드리프트 현상이 발생한다. 도 8은 이러한 현상이 발생하는 예를 보여준다. 도 8(a)에서 상당히 균등한 간격으로 위치하던 컨트롤 포인트들이 상기 <수학식 2>의 SAD 값을 최소화하는 좌표를 따라 15프레임간 추적을 거친 후 도 8(b)와 같이 균등하지 않은 간격으로 몰린 것을 알 수 있다(도 8(b)에서 4, 5, 6 컨트롤 포인트들과 30, 31, 32 컨트롤 포인트들이 경계선 상에서 움직이며 서로 모인 것을 확인할 수 있다).
이러한 현상을 방지하기 위해 각각의 컨트롤 포인트의 블록 매칭 시 인접 컨트롤 포인트와의 거리비율 변화에 따른 불이익 값(Penalty value)을 부여한다. 하기 <수학식 3>에서 di ,i-1, di ,i+1은 평면 추적 처리부(410)에서 계산된 결과에 의해 i번째 컨트롤 포인트와 인접한 i-1, i+1번째 컨트롤 포인트간에 계산되는 거리이다.
Figure pat00009
는 i번째 컨트롤 포인트에 대해서 평면 추적 거리부(410)의 결과로부터 (u, v)만큼 이동한 위치에서 SAD를 계산했을 때 인접한 컨트롤 포인트들과의 거리비율 변화에 따른 불이익으로 적용 받게 되는 계수이다.
Figure pat00010
는 실험적으로 얻어지는 비례상수이며 실시 예에서는 0.3을 사용하였다.
Figure pat00011
상술한 <수학식 2> 및 <수학식 3>의 결과를 이용하여 하기 <수학식 4>에 의해 R, G, B 영상 블록을 고려한 i번째 컨트롤 포인트에 대한 최적의 위치
Figure pat00012
를 계산한다. 하기 <수학식 4>에서
Figure pat00013
는 비례상수이며 실시예에서는 5.0을 사용하였다.
Figure pat00014
실시예에서는 SAD 를 기반으로 블록간의 유사도를 구하였고 <수학식 3>에 따라 거리비율 변화에 따른 불이익 값을 계산하는 예를 보여주었지만 다른 방식으로 유사도를 계산하고 불이익 값을 계산하여도 본 발명에 따른 효과를 얻는 것이 가능하다. 예를 들어, 상기 <수학식 4>에서 SAD에 따른 유사도 대신에 'Cross Correlation' 값을 이용할 수 있으며 상기 <수학식 3>에서의
Figure pat00015
역시 다른 방식으로 인접 컨트롤 포인트와의 거리 비율 ri, ri ,u, v 를 계산하여 구할 수 있다.
컬러 블록 매칭부(422)에서는 본 발명의 실시예에 따라 <수학식 2>의 컬러 마스크 템플릿
Figure pat00016
를 이용하여 전, 배경간의 경계선은 포함하면서 배경 영역 색상 정보의 가중치를 줄여 배경영역의 텍스쳐(Texture)를 따라 밀려나는 밀림현상(드리프트 현상)을 감소시키며, 상술한 <수학식 3>에 의해 인접 컨트롤 포인트들과의 거리 비율의 변화에 따른 불이익 계수
Figure pat00017
를 계산하고 이를 <수학식 4>의 유사도
Figure pat00018
를 계산할 때 활용할 수 있다.
미세 조정부(420) 내의 컬러 블록 매칭부(422)의 다음 처리부인 컬러 및 에지 블록 가중치 계산부(423)에서는 i번째 컨트롤 포인트에 대해서 컬러 영상에서의 유사도와 에지 영상에서의 유사도 간의 가중치 계수를 결정하며, 이 값은 앞서 구한 컬러 영상에서의 최대 유사도
Figure pat00019
에 따라 계산된다. 이때
Figure pat00020
는 컬러 블록 매칭부에서
Figure pat00021
위치에서의 컬러 유사도 값이다.
하기 <수학식 5>에서
Figure pat00022
는 에지 블록 유사도에 대한 가중치이고
Figure pat00023
는 색상 블록 유사도에 대한 가중치이며 이 값들은 이후 단계에서 활용된다.
Figure pat00024
,
Figure pat00025
는 실험적으로 결정되는 한계값(Thresholding Value)이다.
<수학식 5>는
Figure pat00026
,
Figure pat00027
를 계산하는 실시예이며
Figure pat00028
,
Figure pat00029
는
Figure pat00030
에 대하여 일정 범위 안에서
Figure pat00031
는 반비례하고
Figure pat00032
는 비례하는 조건을 충족하는 조건을 만족하는 범위에서 다른 방법을 이용하여 계산하여도 동일한 발명의 효과를 얻을 수 있다.
Figure pat00033
미세 조정부(420)의 마지막 처리부인 에지 블록 매칭 및 최종 매칭 결과 계산부(424)에서는 소벨(Sobel) 에지 연산자를 이용하여 에지 영상을 구하고 i번째 컨트롤 포인트에 대해서 전, 후 프레임 영상에서 블록 매칭을 통하여 가장 유사한 위치를 찾는다. 우선 현재 프레임의 컬러 영상을 흑백 영상으로 변환한 후 소벨 연산자와 같은 에지 연산자를 이용하여 도 7(b)와 같은 에지 영상을 획득한다. i번째 컨트롤 포인트에 대해서 평면 추적 처리부(410)로부터 얻은 결과
Figure pat00034
로부터 (u, v)만큼 이동한 위치에서 하기 <수학식 6>에 따라 에지 유사도를 계산한다.
Figure pat00035
상기 <수학식 6>에서 CC(A,B)는 행렬 A,B간의 상관관계(Cross Correlation) 함수이며 Mul(A,B)는 행렬 A,B간의 원소간의 곱셈 연산을 의미하며
Figure pat00036
는 현재프레임의 에지 영상에서
Figure pat00037
를 중심으로 추출한 M*N 블록이다. 최종적으로 하기 <수학식 7>에 따라 에지 유사도와 컬러 유사도를 융합한 종합 유사도
Figure pat00038
를 계산한다. 하기 <수학식 7>에서
Figure pat00039
는 상술한 <수학식 4>에서 계산한
Figure pat00040
위치에서의 컬러 유사도
Figure pat00041
와 동일한 값이며 에지 유사도와 구분하기 위해 접두어 C를 붙였다. 최종적으로
Figure pat00042
를 최대로 하는
Figure pat00043
를 찾아 i번째 컨트롤 포인트에 대해서 평면 추적 처리부(410)의 결과를 보완할 미세 조정부(420)의 결과로 저장한다.
Figure pat00044
도 1로 되돌아가서, 후처리부(140)에서는 앞서 레이어 영역 추적부(130)의 미세 조정부(420)에서 구한 각각의 컨트롤 포인트에 대한 평면 추적 처리부(410)와의 차이
Figure pat00045
를 시간축 상에서 가우시안 스무딩(Gaussian Smoothing)하여 떨림현상(Flickering)을 감소시킨다.
이 단계에서 본 발명의 실시예에 따라 각각의 컨트롤 포인트 좌표 자체를 스무딩하는 것이 아니라 평면 추적 처리부(410)의 결과로 얻은 컨트롤 포인트 좌표와의 차이만을 스무딩함으로써 레이어를 구성하는 객체의 전체적인 미세한 움직임은 보존하면서 각 컨트롤 포인트들이 개별적으로 갖는 떨림만을 제거할 수 있다.
마지막으로, 도 1의 알파맵 생성부(150)에서는 모든 프레임에서 각각의 컨트롤 포인트 좌표를 앞서 설명한 곡선 생성방식으로 연결하고 내부 영역을 레이어 영역으로 결정하여 도 3(a)와 같은 알파맵을 생성하고 저장한다. 앞서 설명한 바와 같이 레이어 추출 결과의 정확도를 높이기 위해서 초기 영역 지정부(120)에서는 독립된 객체를 부위별로 여러 개의 레이어로 분할하여 지정하고 이후 과정에서 추적을 수행 한 경우, 각각 추적된 결과를 알파맵 생성부(150)에서 OR 연산을 통해 융합할 수 있다. 예를 들어 한 명의 사람 객체를 머리, 팔, 몸, 다리로 분할하여 레이어를 추적하고 알파맵 생성부에서 융합하여 최종적인 사람 객체의 레이어를 획득한다.
도 9는 본 발명의 실시예에 따른 동영상에서의 전경 레이어 추출 절차를 나타내는 흐름도이다. 도 9를 참조하면, 상술한 바와 같이 본 발명의 실시예에 따라 먼저 카메라에 의해 촬영된 원본 동영상을 수신(S901)하면, 프레임별 영상 데이터로부터 사용자의 입력 장치를 통한 조작에 의해 추출하고자 하는 레이어 영역의 윤곽을 따라 컨트롤 포인트들을 지정하여 초기 영역을 지정(S902)한다.
다음으로, 상기 지정된 컨트롤 포인트들을 연결하여 전경 레이어 영역을 생성한다. 이때, 레이어 영역 추적 단계(S903)에서는 각 프레임에 대해 추적하려는 레이어 영역을 평면으로 가정하고 호모그래피 행렬을 계산한다. 그리고, 이와 같이 계산된 호모그래피 행렬에 따라 현재 프레임에서의 각각의 컨트롤 포인트의 좌표를 계산한다. 그런 다음, 상술한 바와 같이 미세 조정부를 통해 각각의 컨트롤 포인트에 대해 블록 매칭을 통해 현재 프레임에서의 더욱 정교한 좌표를 찾는다.
다음으로, 후처리부를 통해 후처리(S904)함으로써 이전 레이어 영역 추적 단계의 미세 조정 단계에서 구한 각각의 컨트롤 포인트에 대한 평면 추적 처리부와의 차이를 시간축 상에서 가우시안 스무딩함으로써 떨림 현상을 감소시킨다.
마지막으로, 알파맵 성성부를 통해 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하고, 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하고 저장한다.
본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
410: 평면 추적 처리부 411: 평면 추적 영역 정의부
412: LKT 기반 평면 움직임 계산부 413: LM 기반 최적화부
420: 미세 조정부 421: 템플릿 세트 갱신부
422: 컬러 블록 매칭부
423: 컬러 및 에지 블록 가중치 계산부
424: 에지 블록 매칭 및 최종 결과 계산부

Claims (12)

  1. 동영상에서의 전경 레이어 추출 장치에 있어서,
    카메라에 의해 촬영된 원본 동영상을 수신하는 동영상 수신부;
    입력 장치를 통해 입력된 선택 정보에 의해 프레임별 영상 데이터에서의 레이어 영역의 윤곽을 따라 복수의 컨트롤 포인트들을 지정하는 초기 영역 지정부;
    상기 지정된 컨트롤 포인트들 연결하여 전경 레이어 영역을 생성하고, 상기 생성된 전경 레이어를 각 프레임에 대해 추적하는 레이어 영역 추적부; 및
    상기 레이어 영역이 추적된 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하고, 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하는 알파맵 생성부;를 포함하는 동영상에서의 전경 레이어 추출 장치.
  2. 제1항에 있어서, 상기 장치는,
    상기 레이어 영역 추적부로부터 산출된 각각의 컨트롤 포인트에 대한 평면 추적 처리부와의 차이를 시간축 상에서 가우시안 스무딩하는 후처리부;를 더 포함하는 동영상에서의 전경 레이어 추출 장치.
  3. 제1항에 있어서, 상기 레이어 영역 추적부는,
    추적하려는 레이어 영역을 평면으로 가정하고 2D 투영변환 관계를 나타내는 호모그래피 행렬을 계산하는 평면 추적 처리부;를 포함하는 동영상에서의 전경 레이어 추출 장치.
  4. 제3항에 있어서, 상기 평면 추적 처리부는,
    상기 초기 영역 지정부에서 지정한 레이어 영역에 모폴로지 팽창연산을 적용하여 레이어 영역과 배경 간의 경계부분을 포함하도록 수 픽셀 범위를 확장시킨 영역을 생성하여 평면 추적 영역으로 처리하는 평면 추적 영역 정의부;
    상기 추적 영역 내에서 전후 프레임간 검출된 특징점들의 대응관계를 최적화하여 호모그래피 행렬을 계산하는 LKT 기반 평면 움직임 계산부; 및
    상기 LK 기반 평면 움직임 계산부에서 획득한 호모그래피 행렬을 추적 영역 안의 모든 픽셀의 컬러 정보에 대해 최적화하고, 각 컨트롤 포인트에 대해 상기 호모그래피 행렬을 적용하여 현재 프레임에서의 컨트롤 좌표를 계산하는 LM 기반 최적화부;를 포함하는 동영상에서의 전경 레이어 추출 장치.
  5. 제1항에 있어서, 상기 레이어 영역 추적부는,
    상기 각 컨트롤 포인트에 대해 블록 매칭을 통해 현재 프레임에서의 더욱 정교한 좌표를 산출하는 미세 조정부;를 포함하는 동영상에서의 전경 레이어 추출 장치.
  6. 제5항에 있어서, 상기 미세 조정부는,
    직전 프레임으로부터 해당 컨트롤 포인트의 템플릿 세트를 저장하며, 해당 컨트롤 포인트의 템플릿 세트가 미리 설정된 개수를 초과하면 오래된 템플릿 세트부터 순차적으로 제고하는 템플렛 세트 갱신부;
    상기 해당 컨트롤 포인트에 대해 상기 템플릿의 블록과 가장 유사한 현재 프레임의 위치를 탐색하는 컬러 블록 매칭부;
    상기 해당 컨트롤 포인트에 대해 컬러 영상에서의 유사도와 에지 영상에서의 유사도 간의 가중치 계수를 결정하는 컬러 및 에지 블록 가중치 계산부; 및
    소벨 에지 연산자를 이용하여 에지 영상을 산출하고, 상기 해당 컨트롤 포인트에 대해 전 후 프레임 영상에서의 블록 매칭을 통해 가장 유사한 위치를 검색하는 에지 블록 매칭 및 최종 매칭 결과 계산부;를 포함하는 동영상에서의 전경 레이어 추출 장치.
  7. 동영상에서의 전경 레이어 추출 방법에 있어서,
    동영상 수신부에서 카메라에 의해 촬영된 원본 동영상을 수신하는 단계;
    초기 영역 지정부에서 입력 장치를 통해 입력된 선택 정보에 의해 프레임별 영상 데이터에서의 레이어 영역의 윤곽을 따라 복수의 컨트롤 포인트들을 지정하는 단계;
    레이어 영역 추적부에서 상기 지정된 컨트롤 포인트들 연결하여 전경 레이어 영역을 생성하는 단계;
    상기 레이어 영역 추적부에서 상기 생성된 전경 레이어를 각 프레임에 대해 추적하는 단계;
    알파맵 생성부에서 상기 레이어 영역이 추적된 모든 프레임에서 각각의 컨트롤 포인트 좌표를 곡선 생성방식으로 연결하는 단계; 및
    상기 알파맵 생성부에서 상기 연결된 내부 영역을 레이어 영역으로 결정함으로써 알파맵을 생성하는 단계;를 포함하는 동영상에서의 전경 레이어 추출 방법.
  8. 제7항에 있어서, 상기 레이어 영역을 추적하는 단계 이후에,
    후처리부를 통해 상기 산출된 각각의 컨트롤 포인트에 대한 평면 추적 처리부와의 차이를 시간축 상에서 가우시안 스무딩하는 단계;를 더 포함하는 동영상에서의 전경 레이어 추출 방법.
  9. 제7항에 있어서, 상기 레이어 영역을 추적하는 단계는,
    추적하려는 레이어 영역을 평면으로 가정하고 2D 투영변환 관계를 나타내는 호모그래피 행렬을 계산하는 단계;를 포함하는 동영상에서의 전경 레이어 추출 방법.
  10. 제9항에 있어서, 상기 호모그래피 행렬을 계산하는 단계는,
    상기 초기 영역 지정부에서 지정한 레이어 영역에 모폴로지 팽창연산을 적용하여 레이어 영역과 배경 간의 경계부분을 포함하도록 수 픽셀 범위를 확장시킨 영역을 생성하여 평면 추적 영역으로 처리하는 단계;
    상기 추적 영역 내에서 전후 프레임간 검출된 특징점들의 대응관계를 최적화하여 호모그래피 행렬을 계산하는 단계; 및
    상기 획득한 호모그래피 행렬을 추적 영역 안의 모든 픽셀의 컬러 정보에 대해 최적화하고, 각 컨트롤 포인트에 대해 상기 호모그래피 행렬을 적용하여 현재 프레임에서의 컨트롤 좌표를 계산하는 단계;를 포함하는 동영상에서의 전경 레이어 추출 방법.
  11. 제7항에 있어서, 상기 레이어 영역을 추적하는 단계는,
    상기 각 컨트롤 포인트에 대해 블록 매칭을 통해 현재 프레임에서의 더욱 정교한 좌표를 산출하는 미세 조정 단계;를 포함하는 동영상에서의 전경 레이어 추출 방법.
  12. 제11항에 있어서, 상기 미세 조정 단계는,
    직전 프레임으로부터 해당 컨트롤 포인트의 템플릿 세트를 저장하며, 해당 컨트롤 포인트의 템플릿 세트가 미리 설정된 개수를 초과하면 오래된 템플릿 세트부터 순차적으로 제고하는 단계;
    상기 해당 컨트롤 포인트에 대해 상기 템플릿의 블록과 가장 유사한 현재 프레임의 위치를 탐색하는 단계;
    상기 해당 컨트롤 포인트에 대해 컬러 영상에서의 유사도와 에지 영상에서의 유사도 간의 가중치 계수를 결정하는 단계; 및
    에지 연산자를 이용하여 에지 영상을 산출하고, 상기 해당 컨트롤 포인트에 대해 전 후 프레임 영상에서의 블록 매칭을 통해 가장 유사한 위치를 검색하는 단계;를 포함하는 동영상에서의 전경 레이어 추출 방법.
KR1020120024077A 2012-03-08 2012-03-08 동영상에서의 전경 레이어 추출 장치 및 방법 KR20130102895A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120024077A KR20130102895A (ko) 2012-03-08 2012-03-08 동영상에서의 전경 레이어 추출 장치 및 방법
US13/791,791 US8873855B2 (en) 2012-03-08 2013-03-08 Apparatus and method for extracting foreground layer in image sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024077A KR20130102895A (ko) 2012-03-08 2012-03-08 동영상에서의 전경 레이어 추출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130102895A true KR20130102895A (ko) 2013-09-23

Family

ID=49114177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024077A KR20130102895A (ko) 2012-03-08 2012-03-08 동영상에서의 전경 레이어 추출 장치 및 방법

Country Status (2)

Country Link
US (1) US8873855B2 (ko)
KR (1) KR20130102895A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015199496A1 (ko) * 2014-06-27 2015-12-30 주식회사 브이플랩 영상에서의 멀티 객체 정보 저작 방법
US10186047B2 (en) 2014-08-05 2019-01-22 Electronics And Telecommunications Research Institute Apparatus and method for generating a depth map

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102895A (ko) * 2012-03-08 2013-09-23 한국전자통신연구원 동영상에서의 전경 레이어 추출 장치 및 방법
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
CN109389624B (zh) * 2018-10-22 2022-04-19 中国科学院福建物质结构研究所 基于相似度度量的模型漂移抑制方法及其装置
KR20200095873A (ko) 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
US20230094651A1 (en) * 2021-09-30 2023-03-30 Konica Minolta Business Solutions U.S.A., Inc. Extracting text from an image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
KR100327103B1 (ko) 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6937760B2 (en) * 2000-12-28 2005-08-30 University Of Washington Interactive frame segmentation with dynamic programming
US7620205B2 (en) * 2005-08-31 2009-11-17 Siemens Medical Solutions Usa, Inc. Method for characterizing shape, appearance and motion of an object that is being tracked
KR100928889B1 (ko) 2007-12-15 2009-11-30 한국전자통신연구원 영상 다면체 구조를 이용한 영상 분할 및 합성 방법
US8249152B2 (en) 2008-08-25 2012-08-21 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Video image segmentation
KR101173559B1 (ko) 2009-02-10 2012-08-13 한국전자통신연구원 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
KR20130102895A (ko) * 2012-03-08 2013-09-23 한국전자통신연구원 동영상에서의 전경 레이어 추출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015199496A1 (ko) * 2014-06-27 2015-12-30 주식회사 브이플랩 영상에서의 멀티 객체 정보 저작 방법
US10186047B2 (en) 2014-08-05 2019-01-22 Electronics And Telecommunications Research Institute Apparatus and method for generating a depth map

Also Published As

Publication number Publication date
US8873855B2 (en) 2014-10-28
US20130236099A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
KR20130102895A (ko) 동영상에서의 전경 레이어 추출 장치 및 방법
US11983893B2 (en) Systems and methods for hybrid depth regularization
US10049277B2 (en) Method and apparatus for tracking object, and method and apparatus for calculating object pose information
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
US8538144B2 (en) Methods and systems for color correction of 3D images
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
CN108446694B (zh) 一种目标检测方法及装置
EP2959683A1 (en) Method and apparatus for computing a synthesized picture
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
Wuest et al. Tracking of industrial objects by using cad models
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2013173282A1 (en) Video disparity estimate space-time refinement method and codec
US9786055B1 (en) Method and apparatus for real-time matting using local color estimation and propagation
KR20220088289A (ko) 객체 포즈 추정 장치 및 방법
US9123145B2 (en) Temporal noise control for sketchy animation
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
KR20130003992A (ko) 3차원 영상 데이터 생성 방법 및 이를 위한 장치
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치
KR20060115237A (ko) 에지투영을 이용한 스테레오 매칭방법
Kettern et al. Temporally Consistent Wide Baseline Facial Performance Capture via Image Warping.
Noraky et al. Low Power Adaptive Time-of-Flight Imaging for Multiple Rigid Objects

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid