KR102032173B1 - 영상 분할 장치 및 그 제어 방법 - Google Patents

영상 분할 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102032173B1
KR102032173B1 KR1020120109378A KR20120109378A KR102032173B1 KR 102032173 B1 KR102032173 B1 KR 102032173B1 KR 1020120109378 A KR1020120109378 A KR 1020120109378A KR 20120109378 A KR20120109378 A KR 20120109378A KR 102032173 B1 KR102032173 B1 KR 102032173B1
Authority
KR
South Korea
Prior art keywords
image
windows
window
size
motion
Prior art date
Application number
KR1020120109378A
Other languages
English (en)
Other versions
KR20140042521A (ko
Inventor
김세훈
문영호
이수찬
곽한탁
심우성
우지환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120109378A priority Critical patent/KR102032173B1/ko
Priority to US14/041,214 priority patent/US9135711B2/en
Publication of KR20140042521A publication Critical patent/KR20140042521A/ko
Application granted granted Critical
Publication of KR102032173B1 publication Critical patent/KR102032173B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본원은, 영상 분할 장치의 제어 방법에 있어서, 프레임 단위로 영상을 입력받는 과정과, 상기 입력된 영상으로부터 객체의 움직임을 추정하는 과정과, 상기 추정한 객체의 움직임을 고려하여 대상 프레임에서 상기 객체에 대응하는 윈도우들의 위치를 결정하는 과정과, 영상 특성을 이용하여 상기 결정된 윈도우들의 위치에 존재하는 윈도우들 중 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나를 조절하는 과정과, 상기 대상 프레임에 포함된 상기 객체에 대응하는 영상 영역을 고려하여 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들에 대한 확률 정보를 획득하는 과정과, 상기 획득한 확률 정보를 기반으로 상기 대상 프레임으로부터 상기 객체를 추출하는 과정을 포함하며; 상기 확률 정보는, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대응한 영역에서 상기 객체에 대응하는 영상 영역이 차지하는 비율에 기반하여 획득되는 것을 특징으로 한다.

Description

영상 분할 장치 및 그 제어 방법{VIDEO SEGMENTATION APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 영상 분할 장치 및 그 제어 방법에 관한 것으로, 특히 영상에서 적응적 로컬 윈도우(Local Window)를 이용하여 원하는 객체(object)를 추출하는 영상 분할 장치 및 그 제어 방법에 관한 것이다.
영상 분할(video segmentation)이란, 영상의 구성 요소인 픽셀을 분류하여 영상 내에서 객체의 경계선을 찾아 원하는 객체를 추출하는 기술을 말한다. 예를 들어, 영상 중에 대상 물체의 형태 및 크기를 알려면 객체와 배경의 2개의 영역으로 분할하지 않으면 안 된다. 객체는 영상 해석과 표현에 있어서 중요한 역할을 한다. 특히, MPEG(Moving Picture Experts Group)-4 비주얼 표준은 영상을 객체 단위로 부호화한다. 이러한 기술을 객체기반 부호화(object-based coding)라고 한다. 필요에 따라 객체를 조합, 제거, 변형하는 등의 객체에 대한 다양한 편집기술을 이용하여 영상을 재생산하거나 효율적으로 압축할 수 있다.
예를 들어, 일기도와 같은 가상 화면을 배경으로 날씨를 전달하는 일기예보의 경우나, 버추얼 스튜디오와 같은 다른 배경 화면에 객체를 조합하여 영상을 보기 좋게 가공하여 보여 주는 경우와 같이, 영상 분할을 이용한 응용 예들을 흔히 볼 수 있다. 이러한 응용을 가능하게 하는 핵심 기술이 바로, 원하는 객체만을 추출하고 다른 배경의 화면에 결합하는 영상 분할 기술이다.
그러나, 각 영상의 명확한 경계가 없으며, 각각의 특징이 틀리므로 컴퓨터를 이용한 영상 분할 처리는 어려운 공학적 문제이다. 현재까지는 영상에서 밝기값(luminance), 에지 정보(edge), 혹은 기하학적 정보와 같은 영상의 특성에 기반하여 비슷한 값을 가지는 영역(homogeneous region)을 구분해내고, 구분해낸 영역들 중 비슷한 특성을 가지는 영역들을 서로 결합하여, 결합된 영역들 전체를 사용하여 영상을 마스킹(masking)하는 기술이 개발되어 왔다.
현재까지 개발된 대표적인 영상 분할 알고리즘들로서, 경계값 처리법, 영역확장법, 분할 통합법, 워터쉐드법(watershed), 및 에지에 기반한 방법 등이 있다. 각각의 방법들은 나름대로의 특성과 응용분야를 가진다.
그러나, 상기 영역확장법 또는 상기 분할 통합법은, 영상 전체를 탐색하여 같은 특성을 가지는 영역을 찾아내기 위하여 많은 계산량과 반복이 요구되지만, 원하는 정밀도의 객체를 추출해내기 어렵다는 문제점이 있다.
그리고 상기 워터쉐드법은, 개선된 형태의 영역 확장법으로서, 복수개의 씨드(seed)를 사용하여 동시에 많은 영역으로 분리하고 재결합하는 과정을 반복 수행함으로써 점점 원하는 정밀도에 근접하는 방법이다. 그러나, 상기 워터쉐드법도 원하는 정밀도의 영상분할을 위해 많은 계산량이 요구되며, 영상의 경계에서 조각화 문제가 발생할 수 있다.
이에 현재까지 개발된 영상 분할 기술들은 객체를 추출하기 위하여 많은 계산량을 요구하는 반면, 조각화가 발생하여 객체의 일부가 잘리거나 다른 객체의 일부가 잘못 포함되기도 하며, 연속된 경계선을 찾을 수 없는 등, 객체를 정확하게 추출하지 못하는 문제점이 있다.
본 발명은 영상 분할 장치 및 그 제어 방법을 제공한다.
또한, 본 발명은 영상에서 효율적으로 원하는 객체를 추출하는 영상 분할 장치 및 그 제어 방법을 제공한다.
또한, 본 발명은 영상에서 적응적 로컬 윈도우를 이용하여 원하는 객체를 추출하는 영상 분할 장치 및 그 제어 방법을 제공한다.
본원의 실시 예에 따른 방법은, 영상 분할 장치의 제어 방법에 있어서, 프레임 단위로 영상을 입력받는 과정과, 상기 입력된 영상으로부터 객체의 움직임을 추정하는 과정과, 상기 추정한 객체의 움직임을 고려하여 대상 프레임에서 상기 객체에 대응하는 윈도우들의 위치를 결정하는 과정과, 영상 특성을 이용하여 상기 결정된 윈도우들의 위치에 존재하는 윈도우들 중 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나를 조절하는 과정과, 상기 대상 프레임에 포함된 상기 객체에 대응하는 영상 영역을 고려하여 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들에 대한 확률 정보를 획득하는 과정과, 상기 획득한 확률 정보를 기반으로 상기 대상 프레임으로부터 상기 객체를 추출하는 과정을 포함하며; 상기 확률 정보는, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대응한 영역에서 상기 객체에 대응하는 영상 영역이 차지하는 비율에 기반하여 획득되는 것을 특징으로 한다.
본원의 실시 예에 따른 장치는; 영상 분할 장치에 있어서, 프레임 단위로 영상을 입력받는 영상 입력부와, 상기 입력된 영상으로부터 객체의 움직임을 추정하고, 상기 추정한 객체의 움직임을 고려하여 대상 프레임에서 상기 객체에 대응하는 윈도우들의 위치를 결정하는 움직임 추정부와, 영상 특성을 이용하여 상기 결정된 윈도우들의 위치에 존재하는 윈도우들 중 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나를 조절하는 윈도우 조절부와, 상기 대상 프레임에 포함된 상기 객체에 대응하는 영상 영역을 고려하여 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들에 대한 확률 정보를 획득하는 확률 계산부와, 상기 획득한 확률 정보를 기반으로 상기 대상 프레임으로부터 상기 객체를 추출하는 객체 추출부를 포함하며; 상기 확률 정보는, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대응한 영역에서 상기 객체에 대응하는 영상 영역이 차지하는 비율에 기반하여 획득되는 것을 특징으로 한다.
본원의 실시 예에 따른 다른 방법은; 영상 분할 장치의 제어 방법에 있어서, 프레임 단위로 영상을 입력받는 과정과, 상기 입력된 영상으로부터 추출할 객체에 해당하는 적어도 하나의 윈도우의 위치를 결정하는 과정과, 칼라 특성과 양자화된 매핑 함수(quantized mapping function)를 이용하는 상기 적어도 하나의 윈도우의 움직임 특성에 기반하여, 상기 적어도 하나의 윈도우의 크기를 조절하는 과정과, 영상 특성에 기초하여, 상기 크기가 조절된 적어도 하나의 윈도우에 포함되는 픽셀들이 상기 객체에 대응되는 것을 나타내는 확률값을 계산하는 과정과, 상기 확률값과 상기 객체로 인한 엣지 특성에 기반하여, 상기 입력된 영상으로부터 상기 객체를 추출하는 과정을 포함한다.
본원의 실시 예에 따른 다른 장치는; 영상 분할 장치에 있어서, 프레임 단위로 영상을 입력받는 영상 입력부와, 상기 입력된 영상으로부터 추출할 객체에 해당하는 적어도 하나의 윈도우의 위치를 결정하는 움직임 추정부와, 칼라 특성과 양자화된 매핑 함수(quantized mapping function)를 이용하는 상기 적어도 하나의 윈도우의 움직임 특성에 기반하여, 상기 적어도 하나의 윈도우의 크기를 조절하는 지역 윈도우 조절부와, 영상 특성에 기초하여, 상기 크기가 조절된 적어도 하나의 윈도우에 포함되는 픽셀들이 상기 객체에 대응되는 것을 나타내는 확률값을 계산하는 확률 계산부와, 상기 확률값과 상기 객체로 인한 엣지 특성에 기반하여, 상기 입력된 영상으로부터 상기 객체를 추출하는 객체 추출부를 포함한다.
삭제
도 1은 본 발명의 실시 예에 따른 영상 분할 장치를 나타낸 도면,
도 2 및 도 3은 본 발명의 실시 예에 따른 영상 분할 장치에서 로컬 윈도우 조절부에서 수행되는 동작의 일예를 나타낸 도면,
도 4는 본 발명의 실시 예에 따른 영상 분할 장치의 제어 방법을 나타낸 도면,
도 5는 본 발명의 실시 예에 따라 입력된 영상에서 선택된 객체에 대하여 조절된 로컬 윈도우들을 나타낸 도면,
도 6은 종래 영상 분할 장치의 제어 방법과 본 발명의 실시 예에 따른 영상 분할 장치의 제어 방법을 비교한 도면.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은 입력된 영상에서 영상 특성을 기반으로 로컬 윈도우의 위치, 크기 및 간격 중 적어도 하나를 조절하여 원하는 객체를 정확하게 추출하는 장치 및 그 제어 방법을 제안한다.
이하, 본 발명의 실시 예에 따른 영상 분할 장치 및 그 제어 방법에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상 분할 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 영상 분할 장치는, 영상 입력부(101), 움직임(Motion) 추정부(103), 움직임 검증부(105), 윈도우 조절부(107), 확률 계산부(109) 및 객체 분리부(110)를 포함한다. 여기서 영상 분할 장치의 구성에 따라 상기 움직임 추정부(103)와 움직임 검증부(105)는 하나의 유닛으로 구성될 수 있고, 확률 계산부(109) 및 객체 분리부(110)도 하나의 유닛으로 구성될 수 있다.
상기 영상 입력부(101)는 통신망을 통해 수신한 동영상, 또는 카메라를 사용하여 생성되거나 동영상 제작 프로그램을 사용하여 생성된 동영상을 프레임 단위로 입력한다. 이러한 영상 입력부(101)는 소프트웨어적 또는 하드웨어적 방법으로 구현할 수 있다는 것은 당업자에게 자명한 것이다.
상기 움직임 추정부(103)는 상기 영상 입력부(101)로부터 특정 동영상의 첫 번째 프레임에 해당하는 영상을 입력받으면, 사용자로부터 첫 번째 프레임에 해당하는 영상에서 추출하고자 하는 객체를 선택받은 후, 상기 선택된 객체에 해당하는 로컬 윈도우들의 위치를 결정한다. 그리고 움직임 추정부(103)는 상기 영상 입력부(101)로부터 특정 동영상의 첫 번째 프레임이 아닌 다른 프레임에 해당하는 영상을 입력받으면, 이전 입력된 영상과 현재 입력된 영상 간의 차이를 근거로 상기 선택된 객체의 움직임을 추정하여 상기 선택된 객체에 해당하는 로컬 윈도우들의 위치를 결정한다.
상기 움직임 검증부(105)는 상기 결정된 로컬 윈도우들의 위치가 상기 선택된 객체의 모양 및 움직임 중 적어도 하나와 매칭되는지 확인하여, 상기 결정된 로컬 윈도우의 위치가 정확한지를 검증한다. 그리고 상기 움직임 검증부(105)는 상기 검증 결과 상기 결정된 로컬 윈도우들의 위치가 정확한 경우 상기 결정된 로컬 윈도우들의 위치를 윈도우 조절부(107)로 전달하고, 상기 결정된 로컬 윈도우들의 위치가 정확하지 않는 경우 상기 결정된 로컬 윈도우들의 위치를 재결정하도록 하는 지시자를 상기 움직임 추정부(103)로 전달한다. 여기서, 상기 지시자는 상기 결정된 로컬 윈도우들의 위치가 이동되어야 하는 차이값을 포함할 수 있다.
상기 로컬 윈도우 조절부(107)는 영상 특성을 이용하여 상기 결정된 로컬 윈도우들의 위치에 존재하는 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절한다. 여기서 상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나의 특성을 포함할 수 있다.
일 예로, 로컬 윈도우 조절부(107)는 움직임이 빠른 객체 또는 씬(thin) 객체를 추출하기 위하여 움직임의 변화량을 기준으로 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 움직임의 크기 또는 움직임의 변화량이 도 2의 (a)에서와 같이 크거나 빠른 특성인 경우, 도 2의 (b)와 같이 로컬 윈도우 크기를 단계적으로 최대 크기로 조절하여 모델 강인성과 커버리지(coverage)를 넓힐 수 있다.
다른 예로, 로컬 윈도우 조절부(107)는 객체와 배경의 컬러가 유사한 경우 컬러 신뢰도를 이용한 코스트 함수(cost function)를 사용하여 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 아래 <수학식 1>과 같이 컬러 컨피던스(confidence)가 최대가 되도록 또는 되는 로컬 윈도우 크기를 결정할 수 있다. 여기서, 컬러 신뢰도는 객체와 배경이 색이 얼마나 잘 구별되는지를 나타내는 값으로, 객체와 배경의 색이 잘 구별될 수 있도록 높은 값을 갖고, 구별되지 않을수록 낮은 값을 갖는다.
Figure 112012079794799-pat00001
상기 <수학식 1>에서 S*는 결정된 로컬 윈도우 크기이고, s는 미리 설정된 윈도우 크기이며, fc(s)는 컬러 컨피던스이다.
또 다른 예로, 로컬 윈도우 조절부(107)는 폐색(Occlusion)이 발생한 경우 컬러 변화량 및 다중 레퍼런스(Multiple References)를 이용하여 오류를 최소화할 수 있도록 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 아래 <수학식 2>와 같이 컬러 변화량이 최소가 되도록 또는 되는 로컬 윈도우 크기를 결정할 수 있다.
Figure 112012079794799-pat00002
상기 <수학식 2>에서 S*는 결정된 윈도우 크기이고, s는 미리 설정된 윈도우 크기이며, fv(s)는 컬러 변화량이다.
또 다른 예로, 로컬 윈도우 조절부(107)는 도 3에서와 같이 움직임 및 컬러 특성을 모두 이용하여 로컬 윈도우 크기를 조절할 수 있다. 즉, 도 3을 참조하면, 로컬 윈도우 조절부(107)는 도 3의 (a)와 같이 나타낼 수 있는 움직임 크기 또는 움직임 변화량을 입력받으면, 도 3의 (b)와 같이 양자화된 매핑 함수를 사용하여 움직임에 의한 로컬 윈도우 사이즈를 결정한 후, 도 3의 (c)와 같이 양자화 범위 내에서 상기 <수학식 1>을 이용하여 세밀하게 로컬 윈도우 사이즈를 조절할 수 있다.
상기 확률 계산부(109)는 상기 조절된 로컬 윈도우들 각각이 포함하는 영역들의 각 픽셀(혹은 서브-영역 (sub-region))들에 대하여 상기 선택된 객체에 해당하는지에 대한 확률을 계산한다. 상기 확률을 계산하기 위해서는 최소한 한가지 이상의 영상특성을 이용하며, 상기 영상특성의 예로는 색, 색 분포, 영상 경사도(gradient) 분포, 움직임(Motion) 동일성, 및 객체의 형태 등이 있다. 상기 입력된 영상 전체 영역에 대한 상기 선택된 객체에 해당하는 지에 대한 확률 값은 상기 조절된 로컬 윈도우가 포함하는 영역의 확률 값을 영역별로 혼합하며, 상기 조절된 로컬 윈도우들이 겹치는 부분(혹은 영역)에 대해서는 겹치는 로컬 윈도우들 각각의 확률 값을 가중 평균(weighted average) 기법으로 혼합한다. 상기 조절된 로컬 윈도우에 의해 둘러싸인 영역 내부에, 상기 조절된 로컬 윈도우들이 포함하지 않는 영역에 대해서는 상기 선택된 객체일 확률이 높은 값으로 채워준다.
그리고 상기 객체 분리부(111)는 상기 혼합된 전체 확률 값과 영상 에지 특성을 이용하여 상기 입력된 영상에서 상기 선택된 객체를 분리하여 객체를 추출한다. 객체 분리 방법의 예로는 그래프 컷(graph cut) 방법 및 레벨 셋(level set) 방법이 있다.
이러한 영상 분할 장치의 동작은 동영상에 포함된 모든 프레임에 해당하는 영상들에서 객체가 추출될 때까지 동작한다.
도 4는 본 발명의 실시 예에 따른 영상 분할 장치의 제어 방법을 나타낸 도면이다.
도 4를 참조하면, 401 단계에서 영상 분할 장치는 특정 동영상의 프레임 단위로 첫 번째 프레임부터 마지막 프레임에 해당하는 영상을 입력받는다. 그리고 403 단계에서 영상 분할 장치는 상기 입력된 영상이 첫 번째 프레임에 해당하는 영상인지 확인한 후, 첫 번째 프레임에 해당하는 영상인 경우 405 단계로 진행하고, 첫 번째 프레임에 해당하는 영상이 아닌 경우 407 단계에서 진행한다.
상기 405 단계에서 영상 분할 장치는 첫 번째 프레임에 해당하는 영상에서 사용자에 의해 추출하고자 하는 객체를 선택받아 로컬 윈도우들의 위치 및 크기를 결정하여 상기 선택된 객체를 분리하는 영상 초기화 과정을 수행한다.
그리고 상기 407 단계에서 영상 분할 장치는 이전 입력된 영상과 현재 입력된 영상 간의 차이를 근거로 선택된 객체의 움직임을 추정하여 상기 선택된 객체에 해당하는 로컬 윈도우들의 위치를 결정한다. 그리고 409 단계에서 영상 분할 장치는 상기 결정된 로컬 윈도우들의 위치가 상기 선택된 객체의 모양 및 움직임 중 적어도 하나와 매칭되는지 확인하여 상기 결정된 로컬 윈도우의 위치가 정확한지 검증하여, 상기 검증 결과 상기 결정된 로컬 윈도우의 위치가 정확한 경우 411 단계로 진행하고 상기 결정된 로컬 윈도우의 위치가 정확하지 않은 경우 다시 407 단계로 복귀한다.
상기 411 단계에서 영상 분할 장치는 영상 특성을 이용하여 상기 결정된 로컬 윈도우들의 위치에 존재하는 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절한다. 여기서 상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나의 특성을 포함할 수 있다.
실제적으로, 상기 411 단계에서 수행되는 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절하는 과정은 영상 분할 장치의 로컬 윈도우 조절부(107)에서 수행된다. 그리고 상기 로컬 윈도우 조절부(107)에서 설명한 바와 같이, 다음의 예들과 같이 동작할 수 있다.
일 예로, 로컬 윈도우 조절부(107)는 움직임이 빠른 객체 또는 씬(thin) 객체를 추출하기 위하여 움직임의 변화량을 기준으로 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 움직임의 크기 또는 움직임의 변화량이 도 2의 (a)에서와 같이 크거나 빠른 특성인 경우, 도 2의 (b)와 같이 로컬 윈도우 크기를 단계적으로 최대 크기로 조절하여 모델 강인성과 커버리지를 넓힐 수 있다.
다른 예로, 로컬 윈도우 조절부(107)는 객체와 배경의 컬러가 유사한 경우 컬러 신뢰도를 이용한 코스트 함수를 사용하여 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 상기 <수학식 1>과 같이 컬러 컨피던스가 최대가 되도록 또는 되는 로컬 윈도우 크기를 결정할 수 있다.
또 다른 예로, 로컬 윈도우 조절부(107)는 폐색이 발생한 경우 컬러 변화량 및 다중 레퍼런스를 이용하여 오류를 최소화할 수 있도록 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절할 수 있다. 즉, 로컬 윈도우 조절부(107)는 상기 <수학식 2>와 같이 컬러 변화량이 최소가 되도록 또는 되는 로컬 윈도우 크기를 결정할 수 있다.
또 다른 예로, 로컬 윈도우 조절부(107)는 도 3에서와 같이 움직임 및 컬러 특성을 모두 이용하여 로컬 윈도우 크기를 조절할 수 있다. 즉, 도 3을 참조하면, 로컬 윈도우 조절부(107)는 도 3의 (a)와 같이 나타낼 수 있는 움직임 크기 또는 움직임 변화량을 입력받으면, 도 3의 (b)와 같이 양자화된 매핑 함수를 사용하여 움직임에 의한 로컬 윈도우 사이즈를 결정한 후, 도 3의 (c)와 같이 양자화 범위 내에서 상기 <수학식 1>을 이용하여 세밀하게 로컬 윈도우 사이즈를 조절할 수 있다.
다시 도 4를 참조하면, 413 단계에서 영상 분할 장치는 상기 조절된 로컬 윈도우들 각각이 포함하는 영역들의 각 픽셀들에 대하여 상기 선택된 객체에 해당하는지에 대한 확률 값을 계산하여, 상기 조절된 로컬 윈도우들 각각에 대한 확률 값을 혼합한다. 이에 415 단계에서 영상 분할 장치는 상기 혼합된 확률 값에 해당하는 객체를 상기 입력된 영상에서 분리함에 따라 원하는 객체를 추출한다.
도 5 및 도 6은 본 발명의 실시 예에 따라 영상을 분할하는 경우의 효과를 나타낸 도면으로, 도 5는 본 발명의 실시 예에 따라 입력된 영상에서 선택된 객체에 대하여 조절된 로컬 윈도우들을 나타낸 것이고, 도 6은 종래 영상 분할 장치의 제어 방법과 본 발명의 실시 예에 따른 영상 분할 장치의 제어 방법을 비교한 것이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 영상 분할 장치의 제어 방법에서는 원하는 객체에 해당하는 로컬 윈도우들의 위치를 결정한 후, 영상 특성을 이용하여 상기 결정된 로컬 윈도우들의 위치에 존재하는 로컬 윈도우들의 크기 및 간격 중 적어도 하나를 조절하므로, 로컬 윈도우들이 원하는 객체상에 모두 표시될 수 있다.
그리고 도 6을 참조하면, 영상 분할 장치는 본 발명의 실시 예에 따라 조절된 로컬 윈도우들을 이용하여 영상 분할(b)을 수행하는 경우, 종래 고정된 로컬 윈도우들을 이용하여 영상 분할(a)을 수행하는 경우에 비하여, 효과적으로 원하는 객체를 분리할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 영상 분할 장치의 제어 방법에 있어서,
    프레임 단위로 영상을 입력받는 과정과,
    상기 입력된 영상으로부터 객체의 움직임을 추정하는 과정과,
    상기 추정한 객체의 움직임을 고려하여 대상 프레임에서 상기 객체에 대응하는 윈도우들의 위치를 결정하는 과정과,
    영상 특성을 이용하여 상기 결정된 윈도우들의 위치에 존재하는 윈도우들 중 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나를 조절하는 과정과,
    상기 대상 프레임에 포함된 상기 객체에 대응하는 영상 영역을 고려하여 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들에 대한 확률 정보를 획득하는 과정과,
    상기 획득한 확률 정보를 기반으로 상기 대상 프레임으로부터 상기 객체를 추출하는 과정을 포함하며;
    상기 확률 정보는, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대응한 영역에서 상기 객체에 대응하는 영상 영역이 차지하는 비율에 기반하여 획득되는 것을 특징으로 하는 영상 분할 장치의 제어 방법.
  2. 제 1 항에 있어서,
    상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나를 포함함을 특징으로 하는 영상 분할 장치의 제어 방법.
  3. 제 1 항에 있어서,
    상기 추정하는 과정은,
    상기 대상 프레임이 첫 번째 프레임이 아닌 경우, 이전 프레임과 상기 대상 프레임을 근거로 상기 객체의 움직임을 추정하는 과정을 포함하고,
    상기 결정하는 과정은,
    상기 추정한 객체의 움직임을 고려하여 상기 대상 프레임 내에서 상기 객체에 대응하는 윈도우들의 위치를 확인하는 과정과,
    상기 확인된 윈도우들의 위치가 상기 객체의 모양 및 움직임 중 적어도 하나와 매칭되는지에 따라 상기 확인된 윈도우들 중 적어도 하나의 윈도우의 위치를 조정하는 과정을 포함함을 특징으로 하는 영상 분할 장치의 제어 방법.
  4. 제 1 항에 있어서, 상기 확률 정보를 획득하는 과정은,
    상기 비율에 의해 확률값을 계산하는 과정과,
    상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대해 계산된 확률값을 혼합하는 과정과,
    상기 혼합된 확률값을 상기 확률 정보로 획득하는 과정을 포함함을 특징으로 하는 영상 분할 장치의 제어 방법.
  5. 영상 분할 장치에 있어서,
    프레임 단위로 영상을 입력받는 영상 입력부와,
    상기 입력된 영상으로부터 객체의 움직임을 추정하고, 상기 추정한 객체의 움직임을 고려하여 대상 프레임에서 상기 객체에 대응하는 윈도우들의 위치를 결정하는 움직임 추정부와,
    영상 특성을 이용하여 상기 결정된 윈도우들의 위치에 존재하는 윈도우들 중 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나를 조절하는 윈도우 조절부와,
    상기 대상 프레임에 포함된 상기 객체에 대응하는 영상 영역을 고려하여 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들에 대한 확률 정보를 획득하는 확률 계산부와,
    상기 획득한 확률 정보를 기반으로 상기 대상 프레임으로부터 상기 객체를 추출하는 객체 추출부를 포함하며;
    상기 확률 정보는, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대응한 영역에서 상기 객체에 대응하는 영상 영역이 차지하는 비율에 기반하여 획득되는 것을 특징으로 하는 영상 분할 장치.
  6. 제 5 항에 있어서,
    상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나를 포함함을 특징으로 하는 영상 분할 장치.
  7. 제 5 항에 있어서, 상기 움직임 추정부는,
    상기 대상 프레임이 첫 번째 프레임이 아닌 경우, 이전 프레임과 상기 대상 프레임을 근거로 상기 객체의 움직임을 추정하고,
    상기 추정한 객체의 움직임을 고려하여 상기 대상 프레임 내에서 상기 객체에 대응하는 윈도우들의 위치를 확인하며,
    상기 확인된 윈도우들의 위치가 상기 객체의 모양 및 움직임 중 적어도 하나와 매칭되는지에 따라 상기 확인된 윈도우들 중 적으로 하나의 윈도우의 위치를 조정함을 특징으로 하는 영상 분할 장치.
  8. 제 5 항에 있어서, 상기 확률 계산부는,
    상기 비율에 의해 확률값을 계산하고, 상기 적어도 하나의 윈도우의 크기 및 간격 중 적어도 하나가 조절된 윈도우들 각각에 대해 계산된 확률값을 혼합하며, 상기 혼합된 확률값을 상기 확률 정보로 획득함을 특징으로 하는 영상 분할 장치.
  9. 영상 분할 장치의 제어 방법에 있어서,
    프레임 단위로 영상을 입력받는 과정과,
    상기 입력된 영상으로부터 추출할 객체에 해당하는 적어도 하나의 윈도우의 위치를 결정하는 과정과,
    칼라 특성과 양자화된 매핑 함수(quantized mapping function)를 이용하는 상기 적어도 하나의 윈도우의 움직임 특성에 기반하여, 상기 적어도 하나의 윈도우의 크기를 조절하는 과정과,
    영상 특성에 기초하여, 상기 크기가 조절된 적어도 하나의 윈도우에 포함되는 픽셀들이 상기 객체에 대응되는 것을 나타내는 확률값을 계산하는 과정과,
    상기 확률값과 상기 객체로 인한 엣지 특성에 기반하여, 상기 입력된 영상으로부터 상기 객체를 추출하는 과정을 포함하는 영상 분할 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나를 포함함을 특징으로 하는 영상 분할 장치의 제어 방법.
  11. 제9항에 있어서,
    상기 조절하는 과정은,
    상기 양자화된 매핑 함수를 이용하여 상기 객체의 움직임을 결정하는 과정과,
    양자화 범위(quantization range) 내에서 상기 적어도 하나의 윈도우의 크기를 조절하는 과정을 포함함을 특징으로 하는 영상 분할 장치의 제어 방법.
  12. 영상 분할 장치에 있어서,
    프레임 단위로 영상을 입력받는 영상 입력부와,
    상기 입력된 영상으로부터 추출할 객체에 해당하는 적어도 하나의 윈도우의 위치를 결정하는 움직임 추정부와,
    칼라 특성과 양자화된 매핑 함수(quantized mapping function)를 이용하는 상기 적어도 하나의 윈도우의 움직임 특성에 기반하여, 상기 적어도 하나의 윈도우의 크기를 조절하는 지역 윈도우 조절부와,
    영상 특성에 기초하여, 상기 크기가 조절된 적어도 하나의 윈도우에 포함되는 픽셀들이 상기 객체에 대응되는 것을 나타내는 확률값을 계산하는 확률 계산부와,
    상기 확률값과 상기 객체로 인한 엣지 특성에 기반하여, 상기 입력된 영상으로부터 상기 객체를 추출하는 객체 추출부;
    를 포함하는 영상 분할 장치.
  13. 제12항에 있어서,
    상기 영상 특성은 움직임 크기, 움직임 변화량, 컬러 변화량 및 컬러 신뢰도 중 적어도 하나를 포함함을 특징으로 하는 영상 분할 장치.
  14. 제12항에 있어서,
    상기 지역 윈도우 조절부는,
    상기 양자화된 매핑 함수를 이용하여 상기 객체의 움직임을 결정하고, 양자화 범위(quantization range) 내에서 상기 적어도 하나의 윈도우의 크기를 조절하는 것을 특징으로 하는 영상 분할 장치.

KR1020120109378A 2012-09-28 2012-09-28 영상 분할 장치 및 그 제어 방법 KR102032173B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120109378A KR102032173B1 (ko) 2012-09-28 2012-09-28 영상 분할 장치 및 그 제어 방법
US14/041,214 US9135711B2 (en) 2012-09-28 2013-09-30 Video segmentation apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109378A KR102032173B1 (ko) 2012-09-28 2012-09-28 영상 분할 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140042521A KR20140042521A (ko) 2014-04-07
KR102032173B1 true KR102032173B1 (ko) 2019-10-15

Family

ID=50385277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109378A KR102032173B1 (ko) 2012-09-28 2012-09-28 영상 분할 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US9135711B2 (ko)
KR (1) KR102032173B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516263B2 (en) * 2013-08-02 2016-12-06 Apple Inc. Automatic configuration of the logical orientation of multiple monitors based on captured images
US10121254B2 (en) * 2013-08-29 2018-11-06 Disney Enterprises, Inc. Methods and systems of detecting object boundaries
US10168976B2 (en) 2016-05-20 2019-01-01 International Business Machines Corporation Dynamic display arrangement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100744158B1 (ko) * 2006-07-25 2007-08-01 연세대학교 산학협력단 확률적인 접근방법을 적용한 영상 감시 시스템 및 방법
JP2010117946A (ja) 2008-11-13 2010-05-27 Masafumi Hagiwara オブジェクト追尾方法および画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783106B2 (en) 2004-11-12 2010-08-24 Fuji Xerox Co., Ltd. Video segmentation combining similarity analysis and classification
US7907777B2 (en) 2005-01-25 2011-03-15 Siemens Medical Solutions Usa, Inc. Manifold learning for discriminating pixels in multi-channel images, with application to image/volume/video segmentation and clustering
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법
US20090016610A1 (en) * 2007-07-09 2009-01-15 Honeywell International Inc. Methods of Using Motion-Texture Analysis to Perform Activity Recognition and Detect Abnormal Patterns of Activities
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
US20120002112A1 (en) * 2010-07-02 2012-01-05 Sony Corporation Tail the motion method of generating simulated strobe motion videos and pictures using image cloning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100744158B1 (ko) * 2006-07-25 2007-08-01 연세대학교 산학협력단 확률적인 접근방법을 적용한 영상 감시 시스템 및 방법
JP2010117946A (ja) 2008-11-13 2010-05-27 Masafumi Hagiwara オブジェクト追尾方法および画像処理装置

Also Published As

Publication number Publication date
US20140093169A1 (en) 2014-04-03
US9135711B2 (en) 2015-09-15
KR20140042521A (ko) 2014-04-07

Similar Documents

Publication Publication Date Title
US10977809B2 (en) Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
US9767567B2 (en) Method and apparatus for separating foreground image, and non-transitory computer-readable recording medium
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
US8588514B2 (en) Method, apparatus and system for processing depth-related information
US8805065B2 (en) Image processing apparatus and image processing method
KR20180132946A (ko) 멀티-뷰 장면 분할 및 전파
JP7150706B2 (ja) 画像のブロックの動きベクトルに基づく当該ブロックの分散の決定
KR20090006068A (ko) 동영상 시퀀스를 수정하는 방법 및 그 장치
US9536321B2 (en) Apparatus and method for foreground object segmentation
US20090092282A1 (en) System and Method for Tracking Objects with a Synthetic Aperture
WO2014183787A1 (en) Method and apparatus for computing a synthesized picture
KR101698314B1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
KR102032173B1 (ko) 영상 분할 장치 및 그 제어 방법
EP3029943A1 (en) Method and device for determining properties of a graphical overlay for a video stream
KR102362345B1 (ko) 이미지 처리 방법 및 장치
US10096116B2 (en) Method and apparatus for segmentation of 3D image data
WO2018116322A1 (en) System and method for generating pan shots from videos
JP7405702B2 (ja) 仮想視点レンダリング装置、方法及びプログラム
KR20190027435A (ko) 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
KR101581586B1 (ko) 깊이 영상의 노이즈를 보정하는 방법
KR101358576B1 (ko) 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법
US20160071281A1 (en) Method and apparatus for segmentation of 3d image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant