KR101396618B1 - 이동 물체 경계 추출 - Google Patents

이동 물체 경계 추출 Download PDF

Info

Publication number
KR101396618B1
KR101396618B1 KR1020087009016A KR20087009016A KR101396618B1 KR 101396618 B1 KR101396618 B1 KR 101396618B1 KR 1020087009016 A KR1020087009016 A KR 1020087009016A KR 20087009016 A KR20087009016 A KR 20087009016A KR 101396618 B1 KR101396618 B1 KR 101396618B1
Authority
KR
South Korea
Prior art keywords
motion vector
boundary
term
field
motion
Prior art date
Application number
KR1020087009016A
Other languages
English (en)
Other versions
KR20080063770A (ko
Inventor
마르코 파니코니
제임스 제이. 캐릭
져롱 미아오
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20080063770A publication Critical patent/KR20080063770A/ko
Application granted granted Critical
Publication of KR101396618B1 publication Critical patent/KR101396618B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

이동 물체 경계를 추출하는 방법은 타겟 화상과 참조 화상간의 위치의 변동에 의해 움직임이 표현되는 물체에 대한 초기 움직임 벡터를 추정하는 단계, 상기 물체가 나타나 움직이는 배경 영역에 대한 초기 벡터를 추정하는 단계, 상기 추정된 벡터들을 이용하여 다이내믹 모델 솔루션의 제1회째의 반복을 구하는 단계, 및 상기 물체의 경계를 추출하기 위하여 상기 다이내믹 모델 솔루션의 적어도 한번의 후속되는 반복을 완료하는 단계를 포함한다.
이동 물체, 경계, 배경 영역, 다이내믹 모델

Description

이동 물체 경계 추출{EXTRACTING A MOVING OBJECT BOUNDARY}
본 발명은 비디오 압축 분야에 관한 것이다.
이동 물체 추출(moving object extraction) 방법은 전통적으로 비디오 시퀀스에서 이동 물체의 윤곽(contour)을 추출하기 위해 비디오 압축 기술에서 사용된다. 전통적인 방법은 대개의 경우 명백하게 윤곽을 추출하기 위해 모델을 도입한다. 이러한 전통적인 방법은 윤곽의 이산화(discretization) 및 윤곽이 발전됨에 따라 길이와 곡률(curvature)을 조절하기 어려운 것과 같은 심각한 문제를 갖는다.
예를 들어, 예측 에러를 줄이기 위하여 움직임 블록을 단순히 영역분할(segmentation)하여 다수의 이동 물체를 캡쳐할 수 있다. 이러한 과정은 개선된 움직임 추정을 위하여 예측 에러가 큰 블록을 서브 블록으로 분할하는 쿼드트리 영역분할(quadtree segmentation)을 이용함으로써 달성될 수 있다. 예측 에러가 큰 블록은 전형적으로 이동 물체의 경계의 직선화 모델(straight line model)을 이용하여 쿼드트리 영역분할된다.
움직임 영역분할의 다른 접근법은 광류 추정(optical flow estimate) 또는 파라메트릭(parametric)(즉, 아핀(affine)) 움직임 모델에 의존한다. 이들 접근법은 물체 경계 근처에서 폐색 효과(occlusion effects)와 같은 문제를 갖는다. 영역분할 필드에서, 그리고 물체 경계에서 어느 정도의 평활도(smoothness)는 우선 확률 항(prior probability term)을 포함하는 MAP/Bayesian 방법들을 이용하여 달성될 수 있다. 이들 방법은 물체 경계 및 움직임 필드를 고려하는 어떤 명확하게 결합된 모델 없이도 영역분할 필드의 연결성(connectivity)을 제한한다.
몇몇 통상의 접근법에서, 곡률 발전 모델(curvature evolution model)은 이동 물체 경계를 캡쳐하는데 사용된다. 그러나, 이러한 접근법들은 움직임 추정을 수반하지 않으며, 물체 경계 발전을 위한 모델에서 시간차 연산자(temporal difference operator)에 의존할 뿐이다.
초기의 조건으로부터 물체를 성장시키고, 예측 에러 저감, 경계 안정성(boundary stability)(즉, 물체에 빈틈이 없고, 윤곽이 평활한 것), 및 화상 특징들과의 결합 사이에서 균형을 이룬 상태에 도달하기 위하여, 영역 경쟁(region competition)을 수행하는 이동 물체 추출 방법이 필요하다.
이동 물체 경계를 추출하는 방법은 타겟 화상과 참조 화상 간의 위치의 변동에 의해 움직임이 표현된 물체에 대한 초기 움직임 벡터를 추정하는 단계, 물체가 나타나 움직이는 배경 영역에 대한 초기 벡터를 추정하는 단계, 상기 추정된 벡터들을 이용하여 다이내믹 모델 솔루션의 제1회째의 반복을 구하는 단계, 및 상기 물체의 경계를 추출하기 위하여 상기 다이내믹 모델 솔루션의 적어도 한번의 후속되는 반복을 완료하는 단계를 포함한다.
본 발명은 예를 들어 예시되며 첨부 도면과 함께 다음의 설명을 참조함으로써 보다 잘 이해될 것이다.
도 1은 배경 영역으로부터 이동 물체 경계를 추출하는 방법의 예를 도시한다.
도 2는 다이내믹 모델을 이용하여 성장된 경계 필드의 예를 도시한다.
도 3a는 하나의 참조 화상을 다이내믹 모델로 이용할 때 발생할 수 있는 폐색의 예를 도시하며,
도 3b, 도 3c 및 도 3d는 다수의 참조 화상을 다이내믹 모델로 이용할 때 폐색을 방지하는 예를 도시한다.
도 4는 배경 움직임 필드에 대한 가설을 생성하는 방법의 예를 도시한다.
도 5는 물체 움직임 필드에 대한 가설을 생성하는 방법의 예를 도시한다.
도 6은 경계 필드 및 법선 벡터의 일부의 예를 도시한다.
도 7은 화상 커플링 드라이빙 항(image coupling driving term)의 효과의 예를 도시한다.
도 8은 물체의 출현 경계 필드의 예와 국부 경계 움직임 벡터를 도시한다.
도 9는 이동 물체 경계를 추출하는 방법을 이용하는 비디오 데이터의 화상(또는 프레임, 또는 필드)를 인코딩하는 비디오 코딩의 예를 도시한다.
도 10은 비디오 데이터의 화상(또는 프레임, 또는 필드)를 디코딩하는 예를 도시한다.
도 11은 이동 물체 경계를 추출하는 방법을 이용하는 시스템의 예를 도시한다.
다음의 설명에서, 본 명세서의 일부를 구성하는 첨부 도면이 참조되며, 첨부 도면에서 본 발명이 실시될 수 있는 특정 실시예가 예시적으로 도시된다. 다른 실시예들이 이용될 수 있으며 본 발명의 범주를 일탈함이 없이도 구조적인 변경이 이루어질 수 있음은 물론이다. 예를 들어, 숙련된 기술자들은 여러 실시예들을 기술하는데 사용되는 필드(field), 프레임(frame) 또는 화상(image) 이라는 용어가 비디오 데이터를 지칭하여 사용될 때 통상 상호 대체될 수 있음을 이해할 것이다.
물체 추출 방법은 다이내믹 모델(dynamical model)을 이용하여 물체의 경계를 발전시킴으로써 비디오 화상에 표현된 이동 전경 물체(moving foreground object)의 윤곽을 추정한다. 다이내믹 모델은 간결하고 일관된 구조가 발생하도록 해준다. 몇몇 실시예에서, 다이내믹 모델은 아무 구속없는 또는 파라미터화된 경계 모델이 필요하도록 화상 내 각 화소에서 규정된 2차원 경계 필드를 사용하여 물체 경계를 추출한다. 다이내믹 모델은 또한 국부 물체 움직임 필드를 사용하여 물체의 일정하지 않은 움직임(non-grid motion)을 설명하는 경계를 따라서 있는 움직임 벡터를 제공한다. 다이내믹 모델은 확산항(diffusion term)과 어닐링항 (annealing term)을 통합하여 경계를 화상 구배 특징과 결합한다. 물체 추출 방법은 폐색(occlusion)에 의해 야기된 에러를 최소화하기 위해 과거와 미래의 예측 에러의 가설 시험(hypothesis testing)을 실행한다. 이 방법은 물체의 경계에 있는 물체 움직임 벡터가 더욱 복잡한 국부 물체 움직임을 다룰 수 있게 해준다. 이 방법은 움직임 영역분할(motion segmentation) 또는 비디오 코딩 용도로 사용되어 타겟 화상의 개선된 시간 예측을 위해 움직임 벡터를 샘플링할 수 있다.
배경 영역으로부터 이동 물체 경계를 추출하는 방법의 일예는 도 1에 도시된 바와 같이 배경으로부터 단일 물체의 윤곽을 추출하는 것이다. 참조번호(110)에서 다이내믹 모델이 규정된다. 참조번호(120)에서 경계 필드에 대한 초기 시드(seed)가 타겟 화상의 영역에 배치된다. 참조번호(125)에서 움직임 벡터의 초기값이 결정된다. 참조번호(130)에서, 다이내믹 모델의 상태가 한 시간 스텝씩 진행하여 경계 필드를 발전시킨다. 참조번호(140)에서, 배경과 이동 물체를 나타내는 움직임 벡터들이 재추정된다. 참조번호(150)에서, 본 방법은 정지 기준(stopping criterion)에 도달했는지를 판단한다. 그렇다면, 본 방법은 160에서 종료한다. 그렇지 않다면, 본 방법은 130으로 리턴된다.
경계 필드의 다이내믹 모델( Dynamical Model for the Boundary Field )
2차원 경계 필드 B(x,y)의 다이내믹 모델이 규정되며, 여기서 B는 화상 내 위치(x,y)에서의 화소값이다. B가 양의 값이면 대응하는 화소가 물체 내에 존재함을 나타내며, 음의 값은 그 화소가 배경에 존재함을 나타낸다. 본 방법은 B(x,y)라는 초기 조건에서 시작하며 경계 필드를 반복적으로 발전시켜 보다 나은 물체 경계를 추정한다.
몇몇 실시예에서, 본 방법은 다이내믹 모델을 수치적으로 해석하고 이를 시간에 맞추어 진행시킴으로써 경계 필드를 발전시킨다. 그 다음에 경계 필드는 시간의 함수 B(x,y,t)로서 표현되며, 여기서 초기 조건 B0(x,y)는 아래와 같도록 초기 시간 0에서 시작한다.
Figure 112008026790286-pct00001
초기 조건은 물체내에 영역이 있는 경우 다음과 같으며,
Figure 112008026790286-pct00002
두 상태 사이에서 점진적으로 전이가 이루어지는 경우라면, 다음과 같다.
Figure 112008026790286-pct00003
초기 조건은, 물체 경계에 관한 사전 지식이 이용가능하다면, 그 사전지식으로 시드를 공급하여 성능을 향상시킬 수 있다. 몇몇 실시예에서, 경계 필드의 초기값은 다음과 같다.
Figure 112008026790286-pct00004
여기서, (x0,y0)는 시드의 중앙이고,
Figure 112008026790286-pct00005
는 시드의 크기를 나타낸다.
본 방법은 하기 발전 방정식을 이용하여 경계 필드 B(x,y)의 구배
Figure 112011060315225-pct00006
주변의 시드를 성장시키며, 여기서, B(x,y)~0이고, 하기의 수학식을 이용하여 다이내믹 모델을 발전시킨다.
Figure 112008026790286-pct00007
삭제
Figure 112008026790286-pct00008
여기서 T는 복합 드라이빙 항(composite driving term)이며, τ는 시간 t에서 t+τ 까지의 상태로 진행하는 시간 스텝 파라미터이다. 본 방법은 컨버전스(convergence)와 같은 정지 기준에 도달할 때까지 반복된다.
다이내믹 모델에 따라 성장된 경계 필드의 일예는 도 2에 도시된다. 타겟 화상은 블록(205)에서 도시된다. 타겟 화상(205) 내 물체(202)의 경계를 결정하기 위하여, 블록(210)에서 도시된 바와 같이 시드(212)가 타겟 화상 내에 배치된다. 물체(204)의 경계를 결정하기 위하여, 블록(210)에서 도시된 바와 같이 시드(214)가 타겟 화상 내에 배치된다. 블록(220 및 230)에서 도시된 바와 같이 시드(212)의 경계가 발전되어, 흰색 영역(222)으로 표시된 물체 영역을 형성한다. 마찬가지로, 시드(214)의 경계가 발전되어, 회색 영역(224)으로 표시된 물체 영역을 형성한다. 블록(230)에서 도시된 바와 같이, 시드(214)로부터 결정된 전체 회색 물체 영역(234)은 보다 큰 부분뿐만 아니라 보다 큰 부분 내의 배경 영역에 연결되지 않은 보다 작은 부분을 갖는다. 마찬가지로, 흰색 영역으로 표시된 전체 물체 영역(232)은 약간의 연결되지 않은 부분을 갖는다. 아래에서 설명되는 안전성 드라이빙 항(stability driving term)이 사용되어 연결되지 않은 영역을 조절한다. 물체(202) 전체의 경계(242)는 블록(240)에서 도시된 바와 같이 캡쳐된다. 마찬가지로, 물체(204) 전체의 경계(244)가 캡쳐될 때까지 시드(214)의 경계가 발전된다.
수학식(2)에서 복합 드라이빙 항 T는 예측 에러, 안정성, 커플링, 및 템플릿 드라이빙 항과 같은 항들의 조합이다.
Figure 112008026790286-pct00009
각각의 가중치 {λi}는 대응하는 드라이빙 항의 상대 세기를 결정한다. 과거/미래 예측 에러 드라이빙 항은 과거 및 미래 참조 화상 처리에서 발생한 에러를 포함한다. 이 드라이빙 항은, 아래에서 설명되는 바와 같이, 폐색 및 가리지 않은 영역을 설명하는 가설 시험 방법 동안 고려된다. 안전성 드라이빙 항 Tstability 는 추출된 움직임 층들이 어느 정도의 간결성(compactness)을 가지며 추출된 이동 물체 경계가 어느 정도의 연결성(connectivity)을 가지도록 B(x,y)가 평활성을 유지하는데 사용된다. 결합 드라이빙 항 Timage_coupling 은 화상 내에서의 공간 활동(spatial activity)과 관련된다. 예를 들어, 물체는 물체 경계와 화상 구배 간의 상관관계와 같은 국부적인 공간 활동과 상관관계를 가질 수 있다. 드라이빙 항 Ttemporate 은 이용가능하다면 화상 내 경계에 관한 기존 지식을 고려한다.
수학식(3)으로부터의 드라이빙 항들의 표현을 수학식(2)의 다이내믹 모델에 삽입하면 다음과 같다.
Figure 112008026790286-pct00010
Figure 112008026790286-pct00011
과거 및 미래 예측 에러 드라이빙 항( Past and Future Prediction Error Driving Term )
과거 및 미래 예측 에러 드라이빙 항은 어떤 화소 위치에서 물체 움직임 벡터를 이용하는 것과 배경 움직임 벡터를 이용하는 것 간의 예측 에러 차를 나타낸다. 배경 움직임 벡터의 추정은 Vb(x,y)로 표시되고 물체 움직임 벡터는 V0(x,y)로 표시된다. 이러한 드라이빙 항은 다음과 같이 표현된다.
Figure 112008026790286-pct00012
여기서
Figure 112008026790286-pct00013
는 움직임 벡터 V0(x,y)가 사용될 때 어떤 화소 위치에서의 예측 에러이며,
Figure 112008026790286-pct00014
는 움직임 벡터 Vb(x,y)가 사용될 때 화소 위치에서의 예측 에러이다. 이 항을 수학식(3)의 다이내믹 모델에 대입하면 이 항은 다음과 같이 된다.
Figure 112008026790286-pct00015
그러므로, 화소 위치(x,y)에서, 만일 물체 움직임 벡터가 사용될 때 (즉,
Figure 112011060315225-pct00016
가 양의 값일 때) 예측 에러가 더 작다면, 시간 유도함수가 양의 값이므로 B(x,y)는 증가하며, 화소는 물체를 향해 이동하여, B(x,y)가 양의 값인 화소 위치로서 표현된다. 마찬가지로, 화소 위치(x,y)에서, 배경 움직임 벡터가 사용될 때 (즉,
Figure 112011060315225-pct00017
가 음의 값일 때) 예측 에러가 더 작다면, 시간 유도함수가 음의 값이므로 B(x,y)는 감소하며, 화소는 배경을 향해 이동하여, B(x,y)가 음의 값인 화소 위치로서 표현된다.
만일 참조 화상에서 폐색이 존재하는 경우에는 예측 에러가 증가한다. 도 3A는 단지 하나의 참조 화상이 과거 또는 미래의 화상으로 사용될 때 경계 추출 방법에 의해 생성된 폐색의 예를 도시한다. 블록(310)에서, 타겟 화상은 과거 참조 화상 내에서는 물체(315)에 의해 가려지지만 타겟 화상 내에서는 물체(315)에 의해 가려지지 않는 화소들의 폐색 영역(317)을 갖는다. 과거 참조 화상에 의존하는 폐색 영역의 결과로서, 이동 물체의 경계를 추출할 때 하나의 과거 참조 필드가 다이내믹 모델을 반복적으로 해석하기 위해 사용되었기 때문에 폐색 영역(317)에 근접한 진짜 물체 경계와의 대응이 잘못된 이동 물체 경계가 있다. 폐색의 생성을 방지하기 위하여, 폐색 영역(317) 내의 화소들이 미래 참조 화상 내에서 물체(315)에 의해 가려지지 않기 때문에 폐색 영역 내 화소들을 예측하기 위해서는, 이용가능하다면, 미래 참조 화상이 사용되어야 한다. 마찬가지로, 블록(320)에서, 폐색 영역(327)은 타겟 화상 내에서는 물체(315)에 의해 가려지지 않지만 미래 참조 화상 내에서는 물체(315)에 의해 가려지는 영역이다. 그 결과는, 이동 물체의 경계를 추출할 때 다이내믹 모델을 반복적으로 해석하기 위하여 단지 하나의 미래 참조 필드가 사용될 때 폐색 영역(327)에 근접한 진짜 물체 경계와 대응이 잘못된 이동 물체 경계이다. 그러므로, 이용가능하다면, 폐색 영역(327) 내 화소들을 예측하기 위하여 과거 참조 화상이 사용되어야 한다.
도 3a에 도시된 폐색 영역은 도 3b, 도 3c 및 도 3d에 도시된 바와 같이, 이동 물체 경계를 추출할 때 과거 및 미래 참조 화상 둘다를 사용함으로써 방지될 수 있다. 폐색을 처리하기 위하여, 과거 및 미래 움직임 정보가 사용된다. 다이내믹 모델의 반복 동안 언제라도, 물체의 성장 상태와, 물체 및 배경의 움직임은 어떤 화소들이 움직임 추정을 위해 과거 또는 미래 참조 화상을 사용하여야 하는지를 판단하기 위해 이용된다. 도 3b에 도시된 바와 같이, 미래 참조 화상(330) 및 과거 참조 화상(350)은 타겟 화상(340) 내의 이동 물체의 경계를 추출하는데 사용된다. 도 3c에 도시된 바와 같이, 다이내믹 모델은 블록(370)의 검은색 영역(341)에서 초기화되어 검은색 사각형으로 표시된 배경 영역 및 이동 물체의 경계 내 시드(342)를 생성한다. 블록(380)에서 도시된 바와 같이, 다이내믹 모델은 반복적으로 해석되어 이동 물체의 경계를 확장하여 이동 물체 영역(344)을 생성한다. 이동 물체는 타겟 화상의 우측을 향하고 있는 물체의 움직임을 보여주는 움직임 벡터(346)를 갖는다. 그러므로, 폐색 영역의 생성을 회피하기 위하여, 다이내믹 모델은 미래 참조 화상(330)을 이용하여, 점선(347) 좌측의 영역(381)에 대한 움직임 벡터 및 예측 에러를 추정하고, 과거 참조 화상(350)을 이용하여 점선(347) 우측의 영역(382)에 대한 움직임 벡터 및 예측 에러를 추정한다. 몇몇 실시예에서, 과거 참조 화상 또는 미래 참조 화상 중 어느 화상을 사용할 지의 여부는 아래에서 설명되는 바와 같이, 배경 및 물체 움직임 벡터에 대하여 가설 시험을 수행함으로써 각 화소마다 결정된다. 최종 결과는 도 3D에서 물체를 중심으로 흰색 선들로 표시된 추출된 경계(349)로서 도시되며, 이 결과는 폐색 영역 없이 생성된 것으로 보다 양호한 품질의 추출을 나타낸다.
과거 또는 미래 참조 필드를 사용할 지의 여부에 관한 보다 상세한 화소별 결정은 아래와 같이 예측 에러 드라이빙 항을 확장함으로써 이루어진다.
Figure 112008026790286-pct00018
여기서 vhyp는 화소 위치(x,y)에서 움직임 벡터에 대한 가설을 나타낸다. 배경 움직임 벡터에 대한 가설 시험은 도 4에 도시된 바와 같이 수행된다. 과거 또는 미래 참조 화상을 이용하여, 물체의 움직임 벡터는
Figure 112011060315225-pct00019
또는
Figure 112011060315225-pct00020
로 표시된다. 과거 또는 미래 참조 화상을 이용하여, 배경의 움직임 벡터는
Figure 112011060315225-pct00021
또는
Figure 112011060315225-pct00022
로 표시된다. 과거 또는 미래 참조 화상을 이용하여, 배경의 움직임 벡터는
Figure 112011060315225-pct00023
또는
Figure 112011060315225-pct00024
로 표시된다. 참조번호(410)에서, 만일 움직임 벡터
Figure 112011060315225-pct00025
가 현재 물체 상태 및 움직임과 일치하고
Figure 112011060315225-pct00026
가 일치하지 않으면, 참조번호(415)에서
Figure 112011060315225-pct00027
를 선택한다. 그렇지 않으면, 참조번호(420)에서, 만일 움직임 벡터
Figure 112011060315225-pct00028
가 현재 물체 상태 및 움직임과 일치하지 않고,
Figure 112011060315225-pct00029
가 일치하면, 참조번호(425)에서
Figure 112011060315225-pct00030
를 선택한다. 그렇지 않고, 만일 두 움직임 벡터가 일치한다면, 참조번호(435)에서 최소 예측 에러를 갖는 움직임 벡터를 선택한다.
Figure 112008026790286-pct00031
전경 물체 움직임 벡터에 대한 가설 시험은 도 5에 도시된 바와 같이 수행된다. 참조번호(505)에서, 경계 필드 B(x,y)의 값이 수신된다. 참조번호(510)에서, B(x,y)≥S 인지를 판단한다. 그렇다면, 참조번호(520)에서,
Figure 112011060315225-pct00032
Figure 112011060315225-pct00033
,
Figure 112011060315225-pct00034
를 선택한다. 그렇지 않다면, 참조번호(530)에서,
Figure 112011060315225-pct00035
,
Figure 112011060315225-pct00036
를 선택한다. 따라서, 만일 화소(x, y)에서 현재 상태가 화소가 물체 내에 있을 가능성이 있음을 의미하는 B(x,y)≥S이 되게 하는 값을 가지면, 본 방법은
Figure 112011060315225-pct00037
을 이용하여 물체 움직임 벡터의 더 작은 예측 에러를 선택하는데, 이것은 물체 성장에 도움을 준다. 한편, 만일 화소(x,y)에서 현재 상태가 화소가 배경에 더욱 더 존재할 가능성이 있음을 의미하는 B(x,y)<S 이라는 값을 갖는다면, 본 방법은
Figure 112011060315225-pct00038
Figure 112011060315225-pct00039
을 이용하여 배경 성장에 도움이 되도록 하기 위해 물체 움직임 벡터에 대해 더 큰 예측 에러를 선택한다.
본 예에서, 파라미터 S는 0으로 설정되는데, 그 이유는 물체 및 배경이 제로 값의 B(x,y)로 분리되기 때문이다. 물체 또는 배경 움직임 벡터의 가설 선택은 현재 물체 상태 정보와 함께 과거 및 미래 참조 화상 정보를 이용하여, 폐색을 보다 양호하게 처리한다.
안정성 드라이빙 항( Stability Driving Term )
안정성 드라이빙 항은 비선형 모델로부터 간결하고, 안정한 구조가 출현하는 것을 가능하게 하고, 이 항은 다음과 같이 표현된다.
Figure 112008026790286-pct00040
여기서
Figure 112008026790286-pct00041
은 경계 필드의 법선 벡터이고, 다음과 같이 규정된다.
Figure 112008026790286-pct00042
이것은 곡선의 법선인 방향이며, 여기서 B(x,y)=상수이다. 이 항을 수학식(3)에 대입하면 다음과 같다.
Figure 112008026790286-pct00043
따라서,
Figure 112011060315225-pct00044
가 제로가 아닌 경우, 경계 근처의 물체의 윤곽이 양의 곡률(즉, 양의 영역으로부터 외부로 향한 형상)을 가지면,
Figure 112011060315225-pct00045
은 양의 값이며, B(x,y)는 감소하여 곡률을 일직선화한다. 마찬가지로,
Figure 112011060315225-pct00046
가 제로가 아닌 경우, 만일 경계 근처의 물체의 윤곽이 음의 곡률(즉, 양의 영역으로부터 내부를 향하는 형상)을 가지면,
Figure 112011060315225-pct00047
은 음의 값이며, B(x,y)는 증가하여 곡률을 일직선화한다.
안전성 드라이빙 항은 물체 경계 토폴로지의 곡률의 정도를 조절한다. 이 항은 윤곽의 길이를 줄이는 확산항(diffusion term)으로서 작용한다. 도 6은 경계 필드(610) 및 법선 벡터(620)의 일부의 예를 도시한다. 안정성 드라이빙 항은 파선(630)으로 도시된 바와 같이 경계 필드의 윤곽을 일직선화한다. 명백한 확산항은 수학식(9)에도 추가되어서, 수학식(10)에서와 같이, 작은 양 또는 음의 영역의 제거(즉, 확산)를 더욱 직접적으로 조절할 수 있다.
Figure 112008026790286-pct00048
수학식(10)의 우측 라플라시안 항(Laplacian term)은 경계 필드를 비교적 부드럽고 동질적으로 만들어준다.
화상 커플링 드라이빙 항( Image Coupling Driving Term )
이동 물체 경계는 어떤 국부적 공간 화상 활동(local spatial image activity)과의 상관관계를 가질 수 있다. 예를 들어, 물체 경계는 대개의 경우 그 경계에 대한 법선의 강도 구배(intensity gradient)를 갖는다. 이러한 형태의 국부적 공간 활동 상관관계는 화상 커플링 드라이빙 항을 이용하는 모델에 포함된다.
Figure 112008026790286-pct00049
여기서
Figure 112011060315225-pct00050
은 경계 필드에 대해 법선이며,
Figure 112011060315225-pct00051
는 화상 강도 구배의 치수이다. 이 항을 수학식(3)에 대입하면 이 팩터는 다음과 같이 된다.
Figure 112008026790286-pct00052
따라서, 만일 화상 구배가 물체 경계의 폭에 근접하다면, 경계는 화상 구배를 따라서 정렬한다. 도 7은 화상 커플링 드라이빙 항의 영향의 예를 도시한다. 경계 곡선(710)의 일부는 강도 구배에서 국부적인 피크와 같은 화상 구조(720)에 가깝다. 화상 커플링 드라이빙 항은 곡선(730) 및 파선(740)으로 도시된 바와 같이 경계를 화상 구조로 유도한다.
템플릿 드라이빙 항( Template Driving Term )
템플릿 드라이빙 항은, 예를 들어, 이전의 시퀀스로부터의 장면 내 물체에 관한 정보를 학습하거나, 또는 물체의 예상된 형태에 관한 과거의 정보를 갖는 실시예에서 사용된다. 이러한 정보는 물체 경계의 템플릿을 제공한다. 물체 경계 템플릿 드라이빙 팩터는 2차원 함수
Figure 112011060315225-pct00053
의 교차점으로 특징지을 수 있다. 템플릿 드라이빙 항은 하기와 같이 표현된다.
Figure 112008026790286-pct00054
그래서, 만일 경계 필드 B(x,y)가 물체 경계 근처의 화소 위치에서의 템플릿
Figure 112011060315225-pct00055
보다 크면, B(x,y)는 감소한다. 마찬가지로, 만일 경계 필드 B(x,y)가 물체 경계 근처의 화소 위치에서의 템플릿
Figure 112011060315225-pct00056
보다 작으면, B(x,y)는 증가한다. 결국,
Figure 112011060315225-pct00057
라는 평형상태에 도달한다.
다이내믹 모델은 수학식(4)에 따라서 공간 2차원 경계 필드 B(x,y)를 발전시킨다. 파라미터
Figure 112011060315225-pct00058
는 각 항의 상대 가중치를 결정한다. 몇몇 실시예에서,
Figure 112011060315225-pct00059
는 초기에 0으로 설정되고 물체 경계가 성장하는 차후 단계에서 더 효과적이 되도록 서서히 증가한다. 대개의 경우, 종종
Figure 112011060315225-pct00060
는 물체 경계에 관한 아무런 과거의 지식도 이용가능하지 않기 때문에 전체 방법 동안 0으로 설정된다. 드라이빙 항들은 경계 필드 B(x,y) 및 움직임 필드의 함수이다. 드라이빙 항들의 비선형 협력 효과는 이동 물체에 대한 경계 필드의 안정적인 발전 및 생성을 고려한다.
다이내믹 모델에서 경계 필드가 갱신됨에 따라, 각 화소 "x" 마다 배경 움직임을 사용하는 것과 물체 움직임을 사용하는 것 간의 예측 에러는 매 반복마다 계산될 필요가 있다. 배경 움직임은 통상 매우 강건하고 안정적이며, 그래서 단일의 배경 움직임은 모든 화소에 사용될 수 있다. 그러나, 몇몇 경우에서, 물체 움직임은 국부적이 아니거나 비강체적인 움직임을 수반할 수 있다. 이러한 경우에, 물체 움직임에 대한 벌크 및 국부적인/경계 움직임 벡터가 몇몇 실시예에서 사용된다.
도 8은 물체에 대해 생성된 경계 필드의 예를 도시한다. 시간 t1 에서, 타겟 화상(800) 내 물체의 식별된 부분은 참조번호(810)로 도시되며, 타겟 화상의 나머지는 배경 영역으로 생각된다. 시간 t2에서 배경 필드가 발전됨에 따라, 식별된 물체 부분은 참조번호(820)에 도시된 바와 같이 성장한다. 경계 움직임 벡터들(830)은 이동 물체의 경계를 따라서 배치되며, 이들 움직임 벡터의 값이 추정된다. 경계 움직임 벡터의 값은 현재 시간 t2에서 물체의 일부로서 식별된 화소를 이용하여 결정된다. 즉, 물체(820)의 식별된 부분 내부의 화소들만이 경계 움직임 벡터(830)를 추정하는데 사용된다. 각각의 경계 움직임 벡터는 경계로부터 기설정 거리 내에 있는 물체의 식별된 부분 내부의 영역을 이용하여 추정된다. 그러므로 각각의 경계 움직임 벡터는 물체의 작은 부분의 움직임을 나타낸다. 물체의 벌크 움직임 벡터, Vbulk는 식별된 부분의 화소를 이용하여 추정되어 물체 전체의 전체 움직임을 나타낸다.
일반적으로, 벌크 움직임 벡터 Vbul k 는 물체 내 각 화소의 물체 움직임을 나타내는데 사용될 수 있다. 물체의 여러 부분들이 상이한 방향으로 움직이는 비강체적인 움직임을 처리하기 위하여, 경계를 따른 화소의 경우, 그 화소에 근접하거나, 그와 국부적인 공간 상관관계를 갖는 경계 움직임 벡터를 물체 움직임을 나타내는데 사용할 수 있다. 예를 들어, 만일 물체가 사람이라면, 벌크 움직임 벡터는 사람이 우측으로 움직이고 있음을 나타낼 수 있고, 사람의 손을 따른 경계 움직임 벡터는 손이 벌크 움직임 벡터에 대해 좌측으로 움직이고 있음을 나타낼 수 있다.
일 실시예에서, 경계 추출 방법은 도 9에 도시된 바와 같이 비디오 데이터의 화상(또는 프레임, 또는 필드)을 인코딩하기 위한 비디오 코딩에 사용된다. 참조번호(910)에서, 인코더는 입력 타겟 화상을 수신한다. 타겟 화상과 관련된 디코드된 화상 데이터를 포함하는 한 세트의 참조 화상은 인코딩 프로세스 동안 인코더에서 이용가능하며, 디코딩 프로세스 동안 디코더에서도 이용가능하다. 참조번호(915)에서, 이동 물체 경계가 추출된다. 참조번호(920)에서, 인코더는 타겟 화상과 연관된 움직임 벡터들의 불규칙 샘플링 또는 분포를 생성한다. 참조번호(930)에서, 샘플링 패턴 정보(예컨대, 패턴을 나타내는 비트)는 디코더로 전송된다.
참조번호(940)에서, 시간 예측 필터링 프로세스가 불규칙 움직임 샘플링 패턴에 적용된다. 이러한 적응적인 필터링 프로세스는 움직임 벡터, 불규칙 샘플링 패턴, 및 참조 화상을 이용하여 타겟 화상의 예측을 생성한다. 참조번호(950)에서, 움직임 벡터값들이 코드화되어 디코더로 전송된다. 참조번호(960)에서, 타겟 화상의 실제 타겟 데이터에서 적응적 필터링 프로세스로부터의 예측 에러를 감산한 나머지가 생성된다. 참조번호(970)에서 나머지가 코드화되고, 참조번호(980)에서 디코더로 전송된다.
또 다른 실시예에서, 움직임 벡터의 적응적 샘플링 패턴은 도 10에 도시된 바와 같이, 비디오 데이터의 화상(또는 프레임 또는 화상)을 디코드하는데 사용된다. 참조번호(1010)에서, 인코드된 나머지가 수신된다. 참조번호(1020)에서, 디코더는 수신된 인코드된 나머지를 디코드한다. 참조번호(1030)에서, 디코더는 샘플 패턴 정보, 참조 화상, 및 움직임 벡터값들을 수신한다. 그런 다음, 참조번호(1040)에서, 디코더는 적응적 시간 필터 절차를 적용하여 시간 예측을 생성한다. 참조번호(1050)에서, 디코드된 나머지를 시간 예측에 가산함으로써 디코드된 타겟 화상이 생성된다.
도 11은 적응형 영향 영역 필터를 이용하는 시스템의 일례를 도시한다. 디지털 비디오 카메라(1110)는 전자적 형태로 화상을 캡쳐하고, 압축 및 인코딩 프로세스 동안 움직임 벡터 선택 방법을 이용하는 압축 장치(1120)를 이용하여 이 화상을 처리한다. 인코드된 화상은 전자 전송 매체(1130)를 통해 디지털 재생 장치(1140)로 전송된다. 이 화상은 디코딩 프로세스 동안 필터를 이용하는 디코딩 장치(1150)에 의해 디코드된다. 카메라(1110)는 본 발명의 실시예들을 포함하는 각종 화상 처리 장치(예를 들어, 다른 화상 캡쳐 장치, 화상 편집기, 화상 프로세서, 개인용 및 상업용 컴퓨팅 플랫폼 등)의 실례이다. 마찬가지로, 디코딩 장치(1150)는 화상 데이터를 디코드하는 각종 장치의 실례이다.
본 발명이 특정 시스템 환경에서의 실시예의 관점에서 설명되었지만, 본 기술 분야에서 통상의 지식을 갖는 자들은 첨부된 특허청구범위의 사상과 범주 내에서 다른 그리고 상이한 하드웨어 및 소프트웨어 환경에서 본 발명이 변형 실시될 수 있음을 인식할 것이다.

Claims (42)

  1. 전자 데이터 프로세서에 의해 실행되는, 이동 물체 경계 추출 방법으로서,
    타겟 화상과 참조 화상간의 위치의 변동에 의해 움직임이 표현되는 물체에 대한 초기 움직임 벡터를 추정하는 단계와,
    상기 물체가 나타나 움직이는 배경 영역에 대한 초기 벡터를 추정하는 단계와,
    상기 추정된 벡터를 이용하는, 물체의 움직임 벡터 및 배경 영역의 움직임 벡터에 대한 예측 에러 추정 과정을 포함하는 다이내믹 모델의 적어도 한번의 반복을 계산하는 단계와 - 상기 타겟 화상 내의 화소가 미래의 참조 프레임에 대하여 추정된 폐색 영역에 근접하면 과거의 참조 프레임을 이용하여 예측 에러를 추정하고, 상기 타겟 화상 내의 화소가 상기 과거의 참조 프레임에 대하여 추정된 폐색 영역에 근접하면 상기 미래의 참조 프레임을 이용하여 예측 에러를 추정함 -,
    물체 움직임 필드에 대한 가설 시험 절차(hypothesis testing procedure)를 이용하는 단계 - 상기 타겟 화상 내의 픽셀이 임계치보다 크거나 같은 경계 필드 내의 대응 값을 가지면, 물체 가설은 과거 화상 물체 움직임 벡터 및 미래 화상 물체 움직임 벡터 중 더 작은 예측 에러를 갖는 물체 움직임 벡터이고, 상기 타겟 화상 내의 픽셀이 상기 임계치보다 작은 경계 필드 내의 대응 값을 가지면, 물체 가설은 과거 화상 물체 움직임 벡터 및 미래 화상 물체 움직임 벡터 중 더 큰 예측 에러를 갖는 물체 움직임 벡터임 -,
    상기 물체 움직임 필드에 대한 가설 시험 절차를 이용하여 결정된 물체 움직임 벡터에 기초하여 상기 다이내믹 모델의 적어도 한번의 반복을 이용하여 상기 물체의 경계를 추출하는 단계
    를 포함하는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 다이내믹 모델은 예측 에러 항을 참조하며,
    상기 예측 에러 항은 상기 물체와 연관된 움직임 벡터를 이용하여 구한 예측 에러와 상기 배경 영역과 연관된 움직임 벡터를 이용하여 구한 예측 에러 간의 차를 포함하는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  5. 제1항에 있어서,
    상기 다이내믹 모델은 안정성 항을 참조하며,
    상기 안정성 항은 상기 경계의 곡률(curvature)을 추출하는 것과 연관된 곡률 항을 포함하며,
    상기 안정성 항은 움직이는 상기 물체의 평활도(smoothness) 또는 간결성(compactness)을 추출하는 것과 연관된 확산항(diffusion term)을 포함하는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  6. 제1항에 있어서,
    상기 다이내믹 모델은 화상 커플링 항을 참조하고,
    상기 화상 커플링 항은 상기 물체 경계에 법선인 강도 구배(intensity gradient)와 연관되며,
    상기 강도 구배는 상기 물체에 근접한 상기 타겟 화상의 일부분과 연관되는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  7. 제1항에 있어서,
    상기 다이내믹 모델은 템플릿 항을 참조하며,
    상기 템플릿 항은 템플릿을 움직이는 상기 물체 경계에 제공하는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  8. 삭제
  9. 제1항에 있어서, 상기 예측 에러 추정 과정은 상기 배경 움직임 필드에 대한 가설 시험 절차(hypothesis testing procedure)를 더 포함하고,
    상기 배경 움직임 필드에 대한 가설 시험 절차는,
    상기 물체의 현재 상태와의 일관성에 대해 제1 배경 움직임 필드를 시험하고 - 상기 제1 배경 움직임 필드는 과거의 참조 프레임에 근거함 - ,
    상기 물체의 상기 현재 상태와의 일관성에 대해 제2 배경 움직임 필드를 시험하고 - 상기 제2 배경 움직임 필드는 미래의 참조 프레임에 근거함 - ,
    상기 시험들의 결과를 이용하여 상기 제1 배경 필드 또는 상기 제2 배경 필드를 선택하는 것인, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  10. 제1항에 있어서, 상기 물체 움직임 필드에 대한 가설 시험 절차는,
    Figure 112013109326841-pct00061
    이면,
    Figure 112013109326841-pct00126
    를 선택하고,
    그렇지 않으면
    Figure 112013109326841-pct00063
    를 선택하는 수학식에 의해 나타나고,
    Figure 112013109326841-pct00064
    는 과거 또는 미래의 참조 필드에 근거하는 물체에 대한 움직임 벡터를 나타내고, ε은 상기 예측 에러를 나타내고,
    Figure 112013109326841-pct00065
    는 상기 움직임 벡터에 대한 가설을 나타내고,
    Figure 112013109326841-pct00066
    는 임계치를 나타내며,
    Figure 112013109326841-pct00067
    는 화소(x, y)에서의 경계 필드 상태를 나타내는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  11. 제1항에 있어서, 상기 다이내믹 모델은,
    Figure 112013047094080-pct00068
    을 포함하고,
    Figure 112013047094080-pct00069
    는 화소(x, y) 마다 시간 t에서의 물체 또는 배경 상태를 규정하는 시간 t에서의 화소(x, y)에서의 경계 필드의 상태를 나타내고, ∇는 상기 경계 필드의 구배를 나타내고, T는 복수의 경계 특징으로부터의 영향을 조합하는 복합 드라이빙 항을 나타내며, τ는 시간 t로부터 t+τ로 상태를 진행시키는 시간 스텝 파라미터를 나타내는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  12. 제11항에 있어서,
    T는,
    Figure 112013047094080-pct00070
    로서 정의되고,
    Figure 112013047094080-pct00071
    는 가중 팩터를 나타내고,
    Figure 112013047094080-pct00072
    는 예측 에러 항을 나타내고,
    Figure 112013047094080-pct00073
    는 안정성 항을 나타내고,
    Figure 112013047094080-pct00074
    은 화상 커플링 항을 나타내고,
    Figure 112013047094080-pct00075
    는 템플릿 항을 나타내는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  13. 제1항에 있어서,
    상기 다이내믹 모델의 특정 횟수의 반복을 완료한 이후 상기 물체에 대한 제2 움직임 벡터를 추정하는 단계와,
    상기 다이내믹 모델의 상기 특정 횟수의 반복을 완료한 이후 상기 배경 영역에 대한 제2 움직임 벡터를 추정하는 단계를 더 포함하는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  14. 제13항에 있어서,
    상기 물체 및 상기 배경 영역에 대한 제2 움직임 벡터를 추정하는 단계는,
    상기 물체의 움직임을 나타내는 벌크 움직임 벡터 및 국부 경계 움직임 벡터를 추정하는 단계와,
    상기 추정된 국부 경계 움직임 벡터를 이용하여 비강체적인 움직임(non-rigid motion)을 갖는 상기 물체 내 영역들에 근접한 화소들에 대해 다이내믹 모델에서의 예측 에러 항을 계산하는 단계를 포함하는, 전자 데이터 프로세서에 의해 실행되는, 전자 데이터 프로세서에 의해 실행되는 이동 물체 경계 추출 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 이동 물체 경계 추출 장치로서,
    마이크로프로세서를 포함하며,
    상기 마이크로프로세서는 타겟 화상과 참조 화상 간의 위치의 변동에 의해 움직임이 표현되는 물체에 대한 초기 움직임 벡터를 추정하고,
    상기 물체가 나타나 움직이는 배경 영역에 대한 초기 벡터를 추정하고,
    상기 추정된 벡터를 이용하는, 물체의 움직임 벡터 및 배경 영역의 움직임 벡터에 대한 예측 에러 추정 과정을 포함하는 다이내믹 모델의 적어도 한번의 반복을 계산하고 - 상기 타겟 화상 내의 화소가 미래의 참조 프레임에 대하여 추정된 폐색 영역에 근접하면 과거의 참조 프레임을 이용하여 예측 에러를 추정하고, 상기 타겟 화상 내의 화소가 상기 과거의 참조 프레임에 대하여 추정된 폐색 영역에 근접하면 상기 미래의 참조 프레임을 이용하여 예측 에러를 추정함 -,
    물체 움직임 필드에 대한 가설 시험 절차를 이용하고 - 상기 타겟 화상 내의 픽셀이 임계치보다 크거나 같은 경계 필드 내의 대응 값을 가지면, 물체 가설은 과거 화상 물체 움직임 벡터 및 미래 화상 물체 움직임 벡터 중 더 작은 예측 에러를 갖는 물체 움직임 벡터이고, 상기 타겟 화상 내의 픽셀이 상기 임계치보다 작은 경계 필드 내의 대응 값을 가지면, 물체 가설은 과거 화상 물체 움직임 벡터 및 미래 화상 물체 움직임 벡터 중 더 큰 예측 에러를 갖는 물체 움직임 벡터임 -,
    상기 물체 움직임 필드에 대한 가설 시험 절차를 이용하여 결정된 물체 움직임 벡터에 기초하여 상기 다이내믹 모델의 적어도 한번의 반복을 이용하여 상기 물체의 경계를 추출하는, 이동 물체 경계 추출 장치.
  30. 삭제
  31. 삭제
  32. 제29항에 있어서,
    상기 다이내믹 모델은 예측 에러 항을 참조하며,
    상기 예측 에러 항은 상기 물체와 연관된 움직임 벡터를 이용하여 구한 예측 에러와 상기 배경 영역과 연관된 움직임 벡터를 이용하여 구한 예측 에러 간의 차를 포함하는, 이동 물체 경계 추출 장치.
  33. 제29항에 있어서,
    상기 다이내믹 모델은 안정성 항을 참조하며,
    상기 안정성 항은 상기 경계의 곡률(curvature)을 추출하는 것과 연관된 곡률 항을 포함하며,
    상기 안정성 항은 움직이는 상기 물체의 평활도(smoothness) 또는 간결성(compactness)을 추출하는 것과 연관된 확산항(diffusion term)을 포함하는, 이동 물체 경계 추출 장치.
  34. 제29항에 있어서,
    상기 다이내믹 모델은 화상 커플링 항을 참조하고,
    상기 화상 커플링 항은 상기 물체 경계에 법선인 강도 구배(intensity gradient)와 연관되며,
    상기 강도 구배는 상기 물체에 근접한 상기 타겟 화상의 일부분과 연관되는, 이동 물체 경계 추출 장치.
  35. 제29항에 있어서,
    상기 다이내믹 모델은 템플릿 항을 참조하며,
    상기 템플릿 항은 템플릿을 이동하는 상기 물체 경계에 제공하는, 이동 물체 경계 추출 장치.
  36. 삭제
  37. 제29항에 있어서, 상기 예측 에러 추정 과정은 상기 배경 움직임 필드에 대한 가설 시험 절차(hypothesis testing procedure)를 포함하고,
    상기 배경 움직임 필드에 대한 가설 시험 절차는,
    상기 물체의 현재 상태와의 일관성에 대해 제1 배경 움직임 필드를 시험하고 - 상기 제1 배경 움직임 필드는 과거의 참조 프레임에 근거함 - ,
    상기 물체의 상기 현재 상태와의 일관성에 대해 제2 배경 움직임 필드를 시험하고 - 상기 제2 배경 움직임 필드는 미래의 참조 프레임에 근거함 - ,
    상기 시험들의 결과를 이용하여 상기 제1 배경 필드 또는 상기 제2 배경 필드를 선택하는 것인, 이동 물체 경계 추출 장치.
  38. 제29항에 있어서, 상기 물체 움직임 필드에 대한 가설 시험 절차는,
    Figure 112013109326841-pct00091
    이면,
    Figure 112013109326841-pct00127
    를 선택하고,
    그렇지 않으면
    Figure 112013109326841-pct00093
    를 선택하는 수학식에 의해 나타나고,
    Figure 112013109326841-pct00094
    는 과거 또는 미래의 참조 필드에 근거하는 물체에 대한 움직임 벡터를 나타내고, ε은 상기 예측 에러를 나타내고,
    Figure 112013109326841-pct00095
    는 상기 움직임 벡터에 대한 가설을 나타내고,
    Figure 112013109326841-pct00096
    는 임계치를 나타내며,
    Figure 112013109326841-pct00097
    는 화소(x, y)에서의 경계 필드 상태를 나타내는 이동 물체 경계 추출 장치.
  39. 제29항에 있어서, 상기 다이내믹 모델은,
    Figure 112013047094080-pct00098
    을 포함하고,
    Figure 112013047094080-pct00099
    는 시간 t에서의 화소(x,y)에서의 경계 필드의 상태를 나타내고, ∇는 상기 경계 필드의 구배를 나타내고, T는 복수의 경계 특징으로부터의 영향을 조합하는 복합 드라이빙 항을 나타내며, τ는 시간 t로부터 t+τ로 상태를 진행시키는 시간 스텝 파라미터를 나타내는, 이동 물체 경계 추출 장치.
  40. 제39항에 있어서,
    T는,
    Figure 112013047094080-pct00100
    로서 정의되고,
    Figure 112013047094080-pct00101
    는 가중 팩터를 나타내고,
    Figure 112013047094080-pct00102
    는 예측 에러 항을 나타내고,
    Figure 112013047094080-pct00103
    는 안정성 항을 나타내고,
    Figure 112013047094080-pct00104
    은 화상 커플링 항을 나타내고,
    Figure 112013047094080-pct00105
    는 템플릿 항을 나타내는, 이동 물체 경계 추출 장치.
  41. 제29항에 있어서, 상기 마이크로프로세서는,
    상기 다이내믹 모델의 특정 횟수의 반복을 완료한 이후 상기 물체에 대한 제2 움직임 벡터를 추정하고, 상기 다이내믹 모델의 상기 특정 횟수의 반복을 완료한 이후 상기 배경 영역에 대한 제2 움직임 벡터를 추정하는, 이동 물체 경계 추출 장치.
  42. 제41항에 있어서, 상기 마이크로프로세서는,
    상기 물체의 움직임을 나타내는 벌크 움직임 벡터 및 국부 경계 움직임 벡터를 추정하고, 상기 추정된 국부 경계 움직임 벡터를 이용하여 비강체적인 움직임을 갖는 상기 물체 내 영역들에 근접한 화소들에 대해 다이내믹 모델에서의 예측 에러 항을 계산함으로써 상기 물체 및 상기 배경 영역에 대한 제2 움직임 벡터를 추정하는, 이동 물체 경계 추출 장치.
KR1020087009016A 2005-09-16 2006-09-14 이동 물체 경계 추출 KR101396618B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/229,285 2005-09-16
US11/229,285 US7596243B2 (en) 2005-09-16 2005-09-16 Extracting a moving object boundary
PCT/US2006/036121 WO2007035538A2 (en) 2005-09-16 2006-09-14 Extracting a moving object boundary

Publications (2)

Publication Number Publication Date
KR20080063770A KR20080063770A (ko) 2008-07-07
KR101396618B1 true KR101396618B1 (ko) 2014-05-21

Family

ID=37884183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087009016A KR101396618B1 (ko) 2005-09-16 2006-09-14 이동 물체 경계 추출

Country Status (6)

Country Link
US (1) US7596243B2 (ko)
EP (1) EP1946244A4 (ko)
JP (1) JP5312942B2 (ko)
KR (1) KR101396618B1 (ko)
CN (1) CN101283364B (ko)
WO (1) WO2007035538A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026606A1 (en) * 1999-03-11 2011-02-03 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
RU2225035C1 (ru) * 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors
US8300949B2 (en) 2010-05-18 2012-10-30 Sharp Laboratories Of America, Inc. Edge detection technique having improved feature visibility
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
WO2012128242A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
AU2014216000A1 (en) 2014-08-22 2016-03-10 Canon Kabushiki Kaisha A non-uniform curve sampling method for object tracking
WO2016076449A1 (en) * 2014-11-11 2016-05-19 Movon Corporation Method and system for detecting an approaching obstacle based on image recognition
CN105678326B (zh) * 2015-12-31 2019-12-10 华南理工大学 一种基于曲率的二维目标轮廓的编码方法
CN109565595B (zh) * 2016-06-24 2021-06-22 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
CN108242059B (zh) * 2016-12-26 2021-03-12 深圳怡化电脑股份有限公司 图像边界查找方法和装置
US10643336B2 (en) 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN108537234A (zh) * 2018-03-22 2018-09-14 南京邮电大学 基于字典学习的规律背景和矩形目标图像的定界方法
CN110443266B (zh) * 2018-05-04 2022-06-24 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
US10964033B2 (en) * 2018-08-07 2021-03-30 Qualcomm Incorporated Decoupled motion models for object tracking
US11030774B2 (en) * 2019-03-19 2021-06-08 Ford Global Technologies, Llc Vehicle object tracking

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037859A2 (en) * 2000-11-03 2002-05-10 Compression Science Video data compression system

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (ko) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
AU5501296A (en) * 1996-04-19 1997-11-12 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
EP2173103A3 (en) 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US6259802B1 (en) * 1997-06-30 2001-07-10 Siemens Corporate Research, Inc. Object tracking technique using polyline contours
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6263103B1 (en) * 1998-11-30 2001-07-17 Mitsubishi Electric Research Laboratories, Inc. Estimating scenes using statistical properties of images and scenes
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
CN1205818C (zh) 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
JP2005532725A (ja) 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037859A2 (en) * 2000-11-03 2002-05-10 Compression Science Video data compression system

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.-R. Mansouri et al., "Multiple Motion Segmentation with Level Sets," IEEE Tr. Image Processing, vol.12, no.2, pp.201-220, February 2003. *
A.-R. Mansouri et al., "Multiple Motion Segmentation with Level Sets," IEEE Tr. Image Processing, vol.12, no.2, pp.201-220, February 2003.*
N. Paragios et al., "Geodesic active regions and level set methods for motion estimation and tracking," Computer Vision and Image Understanding, Vol.97, Issue 3, pp.259-282, March 2005. *
N. Paragios et al., "Geodesic active regions and level set methods for motion estimation and tracking," Computer Vision and Image Understanding, Vol.97, Issue 3, pp.259-282, March 2005.*
S. Sun et al., "Motion Estimation Based on Optical Flow with Adaptive Gradients," Image Processing, 2000. Proceedings. 2000 International Conference on, Vol.1, pp.852-855, 2000. *
S. Sun et al., "Motion Estimation Based on Optical Flow with Adaptive Gradients," Image Processing, 2000. Proceedings. 2000 International Conference on, Vol.1, pp.852-855, 2000.*

Also Published As

Publication number Publication date
EP1946244A2 (en) 2008-07-23
JP2009509417A (ja) 2009-03-05
WO2007035538A2 (en) 2007-03-29
CN101283364A (zh) 2008-10-08
US7596243B2 (en) 2009-09-29
WO2007035538A3 (en) 2007-12-13
EP1946244A4 (en) 2012-09-19
JP5312942B2 (ja) 2013-10-09
KR20080063770A (ko) 2008-07-07
CN101283364B (zh) 2013-07-10
US20070065025A1 (en) 2007-03-22
WO2007035538A8 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
KR101396618B1 (ko) 이동 물체 경계 추출
US8682063B2 (en) Methods and apparatus for dynamic color flow modeling
KR101266638B1 (ko) 이동 객체 경계용 적응형 영향 영역 필터
KR100256194B1 (ko) 비디오 순차내에서 이동을 추정하는 방법 및 시스템
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
KR100461210B1 (ko) 세그먼트된화상코딩방법과시스템및대응하는디코딩방법과시스템,및코딩된신호를포함하는기록/판독가능매체와코딩된신호를저장하는컴퓨터판독가능저장매체
KR100583902B1 (ko) 이미지세그멘테이션
US9307251B2 (en) Methods and systems for determining data-adaptive weights for motion estimation in a video sequence
KR20000064847A (ko) 이미지 분할 및 대상 트랙킹 방법, 및 대응 시스템
CN116664450A (zh) 基于扩散模型的图像增强方法、装置、设备及存储介质
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
Zuo et al. Minimum spanning forest with embedded edge inconsistency measurement model for guided depth map enhancement
CN111105430A (zh) 基于Landmark单纯形约束的变分水平集图像分割方法
US11570465B2 (en) Machine-learned in-loop predictor for video compression
CN106572351B (zh) 视频编码中的码率控制方法和装置、电子设备以及计算机可读存储介质
CN113902000A (zh) 模型训练、合成帧生成、视频识别方法和装置以及介质
CN112508776A (zh) 动作迁移方法、装置和电子设备
JP3551908B2 (ja) 背景スプライトと前景オブジェクトの分離方法、及びその装置
JP2980810B2 (ja) 動きベクトル探索方法と装置
TWI559750B (zh) 圖元區塊之寫碼方法和裝置及其重建方法和串流解碼裝置
KR20240079660A (ko) 단안 컬러 이미지 기반의 실시간 3d 휴먼 객체 복원 장치 및 방법
CN116246314A (zh) 一种活体检测模型训练和活体检测的方法和装置
Vien et al. Content-Aware Supervision For Diffusion-Based Restoration of Extremely Compressed Background For VCM
JP3988712B2 (ja) 前景の形状マスク抽出方法、及びその装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee