KR20010024435A - 정지 영상 생성 방법 및 장치 - Google Patents

정지 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20010024435A
KR20010024435A KR1020007003692A KR20007003692A KR20010024435A KR 20010024435 A KR20010024435 A KR 20010024435A KR 1020007003692 A KR1020007003692 A KR 1020007003692A KR 20007003692 A KR20007003692 A KR 20007003692A KR 20010024435 A KR20010024435 A KR 20010024435A
Authority
KR
South Korea
Prior art keywords
pixel
video object
still image
circuit
error
Prior art date
Application number
KR1020007003692A
Other languages
English (en)
Inventor
보네트미첼
산즈에스트라다오리올
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010024435A publication Critical patent/KR20010024435A/ko

Links

Classifications

    • G06T3/16—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 연속적인 비디오 오브젝트들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 큰 정지 영상[M(n)]을 생성시키는 방법 및 장치에 관한 것이다. 이 방법은 이전에 생성된 정지 영상[M(n-1)]에 대하여 시퀀스의 현재 비디오 오브젝트[VO(n)]와 관련된 움직임 파라미터들을 추정하며, 상기 추정된 움직임 파라미터들을 사용하여 이 비디오 오브젝트을 왜곡시키며, 상기 왜곡된 비디오 오브젝트을 상기 정지 영상[M(n-1)]과 혼합시키며, 현재 비디오 오브젝트의 각 픽셀에 대하여 상기 왜곡된 비디오 오브젝트와 상기 정지 영상[M(n-1)]사이의 에러에 관련된 가중 계수wWF(n)[x,y]를 계산하며, 상기 혼합 식(formula)은 그 후에 상기 가중 계수를 고려한다. 픽셀에 근거한 가중 맵은 전경(foreground) 오브젝트들에 속하는 영역들을 선택하고 상기 혼합 단계전에 분리체들로서 선택 영역들을 버리도록, 형태 분할에 근거한 공간 필터링 단계에 의해 영역에 근거한 맵으로 변환된다.

Description

정지 영상 생성 방법 및 장치{Static image generation method and device}
MPEG-7(MPEG-7은 몇 년내에 멀티미디어 컨텐츠를 기술하는 일반적인 방법들을 표준화하기 위한 목적을 가진다)의 프레임내에서 표준화될 디스크립터들과 디스크립션 계획들은 텍스트, 컬러, 텍스쳐, 움직임 및 의미(semantic)의 컨텐츠와 같은 다양한 타입들의 특징들에 근거하여 데이터의 빠르고 유효한 검색을 허용할 것이다. 이 MPEG-7 컨텐츠에서, 모자이크는 유요한 역할을 담당할 수 있다. 예를 들어 실제로 M.Irani등에 의한 신호 처리 : 영상 통신, vol.8, 1996, pp.327-351“Efficient representations of video sequences and their applications”라는 논문에서 설명된 바와 같이, 모자이크 영상은 신(scene) 시퀀스에서 모든 프레임들로부터 구성되며, 상기 신이 파노라마처럼 보이게 한다. 예를 들어 이런 파노라마식 조망으로부터 색도 또는 휘도 히스토그램들, 오브젝트 모양들, 글로벌 움직임 파라미터들 등등과 같은 시퀀스의 주요한 특징들을 추출하는 것이 가능하다.
MPEG-4 표준의 환경(context)에 사용되는 바와 같이, 모자이크의 선명도는 스프라이트의 선명도와 비교될 수 있다. 스프라이트는 전체 시퀀스를 통해 가시적인 오브젝트내의 화소(픽셀)들로 구성된 큰 정지 영상이다. 이 정지 영상은 파노라마식 조망을 형성하는데, 이 파노라마식 조망의 몇몇 부분들은 전경(foregroun d) 오브젝트들 또는 카메라 움직임 때문에 몇몇 프레임들에서 가시화 될 수 없다. 전체 시퀀스를 망라한 모든 관련 픽셀들이 수집되면, 완전한 파노라마식 조망(정확하게는 배경 스프라이트로 불림)이 얻어지며, 이는 유효하게 전송(또는 저장)되거나 프레임들의 부분들을 재-생성하기 위해 후에 사용될 수 있다.
예를 들어 문서 WO 98/59497에서 스프라이트의 경우가 기술되며, 이는 모자이크의 경우에 또한 적용될 수 있으며, 3 가지 주요한 단계들이 스프라이트 또는 모자이크를 생성시킬 수 있다( 다음과 같이, 일반적인 용어“정지 영상”이 그러므로 스프라이트 또는 모자이크의 위치에 사용될 것이다). 현재 프레임[F(n)] 또는 현재 프레임[F(n)]내의 비디오 오브젝트들을 정확히 합병시키는 움직임 파라미터들을 찾기 위해서 이전 프레임들 F(1),F(2),...,F(n-1) 또는 그 이전 프레임내의 이전 비디오 오브젝트들로 이미 구성된 정지 영상[M(n-1)]이 첫째로 움직임 추정 단계에 제공된다. 역 파라미터들이 그후에 계산되어, 현재 프레임이 상기 역 파라미터들의 방향으로 보상될 수 있다: 이 제 2 단계는 또한 왜곡 단계라고 불려진다. 왜곡된 현재 프레임[F(n)]은 결국 새로이 부착(accretion)된 정지 영상[M(n)]을 형성하도록 M(n-1)과 혼합되며, 이는 다음 유입 프레임[F(n+1)]과 합병될 것이다.
분리체들(글로벌 움직임을 따르지 않고 자신의 움직임을 가지는 오브젝트들에 대응하는 픽셀들)에게 더 강인함을 보이는 정지 영상 생성 방법이 출원 번호 98401997.6으로 출원자에 의해 이전에 출원된 유럽 특허 출원에서 이미 제안되었다. 문서 WO 98/59497에서 기술된 방법에 대하여, 이는 언급된 왜곡 및 혼합 단계들사이에, 현재 비디오 오브젝트[V0(n)]의 각 화소에 대하여, 각 화소[x,y]에서의 정지 영상[M(n-1)]과 왜곡된 비디오 오브젝트[WVO(n)]사이의 에러에 상관되는 가중 계수[wWF(n)[x,y]]를 계산하는 부가적인 제 4 단계를 포함한다. 새로이 생성된 정지 영상[M(n)]을 결정하기 위해 각 픽셀[x,y]에 대해 그 후에 사용되는 혼합 식이 상기 가중 계수들을 고려한다;
(용어들의 정의는 아래에 주어진다.)
예를 들어 모자이크의 경우에 있어 이 향상된 방법의 구현예에 대한 장치가 도1에 도시된다. 본 발명의 연속적인 프레임들 F(1),F(2),F(3),...,F(i),..., F(n-1),F(n)에서 연속적인 비디오 오브젝트들을 수신하는 움직임 추정 단(11)이 유입 프레임[F(n)]을 메모리(12)에서 유용한 이전에 생성된 모자이크[M(n-1)]와 합병하도록 허용하며 이미 이전 프레임들 F(1)내지 F(n-1)를 통합하는 움직임 파라미터들을 추정한다.
단(11)에서 수행되는 상기 움직임 파라미터들의 추정의 실시예가 예를 들어 문서 EP 0771115(PHF96534)에 기술된다. 이 값들(Dx,Dy)는 한 프레임에서 다른 프레임까지의 움직임 벡터 성분들을 지시하는데, 이 Dx 및 Dy는 x 및 y의 함수이며, 이 x 및 y의 계수들은 요청된 움직임 파라미터들이며, 이는 L(x,y,t)=L(x-Dx, y-Dy,t-1)로 쓰여질 수 있고, 여기서 t=시간, L=주어진 점에서의 휘도이다. 함수들을 규정하는 계수들의 수가 고려된 움직임 모델의 타입에 의존한다(다른 움직임 모델들이 사용될 수 있고, 움직임은 실제로 주어진 수의 점들로 대체시킴에 의해 표현된다. ).
상기 움직임 추정이 일단 행해지면, 모자이크 부착(accretion) 단(13)은 현재 프레임[F(n)]을 왜곡시키며 그것을 모자이크와 혼합시키도록 허용한다. 상기 모자이크 부착 단(13)은 다음의 회로들을 포함한다 : 왜곡 회로(131), 혼합 회로(135), 상기 회로들사이의 픽셀에 근거한 가중 회로, 여기서 상기 가중 회로는 매 픽셀당 수학식2에 의해 주어진 가중 계수 wWF(n)를계산한다.
여기서, ρ는 움직임 추정 단계(11)에서 사용되는 로렌쯔 M-추정량(estimator), r(x,y)는 픽셀(x,y)에서 모자이크와 왜곡된 현재 영상사이의 에러이다. 픽셀에 근거한 가중 회로에 있어서, 전체 에러 맵의 구성은 에러 맵 선명도 회로(132)에서 행해지고, 상기 가중 계수들의 계산은 계수 계산 회로(133)에서 행해진다. 픽셀에 근거한 가중 회로(132,133)에 의해 이와 같이 계산된 가중 계수들의 전체 세트가 그 후에 혼합 회로(135)에 의해 사용된다. 상기 회로에서, 각 픽셀[x,y]에 대하여, 가중 계수들 wWF(n)[x,y]를 고려하며 상기 혼합 단계로부터 생기는 새로운 모자이크[M(n)]의 휘도 및 색도 값들을 계산하는데 사용되는 상기 혼합 식은 수학식1이다.
여기서 용어들의 정의는 다음과 같다 :
(a) n 〉0
(b) 모든 (x,y)에 대하여, wM(0)= 0
(c) 모든 (x,y)에 대하여,
(d) wM(n)= wM(n-1)+ wWF(n);
ρ는 움직임 추정 단계에서 사용되는 로렌쯔 M-추정량
단계들 A,B,C로 구성되며, 각 픽셀에 대해서 수행되는 상기 부착(accretion) 처리동안에, 몇몇 오브젝트들이 전경으로서 잘 검출되지 않고 단지 그것의 픽셀들의 몇몇이 분리체 정보로서 간주된다. 본 발명에 따른 기술적 해법은 그러한 분리체 영역들을 검출하도록 영역들로 영상을 분할함에 의해 구성된 부가적인 선처리 (preprocessing)단계에 의해, 연결된 분리체 영역들을 찾아 상기 분리체 영역들에 약한 가중을 주는 방법이다. 제안된 방법은 연결된 연산자들에 근거하며, 이는 편평한 영역들을 합병시킴에 의해 신호를 필터링할 수 있다. 이러한 필터링의 종류는 몇몇 구성요소들이 제거되기 때문에 영상을 단순화시키는 이점을 제공하며, 동시에 제거되지 않는 구성요소들에 관계하는 윤곽(contour) 정보를 완전히 보존한다.
본 발명은 연속적인 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 큰 정지 영상[M(n)]을 생성시키는 방법과 해당 장치에 관한 것이며, 상기 방법은,
(A) 이전에 생성된 정지 영상[M(n-1)]에 대하여, 상기 시퀀스의 현재 비디오 오브젝트[VO(n)]와 관련된 움직임 파라미터들을 추정하는 단계와,
(B) 상기 추정된 움직임 파라미터들에 근거하여 상기 현재 비디오 오브젝트[VO(n)]를 왜곡(warp)시키는 단계와,
(C) 이와 같이 얻어진 상기 왜곡된 비디오 오브젝트[WVO(n)]를 이전에 생성된 정지 영상[M(n-1)]과 혼합하는 단계를 포함한다. 본 발명은 MPEG-4와 MPEG-7 표준에 대하여 유용하게 될 수 있다.
도1은 이전의 정지 영상 생성 장치의 도식도.
도2는 본 발명에 따른 정지 영상 생성 장치의 구현예를 도시한 도면.
그러한 구현예들에 대하여, 분리체들에게 여전히 증가하는 강인함을 보여주는 정지 영상 생성 방법을 제안하는 것이 본 발명의 목적이다.
이를 위해, 본 발명은 설명의 서두 단락에 기술된 바와 같은 방법에 관한 것이며, 이는 또한 아래와 같은 특징을 갖는다.
(1) 상기 왜곡 단계와 혼합 단계 사이에서, 상기 방법은 부가 단계를 또한 포함하며, 상기 부가 단계는,
- 상기 현재 비디오 오브젝트[VO(n)]의 각 화소에 대하여, 상기 화소[x,y]에서 정지 영상[M(n-1)]과 왜곡된 비디오 오브젝트[WVO(n)]사이의 에러 [r(x,y)]의 맵을 구성하도록 제공되는 제 1 픽셀에 근거한 에러 맵 선명도(definition) 부-단계와,
- 상기 픽셀에 근거한 에러 맵을 영역에 근거한 에러 맵으로 변환시키기 위해 제공되는 제 2 공간 필터링 부-단계와,
- 매 픽셀마다 상기 에러에 관련된 가중 계수 wWF(n)[x,y]를 계산하고 동시에 전경 오브젝트들에 속하는 영역들을 선택하며 상기 혼합 단계전에 분리체들로서 상기 선택 영역들을 폐기하기 위해 제공되는 제 3 가중 부-단계를 포함하며,
(2) 새로이 생성된 정지 영상[M(n)]을 결정하기 위해 제공되는 상기 혼합 단계는 각 픽셀[x,y]에 대해 사용되는 다음의 혼합 식에 따라
[용어들의 정의는 다음과 같다;
(a) n 〉0
(b) 모든 (x,y)에 대하여, wM(0)= 0
(c) 모든 (x,y)에 대하여,
(d) wM(n)= wM(n-1)+ wWF(n);
ρ는 움직임 추정 단계에서 사용되는 로렌쯔 M-추정량(estimator)]
상기 가중 계수들을 고려한다.
단계들 A,B,C로 구성되며, 각 픽셀에 대해서 수행되는 상기 부착(accretion) 처리동안에, 몇몇 오브젝트들이 전경으로서 잘 검출되지 않고 단지 그것의 픽셀들의 몇몇이 분리체 정보로서 간주된다. 본 발명에 따른 기술적 해법은 그러한 분리체 영역들을 검출하도록 영역들로 영상을 분할함에 의해 구성된 부가적인 선처리 (preprocessing)단계에 의해, 연결된 분리체 영역들을 찾아 상기 분리체 영역들에 약한 가중을 주는 방법이다. 제안된 방법은 연결된 연산자들에 근거하며, 이는 편평한 영역들을 합병시킴에 의해 신호를 필터링할 수 있다. 이러한 필터링의 종류는 몇몇 구성요소들이 제거되기 때문에 영상을 단순화시키는 이점을 제공하며, 동시에 제거되지 않는 구성요소들에 관계하는 윤곽(contour) 정보를 완전히 보존한다.
본 발명의 또 다른 목적은 상기 방법을 수행하는 정지 영상 생성 장치를 제안하는 것이다.
이를 위해, 본 발명은 연속적인 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 큰 정지 영상[M(n)]을 생성시키는 장치에 관한 것이며, 상기 장치는,
(A) 상기 시퀀스의 현재 비디오 오브젝트와 이전에 생성된 정지 영상[M(n-1)]사이의 상대적 움직임에 관련된 움직임 정보를 추정하기 위해 제공되는 움직임 추정 회로와,
(B) 상기 현재 비디오 오브젝트와 상기 움직임 정보에 근거하여 규정된 왜곡된 비디오 오브젝트[WVO(n)]를 제공하는 왜곡 회로와,
(C) 상기 정지 영상를 갱신하기 위해 제공되는 혼합 회로로서, 상기 이전에 생성된 정지 영상[M(n-1)]은 상기 M(n-1)과 상기 왜곡된 비디오 오브젝트를 혼합시킴에 의해 생성되는 새로운 영상[M(n)]으로 대체되는 상기 혼합 회로를 포함하는데,
(1) 상기 장치는 영역에 근거한 가중 회로를 또한 포함하며, 현재 비디오 오브젝트와 상기 연관 움직임 정보를 수신하는데, 상기 장치는,
- 상기 현재 비디오 오브젝트의 각 화소(x,y)에 대하여, 상기 화소[x,y]에서 상기 이전 정지 영상[M(n-1)]과 상기 왜곡된 비디오 오브젝트사이의 에러[r(x,y)]의 맵을 구성하기 위해 제공되는 픽셀에 근거한 에러 맵 선명도 회로와,
- 상기 픽셀에 근거한 에러 맵을 영역에 근거한 에러 맵으로 변환시키기 위해 제공되는 공간 필터링 회로와,
- 매 픽셀마다 상기 에러에 관련된 가중 계수 wWF(n)[x,y]를 계산하고 동시에 전경 오브젝트들에 속하는 영역들을 선택하며 상기 혼합 단계전에 분리체들로서 상기 선택 영역들을 폐기하기 위해 제공되는 가중 회로를 포함하며,
(2) 상기 새로이 생성된 정지 영상[M(n)]을 결정하기 위해 상기 혼합회로에 사용되는 혼합 식은 각 픽셀[x,y]에 대해 사용되는 다음의 혼합 식에 따라
[용어의 정의는 다음과 같다;
(a) n 〉0
(b) 모든 (x,y)에 대하여, wM(0)= 0
(c) 모든 (x,y)에 대하여,
(d) wM(n)= wM(n-1)+ wWF(n);
ρ는 움직임 추정 단계에서 사용되는 로렌쯔 M-추정량(estimator)]
상기 계산된 가중 계수들을 고려한다.
모자이크의 경우에 있어서, 본 발명에 따른 방법의 구현을 위한 장치가 도2에 도시된다. 이전 것과 마찬가지로, 움직임 추정 단(11)과 동일한 움직임 추정 단(21)은 연속적인 프레임들 F(1),F(2),F(3),...,F(i),...,F(n-1),F(n)을 수신한다. 모자이크 부착 단(23)은 그 후에 메모리(22)내에서 유용한 이전 모자이크 [M(n-1)]를 리프레시하는 새로운 모자이크[M(n)]를 만들게 한다.
일단 움직임 추정이 이미 인용된 유럽 특허 출원에서 이전에 기술된 바와 같이 수행되면, 모자이크 부착 단(23)은 현재 프레임[F(n)]을 왜곡시키고 그것을 상기 모자이크와 혼합한다. 상기 모자이크 부착 단(23)은 다음의 회로들을 포함한다 : 왜곡 회로(231), 에러 맵 선명도 회로(232), 공간 분할 회로(233), 계수 계산 회로(234), 혼합 회로(235). 상기 회로들(231,232,235)은 해당 회로들(131,132,135)과 동일하다.
도1에서, 픽셀에 근거한 가중 회로는 수학식2(전체 에러 맵 구성은 에러 맵 선명도 회로(132)에서 행해지고, 가중 계수들의 이후의 계산은 계수 계산 회로(133)에서 행해진다)에 의해 주어진 가중 계수 wWF(n)를모든 화소(픽셀)에 대해서 계산한다. 본 발명에 따르면, 상기 회로(232)가 에러 맵의 구성을 구현한 후에 수리형태학에 근거한 공간 분할 부-단계가 더해진다. 공간 분할 회로(233)에서 수행되는 이 부가적인 부-단계는 오리지널 픽셀에 근거한 에러 맵을 영역에 근거한 가중 맵으로 변환하며, 상기 영역에 근거한 가중 맵은 현재 프레임[F(n)]을 모자이크[M(n-1)]와 혼합할 때, 전경 오브젝트들에 속하는 영역들을 검출하며 효과적으로 그것들을 버리도록 허용한다. 에러 맵이 픽셀에 근거하므로, 몇몇 오브젝트의 픽셀들의 단지 몇몇이 분리체 정보로서 간주되므로 몇몇 오브젝트들은 실제로 전경 오브젝트처럼 잘 검출되지 않는다. 영역들로 영상을 분할하므로서 형태 분할을 수행하는 공간 선처리 부-단계의 부가에 의해 분리체 영역들을 검출하고 그것을 버리도록 한다.
연결된 연산자들에 근거하며 오브젝트들에 근거한 분리체 맵으로 픽셀에 근거한 분리체 맵을 필터링하도록 허용하는 이 분할 방법이 예를 들어 미국 문서 586765(PHF96629)에 기술된다. 수리형태학 연산자들의 그러한 클래스의 이점은 여기서 편평한 영역들로 이루어진 영상의 계층적으로 구조화된 트리 표현상에서 동작하며(균일한 영역들이 검출된 후에 에러 맵 정보에 근거하며, 트리를 간결하게 하는 비테르비(Viterbi) 알고리즘을 구현시킴에 의해 뒤따르며 가중 영역들을 결정하는 라벨링 단계에 의해 완료된)오브젝트 경계들을 열화시키지 않고 편평한 영역들을 합병시킴에 의해 영상이 윤곽 정보를 보존시키면서 단순화된다는 것이다(제거되지 않는 구성요소들은 완전히 보존된다). 본원의 경우에, 영상은 비디오 프레임들의 휘도 구성요소이나 상기 방법은 또한 이런 프레임들의 다른 변환들에도 작용한다.

Claims (3)

  1. 연속적인 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 큰 정지 영상[M(n)]을 생성시키는 방법에 있어서, 상기 방법은,
    (A) 이전에 생성된 정지 영상[M(n-1)]에 대하여, 상기 시퀀스의 현재 비디오 오브젝트[VO(n)]와 관련된 움직임 파라미터들을 추정하는 단계와,
    (B) 상기 추정된 움직임 파라미터들에 근거하여 상기 현재 비디오 오브젝트[VO(n)]를 왜곡(warp)시키는 단계와,
    (C) 이와 같이 얻어진 상기 왜곡된 비디오 오브젝트[WVO(n)]를 상기 이전에 생성된 정지 영상[M(n-1)]과 혼합하는 단계를 포함하는데,
    (1) 상기 방법은 상기 왜곡 단계와 혼합 단계 사이에서 부가 단계를 또한 포함하며, 상기 부가 단계는,
    - 상기 현재 비디오 오브젝트[VO(n)]의 각 화소에 대하여, 상기 화소[x,y]에서 정지 영상[M(n-1)]과 왜곡된 비디오 오브젝트[WVO(n)]사이의 에러 [r(x,y)]의 맵을 구성하도록 제공되는 제 1 픽셀에 근거한 에러 맵 선명도(definition) 부-단계와,
    - 상기 픽셀에 근거한 에러 맵을 영역에 근거한 에러 맵으로 변환시키기 위해 제공되는 제 2 공간 필터링 부-단계와,
    - 매 픽셀마다 상기 에러에 관련된 가중 계수 wWF(n)[x,y]를 계산하고 동시에 전경 오브젝트들에 속하는 영역들을 선택하며 상기 혼합 단계전에 분리체들로서 상기 선택 영역들을 폐기하기 위해 제공되는 제 3 가중 부-단계를 포함하며,
    (2) 새로이 생성된 정지 영상[M(n)]을 결정하기 위해 제공되는 상기 혼합 단계는 각 픽셀[x,y]에 대해 사용되는 다음의 혼합 식에 따라
    [용어들의 정의는 다음과 같다;
    (a) n 〉0
    (b) 모든 (x,y)에 대하여, wM(0)= 0
    (c) 모든 (x,y)에 대하여,
    (d) wM(n)= wM(n-1)+ wWF(n);
    ρ는 움직임 추정 단계에서 사용되는 로렌쯔 M-추정량(estimator)]
    상기 가중 계수들을 고려하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 공간 필터링 부단계는 형태(morphological)분할에 근거하는 것을 특징으로 하는 방법.
  3. 연속적인 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 큰 정지 영상[M(n)]을 생성시키는 장치에 있어서, 상기 장치는,
    (A) 상기 시퀀스의 현재 비디오 오브젝트와 이전에 생성된 정지 영상[M(n-1)]사이의 상대적 움직임에 관련된 움직임 정보를 추정하기 위해 제공되는 움직임 추정 회로와,
    (B) 상기 현재 비디오 오브젝트와 상기 움직임 정보에 근거하여 규정된 왜곡된 비디오 오브젝트[WVO(n)]를 제공하는 왜곡 회로와,
    (C) 상기 정지 영상를 갱신하기 위해 제공되는 혼합 회로로서, 상기 이전에 생성된 정지 영상[M(n-1)]은 상기 M(n-1)과 상기 왜곡된 비디오 오브젝트를 혼합시킴에 의해 생성되는 새로운 영상[M(n)]으로 대체되는 상기 혼합 회로를 포함하는데,
    (1) 상기 장치는 영역에 근거한 가중 회로를 또한 포함하며, 현재 비디오 오브젝트와 상기 연관 움직임 정보를 수신하는데, 상기 장치는,
    - 상기 현재 비디오 오브젝트의 각 화소(x,y)에 대하여, 상기 화소[x,y]에서 상기 이전 정지 영상[M(n-1)]과 상기 왜곡된 비디오 오브젝트사이의 에러[r(x,y)]의 맵을 구성하기 위해 제공되는 픽셀에 근거한 에러 맵 선명도 회로와,
    - 상기 픽셀에 근거한 에러 맵을 영역에 근거한 에러 맵으로 변환시키기 위해 제공되는 공간 필터링 회로와,
    - 매 픽셀마다 상기 에러에 상관된 가중 계수 wWF(n)[x,y]를 계산하고 동시에 전경 오브젝트들에 속하는 영역들을 선택하며 상기 혼합 단계전에 분리체들로서 상기 선택 영역들을 폐기하기 위해 제공되는 가중 회로를 포함하며,
    (2) 상기 새로이 생성된 정지 영상[M(n)]을 결정하기 위해 상기 혼합회로에 사용되는 혼합 식은 각 픽셀[x,y]에 대해 사용되는 다음의 혼합 식에 따라
    [용어들의 정의는 다음과 같다;
    (a) n 〉0
    (b) 모든 (x,y)에 대하여, wM(0)= 0
    (c) 모든 (x,y)에 대하여,
    (d) wM(n)= wM(n-1)+ wWF(n);
    ρ는 움직임 추정 단계에서 사용되는 로렌쯔 M-추정량]
    상기 계산된 가중 계수들을 고려하는 것을 특징으로 하는 장치.
KR1020007003692A 1998-08-05 1999-07-29 정지 영상 생성 방법 및 장치 KR20010024435A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP98401997 1998-08-05
EP98401997.6 1998-08-05
EP99401546.9 1999-06-22
EP99401546 1999-06-22
PCT/EP1999/005512 WO2000008859A1 (en) 1998-08-05 1999-07-29 Static image generation method and device

Publications (1)

Publication Number Publication Date
KR20010024435A true KR20010024435A (ko) 2001-03-26

Family

ID=26151682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007003692A KR20010024435A (ko) 1998-08-05 1999-07-29 정지 영상 생성 방법 및 장치

Country Status (7)

Country Link
US (1) US6526183B1 (ko)
EP (1) EP1042919B1 (ko)
JP (1) JP2002522836A (ko)
KR (1) KR20010024435A (ko)
CN (1) CN1150769C (ko)
DE (1) DE69932029D1 (ko)
WO (1) WO2000008859A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
KR100781308B1 (ko) * 2005-09-21 2007-11-30 주식회사 컨트롤칩스 피에이엘 모드에서 정지화상의 화질개선방법 및 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001255806A1 (en) * 2000-03-14 2001-09-24 Sony Electronics Inc. A method and device for forming a semantic description
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US7545957B2 (en) * 2001-04-20 2009-06-09 Avid Technology, Inc. Analyzing motion of characteristics in images
US7103229B2 (en) * 2001-11-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Image simplification using a robust reconstruction filter
US7194676B2 (en) 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US7602848B2 (en) * 2002-03-26 2009-10-13 General Instrument Corporation Methods and apparatus for efficient global motion compensation encoding and associated decoding
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
KR100855976B1 (ko) * 2007-02-02 2008-09-02 삼성전자주식회사 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
TWI372561B (en) * 2009-04-07 2012-09-11 Univ Nat Taiwan Method for decomposition and rending of video content and user interface operating the method thereof
TWI378718B (en) * 2009-06-05 2012-12-01 Univ Nat Taiwan Method for scaling video content according to bandwidth rate
JP5805665B2 (ja) 2010-01-22 2015-11-04 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Ｅｘａｍｐｌｅ−ｂａｓｅｄ超解像を用いたビデオ圧縮のためのデータプルーニング
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US8805111B2 (en) * 2010-02-09 2014-08-12 Indian Institute Of Technology Bombay System and method for fusing images
US20130170564A1 (en) 2010-09-10 2013-07-04 Thomson Licensing Encoding of a picture in a video sequence by example-based data pruning using intra-frame patch similarity
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US5943445A (en) * 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
JP2001507541A (ja) * 1996-12-30 2001-06-05 シャープ株式会社 スプライトベースによるビデオ符号化システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
KR100781308B1 (ko) * 2005-09-21 2007-11-30 주식회사 컨트롤칩스 피에이엘 모드에서 정지화상의 화질개선방법 및 장치

Also Published As

Publication number Publication date
DE69932029D1 (de) 2006-08-03
CN1150769C (zh) 2004-05-19
EP1042919A1 (en) 2000-10-11
CN1287751A (zh) 2001-03-14
EP1042919B1 (en) 2006-06-21
JP2002522836A (ja) 2002-07-23
WO2000008859A1 (en) 2000-02-17
US6526183B1 (en) 2003-02-25

Similar Documents

Publication Publication Date Title
US7260274B2 (en) Techniques and systems for developing high-resolution imagery
US6205260B1 (en) Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes
US7612909B2 (en) Image processing apparatus and method, and image-capturing apparatus based on the difference between a signal detected by a sensor and the real world
US7181081B2 (en) Image sequence enhancement system and method
KR20010024435A (ko) 정지 영상 생성 방법 및 장치
US7221778B2 (en) Image processing apparatus and method, and image pickup apparatus
KR20090071624A (ko) 이미지 개선
Varekamp et al. Improved depth propagation for 2D to 3D video conversion using key-frames
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
JPH0799660A (ja) 動き補償予測装置
US7679676B2 (en) Spatial signal conversion
KR100695030B1 (ko) 정지 화상 생성 방법 및 장치
US7181080B2 (en) Image processing apparatus and method, and image pickup apparatus
US6496606B1 (en) Static image generation method and device
Lu et al. Fast and robust sprite generation for MPEG-4 video coding
US20070064014A1 (en) Graphics overlay detection
Izquierdo et al. A generic video analysis and segmentation system
Hillman et al. Semi-automatic foreground/background segmentation of motion picture images and image sequences
Ben-Ezra et al. A self stabilizing robust region finder applied to color and optical flow pictures
Guo et al. A hybrid registration approach in super-resolution reconstruction for visual surveillance application
Lee et al. Research Institute, 161 Kajong-Dong, Yusung-Gu, Taejon, 305-350, KOREA
Ferdjali et al. TOWARDS A DIGITAL VIDEO STABILIZATION APPROACH USING OBJECTIVE IMAGE QUALITY ASSESSMENT METRICS

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee