KR100695030B1 - 정지 화상 생성 방법 및 장치 - Google Patents

정지 화상 생성 방법 및 장치 Download PDF

Info

Publication number
KR100695030B1
KR100695030B1 KR1020007003653A KR20007003653A KR100695030B1 KR 100695030 B1 KR100695030 B1 KR 100695030B1 KR 1020007003653 A KR1020007003653 A KR 1020007003653A KR 20007003653 A KR20007003653 A KR 20007003653A KR 100695030 B1 KR100695030 B1 KR 100695030B1
Authority
KR
South Korea
Prior art keywords
additional
still picture
video object
mixing
circuit
Prior art date
Application number
KR1020007003653A
Other languages
English (en)
Other versions
KR20010024413A (ko
Inventor
보네트미셀아.아.
산스에스트라다오리올
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010024413A publication Critical patent/KR20010024413A/ko
Application granted granted Critical
Publication of KR100695030B1 publication Critical patent/KR100695030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 대형 정지 화상(M(n))을 생성하는 방법에 관한 것이다. 이 방법은, 제 1 부가 단계를 고려하여, 이전에 생성된 정지 화상에 대하여 비디오 시퀀스의 비디오 오브젝트들과 관련된 움직임 파라미터들의 추정 단계를 포함한다. 그후, 각 비디오 오브젝트는 상기 파라미터들에 기초하여 왜곡되고, 왜곡된 비디오 오브젝트들은 이전에 생성된 정지 화상과 혼합된다. 상기 방법은 또한 (n-1)개의 추가적인 부가 단계들을 포함하고, 이 단계들은 역순으로 고려된 동일 비디오 시퀀스에 적용된다. 각 부가적인 부가 단계는 상기 역순으로 고려된 각 연속하는 비디오 오브젝트 및 이미 추정된 대응하는 움직임 파라미터들에 기초한 왜곡 서브-단계와, 혼합 서브-단계를 포함하고, 픽셀-기반 또는 영역-기반 가중 계수들은 혼합 단계들 동안 고려되어 계산된다.
정지 화상, 모자이크, 스프라이트, MPEG-7, 가중 계수

Description

정지 화상 생성 방법 및 장치{Static image generation method and device}
본 발명은 연속하는 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트(a sprite) 또는 모자이크(a mosaic)와 같은 대형 정지 화상을 생성하는 방법 및 대응 장치에 관한 것으로, 상기 정지 화상의 부가(accretion)를 고려하면, 상기 방법은,
(A) 이전에 생성된 정지 화상에 대하여, 비디오 시퀀스의 현재 비디오 오브젝트(VO(n))와 관련된 움직임 파라미터들을 추정하는 단계;
(B) 상기 추정된 움직임 파라미터들에 기초하여, 상기 현재 비디오 오브젝트(VO(n))를 왜곡(warping)하는 단계;
(C) 이렇게 하여 얻어진 왜곡된 비디오 오브젝트(WVO(n))를 이전에 생성된 정지 화상과 혼합(blending)하는 단계를 포함한다. 본 발명은 MPEG-4 표준 및 MPEG-7 표준에 대하여 유용하다.
MPEG-7(MPEG-7은 멀티미디어 컨텐츠를 기술하기 위한 일반적인 방법들을 수년 내에 표준화하기 위한 것이다)의 프레임 내에서 표준화될 디스크립터들과 디스크립션 방법들은, 텍스트, 컬러, 텍스쳐, 움직임 및 의미 내용(semantic content)과 같은 다양한 종류의 특징들에 기초하여, 데이터의 빠르고 효율적인 검색을 가능하게 할 것이다. 이 MPEG-7에 있에서, 모자이크는 유용한 역할을 담당할 수 있으며, 이에 대해서는 후술한다.
시퀀스들, 비디오 샷들(video shots) 및 키-프레임들은 계층적 구조에 따르며, 비디오 샷은 단일 배경을 보여주는 특정 시퀀스이고, 키-프레임은 이 샷의 단지 하나의 화상의 시각적인 표현이다. 비디오 시퀀스의 시각적인 표현은 전체 시퀀스의 이전의 샷 부분으로부터 키-프레임들을 추출하여 얻어질 수 있다. 이 처리는 각 샷의 하나의 화상을 키-프레임으로서 선택하여, 단지 비디오 샷의 일부를 보여주도록 하며, 이 비디오 샷의 일부는 표현에 대하여 가장 신뢰할 수 있는 것이 아닐 수도 있다. 그러나, 배경 정보의 단일 파노라마식 뷰(panoramic view)에서 전체 비디오 샷을 보고자 할 때, 모자이크는 키-프레임보다 나은 선택인 것으로 여겨진다. 예를 들어, M.Irani 등에 의한 신호 처리 : 화상 통신, vol.8, 1996, pp.327-351에 기재된 "Efficient representations of video sequences and their applications"의 논문에서 설명된 바와 같이, 모자이크 화상은 장면 시퀀스의 모든 프레임들로부터 구성된 일종의 대형 정지 화상이며, 이 장면의 파노라마식 뷰(panoramic view)를 제공한다. 이러한 파노라마식 뷰로부터, 예를 들어, 색차 또는 휘도 히스토그램들, 오브젝트들의 모양, 전체 움직임 파라미터들 등과 같은 시퀀스의 주요한 특징들을 추출하는 것이 가능하다(이들 모든 특징들은 MPEG-7에 대한 관련 표준 디스크립터들을 구성하고 MPEG-7에 따른 탐색 엔진들에 있어서 유용하다).
MPEG-4 표준에서 사용되는 바와 같이, 모자이크의 정의는 스프라이트의 정의와 비교될 수도 있다. 스프라이트는 전체 시퀀스에 걸쳐 가시적인 오브젝트 내의 픽셀들로 구성된 대형 정지 화상이다. 이 정지 화상은 파노라마식 뷰를 형성하며, 이 파노라마식 뷰의 일부 부분들은 전경(foreground) 오브젝트들 또는 카메라 움직임 때문에 일부 프레임들에서 보이지 않을 수도 있다. 전체 시퀀스에 걸쳐 모든 관련 픽셀들이 수집되면, 완전한 파노라마식 뷰(배경 스프라이트라고 함)가 얻어지며, 이는 효율적으로 전송(또는 저장)되어 프레임들의 부분들을 재생성하기 위해 후에 사용될 수 있다.
문헌 WO 98/59497에서 스프라이트의 경우를 예로서 기술(그러나, 이 기술은 모자이크의 경우에도 적용될 수 있다)하고 있는 바와 같이, 3가지 주요한 단계들이 스프라이트 또는 모자이크 생성을 구성할 수도 있다(다음에서, 일반적인 용어 "정지 화상"이 스프라이트 또는 모자이크 대신 사용될 것이다). 현재 프레임(F(n))을 이전 프레임들(F(1), F(2), ..., F(n-1))로 이미 구성된 정지 화상(M(n-1))과 정확하게 병합할 수 있도록 하는 움직임 파라미터들을 찾기 위해서, 제일 먼저 움직임 추정 단계가 제공된다. 그 다음에, 현재 프레임이 역 파라미터들의 방향에서 보상될 수 있도록, 역 파라미터들이 계산되며, 이 제 2 단계를 왜곡 단계라고도 한다. 새로운 부가된 정지 화상(M(n))을 형성하기 위해, 마지막으로, 왜곡된 현재 프레임(F(n))이 M(n-1)과 혼합되며, 다음 인입 프레임(F(n+1))이 계속해서 병합될 것이다.
그러나, 얻어진 정지 화상을 살펴보면, 상기 정지 화상의 일부가 깨끗하지 않다는 것을 고려해야 할 수도 있을 것이다. 예를 들면, 움직이는 오브젝트의 일부가 완전히 제거되지 않는다.
따라서, 본 발명의 목적은 이러한 아티팩트들(artifatcs) 없이 정지 화상을 생성할 수 있는 방법을 제안하는 것이다.
이를 위해, 본 발명은 상세한 설명의 서두 단락에 기술된 바와 같은 방법에 관한 것이며, 이는 또한 다음과 같은 특징을 갖는다.
(1) 상기 방법은 또한 역순으로 고려된 동일한 비디오 시퀀스에 적용되는 (n-1)개의 추가적인 부가 단계들을 포함하고, 각각의 추가적인 부가 단계 그 자체는 상기 역순으로 고려된 각 연속하는 비디오 오브젝트 및 대응하는 추정된 움직임 파라미터들에 기초한 왜곡 서브-단계와, 이렇게 하여 고려된 왜곡된 비디오 오브젝트와 이전의 부가 단계의 끝에서 생성된 정지 화상 사이에 제공되는 혼합 서브-단계를 포함한다.
본 발명의 다른 목적은 상기 방법을 수행하는 정지 화상 생성 장치를 제안하는 것이다. 이를 위해, 본 발명은 연속하는 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 대형 정지 화상을 생성하는 장치에 관한 것으로, 상기 장치는 제 1 부가단계에서의 상기 정지 화상의 부가를 고려하여,
(A) 비디오 시퀀스의 현재 비디오 오브젝트(VO(n))와 이전에 생성된 정지 화상간의 상대적 움직임에 관련된 움직임 정보를 추정하기 위해 제공되는 움직임 추정 회로;
(B) 상기 현재 비디오 오브젝트 및 상기 움직임 정보에 기초하여 왜곡된 비디오 오브젝트(WVO(n))를 규정하기 위해 제공되는 제 1 왜곡 회로;
(C) 이렇게 하여 얻어진 왜곡된 비디오 오브젝트(WVO(n))를 상기 이전에 생성된 정지 화상과 혼합하기 위해 제공되는 제 1 혼합 회로로서, 상기 이전에 생성된 정지 화상은 새로운 정지 화상으로 교체되어 갱신되는, 상기 제 1 혼합 회로를 포함하고,
상기 장치는, 제 2 왜곡 회로, 이렇게 하여 얻어진 왜곡된 비디오 오브젝트를 이전에 생성된 정지 화상과 혼합하기 위해 제공되는 제 2 혼합 회로, 생성된 정지 화상을 저장하는 메모리, 및 제 1 부가단 또는 추가의 부가 루프들 중 어느 하나의 부가 루프의 혼합 회로들과 왜곡 회로 사이에, 각 화소에 대하여, 왜곡된 비디오 오브젝트와 생성된 정지 화상간의 에러에 상관되고 혼합 단계 동안 혼합 회로에 의해 고려되는 가중 계수를 계산하는 수단을 포함하는 적어도 하나의 추가의 부가 루프를 더 포함하고,
메모리와 제 2 왜곡 회로 및 혼합 회로는 제 1 혼합 회로의 출력에서 이용 가능한 갱신된 정지 화상에 대하여, 한편으로는 역순으로 고려된 동일 비디오 시퀀스를, 다른 한편으로는 상기 역순의 시퀀스의 각 관련 비디오 오브젝트에 대응하는 추정된 움직임 정보를 고려하여 (n-1)개의 부가적인 부가 단계들을 수행하도록 구성되는 것을 특징으로 한다.
도 1은 정지 화상 생성 장치의 공지된 구성을 도시하는 도면.
도 2는 본 발명에 따른 방법을 구현하는 정지 화상 생성 장치의 일 실시예를 도시하는 도면.
본 발명의 특징들 및 이점들이 첨부 도면을 참조하여 이하 더 상세히 설명된다.
상술한 문헌 WO 98/59497에 기술된 방법의 (예를 들어, 모자이크의 경우에 있어서의) 구현을 위한 장치가 도 1에 도시된다. 움직임 추정단(11)은 연속하는 비디오 오브젝트들(현재의 경우 연속하는 프레임 F(1), F(2), F(3), ..., F(i), ..., F(n-1), F(n))을 수신하고, 메모리(12)에서 이용 가능한 이전에 생성된 모자이크(M(n-1))와 인입 프레임(F(n))을 정확하게 합병할 수 있도록 하는 움직임 파라미터들을 결정한다. 이 파라미터들이 추정된 후, 비디오 오브젝트를 모자이크(M(n-1))의 좌표 시스템으로 변환하는 왜곡 회로(13)에서 역 파라미터들이 계산된다. 마지막으로, 혼합 회로(14)가 이전 모자이크(M(n-1))를 리프레시하여 새로운 모자이크(M(n))를 구축하도록 한다.
본 발명에 따른 방법의 원리는, M(n)과 같은 제 1 모자이크가 생성되면, 부가 단계를 수차례 적용하는 것이다. 이들 부가들은 최종 프레임에서 시작하여 제 1 프레임으로 종료하며, 따라서 새로운 이전 프레임들에 중요도를 낮게 부가하여 더 깨끗한 정지 화상을 생성할 수 있도록 한다. 이 부가적인 부가 단계들에서, 이전에 생성된 모자이크는 이어지는 혼합 단계를 고려할 때 유용한 에러 맵을 만들기 위한 기준이 된다.
상기 방법을 구현하기 위한 장치가 도 2에 도시되어 있고, 다음의 요소들을 포함한다. 제 1 부가단(200)은 도 1의 구성에 따른 제 1 모자이크(M1(n))를 생성한다. 이를 위하여, 상기 모자이크 생성단(200)은 움직임 추정 회로, 메모리, 왜곡 회로 및 혼합 회로를 포함하며, 이들은 대응하는 요소들(11 내지 14)과 동일하고 동일한 방식으로 동작하므로 도시하지 않는다. 동시에, 연속하는 입력 프레임들(F(1), F(2), F(3),..., F(i),..., F(n))이 버퍼(201)에 저장된다. 최종 프레임에서 시작하여(제 1 프레임으로 종료하도록) 판독된 버퍼(201)의 출력은 제 2 부가단(300)으로 전송된다. 제 2 부가단(300) 그 자체는, 한편으로는 버퍼(201)의 출력을, 그리고 다른 한편으로는 제 1 부가단(200)에서 (역순으로 고려된 이 프레임들 각각에 대하여) 사전에 결정된 대응하는 움직임 파라미터들을 수신하는 (제 2) 왜곡 회로(331)와, 픽셀-기반 가중 회로와, (제 2) 혼합 회로(334)를 연속하여 포함한다.
본 발명에 따르면, 제 2 왜곡 회로(331)의 출력과 제 1 부가단(200)의 출력(M1(n))을 비교하여 회로(332)에서 에러 맵이 구성된다. 회로(332) 및 계수 계산 회로(333)를 포함하는 픽셀-기반 가중 회로는 모든 픽쳐 요소(픽셀)에 대하여 다음의 수학식 1에 의해 주어진 가중 계수(WWF(n))를 계산한다.
Figure 112006043835317-pct00008
여기서, n은 로렌쯔 M-추정량(estimator)으로서 공지된 대칭적인 양의 정의 함수(positive-definite function)이고, r(x,y)은 픽셀(x, y)에서의 모자이크와 왜곡된 현재 화상간의 에러이다. 그 다음에, 픽셀-기반 가중 회로(332, 333)에 의해 계산된 가중 계수들의 전체 세트는 혼합 회로(334)에 의해 사용된다. 상기 회로에서, 혼합 단계로부터 발생하는 새로운 모자이크(M2(n))의 휘도 및 색차값들을 계산하기 위해 상기 가중 계수들(WWF(n)[x,y])를 고려한 가중 평균 식이 이용된다. 혼합 식은 각 픽셀 [x,y]에 대해 다음의 수학식 2로 표현된다.
Figure 112006043835317-pct00009
여기서, 상기 항들의 정의는 다음과 같다.
(a) n > 0
(b) 모든 (x,y)에 대하여,
Figure 112006043835317-pct00010
(c) 모든 (x,y)에 대하여,
Figure 112006043835317-pct00011
(d)
Figure 112006043835317-pct00012
제 2 부가단(300)의 출력에서 이렇게 하여 생성된 모자이크(M2(n))는 이전에 생성된 모자이크(M2(n-1))를 리프레시하여 (제 2) 메모리(202)에 저장된다.
그 다음에, 버퍼(201)로부터 판독된 각 연속하는 프레임(제 1 프레임 F(1)까지)에 대해 상기 부가 처리가 반복적으로 행해진다. 이 프레임들 각각에 대응하는 움직임 파라미터들은 제 1 부가단(200)에서 이용 가능하고(이 파라미터들은 상기 단에서 구현된 제 1 부가 단계 동안 정의되었다), 새롭게 생성된 모자이크(M2(n))는 이어지는 각 혼합 단계에서 이용 가능하도록 메모리(202)에 저장된다(메모리(202)의 출력은 혼합 회로(334)에 의해 수신된다).
본 발명은 상술된 실시예에 한정되는 것은 아니다. 혼합 회로에서 행해지는 혼합 단계들에 앞서, 1998년 8월 5일 출원된 유럽 특허출원번호 제98401997.6(PHF98584)호에 기술된 것과 같은 전처리 서브-단계들이 행해질 수도 있다. 이 유럽 특허출원은 특히 왜곡 단계와 혼합 단계 사이에 부가적인 가중 서브-단계를 포함하는 모자이크 생성 방법을 기술하고 있다. (프레임과 같은) 고려된 비디오 오브젝트의 각 픽셀(픽쳐 요소(picture element))에 대하여, 왜곡된 비디오 오브젝트와 이전에 생성된 모자이크간의 에러에 상관된 가중 계수가 계산되고, 혼합 식은 가중 계수들 각각을 고려한다. 또한, 예를 들어, 형태 분할(morphological segmentation)에 기초하고, 상기 픽셀-기반 가중 동작을 영역-기반 가중 동작으로 변환하기 위해 제공되는 공간 필터링 서브-단계를 상기 부가적인 가중 서브-단계와 혼합 단계 사이에 포함하여, 아웃라이어들(outliers)로서 간주된 영역들을 검출하여 제거할 수 있도록 한다. 이 아웃라이어들은 전체 움직임을 따르지 않고, 자신의 움직임을 갖는 오브젝트들에 대응하는 픽셀들을 의미한다. 이 전처리 서브-단계들은 또한 모자이크 생성단(200)의 혼합 회로에서 수행되는 혼합 단계 이전에 이용될 수도 있다.
본 발명은 비디오 시퀀스의 종류에 좌우되지 않음을 유념해야 한다. 상술한 예에서, 비디오 시퀀스는 직사각형 모양의 연속하는 프레임들(F(1), F(2), ..., F(n-1), F(n))을 포함하지만, 임의의 종류의 비디오 오브젝트들, 예를 들어, 객체 지향 분할 구조에 따른 MPEG-4 표준과 관련하여 정의된 것과 같은 어떠한 종류의 모양의 비디오 오브젝트(V0)들을 포함할 수도 있음이 명백하다. 따라서, "비디오 오브젝트"라는 용어는 상술한 방법 및 장치에 따라 처리되는 임의의 종류의 비디오 정보를 표현하는 것으로서 선택된 것이며, 그러한 비디오 오브젝트들은 참조부호 V0(1), V0(2),..., V0(n-1), V(n)로 표시될 것이다.

Claims (4)

  1. 연속하는 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트(sprite) 또는 모자이크(mosaic)와 같은 대형 정지 화상을 생성하는 방법으로서,상기 정지 화상의 제 1 부가(accretion) 단계에서,
    (A) 이전에 생성된 정지 화상에 대하여, 상기 시퀀스의 현재 비디오 오브젝트(V0(n))와 관련된 움직임 파라미터들을 추정하는 단계;
    (B) 상기 추정된 움직임 파라미터들에 기초하여, 상기 현재 비디오 오브젝트(VO(n))를 왜곡(warping)하는 단계; 및
    (C) 상기 왜곡된 비디오 오브젝트(WVO(n))와 상기 이전에 생성된 정지 화상을 혼합(blending)하는 단계;를 포함하는, 대형 정지 화상 생성 방법에 있어서,
    (1) 상기 방법은 역순으로 고려되는 동일 비디오 시퀀스에 적용되는 (n-1)개의 추가적인 부가 단계들을 포함하고, 각각의 추가적인 부가 단계는 상기 역순으로 고려되는 각각의 연속하는 각 비디오 오브젝트 및 상기 대응하는 추정된 움직임 파라미터들에 기초한 왜곡 서브-단계, 및 고려되는 상기 왜곡된 비디오 오브젝트와 이전의 부가 단계의 마지막에 생성된 상기 정지 화상 사이에 제공되는 혼합 서브-단계를 더 포함하는, 대형 정지 화상 생성 방법.
  2. 제 1 항에 있어서,
    상기 제 1 부가 단계 또는 상기 추가적인 부가 단계들 중 어느 하나의 부가 단계의 왜곡 및 혼합 단계들 사이에는, 상기 현재 비디오 오브젝트(V0(n))의 각 ㅎ픽셀(picture element)에 대하여, 각 픽셀 [x,y]에서의 상기 생성된 정지 화상과 상기 왜곡된 비디오 오브젝트(WVO(n)) 간의 에러에 상관된 가중 계수(WWF(n)[x,y])를 계산하는 부가적인 단계를 더 포함하고, 상기 혼합 단계는 상기 가중 계수들을 고려하여 새롭게 생성되는 정지 화상을 결정하기 위해 제공되는 것을 특징으로 하는 대형 정지 화상 생성 방법.
  3. 제 1 항에 있어서,
    상기 1 부가 단계 또는 상기 추가적인 부가 단계들 중 어느 하나의 부가 단계의 왜곡 및 혼합 단계들 사이에는 추가적인 단계를 포함하며, 상기 추가적인 단계는,
    - 상기 현재 비디오 오브젝트(VO(n))의 각 픽셀에 대하여, 상기 픽셀 [x,y]에서의 상기 정지 화상과 상기 왜곡된 비디오 오브젝트(WVO(n)) 간의 에러(r(x, y)) 맵을 구성하기 위해 제공되는 제 1 픽셀-기반 에러 맵 정의 서브-단계;
    - 상기 픽셀-기반 에러 맵을 영역-기반 에러 맵으로 변환하기 위해 제공되는 제 2 공간 필터링 서브-단계;
    - 매 픽셀마다 상기 에러에 상관된 가중 계수(WWF(n)[x,y])를 계산하고, 동시에 전경 오브젝트들(foreground objects)에 속하는 영역들을 선택하고, 상기 혼합 단계 전에 상기 선택된 영역들을 아웃라이어들(outliers)로서 제거하기 위해 제공되는 제 3 가중 서브-단계로서, 상기 혼합 단계는 상기 가중 계수를 고려하여 상기 새롭게 생성된 정지 화상을 결정하기 위해 제공되는, 상기 제 3 가중 서브-단계;를 포함하는 것을 특징으로 하는 대형 정지 화상 생성 방법.
  4. 연속하는 비디오 오브젝트(VO)들을 포함하는 비디오 시퀀스로부터 스프라이트 또는 모자이크와 같은 대형 정지 화상을 생성하는 장치로서, 제1 부가 스테이지에서의 상기 정지 화상의 제1 부가 단계를 고려하여,
    (A) 상기 시퀀스의 현재의 비디오 오브젝트(VO(n))와 이전에 생성된 정지 화상간의 상대적인 움직임과 관련된 움직임 정보를 추정하기 위해 제공되는 움직임 추정 회로;
    (B) 상기 현재 비디오 오브젝트 및 상기 움직임 정보에 기초하여, 왜곡된 비디오 오브젝트(WVO(n))를 정의하기 위해 제공되는 제 1 왜곡 회로;
    (C) 상기 왜곡된 비디오 오브젝트(WVO(n))를 상기 이전에 생성된 정지 화상과 혼합하기 위해 제공되는 제 1 혼합 회로로서, 상기 이전에 생성된 정지 화상은 새로운 정지 화상으로 교체함으로써 갱신되는 상기 제 1 혼합 회로;를 포함하는, 상기 대형 정지 화상 생성 장치에 있어서,
    상기 장치는 적어도 하나의 추가적인 부가 루프를 더 포함하고, 상기 추가적인 부가 루프는, 제 2 왜곡 회로, 상기 왜곡된 비디오 오브젝트를 상기 이전에 생성된 정지 화상과 혼합하기 위해 제공되는 제 2 혼합 회로, 상기 생성된 정지 화상을 저장하는 메모리를 포함하며, 상기 메모리와 상기 제 2 왜곡 회로 및 제2 혼합 회로는, 상기 제 1 혼합 회로의 출력에서 이용 가능한 상기 갱신된 정지 화상에 대하여, 한편으로는 역순으로 고려된 동일 비디오 시퀀스를 고려하고 다른 한편으로는 상기 역순의 시퀀스의 각각의 관련 비디오 오브젝트에 대응하는 상기 추정된 움직임 정보를 고려하여, (n-1)개의 추가적인 부가 단계들을 수행하도록 구성되며, 상기 제 1 부가 스테이지 또는 상기 추가적인 부가 루프들 중 어느 한 루프의 상기 왜곡 회로와 혼합 회로 사이에는, 각 픽셀에 대하여 상기 왜곡된 비디오 오브젝트와 상기 생성된 정지 화상 간의 에러에 상관되는 가중 계수를 계산하는 수단을 포함하며, 상기 가중 계수는 현재 고려되는 부가 루프에서 상기 계산하는 수단에 후속하는 혼합 회로에 의해 수행되는 혼합 단계에서 고려되는 것을 특징으로 하는, 대형 정지 화상 생성 장치.
KR1020007003653A 1998-08-05 1999-07-29 정지 화상 생성 방법 및 장치 KR100695030B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP98401997.6 1998-08-05
EP98401997 1998-08-05
EP99401607 1999-06-28
EP99401607.9 1999-06-28
PCT/EP1999/005513 WO2000008860A1 (en) 1998-08-05 1999-07-29 Static image generation method and device

Publications (2)

Publication Number Publication Date
KR20010024413A KR20010024413A (ko) 2001-03-26
KR100695030B1 true KR100695030B1 (ko) 2007-03-14

Family

ID=26151683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007003653A KR100695030B1 (ko) 1998-08-05 1999-07-29 정지 화상 생성 방법 및 장치

Country Status (6)

Country Link
US (1) US6487323B1 (ko)
EP (1) EP1042920A1 (ko)
JP (1) JP2002522983A (ko)
KR (1) KR100695030B1 (ko)
CN (1) CN1231067C (ko)
WO (1) WO2000008860A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103229B2 (en) * 2001-11-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Image simplification using a robust reconstruction filter
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
US7773099B2 (en) * 2007-06-28 2010-08-10 Mitsubishi Electric Research Laboratories, Inc. Context aware image conversion method and playback system
CN101888545B (zh) * 2010-05-27 2013-01-02 北京华信新媒技术有限公司 一种低码率信源压缩编码方法
US9870638B2 (en) 2016-02-24 2018-01-16 Ondrej Jamri{hacek over (s)}ka Appearance transfer techniques
US9852523B2 (en) * 2016-02-24 2017-12-26 Ondrej Jamri{hacek over (s)}ka Appearance transfer techniques maintaining temporal coherence
KR102650217B1 (ko) 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US5943445A (en) * 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping

Also Published As

Publication number Publication date
US6487323B1 (en) 2002-11-26
CN1231067C (zh) 2005-12-07
CN1287749A (zh) 2001-03-14
EP1042920A1 (en) 2000-10-11
JP2002522983A (ja) 2002-07-23
WO2000008860A1 (en) 2000-02-17
KR20010024413A (ko) 2001-03-26

Similar Documents

Publication Publication Date Title
US7612909B2 (en) Image processing apparatus and method, and image-capturing apparatus based on the difference between a signal detected by a sensor and the real world
US6259828B1 (en) Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes
Shah et al. Resolution enhancement of color video sequences
EP1400926B1 (en) Image processing apparatus and method and image pickup apparatus
Patti et al. Robust methods for high-quality stills from interlaced video in the presence of dominant motion
US7221778B2 (en) Image processing apparatus and method, and image pickup apparatus
US20040151401A1 (en) Techniques and systems for developing high-resolution imagery
US20040105493A1 (en) Image processing apparatus and method, and image pickup apparatus
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
EP1042919B1 (en) Static image generation method and device
JP2000513897A (ja) 画像分割およびオブジェクト追跡方法と、対応するシステム
KR100695030B1 (ko) 정지 화상 생성 방법 및 장치
US7352917B2 (en) Image processing apparatus and method, and image pickup apparatus
US6496606B1 (en) Static image generation method and device
Lu et al. Fast and robust sprite generation for MPEG-4 video coding
Gu et al. Morphological moving object segmentation and tracking for content-based video coding
Aygun et al. Reducing blurring-effect in high resolution mosaic generation
Chien et al. Automatic Video Segmentation For MPEG-4 Using Predictivewatershed.
Giaccone et al. Creating virtual scenes using active contours and global motion estimation
Komatsu et al. Global motion segmentation representation for advanced digital moving image processing
Fathy et al. Outlier Removal for Super-Resolution Problem Using QR-Decomposition.
Kankanhalli Analogies Based Video Editing
KR20000045630A (ko) 영상처리 시스템에서 격행주사 영상에 대한 프레임 메모리 주소발생장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee