KR19990006678A - 입력 비디오 시퀀스를 스케일링하고 복원하기 위한 방법과 비디오 객체면을 코딩하기 위한 방법 및, 입력 비디오 시퀀스를 복원하기 위한 디코더 장치 - Google Patents

입력 비디오 시퀀스를 스케일링하고 복원하기 위한 방법과 비디오 객체면을 코딩하기 위한 방법 및, 입력 비디오 시퀀스를 복원하기 위한 디코더 장치 Download PDF

Info

Publication number
KR19990006678A
KR19990006678A KR1019980020782A KR19980020782A KR19990006678A KR 19990006678 A KR19990006678 A KR 19990006678A KR 1019980020782 A KR1019980020782 A KR 1019980020782A KR 19980020782 A KR19980020782 A KR 19980020782A KR 19990006678 A KR19990006678 A KR 19990006678A
Authority
KR
South Korea
Prior art keywords
vop
base layer
input video
vops
video sequence
Prior art date
Application number
KR1019980020782A
Other languages
English (en)
Inventor
첸 쑤에민
루스라 아재이
라잔 가네쉬
나라심한 만다양
Original Assignee
샤운 엘. 맥클린토크
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤운 엘. 맥클린토크, 제너럴 인스트루먼트 코포레이션 filed Critical 샤운 엘. 맥클린토크
Publication of KR19990006678A publication Critical patent/KR19990006678A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

본 발명은 입력 디지털 비디오 시퀀스에 비디오 객체면(VOP)을 포함하는 비디오 화상의 시간 및 공간적 스케일링을 제공한다. 코딩 효율은 스케일링 된 필드모드 비디오를 적응적으로 압축시킴으로써 향상된다. 인헨스먼트층에 업샘플링 된 VOP는 선형기준에 기초한 입력 비디오 시퀀스를 갖는 보다 큰 상관성을 제공하기 위해 재정렬 된다. 그 결과, 나머지는 DCT와 같은 공간변이를 이용하여 코딩 된다. 동작보상체계는 베이스층 VOP를 위해 이미 결정된 동작벡터를 스케일링 함으로써 인헨스먼트층 VOP를 코딩하기 위해 이용된다. 중심이 스케일링 된 동작벡터에 의해 정의되는 축소된 검색영역이 제공된다. 동작보상체계는 스케일링 된 프레임모드 또는 필드모드 비디오에 이용하는데 적합하다. 다양한 처리기 구성은 특정한 스케일링 가능 코딩 결과를 달성한다. 스케일링 가능 코딩의 응용은 입체 비디오, 픽처-인-픽처, 미리보기 접근 채널 및, ATM통신을 포함한다.

Description

입력 비디오 시퀀스를 스케일링하고 복원하기 위한 방법과 비디오 객체면을 코딩하기 위한 방법 및, 입력 비디오 시퀀스를 복원하기 위한 디코더 장치
본 발명은, 디지털 비디오 시퀀스에 비디오 객체면을 포함하는 비디오 화상의 시간 및 공간적 스케일링을 제공하기 위한 방법 및 장치에 관한 것으로, 특히 스케일링 된 프레임모드 또는 필드모드 비디오에 이용하기 적합한 동작보상체계와, 이산코사인변이(DCT)와 같은 공간변이를 이용하여 필드모드 비디오를 적응적으로 압축시키기 위한 체계에 관한 것이다.
본 발명은, 특히 다양한 멀티미디어 응용에 이용하는데 적합하고, 참조에 의해 여기에 구체화된 1997년 4월, MPEG-4 Video Verification Model Version 7.0으로 명기된 문서 ISO/IEC/JTC1/SC29/WG11 N1642에 기술된 MPEG-4 Verification Model(VM) 7.0과 호환성이 있다. 본 발명은 입체 비디오, 픽처-인-픽처(picture-in-picture), 미리보기 접근 채널 및, 비동기 전송모드(ATM) 통신의 코딩을 더 제공할 수 있다.
MPEG-4는 플렉시블 프레임워크(flexible framework)와 통신용 코딩수단의 오픈셋(open set)을 제공하고, 디지털 오디오-비쥬얼 데이터의 조작을 제공하는 새로운 코딩 표준이다. 이들 수단은 넓은 범위의 특징을 서포트한다. MPEG-4의 플렉시블 프레임워크는 코딩수단의 다양한 조합과 데이터베이스 브라우징, 정보검색 및 대화형 통신과 같은 컴퓨터, 원격통신 및 오락(즉, TV 및 영화)산업으로부터 요구된 응용을 위한 대응하는 기능들을 서포트한다.
MPEG-4는 멀티미디어 환경에서 비디오 데이터의 효과적인 저장, 전송 및 조작을 위한 표준화 코어(core)기술을 제공한다. MPEG-4는 효과적인 압축, 객체 스케일성, 공간 및 시간적 스케일성 및, 에러 회복력을 달성한다.
MPEG-4 비디오 VM 코더/디코더(codec)는 동작보상을 갖는 블록- 및 객체-베이스드(block- and object-based) 하이브리드 코더이다. 텍스처(texture)는 오버랩핑 된 블록-동작보상을 이용하여 8x8 DCT로 인코드딩 된다. 객체 형상은 알파 맵(alpha maps)으로 나타내고 시간적 예측을 이용하는 CAE(Content-based Arithmetic Encoding)알고리즘이나 변경된 DCT코더를 이용하여 인코딩 된다. 코더는 공지의 컴퓨터 그래픽으로 핸들 스프라이트(handle sprite)를 가능하게 한다. 웨이브랫(wavelet) 및 스프라이트(sprite) 코딩과 같은 다른 코딩방법도 공간적 응용에 이용된다.
동작보상된 텍스처 코딩은 비디오 코딩을 위한 어프로치(approach)로 잘 알려져 있다. 그와 같은 어프로치는 3단계 처리과정으로 모델화 될 수 있다. 제1단계는 동작추정 및 보상(ME/MC)과 2차원(2-D) 공간변이를 포함하는 신호처리과정이다. 복잡한 제약 조건하에서 양자화의 비율-왜곡 성능 및 엔트로피(entropy) 코딩을 최적화 하기 위해 공간변이 및 ME/MC의 객체는 비디오 시퀀스에 시간 및 공간적 상관성의 장점을 취한 것이다. ME/MC를 위한 가장 흔한 기술은 블록 매칭이고, 가장 흔한 공간변이는 DCT이다. 그러나, 공간적 관계가 임의로 형상된 VOP의 경계블록의 ME/MC 및 DCT 코딩으로 야기된다.
MPEG-2 메인 프로필은 MPEG-4의 선구자이고, 참조에 의해 여기에 구체화된 1994년 3월 25일 Information Technology - Generic Coding of Moving Pictures and Associated Audio, Recommendation H.262,로 명기된 문서 ISO/IEC JTC1/SC29/WG11 N0702에 기술되어 있다. MPEG-2 메인 프로필에 스케일성 확장은 2개 이상의 각각의 비트스트림, 또는 층을 제공하는 것이 정의된다. 각각의 층은 단일의 고품질 신호를 형성하기 위해 조합될 수 있다. 예컨대, 베이스층은 저품질 비디오 신호를 제공하고, 반면 인헨스먼트층은 베이스층 화상을 인헨스(enhance) 할 수 있는 추가정보를 제공한다.
특히, 공간 및 시간적 스케일성은 다른 비디오 표준 또는 디코더 성능간 호환성을 제공할 수 있다. 공간적 스케일성의 경우, 베이스층 비디오는 입력 비디오 시퀀스보다 낮은 공간적 해상도를 갖고, 그 경우 인헨스먼트층은 입력 시퀀스 레벨로 베이스층의 해상도를 회복시킬 수 있는 정보를 운반한다. 예컨대, ITU-R(International Telecommunications Union-Radio Sector) 601 표준(720x576 픽셀의 해상도를 갖는)에 부합되는 입력 비디오 시퀀스는 CIF(Common Interchange Format) 표준(360x288 픽셀을 갖는)에 부합되는 베이스층으로 운반된다. 이 경우에 인헨스먼트층은 ITU-R 601 표준으로 베이스층 비디오를 회복시키기 위해 디코더로부터 이용되는 정보를 운반한다. 즉, 인헨스먼트층은 저하된 공간 해상도를 갖는다.
시간적 스케일성의 경우, 베이스층은 입력 비디오 시퀀스보다 낮은 시간적 해상도(즉, 프레임율)를 갖을 수 있고, 반면 인헨스먼트층은 손실 프레임을 운반한다. 디코더에서 조합될 때, 본래 프레임율이 회복된다.
따라서, MPEG-4 표준에 사용된 것과 같은 비디오 객체면(VOP)을 포함하는 비디오 신호의 코딩을 위한 시간 및 공간적 스케일성 기능을 제공하는 것이 바람직하다. 입체 비디오, 픽처-인-픽처, 미리보기 접근 채널 및, 비동기 전송모드(ATM) 통신의 코딩을 위한 성능을 갖는 것이 바람직하다.
검색범위의 크기가 양방향적으로 예측된 VOP(B-VOP)의 인헨스먼트층 예측 코딩의 동작추정을 위해 축소된 비교적 낮은 복잡성 및 저비용 코덱(codec) 설계가 보다 바람직하다. 또한, 나머지(residue)를 결정하고 데이터를 공간적으로 변형시키기에 앞서 인헨스먼트층 VOP의 픽셀라인을 적절하게 재정렬함으로써 베이스 및 인헨스먼트층에 스케일링 된 주사된 비디오 입력신호를 효과적으로 코딩시키는 것이 바람직하다. 본 발명은 상기와 같은 장점과 또 다른 장점을 갖는 시스템을 제공한다.
본 발명은 상기한 점을 감안하여 발명된 것으로, 디지털 비디오 시퀀스에 비디오 객체면(VOP)과 같은 비디오 화상의 시간 및 공간적 스케일링을 제공하기 위한 방법 및 장치를 제공는데 그 목적이 있다.
도 1은 본 발명에 따른 비디오 객체면(VOP) 코딩 및 디코딩 과정을 나타낸 도면,
도 2는 본 발명에 따른 VOP 코더 및 디코더의 블록도,
도 3은 본 발명에 따른 픽셀 업샘플링을 나타낸 도면,
도 4는 베이스층과 인헨스먼트층에 VOP간 예측과정의 일예를 나타낸 도면,
도 5는 본 발명에 따른 VOP의 시간 및 공간적 스케일링을 나타낸 도면,
도 6은 본 발명에 따른 프레임에서 필드모드로 픽셀라인의 재정렬을 나타낸 도면,
도 7은 본 발명에 따른 시간 및 공간적 스케일링의 픽처-인-픽처(PIP) 또는 미리보기 채널 접근 응용을 나타낸 도면,
도 8은 본 발명에 따른 입체 비디오 응용을 나타낸 도면이다.
상기한 바와 같은 목적을 달성하기 위해, VOP는 충만(full) 프레임 및/또는 프레임의 서브셋(subset)으로 이루어지고, 임의적인 형상을 가질 것이다. 또한, 다수의 VOP는 하나의 프레임에 제공되거나 아니면 시간적으로 일치될 것이다.
대응하는 베이스층과 인헨스먼트층에 전달을 위한 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 스케일링 하기 위한 방법이 제공되고, 여기서 다운샘플링 된 데이터는 베이스층으로 운반된다. 입력 비디오 시퀀스에 VOP는 관련된 공간적 해상도 및 시간적 해상도(예컨대, 프레임율)를 갖는다.
입력 비디오 시퀀스의 VOP중 첫 번째 특정한 어느 하나의 픽셀 데이터는 저하된 공간적 해상도를 갖는 제1베이스층 VOP를 제공하기 위해 다운샘플링 된다. 적어도 제1베이스층 VOP의 일부분의 픽셀 데이터는 인헨스먼트층에 제1업샘플링 된 VOP를 제공하기 위해 업샘플링 된다. 제1업샘플링 된 VOP는 입력 비디오 시퀀스의 VOP중 첫 번째 특정한 어느 하나를 이용하여 차별적으로 인코딩 되고, 제1베이스층 VOP에 대응하는 시간적 위치에서 인헨스먼트층으로 제공된다.
차별적인 인코딩은 입력 비디오 시퀀스의 VOP중 첫 번째 특정한 어느 하나의 픽셀 데이터와 제1업샘플링 된 vop의 픽셀 데이터간 차에 따라 나머지를 결정하는 단계를 포함한다. 나머지는 DCT를 이용하여 변이계수를 제공하기 위해 공간적으로 변이된다.
입력 비디오 시퀀스에 VOP가 필드모드 VOP일 경우, 픽셀 데이터의 라인이 재정렬 기준을 충족하면, 차별적인 인코딩은 나머지를 결정하기에 앞서 필드모드에 제1업샘플링 된 VOP의 픽셀 데이터의 라인을 재정렬한다. 상기 기준은 반대-필드라인(즉, 홀수 대 짝수 및, 짝수 대 홀수)의 루미넌스값 차의 합이 동일-필드라인(즉, 홀수 대 홀수, 짝수 대 짝수)과 바이어스(bias) 조건의 루미넌스 데이터 차의 보다 큰지의 여부이다.
제1베이스층 VOP의 업샘플링 된 픽셀 데이터는 완전한 제1베이스층 VOP의 서브셋이 될 것이고, 따라서 업샘플링 되지 않은 제1베이스층 VOP의 나머지 부분은 업샘플링 된 픽셀 데이터보다 낮은 공간적 해상도를 갖는다.
제2베이스층 VOP와 인헨스먼트층에 업샘플링 된 VOP는 동일한 방법으로 제공된다. 제1 및 제2베이스층 VOP중 하나 또는 양쪽 모두는 제1 및 제2업샘플링 된 VOP에 대응하는 개재물(intermediate) VOP를 예측하기 위해 이용될 수 있다. 개재물 VOP는 제1 및 제2업샘플링 된 VOP간 시간적으로 인헨스먼트층에 전달을 위해 인코딩 된다.
더욱이, 인헨스먼트층은 제1 및 제2베이스층 VOP간 개재물 베이스층 VOP가 없을 경우, 베이스층보다 높은 시간적 해상도를 갖는다.
특정한 응용에 있어서, 베이스 및 인헨스먼트층은 PIP 화상이 베이스층으로 운반되는 픽처-인-픽처(PIP) 특성, 또는 미리보기 접근 화상이 베이스층으로 운반되는 미리보기 접근 채널 특성을 제공한다. 그와 같은 응용에 있어서, 저하된 공간 및/또는 시간적 해상도를 갖도록 PIP화상 또는 프리(free) 미리보기 화상을 수용할 수 있다. ATM 응용에 있어서, 보다 높은 우선순위, 보다 낮은 비트율 데이터는 베이스층에 제공되고, 반면 보다 낮은 우선순위, 보다 높은 비트율 데이터는 인헨스먼트층에 제공된다. 이러한 경우에 있어서, 베이스층은 보장된 대역폭이 할당되지만, 종종 인헨스먼트층 데이터를 손실할 수 있다.
다운샘플링 된 데이터가 베이스층이 아니라 인헨스먼트층으로 운반되는 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 스케일링 하기 위한 방법이 제공된다. 이 방법의 경우, 입력 비디오 시퀀스의 VOP중 첫 번째 특정한 어느 하나는 공간적 해상도를 변경하지 않고 제1베이스층 VOP로서 베이스층에 제공된다. 적어도 제1베이스층 VOP의 일부분의 픽셀 데이터는 제1베이스층 VOP에 대응하는 시간적 위치에서 인헨스먼트층으로 대응하는 제1다운샘플링 된 VOP를 제공하도록 다운샘플링 된다. VOP중 첫 번째 특정한 어느 하나의 대응하는 픽셀 데이터는 비교 VOP를 제공하도록 다운샘플링 되고, 제1다운샘플링 된 VOP는 비교 VOP를 이용하여 차별적으로 인코딩 된다.
베이스 및 인헨스먼트층은 인헨스먼트층의 화상 데이터가 베이스층의 화상 데이터보다 낮은 공간적 해상도를 갖는 입체 비디오 성능을 제공한다.
양방향적으로 예측된 비디오 객체면(VOP)을 코딩하기 위한 방법도 기술되어 있다. 제1 및 제2베이스층 VOP는 입력 비디오 시퀀스 VOP에 대응하는 베이스층에 제공된다. 제2베이스층 VOP는 동작벡터(MVP)에 따라 제1베이스층 VOP로부터 예측된 P-VOP이다. B-VOP는 제1 및 제2베이스층 VOP간 시간적으로 인헨스먼트층에 제공된다.
B-VOP는 동작벡터(MVP)를 스케일링 함으로써 얻어진 전방(forward) 동작벡터(MVf)와 후방(backward) 동작벡터(MVB)중 적어도 어느 하나를 이용하여 인코딩 된다. 이러한 유효한 코딩기술은 기준 VOP에 독립적인 과도한 검색을 수행할 필요가 없다. 시간적 거리(TRP)는 제1 및 제2베이스층 VOP를 분리하고, 반면 시간적 거리(TRB)는 제1베이스층 VOP 및 B-VOP를 분리한다.
비 m/n은 B-VOP의 공간적 해상도에 대한 제1 및 제2베이스층 VOP의 공간적 해상도의 비율로 정의된다. 즉, 베이스층 VOP나 인헨스먼트층에 B-VOP는 비 m/n에 의한 입력 비디오 시퀀스의 VOP에 따라 다운샘플링 된다. 베이스층이나 인헨스먼트층 VOP는 입력 비디오 시퀀스로서 동일한 공간적 해상도를 갖는 것으로 추측된다.
전방 동작벡터(MVf)는 관계 MVf=(m/n)ㆍTRBㆍMVP/TRP에 따라 결정되고, 반면 후방 동작벡터(MVb)는 관계 MVb=(m/n)ㆍ(TRB-TRP)ㆍMVP/TRP에 따라 결정된다. m/n은 분수값을 포함하는 양수이다.
B-VOP는 중심이 전방 동작벡터(MVf)에 따라 결정되는 제1베이스층 VOP의 검색영역과, 중심이 후방 동작벡터(MVB)에 따라 결정되는 제2베이스층 VOP의 검색영역을 이용하여 인코딩 된다.
대응하는 디코더 방법 및 장치도 또한 기술되어 있다.
본 발명은 디지털 비디오 시퀀스에 비디오 객체면(VOP)을 포함하는 비디오 화상의 시간 및 공간적 스케일링을 위한 방법 및 장치를 제공한다.
(실시예)
이하, 본 발명의 실시예를 도면을 참조하면서 상세히 설명한다.
도 1은, 본 발명에 따른 비디오 객체 코딩 및 디코딩 과정을 나타낸 도면이다. 프레임(105)은 정사각형 전경(foreground)성분(107), 타원형 전경성분(108) 및 경치배경성분(109)을 포함하는 3개의 그림성분을 포함한다. 프레임(115)에 성분은 VOP(117)가 정사각형 전경성분(107)을 나타내고, VOP(118)가 타원형 전경성분(108)을 나타내며, VOP(119)가 경치배경성분(109)을 나타내는 세그먼테이션(segmentation) 마스크를 이용하여 VOP를 나타낸다. VOP는 임의의 형상을 가질 수 있고, VOP의 연속은 비디오 객체로 알려져 있다. 완전 직사각형 비디오 프레임도 VOP로서 고려된다. 따라서, 용어 VOP는 임의의 그리고 비임의의 화상영역 형상을 나타내기 위해 사용된다. 세그먼테이션 마스크는 공지의 기술을 이용하여 얻어지고, ITU-R 601 루미넌스 데이터의 것과 유사한 포맷을 갖는다. 각각의 픽셀은 비디오 프레임의 소정 영역에 속하는 것으로 식별된다.
프레임(105)과 프레임(115)으로부터의 VOP 데이터는 분리 인코딩 기능으로 제공된다. 특히, VOP(117,118,119)는 각각 인코더(137,138,139)에서 형상, 동작 및 텍스처 인코딩을 받는다. 형상 코딩의 경우, 2진 및 그레이(gray) 스케일 형상정보가 인코딩 된다. 동작 코딩의 경우, 형상정보는 프레임 내에 동작추정을 이용하여 코딩 된다. 텍스처 코딩의 경우, DCT와 같은 공간변이는 가변길이가 보상을 위해 코딩될 수 있는 변이계수를 얻기 위해 수행된다.
다음에, 코딩된 VOP 데이터는 채널(145)을 통해 전송하기 위해 멀티플렉서(140: MUX)에서 조합된다. 즉, 데이터는 기록매체에 저장된다. 수신된 코딩 된 VOP 데이터는 각 VOP(117~119)가 디코딩 되어 복원되도록 디멀티플렉서(150: DEMUX)에 의해 분리된다. 프레임(155,165,175)은 VOP(117,118,119)가 각각 디코딩 되어 복구되고 따라서 비디오 라이브러리(170)와 인터페이스 하는 합성기(160)를 이용하여 개별적으로 조작될 수 있는 것을 나타낸다.
합성기는 주문된 화상을 제공하기 위해 수신된 데이터를 사용자가 편집할 수 있도록 사용자의 집에 위치된 개인 컴퓨터와 같은 장치이다. 예컨대, 사용자의 개인 비디오 라이브러리(170)는 수신된 VOP와 다른 미리 저장된 VOP(178: 즉, 원형)를 포함한다. 사용자는 원형 VOP(178)가 정사각형(117)으로 바뀌는 프레임(185)을 합성한다. 따라서, 프레임(185)은 수신된 VOP(118, 119)와 국부적으로 저장된 VOP(178)를 포함한다.
또 다른 예에 있어서, 배경 VOP(109)는 사용자가 선택하는 배경으로 바뀔 것이다. 예컨대, 새로운 텔레비전 방송을 시청할 경우, 아나운서는 새로운 스튜디오와 같은 배경으로부터 분리되는 VOP로서 코딩 된다. 사용자는 주식가격 또는 날씨정보를 갖는 채널과 같은 또 다른 텔레비젼 프로그램으로부터 또는 라이브러리(170)로부터 배경을 선택한다. 따라서, 사용자는 비디오 편집자로서 행동할 수 있다.
또한, 비디오 라이브러리(170)는 채널(145)을 통해 수신된 VOP를 저장하고, 인터넷과 같은 네트워크를 통해 VOP와 또 다른 화상성분을 억세스 할 것이다.
프레임(105)이 VOP가 아닌 영역을 포함하기 때문에 개별적으로 조작될 수 없는 것을 알 수 있다. 더욱이, 프레임(105)은 어떤 VOP도 가질 필요가 없다. 일반적으로, 비디오 세션(session)은 단일 VOP, 또는 VOP의 시퀀스로 이루어진다.
도 1의 비디오 객체 코딩 및 디코딩 과정은 개인용 컴퓨터 게임, 가상환경, 그래픽 사용자 인터페이스, 화상회의, 인터넷 응용 등을 포함하는 다양한 오락, 사업 및 교육 응용을 가능하게 한다. 특히, 본 발명에 따른 VOP의 공간 및 시간적 스케일링을 위한 특성은 보다 훌륭한 성능을 제공한다.
도 2는 본 발명에 따른 비디오 객체 코더 및 디코더의 블록도이다. 도 1에 모식적으로 나타낸 성분(137~139)에 대응하는 인코더(201)는 입력 비디오 데이터 시퀀스 in을 수신하는 스케일성 전처리기(205: preprocessor)를 포함한다. 인헨스먼트층보다 낮은 공간 해상도를 갖는 베이스층에 공간적 스케일성을 달성하기 위해, in은 경로(217)를 통해 베이스층 인코더(220)에 차례로 제공되는 신호 in_o를 얻기 위해 공간적으로 다운샘플링 된다. in_0는 베이스층 인코더(220)에서 인코딩 되고, 인코딩 된 데이터는 멀티플렉서(230)에 제공된다. MSDL(MPEG-4 System and Description Language) 멀티플렉서가 사용된다.
입력 비디오 시퀀스 in이 필드(주사된)모드에 있을 경우, 다운샘플링 된 신호 in_0는 다운샘플링이 짝수 및 홀수필드에 픽셀 데이터를 유지하지 않기 때문에 프레임(프로그래시브(progressive))모드로 될 것이다. 물론, in_0도 또한 in이 프레임모드에 있을 경우, 프레임모드로 될 것이다.
도 3과 관련하여 보다 상세하게 이하에 기술한 바와 같이, 복구된 화상 데이터는 베이스층 인코더(220)로부터 픽셀 업샘플링을 수행하는 경로(218)를 통해 중간처리기(215: midprocessor)로 제공된다. 다음에, 프레임모드에 있는 업샘플링 된 화상 데이터는 경로(212)를 통해 인헨스먼트층 인코더(210)에 제공되고, 여기서 그것은 전처리기(205)로부터 경로(207)를 통해 인코더(210)로 제공된 입력 화상 데이터 in_1를 이용하여 차별적으로 인코딩 된다. 특히, 업샘플링 된 픽셀 데이터(즉, 루미넌스 데이터)는 나머지를 얻기 위해 입력 화상 데이터로부터 추출되고, 다음에 DCT 또는 또 다른 공간적 변이를 이용하여 인코딩 된다.
본 발명에 따른 입력 비디오 시퀀스가 필드모드에 있을 경우, 코딩 효율은 입력 비디오 시퀀스의 본래 짝수(상부) 및 홀수(하부)필드에 대응하는 업샘플링 된 인헨스먼트층 화상의 픽셀라인을 그룹화 함으로써 향상될 수 있다. 이것은 필드 내에 픽셀 데이터가 흔히 반대 필드의 데이터에서 보다 동일한 필드에 다른 픽셀 데이터에서 더 큰 상관성을 갖기 때문에, 몇몇 경우에 있어 나머지의 크기를 감소시킬 수 있다. 따라서, 나머지의 크기를 감소시킴으로써, 보다 작은 비트가 화상 데이터를 코딩시키기 위해 요구된다. 이하, 도 6 및 관련하여 기술한 설명을 통해 보다 상세하게 설명한다.
인헨스먼트층에 업샘플링 된 화상의 인코딩 된 나머지는 통신채널(245)을 통해 베이스층 데이터에 전송을 위해 멀티플렉서(230)에 제공된다. 데이터는 양자택일로 국부적으로 저장된다. 멀티플렉서(230), 채널(245) 및 디멀티플렉서(250)는 각각 도 1의 성분 140, 145 및 150에 대응한다.
베이스층 인코더(220)로부터 중간처리기(215)에 제공된 화상 데이터는 충만-프레임 VOP, 또는 완전한 화상의 서브셋인 VOP와 같은 완전한 비디오 화상인 것에 주목하자. 더욱이, 다수의 VOP는 중간처리기(215)에 제공된다. 현재, MPEG-4는 256 VOP까지 서포트한다.
디코더(299)에서 인코딩 된 데이터는 MPEG-4 MSDL DEMUX와 같은 디멀티플렉서(250)에서 수신된다. 본 실시예에 베이스층 데이터보다 높은 공간적 해상도를 갖는 인헨스먼트층 데이터는 인헨스먼트층 디코더(260)에 제공된다. 베이스층 데이터는 베이스층 디코더(270)에 제공되고, 여기서 신호 out_0는 경로(267)를 통해 중간처리기(265) 및 경로(277)를 통해 스케일성 후위처리기(280: postprocessor)에 복원되어 제공된다. 중간처리기는 충만-해상도 화상을 복원시키기 위해 베이스층 데이터를 업샘플링 함으로써 인코더 측에 중간처리기(215)와 동일한 방법으로 동작한다. 이 화상은 인헨스먼트층 데이터 신호 out_1을 복원시키는데 이용하기 위해 경로(262)를 통해 인헨스먼트층 디코더(260)에 제공되고, 다음에 경로(272)를 통해 스케일성 후위처리기(280)에 제공된다. 스케일성 후위처리기(280)는 신호 outp_0로서 디스플레이 하기 위해 디코딩 된 베이스층 데이터의 공간적 업샘플링과 같은 동작을 수행하고, 반면 인헨스먼트층 데이터는 신호 outp_1로서 디스플레이 하기 위해 출력된다.
인코더(201)가 시간적 스케일성을 위해 사용될 경우, 전처리기(205)는 베이스층을 위한 프레임율을 감소시키기 위해 시간적 디멀티플렉싱(예컨대, 풀다운(pulldown) 프로세싱 또는 프레임 드롭핑(dropping))을 수행한다. 예컨대, 프레임율을 30 프레임/초에서 15 프레임/초까지 감소시키기 위해, 모든 다른 프레임이 드롭(drop)된다.
이하, 표 1은 중간처리기(215,265), 스케일성 전처리기(205) 및 스케일성 후위처리기(280)의 24개 가능한 구성을 나타낸다.
표 1
구 성 층 시간적해상도 공간적해상도 스케일성전처리기 중간처리기 스케일성후위처리기
1 베이스 저(고) 저 다운샘플필터링 업샘플필터링 N/C
인헨스먼트 저(고) 고 N/C N/A N/C
2 베이스 저 저 다운샘플필터링 및풀다운프로세싱 업샘플필터링 N/C
인헨스먼트 고 고 N/C N/A N/C
3 베이스 고 저 다운샘플필터링 업샘플필터링 N/C
인헨스먼트 저 고 풀다운 프로세싱 N/A N/C
4 베이스 저(고) 고 N/C 다운샘플필터링 N/C
인헨스먼트 저(고) 저 다운샘플필터링 N/A 업샘플필터링
구 성 층 시간적해상도 공간적해상도 스케일성전처리기 중간처리기 스케일성후위처리기
5 베이스 저 고 풀다운 프로세싱 다운샘플필터링 N/C
인헨스먼트 고 저 다운샘플필터링 N/A 업샘플필터링
6 베이스 고 고 N/C 다운샘플필터링 N/C
인헨스먼트 저 저 다운샘플필터링및풀다운프로세싱 N/A 업샘플필터링
7 베이스 저(고) 고 N/C N/C N/C
인헨스먼트 저(고) 고 N/C N/A N/C
8 베이스 저 고 풀다운프로세싱 N/C N/C
인헨스먼트 고 고 N/C N/A N/C
9 베이스 고 고 N/C N/C N/C
인헨스먼트 저 고 풀다운프로세싱 N/A N/C
10 베이스 저(고) 저 다운샘플필터링 N/C 업샘플필터링
인헨스먼트 저(고) 저 다운샘플필터링 N/A 업샘플필터링
11 베이스 저 저 다운샘플필터링및풀다운프로세싱 N/C 업샘플필터링
인헨스먼트 고 저 다운샘플필터링 N/A 업샘플필터링
12 베이스 고 저 다운샘플필터링 N/C 업샘플필터링
인헨스먼트 저 저 다운샘플필터링및풀다운프로세싱 N/A 업샘플필터링
표 1에 제1열은 구성번호를 나타내고, 제2열은 층을 나타내며, 제3열은 층의 시간적 해상도(예컨대, 고(high) 또는 저(low))를 나타낸다. 저(고)가 리스트된 경우, 베이스 및 인헨스먼트층의 시간적 해상도는 모두 고이거나 모두 저인 것을 나타낸다. 제4열은 공간적 해상도를 나타낸다. 제5, 제6 및 제7열은 스케일성 전처리기(205), 중간처리기(215,265) 및 스케일성 후위처리기(280)의 대응하는 액션을 나타낸다. N/C는 시간적 또는 공간적 해상도의 변경이 없는, 즉 정상 프로세싱이 수행된 것을 나타낸다. N/A는 not applicable을 의미한다. 중간처리기(215,265) 액션은 인헨스먼트층에 영향을 미치지 않는다.
공간적으로 스케일링 된 코딩은 일예로서 구성1을 이용하여 설명된다. 기술한 바와 같이, 스케일성 코더(201)가 VOP를 코딩하기 위해 이용될 경우, 전처리기(205)는 다른 공간적 해상도를 갖는 VOP의 2개의 서브스트림을 생성한다. 표 1에 나타낸 바와 같이, 베이스층은 낮은 공간적 해상도를 갖고, 인헨스먼트층은 입력 시퀀스의 해상도에 대응하는 높은 공간적 해상도를 갖는다. 따라서, 베이스층 시퀀스 in_0는 스케일성 전처리기(205)에서 입력 비디오 시퀀스 in의 다운샘플링 과정에 의해 생성된다. 인헨스먼트층 시퀀스는 in의 동일한 높은 공간적 해상도를 이루기 위해 중간처리기(215,265)에서 다운샘플링 된 베이스층 시퀀스의 업샘플 필터링에 의해 발생된다. 후위처리기(280)는 out_1 또는 out_0의 시간적 또는 공간적 해상도를 변경시키지 않는 정상 프로세싱을 수행한다.
예컨대, 베이스층 CIF 해상도 시퀀스(360x288 픽셀)는 ITU-R 601 해상도 입력 시퀀스(720x576 픽셀)의 2:1 다운샘플 필터링으로 발생될 수 있다. 소정 인테그랄(integral) 또는 비인테그랄 비에 의한 다운샘플링이 이용된다.
시간 및 공간적으로 스케일링 된 코딩은 일예로서 구성2를 이용하여 설명된다. 여기서, 높은 공간 및 시간적 해상도를 갖는 입력 비디오 시퀀스 in은 낮은 공간 및 시간적 해상도를 갖는 베이스층 시퀀스와, 높은 공간 및 시간적 해상도를 갖는 인헨스먼트층 시퀀스로 변환된다. 이것은 중간처리기(215,265)에서의 업샘플 필터링과 후위처리기(280)에서의 정상 프로세싱과 함께, 신호 in_0를 제공하기 위해 전처리기(205)에서 다운샘플 필터링 및 풀다운 프로세싱을 수행함으로써 표 1에 나타낸 바와 같이 달성된다.
구성3의 경우, 낮은 또는 높은 시간적 해상도와 높은 공간적 해상도를 갖는 입력 비디오 시퀀스 in는 대응하는 낮은 또는 높은 시간적 해상도 및 높은 공간적 해상도를 갖는 베이스층 시퀀스와, 대응하는 낮은 또는 높은 시간적 해상도 및 낮은 공간적 해상도를 갖는 인헨스먼트층 시퀀스로 변환된다. 이것은 중간처리기(215,265)에서의 다운샘플 필터링과 후위처리기(280)에서의 인헨스먼트층 시퀀스 out_1를 위한 업샘플 필터링과 함께, 전처리기(205)에서 인헨스먼트층 시퀀스 in_1을 위한 다운샘플 필터링을 수행함으로써 달성된다.
나머지 구성들은 상술한 예의 관점으로 이해될 수 있다.
도 3은 본 발명에 따른 픽셀 업샘플링을 나타낸 도면이다. 업샘플링 필터링은 표 1의 구성1로 중간처리기(215,265)에 의해 수행된다. 예컨대, CIF 해상도(360x288 픽셀)를 갖는 VOP는 2:1 업샘플링으로 ITU-R 601 해상도(720x576 픽셀)로 변환될 수 있다. CIF 화상의 픽셀(310,320,330,340)은 ITU-R 601 화상의 픽셀(355,360,365,370,375,380,385,390)을 생성하도록 샘플링 된다. 특히, ITU-R 601 픽셀(360)은 각각 화살표(312,322)로 나타낸 바와 같이 CIF 픽셀(310,320)을 샘플링 함으로써 생성된다. 유사하게, ITU-R 601 픽셀(365)도 각각 화살표(314,324)로 나타낸 바와 같이 CIF 픽셀(310,320)을 샘플링 함으로써 생성된다.
도 4는 베이스층과 인헨스먼트층에 VOP간 예측과정의 일예를 나타낸다. 도 2의 인헨스먼트층 인코더(210)에 있어서, 인헨스먼트층의 VOP는 P-VOP 또는 B-VOP로서 인코딩 된다. 본 실시예에 있어서, 인헨스먼트층에 VOP는 베이스층 VOP보다 큰 공간적 해상도를 갖기 때문에 보다 큰 영역으로 그려진다. 시간적 해상도(예컨대, 프레임율)는 양쪽층 모두가 동일하다. VOP는 좌측에서 우측의 표시순서로 나타낸다.
베이스층은 I-VOP(405), B-VOP(415,420) 및 P-VOP(430)를 포함한다. 인헨스먼트층은 P-VOP(450,490) 및 B-VOP(460,480)를 포함한다. B-VOP(415)는 화살표(410,440)로 나타낸 바와 같이 다른 베이스층 VOP로부터 예측되고, 반면 B-VOP(420)도 또한 화살표(425,435)로 나타낸 바와 같이 다른 베이스층 VOP로부터 예측된다. P-VOP(430)는 화살표(445)로 나타낸 바와 같이 I-VOP(405)로부터 예측된다. P-VOP(450)는 화살표(455)로 나타낸 베이스층 VOP를 업샘플링 함으로써 유도되고, 반면 P-VOP(490)는 화살표(495)로 나타낸 베이스층 VOP를 업샘플링 함으로써 유도된다. B-VOP(460)는 화살표(465,475)로 나타낸 바와 같이 베이스층 VOP로부터 예측되고, 반면 B-VOP(480)는 화살표(470,485)로 나타낸 바와 같이 베이스층 VOP로부터 예측된다.
일반적으로, 베이스층에 I-VOP와 시간적으로 부합되는(예컨대, 디스플레이 또는 표시 순서에) 인헨스먼트층 VOP는 P-VOP로 인코딩 된다. 예컨대, VOP(450)는 I-VOP(405)와 시간적으로 부합되어 P-VOP로 코딩 된다. 베이스층에 P-VOP와 시간적으로 부합되는 인헨스먼트층 VOP는 P-VOP 또는 B-VOP로 인코딩 된다. 예컨대, VOP(490)는 P-VOP(430)와 시간적으로 부합되어 P-VOP로 코딩 된다. 베이스층에 B-VOP와 시간적으로 부합되는 인헨스먼트층 VOP는 B-VOP로 인코딩 된다. 예컨대, B-VOP(460,480) 참조.
I-VOP(405)와 P-VOP(430)는 인헨스먼트층 VOP를 위한 예측기준으로 사용되어온 앵커 VOP로 알려져 있다. 따라서, I-VOP(405)와 P-VOP(430)는 인헨스먼트층에 대응 예측된 VOP의 인코딩 전에 코딩 된다. 인헨스먼트층에 VOP의 예측기준은 MPEG-4 보상 신택스에 전방(예측) 시간적 기준 표시자 forward_temporal_ref로 지정된다. 상기와 같은 표시자는 베이스층에 시간적으로 부합된 I-VOP로 표시하는 난네가티브(non-negative) 정수이다. 인헨스먼트층에 B-VOP의 예측기준은 ref_select_code, forward_temporal_ref 및 backward_temporal_ref로 지정된다. 이하, 표 2 참조. 표는 MPEG-2와 MPEG-4 VM 3.0 스케일성 체계가 다른 것에 주목하자.
표 2
ref_select_code 전방 시간적 기준 VOP 후방 시간적 기준 VOP
0 베이스층 베이스층
1 베이스층 인헨스먼트층
10 인헨스먼트층 베이스층
11 인헨스먼트층 인헨스먼트층
표 2는 인헨스먼트층에 B-VOP를 위한 예측기준 선택을 나타낸다. 예컨대, 베이스층에 I-VOP(405)와 P-VOP(430)을 위한 시간적 기준 코드 temporl_ref를 각각 0과 3으로 가정하자. 또한, 인헨스먼트층에 P-VOP(450)를 위한 temporal_ref를 0으로 놓자. 그러면, 도 4에 있어서, P-VOP(450)를 위한 forward_temporal_ref = 0이다. 각각의 화살표 465 및 475와, 470 및 485로 주어진 B-VOP 460과 480의 예측기준은 ref_select_code=00, forward_temporal_ref=0 및 backward_temporal_ref=3으로 지정된다. P-VOP(490)의 예측기준은 ref_select_code=10, forward_temporal_ref=0 및 backward_temporal_ref=3으로부터 지정된다.
베이스 및 인헨스먼트층 모두의 인코딩에 있어서, 예측모드는 이하, 표 3에 주어진 2비트 워드 VOP_prediction_type으로 표시된다.
표 3
VOP_prediction_type code
I 0
P 1
B 10
I 예측타입은 인트라-코드화 VOP를 나타내고, P 예측타입은 예측된 VOP를 나타내며, B 예측타입은 양방향적으로 예측된 VOP를 나타낸다. 베이스층의 시퀀스 in_0에 인코딩 과정은 MPEG-2 메인 프로필 또는 H.263 표준에 따른 스케일링 가능하지 않은 인코딩 과정과 동일하다.
도 6은 본 발명에 따른 프레임에서 필드모드로 픽셀라인의 재정렬 또는 치환을 나타낸다. 기술한 바와 같이, 입력 VOP가 필드모드에 있고 다운샘플링 되면, VOP는 프레임모드에 존재할 것이다. 따라서, 다운샘플링 된 화상이 공간적으로 업샘플링 되면, VOP도 또한 프레임모드에 존재할 것이다. 그러나, 업샘플링 된 VOP로부터 입력 VOP를 추출함으로써 업샘플링 된 VOP가 차별적으로 인코딩 되면, DCT와 같은 공간변이가 이후 나머지에 수행될 경우 나머지는 최적 코딩효율을 가져오지 않는다. 즉, 반대 필드 픽셀보다 동일 필드 픽셀간 보다 큰 상관성으로 인해 나머지 값의 크기가 짝수 및 홀수라인을 그룹화 하기 위해 업샘플링 된 화상의 라인을 치환(즉, 재정렬)함으로써 감소될 수 있는 많은 경우가 있다.
인헨스먼트층의 업샘플링 된 픽셀(예컨대, 루미넌스) 데이터를 나타내는 화상은 600으로 나타냈다. 예컨대, 화상(600)을 8x8 블록의 2:1 업샘플링에 의해 유도되는 16x16 매크로블록으로 가정하자. 매크로블록은 짝수번호라인(602, 604, 606, 608, 610, 612, 614, 616)과, 홀수번호라인(603, 605, 607, 609, 611, 613, 615, 617)을 포함한다. 짝수 및 홀수라인은 각각 상부 및 하부필드를 형성한다. 매크로블록(600)은 영역(620)과 라인(602~609)의 교차에 의해 정의된 제1블록과, 영역(625)과 라인(602~609)의 교차에 의해 정의된 제2블록, 영역(620)과 라인(610~617)의 교차에 의해 정의된 제3블록 및, 영역(625)과 라인(610~617)의 교차에 의해 정의된 제4블록을 포함하는 4개의 8x8 루미넌스 블록을 포함한다.
화상(600)의 픽셀라인이 나머지를 결정하고 DCT를 수행하기에 앞서 본 발명에 따른 동일-필드 루미넌스 블록을 형성하기 위해 치환될 때, 650으로 나타낸 매크로블록이 형성된다. 645로 나타낸 화살표들은 라인(602~617)의 재정렬을 나타낸다. 예컨대, 매크로블록(600)의 제1라인인 짝수라인(602)은 매크로블록(650)의 제1라인이다. 짝수라인(604)은 매크로블록(650)의 제2라인으로 이룬다. 유사하게, 짝수라인(606,608,610,612,614,616)은 각각 매크로블록(650)의 8개라인으로 제3라인을 이룬다. 따라서, 짝수번호라인을 갖는 16x8 루미넌스 영역(680)이 형성된다. 제1 8x8 블록은 영역 680과 670의 교차에 의해 정의되고, 제2 8x8 블록은 영역 680과 675의 교차에 의해 정의된다.
유사하게, 홀수번호라인은 16x8 영역(685)으로 옮겨진다. 영역(685)은 영역 685와 670의 교차에 의해 정의된 제1 8x8 블록으로 이루어지고, 제2 8x8 블록은 영역 685와 675의 교차에 의해 정의된다. 따라서, 영역(685)은 홀수라인(603,605,607,609,611,613,615,617)을 포함한다.
나머지에 수행되는 DCT는 매크로블록 600이 매크로블록 650으로 나타낸 바와 같이 재정렬되는지의 여부에 따라 필드 DCT 또는 프레임 DCT로 여기에 적용된다. 그러나, 본 발명은 다른 공간변이와 함께 이용하는데 적합하다. 필드 DCT가 이용될 경우, 매크로블록의 공간 도메인에 루미넌스 라인(또는 루미넌스 에러)은 프레임 DCT에서 상부(짝수) 및 하부(홀수)필드 DCT 구성으로 치환된다. 그 결과, 매크로블록이 변이되고 양자화되어 정상적으로 가변길이 인코딩 된다. 필드 DCT 매크로블록이 디코딩 될 경우, 역치환은 모든 루미넌스 블록이 역 DCT(IDCT)로부터 얻어진 후에 수행된다. 4:2:0 크로미넌스 데이터는 이 모드로부터 영향받지 않는다.
본 발명에 따른 필드 또는 프레임모드 DCT를 선택하기 위한 기준은 이하의 식과 같다. 필드 DCT는 이하와 같을 경우 선택된다:
여기서, Pi,j는 DCT가 각각의 8x8 루미넌스 블록에 수행되기 바로전에 공간 루미넌스 차(즉, 나머지)이다. 편리하게, 상기 식은 제1정렬 차에만 사용되므로 보다 단순하면서 적은 수고로 수행할 수 있게 한다. 조건 바이어스(bias)는 고려되지 않은 비선형 결과를 보상하는 요소이다. 예컨대, bias=64가 이용된다. 상기 관계를 유지하지 않으면, 프레임 DCT가 이용된다.
상기 식의 좌측편을 보면, 에러조건이 반대-필드 픽셀차(즉, 짝수 대 홀수, 홀수 대 짝수)로 되어 있다. 따라서, 좌측편은 반대-필드라인의 루미넌스값 차의 합이다. 우측편을 보면, 에러조건이 동일-필드 픽셀차(즉, 짝수 대 짝수, 홀수 대 홀수)로 되어 있다. 따라서, 우측편은 동일 필드라인의 루미넌스 데이터 차의 합과 바이어스 조건이다.
즉, 제2정렬식은 절대값이 아니라 각 에러조건의 제곱을 취하도록 상기 식을 변경함으로써 프레임 또는 필드 DCT가 사용되는지의 여부를 결정하기 위해 이용된다. 이 경우에 있어서, 바이어스 조건은 요구되지 않는다.
도 5는 본 발명에 따른 VOP의 공간 및 시간적 스케일링을 나타낸다. 객체-기본 스케일성의 경우, 나머지 영역보다 높은 품질을 갖도록, 예컨대 선택된 객체의 프레임율 및/또는 공간 해상도가 영역보다 높아질 수 있도록 선택된 VOP의 프레임율 및 공간 해상도가 높아질 수 있다. 예컨대, 새로운 아나운서의 VOP는 스튜디오 배경보다 높은 해상도로 제공된다.
축들(505,506)은 프레임 넘버를 나타낸다. 베이스층에 있어서, VOP(520)를 포함하는 프레임(510)은 프레임 0위치에 제공되고, 반면 VOP 532(VOP(520)에 대응하는)를 갖는 프레임(530)은 프레임 3위치에 제공된다. 더욱이, 프레임(530)은 화살표(512)로 나타낸 바와 같이 프레임(510)으로부터 예측된다. 그 인헨스먼트층은 VOP(522,524,526,542)를 포함한다. 이들 VOP는 VOP 520과 532와 관련하여 증가된 공간 해상도를 갖기 때문에 보다 큰 영역으로 그려진다.
P-VOP(522)는 화살표(570)로 나타낸 바와 같이 업샘플링 VOP(520)로부터 유도된다. B-VOP(524, 526)는 각각 화살표(572와 576, 574와 578)로 나타낸 바와 같이 베이스층 VOP(520,532)로부터 예측된다.
베이스 및 인헨스먼트층을 이루기 위해 이용되는 입력 비디오 시퀀스는 충만 해상도(예컨대, NTSC(National Television Standards Committee)에 부합되는 ITU-R 601을 위한 720x480 또는 PAL(Phase Alternation Line)에 부합되는 ITU-R을 위한 720x576))와 충만 프레임율(NTSC에 부합되는 ITU-R을 위한 30 프레임/60 필드 또는 PAL에 부합되는 ITU-R 601을 위한 25 프레임/50 필드)을 갖는다. 인헨스먼트층 코딩을 이용함으로써 객체의 해상도 및 프레임율이 유지되도록 스케일링 가능 코딩이 수행된다. VOP 520와 532로 이루어지는 베이스층에 비디오 객체는 보다 낮은 해상도(즉, 충만 해상도 VOP의 1/4크기)와 보다 낮은 프레임율(즉, 본래 프레임율의 1/3)을 갖는다. 더욱이, 인헨스먼트층의 VOP(520)만이 인헨스된다. 프레임(510)의 나머지는 인헨스되지 않는다. 하나의 VOP만을 나타냈지만, 실질적으로 소정수의 VOP가 제공된다. 더욱이, 2개 이상의 VOP가 제공되면, 모두 또는 선택된 하나만이 인헨스된다.
본래 시퀀스의 다운샘플링 및 프레임-드롭핑에 의해 베이스층 시퀀스가 생성된다. 다음에, 베이스층 VOP가 프로그래시브 코딩수단을 이용함으로써 I-VOP 또는 P-VOP로 코딩 된다. 입력 비디오 시퀀스가 주사될 경우, 필드/프레임 동작추정 및 보상과, 필드/프레임 DCT와 같은 주사된 코딩수단은 입력 주사된 비디오 시퀀스의 다운샘플링이 프로그래시브 비디오 시퀀스를 생성하므로 사용되지 않는다. 인헨스먼트층 VOP는 시간 및 공간적 스케일링 가능 수단을 이용하여 코딩 된다. 예컨대, 인헨스먼트층의 VOP 522와 VOP 542는 공간적 스케일성을 이용하여 P-VOP로 코딩 된다. VOP 524와 VOP 526은 베이스층 기준 VOP의 업샘플링 된 VOP, 즉 시간적 스케일링 가능 수단을 이용하여 각각 VOP 520와 VOP 532로부터 B-VOP로 코딩 된다.
본 발명의 또 다른 특징에 있어서, 동작벡터 검색범위를 축소시킴으로써 B-VOP의 동작추정을 위한 인코딩 복잡성을 감소시키기 위한 기술이 기술되어 있다. 그 기술은 프레임모드 및 필드모드 입력 비디오 시퀀스에 모두 적용할 수 있다. 특히, 기준 VOP의 검색중심은 기준 VOP에 독립적인 과도한 검색을 수행함으로써 결정되는 것이 아니라, 대응하는 베이스층 VOP의 동작벡터를 스케일링 함으로써 결정된다. 상기와 같은 과도한 검색은, 예컨대 수평적으로 +/- 64 픽셀과 수직적으로 +/- 48 픽셀의 범위를 통상 커버하므로 기술된 기술보다 효율이 저하된다.
인헨스먼트층의 B-VOP(524,526)의 동작보상을 위한 검색중심은 이하에 의해 결정된다:
MVf=(m/n·TRB·MVp)/TRp,
MVb=(m/n·(TRB-TRp)·MVp)/TRp,.
여기서, MVf는 전방 동작벡터이고, MVb는 후방 동작벡터이고, MVp는 베이스층의 P-VOP(즉, VOP(532))를 위한 동작벡터이고, TRB는 인헨스먼트층의 과거 기준 VOP(즉, VOP(520))와 현재 B-VOP간 시간적 거리이며, TRp는 베이스층의 과거 기준 VOP와 미래 기준 P-VOP(즉, VOP(532))간 시간적 거리이다. m/n은 인헨스먼트층 VOP의 공간적 해상도에 대한 베이스층 VOP의 공간적 해상도의 비이다. 즉, 베이스층 VOP 또는 인헨스먼트층의 B-VOP는 m/n비에 의해 입력 비디오 시퀀스에 따라 다운샘플링 된다. 도 5의 예에 있어서, m/n은 인헨스먼트층 VOP를 제공하기 위해 이후에 업샘플링 된 베이스층 VOP의 다운샘플링 비이다. m/n은 보다 작고, 같거나 보다 크다. 예컨대, B-VOP(524)의 경우 TRB=1, TRp=3 및, 2:1 다운샘플링(즉, m/n=2)이면, MVf=2/3MVp와 MVb=-4/3MVp가 된다. 모든 동작벡터가 2차원인 것에 주목하자. 동작벡터 검색범위는 중심이 MVf및 MVb에 의해 결정되는 16x16 직각영역이다. 동작벡터는 전송 데이터 스트림에 인헨스먼트 및 베이스층 비디오 데이터로 전달되고, 비디오 데이터를 디코딩하는데 이용하기 위해 디코더로 복원된다.
일반적으로, 본 발명에 따른 주사된 비디오의 코딩에 있어서, 주사 코딩수단은 우수한 성능을 이루기 위해 이용된다. 이들 수단은 인트라-매크로블록 및 인터-차(inter-difference) 매크로블록과, 필드 예측 즉, 상부필드에서 하부필드, 상부필드에서 상부필드, 하부필드에서 상부필드 및 하부필드에서 하부필드 예측을 위한 필드/프레임 DCT를 포함한다.
상기 표 1에 기술한 구성에 있어서, 이들 주사 코딩수단은 이하와 같이 조합된다.
(1) 양쪽 층에 대해 낮은 공간적 해상도를 갖는 구성의 경우, 프로그래시브(프레임모드) 코딩수단만이 이용된다. 이 경우에 있어서, 2개의 층은 예컨대, 입체 비디오 신호로 다른 시야 시퀀스를 코딩할 것이다. 코딩 입체 비디오의 경우 우측-시야(인헨스먼트층) 시퀀스에 대한 동작추정 검색범위는 8x8 픽셀이다. 이 8x8(충만-픽셀) 검색영역은 대응하는 VOP의 베이스층에 대응하는 매크로블록의 동일-타입 동작벡터를 둘러싸 중심이 된다.
(2) 베이스층에 낮은 공간적 해상도와 인헨스먼트층에 높은 공간적 해상도를 갖는 구성의 경우, 주사 코딩수단은 인헨스먼트층 시퀀스만을 위해 사용된다. 인헨스먼트층 시퀀스를 코딩하기 위한 동작추정 검색범위는 8x8(충만-픽셀)이다. 이 8x8 검색영역은 대응하는 VOP의 베이스층에 대응하는 매크로블록의 재스케일링 된(즉, 2개의 요소) 동일-타입 동작벡터를 둘러싸 중심이 된다. 필드 기본 추정 및 예측은 인헨스먼트층 검색 및 보상에서만 이용된다.
(3) 베이스층에 높은 공간적 해상도와 인헨스먼트층에 낮은 공간적 해상도를 갖는 구성의 경우, 주사 코딩수단은 메인 레벨에서 MPEG-2 메인 프로필을 갖는 것과 같이, 베이스층 시퀀스만을 위해 사용된다. 인헨스먼트층 시퀀스를 코딩하기 위한 동작추정 검색범위를 4x4(충만-픽셀)이다. 이 4x4 검색은 대응하는 VOP의 베이스층에 대응하는 매크로블록의 재스케일링 된(즉, 1/2의 요소) 동일-타입 동작벡터를 둘러싸 중심이 된다. 상기 표 1의 구성2의 경우, 예컨대 2개의 층의 시퀀스의 코딩은 다른 시간적 단위(unit) 비율을 갖는다.
도 7은 본 발명에 따른 공간 및 시간적 스케일링으로 픽처-인-픽처(PIP) 또는 미리보기 채널 접근 응용을 나타낸 도면이다. PIP의 경우, 두 번째 프로그램은 텔레비전에 보여지는 메인 프로그램의 서브셋으로 제공된다. 두 번째 프로그램이 보다 작은영역을 갖기 때문에, 시청자는 저하된 해상도 화상을 알아차리는 것이 낮아져 PIP 화상의 시간 및/또는 공간적 해상도는 대역폭을 유지시키기 위해 저하될 수 있다.
유사하게, 미리보기 접근 채널 프로그램은 시청자가 요금을 위해 획득하는 무료 저해상도 샘플 프로그램과 함께 제공된다. 이 응용은 미리보기를 위한 권리화 채널(즉, pay-per-view)의 몇분의 무료 접근을 제공한다. 미리보기 접근 채널에 코딩 된 비디오는 보다 낮은 해상도와 보다 낮은 프레임율을 갖는다. 그 디코더는 미리보기 채널을 위한 접근시간을 제어한다.
상기 표 1의 시간적-공간적 스케일링 가능 코딩의 구성2는 베이스층과 인헨스먼트층 모두를 디코딩하는 것으로부터의 출력보다 낮은 공간적 해상도를 갖는 베이스층을 디코딩하는 것으로부터의 출력을 제공하기 위해 이용된다. 베이스층에 비디오 시퀀스는 낮은 프레임율로 코딩 되고, 반면 인헨스먼트층은 보다 높은 프레임율로 코딩 된다.
예컨대, 베이스층의 비디오 시퀀스는 CIF 해상도 및 15 프레임/초의 프레임율을 갖고, 반면 인헨스먼트층의 대응하는 비디오 시퀀스는 ITU-R 601 해상도 및 30 프레임/초의 프레임율을 갖는다. 이 경우에 있어서, 인헨스먼트층은 NTSC 비디오 표준을 따르고, 반면 PIP 또는 미리보기 접근 기능성은 CIF 표준을 따르는 베이스층에 의해 제공된다. 따라서, PIP 기능성은 메인 레벨 표준으로 MPEG-2 메인 프로필과 같은 유사한 코딩 복잡성 및 효율을 갖는 스케일링 가능 코딩에 의해 제공될 수 있다.
베이스층은 낮은 공간적 해상도 VOP(705,730)를 포함한다. 더욱이, 베이스층의 시간적 해상도는 인헨스먼트층에 1/3이다. 인헨스먼트층은 높은 공간적 해상도 VOP(750,760,780,790)를 포함한다. P-VOP(750)는 화살표(755)로 나타낸 바와 같이 업샘플링 I-VOP(705)에 의해 유도된다. B-VOP(760)는 화살표(765,775)로 나타낸 바와 같이 베이스 뒤에 VOP로부터 예측된다. B-VOP(780)는 화살표(770,785)로 나타낸 바와 같이 베이스 뒤에 VOP로부터 예측된다. P-VOP(790)는 화살표(795)로 나타낸 바와 같이 업샘플링 P-VOP(730)에 의해 유도된다.
도 8은 본 발명에 따른 입체 비디오 응용을 나타낸 도면이다. 입체 비디오 기능성은 문서 ISO/IEC JTC1/SC29/WG11 N1196에 기술된 MPEG-2 Multi-view Profile(MVP)에 기술되어 있다. 베이스층은 좌측시야에 할당되고 인헨스먼트층은 우측시야에 할당된다.
코딩효율을 향상시키기 위해, 인헨스먼트층 픽처는 베이스층보다 낮은 해상도로 코딩 될 수 있다. 예컨대, 상기 표 1에 구성4는 베이스층이 ITU-R 601 공간적 해상도를 갖는 곳에, 반면 인헨스먼트층이 CIF 공간적 해상도를 갖는 곳에 이용될 수 있다. 인헨스먼트층 픽처의 예측을 위한 베이스층의 기준 픽처는 다운샘플링 된다. 따라서, 인헨스먼트층을 위한 디코더는 업샘플링 과정을 포함한다. 또한, 적응성 프레임/필드 DCT 코딩은 인헨스먼트층이 아니라 베이스층에 사용된다.
베이스층은 VOP(805,815,820,830)를 포함하고, 반면 인헨스먼트층은 VOP(850,860,880,890)를 포함한다. B-VOP(815,820)는 각각 화살표 810, 840과 835, 825로 나타낸 바와 같이 다른 베이스층 VOP를 이용하여 예측된다. P-VOP(830)는 화살표(845)로 나타낸 바와 같이 I-VOP(805)로부터 예측된다. P-VOP(850)는 화살표(855)로 나타낸 바와 같이 다운샘플링 I-VOP(805)에 의해 유도된다. B-VOP(860)는 화살표(865,875)로 나타낸 바와 같이 베이스 뒤에 VOP로부터 예측된다. B-VOP(880)는 화살표(870,885)로 나타낸 바와 같이 베이스 뒤에 VOP로부터 예측된다. P-VOP(890)는 화살표(895)로 나타낸 바와 같이 다운샘플링 P-VOP(830)에 의해 유도된다.
즉, 동일한 공간적 해상도와 프레임율을 갖기 위해 베이스 및 인헨스먼트층에 상기 표 1의 구성7이 사용된다. 이 경우에 있어서, 베이스층의 코딩과정은 MPEG-4 VM 스케일링 가능하지 않은 코딩 또는 메인 레벨 표준으로 MPEG-2 메인 프로필에 기술한 바와 같은 스케일링 가능하지 않은 인코딩 과정과 동일하고, 반면 적응성 프레임/필드 DCT 코딩은 인헨스먼트층에 이용된다.
본 발명의 또 다른 응용에 있어서, 비동기 전송모드(ATM) 통신기술이 나타나 있다. 일반적으로, ATM 네트워크를 통한 비디오 신호의 전방향 전송이 빠르게 성장하고 있다. 이것은 일정한 비트율(CBR) 전송을 통한 몇 개의 장점을 제공하는 이들 네트워크의 가변 비트율(VBR) 특성 때문이다. 예컨대, VBR 채널에 있어서, 거의 일정한 픽처 품질이 달성될 수 있다. 더욱이, ATM 네트워크에 비디오 소스는 비디오 신호의 긴주기 평균 데이터율이 CBR 시스템의 탄력있는 버퍼링으로 인해 짧은주기 평균보다 작기 때문에, CBR 채널을 통해 전송되면 보다 작은 전송 비트율을 요구하면서 안정적으로 멀티플렉스 될 수 있다.
그러나, ATM 네트워크의 장점에도 불구하고, 혼잡의 주요 결함으로 손상 받는다. 혼잡한 네트워크에 있어서, 비디오 패킷은 출발 루트를 찾기 위해 대기된다. 오래 지연된 패킷은 수신기에서 사용하기에는 너무나 늦게 도달하기 때문에 디코더에 의해 버려진다. 비디오 코덱(codec)은 패킷 손실을 견딜 수 있도록 설계되어야만 한다.
패킷 손실에 거의 영향 받지 않는 비디오 코더를 만들기 위해, 본 발명의 시간적-공간적 스케일링 가능한 코딩기술이 이용될 수 있다. 특히, 베이스층으로부터 비디오 데이터는 높은 우선순위로 전송되고 ATM 네트워크의 보장된 비트율로 조정될 수 있다. 채널이 보장되지 않아 혼잡이 발생하면 인헨스먼트층으로부터 비디오 데이터 패킷이 손실된다. 인헨스먼트층 패킷이 수신되면, 픽처 품질은 개선된다. 상기 표 1의 구성1을 이용하는 코딩 체계는 상기 결과를 이루기 위해 이용된다. 상기 체계는 예측모드와 관련하여 이미 기술한 도 4에 나타낸 바와 같이 이루어지고, 여기서 베이스층은 높은 우선순위 층이다. 따라서, 보다 높은 우선순위, 보다 낮은 비트율 데이터는 베이스층에 전달되고, 보다 낮은 우선순위, 보다 높은 비트율 데이터는 인헨스먼트층에 전달된다.
유사하게, 그와 같은 스케일링 가능 코딩은 또한 인터넷, 인트라넷 및 다른 통신 네트워크를 통한 비디오 코딩 및 전송에도 이용될 수 있다.
따라서, 본 발명은 디지털 비디오 시퀀스에 비디오 객체면(VOP)을 포함하는 비디오 화상의 시간 및 공간적 스케일링을 제공하기 위한 방법 및 장치를 제공하는 것을 알 수 있다. 본 발명의 특징에 있어서, 코딩효율은 스케일링 된 필드모드 입력 비디오 시퀀스로 적절하게 이루어짐으로써 향상된다. 인헨스먼트층에 업샘플링 된 VOP는 선형 기준에 기초한 본래 비디오 시퀀스를 갖는 보다 큰 상관성을 제공하기 위해 재정렬된다. 그 결과, 나머지는 DCT와 같은 공간변이를 이용하여 코딩 된다. 본 발명의 또 다른 특징에 있어서, 동작보상체계는 베이스층 VOP를 위해 이미 결정되어진 동작벡터를 스케일링 함으로써 인헨스먼트층 VOP를 코딩하기 위하여 제공된다. 축소된 검색영역은 중심이 스케일링 된 동작벡터에 의해 정의된 것이 정의된다. 그 기술은 스케일링 된 프레임모드 또는 필드모드 입력 비디오 시퀀스에 이용하는데 적합하다.
또한, 다양한 코덱 처리기 구성은 특정한 스케일링 가능 코딩 결과를 이루기 위해 제공된다. 입체 비디오, 픽처-인-픽처, 미리보기 접근 채널 및, ATM통신을 포함하는 스케일링 가능 코딩의 응용도 기술되어 있다.
본 발명이 여러 가지 특정한 실시예와 관련하여 기술했지만, 이들 기술은 본 발명의 목적 및 배경으로부터 이탈하지 않는 범위내에서 다양하게 이루어질 수 있다. 예컨대, 2개의 스케일링 가능한 층에 대해서 기술했지만, 2개 이상의 층도 가능할 것이다. 더욱이, 직사각형 또는 정사각형의 VOP가 단순성을 위해 몇 개의 그림으로 제공되었지만, 본 발명은 임의로 형태된 VOP에 사용하는데도 적합하다.
본 발명은, 입력 디지털 비디오 시퀀스에 비디오 객체면을 포함하는 비디오 화상의 시간 및 공간적 스케일링을 제공함으로써 코딩 효율이 향상되고, 다양한 멀티미디어 응용에 효과적이다.

Claims (45)

  1. 대응하는 베이스층과 인헨스먼트층에 전달을 위한 비디오 객체면(VOP)으로 이루어진 입력 비디오 시퀀스를 스케일링 하기 위한 방법에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해성도 및 시간적 해상도를 갖고,
    저하된 공간적 해상도를 갖는 제1베이스층 VOP를 제공하기 위해 상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나의 픽셀 데이터를 다운샘플링 하는 단계와,
    상기 인헨스먼트층에 제1업샘플링 된 VOP를 제공하기 위해 상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터를 업샘플링 하는 단계 및,
    상기 제1베이스층 VOP에 대응하는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위한 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나를 이용하여 상기 제1업샘플링 된 VOP를 차별적으로 인코딩 하는 단계를 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  2. 제1항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고,
    상기 차별적으로 인코딩 하는 단계는, 상기 픽셀 데이터의 라인이 재정렬 기준을 충족하면 필드모드에 상기 제1업샘플링 된 VOP의 상기 픽셀 데이터의 라인을 재정렬 하는 단계와,
    상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터와 상기 제1업샘플링 된 VOP의 픽셀 데이터간 차에 따라 나머지를 결정하는 단계 및,
    변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시키는 단계를 더 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  3. 제2항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터의 차의 합보다 클 경우, 상기 제1업샘플링 된 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 기준을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  4. 제1항에 있어서, 저하된 공간 해상도를 갖는 제2베이스층 VOP를 제공하기 위해 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나의 픽셀 데이터를 다운샘플링 하는 단계와,
    상기 제1업샘플링 된 VOP에 대응하는 상기 인헨스먼트층에 제2업샘플링 된 VOP를 제공하기 위해 상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터를 업샘플링 하는 단계,
    상기 제1 및 제2업샘플링 된 VOP에 대응하는 개재물(intermediate) VOP를 예측하기 위해 상기 제1 및 제2베이스층 VOP중 적어도 어느 하나를 이용하는 단계 및,
    상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위한 상기 개재물 VOP를 인코딩 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  5. 제4항에 있어서, 상기 인헨스먼트층은 상기 베이스층보다 높은 시간적 해상도를 갖고,
    상기 베이스 및 인헨스먼트층은 (a) PIP 화상이 상기 베이스층으로 운반되는 픽처-인-픽처(PIP) 특성과, (b) 미리보기 접근 화상이 상기 베이스층으로 운반되는 미리보기 접근 채널 특성중 적어도 어느 하나를 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  6. 제1항에 있어서, 상기 베이스층은 보다 높은 우선순위, 보다 낮은 비트율 데이터를 운반하는데 적합하고, 상기 인헨스먼트층은 보다 낮은 우선순위, 보다 높은 비트율 데이터를 운반하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  7. 대응하는 베이스층과 인헨스먼트층에 전달을 위한 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 스케일링 하기 위한 방법에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    제1베이스층 VOP로서 상기 베이스층에 전달을 위한 상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나를 제공하는 단계와,
    상기 제1베이스층 VOP에 대응하는 시간적 위치에서 제1다운샘플링 된 VOP로서 상기 인헨스먼트층에 전달을 위한 상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터를 다운샘플링 하는 단계,
    비교 VOP를 제공하기 위해 상기 VOP중 상기 첫 번째 특정한 어느 하나의 대응하는 픽셀 데이터를 다운샘플링 하는 단계 및,
    상기 비교 VOP를 이용하여 상기 제1다운샘플링 된 VOP를 차별적으로 인코딩 하는 단계를 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  8. 제7항에 있어서, 상기 제1베이스층 VOP의 픽셀 데이터와 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터간 차에 따라 나머지를 결정하는 단계와, 변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시키는 단계에 의해 상기 VOP중 상기 첫 번째 특정한 어느 하나를 이용하여 상기 제1베이스층 VOP를 차별적으로 인코딩 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  9. 제8항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고,
    상기 제1베이스층 VOP는, 상기 픽셀 데이터의 라인이 재정렬 기준을 충족하면 상기 결정단계에 앞서 필드모드에 상기 제1베이스층 VOP의 상기 픽셀 데이터의 라인을 재정렬 하는 단계에 의해 차별적으로 인코딩 하는 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  10. 제9항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터 차의 합보다 클 경우, 상기 제1베이스층 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 조건을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  11. 제7항에 있어서, 상기 제2베이스층 VOP로서 상기 베이스층에 전달을 위한 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나를 제공하는 단계와,
    상기 제2베이스층 VOP에 대응하는 시간적 위치에서 상기 제2다운샘플링 된 VOP로서 상기 인헨스먼트층에 전달을 위한 상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터를 다운샘플링 하는 단계,
    비교 VOP를 제공하기 위해 상기 VOP중 상기 두 번째 특정한 어느 하나의 대응하는 픽셀 데이터를 다운샘플링 하는 단계,
    상기 비교 VOP를 이용하여 상기 제2다운샘플링 된 VOP를 차별적으로 인코딩 하는 단계,
    상기 제1 및 제2다운샘플링 된 VOP에 대응하는 개재물 VOP를 예측하기 위해 상기 제1 및 제2베이스층 VOP중 적어도 어느 하나를 이용하는 단계 및,
    상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위한 상기 개재물 VOP를 인코딩 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  12. 제7항에 있어서, 상기 베이스 및 인헨스먼트층은 인헨스먼트층에 화상 데이터가 베이스층에 화상 데이터보다 낮은 공간적 해상도를 갖는 입체 비디오 특성을 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 스케일링 하기 위한 방법.
  13. 대응하는 베이스층과 인헨스먼트층에 전달을 위한 비디오 객체면(VOP)으로 이루어진 입력 비디오 시퀀스를 스케일링 하는 단계와,
    상기 입력 비디오 시퀀스 VOP에 대응하는 상기 베이스층에 제1 및 제2베이스층 VOP를 제공하는 단계,
    상기 제1 및 제2베이스층 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 상기 B-VOP를 제공하는 단계 및,
    상기 동작벡터(MVp)를 스케일링 함으로써 얻어진 (a) 전방 동작벡터(MVf)와, (b) 후방 동작벡터(MVB)중 적어도 어느 하나를 이용하여 상기 B-VOP를 인코딩 하는 단계를 구비하여 이루어지고,
    상기 제2베이스층 VOP는 동작벡터(MVp)에 따른 상기 제1베이스층 VOP로부터 예측되는 것을 특징으로 하는 양방향 예측 비디오 객체면(B-VOP)을 코딩하기 위한 방법.
  14. 제13항에 있어서, 시간적 거리(TRp)는 상기 제1 및 제2베이스층 VOP를 분리하고,
    시간적 거리(TRB)는 상기 제1베이스층 VOP와 상기 B-VOP를 분리하고,
    m/n은 B-VOP의 공간적 해상도에 제1 및 제2베이스층 VOP의 공간적 해상도의 비이며,
    (a) 상기 전방 동작벡터(MVf)는 관계 MVf=(m/n)·TRB·MVp/TRp에 따라 결정되고, (b) 상기 후방 동작벡터(MVb)는 관계 MVb=(m/n)·(TRB-TRp)·MVp/TRp에 따라 결정되는 것중 적어도 어느 하나인 것을 특징으로 하는 양방향 예측 비디오 객체면(B-VOP)을 코딩하기 위한 방법.
  15. 제13항에 있어서, (a) 중심이 상기 전방 동작벡터(MVf)에 따라 결정되는 상기 제1베이스층 VOP의 검색영역과,
    (b) 중심이 상기 후방 동작벡터(MVB)에 따라 결정되는 상기 제2베이스층 VOP의 검색영역중 적어도 어느 하나를 이용하여 상기 B-VOP를 인코딩 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 양방향 예측 비디오 객체면(B-VOP)을 코딩하기 위한 방법.
  16. 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 방법에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나의 픽셀 데이터는 저하된 공간적 해상도를 갖는 제1베이스층 VOP로 다운샘플링 되어 운반되고,
    상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1베이스층 VOP에 대응하는 시간적 위치에서 상기 인헨스먼트층으로 제1업샘플링 된 VOP로 업샘플링 되어 운반되고,
    상기 제1업샘플링 된 VOP는 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나를 이용하여 차별적으로 인코딩 되며,
    상기 관련된 공간적 해상도를 복구시키기 위해 상기 제1베이스층 VOP의 상기 픽셀 데이터를 업샘플링 하는 단계와,
    상기 관련된 공간적 해상도를 갖는 출력 비디오 신호를 제공하기 위해 상기 복구된 관련된 공간적 해상도를 갖는 상기 제1베이스층 VOP와 상기 제1업샘플링 된 VOP를 처리하는 단계를 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  17. 제16항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고,
    상기 픽셀 데이터의 상기 라인이 재정렬 기준을 충족하면 필드모드에 상기 제1업샘플링 된 VOP의 상기 픽셀 데이터의 라인을 재정렬하고, 다음에 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터와 상기 제1업샘플링 된 VOP의 픽셀 데이터간 차에 따라 나머지를 결정하며, 변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시킴으로써 상기 제1업샘플링 된 VOP가 차별적으로 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  18. 제17항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터의 차의 합보다 클 경우, 상기 제1업샘플링 된 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 기준을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  19. 제16항에 있어서, 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나는 저하된 공간 해상도를 갖는 제2베이스층 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1업샘플링 된 VOP에 대응하는 상기 인헨스먼트층에 제2업샘플링 된 VOP를 제공하기 위해 업샘플링 되고,
    상기 제1 및 제2베이스층 VOP중 적어도 하나는 상기 제1 및 제2업샘플링 된 VOP에 대응하는 개재물 VOP를 예측하기 위해 이용되며,
    상기 개재물 VOP는 상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위해 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  20. 제19항에 있어서, 상기 인헨스먼트층은 상기 베이스층보다 높은 시간적 해상도를 갖고,
    상기 베이스 및 인헨스먼트층은 (a) PIP 화상이 상기 베이스층으로 운반되는 픽처-인-픽처(PIP) 특성과, (b) 미리보기 접근 화상이 상기 베이스층으로 운반되는 미리보기 접근 채널 특성중 적어도 어느 하나를 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  21. 제16항에 있어서, 상기 베이스층은 보다 높은 우선순위, 보다 낮은 비트율 데이터를 운반하는데 적합하고, 상기 인헨스먼트층은 보다 낮은 우선순위, 보다 높은 비트율 데이터를 운반하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  22. 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 방법에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나는 제1베이스층 VOP로서 상기 베이스층에 제공되고,
    상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1베이스층 VOP에 대응하는 시간적 위치에서 제1다운샘플링 된 VOP로서 상기 인헨스먼트층에 다운샘플링 되어 운반되고,
    상기 VOP중 상기 첫 번째 특정한 어느 하나의 대응하는 픽셀 데이터는 비교 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제1다운샘플링 된 VOP는 상기 비교 VOP를 이용하여 차별적으로 인코딩 되며,
    상기 관련된 공간적 해상도를 복구시키기 위해 상기 제1다운샘플링 된 VOP의 상기 픽셀 데이터를 업샘플링 하는 단계와,
    상기 관련된 공간적 해상도를 갖는 출력 비디오 신호를 제공하기 위해 상기 제1베이스층 VOP와 상기 복구된 관련된 공간적 해상도를 갖는 상기 제1인헨스먼트층 VOP를 처리하는 단계를 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  23. 제22항에 있어서, 상기 제1베이스층 VOP는 상기 제1베이스층 VOP의 픽셀 데이터와 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터간 차에 따라 나머지를 결정하고, 변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시킴으로써 상기 VOP중 상기 첫 번째 특정한 어느 하나를 이용하여 차별적으로 인코딩 하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  24. 제23항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고,
    상기 제1베이스층 VOP는 상기 픽셀 데이터의 라인이 재정렬 기준을 충족하면 상기 나머지를 결정하기에 앞서 필드모드에 상기 제1베이스층 VOP의 상기 픽셀 데이터의 라인을 재정렬 함으로써 차별적으로 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  25. 제24항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터 차의 합보다 클 경우, 상기 제1베이스층 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 조건을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  26. 제22항에 있어서, 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나는 상기 제2베이스층 VOP로서 상기 베이스층에 제공되고,
    상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제2베이스층 VOP에 대응하는 시간적 위치에서 상기 제2다운샘플링 된 VOP로서 상기 인헨스먼트층에 다운샘플링 되어 운반되고,
    상기 VOP중 상기 두 번째 특정한 어느 하나의 대응하는 픽셀 데이터는 비교 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제2다운샘플링 된 VOP는 상기 비교 VOP를 이용하여 차별적으로 인코딩 되고,
    상기 제1 및 제2베이스층 VOP중 적어도 어느 하나는 상기 제1 및 제2다운샘플링 된 VOP에 대응하는 개재물 VOP를 예측하기 위해 이용되며,
    상기 개재물 VOP는 상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위해 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  27. 제22항에 있어서, 상기 베이스 및 인헨스먼트층은 상기 인헨스먼트층에 화상 데이터가 상기 베이스층에 화상 데이터보다 낮은 공간적 해상도를 갖는 입체 비디오 특성을 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  28. 데이터 스트림에 있어 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 방법에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    제1 및 제2베이스층 VOP는 상기 입력 비디오 시퀀스 VOP에 대응하는 상기 베이스층에 제공되고,
    상기 제2베이스층 VOP는 동작벡터(MVp)에 따라 상기 제1베이스층 VOP로부터 예측되고,
    양방향적으로 예측된 비디오 객체면(B-VOP)은 상기 제1 및 제2베이스층 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 제공되고,
    상기 B-VOP는 상기 동작벡터(MVp)를 스케일링 함으로써 얻어지는 전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 이용하여 인코딩 되며,
    상기 데이터 스트림으로부터 상기 전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 복원시키는 단계와,
    상기 전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 이용하여 상기 B-VOP를 디코딩 하는 단계를 구비하여 이루어진 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  29. 제28항에 있어서, 시간적 거리(TRp)는 상기 제1 및 제2베이스층 VOP를 분리하고,
    시간적 거리(TRB)는 상기 제1베이스층 VOP와 상기 B-VOP를 분리하고,
    m/n은 B-VOP의 공간적 해상도에 제1 및 제2베이스층 VOP의 공간적 해상도의 비이며,
    (a) 상기 전방 동작벡터(MVf)는 관계 MVf=(m/n)·TRB·MVp/TRp에 따라 결정되고, (b) 상기 후방 동작벡터(MVb)는 관계 MVb=(m/n)·(TRB-TRp)·MVp/TRp에 따라 결정되는 것중 적어도 어느 하나인 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  30. 제28항에 있어서, (a) 중심이 상기 전방 동작벡터(MVf)에 따라 결정되는 상기 제1베이스층 VOP의 검색영역과,
    (b) 중심이 상기 후방 동작벡터(MVB)에 따라 결정되는 상기 제2베이스층 VOP의 검색영역중 적어도 어느 하나를 이용하여 상기 B-VOP가 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 방법.
  31. 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나의 픽셀 데이터는 저하된 공간적 해상도를 갖는 제1베이스층 VOP로 다운샘플링 되어 운반되고,
    상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1베이스층 VOP에 대응하는 시간적 위치에서 상기 인헨스먼트층으로 제1업샘플링 된 VOP로 업샘플링 되어 운반되고,
    상기 제1업샘플링 된 VOP는 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나를 이용하여 차별적으로 인코딩 되며,
    상기 관련된 공간적 해상도를 복구시키기 위해 상기 제1베이스층 VOP의 상기 픽셀 데이터를 업샘플링 하기 위한 수단과,
    상기 관련된 공간적 해상도를 갖는 출력 비디오 신호를 제공하기 위해 상기 복구된 관련된 공간적 해상도를 갖는 상기 제1베이스층 VOP와 상기 제1업샘플링 된 VOP를 처리하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  32. 제31항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고,
    상기 픽셀 데이터의 상기 라인이 재정렬 기준을 충족하면 필드모드에 상기 제1업샘플링 된 VOP의 상기 픽셀 데이터의 라인을 재정렬하고, 다음에 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터와 상기 제1업샘플링 된 VOP의 픽셀 데이터간 차에 따라 나머지를 결정하며, 변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시킴으로써 상기 제1업샘플링 된 VOP가 차별적으로 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  33. 제31항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터의 차의 합보다 클 경우, 상기 제1업샘플링 된 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 기준을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  34. 제31항에 있어서, 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나는 저하된 공간적 해상도를 갖는 제2베이스층 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1업샘플링 된 VOP에 대응하는 상기 인헨스먼트층에 제2업샘플링 된 VOP를 제공하기 위해 업샘플링 되고,
    상기 제1 및 제2베이스층 VOP중 적어도 어느 하나는 상기 제1 및 제2업샘플링 된 VOP에 대응하는 개재물 VOP를 예측하기 위해 이용되며,
    상기 개재물 VOP는 상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위해 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  35. 제34항에 있어서, 상기 인헨스먼트층은 상기 베이스층보다 높은 시간적 해상도를 갖고,
    상기 베이스 및 인헨스먼트층은 (a) PIP 화상이 상기 베이스층으로 운반되는 픽처-인-픽처(PIP) 특성과, (b) 미리보기 접근 화상이 상기 베이스층으로 운반되는 미리보기 접근 채널 특성중 적어도 어느 하나를 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  36. 제31항에 있어서, 상기 베이스층은 보다 높은 우선순위, 보다 낮은 비트율 데이터를 운반하는데 적합하고, 상기 인헨스먼트층은 보다 낮은 우선순위, 보다 높은 비트율 데이터를 운반하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  37. 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    상기 입력 비디오 시퀀스의 상기 VOP중 첫 번째 특정한 어느 하나는 제1베이스층 VOP로서 상기 베이스층에 제공되고,
    상기 제1베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1베이스층 VOP에 대응하는 시간적 위치에서 제1다운샘플링 된 VOP로서 상기 인헨스먼트층에 다운샘플링 되어 운반되고,
    상기 VOP중 상기 첫 번째 특정한 어느 하나의 대응하는 픽셀 데이터는 비교 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제1다운샘플링 된 VOP는 상기 비교 VOP를 이용하여 차별적으로 인코딩 되며,
    상기 관련된 공간적 해상도를 복구시키기 위해 상기 제1다운샘플링 된 VOP의 상기 픽셀 데이터를 업샘플링 하기 위한 수단과,
    상기 관련된 공간적 해상도를 갖는 출력 비디오 신호를 제공하기 위해 상기 제1베이스층 VOP와 상기 복구된 공간적 해상도를 갖는 상기 제1인헨스먼트층 VOP를 처리하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  38. 제37항에 있어서, 상기 제1다운샘플링 된 VOP는 상기 상기 입력 비디오 시퀀스의 상기 VOP중 상기 첫 번째 특정한 어느 하나의 픽셀 데이터와 상기 제1다운샘플링 된 VOP간 차에 따라 나머지를 결정하고, 변이계수를 제공하기 위해 상기 나머지를 공간적으로 변이시킴으로써 차별적으로 인코딩 하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  39. 제38항에 있어서, 상기 입력 비디오 시퀀스에 상기 VOP는 필드모드 VOP이고, 상기 제1베이스층 VOP는 상기 픽셀 데이터의 라인이 재정렬 기준을 충족하면 상기 나머지를 결정하기에 앞서 필드모드에 상기 제1베이스층 VOP의 상기 픽셀 데이터의 라인을 재정렬 함으로써 차별적으로 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  40. 제39항에 있어서, 반대-필드라인의 루미넌스값 차의 합이 동일-필드라인과 바이어스 조건의 루미넌스 데이터 차의 합보다 클 경우, 상기 제1베이스층 VOP의 픽셀 데이터의 상기 라인은 상기 재정렬 기준을 충족하는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  41. 제37항에 있어서, 상기 입력 비디오 시퀀스의 상기 VOP중 두 번째 특정한 어느 하나는 상기 제2베이스층 VOP로서 상기 베이스층에 전달을 위해 제공되고,
    상기 제2베이스층 VOP의 적어도 일부분의 픽셀 데이터는 상기 제1업샘플링 된 VOP에 대응하는 상기 인헨스먼트층에 제2다운샘플링 된 VOP를 제공하기 위해 다운샘플링 되고,
    상기 제1 및 제2베이스층 VOP중 적어도 어느 하나는 상기 제1 및 제2다운샘플링 된 VOP에 대응하는 개재물 VOP를 예측하기 위해 이용되며,
    상기 개재물 VOP는 상기 제1 및 제2업샘플링 된 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 전달을 위해 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  42. 제37항에 있어서, 상기 베이스 및 인헨스먼트층은 상기 인헨스먼트층에 화상 데이터가 상기 베이스층에 화상 데이터보다 낮은 공간적 해상도를 갖는 입체 비디오 특성을 제공하는데 적합한 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  43. 데이터 스트림에 있어 대응하는 베이스층과 인헨스먼트층에 스케일링 되어 전달된 비디오 객체면(VOP)으로 이루어지는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치에 있어서,
    상기 입력 비디오 시퀀스에 상기 VOP는 관련된 공간적 해상도 및 시간적 해상도를 갖고,
    상기 입력 비디오 시퀀스 VOP에 대응하는 제1 및 제2베이스층 VOP는 상기 베이스층에 제공되고,
    상기 제2베이스층 VOP는 동작벡터(MVp)에 따라 상기 제1베이스층 VOP로부터 예측되고,
    양방향적으로 예측된 비디오 객체면(B-VOP)은 상기 제1 및 제2베이스층 VOP의 그것에 개재되는 시간적 위치에서 상기 인헨스먼트층으로 제공되고,
    상기 B-VOP는 상기 동작벡터(MVp)를 스케일링 함으로써 얻어진 전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 이용하여 인코딩 되며,
    상기 데이터 스트림으로부터 상기 전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 복원시키기 위한 수단과,
    전방 동작벡터(MVf)와 후방 동작벡터(MVB)를 이용하여 상기 B-VOP를 디코딩 하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  44. 제43항에 있어서, 시간적 거리(TRp)는 상기 제1 및 제2베이스층 VOP를 분리하고,
    시간적 거리(TRB)는 상기 제1베이스층 VOP와 상기 B-VOP를 분리하고,
    m/n은 B-VOP의 공간적 해상도에 제1 및 제2베이스층 VOP의 공간적 해상도의 비이며,
    (a) 상기 전방 동작벡터(MVf)는 관계 MVf=(m/n)·TRB·MVp/TRp에 따라 결정되고, (b) 상기 후방 동작벡터(MVb)는 관계 MVb=(m/n)·(TRB-TRp)·MVp/TRp에 따라 결정되는 것중 적어도 어느 하나인 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
  45. 제43항에 있어서, (a) 중심이 상기 전방 동작벡터(MVf)에 따라 결정되는 상기 제1베이스층 VOP의 검색영역과,
    (b) 중심이 상기 후방 동작벡터(MVB)에 따라 결정되는 상기 제2베이스층 VOP의 검색영역중 적어도 어느 하나를 이용하여 상기 B-VOP가 인코딩 되는 것을 특징으로 하는 입력 비디오 시퀀스를 복원하기 위한 디코더 장치.
KR1019980020782A 1997-06-05 1998-06-05 입력 비디오 시퀀스를 스케일링하고 복원하기 위한 방법과 비디오 객체면을 코딩하기 위한 방법 및, 입력 비디오 시퀀스를 복원하기 위한 디코더 장치 KR19990006678A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8/869,493 1997-06-05
US08/869,493 US6057884A (en) 1997-06-05 1997-06-05 Temporal and spatial scaleable coding for video object planes

Publications (1)

Publication Number Publication Date
KR19990006678A true KR19990006678A (ko) 1999-01-25

Family

ID=25353640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980020782A KR19990006678A (ko) 1997-06-05 1998-06-05 입력 비디오 시퀀스를 스케일링하고 복원하기 위한 방법과 비디오 객체면을 코딩하기 위한 방법 및, 입력 비디오 시퀀스를 복원하기 위한 디코더 장치

Country Status (10)

Country Link
US (1) US6057884A (ko)
EP (1) EP0883300B1 (ko)
JP (1) JPH1118085A (ko)
KR (1) KR19990006678A (ko)
CN (2) CN1294764C (ko)
AU (1) AU733055B2 (ko)
BR (1) BR9801762A (ko)
CA (1) CA2238900C (ko)
NO (1) NO982508L (ko)
TW (1) TW406512B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711597B1 (ko) * 1999-05-11 2007-04-27 톰슨 라이센싱 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법
US7641119B2 (en) 2004-10-20 2010-01-05 Lg Electronics Inc. Bar code label sticker
KR100934922B1 (ko) * 2001-11-29 2010-01-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간적으로 스케일링된 미세 입상 엔코딩된 비디오신호들을 디코딩하기 위한 방법 및 장치
US7876828B2 (en) 2004-08-03 2011-01-25 Sejong Industry-Academy Cooperation Foundation Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
US7912125B2 (en) 2002-12-03 2011-03-22 Thomson Licensing Hybrid scalable encoder, method and media for standard definition and high-definition video formats on a single-disc
KR101420885B1 (ko) * 2005-11-15 2014-07-17 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. 비디오 시놉시스 생성 방법 및 시스템
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering

Families Citing this family (207)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
ATE425638T1 (de) * 1997-04-01 2009-03-15 Sony Corp Verfahren und vorrichtung zur bildkodierung und - dekodierung sowie verteilungsmedien dazu
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
KR100535632B1 (ko) * 1997-10-17 2006-04-12 주식회사 팬택앤큐리텔 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
US6144772A (en) * 1998-01-29 2000-11-07 Canon Kabushiki Kaisha Variable compression encoding of digitized images
KR100374717B1 (ko) * 1998-03-05 2003-03-04 주식회사 팬택앤큐리텔 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치
US6621932B2 (en) * 1998-03-06 2003-09-16 Matsushita Electric Industrial Co., Ltd. Video image decoding and composing method and video image decoding and composing apparatus
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
KR100705992B1 (ko) * 1998-07-17 2007-04-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 코드화된 데이터를 디멀티플렉싱하는 장치
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
JP4018266B2 (ja) * 1998-11-13 2007-12-05 キヤノン株式会社 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP4332249B2 (ja) * 1999-02-18 2009-09-16 キヤノン株式会社 ビットストリーム復号化装置、方法及び記憶媒体
FI106421B (fi) * 1999-03-11 2001-01-31 Nokia Multimedia Network Termi Menetelmä ja järjestely videokuvien yhdistämiseksi
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
AU4468000A (en) * 1999-04-17 2000-11-02 Pulsent Corporation Method and apparatus for efficient video processing
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US6600786B1 (en) 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US8595764B2 (en) * 1999-06-25 2013-11-26 Jlb Ventures, Llc Image-oriented electronic programming guide
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US6501797B1 (en) 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
JP2001145020A (ja) * 1999-11-12 2001-05-25 Canon Inc 画像編集装置及び方法
US7743092B2 (en) * 1999-11-12 2010-06-22 Wood Lawson A Method for recognizing and distributing music
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US7389356B2 (en) * 1999-12-15 2008-06-17 Microsoft Corporation Generalized differentiation methods and arrangements for adaptive multimedia communications
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
US7103103B2 (en) * 2000-04-17 2006-09-05 Pts Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
KR100895725B1 (ko) * 2000-11-23 2009-04-30 엔엑스피 비 브이 비디오 비트스트림 디코딩 방법 및 비디오 디코더
WO2002043394A2 (en) * 2000-11-23 2002-05-30 Koninklijke Philips Electronics N.V. Video coding method and corresponding encoder
DE60120745T2 (de) * 2000-12-01 2007-05-24 Koninklijke Philips Electronics N.V. Verfahren und gerät zur zusammenstellung von videoszenen aus verschiedenartigen daten
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US6778610B2 (en) 2001-03-02 2004-08-17 Redrock Semiconductor, Ltd. Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams
US6728318B2 (en) 2001-03-02 2004-04-27 Redrock Semiconductor, Ltd. Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
FR2822330B1 (fr) * 2001-03-14 2003-05-02 Thomson Multimedia Sa Procede de codage par blocs, de type mpeg, dans lequel on affecte une resolution a chaque bloc
US20020135695A1 (en) * 2001-03-26 2002-09-26 Edelson Steven D. Video data reduction by selected frame elimination
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6608867B2 (en) 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
AU2002330859A1 (en) * 2001-07-06 2003-01-21 Vision Iii Imaging, Inc. Image segmentation by means of temporal parallax difference induction
US6975680B2 (en) * 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
US20030048846A1 (en) * 2001-07-31 2003-03-13 Myeong-Hwan Lee Motion image compression apparatus capable of varying frame rate and method of compressing motion image using the same
JP2003116053A (ja) * 2001-10-05 2003-04-18 Hitachi Ltd 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法
CN1253008C (zh) * 2001-10-26 2006-04-19 皇家飞利浦电子股份有限公司 空间可分级压缩的方法和设备
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20030138045A1 (en) * 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
AU2003238771A1 (en) * 2002-05-29 2003-12-19 Simon Butler Predictive interpolation of a video signal
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
KR20050086760A (ko) * 2002-11-25 2005-08-30 톰슨 라이센싱 소시에떼 아노님 하이브리드 고해상도 ｄｖｄ를 위한 2-층 디코딩 기술
US20040131122A1 (en) * 2002-12-09 2004-07-08 Kei Kudo Encoding device and encoding method
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
WO2004073312A1 (en) * 2003-02-17 2004-08-26 Koninklijke Philips Electronics N.V. Video coding
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US20060168632A1 (en) * 2004-02-20 2006-07-27 Yoshimasa Honda Video reception device, video transmission device, and video transmission system
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
TW200601182A (en) * 2004-03-18 2006-01-01 Pixe Pty Ltd System and method for transforming graphics data
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
CN1985520A (zh) * 2004-07-15 2007-06-20 三星电子株式会社 运动信息编/解码及可分级视频编/解码设备和方法
CN100466735C (zh) * 2004-07-15 2009-03-04 三星电子株式会社 视频编码和解码方法以及视频编码器和解码器
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
FR2876860A1 (fr) 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
JP5213456B2 (ja) 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8638862B2 (en) * 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
CN101176348B (zh) * 2005-04-01 2011-01-19 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
KR100880640B1 (ko) * 2005-04-01 2009-01-30 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) * 2005-04-01 2009-02-13 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
EP1878247A4 (en) * 2005-04-01 2012-11-21 Lg Electronics Inc METHOD FOR SCALABLE CODING AND DECODING OF VIDEO SIGNAL
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
EP1878249B1 (en) * 2005-04-01 2020-03-04 LG Electronics, Inc. Method for scalably decoding a video signal
KR20080002936A (ko) * 2005-04-08 2008-01-04 에이전시 포 사이언스, 테크놀로지 앤드 리서치 하나 이상의 디지털 영상을 인코딩하는 방법, 인코더 및컴퓨터 프로그램 생성물
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
WO2007020233A2 (fr) * 2005-08-18 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images entrelacees a haute resolution et progressives a basse resolution
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
NZ566935A (en) * 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
FR2894422A1 (fr) 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
WO2007077116A1 (en) * 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
JP5224458B2 (ja) * 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
WO2007081908A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
WO2007081135A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
WO2008049052A2 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
UA93118C2 (ru) * 2006-11-14 2011-01-10 Квелкомм Инкорпорейтед Системы и способы для переключения каналов
US8761162B2 (en) * 2006-11-15 2014-06-24 Qualcomm Incorporated Systems and methods for applications using channel switch frames
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US20100053153A1 (en) * 2007-02-01 2010-03-04 France Telecom Method of coding data representative of a multidimensional texture, coding device, decoding method and device and corresponding signal and program
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US20090135916A1 (en) * 2007-11-26 2009-05-28 Mediatek Inc. Image processing apparatus and method
CN101478671B (zh) * 2008-01-02 2011-05-11 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
JP4670902B2 (ja) * 2008-05-30 2011-04-13 ソニー株式会社 送信装置、送信方法および受信装置
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US8773505B2 (en) 2009-04-27 2014-07-08 Lg Electronics Inc. Broadcast receiver and 3D video data processing method thereof
CA2777016C (en) 2009-10-13 2015-10-20 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
US9503757B2 (en) * 2010-02-01 2016-11-22 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
DK2991355T3 (en) 2010-04-13 2018-02-19 Ge Video Compression Llc Inheritance in sampler array multitree subdivision
CN106131574B (zh) * 2010-04-13 2019-09-10 Ge视频压缩有限责任公司 跨平面预测
KR102360146B1 (ko) 2010-04-13 2022-02-08 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
US20130156113A1 (en) * 2010-08-17 2013-06-20 Streamworks International, S.A. Video signal processing
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
US20120257675A1 (en) * 2011-04-11 2012-10-11 Vixs Systems, Inc. Scalable video codec encoder device and methods thereof
ITTO20110439A1 (it) * 2011-05-17 2012-11-18 Sisvel Technology Srl Method for generating, transmitting and receiving stereoscopic images, and related devices
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
JP6025065B2 (ja) * 2011-09-13 2016-11-16 パナソニックＩｐマネジメント株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法
JP5735181B2 (ja) 2011-09-29 2015-06-17 ドルビー ラボラトリーズ ライセンシング コーポレイション デュアルレイヤフレームコンパチブルフル解像度立体３ｄビデオ配信
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
TWI508530B (zh) * 2011-10-06 2015-11-11 Mstar Semiconductor Inc 影像壓縮方法、媒體資料檔案與解壓縮方法
US20130089153A1 (en) * 2011-10-06 2013-04-11 Mstar Semiconductor, Inc. Image compression method, and associated media data file and decompression method
EP2792146A4 (en) 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
JP2013232775A (ja) * 2012-04-27 2013-11-14 Sharp Corp 動画像復号装置、および動画像符号化装置
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
TW201424380A (zh) 2012-12-07 2014-06-16 Ind Tech Res Inst 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
CA2957079A1 (en) 2016-02-03 2017-08-03 Evertz Microsystems Ltd. Systems and methods for improving video compression efficiency
EP3474225B1 (en) * 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
GB2618298A (en) * 2021-09-21 2023-11-08 V Nova Int Ltd Low complexity enhancement video coding with temporal scalability

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0596423A2 (en) * 1992-11-02 1994-05-11 Sony Corporation Layer encoding/decoding apparatus for input non-interlace video signal
KR960016536A (ko) * 1993-07-13 1996-05-22 이. 에스. 인디크 다층 비디오 인코더 및 디코더
KR960033132A (ko) * 1995-02-20 1996-09-17 양승택 호환적 영상부호화를 위해 하위계층의 부호화정보를 이용한 이동보상 상향변환 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521145B2 (ja) * 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
KR100186979B1 (ko) * 1994-12-28 1999-05-01 김주용 영상데이터의 물체별 배경 정보 부호화 방법 및 장치
CA2168327C (en) * 1995-01-30 2000-04-11 Shinichi Kikuchi A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium.
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5778100A (en) * 1996-03-08 1998-07-07 Lucent Technologies Inc. Method and apparatus for reducing the bit rate in a video object planes sequence coder
KR100249029B1 (ko) * 1996-06-12 2000-03-15 전주범 영상신호의 윤곽선 부호화 방법 및 그 장치
KR100235347B1 (ko) * 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0596423A2 (en) * 1992-11-02 1994-05-11 Sony Corporation Layer encoding/decoding apparatus for input non-interlace video signal
KR960016536A (ko) * 1993-07-13 1996-05-22 이. 에스. 인디크 다층 비디오 인코더 및 디코더
KR960033132A (ko) * 1995-02-20 1996-09-17 양승택 호환적 영상부호화를 위해 하위계층의 부호화정보를 이용한 이동보상 상향변환 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문;Downsampling, Encoding of Base Layer, Upsampling Process, Encoding of Enhancement Layer로 구성되는 것을 특징으로 함(1997. 04) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711597B1 (ko) * 1999-05-11 2007-04-27 톰슨 라이센싱 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법
KR100934922B1 (ko) * 2001-11-29 2010-01-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간적으로 스케일링된 미세 입상 엔코딩된 비디오신호들을 디코딩하기 위한 방법 및 장치
US7912125B2 (en) 2002-12-03 2011-03-22 Thomson Licensing Hybrid scalable encoder, method and media for standard definition and high-definition video formats on a single-disc
US7876828B2 (en) 2004-08-03 2011-01-25 Sejong Industry-Academy Cooperation Foundation Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
US7641119B2 (en) 2004-10-20 2010-01-05 Lg Electronics Inc. Bar code label sticker
KR101420885B1 (ko) * 2005-11-15 2014-07-17 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. 비디오 시놉시스 생성 방법 및 시스템
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering

Also Published As

Publication number Publication date
CA2238900C (en) 2003-10-21
TW406512B (en) 2000-09-21
US6057884A (en) 2000-05-02
CA2238900A1 (en) 1998-12-05
BR9801762A (pt) 1999-06-29
NO982508D0 (no) 1998-06-02
AU733055B2 (en) 2001-05-03
AU6993498A (en) 1998-12-10
CN1294764C (zh) 2007-01-10
NO982508L (no) 1998-12-07
JPH1118085A (ja) 1999-01-22
EP0883300A3 (en) 2000-12-20
MX9804502A (es) 1998-12-31
CN1209020A (zh) 1999-02-24
CN1551636A (zh) 2004-12-01
EP0883300B1 (en) 2013-01-23
EP0883300A2 (en) 1998-12-09

Similar Documents

Publication Publication Date Title
US6057884A (en) Temporal and spatial scaleable coding for video object planes
Sikora MPEG digital video-coding standards
Sánchez et al. Compressed domain video processing for tile based panoramic streaming using HEVC
Ebrahimi et al. MPEG-4 natural video coding–An overview
US5991447A (en) Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US5623308A (en) Multiple resolution, multi-stream video system using a single standard coder
KR100515199B1 (ko) 트랜스코딩 방법
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
EP2538675A1 (en) Apparatus for universal coding for multi-view video
Lim et al. A multiview sequence CODEC with view scalability
KR20030014697A (ko) 엠펙-2로부터 엠펙-4로의 비디오 사이즈 변환 및트랜스코딩 방법 및 그 장치
WO2007052969A1 (en) Method and apparatus for encoding multiview video
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100281329B1 (ko) 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
Sikora MPEG digital video coding standards
Haskell et al. Mpeg video compression basics
US20040141654A1 (en) Texture encoding procedure
CN113545060A (zh) 视频编码中的空瓦片编码
Puri et al. Performance evaluation of the MPEG-4 visual coding standard
MXPA98004502A (en) Scalable temporary and space codification for planes objects of vi
Bhaskaran et al. The MPEG Video Standards
Panusopone et al. Coding tools in MPEG-4 for interlaced video
EP0923250A1 (en) Method and apparatus for adaptively encoding a binary shape signal
Lim et al. Motion/disparity compensated multiview sequence coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
SUBM Surrender of laid-open application requested