KR20060059770A - 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 - Google Patents

영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 Download PDF

Info

Publication number
KR20060059770A
KR20060059770A KR1020050026780A KR20050026780A KR20060059770A KR 20060059770 A KR20060059770 A KR 20060059770A KR 1020050026780 A KR1020050026780 A KR 1020050026780A KR 20050026780 A KR20050026780 A KR 20050026780A KR 20060059770 A KR20060059770 A KR 20060059770A
Authority
KR
South Korea
Prior art keywords
frame
vector
motion vector
block
layer
Prior art date
Application number
KR1020050026780A
Other languages
English (en)
Inventor
박지호
윤도현
전병문
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/288,408 priority Critical patent/US20070242747A1/en
Priority to US11/288,449 priority patent/US20070280354A1/en
Priority to US11/288,160 priority patent/US20060120454A1/en
Priority to US11/288,435 priority patent/US20070223573A1/en
Publication of KR20060059770A publication Critical patent/KR20060059770A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47H—FURNISHINGS FOR WINDOWS OR DOORS
    • A47H23/00—Curtains; Draperies
    • A47H23/02—Shapes of curtains; Selection of particular materials for curtains
    • A47H23/04—Shapes of curtains
    • A47H23/06—Systems consisting of two or more co-operating curtains with transparent or perforated parts behind each other

Abstract

본 발명은, 보조 레이어의 예측영상 프레임의 모션벡터를 사용하여 영상신호를 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것으로서, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 인핸스드 레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 베이스 레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 베이스 레이어의 비트 스트림에 포함되어 있는 블록의 모션벡터를 상기 베이스 레이어의 프레임 크기대비 상기 인핸스드 레이어의 프레임 크기의 비율로 스케일링한 뒤, 그 스케일링된 모션벡터에 프레임간의 시간차로부터 정해지는 비율을 곱하여 얻은 유도벡터를, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록의 모션벡터로 이용할 수 있게 하는 정보를 상기 인핸스드 레이어의 비트 스트림에 기록한다. 본 발명은, 시간적으로 인접된, 레이어가 다른 프레임간의 모션 벡터간의 상관성을 이용함으로써 모션벡터의 코딩량을 줄일 수 있다.
MCTF, 엔코딩, 레이어, 모션벡터, 유도, inter-layer, scaling

Description

영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를 베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및 장치 {Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal}
도 1은 베이스 레이어 픽처의 모션벡터를 이용하여 코딩하는 과정을 도식적으로 나타낸 것이고,
도 2는 본 발명에 따른 영상신호 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,
도 3은 도 2의 MCTF 엔코더내의 영상 추정/예측과 갱신동작을 수행하는 필터의 구성 일부를 도시한 것이고,
도 4a 및 4b는, 본 발명에 따라, 예측영상으로 코딩할 프레임과 시간 이격된 베이스 레이어의 프레임의 모션 벡터를 이용하여 해당 매크로 블록의 모션벡터를 구하는 예시적 과정을 각각 도시한 것이고,
도 5는 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,
도 6은 도 5의 MCTF 디코더내의 역 예측 그리고 역갱신동작을 수행하는 역필 터의 구성 일부를 도시한 것이다.
<도면의 주요부분에 대한 부호의 설명>
100: MCTF 엔코더 102: 추정/예측기
103: 갱신기 105, 240: 베이스 레이어 디코더
110: 텍스처 엔코더 120: 모션 코딩부
130: 먹서 150: 베이스레이어 엔코더
200: 디먹서 210: 텍스처 디코더
220: 모션 디코딩부 230: MCTF 디코더
231: 역갱신기 232: 역 예측기
234: 배열기 235: 모션벡터 디코더
본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩에 관한 것으로, 특히, MCTF (Motion Compensated Temporal Filter) 방식에 의한 영상신호의 스케일러블 코딩 시에, 베이스 레이어(base layer) 픽처의 모션 벡터를 이용하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것이다.
현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV 와 핸드 PC 등이 무선으로 송수신하는 디지털 영상신호에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축방식에 사용될 표준은 좀 더 영상신호의 압축 효율이 높아야만 한다.
더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.
이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 원시 영상을 디코딩한 다음, 요청한 장치의 영상처리 능력(capability)에 맞는 영상 데이터로 적절히 엔코딩하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)( 디코딩+엔코딩 ) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 엔코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.
이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC:Scalable Video Codec)이다. 이 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다.
그런데, 앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 제공할 수도 있다.
보조 시퀀스를 베이스 레이어(base layer)로, 주 픽처 시퀀스를 인핸스드(enhanced)( 또는 인핸스먼트(enhancement) ) 레이어라고 부른다. 그런데, 베이스 레이어와 인핸스드 레이어는 동일한 영상신호원을 엔코딩하는 것이므로 양 레이어의 영상신호에는 잉여정보( 리던던시(redundancy) )가 존재한다. 따라서 인핸스드 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 임의 영상 프레임을 기준으로 하여 그와 동시간의 인핸스드 레이어의 영상 프레임을 예측영상으로 만들거나 베이스 레이어 픽처의 모션 벡터를 이용하여 그와 동시간의 인핸스드 레이어 픽처의 모션 벡터를 코딩하기도 한다. 도 1은 베이스 레이어 픽처의 모션벡터를 이용하여 코딩하는 과정을 도식적으로 나타낸 것이다.
도 1에 예시된 모션 벡터 코딩과정을 설명하면, 베이스 레이어 프레임이 인핸스드 레이어 프레임에 비해 소화면인 경우, 현재 예측 영상을 만들고자 하는 인핸스드 레이어의 프레임(F10)과 동시간의 베이스 레이어 프레임(F1)을 인핸스드 레이어 프레임과 동일크기로 확장한다. 이 때, 상기 베이스 레이어 프레임내의 각 매크로 블록들의 모션 벡터들도 그 확장비율과 동일하게 스케일링(scaling)된다.
그리고, 상기 인핸스드 레이어의 프레임(F10)내의 임의의 매크로 블록(MB10)에 대한 모션 추정동작을 통해 모션 벡터(mv1)를 찾고, 그 모션 벡터(mv1)를, 베이스 레이어 프레임(F1)내에서 상기 매크로 블록(MB10)과 대응되는 영역을 커버하는 매크로 블록(MB1)( 인핸스드 레이어와 베이스 레이어가 서로 동일 크기, 예를 들어 16x16의 매크로 블록을 사용하면 베이스 레이어의 매크로 블록이 인핸스드 레이어의 매크로 블록보다 프레임내에서 보다 넓은 영역을 커버하게 된다 )의 모션 벡터(mvBL1)( 이 모션 벡터는 베이스 레이어 엔코더에 의해 인핸스드 레이어의 엔코딩에 앞서서 구해진다 )의 스케일링된 모션벡터(mvScaledBL1)와 비교한다.
만약, 두 벡터(mv1,mvScaledBL1)가 동일하면 상기 인핸스드 레이어의 매크로 블록(MB10)에 대해, 베이스 레이어의 대응 블록(MB1)의 스케일링된 모션벡터와 같음을 알리는 값을 블록 모드에 기재하고, 다르면, 벡터의 차, 즉 'mv1-mvScaledBL1'을 코딩하는 것이 mv1을 코딩하는 것보다 이익인 경우에 그 벡터의 차를 코딩함으로써, 인핸스드 레이어의 코딩에 있어서 벡터 코딩되는 데이터 양을 감소시키게 된다.
그런데, 베이스 레이어와 인핸스드 레이어는 엔코딩되는 프레임 레이트(rate)가 서로 다르므로, 베이스 레이어에 동일한 시간의 프레임이 없는 인핸스드 레이어의 프레임이 많이 존재한다. 예를 들어 도 1의 프레임 B가 이에 해당한다. 즉, 프레임 B는 동일 시간의 베이스 레이어 프레임이 없기 때문에, 전술한 방법을 적용할 수가 없다.
하지만, 시간적으로 일치하지 않더라도 상호 시간 갭(gap)이 작은 인핸스드 레이어 프레임과 베이스 레이어 프레임간은 서로 매우 인접된 영상이므로 모션 추정에 있어서 서로 연관성을 가질 가능성이 높다. 다시 말하면 모션 벡터의 방향이 유사할 가능성이 높으므로 이 경우에도 베이스 레이어의 모션 벡터를 이용하면 코딩율을 높일 수 있다.
본 발명은, 영상을 스케일러블 방식으로 엔코딩함에 있어서, 예측영상으로 엔코딩할 픽처와 시간적으로 이격된 베이스 레이어의 임의 픽처의 모션 벡터를 이 용하는 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명은, 시간적으로 이격된 베이스 레이어 픽처의 모션 벡터를 이용하도록 영상블록이 엔코딩된 인핸스드 레이어의 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 또 다른 목적으로 한다.
또한, 본 발명의 목적은, 영상을 스케일러블 방식으로 예측영상으로 엔코딩할 때 또는 그 역으로 디코딩할 때, 베이스 레이어의 모션 벡터를 이용함에 있어서, 상기 베이스 레이어의 모션벡터로부터 상기 예측영상을 위한 모션벡터로 유도하는 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명은, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 제 2레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 영상신호의 임의의 프레임에 포함되어 있는 영상 블록의 모션벡터에 대한 정보를, 상기 제 2레이어의 비트 스트림에 포함되어 있는, 상기 임의의 프레임과는 시간적으로 이격된 보조 프레임내의, 상기 영상블록과 동위치에 있는 블록의 모션벡터를 이용하는 정보로 기록하는 것을 특징으로 한다.
본 발명에 따른 일 실시예에서는, 상기 영상블록의 모션벡터에 대한 정보를 기록함에 있어서, 제 1레이어의 임의의 프레임에 시간적으로 최근접된, 제 2레이어의 예측영상을 갖는 보조 프레임내의 블록의 모션벡터를 이용한다.
본 발명에 따른 일 실시예에서는, 보조 프레임내의 블록의 모션벡터를 이용하는 것이 정보량에 있어서 유리한 경우에, 현재 영상블록의 모션벡터에 대한 정보를 보조 프레임내의 블록의 모션벡터를 이용하는 정보로 기록한다.
본 발명에 따른 일 실시예에서는, 현재 영상블록의 모션벡터에 대한 정보를 보조 프레임내의 블록의 모션벡터로부터 유도되는 벡터와 동일한 것으로 기록한다.
본 발명에 따른 다른 일 실시예에서는, 현재 영상블록의 모션벡터에 대한 정보를, 보조 프레임내의 블록의 모션벡터로부터 유도되는 벡터와, 현재 영상블록의 기본블록으로의 실제 모션벡터와의 차벡터로 기록한다.
본 발명에 따른 일 실시예에서는, 제 2레이어의 보조 프레임은 제 1레이어의 프레임의 화면크기보다 작은 화면크기를 갖는다.
본 발명에 따른 일 실시예에서는, 보조 프레임내의 블록의 모션벡터를, 제 2레이어의 보조 프레임의 화면크기 대비 제 1레이어의 프레임의 화면크기 비율( 즉, 해상도 비율 )로 스케일링하여, 유도계수를 곱하여 얻은 벡터를 이용한다.
본 발명에 따른 다른 일 실시예에서는, 보조 프레임내의 블록의 모션벡터에 유도계수를 곱한 후 그 결과를, 제 2레이어의 보조 프레임의 화면크기 대비 제 1레이어의 프레임의 화면크기 비율로 스케일링하여 얻은 벡터를 이용한다.
본 발명의 각 실시예에서는, 상기 유도계수가, 상기 보조 프레임과 상기 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 임의의 프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비로 결정된다.
이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.
도 2의 영상신호 엔코딩 장치는, 본 발명이 적용되는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블럭들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 입력 영상신호를 지정된 방식, 예를 들어 MPEG 1, 2, 또는4, 또는 H.261, H.263 또는 H.264방식으로 엔코딩하여 소화면, 예를 들어 원래 크기의 25%크기인 픽처들의 시퀀스를 생성하는 베이스레이어 엔코더(150), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 베이스레이어 엔코더(150)의 출력 시퀀스와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다. 상기 베이스레이어 엔코더(150)는 입력영상신호를 인핸스드 레이어의 픽처보다 작은 소화면의 시퀀스로 엔코딩출력함으로써 낮은 비트 레이트의 데이터 스트림을 제공할 수도 있지만, 인핸스드 레이어의 픽처와 동일 크기의 픽처로 엔코딩하되 인핸스드 레이어의 프레임율보다 낮은 프레임율로 엔코딩함으로써 낮은 비트 레이트의 데이터 스트림을 제공할 수도 있다. 이하 설명되는 본 발명 의 실시예에서는 베이스 레이어가 소화면 시퀀스로 엔코딩된다.
상기 MCTF 엔코더(100)는, 임의 영상 프레임내의 매크로 블록에 대하여 모션 추정(motion estimation)과 예측(prediction) 동작을 수행하며, 또한 인접 프레임내의 매크로 블록과의 이미지 차에 대해서 그 매크로 블록에 더하는 갱신(update) 동작을 수행하는 데, 도 3은 이를 수행하기 위한 필터의 일부 구성을 도시한 것이다.
상기 MCTF 엔코더(100)는, 입력 영상 프레임 시퀀스를 기수 및 우수 프레임으로 분리한 후 추정/예측과 갱신동작을 수차, 예를 들어 하나의 GOP( Group of Pictures )에 L프레임( 갱신동작에 의한 결과 프레임 )의 수가 1개가 될 때까지 수행하는 데, 도 3의 구성은, 그 중 한 단계( 'MCTF 레벨'이라고도 한다 )의 추정/예측 및 갱신동작에 관련된 구성을 도시한 것이다.
도 3의 구성은, 상기 베이스레이어 엔코더(150)의 엔코딩된 스트림에서 모션추정된(inter-frame 모드의) 각 매크로 블록의 모션벡터를 추출하고 또한 소화면 시퀀스의 픽처를 원래의 영상크기로 복원하기 위한 업샘플링 비율로, 각 모션추정된 매크로 블록의 모션 벡터를 스케일링하는 기능을 포함하는 베이스 레이어(BL) 디코더(105), 전 또는 후로 인접된 프레임에서, 모션추정(motion estimation)을 통해, 레지듀얼(residual) 데이터로 코딩할 프레임내의 각 매크로 블록에 대한 기준블록을 찾고 실제 매크로블럭과의 이미지 차( 각 대응화소의 차값 )를 코딩하고, 그 기준블록에 대한 모션 벡터를 직접 산출하거나, 또는 상기 BL 디코더(105)에 의해 스케일링된 대응 블록의 모션 벡터를 이용하는 정보를 생성하는 추정/예측기 (102), 상기 모션 추정에 의해 그 기준 블록이 찾아진 경우의 매크로 블록에 대해서는 적당한 상수, 예를 들어 1/2 또는 1/4을 이미지 차에 곱한 후 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하고 'U'동작에 의해 생성된 프레임을 'L' 프레임이라 한다.
도 3의 추정/예측기(102)와 갱신기(103)는 영상 프레임이 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있으며, 상기 추정/예측기(102)에 의해 만들어지는 이미지 차(예측영상)를 갖는 프레임( 또는 슬라이스 )을 'H' 프레임(슬라이스)이라 한다. 이는 'H' 프레임(슬라이스)에 있는 차값의 데이터가 영상신호의 고주파 성분을 반영하기 때문이다. 이하의 실시예에서 사용되는 '프레임'의 용어는, 슬라이스로 대체하여도 기술의 등가성이 유지되는 경우에는 슬라이스의 의미를 당연히 포함하는 것으로 사용된다.
상기 추정/예측기(102)는 입력되는 영상 프레임들( 또는 전단계에서 얻어진 L프레임들 )의 각각에 대해서, 기 정해진 크기의 매크로블럭(macro-block)으로 분할한 다음, 프레임간 모션추정을 통해 해당 매크로 블록을 코딩하고 그 모션벡터를 직접 구하거나 상기 BL 디코더(105)로부터 제공되는 확장된 베이스 레이어 프레임에 동시간의 프레임이 있으면, 상기 매크로 블록의 모션벡터를, 동시간의 베이스 레이어 프레임의 대응블록의 모션벡터를 이용하여 구할 수 있게하는 정보를 적절한 헤더 영역에 기록하는 과정을 수행한다. 그 구체적인 과정은 기 공지된 기술로서 이에 대한 자세한 설명은 본 발명과 직접적인 관련이 없으므로 생략하고, 본 발 명에 따라, 인핸스드 레이어의 프레임과 시간 이격된 베이스 레이어 프레임의 모션 벡터를 이용하여 해당 매크로 블록의 모션벡터를 구하는 도 4a 및 4b의 예시적 과정을 참조하여 상세히 설명한다.
도 4a의 예는, 현재 예측영상 프레임(H 프레임)으로 엔코딩하고자 하는 프레임이 프레임 B(F40)이고, 베이스 레이어의 프레임 시퀀스에서는 프레임 C가 예측 프레임으로 코딩된 것이다. 만약, 베이스 레이어의 프레임 시퀀스에 현재 예측영상으로 만들고자하는 인핸스드 레이어의 프레임(F40)과 동시간의 프레임이 없으면, 상기 추정/예측기(102)는, 현재 프레임(F40)과 시간적으로 가장 근접된 베이스 레이어의 예측 프레임, 즉 프레임 C을 찾는다. 실질적으로는 상기 BL 디코더(105)로부터 제공되는 엔코딩 정보에서 프레임 C에 관련된 정보를 찾는다.
또한, 현재 프레임(F40)내에서 예측영상으로 만들고자 하는 매크로 블록(MB40)과 가장 높은 상관관계(correlation)를 갖는 블록을 인접된 전 및/또는 후 프레임에서 찾아서 기준블록과의 이미지차를 코딩한다. 이와 같은 동작을 'P' 동작(opeation)이라 한다. 이 'P'동작에 의해 생성되는 프레임이 곧 'H'프레임이다. 그리고 가장 높은 상관관계를 갖는 블록이란 대상 이미지 블록과 이미지 차가 가장 적은 블록이다. 이미지 차의 크기는, 예를 들어 pixel-to-pixel의 차이값 총합 또는 그 평균값 등으로 정해진다. 이미지 차가 가장 적은 블록이 기준(reference) 블록이 되는 데, 이 기준블록은 각 참조 프레임에 하나씩 복수개 될 수도 있다.
현재 매크로 블록(MB40)에 대해 기준 블록이, 예를 들어 도 4a에서와 같이 양방향 모드로 찾아지면, 상기 추정/예측기(102)는 각 기준블록으로의 양 모션벡터 mv0와 mv1을, 시간적으로 가장 근접된 베이스 레이어의 예측 프레임(F4)의 대응 블록(MB4)( 이 블록은, 확장됨으로써 프레임내에서 상기 매크로 블록(MB40)과 동일크기의 블록을 커버하는 영역(EB4)을 갖는 블록임 )의 모션 벡터, 즉, mvBL0으로부터 유도한다. 베이스 레이어의 모션 벡터는 상기 베이스 레이어 엔코더(150)에서 구해져서 각 매크로 블록의 헤더정보에 실려 전달되고 프레임율도 GOP 헤더정보에 실려 전달되므로, 상기 BL 디코더(105)는 엔코딩된 영상 데이터는 디코딩하지 않고 헤더 정보만을 조사하여 필요한 엔코딩 정보, 즉, 프레임의 시간, 프레임의 크기, 각 매크로 블록의 블록모드, 모션벡터 등을 추출하여 상기 추정/예측기(102)에 제공한다.
상기 추정/예측기(102)는 대응 블록(MB4)의 모션 벡터(mvBL0)를 상기 BL 디코더(105)로부터 받아서, 이를 인핸스드 레이어 프레임의 베이스 레이어 프레임에 대한 화면크기 비율로 스케일링한 후, 현재 매크로 블록(MB40)에 대해서 구해진 벡터, 예를 들어 mv0과 mv1에 대응하여 각각 벡터를 다음관계식에 따라 유도벡터(mv0',mv1')를 산출한다.
mv0' = mvScaledBL0 *TD0/(TD0+TD1) 식 (1a)
mv1' = -mvScaledBL0 *TD1/(TD0+TD1) 식 (1b)
여기서, TD1, TD0는 현재 프레임(F40)과 베이스 레이어의 양 프레임( 현재 프레임(F40)과 시간적으로 가장 근접된 예측 프레임(F4) 및 그 프레임의 기준 플레임(F4a) )과의 각 시간차이다.
상기 식 (1a) 및 (1b)는 스케일링된 대응 블록의 모션벡터(mvScaledBL0)에 대해, 인핸스드 레이어의 기준 프레임( 또는 기준 블록 )까지의 시간차 비율만큼의 성분을 구하는 것이다. 그리고, 상기 추정/예측기(102)는 유도하고자 하는 목표 벡터와 대응 블록의 스케일링된 모션 벡터와의 방향이 반대이면, 식 (1b)에서와 같이 음의 부호를 붙여서 유도한다.
위와 같은 방식으로 유도된 벡터(mv0'mv1')가 실제 구해진 모션 벡터(mv0,mv1)와 동일하면, 상기 추정/예측기(102)는 해당 매크로 블록(MB40)의 헤더내에 베이스 레이어의 모션벡터의 유도벡터와 동일하다는 정보만을 기록하고, 실제 구한 모션 벡터(mv0,mv1) 정보는 상기 모션 코딩부(120)에 전달되지 않는다. 즉, 모션 벡터가 코딩되지 않는다.
만약, 유도된 벡터(mv0',mv1')와 실제 구해진 모션벡터(mv0,mv1)가 다른 경우에는, 실제 벡터(mv0,mv1)를 코딩하는 것보다, 실제 벡터와 유도된 벡터와의 차벡터(mv0-mv0'와 mv1-mv1')를 코딩하는 것이, 예를 들어 데이터량의 관점에서 유리한 경우 상기 벡터차를 상기 모션 코딩부(120)에 전달하여 코딩되도록 하고, 해당 매크로 블록(MB40)의 헤더에는 베이스 레이어로부터 유도되는 벡터와의 차벡터가 기록되었음을 알리는 정보를 기록한다. 만약, 차벡터를 코딩하는 것이 불리하다면, 앞서 구해진 실제 벡터(mv0,mv1)를 코딩하게 된다.
현재 프레임(F40)에 시간적으로 가장 인접된 베이스 레이어의 양 프레임(F4,F4a)은 둘 중 하나만 예측 프레임이다. 이는 디코딩할 때, 베이스 레이어의 디코더가 예측 프레임을 특정할 수 있으므로, 인접된 양 프레임 중 어떤 프레임의 모 션 벡터가 사용되었는지의 여부에 대한 정보를 전달할 필요가 없음을 의미한다. 따라서, 베이스 레이어의 모션 벡터로부터의 유도를 알리는 값을 헤더정보에 기입하여 전달할 때 어떤 베이스 레이어 프레임이 사용되었는 지에 대한 정보는 엔코딩하지 않는다.
도 4b의 예는, 현재 예측영상으로 엔코딩하고자 하는 프레임이 프레임 B(F40)이고, 베이스 레이어의 프레임 시퀀스에서는 프레임 A가 예측 프레임으로 코딩된 경우인 데, 이 경우에는, 현재 매크로 블록(MB40)에 대한 각 모션 벡터의 유도에 사용될, 대응 블록(MB4)의 스케일링된 모션 벡터(mvScaledBL1)의 방향이 도 4a의 경우와는 반대이므로, 모션 벡터를 유도하는 식 (1a) 및 (1b)는 각각 식 (2a)와 (2b)로 변경된다.
mv0' = -mvScaledBL1 *TD0/(TD0+TD1) 식 (2a)
mv1' = mvScaledBL1 *TD1/(TD0+TD1) 식 (2b)
한편, 현재 예측영상으로 코딩할 프레임(F40)과 시간적으로 가장 근접된 베이스 레이어의 예측 프레임(F4)내의 대응 블록(MB4)이 양방향(Bid) 모드가 아니고 단방향(Fwd, 또는 Bwd) 모드일 수 있다. 만약, 단방향 모드이면 현재 프레임(F40)의 전후 인접 프레임(Frame A와 C)간의 시구간(TwK)이 아닌 시구간에만 모션벡터를 가질 수 있다. 예를 들어, 도 4a의 경우에 베이스 레이어의 대응 블록(MB4)이 후방향(Bwd) 모드이어서 다음 시구간(TwK+1)에서만 스팬(span)하는 벡터를 가질 수 있다. 이 경우에도 상기 식 (1a) 및 (1b) ( 또는 식 (2a) 및 (2b) )를 적용하여 모션 벡터를 유도하여 사용할 수 있다.
즉, 다음 시구간(TwK+1)에서 스팬하는 벡터를 mvBL0i 라하고 그 벡터의 확대된 벡터를 mvScaledBL0i 라고 할 때, 도 4a의 예에서 유도하고자 하는 목표 유도벡터 mv0'과 mvScaledBL0i 와는 방향이 반대이므로, mvScaledBL 대신 (-mvScaledBL0i) 를 대입하여
mv0' = -mvScaledBL0i * TD0/(TD0+TD1)에 의해,
그리고, 목표 유도벡터 mv1'과 mvScaledBL0i와는 동일 방항이므로,
mv1' =-1 * (-mvScaledBL0i) * TD1/(TD0+TD1) = mvScaledBL0i * TD1/(TD0+TD1) 의 식에 의해 각각 구할 수 있다.
이는, 식 (2a) 및 (2b)와 동일한 것이다.
마찬가지로, 도 4b의 경우에, 베이스 레이어의 프레임 A내의 대응 블록(MB4)이 양방향 모드가 아닌 전방향(Fwd) 모드라면, 그 블록이 갖고 있는 모션 벡터의 확장 벡터를 식 (1a) 및 (1b)에 대입하여 목표 유도벡터를 구할 수 있다.
결론적으로, 베이스 레이어의 대응 블록이 갖고 있는 모션 벡터의 방향을 고려해서 식 (1a) 및 (1b) 또는 식 (2a) 및 (2b)를 알맞게 선택해서 사용하면, 대응 블록이 동일 시구간에는 모션 벡터를 갖고 있지 않더라도 그 모션 벡터를 이용하여 사용할 모션벡터를 유도할 수 있다.
한편, 베이스 레이어의 모션벡터를 이용할 때 식 (1a) 및 (1b) 또는 식 (2a) 및 (2b)에서와 같이, 베이스 레이어의 모션벡터를 스케일링한 후 시간차비율((TD0 또는 TD1)/(TD0+TD1))을 곱하는 방식대신, 베이스 레이어의 모션벡터에 시간차비율((TD0 또는 TD1)/(TD0+TD1))을 먼저 곱한후 그 결과를 스케일링하여 사용할 수도 있다.
베이스 레이어의 모션벡터를 먼저 스케일링한 후 이를 시간차비율로 곱하여 사용하는 방식이 유도벡터의 해상도(resolution) 관점에서 유리하다. 예를 들어, 베이스 레이어의 픽처가 인핸스드 픽처의 25%크기이고, 인핸스드 레이어의 프레임과 베이스 레이어의 양 인접 프레임과의 각 시간차가 동일한 경우, 스케일링은 모션벡터의 각 성분에 2를 곱하는 것이고 시간차비율을 곱하는 것은 2로 나누는 것이므로, 시간차비율을 곱한 후 스케일링하는 방식은 유도벡터의 각 성분이 홀수를 가질 수 없는 반면 스케일링후 시간차비율을 곱하는 방식은 홀수를 가질 수 있다. 따라서 베이스 레이어의 모션벡터를 스케일링한 후 시간차비율을 곱하는 방식을 사용하는 것이 보다 바람직하다.
지금까지 설명한 방법에 의해 엔코딩된 L 및 H프레임의 시퀀스로 이루어진 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 인핸스드 레이어 및/또는 베이스 레이어의 영상신호를 복원하게 된다.
도 5는 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 5의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230), 상기 베이스 레이어 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264방식에 의해 디코딩하는 베이스 레이어(BL) 디코더(240)를 포함하여 구성된다. 상기 BL 디코더(240)는, 입력되는 베이스 레이어 스트림을 디코딩함과 동시에, 스트림내의 헤더정보를 상기 MCTF 디코더(230)에 제공하여 필요한 베이스 레이어의 엔코딩 정보, 예를 들어 모션벡터에 관련된 정보 등을 이용할 수 있게 한다.
상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스을 복원하기 위한 역(inverse) 필터를 내부 구성으로 포함한다.
도 6은 역필터의 일부 구성을 도시한 것으로서, MCTF 레벨 N의 H와 L프레임 시퀀스를 레벨 N-1의 L 프레임 시퀀스로 복원하는 구성이다. 도 6에는, 입력되는 H 프레임의 각 화소의 차값을 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 이미지 차가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 L프레임을 복원하는 역 예측기(232), 입력되는 모션 벡터 스트림을 디코딩하여 H프레임내의 각 매크로 블록의 모션벡터 정보를 각 단(stage)의 역 예측기(232 등)에 제공하는 모션 벡터 디코더(235), 그리고 상기 역 예측기(232)에 의해 완성된 L프레임을 상기 역갱신기(231)의 출력 L프레임 사이에 간삽시켜 정상 순서의 L프레임 시퀀스로 만드는 배열기(234)를 포함한다.
상기 배열기(234)에 의해 출력되는 L 프레임은 레벨 N-1의 L프레임 시퀀스(601)가 되고 이는 입력되는 N-1레벨의 H프레임 시퀀스(602)와 함께 다음 단의 역갱신기와 역 예측기에 의해 L프레임 시퀀스로 다시 복원되며, 이 과정이 엔코딩시의 MCTF 레벨만큼 수행됨으로써 원래의 영상 프레임 시퀀스로 복원된다.
레벨 N에서의 H프레임의 L프레임으로의 복원과정을 본 발명과 관련하여 보다 상세히 설명하면, 먼저, 상기 역갱신기(231)는, 임의의 L프레임에 대해, 그 프레임내에 블록을 기준블록으로 하여 이미지 차를 구한 모든 H프레임내의 매크로 블록의 에러값을 상기 L프레임의 해당 블록에서 감하는 동작을 수행한다.
그리고, 상기 역 예측기(232)는, 임의 H프레임내의 매크로 블록에 대해 그 모션벡터에 대한 정보를 확인하고, 그 정보가 베이스 레이어로부터의 유도벡터와 동일하다고 지시하고 있으면, 상기 BL 디코더(240)로부터 제공되는, 현재 H프레임에 시간적으로 인접된 베이스 레이어의 양 프레임중 예측 영상 프레임, 예를 들어 H프레임내의 대응블록의 모션벡터(mvBL)로부터, 인핸스드 레이어 프레임의 베이스 레이어 프레임에 대한 화면크기 비율로 스케일링된 모션벡터(mvScaledBL)를 구한 후, 앞서의 식 (1a) 및 (1b) 또는 식 (2a) 및 (2b)에 따라 실제벡터(mv=mv')를 유도하고, 만약, 모션 벡터에 대한 정보가 유도벡터와의 차벡터가 코딩되어 있는 것을 가리키면, 식 (1a) 및 (1b) 또는 식 (2a) 및 (2b)에 의해 유도되는 벡터(mv')를 상기 모션벡터 디코더(235)로부터 제공되는 해당 매크로 블록의 차벡터(mv-mv')에 더함으로써 실제 모션벡터(mv)를 구한다.
이와 같이 베이스 레이어의 모션벡터로부터 유도하여 구해진 실제 벡터 또는 직접 코딩되어 있는 실제 모션벡터를 참조하여 그 매크로 블록의 L프레임에 있는 기준블록을 파악한 다음 해당 매크로 블록내의 각 화소의 차값에 기준블록의 화소값을 더함으로써 원래 이미지를 복원한다. 현재 H프레임에 대한 모든 매크로 블록에 대해 상기와 같은 동작이 수행되어 L프레임으로 복원되면 이 L프레임들은 상기 갱신기(231)에 의해 갱신된 L프레임들과 상기 배열기(234)를 통해 교번적으로 배치되어 다음 단으로 출력된다.
앞서 엔코딩 방법에서 설명한 바와 같이, 상기 역 예측기(232)는 현재 매크로 블록의 실제 벡터를 얻기 위해 베이스 레이어의 모션 벡터(mvBL)를 사용할 때, 앞서의 설명에서와 같이 그 모션벡터(mvBL)을 스케일링한 벡터(mvScaledBL)를 구하여 그 벡터(mvScaledBL)에 시간차비율을 곱하는 대신, 베이스 레이어의 모션벡터(mvBL)에 시간차비율을 곱한 후 그 결과벡터를 스케일링하여 사용할 수도 있다.
전술한 방법에 따라, MCTF방식으로 엔코딩된 데이터 스트림이 완전한 영상의 프레임 시퀀스로 복구된다. 특히, 전술한 MCTF 엔코딩에서의 추정/예측과 갱신동작이 한 GOP에 대해서 P회 수행한 경우, 상기 역 예측 그리고 역갱신 동작을 P회 수행하여 영상프레임 시퀀스를 구하면 원래 영상신호의 화질을 얻을 수 있고, 그 보다 작은 횟수로 수행하면 화질이 다소 저하되지만 비트 레이트는 보다 낮은 영상 프레임 시퀀스를 얻을 수 있다. 따라서, 디코딩 장치는 자신의 성능에 맞는 정도로 상기 역 예측 그리고 역갱신 동작을 수행하도록 설계된다.
전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.
본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
상술한 바와 같이, MCTF 엔코딩에 있어서, 저성능 디코더를 위해 제공되는 베이스 레이어의 모션 벡터를, 인핸스드 레이어의 매크로 블록의 모션 벡터 코딩에 이용함으로써, 시간적으로 인접된 프레임간의 모션 벡터간의 상관성을 제거할 수 있다. 이로써 모션벡터의 코딩량이 줄어들게 되므로 MCTF의 코딩율이 향상된다.

Claims (34)

  1. 입력 영상신호를 엔코딩하는 장치에 있어서,
    상기 영상신호를 스케일러블한 제 1방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력하는 제 1엔코더와,
    상기 영상신호를 지정된 제 2방식으로 엔코딩하여, 상기 제 1레이어의 비트 스트림내의 프레임의 화면크기보다 작은 크기의 프레임을 갖는 제 2레이어의 비트 스트림을 출력하는 제 2엔코더를 포함하여 구성되되,
    상기 제 1엔코더는,
    상기 제 2레이어의 비트 스트림에 포함되어 있는 제 1블록의 모션벡터를 상기 제 2레이어의 프레임 크기대비 상기 제 1레이어의 프레임 크기의 비율에 따라 스케일링하고, 그 스케일링된 모션벡터와 유도계수의 곱에 근거하여 얻은 유도벡터를, 상기 제 1블록이 있는 프레임과 동시간이 아닌, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록의 모션벡터로 이용할 수 있게 하는 정보를 상기 제 1레이어의 비트 스트림에 기록하는 수단을 포함하여 구성되는 것을 특징으로 하는 장치.
  2. 제 1항에 있어서,
    상기 제 1블록이 있는 프레임은, 상기 제 2레이어의 프레임 시퀀스에서 상기 임의의 프레임에 시간적으로 최근접된, 이미지 차 데이터를 갖는 예측영상 프레임 인 것을 특징으로 하는 장치.
  3. 제 1항에 있어서,
    상기 유도계수는, 상기 제 1블록이 있는 프레임과 상기 제 1블록의 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 임의의 프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비(ratio)인 것을 특징으로 하는 장치.
  4. 제 1항에 있어서,
    상기 유도벡터는, 상기 임의의 프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 임의의 프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것을 특징으로 하는 장치.
  5. 제 4항에 있어서,
    상기 수단은, 유도 방향과 상기 제 1블록의 모션벡터의 방향이 상이하면, 상기 유도계수와 상기 스케일링된 모션벡터와의 곱에 음의 부호를 부가하여 유도벡터를 얻는 것을 특징으로 하는 장치.
  6. 제 1항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간을 스팬하는 벡터인 것을 특징으로 하는 장치.
  7. 제 1항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간이 아닌 다른 시구간을 스팬하는 벡터인 것을 특징으로 하는 장치.
  8. 제 7항에 있어서,
    상기 수단은, 상기 스케일링된 제 1블록의 모션벡터에 음의 부호를 부가하여 그 방향을 반전시킨 후 상기 유도계수를 곱하여 유도벡터를 얻는 것을 특징으로 하는 장치.
  9. 입력 영상신호를 엔코딩하는 방법에 있어서,
    상기 영상신호를 스케일러블한 제 1방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력하는 단계와,
    상기 영상신호를 지정된 제 2방식으로 엔코딩하여, 상기 제 1레이어의 비트 스트림내의 프레임의 화면크기보다 작은 크기의 프레임을 갖는 제 2레이어의 비트 스트림을 출력하는 단계를 포함하여 구성되되,
    상기 제 1방식으로 엔코딩하는 단계는,
    상기 제 2레이어의 비트 스트림에 포함되어 있는 제 1블록의 모션벡터를 상기 제 2레이어의 프레임 크기대비 상기 제 1레이어의 프레임 크기의 비율에 따라 스케일링하고, 그 스케일링된 모션벡터와 유도계수의 곱에 근거하여 얻은 유도벡터를, 상기 제 1블록이 있는 프레임과 동시간이 아닌, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록의 모션벡터로 이용할 수 있게 하는 정보를 상기 제 1레이어의 비트 스트림에 기록하는 과정을 포함하여 이루어지는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 제 1블록이 있는 프레임은, 상기 제 2레이어의 프레임 시퀀스에서 상기 임의의 프레임에 시간적으로 최근접된, 이미지 차 데이터를 갖는 예측영상 프레임인 것을 특징으로 하는 방법.
  11. 제 9항에 있어서,
    상기 유도계수는, 상기 제 1블록이 있는 프레임과 상기 제 1블록의 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 임의의 프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비(ratio)인 것을 특징으로 하는 방법.
  12. 제 9항에 있어서,
    상기 유도벡터는, 상기 임의의 프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 임의의 프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것 을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 과정은, 유도 방향과 상기 제 1블록의 모션벡터의 방향이 상이하면, 상기 유도계수와 상기 스케일링된 모션벡터와의 곱에 음의 부호를 부가하여 유도벡터를 얻는 것을 특징으로 하는 방법.
  14. 제 9항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간을 스팬하는 벡터인 것을 특징으로 하는 방법.
  15. 제 9항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간이 아닌 다른 시구간을 스팬하는 벡터인 것을 특징으로 하는 방법.
  16. 제 15항에 있어서,
    상기 과정은, 상기 스케일링된 제 1블록의 모션벡터에 음의 부호를 부가하여 그 방향을 반전시킨 후 상기 유도계수를 곱하여 유도벡터를 얻는 것을 특징으로 하는 방법.
  17. 차값의 화소를 가진 프레임을 포함하는 제 1레이어의 비트 스트림을 수신하여 영상신호로 디코딩하는 장치에 있어서,
    상기 제 1레이어의 비트 스트림을 스케일러블한 제 1방식으로 디코딩하여 원래의 이미지를 갖는 영상 프레임들로 복원 출력하는 제 1디코더와,
    상기 영상 프레임의 화면크기보다 작은 크기의 프레임을 갖는 제 2레이어의 비트 스트림을 수신하여 그 비트 스트림에서, 모션벡터 정보를 포함하는 엔코딩 정보를 추출하여 상기 제 1디코더에 제공하는 제 2디코더를 포함하여 구성되되,
    상기 제 1디코더는,
    상기 제 1레이어의 비트 스트림내의 임의의 프레임에 포함되어 있는 대상 블록에 대해, 상기 엔코딩 정보에 포함되어 있는, 상기 임의의 프레임과는 동시간이 아닌 프레임내의 제 1블록의 모션벡터를 상기 제 2레이어의 프레임 크기대비 상기 제 1레이어의 프레임 크기의 비율에 따라 스케일링하고, 그 스케일링된 모션벡터와 유도계수의 곱에 근거하여 얻은 유도벡터로부터 상기 대상 블록의 모션벡터를 구하는 수단을 포함하여 구성되는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 수단은, 상기 제 1레이어의 비트 스트림에 포함되어 있는 상기 대상 블록에 대한 정보가, 상기 유도벡터가 상기 대상블록의 모션벡터와 동일한 것을 지시하고 있으면, 상기 유도벡터를 상기 대상 블록의 모션벡터로 사용하는 것을 특징으로 하는 장치.
  19. 제 17항에 있어서,
    상기 수단은, 제 1레이어의 비트 스트림에 포함되어 있는 상기 대상 블록에 대한 정보가 차벡터 정보를 포함하고 있음을 가리키고 있으면, 상기 유도벡터에 상기 차벡터를 연산하여 상기 대상블록의 모션벡터를 구하는 것을 특징으로 하는 장치.
  20. 제 17항에 있어서,
    상기 유도계수는, 상기 제 1블록이 있는 프레임과 상기 제 1블록의 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 임의의 프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비(ratio)인 것을 특징으로 하는 장치.
  21. 제 17항에 있어서,
    상기 유도벡터는, 상기 임의의 프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 임의의 프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것을 특징으로 하는 장치.
  22. 제 21항에 있어서,
    상기 수단은, 유도 방향과 상기 제 1블록의 모션벡터의 방향이 상이하면, 상 기 유도계수와 상기 스케일링된 모션벡터와의 곱에 음의 부호를 부가하여 유도벡터를 얻는 것을 특징으로 하는 장치.
  23. 제 17항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간을 스팬하는 벡터인 것을 특징으로 하는 장치.
  24. 제 17항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간이 아닌 다른 시구간을 스팬하는 벡터인 것을 특징으로 하는 장치.
  25. 제 24항에 있어서,
    상기 수단은, 상기 스케일링된 제 1블록의 모션벡터에 음의 부호를 부가하여 그 방향을 반전시킨 후 상기 유도계수를 곱하여 유도벡터를 얻는 것을 특징으로 하는 장치.
  26. 차값의 화소를 가진 프레임을 포함하는 제 1레이어의 비트 스트림을 수신하여 영상신호로 디코딩하는 방법에 있어서,
    상기 제 1레이어의 프레임보다 화면 크기가 작은 프레임을 갖는 제 2레이어의 입력 비트 스트림에서 추출되어 제공되는, 모션벡터 정보를 포함하는 엔코딩 정 보를 이용하여 상기 제 1레이어의 비트 스트림을 스케일러블한 제 1방식으로 디코딩함으로써 원래의 이미지를 갖는 영상 프레임들로 복원 출력하는 단계를 포함하여 이루어지되,
    상기 복원 출력단계는,
    상기 제 1레이어의 비트 스트림내의 임의의 프레임에 포함되어 있는 대상 블록에 대해, 상기 엔코딩 정보에 포함되어 있는, 상기 임의의 프레임과는 동시간이 아닌 프레임내의 제 1블록의 모션벡터를 상기 제 2레이어의 프레임 크기대비 상기 제 1레이어의 프레임 크기의 비율에 따라 스케일링하고, 그 스케일링된 모션벡터와 유도계수의 곱에 근거하여 얻은 유도벡터로부터 상기 대상 블록의 모션벡터를 구하는 과정을 포함하여 이루어지는 것을 특징으로 하는 방법.
  27. 제 26항에 있어서,
    상기 과정은, 상기 제 1레이어의 비트 스트림에 포함되어 있는 상기 대상 블록에 대한 정보가, 상기 유도벡터가 상기 대상블록의 모션벡터와 동일한 것을 지시하고 있으면, 상기 유도벡터를 상기 대상 블록의 모션벡터로 사용하는 것을 특징으로 하는 방법.
  28. 제 26항에 있어서,
    상기 과정은, 제 1레이어의 비트 스트림에 포함되어 있는 상기 대상 블록에 대한 정보가 차벡터 정보를 포함하고 있음을 가리키고 있으면, 상기 유도벡터에 상 기 차벡터를 연산하여 상기 대상블록의 모션벡터를 구하는 것을 특징으로 방법.
  29. 제 26항에 있어서,
    상기 유도계수는, 상기 제 1블록이 있는 프레임과 상기 제 1블록의 모션벡터가 지시하는 블록이 있는 다른 프레임과의 시간격에 대한, 상기 임의의 프레임으로부터 벡터 유도방향으로의 프레임까지의 시간격의 비(ratio)인 것을 특징으로 하는 방법.
  30. 제 26항에 있어서,
    상기 유도벡터는, 상기 임의의 프레임보다 앞선 프레임으로 향하는 유도벡터 및/또는 상기 임의의 프레임보다 뒤진 프레임으로 향하는 유도벡터를 포함하는 것을 특징으로 하는 방법.
  31. 제 30항에 있어서,
    상기 수단은, 유도 방향과 상기 제 1블록의 모션벡터의 방향이 상이하면, 상기 유도계수와 상기 스케일링된 모션벡터와의 곱에 음의 부호를 부가하여 유도벡터를 얻는 것을 특징으로 하는 방법.
  32. 제 26항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간을 스팬하는 벡터인 것을 특징으로 하는 방법.
  33. 제 26항에 있어서,
    상기 제 1블록의 모션벡터는, 상기 임의의 프레임이 있는 시구간이 아닌 다른 시구간을 스팬하는 벡터인 것을 특징으로 하는 방법.
  34. 제 33항에 있어서,
    상기 과정은, 상기 스케일링된 제 1블록의 모션벡터에 음의 부호를 부가하여 그 방향을 반전시킨 후 상기 유도계수를 곱하여 유도벡터를 얻는 것을 특징으로 하는 방법.
KR1020050026780A 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 KR20060059770A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US11/288,408 US20070242747A1 (en) 2004-11-29 2005-11-29 Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US11/288,449 US20070280354A1 (en) 2004-11-29 2005-11-29 Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US11/288,160 US20060120454A1 (en) 2004-11-29 2005-11-29 Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US11/288,435 US20070223573A1 (en) 2004-11-29 2005-11-29 Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US63117704P 2004-11-29 2004-11-29
US60/631,177 2004-11-29
US64316205P 2005-01-13 2005-01-13
US60/643,162 2005-01-13
US64842205P 2005-02-01 2005-02-01
US60/648,422 2005-02-01

Publications (1)

Publication Number Publication Date
KR20060059770A true KR20060059770A (ko) 2006-06-02

Family

ID=37156901

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020050026792A KR20060059772A (ko) 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR1020050026782A KR20060059771A (ko) 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR1020050026796A KR20060059773A (ko) 2004-11-29 2005-03-30 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
KR1020050026780A KR20060059770A (ko) 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020050026792A KR20060059772A (ko) 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR1020050026782A KR20060059771A (ko) 2004-11-29 2005-03-30 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR1020050026796A KR20060059773A (ko) 2004-11-29 2005-03-30 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치

Country Status (1)

Country Link
KR (4) KR20060059772A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055207A (zh) * 2020-08-06 2020-12-08 浙江大华技术股份有限公司 时域运动矢量预测方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055207A (zh) * 2020-08-06 2020-12-08 浙江大华技术股份有限公司 时域运动矢量预测方法、设备及存储介质

Also Published As

Publication number Publication date
KR20060059771A (ko) 2006-06-02
KR20060059772A (ko) 2006-06-02
KR20060059773A (ko) 2006-06-02

Similar Documents

Publication Publication Date Title
KR100893868B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100886191B1 (ko) 영상 블록을 디코딩 하는 방법
KR20060105409A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060109249A (ko) 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20060070400A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20060059774A (ko) 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060101847A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
JP4909592B2 (ja) 動画像再生方法及び装置並びにプログラム
JP2006180173A (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法
KR20060059764A (ko) 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination