KR100931871B1 - 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템 - Google Patents
비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템 Download PDFInfo
- Publication number
- KR100931871B1 KR100931871B1 KR1020077025990A KR20077025990A KR100931871B1 KR 100931871 B1 KR100931871 B1 KR 100931871B1 KR 1020077025990 A KR1020077025990 A KR 1020077025990A KR 20077025990 A KR20077025990 A KR 20077025990A KR 100931871 B1 KR100931871 B1 KR 100931871B1
- Authority
- KR
- South Korea
- Prior art keywords
- base layer
- slices
- video data
- fgs
- layer image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 230000001413 cellular effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 FSG(fine granularity scalability) 정보를 기반으로 효과적이고 향상된 비디오 데이터 스케일러블 부호화 및/또는 복호화를 위한 방법들, 장치들, 및 시스템들을 개시한다. 본 발명의 제1 양상에 따른 비디오 데이터를 부호화하기 위한 방법이 제공되고, 상기 방법은 상기 비디오 데이터를 얻는 단계; 상기 얻어진 비디오 데이터를 기반으로 기본 계층 영상을 발생시키는 단계를 포함하며, 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 상기 기본 계층 영상에 대응하는 하나 이상의 향상 계층 영상을 발생시키는 단계를 포함하며, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FSG(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고, 상기 FGS-슬라이스들 중 상기 하나 이상이 대응하는 영역이 상기 기본 계층 영상 내의 슬라이스가 대응하는 영역과 상이하고, 부호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 부호화하는 단계를 포함한다.
Description
본 발명은 비디오 부호화 및 복호화 분야에 관련되고, 좀 자세히는 FGS(fine granularity scalability) 기반에서 스케일러블(scalable) 비디오 데이터 처리에 관련된다.
종래의 비디오 부호화 표준들(예를 들어, MPEG-I, H.261/263/264)은 비디오 프레임들 간의 일시적인 리던던시(redundancy)들을 제거하기 위해 동작 추정(motion estimation) 및 동작 보상(motion compensation)을 통합한다. 이런 개념들은 비디오 부호화에 대한 당업자들에게 매우 익숙해서 상세히 설명되지 않을 것이다.
H.264/AVC 스케일러블(scalable) 확장은 현재 FGS(fine-grained scalability)를 가능하게 하고, 이에 따라 비디오 시퀀스의 화질이 10%이하의 증분으로 비트 속도(bit rate)를 증가시켜 향상될 수 있다. 일반적인 구현에 따라, 각 FGS (Five Granularity Scalability) 슬라이스는 그 "기본 계층 영상"에 대응하는 슬라이스와 동일한 공간 영역을 커버해야하고, 즉 FGS 슬라이스의 시작 매크로블록 및 FGS 매크로블록들의 수에 있어서의 크기가 그 "기본 계층 영상"의 대응 슬라이스와 동일해야 한다. 결과적으로, 각 FGS 평면(plane)은 " 기본 계층 영상"과 동일한 수의 슬라이스들을 가져야 한다.
FGS 슬라이스가 그 "기본 계층 영상"의 대응하는 슬라이스와 동일한 공간 영역을 커버해야한다는 현 기술 상태의 제약은 NAL (Network Abstraction Layer) 유닛에 영향을 끼쳐서 알려진 패킷 손실 비율 및 PDU(protocol data unit) 크기에 따른 최적 전송을 불가능하게 한다. 또한, 그 제약은 관심 영역 (region-of-interest : ROI) FGS 향상(enhancement)을 허용하지 않는다. 이때 그런 관심 영역들은 다른 영역들보다 더 나은 화질(quality)을 가질 수 있다.
본 발명의 목적은 효과적으로 각각 부호화(encoding) 또는 복호화(decoding)하기 위한 방법론, 장치, 및 시스템을 제공하는 것이고, 이것은 위에서 언급된 현 기술의 문제점들을 극복하고 효과적이고 질적으로 향상된 부호화를 제공한다.
본 발명의 주요 이점들은 FGS 슬라이스가 시작 매크로블록 위치 및 매크로블록들의 수에 있어서 크기는 최적 전송 요구에 따라 결정될 수 있고, 예를 들어, 바이트들의 수에 있어서 슬라이스의 크기가 바이트 단위의(in bytes) PDU(protocol data unit) 크기에 가까우나 결코 초과하지는 않도록 부호화될 수 있고, FGS 슬라이스가 좀 더 중요하거나 그 슬라이스의 일부인 관심(interested) 영역을 커버하고 중요하지 않은 영역들보다 더 높은 화질(quality)로 부호화되거나, 대안적으로는 관심 영역들을 커버하는 FGS 슬라이스들만이 부호화되고 전송되도록 부호화될 수 있다는데 존재한다.
본 발명에 따라 각 FGS 슬라이스가 그것의 "기본 계층 영상(base layer picture)"의 대응하는 슬라이스와 동일한 공간 영역을 커버해야하는 제한이 제거된다. 오히려, FGS 슬라이스에 의해 커버되는 영역(즉 시작 매크로블록 및 마크로블록들의 수에 있어서의 크기)은 그 기본 계층 영상과 독립적이다. 따라서 FGS 슬라이스들이 지원되는, 스케일러블 비디오 부호화(coding)에 적용하는 어떤 애플리케이션도 본 발명의 발명 단계로부터 이익을 향유할 것이다.
본 발명의 목적들은 첨부된 독립항들에서 정의된 주제(subject matter)에 의해 해결된다.
본 발명의 첫 번째 양상에 따른 비디오 데이터를 부호화하기 위한 방법이 제공되고, 상기 방법은 상기 비디오 데이터를 얻는 단계; 상기 얻어진 비디오 데이터를 기반으로 기본 계층 영상(picture)을 발생시키는 단계를 포함하며, 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 상기 기본 계층 영상에 대응하는 하나 이상의 향상(enhancement) 계층 영상을 발생시키는 단계를 포함하며, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FSG(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고, 상기 FGS-슬라이스들의 상기 하나 이상이 대응하는 영역이 상기 기본 계층 영상 내의 슬라이스가 대응하는 영역과 상이하고, 부호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 부호화하는 단계를 포함한다.
바람직한 실시 예에서 상기 하나 이상의 FGS 슬라이스는 비디오 부호화 표준인 H.264/AVC 스케일러블 확장에서 특정된 것과 같은 프로그래시브(progressive) 세분화(refinement) 슬라이스이다.
바람직한 실시 예에서 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 발생시키는 상기 단계는, 상기 비디오 데이터 내의 동작 정보를 기반으로 하고, 상기 동작 정보는 동작 추정 프로세스에 의해 제공된다.
바람직한 실시 예에서 상기 하나 이상의 FGS-슬라이스는 영상에서 관심 영역(region of interest, ROI)에 대응한다.
바람직한 실시 예에서 상기 기본 계층 영상 내의 슬라이스들의 수와 향상 계층 영상 내의 FGS 슬라이스들의 수가 서로 다르다.
바람직한 실시 예에서 상기 FGS-슬라이스는 미리 결정된 값에 따른 바이트 단위로 된 크기를 갖도록 부호화된다.
본 발명의 다른 양상에 따른 부호화된 비디오 데이터를 스케일러블 복호화하기 위한 방법이 제공되고, 상기 방법은: 상기 부호화된 비디오 데이터를 얻는 단계; 상기 부호화된 비디오 데이터 내의 기본 계층 영상 및 하나 이상의 향상 계층 영상을 식별하는 단계; 상기 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고, 상기 FGS-슬라이스들의 상기 하나 이상이 대응하는 영역이 상기 기본 계층 영상의 슬라이스가 대응하는 영역과 상이하고, 복호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상, 상기 하나 이상의 향상 계층 영상을 결합함으로써 상기 부호화된 비디오 데이터를 복호화하는 단계를 포함한다.
상기 하나 이상의 FGS 슬라이스는 H.264/AVC 로 알려진 비디오 부호화 표준 스케일러블 확장에서 특정된 것과 같은 프로그레시브 세분화 슬라이스인 것이 바람직하다.
상기 기본 계층 영상 및 상기 향상 계층 영상은 상기 부호화된 비디오 데이터 내의 동작 정보를 기반으로 하고, 상기 동작 정보는 상기 부호화된 비디오 데이터 내에서 제공되는 것이 바람직하다.
상기 하나 이상의 FGS-슬라이스는 상기 부호화된 비디오 데이터 내의 개개의 영상들의 특정 관심 영역들에 관련 있는 것이 바람직하다.
상기 부호화된 비디오 데이터는 관심 없는 영역을 커버하는 FGS-슬라이스들을 포함하지 않는 것이 바람직하다.
상기 하나 이상의 FGS-슬라이스는 미리 결정된 값에 가까우나 그보다 적은 바이트 단위로된 크기를 갖는 것이 바람직하다.
본 발명의 다른 양상에서 위에서 상술된 부호화를 위한 방법에 따라 동작하는 장치가 제공된다.
본 발명의 다른 양상에서 위에서 상술된 복호화를 위한 방법에 따라 동작하는 장치가 제공된다.
본 발명의 다른 양상에서 위에서 부호화를 위한 방법에 따른 데이터 전송을 지원하는 시스템이 제공된다.
본 발명의 다른 양상에서 위에서 상술된 것과 같이 복호화를 위한 방법에 따른 데이터 전송을 지원하는 시스템이 제공된다.
본 발명은 데이터 전송 시스템을 더 제공하고, 상기 시스템은 비디오 데이터를 스케일러블 부호화하기 위한 방법을 실행하기 위한 하나 이상의 부호화 장치 및 부호화된 비디오 데이터를 스케일러블 복호화화기 위한 방법을 실행하는 복호화 장치를 포함하고, 비디오 데이터를 스케일러블 부호화하기 위한 방법은: 상기 비디오 데이터를 얻는 단계; 상기 얻어진 비디오 데이터를 기반으로 기본 계층 영상을 발생시키는 단계를 포함하며, 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 상기 기본 계층 영상에 대응하는 하나 이상의 향상 계층 영상을 발생시키는 단계를 포함하며, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FSG(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고, 상기 FGS-슬라이스들의 상기 하나 이상이 대응하는 영역이 상기 기본 계층 영상 내의 슬라이스가 대응하는 영역과 상이하고, 부호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 부호화하는 단계를 포함하고, 부호화된 비디오 데이터를 스케일러블 복호화화기 위한 방법은: 상기 부호화된 비디오 데이터를 얻는 단계; 상기 부호화된 비디오 데이터 내의 기본 계층 영상 및 하나 이상의 향상 계층 영상을 식별하는 단계; 상기 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고, 상기 FGS-슬라이스들의 상기 하나 이상이 대응하는 영역이 상기 기본 계층 영상의 슬라이스가 대응하는 영역과 상이하고, 복호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상, 상기 하나 이상의 향상 계층 영상을 결합함으로써 상기 부호화된 비디오 데이터를 복호화하는 단계를 포함한다.
전자 장치에 의해 운영되는 컴퓨터 프로세서가 실행하는 저장된 컴퓨터 프로그램 코드를 구체화하는 컴퓨터 판독 가능 저장 구조를 포함하는 컴퓨터 프로그램 생성물이 제공되고, 상기 컴퓨터 프로그램 코드는 위와 같은 부호화를 위한 방법을 수행하기 위한 명령어들을 포함한다.
전자 장치에 의해 운영되는 컴퓨터 프로세서가 실행하는 저장된 컴퓨터 프로그램 코드를 구체화하는 컴퓨터 판독 가능 저장 구조를 포함하는 컴퓨터 프로그램 생성물을 더 제공되고, 상기 컴퓨터 프로그램 코드는 위와 같은 복호화 방법을 수행하기 위한 명령어들을 포함한다.
반송파 내에 구체화되어 프로세서에 의해 실행될 때 부호화 방법의 동작들을 실행시키는 명령어들을 나타내는 컴퓨터 데이터 신호가 제공된다.
비디오 데이터의 스케일러블 부호화를 위한 모듈이 더 제공되고, 상기 모듈은: 상기 비디오 데이터를 얻기 위한 컴포넌트; 상기 얻어진 비디오 데이터를 기반으로 기본 계층 영상을 발생시키기 위한 컴포넌트; 상기 얻어진 비디오 데이터 및 상기 기본 계층에 따라 하나 이상의 향상 계층 영상을 발생시키기 위한 컴포넌트를 포함하며, 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고; 상기 FGS-슬라이스들의 상기 하나 이상이 대응하는 영역과 상기 기본 계층 영상의 슬라이스가 대응하는 영역이 상이하도록 발생된 상기 하나 이상의 향상 FGS-슬라이스들 중 하나 이상을 정의하기 위한 컴포넌트; 및 부호화된 비디오 데이터가 결과로 생기는 상기 기본 계층 및 상기 하나 이상의 향상 계층들을 부호화하기 위한 컴포넌트를 포함한다.
부호화된 비디오 데이터의 스케일러블 복호화를 위한 모듈이 더 제공되고, 상기 모듈은: 상기 부호화된 비디오 데이터를 얻기 위한 컴포넌트; 상기 부호화된 비디오 데이터 내의 기본 계층 영상 및 하나 이상의 향상 계층 영상을 식별하기 위한 컴포넌트를 포함하며; 상기 기본 계층 영상은 하나 이상의 슬라이스를 포함하고, 상기 슬라이스는 상기 기본 계층 영상 내의 영역에 대응하고; 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고; 상기 FGS-슬라이스들 중 상기 하나 이상이 대응하는 영역과 상기 기본 계층 영상의 슬라이스가 대응하는 영역이 상이하고, 상기 기본 계층, 상기 하나 이상의 향상 계층을 결합함으로서 상기 부호화된 비디오 데이터를 복호화해서 그 결과로 복호화된 비디오 데이터가 생기는 컴포넌트를 포함한다.
반송파 내에 구체화되어 프로세서에 의해 실행될 때 복호화 방법의 동작들을 실행시키는 명령어들을 나타내는 컴퓨터 데이터 신호가 더 제공된다.
FGS 슬라이스(즉, 시작 매크로블록 및 매크로 블록들의 수에 있어서의 크기)에 의해 커버되는 영역이 그 기본 계층 영상과 독립적이라는 의미에서 FGS 슬라이스들의 융통성 있는 부호화 방법을 제공하는 것이 이제 이뤄졌다. 그리고 결과적으로, 각 FGS 평면은 "기본 계층 영상"과 상이한 수의 슬라이스들을 가질 수 있다.
본 발명의 추가의 이점들은 쉽게 이해할 수 있는 본 발명의 개념을 기초로, 본 발명의 실시 예들을 참조하여 상세한 설명을 읽을 때 본 발명의 독자에게 명백해질 것이다.
상세한 설명 및 첨부된 도면들을 통하여 동일하거나 유사한 컴포넌트들, 유닛들, 또는 장치들이 명확성을 위해 동일한 참조 번호들에 의해 나타날 것이다.
첨부된 도면들이 본 발명을 더 이해시키기 위해 포함되고, 본 명세서에 참조 병합되고 그 일부를 구성한다. 도면들은 본 발명의 원리들을 설명하는 설명과 함께 본 발명의 실시 예들을 도시한다.
도 1은 셀룰러 단말 장치를 기반으로 예시적으로 구체화된 휴대용 CE(Consumer electronics) 장치의 예시적인 블록도를 개략적으로 도시하는 도면.
도 2는 본 발명에 따른 부호화 원리의 상세한 설명인 도면.
도 3은 본 발명에 따른 복호화 원리의 상세한 설명인 도면.
도 4는 본 발명에 따른 부호화 측을 보여주는 동작 시퀀스를 도시하는 도면.
도 5는 본 발명에 따른 복호화 측을 보여주는 동작 시퀀스를 도시하는 도면.
도 6은 모든 컴포넌트들을 보여주는 본 발명에 따른 부호화 모듈을 나타내는 도면.
도 7은 모든 컴포넌트들을 보여주는 본 발명에 따른 복호화 모듈을 나타내는 도면.
본 발명이 첨부된 도면들에 따라 실시 예들을 참조하여 위에서 설명되었지만, 본 발명이 이에 제한되지 않고 첨부된 청구항들의 범위 내에서 몇몇 방식들로 변경될 수 있음이 명백하다.
아래의 다양한 실시 예들의 설명에서, 본원의 일부를 형성하는 첨부된 도면들에 대한 참조가 주어질 것이고, 그 첨부된 도면들은 본 발명이 실행될 수 있는 다양한 실시 예들을 설명하는 방식으로 도시된다. 다른 실시 예들이 이용될 수 있고 구조적 및 기능적 변경들이 본 발명의 범위를 벗어남이 없이 행해질 수 있음이 이해되어야 한다. 가능한 경우 도면 및 설명을 통해 동일한 참조 번호는 동일하거나 유사한 부분들을 언급하기 위해 사용된다.
도 1은 본 발명의 실시 예에 따른 일반적인 이동 장치를 도시한다. 도 1에 보이는 이동 장치(10)는 셀룰러 데이터 통신 및 음성 통신을 할 수 있다. 본 발명은 다양한 실시예들 중 하나의 실시예로서 나타나는 이 특정 실시예에 제한되지 않음을 주의해야 한다. 이동 장치(10)는 (메인) 마이크로프로세서 또는 마이크로컨트롤러(100) 뿐만 아니라 이동 장치의 동작을 제어하는 마이크로프로세서와 관련된 컴포넌트들을 포함한다. 이러한 컴포넌트들은 디스플레이 모듈(135)로 연결하는 디스플레이 컨트롤러(130), 비휘발성 메모리(140), 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리(150), 마이크로폰(161), 스피커(162) 및/또는 헤드셋(163)으로 연결하는 오디오 입/출력 (I/O) 인터페이스(160), 키패드(175) 또는 키보드로 연결되는 키패드 컨트롤러(170), 보조 입/출력 (I/O) 인터페이스(200), 및 단거리(short-Range) 통신 인터페이스(180)를 포함한다. 이러한 장치들은 또한 일반적으로 참조 번호 190에서 보여지는 다른 장치 서브시스템들을 포함한다.
이동 장치(10)는 음성 네트워크(voice network)를 통해 통신할 수 있고/또는 이와 유사하게 예를 들어 디지털 셀룰러 네트워크, 특히 GSM(Global System for Mobile communication) 또는 UMTS(Universal Mobile Telecommunications System)의 형태로 된 어떤 공중 육상 이동 네트워크들(PLMN들)과 같은 데이터 네트워크(data network)를 통해 통신할 수 있다. 일반적으로 음성 및/또는 데이터 통신은 셀룰러 네트워크의 인프라스트럭처의 무선 액세스 네트워크(RAN)의 일부인 (도시되지 않은) 기지국(BS) 또는 노드 B에 대한 추가의 컴포넌트들과 공동으로 즉 셀룰러 통신 인터페이스 서브시스템인, 무선 인터페이스를 통해 동작된다. 도 1을 참조하여 예 로서 도시된 것처럼 셀룰러 통신 인터페이스 서브시스템은 셀룰러 인터페이스(110), 디지털 신호 프로세서(DSP)(120), 수신기 (RX) (121), 송신기(TX)(122) 그리고 하나 이상의 국부발진기들(LO들)(123)을 포함하며 하나 이상의 공중 육상 이동 네트워크들(PLMN들)과 통신이 가능하도록 한다. 디지털 신호 프로세서(DSP)(120)는 통신 신호(124)를 송신기(TX)로 송신하고 통신 신호(125)를 수신기(RX)(121)로부터 수신한다. 통신 신호를 처리하는 것 외에도, 디지털 신호 프로세서(120)는 송신기에게 제어 신호들(127)과 수신기에게 제어 신호(126)를 제공한다. 예를 들어 각각의 전송 신호들과 수신 신호들의 변조 및 복조 외에, 수신기(RX)(121)와 송신기(TX)(122)의 통신 신호에 적용되는 이득 레벨(gain level)이 디지털 신호 프로세서(DSP)(120)에서 구현되는 자동 이득 제어 알고리즘들을 통해 적절히 제어될 수 있다. 다른 송수신기 제어 알고리즘들이 또한 송수신기(122)를 좀 더 정교하게 제어하기 위해 디지털 신호 프로세서 (DSP)(120)에서 구현될 수 있다. PLMN을 통한 이동 장치(10)의 통신이 단일 신호 주파수 또는 가까운 주파수들 사이에서 생길 경우 단일 국부 발진기(LO)(123)가 송신기(TX)(122) 및 수신기(RX)(121)와 함께 사용될 수 있다. 대안으로, 만약 서로 다른 주파수들이 음성/데이터 통신들 또는 전송 대 송신에 활용된다면, 복수의 국부 발진기들(128)이 복수의 대응하는 통신 주파수들을 발생시키기 위해 사용될 수 있다. 비록 도 1에 도시된 안테나(129)가 (도시되지 않은) 다이버시티(diversity) 안테나 시스템이 될 수도 있지만, 이동 장치(10)는 신호 수신과 송신을 위해 도 1에 도시된 것처럼 단일 안테나 구조를 사용할 수도 있다. 음성 및 데이터 정보를 모두 포함하는 정보는 인터페이스(110)와 디지털 신호 프로세서 (DSP)(120) 사이의 데이터 링크를 통하는 셀룰러 인터페이스(110)로 오고 가며 통신이 이루어진다. 주파수 대역, 컴포넌트 선택, 전원 레벨 등과 같은 셀룰러 인터페이스(110)의 세부 설계는 이동 장치(10)가 동작시키고자 하는 무선 네트워크에 따라 좌우될 것이다.
셀룰러 네트워크들로의 등록이 필요한 가입자 인증 모듈(Subscriber Identity Module, SIM)(210)을 포함할 수 있는, 어떤 필수 네트워크 등록 또는 활성화 절차들이 완성된 후에, 이동 장치(10)는 음성 및 데이터 신호들을 모두 포함하는 통신 신호들을 무선 네트워크를 통해 송신 및 수신할 수 있다. 무선 네트워크로부터 안테나(129)에 의해 수신된 신호들은 신호 증폭, 주파수 하향 변환, 필터링, 채널 선택, 아날로그/디지털 변환과 같은 동작들을 제공하는 수신기(121)로 라우팅된다. 수신 신호의 아날로그/디지털 변환은 디지털 신호 프로세서 (DSP)(120)를 이용해 이뤄지는 디지털 복조(digital demodulation)와 복호화(decoding)와 같은 좀 더 복잡한 통신 기능을 수행하도록 한다. 유사한 방식으로, 네트워크로 전송되는 신호들은 예를 들면 디지털 신호 프로세서 (DSP)(120)에 의해 변조와 부호화(encoding)를 포함하며 처리되고, 디지털/아날로그 변환, 주파수 상향 변환, 필터링, 증폭하여 안테나(129)를 통해 무선 네트워크로 전송하도록 송신기(122)로 전송된다.
장치 플랫폼 마이크로프로세서로 또한 지정될 수 있는 마이크로프로세서/마이크로컨트롤러(μC)(100)는 이동 장치(10)의 기능들을 관리한다. 프로세서(110)에 의해 사용되는 운영 시스템 소프트웨어(149)는 바람직하게는 예를 들어 플래시 메 모리, 배터리 백업 RAM, 그 외 다른 비휘발성 저장 기술이나 그런 것들의 임의 조합으로서 구현될 수 있는 비휘발성 메모리(140)와 같은 영구 저장소에 저장된다. 비휘발성 메모리(140)는 낮은 레벨의 기능들과 이동 장치(10)의 (그래픽) 기본 사용자 인터페이스 기능들을 제어하는 운영 시스템(149) 외에도 음성 통화 소프트웨어 애플리케이션(142), 데이터 통신 소프트웨어 애플리케이션(141), (도시되지 않은) 오거나이저(organizer) 모듈, 또는 (도시되지 않은) 어떤 다른 유형의 소프트웨어 모듈과 같은 복수의 높은-레벨 소프트웨어 애플리케이션 프로그램들이나 모듈들을 포함한다. 이런 모듈들은 프로세서(100)에 의해 실행되고 이동 장치(10)의 사용자와 이동 장치(10) 간에 높은 레벨 인터페이스를 제공한다. 일반적으로 이러한 인터페이스는 디스플레이 컨트롤러(130)에 의해 제어되는 디스플레이(135)를 통해 제공되는 그래픽 컴포넌트를 포함하고 입/출력 컴포넌트들은 키패드 컨트롤러(170)를 통해 프로세서(100), 보조 입/출력 (I/O) 인터페이스(200) 및/또는 단거리 (SR) 통신 인터페이스(180)로 연결되는 키패드(175)를 통해 제공된다. 보조 입/출력 (I/O) 인터페이스(200)가 특히 USB (범용 직렬 버스) 인터페이스, 직렬(serial) 인터페이스, MMC (멀티미디어 카드) 인터페이스를 포함하며 인터페이스 기술들/표준들, 어떤 다른 표준화된 또는 독점적인(proprietary) 데이터 통신 버스 기술과 관련되어 있는 반면, 단거리 통신 인터페이스 무선 주파수(RF) 저전력 인터페이스는 특히 WLAN (무선랜)과 블루투스 통신 기술 또는 IRDA (적외선 데이터 액세스) 인터페이스를 포함한다. 본원에 나타난 RF 저전력 인터페이스 기술은 어떤 IEEE 801.xx 표준 기술이라도 포함하는 것으로 이해되어야 하고, 이 IEEE의 801.xx 표준 기술의 상세 설명은 IEEE로부터 입수 가능하다. 게다가 보조 I/O 인터페이스(200)와 단거리 통신 인터페이스(180)는 하나 이상의 입/출력 인터페이스 기술들과 통신 인터페이스 기술들을 각각 지원하는 하나 이상의 인터페이스들을 각각 나타낼 수 있다.
운영 시스템, 특정 장치 소프트웨어 애플리케이션들 또는 모듈들, 또는 그것들의 일부들이 더 빠른 동작을 위해 일시적으로 랜덤 액세스 메모리(일반적으로 DRAM(direct random access memory)의 기반으로 구현됨) 기술과 같은 휘발성 저장소(150)에 올려질 수 있다. 데이터를 저장하기 위해 보조 I/O 인터페이스를 경유해서 분리가능하게 연결된 비휘발성 메모리(140)나 어떤 대용량 저장소에 위치한 파일 시스템에 영구적으로 쓰기 전에, 수신된 통신 신호들은 또한 일시적으로 휘발성 메모리(150)에 저장될 수 있다. 위에 설명된 컴포넌트들은 셀룰러 폰의 형태로 본원에 구체화된 전통적인 이동 장치(10)의 일반적인 컴포넌트들을 나타냄이 이해되어야 한다. 본 발명은 단지 예를 들고 완벽을 기하기 위해 도시된 이런 특정 컴포넌트들과 그 구현에 제한되지 않는다.
이동 장치(10)의 예시적인 소프트웨어 애플리케이션 모듈은 PDA(Personal Digital Assistant)에 일반적으로 접속 관리자(contact manager), 캘린더, 작업 관리자(task manager) 등을 포함하는 기능을 제공하는 개인 정보 관리자 애플리케이션이다. 프로세서(100)에 의해 실행되는 이러한 개인 정보 관리자는 이동 장치(10)의 컴포넌트들에 액세스할 수 있으며 다른 소프트웨어 애플리케이션 모듈들과 상호 작용을 할 수 있다. 예를 들면, 음성 통신 소프트웨어 애플리케이션과의 상호 작용은 전화 호출들(phone calls), 음성 메일 등을 관리하도록 하며, 데이터 통신 소프 트웨어 애플리케이션과의 상호 작용은 SMS(soft message service), MMS(multimedia service), 이메일 통신들, 그 외 데이터 전송들을 가능하도록 한다. 비휘발성 메모리(140)는 바람직하게는 파일 시스템으로 하여금 장치에 캘린더 엔트리들, 컨택들 등을 포함하는 데이터 아이템들의 영구적 저장을 용이하게 한다. 예를 들어, 셀룰러 인터페이스, 단거리 통신 인터페이스, 보조 I/O 인터페이스를 통해 네트워크들과 데이터 통신하는 능력은 이런 네트워크들을 통해 업로드, 다운로드, 동기화를 가능하게 한다.
애플리케이션 모듈(141 내지 149)은 프로세서(100)에 의해 실행되도록 구성된 장치들 기능 또는 소프트웨어 애플리케이션들을 나타낸다. 주지된 이동 장치들에서 단일 프로세서는 이동 장치의 전반적인 동작과 모든 장치 기능들, 소프트웨어 애플리케이션들을 관리하고 제어한다. 이런 개념은 오늘날의 이동 장치들에 적용가능하다. 특히 증강된 멀티미디어 기능들의 구현은 예를 들어 비디오 스트리밍 애플리케이션들의 재생, 집적되어 있거나 분리가능하게 연결된 디지털 카메라 기능에 의해 캡쳐된 디지털 이미지, 및 비디오 시퀀스들의 조작을 포함할 뿐만 아니라 복잡한 그래픽을 제공하는 게임 애플리케이션들은 연산 능력(computational power)이 요구되게 한다. 과거에 추구되었던 연산 능력에 대한 요구를 처리하는 한 가지 방법은 강력하고 보편적인 프로세서 코어(core)들을 구현함으로서 연산 능력을 증가시키는 것에 관한 문제를 해결하는 것이다. 연산 능력을 제공하기 위한 다른 하나의 접근 방법은 둘 이상의 독립적인 프로세서 코어들을 실행시키는 것이고, 이것은 당업계에 잘 알려진 방법론이다. 당업자는 독립적인 프로세서 코어들의 몇몇 이점 들을 즉각적으로 알 수 있다. 범용 프로세서가 별개의(distinct) 작업들을 미리 선택하는 특성화되지 않고 다양한 다른 작업들을 수행하도록 설계되어 있는 반면에, 멀티 프로세서 배열은 미리 정해진 작업 세트를 처리하기 위해 하나 이상의 범용 프로세서들과 하나 이상의 특화된 프로세서들을 포함할 수 있다. 그럼에도 불구하고, 하나의 장치, 즉 이동 장치(10)와 같은 하나의 이동 장치 내에서 몇몇 프로세서들을 구현하는 것은 전통적으로 컴포넌트들의 완전하고 복잡한 재설계를 요구한다.
다음에서는 본 발명은 기존 프로세싱 장치 구현에 추가적인 프로세서 코어들의 간단한 집적을 허용해서 값비싼 완전하고 복잡한 재설계를 생략하는 것을 가능하게 하는 개념을 제공할 것이다. 본 발명의 개념은 시스템온칩 (System on Chip, SoC) 설계를 참조하여 설명될 것이다. 시스템온칩 (SoC)은 처리 장치의 적어도 다수의(또는 모든) 컴포넌트들을 단일 고집적 칩으로 집적하는 개념이다. 이러한 시스템온칩(SoC)은 디지털, 아날로그, 혼합 신호(mixed-signal), 및 종종 무선 주파수 기능들을 하나의 칩 위에 모두 포함할 수 있다. 일반적인 처리 장치는 서로 다른 작업들을 수행하는 여러 집적 회로들로 구성된다. 이러한 집적 회로들은 특히 마이크로프로세서, 메모리, 범용 비동기화 송수신기들(UART들), 직/병렬 포트들, 직접 기억장치 액세스(DMA - direct memory access) 컨트롤러 및 그 외 장치들을 포함한다. 범용 비동기화 송수신기(UART)는 데이터의 병렬 비트들와 직렬 비트들 간에 변환을 한다. 최근 반도체 기술에서의 진보는 초고밀도 집적회로 (very-largy-scale integration, VLSI)가 단일 칩 내에 있는 한 시스템의 다양한 컴포넌 트들을 집적할 수 있도록 하여 복잡도에서의 상당한 성장을 이뤄낼 수 있도록 하였다. 도 1을 참조하면, 그 시스템의 하나 이상의 컴포넌트들, 예를 들어 컨트롤러(130, 160), 메모리 컴포넌트(150, 140,) 하나 이상의 인터페이스(200, 180,110)가 하나의 칩 안에 프로세서(100)와 함께 집적되면서 결국 시스템온칩(SoC)을 이루고 있다.
그 외에, 상기 장치(10)는 본 발명의 발명 동작에 따라 비디오 데이터의 스케일러블(scalable) 부호화(105) 및 복호화(106) 모듈을 갖추고 있다. CPU(100)에 의하여, 상기 모듈들(105, 106)은 독립적으로 사용될 수 있다. 그러나 상기 장치(10)는 비디오 데이터 부호화 또는 복호화를 각각 수행하도록 변경되었다. 상기 비디오 데이터는 장치의 통신 모듈들에 의해 수신될 수 있거나, 장치(10) 내부에 온갖 저장 수단 내에 저장될 수도 있다.
도 2를 참조하면, 본 발명에 따른 FGS 부호화 이론의 상세한 설명이 도시되어 있다. 원래의, 원본(raw) 비디오 데이터는 동작 추정(motion estimation)에 사용되고 또한 기본 계층(base layer) EL과 대응하는 향상 계층(enhancement layer)들 EL을 부호화하는 데에도 사용된다. 이론적으로 각각의 EL은 부호화된 FGS 정보를 포함하고 있고, 이 부호화된 FGS 정보는 예를 들어, 디코더 측에서 좀 더 나은 영상(picture) 향상을 가능케 한다. 모든 부호화 동작들을 처리한 후에, 만약 필요하다면, BL 데이터 스트림과 추가적인 FGS 정보를 가지고 있는 한 개 이상의 EL 데이터 스트림이 제공된다. 본 발명의 발명 단계에 따라, FGS 정보는 각각의 FGS 슬라이스(slice)가 기본 계층 영상에 대응하는 슬라이스가 커버하는 영역과 상이한 영역을 커버할 수 있는 방식으로 유리하게 부호화된다. 그래서 기본 계층 영상의 슬라이스 세트가 정확히 커버하지 않은 특정 영역을 위해 EL의 FGS 정보를 기반으로 화질을 향상시키는 것이 가능하며, 그 결과 더 나은 품질로 관심 영역을 커버하는 FGS 슬라이스들을 부호화하거나 관심 영역을 커버하는 FSG 슬라이스들만을 부호화함으로써, 관심 영역의 ROI 이미지를 향상시킬 수 있다. 선택적으로, 동작 추정 ME로부터 생겨난 동작 벡터들 MV는 더 처리되거나 수신기로 송신될 수 있다.
도 3은 본 발명에 따른 FGS 복호화 이론을 나타낸다. BL 및 EL 스트림을 수신한 후에 FGS 디코더는 상기 스케일러블 부호화 비디오 데이터에 알맞은 복호화를 제공할 것이다. EL의 모션 벡터들 MV와 FGS 슬라이스들에 의해 디코더는 기본 계층의 영상의 어떤 부분이 FGS 정보에 따라 향상될 것인지 결정할 것이다. 그 결과 스케일러블 복호화 기술이 가능해지고, 디코더는 어떤 영상 영역이 EL의 FGS 정보를 이용할지 결정할 수 있다. 이 실시 예에서 하나의 EL만이 서술되고 이에 대응하여 복호화되지만 디코더가 다수의 EL들을 처리하는 것도 가능할 수 있다.
도 4는 본 발명에 따른 일반적인 FGS 부호화 방법을 설명하는 동작 과정을 보여준다. 동작 S400에서 동작 과정이 시작될 수 있다. 동작 S410를 참조하여 도시되어 있듯이, 이것은 부호화 모듈이 예를 들어 카메라로부터 원본(raw) 비디오 데이터 스트림을 얻을 때의 시간에 대응할 수 있다. 본 발명의 현재 동작 단계에 따르는 다음 동작들은 대응하는 FGS 정보를 사용함으로써 스케일러블 비디오 부호화를 제공할 것이다. 동작 S420 및 동작 S430은 각각 기본 계층 BL로부터의 발생 또는 생성, 그리고 필요하다면 하나 이상의 향상 계층들 EL의 발생 또는 생성을 표시 한다. 동작 S440에서, 각각의 EL FGS 정보가 정의될 것이므로 상기 정보는 기본 계층 영상의 특정 부분들에 대응하는 FGS-슬라이스들내에서 구체화된다. 동작 S440를 참조하여 도시되는 바와 같이, FGS-정보를 포함한 모든 관련 FGS-슬라이스들이 정의된 후에, 인코더가 기본 계층 영상의 어떤 부분이 ROI를 나타낼지 결정해서 슬라이스들 내의 FGS-정보는 오직 이 영상 파트를 위해서만 사용될 것이다. 본 발명 범위 내에서 다른 구현들도 또한 가능할 수 있다.
만약 더 이상의 처리가 필요 없다면 동작 시퀀스는 동작 S490에서 끝나게 되고, 새로운 반복이 재 시작될 수 있다.
도 5는 본 발명에 따른 FGS 복호화 방법의 동작 시퀀스이다. 동작 시퀀스는 동작 S500를 참조하여 도시되는 것과 같이 시작할 것이다. 다음, 얻는 동작(obtaining operation) S510은 예를 들어 FGS 정보를 포함하는 스케일러블 부호화된 데이터 스트림의 수신에 대응하여 제공된다. 동작 S520에서 상기 수신되고 부호화된 데이터 스트림을 기반으로 디코더는 모든 필요 정보(: 즉 FGS-슬라이스들에서 구체화 된 BL, EL, 및 FGS 정보)를 얻을 것이다.
수신된 FGS-슬라이스들, 기본 계층, 향상 계층들에 근거하여 디코더는 동작 S530에서 원래의 시퀀스를 복구하도록 구성된다. 본 발명의 발명 단계에 따라 수신된 FGS-정보는 기본 계층 영상 내의 특정 관심 영역을 위해 사용될 수 있다.
더 이상의 처리가 필요하지 않으면 동작 시퀀스는 동작 S590에서 끝나고 새로운 반복에 의해 다시 시작될 수 있다.
도 6과 도 7을 참조하여 본 발명에 따른 부호화 및 복호화 모듈이 묘사되어 있다. 상기 모듈들은 소프트웨어, 하드웨어 등의 형태로, 단독 또는 임의 조합으로 구현될 수 있다.
도 6은 비디오 데이터의 스케일러블 부호화를 위한 모듈(105)을 도시한다. 상기 모듈(105)은: 상기 비디오 데이터를 얻기 위한 컴포넌트(600), 상기 얻어진 비디오 데이터를 기반으로 기본 계층을 발생시키기 위한 컴포넌트(610), 상기 비디 오 데이터 및 상기 기본 계층에 따라 하나 이상의 대응하는 스케일러블 향상 계층을 발생시키기 위한 컴포넌트(620)를 포함하며, 상기 하나 이상의 향상 계층은 하나 이상의 향상 FGS-슬라이스들을 기반으로 한 FGS(fine granularity scalability) 정보를 포함하고, 상기 FGS-슬라이스들은 상기 기본 계층 내의 특정 영역들을 설명하고; 상기 하나 이상의 발생된 향상 FGS-슬라이스들이 기본 계층 영상 내의 대응하는 슬라이스에 의해 커버되는 영역과 상이한 영역을 커버하는 방식으로 발생된 상기 하나 이상의 향상 FGS-슬라이스들 중 하나 이상을 정의하기 위한 컴포넌트(630);및 부호화된 비디오 데이터가 결과로 생기는 상기 기본 계층 및 상기 하나 이상의 향상 계층들을 부호화하기 위한 컴포넌트(640)를 포함한다.
도 7은 부호화된 비디오 데이터의 스케일러블 복호화를 위한 모듈(106)을 도시하고, 상기 모듈은: 상기 부호화된 비디오 데이터를 얻기 위한 컴포넌트(700), 상기 부호화된 비디오 데이터 내의 기본 계층 및 복수의 향상 계층들을 식별하기 위한 컴포넌트(710), 상기 복수의 향상 계층들 내의 상기 기본 계층에 관련된 FGS(fine granularity scalability) 정보를 결정하기 위한 컴포넌트(720)를 포함하며, 상기 FGS-정보는 상기 기본 계층 내의 특정 영역들을 설명하는 하나 이상의 FGS 슬라이스를 포함하고 상기 FGS 슬라이스들 중 하나 이상은 상기 기본 계층 영상에서 대응하는 슬라이스에 의해 커버되는 영역과 상이한 영역을 커버하고, 상기 기본 계층, 상기 복수의 향상 계층들, 및 상기 FGS-정보를 결합함으로서 상기 부호화된 비디오 데이터를 복호화해서 그 결과로 복호화된 비디오 데이터가 생기는 컴포넌트(730)를 포함한다.
비록 발명이 첨부된 도면들에 따른 실시 예들을 참조하여 위에서 설명되었지만, 본 발명이 이에 제한되지 않고 첨부된 청구항들의 범위 내에서 다수의 방식으로 변경될 수 있음이 명백하다.
Claims (23)
- 비디오 데이터를 스케일러블 부호화하기 위한 방법으로서, 상기 방법은:- 상기 비디오 데이터를 기반으로 기본 계층 영상을 발생시키는 단계를 포함하며, 기본 계층 영상은 상기 기본 계층 영상 내의 영역에 대응하는 하나 이상의 슬라이스를 포함하고; 그리고- 상기 기본 계층 영상에 대응하는 하나 이상의 향상 계층 영상을 발생시키는 단계를 포함하며, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FSG(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고,상기 하나 이상의 FGS-슬라이스가 대응하는 영역이 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 독립적이고(independent),- 부호화된 비디오 데이터가 결과로서 생기는 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 부호화하는 단계를 포함하는,비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서,상기 하나 이상의 FGS 슬라이스가 대응하는 영역은 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 상이한, 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서, 상기 하나 이상의 FGS 슬라이스는 비디오 부호화 표준인 H.264/AVC 스케일러블 확장에서 특정된 것과 같은 프로그레시브 세분화 슬라이스인, 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서, 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 발생시키는 상기 단계는, 상기 비디오 데이터 내의 동작 정보를 기반으로 하고, 상기 동작 정보는 동작 추정 프로세스에 의해 제공되는, 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서, 상기 하나 이상의 FGS-슬라이스는 영상에서 관심 영역(region of interest, ROI)에 대응하는 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서, 상기 기본 계층 영상 내의 슬라이스들의 수와 향상 계층 영상 내의 FGS 슬라이스들의 수가 서로 다른 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 제1항에 있어서, 상기 하나 이상의 FGS-슬라이스는 미리 결정된 값에 따른 바이트 단위로 된 크기를 갖도록 부호화된 비디오 데이터를 스케일러블 부호화하기 위한 방법.
- 부호화된 비디오 데이터를 스케일러블 복호화하기 위한 방법으로서, 상기 방법은:- 상기 부호화된 비디오 데이터 내의 기본 계층 영상 및 하나 이상의 향상 계층 영상을 식별하는 단계 [상기 기본 계층 영상은 상기 기본 계층 영상 내의 영역에 대응하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고,상기 하나 이상의 FGS-슬라이스가 대응하는 영역이 상기 기본 계층 영상 내의 하나 이상의 슬라이스가 대응하는 영역과 독립적임(independent)]; 및- 복호화된 비디오 데이터가 결과로서 생기게, 상기 기본 계층 영상 및 상기 하나 이상의 향상 계층 영상을 결합함으로써 상기 부호화된 비디오 데이터를 복호화하는 단계를 포함하는,부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 제8항에 있어서,상기 하나 이상의 FGS 슬라이스가 대응하는 영역은 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 상이한, 부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 제8항에 있어서, 상기 하나 이상의 FGS 슬라이스는 H.264/AVC로 알려진 비디오 부호화 표준 스케일러블 확장에서 특정된 것과 같은 프로그레시브 세분화 슬라이스인 부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 제8항에 있어서, 상기 기본 계층 영상 및 상기 향상 계층 영상은 상기 부호화된 비디오 데이터 내의 동작 정보를 기반으로 하고, 상기 동작 정보는 상기 부호화된 비디오 데이터 내에서 제공되는, 부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 제8항에 있어서, 상기 하나 이상의 FGS-슬라이스는 영상에서 특정 관심 영역들에 관련 있는, 부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 제8항에 있어서, 상기 하나 이상의 FGS-슬라이스는 미리 결정된 값에 가까우나 그보다 적은 바이트 단위로된 크기를 갖는, 부호화된 비디오 데이터를 스케일러블 복호화하는 방법.
- 전자 장치에 의해 운영되는 컴퓨터 프로세서에 의해 실행되는 컴퓨터 프로그램 코드가 포함된 컴퓨터로 읽을 수 있는 저장 매체로서, 상기 컴퓨터 프로그램 코드는 제1항 또는 제2항에 따른 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터로 읽을 수 있는 저장 매체.
- 전자 장치에 의해 운영되는 컴퓨터 프로세서에 의해 실행되는 컴퓨터 프로그램 코드가 포함된 컴퓨터로 읽을 수 있는 저장 매체로서, 상기 컴퓨터 프로그램 코드는 제8항 또는 제9항에 따른 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터로 읽을 수 있는 저장 매체.
- 비디오 데이터의 스케일러블 부호화를 위한 장치(105)로서, 상기 장치(105)는:상기 비디오 데이터를 기반으로 기본 계층 영상을 발생시키기 위한 수단(610) [기본 계층 영상은 상기 기본 계층 영상 내의 영역에 대응하는 하나 이상의 슬라이스를 포함];상기 비디오 데이터 및 상기 기본 계층에 따라 하나 이상의 향상 계층 영상을 발생시키기 위한 수단(620) [상기 하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하며, 이때 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응함];상기 하나 이상의 FGS-슬라이스가 대응하는 영역과 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역이 독립적이 되도록 상기 하나 이상의 향상 FGS-슬라이스를 정의하기 위한 수단(630); 및부호화된 비디오 데이터가 결과로 생기는 상기 기본 계층 및 상기 하나 이상의 향상 계층을 부호화하기 위한 수단(640)을 포함하는,비디오 데이터의 스케일러블 부호화를 위한 장치(105).
- 제16항에 있어서,상기 하나 이상의 FGS 슬라이스가 대응하는 영역은 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 상이한, 비디오 데이터의 스케일러블 부호화를 위한 장치(105).
- 부호화된 비디오 데이터의 스케일러블 복호화를 위한 장치(106)로서, 상기 장치:상기 부호화된 비디오 데이터 내의 기본 계층 영상 및 하나 이상의 향상 계층 영상을 식별하기 위한 수단(710) [상기 기본 계층 영상은 상기 기본 계층 영상 내의 영역에 대응하는 하나 이상의 슬라이스를 포함하고,하나 이상의 향상 계층 영상은 상기 기본 계층 영상에 대응하고, 상기 하나 이상의 향상 계층 영상은 하나 이상의 FGS(fine granularity scalability) 슬라이스를 포함하고, 상기 하나 이상의 FGS-슬라이스는 상기 향상 계층 영상 내의 영역에 대응하고,상기 하나 이상의 FGS-슬라이스가 대응하는 영역이 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 독립적임]; 및상기 기본 계층 및 상기 하나 이상의 향상 계층을 결합함으로써 상기 부호화된 비디오 데이터를 복호화해서 그 결과로 복호화된 비디오 데이터가 생기게하는 복호화수단(730)을 포함하는,부호화된 비디오 데이터의 스케일러블 복호화를 위한 장치(106).
- 제18항에 있어서,상기 하나 이상의 FGS 슬라이스가 대응하는 영역은 상기 기본 계층 영상 내의 상기 하나 이상의 슬라이스가 대응하는 영역과 상이한, 부호화된 비디오 데이터의 스케일러블 복호화를 위한 장치(106).
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US67115505P | 2005-04-13 | 2005-04-13 | |
| US60/671,155 | 2005-04-13 | ||
| PCT/IB2006/000631 WO2006109116A1 (en) | 2005-04-13 | 2006-03-22 | Method, device and system for effective fine granularity scalability (fgs) coding and decoding of video data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080006595A KR20080006595A (ko) | 2008-01-16 |
| KR100931871B1 true KR100931871B1 (ko) | 2009-12-15 |
Family
ID=37086631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020077025990A KR100931871B1 (ko) | 2005-04-13 | 2006-03-22 | 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20090279602A1 (ko) |
| EP (1) | EP1908289A4 (ko) |
| KR (1) | KR100931871B1 (ko) |
| CN (1) | CN101180884B (ko) |
| TW (1) | TW200707326A (ko) |
| WO (1) | WO2006109116A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060256863A1 (en) * | 2005-04-13 | 2006-11-16 | Nokia Corporation | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data |
| US8184153B2 (en) * | 2005-09-26 | 2012-05-22 | Electronics And Telecommunications Research Institute | Method and apparatus for defining and reconstructing ROIs in scalable video coding |
| KR101255226B1 (ko) | 2005-09-26 | 2013-04-16 | 한국과학기술원 | 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법 |
| CN101998141B (zh) * | 2008-06-19 | 2013-06-05 | 华为技术有限公司 | 视频数据的打包、编解码方法及装置及系统 |
| KR101037868B1 (ko) * | 2008-08-11 | 2011-05-31 | 주식회사 케이티 | 듀얼 모드 비디오 인코더와 이를 이용한 인코딩 장치, 인코딩 방법 및 이를 수록한 저장매체 |
| JP4962525B2 (ja) * | 2009-04-08 | 2012-06-27 | ソニー株式会社 | 再生装置、再生方法、およびプログラム |
| US8483333B2 (en) * | 2010-05-06 | 2013-07-09 | Mediatek Inc. | Methods for adjusting system clock in terms of operational status of non-baseband module, methods for peripheral device control adjustment, and electronic devices using the same |
| CN101895748B (zh) * | 2010-06-21 | 2014-03-26 | 华为终端有限公司 | 一种编解码方法以及编解码装置 |
| WO2014088446A1 (en) * | 2012-12-05 | 2014-06-12 | Intel Corporation | Recovering motion vectors from lost spatial scalability layers |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020126759A1 (en) | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| US20030103571A1 (en) | 2001-12-05 | 2003-06-05 | Koninklijke Philips Electronics N.V. | Combined MPEG-4 FGS and modulation algorithm for wireless video transmission |
| US20040042549A1 (en) | 2002-08-27 | 2004-03-04 | Hsiang-Chun Huang | Architecture and method for fine granularity scalable video coding |
| US20050185714A1 (en) | 2004-02-24 | 2005-08-25 | Chia-Wen Lin | Method and apparatus for MPEG-4 FGS performance enhancement |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
| US7068717B2 (en) * | 2000-07-12 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images |
| US6792044B2 (en) * | 2001-05-16 | 2004-09-14 | Koninklijke Philips Electronics N.V. | Method of and system for activity-based frequency weighting for FGS enhancement layers |
| KR20040058304A (ko) * | 2001-11-21 | 2004-07-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 개선된 비트 평면 압축 방법 |
| KR20040091682A (ko) * | 2002-03-05 | 2004-10-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 계층적 비디오 인코딩을 위한 방법 및 시스템 |
| JP2005260912A (ja) * | 2004-02-10 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 映像通信装置および映像通信方法 |
| US20060256863A1 (en) * | 2005-04-13 | 2006-11-16 | Nokia Corporation | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data |
-
2006
- 2006-03-22 EP EP06727344A patent/EP1908289A4/en not_active Withdrawn
- 2006-03-22 US US11/918,370 patent/US20090279602A1/en not_active Abandoned
- 2006-03-22 CN CN2006800180489A patent/CN101180884B/zh not_active Expired - Fee Related
- 2006-03-22 WO PCT/IB2006/000631 patent/WO2006109116A1/en active Application Filing
- 2006-03-22 KR KR1020077025990A patent/KR100931871B1/ko not_active IP Right Cessation
- 2006-03-29 TW TW095110982A patent/TW200707326A/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020126759A1 (en) | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| US20030103571A1 (en) | 2001-12-05 | 2003-06-05 | Koninklijke Philips Electronics N.V. | Combined MPEG-4 FGS and modulation algorithm for wireless video transmission |
| US20040042549A1 (en) | 2002-08-27 | 2004-03-04 | Hsiang-Chun Huang | Architecture and method for fine granularity scalable video coding |
| US20050185714A1 (en) | 2004-02-24 | 2005-08-25 | Chia-Wen Lin | Method and apparatus for MPEG-4 FGS performance enhancement |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101180884A (zh) | 2008-05-14 |
| TW200707326A (en) | 2007-02-16 |
| US20090279602A1 (en) | 2009-11-12 |
| KR20080006595A (ko) | 2008-01-16 |
| EP1908289A1 (en) | 2008-04-09 |
| EP1908289A4 (en) | 2011-01-26 |
| WO2006109116A1 (en) | 2006-10-19 |
| CN101180884B (zh) | 2010-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100931870B1 (ko) | 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템 | |
| KR100931871B1 (ko) | 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템 | |
| US20060256863A1 (en) | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data | |
| US20080240242A1 (en) | Method and system for motion vector predictions | |
| US20070201551A1 (en) | System and apparatus for low-complexity fine granularity scalable video coding with motion compensation | |
| KR100931912B1 (ko) | 스케일러블 비디오 코딩에서 ｆｇｓ 식별 | |
| US9307122B2 (en) | Method, apparatus, and computer program product for providing motion estimation for video encoding | |
| US20070110159A1 (en) | Method and apparatus for sub-pixel interpolation for updating operation in video coding | |
| KR20080006607A (ko) | 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템 | |
| WO2007000657A1 (en) | Method and apparatus for update step in video coding using motion compensated temporal filtering | |
| KR20080089632A (ko) | 미세 입자 스케일러빌러티 비디오 코딩에서 엔트로피 코딩방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |