KR20080006606A

KR20080006606A - 이미지 또는 비디오 인코딩의 적응적 보간법

Info

Publication number: KR20080006606A
Application number: KR1020077026262A
Authority: KR
Inventors: 페터 아몬
Original assignee: 지멘스 악티엔게젤샤프트
Priority date: 2005-04-12
Filing date: 2006-03-30
Publication date: 2008-01-16
Also published as: CN101194514B; EP1869889A1; JP5404715B2; US20090232212A1; JP2012010388A; US8270489B2; DE102005016827A1; JP5069218B2; JP2008536417A; CN101194514A; KR101303222B1; WO2006108765A1

Abstract

본 발명은 데이터(VIDEO)를 처리 및 전송하기 위한 방법에 관한 것으로, 전송기의 이미지에 대한 이미지 데이터가 제1 분해능 레벨(QCIF, CIF) 및 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)에 제공된다. 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 결정(PREDICT)하기 위하여, 하나 이상의 보간법 파라미터가 고정된다. 제1 분해능 레벨(QCIF, CIF) 및 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터의 적어도 일부가 전송되고, 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터의 전송이 상기 하나 이상의 고정된 보간법 파라미터에 의해 좌우된다. 또한, 상기 하나 이상의 고정된 보간법 파라미터의 정의가 전송된다. 본 발명은 또한 상응하는 수신기 방법과 상기 방법을 실행하기 위한 전송기(ENCODER) 및 수신기(DECODER)에 관한 것이다.

Description

이미지 또는 비디오 인코딩의 적응적 보간법 {ADAPTIVE INTERPOLATION IN IMAGE OR VIDEO ENCODING}

본 발명은 데이터를 수신하고 처리하기 위한 방법뿐만 아니라 데이터를 처리하고 전송하기 위한 방법에 관한 것이다. 또한, 본 발명은 상기 방법을 구현하기 위한 전송기 및 수신기에 관한 것이다.

통신 시스템들에서는, 메시지들이 전송기 및 수신기 사이에서 전송된다. 통신 시스템들에 대한 특별한 예시는 무선 통신 시스템들이다. 여기에서, 예를 들어 음성 정보, 이미지 정보, 비디오 정보, SMS(Short Message Service), MMS(Multimedia Messaging Service) 또는 다른 데이터를 포함하는 메시지들은 전자기파에 의해 무선 인터페이스를 통해 전송기 및 수신기 사이에서 전송된다. 이 경우, 무선국들은 무선 통신 시스템의 구체적 구성에 따라 상이한 타입들의 가입자 측 무선국들, 기지국들이나 무선 액세스 포인트들과 같은 네트워크 측 무선 장비들 또는 리피터들일 수 있다. 이동 무선 통신 시스템에서는, 가입자 측 무선국들 중에서 적어도 일부가 이동 무선국들이다. 전자기파는 각각의 시스템을 위해 제공된 주파수 대역의 반송파 주파수에서 방출된다.

이동 무선 통신 시스템들은 예를 들면 GSM(Global System for Mobile Communication) 표준 또는 UMTS(Universal Mobile Telecommunications System)에 따라 종종 셀룰러 시스템으로서 설계되고, 여기서 네트워크 인프라구조는 예를 들면 기지국들, 상기 기지국들을 감시 및 제어하기 위한 장비들 그리고 다른 네트워크 측 장비들로 구성된다. 이러한 광범위하게 구성된(초지방적) 셀룰러 외에, 계층적 무선 네트워크들, 일반적으로 훨씬 제한된 공간적 무선 커버리지를 갖는 무선 로컬 네트워크들(WLAN : Wireless Local Area Network)이 또한 존재한다.

통신 시스템들에서 전송되는 정보의 예시로는 이미지나 비디오를 들 수 있으며, 비디오의 경우 이미지들의 시퀀스이다. 이미지나 비디오 데이터의 전송을 위해서는 높은 데이터 전송율이 요구되므로, 이미지나 비디오 데이터를 위해 특히 무선 통신 시스템들에서는 적합한 인코딩 방법들이 사용된다. 이를 위해서는 규모 가변적 정보의 사용이 특히 적합하고, 이때 기본 정보는 규모 가변적 정보와 부가하여 기본 정보를 보완하는 정보가 전송되는 동안에 전송된다. 따라서, 수신기가 기본 정보 또는 기본 정보 및 보완 정보의 일부만을 디코딩하고 기본 정보 및 모든 보완 정보는 디코딩하지 않음으로써, 규모 가변적 데이터는 품질이 감소된 상태로 수신기에 존재할 수 있는 특성을 갖는다. 이미지나 비디오 데이터의 규모 가변성은 다수의 규모 크기들(scaling dimensions)에 관련될 수 있고, 따라서 예를 들면 개별 이미지들에 대한 로컬 분해능에 관련될 수 있다.

본 발명의 목적은 데이터를 전송 또는 수신하여 처리하기 위한 효율적인 방법들을 제공하는 것이다. 상기 방법을 구현하기 위한 적합한 장치들이 또한 제공되어야 한다.

상기 목적은 청구항 1의 특징들을 갖는 방법, 그리고 종속항들의 특징들을 갖는 방법들 및 장치들에 의해 달성된다. 유용한 실시예들 및 개선예들은 종속항들의 요지이다.

데이터를 처리 및 전송하기 위한 본 발명의 제1 방법에 따르면, 제1 분해능 레벨의 이미지 및 상기 제1 분해능 레벨보다 더 높은 제2 분해능 레벨의 이미지에 대한 이미지 데이터가 전송기 측에 존재한다. 보간법을 통해 제1 분해능 레벨의 이미지 데이터로부터 제2 분해능 레벨의 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정된다. 제1 및 제2 분해능 레벨의 이미지 데이터 중 적어도 일부가 전송되고, 제2 분해능 레벨의 이미지 데이터의 전송은 상기 하나 이상의 고정된 보간법 파라미터에 따라 좌우된다. 또한, 상기 하나 이상의 고정된 보간법 파라미터의 정의가 전송된다.

처리되는 데이터는 바람직하게는 비디오 데이터, 즉 이미지들의 시퀀스이다. 하나의 이미지는 다수의 이미지 데이터에 의해 디스플레이될 수 있고, 이 경우 이미지는 특히 상기 이미지의 개별 픽셀들이 점유되도록 하는 숫자 값들일 수 있다. 둘 이상의 분해능 레벨들의 이미지 데이터가 전송기, 바람직하게는 비디오나 이미지 인코더에 이용 가능하다. 분해능 레벨은 이미지의 픽셀들의 개수를 지시하고, 더 높은 분해능 레벨이 더 낮은 분해능 레벨보다 더 많은 픽셀들로 특징지어진다.

하나 이상의 보간법 파라미터가 전송기 측에서 고정된다. 하나 이상의 보간법 파라미터를 사용하는 것은 제2 분해능 레벨의 이미지 데이터가 보간법을 통해 제1 분해능 레벨의 이미지 데이터로부터 결정될 수 있도록 한다. 하나 이상의 보간법 파라미터는 명령어 또는 명령어의 구체적 구성을 지시하고, 이로써 제1 분해능 레벨의 이미지 데이터로부터의 제2 분해능 레벨의 이미지 데이터 결정이 수행될 수 있다. 이는, 상기 하나 이상의 보간법 파라미터 및 제1 분해능 레벨의 이미지 데이트 이외에, 추가 변수들이 제2 분해능 레벨의 이미지 데이터에 대한 결정에 어떠한 영향력을 행사할 수 있도록 한다, 즉 보간법을 통해 결정되는 제2 분해능 레벨의 이미지 데이터는 제1 분해능 레벨의 이미지 데이터로부터만 결정되어서는 안된다. 상기 하나 이상의 보간법 파라미터는 제2 분해능 레벨의 전체 이미지에 관련될 수 있다; 그러나, 상기 하나 이상의 보간법 파라미터가 제2 분해능 레벨의 이미지의 임의의 영역에 대한 이미지 데이터를 결정하기 위해서만 사용되는 것도 가능하다. 다른 영역들에 대한 이미지 데이터는 예를 들어 다른 보간법 파라미터들에 의해 결정될 수 있거나 보간법 파라미터들을 이용하지 않고 전송될 수 있다.

제2 분해능 레벨의 이미지 데이터 중 적어도 하나의 부분이 상기 하나 이상의 보간법 파라미터가 결정된 이후에 전송된다. 이와 함께, 전송기는 바람직하게는 이미지 데이터에 의해 상기 하나 이상의 고정된 보간법 파라미터를 고려하는데, 이때 상기 이미지 데이터는 전송되지 않고 상기 하나 이상의 고정된 보간법 파라미터를 이용하여 보간법에 의해 결정될 수 있다. 따라서, 전송되는 제2 분해능 레벨의 이미지 데이터의 범위 및 형식은 상기 하나 이상의 고정된 보간법 파라미터에 따라 좌우된다.

하나 이상의 고정된 보간법 파라미터의 정의와 이미지 데이터는 바람직하게는 무선파를 통해 전송되지만, 다른 전송 기법들이 또한 사용될 수 있다. 하나 이상의 고정된 보간법 파라미터의 정의와 이미지 데이터가 공동 메시지를 통해 전송되는 것이 유용하다; 대안적으로, 한편으로 이미지 데이터를 위해 그리고 다른 한편으로 하나 이상의 고정된 보간법 파라미터의 정의를 위해 별개의 메시지들을 사용하는 것이 가능하다.

본 발명의 개선예에서, 하나 이상의 보간법 파라미터의 결정은 다수의 보간법 파라미터로부터의 선택을 포함하는데, 상기 하나 이상의 보간법 파라미터를 이용하여 결정된 제2 분해능 레벨의 다수 이미지 데이터는 상기 선택 동안에 고려된다. 하나 이상의 보간법 파라미터는 알고리즘에 따라 선택될 수 있고, 따라서 예를 들면 비율-왜곡 최적화에 따라 선택될 수 있다.

데이터를 수신 및 처리하기 위한 본 발명의 제1 방법에 의해, 제1 분해능 레벨의 이미지에 대한 수신 이미지 데이터가 수신기 측에 존재한다. 보간법을 통해 제1 분해능 레벨의 이미지 데이터로부터 상기 제1 분해능 레벨보다 더 높은 제2 분해능 레벨의 이미지에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정된다. 상기 하나 이상의 보간법 파라미터는 상기 하나 이상의 보간법 파라미터에 대한 수신 정의를 평가함으로써 고정된다. 상기 하나 이상의 보간법 파라미터는 제1 분해능 레벨의 이미지 데이터로부터 제2 분해능 레벨의 이미지 데이터를 결정하기 위해 사용된다.

데이터를 처리 및 전송하기 위한 본 발명의 상기 제1 방법에 관련하여 앞서 기술된 일반적인 실시예들은 데이터를 수신 및 처리하기 위한 본 발명의 상기 제1 방법으로 전달될 수 있다.

본 발명의 한 실시예에서, 하나 이상의 보간법 파라미터의 정의는 상기 하나 이상의 보간법 파라미터에만 관련된 정보를 포함한다.

데이터를 처리 및 전송하기 위한 본 발명의 제2 방법에 따르면, 제1 분해능 레벨 및 상기 제1 분해능 레벨보다 더 높은 제2 분해능 레벨의 이미지에 대한 이미지 데이터가 전송기 측에 존재한다. 보간법을 통해 제1 분해능 레벨의 이미지 데이터로부터 제2 분해능 레벨의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정된다. 제2 분해능 레벨의 이미지의 하나 이상의 제2 영역에 관한 정보, 및/또는 제1 분해능 레벨의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써 상기 하나 이상의 보간법 파라미터가 고정된다. 제1 및 제2 분해능 레벨의 이미지 데이터 중 적어도 일부가 전송되는데, 상기 제2 분해능 레벨의 이미지 데이터의 전송은 상기 하나 이상의 고정된 보간법 파라미터에 따라 좌우된다.

데이터를 처리 및 전송하기 위한 본 발명의 제1 방법에 관한 앞서 기술된 일반적인 실시예들은 데이터를 처리 및 전송하기 위한 본 발명의 제2 방법으로 전달될 수 있다.

하나 이상의 보간법 파라미터를 고정시키기 위하여, 데이터를 처리 및 전송하기 위한 본 발명의 제2 방법에 따라 정보가 평가되는데, 상기 정보는 상기 하나 이상의 보간법 파라미터가 고정되도록 하기 위한 제2 분해능 레벨의 이미지의 관찰된 제2 영역에 관한 것이 아니다. 상기 정보는 제2 분해능 레벨의 이미지의 다수의 다른 영역들에 관한 것일 수 있다. 부가하여 또는 대안적으로, 정보는 제1 분해능 레벨의 이미지의 다수 영역들에 관한 것일 수 있다, 즉 제1 분해능 레벨의 제1 영역 및/또는 제1 분해능 레벨의 다수의 다른 영역들에 관한 것일 수 있다.

데이터를 수신 및 처리하기 위한 본 발명의 제2 방법에 따르면, 제1 분해능 레벨의 이미지에 대한 수신 이미지 데이터는 수신기 측에 존재한다. 보간법을 통해 제1 분해능 레벨의 이미지 데이터로부터 제2 분해능 레벨의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정된다. 제2 분해능 레벨의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 제1 분해능 레벨의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써, 상기 하나 이상의 보간법 파라미터가 고정된다. 상기 하나 이상의 보간법 파라미터는 제1 분해능 레벨의 이미지 데이터로부터 제2 분해능 레벨의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 사용된다.

데이터를 처리 및 전송하기 위한 본 발명의 제2 방법에 관한 앞서 기술된 일반적인 실시예들은 데이터를 수신 및 처리하기 위한 본 발명의 제2 방법으로 전달될 수 있다.

상기 정보는 바람직하게도 제2 분해능 레벨의 이미지의 하나 이상의 제2 영역에 관하여 및/또는 제1 분해능 레벨의 이미지의 하나 이상의 영역에 관하여 :

ㆍ 제2 분해능 레벨의 이미지의 하나 이상의 제2 영역 파라미터 및/또는 제1 분해능 레벨의 이미지의 하나 이상의 영역을 위한 보간법 파라미터, 및/또는

ㆍ 예를 들면 인트라-인코딩 모드와 같이, 제2 분해능 레벨의 하나 이상의 제2 영역의 디코딩 결과에 따라 제2 분해능 레벨의 제1 영역을 인코딩 및/또는 디코딩하기 위한 정보, 및/또는

ㆍ 예를 들면 이동 추정 및/또는 이동 보상을 위한 블록 사이즈 또는 주파수 범위 내 이미지 데이터 변환을 위한 블록 사이즈와 같이, 제2 분해능 레벨의 하나 이상의 제2 영역 및/또는 제1 분해능 레벨의 하나 이상의 영역을 위한 블록 사이즈, 및/또는

ㆍ 예를 들면 블록 모드와 같이, 제2 분해능 레벨의 하나 이상의 제2 영역 및/또는 제1 분해능 레벨의 하나 이상의 영역의 인코딩 및/또는 디코딩에 관한 정보를 포함한다.

본 발명의 한 실시예에서, 이미지는 하나 이상의 보간법 파라미터를 고정시키기 위하여 비디오 데이터의 필수 부분(integral part)이고, 이미지 및 하나 이상의 다른 이미지 사이의 시간적 상관(a temporal correlation)에 관한 정보가 또한 제2 분해능 레벨의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 제1 분해능 레벨의 이미지의 하나 이상의 영역에 관한 정보에 부가하여 사용된다.

특히, 하나 이상의 보간법 파라미터는 예를 들어 필터 길이 및 필터 가중치로 특징지어지는 필터 방법, 및/또는 이미지 영역 변수 및/또는 이미지 영역 경계에 대한 보간법 규칙을 포함할 수 있다. 이미지 영역 경계에 대한 하나의 보간법 규칙은 유용하게도 이미지 데이터가 이미지 영역 경계에 대한 보간을 위해 어떻게 유지될 것인지를 특정한다.

데이터를 처리 및 전송하기 위한 본 발명의 제1 방법이 일시적으로 사용되고 데이터를 처리 및 전송하기 위한 본 발명의 제2 방법이 일시적으로 사용되거나, 또는 하나 또는 다수의 보간법 파라미터들에 대하여 데이터를 처리 및 전송하기 위한 본 발명의 제1 방법이 사용되고 하나 또는 다수의 다른 보간법 파라미터들에 대하여 데이터를 처리 및 전송하기 위한 본 발명의 제2 방법이 사용되는 것이 유용하다. 또한, 데이터를 수신 및 처리하기 위한 본 발명의 방법에도 동일하게 적용된다.

본 발명에 따른 전송기 및 수신기는 본 발명의 방법을 구현하기에 특히 적합하고, 상기를 실시예들 및 개선예들에도 적용하는 것이 가능하다. 이를 위하여, 상기 전송기 및 수신기는 추가의 적합한 수단을 포함할 수 있다. 본 발명에 따른 전송기 및 수신기는 상호 접속되는 여러 장비들을 통해 구현될 수 있다.

본 발명은 예시적 실시예를 참조하여 더욱 상세하게 기술된다.

도 1은 무선 통신 시스템에 대한 개략도,

도 2는 보간법에 대한 개략도, 및

도 3은 이미지의 블록 분할에 대한 도면.

도 1은 인코더(ENCODER) 및 디코더(DECODER)를 포함하는 무선 통신 시스템을 나타낸다. 인코더(ENCODER)는 비디오 데이터(VIDEO)를 인코딩하여 상기 비디오 데이터가 규모 가변적 비디오 데이터(SCALABLE VIDEO STREAM)로서 무선파를 통해 디코더(DECODER)에 전달되도록 한다. 상기 ENCODER 및 DECODER 사이의 전송이 무선 파를 통해 이루어진다는 가정 하에서, 본 발명은 또한 다른 전송 기법들에도 적용될 수 있다. 비디오 시퀀스(VIDEO)의 규모 가변적 인코딩을 이용함으로써, 하기에 기술되는 단계들은 상이한 분해능 레벨들의 정보를 반복적으로 전송하지 않고도 규모 가변적 비디오 데이터(SCALABLE VIDEO STREAM)를 통하여 비디오 데이터(VIDEO)의 이미지들의 다수 공간적 분해능 레벨들을 동시에 전송하기 위하여 수행된다.

도 1에서 예컨대 4CIF(4 times Common Intermediate Format, 이는 704×576 픽셀들을 갖는 이미지 사이즈에 상응함) 사이즈의 비디오 시퀀스(VIDEO)의 원래 이미지들은 먼저, 도 1에서 CIF(Common Intermediate Format, 이는 352×288 픽셀들을 갖는 이미지 사이즈에 상응함) 및 QCIF(Quarter Common Intermediate Format, 이는 176×144 픽셀들을 갖는 이미지 사이즈에 상응함)의 하위 분해능 레벨들/이미지 사이즈들의 이미지들을 생성하기 위하여 서브스캔되고 및/또는 로우 패스 필터링된다.

상기 4CIF, CIF 및 QCIF 비디오 시퀀스들은 CODING 단계에서 별개로 인코딩된다. 동일하거나 유사한 정보를 수차례 전송하는 것을 방지하고 그에 따라 인코딩 효율성을 증가시키기 위하여, 인코딩된 엘리먼트들, 예컨대 임의의 분해능 레벨의 이동 벡터들, 픽셀 값들, 예를 들어 블록 모드들과 같은 모드 정보는 다음 차례의 최하위 분해능 레벨에 의해 예측된다. 즉, 분해능 레벨 CIF의 인코딩된 엘리먼트들은 분해능 레벨 QCIF의 인코딩된 엘리먼트들로부터 계산되고, 분해능 레벨 4CIF의 인코딩된 엘리먼트들은 분해능 레벨 CIF의 인코딩된 엘리먼트들로부터 계산된다. 이미지에 대한 픽셀 값들이 예측되는 동안에 보간법이 사용되고, 상기 보간 법에 의하여 다음 차례의 상위 분해능 레벨의 픽셀 값들이 하위 분해능 레벨의 동일 이미지들에 대한 픽셀 값들로부터 결정된다.

여기서, 상기 예측된 값들은 전송기 측에서 어느 데이터가 디코더(DECODER)에 전송되어야 하는지를 결정하기 위하여 사용된다, 즉 규모 가변적 비디오 데이터(SCALABLE VIDEO STREAM)는 인코딩(CODING)에 기초하여 생성되는 전체 4CIF 및 CIF 비디오 시퀀스들을 포함하는 것이 아니라 그 대신에 더 작은 범위의 인코딩된 4CIF 및 CIF 데이터를 포함하는데, 그 이유는 디코더(DECODER)가 예측을 통해 비-전송 데이터를 결정할 수 있기 때문이다. 따라서, 인코더(ENCODER)는 각각의 이미지 및 각각의 분해능 레벨별로 보간법을 결정하고, 사용되는 보간법에 따라 상기 분해능 레벨 및 상기 이미지에 관해 디코더(DECODER)에 송신될 데이터를 선택한다. 수신기 측 품질 요구조건들 및 단말기 성능에 따라, 디코더(DECODER)는 규모 가변적 비디오 데이터(SCALABLE VIDEO STREAM)의 분해능 레벨들을 추출할 수 있고, 필요하다면 요구되지 않는 상위 분해능 레벨들의 정보를 생략할 수 있고 및/또는 디코딩하지 않을 수 있다.

보간법에 의해, 새로운 픽셀 값들, 즉 상위 분해능 레벨의 이미지에 대한 픽셀 값들은 이용 가능 픽셀 값들, 즉 하위 분해능 레벨의 동일 이미지에 대한 픽셀 값들로부터 결정되어야만 한다. 이것은 일반적으로 필터링을 통해 일어나는데, 유용하게도 계산 비용을 감소시키기 위하여 이미지에 대한 2차원 필터링(two-dimensional filtering)이 두 개의 1차원 필터링들, 즉 수평 필터링 및 수직 필터링으로 분할된다. 상기 두 개의 필터링들은 하나씩 차례로 계산될 수 있다. 임의 의 1차원 필터링이 도 2에 도시되어 있으며, 이미지의 사이즈는 본 예시에서 갑절이 된다. 도 2의 상부 라인의 원들이 하위 분해능 레벨의 이미지에 대한 픽셀들에 상응한다. 하위 분해능 레벨의 픽셀 위치들은 먼저 중간 라인에서 원들 안의 0들에 의해 상징화된 값(0)으로 중간 픽셀 위치들에 의해 확장된다. 필터링에 의해, 픽셀 값들은 필터 가중치들, 도 2의 경우 -1/16, 0, 9/16, 16/16, 9/16, 0 및 -1/16으로 곱셉 및 덧셈된다. 하위 분해능 레벨의 이미지에 대한 가중 픽셀 값들을 더하는 것은 각각의 경우에 십자형들에 의해 도 2의 하부 라인에서 상징화된 상위 분해능 레벨의 이미지에 대한 픽셀 값을 야기한다. 상기 절차는 필터 가중치들을 각각의 경우에 하나의 상태(position)로 교체함으로써, 상부 분해능 레벨의 각각의 픽셀에 대하여 반복된다.

도 2는 4탭 필터링을 보여준다. 여기서, 숫자 4는 구체적 예로써 숫자들 -1/16, 9/16, 9/16 및 -1/16과 같은 사용되는 필터 가중치들의 개수를 참조한다. 필터들의 추가 예시들로는 예컨대

및

의 필터 가중치들을 갖는 2탭 필터, 예컨대 1/32, -5/32, 20/32, 20/32, -5/32 및 1/32의 필터 가중치들을 갖는 6탭 필터를 들 수 있다.

상기 기술된 보간법은 전체 이미지 영역에 걸쳐 수행될 수 있다. 그러나, 하나의 이미지를 다수의 영역들로 분할하고 각각의 영역을 위한 필터링을 계산하는 것도 가능하다. 예로써, 도 3은 하나의 이미지에 대한 16×16 영역 분할을 보여준다 : 제2 도면에 따르면, 상기는 좌로부터 두 개의 동일 사이즈의 16×8 블록들로 분할될 수 있고, 제3 도면에 따르면 좌로부터 두 개의 동일 사이즈의 8×16 블록들 로 분할될 수 있으며, 우측 도면에 따르면 하나의 8×8 블록, 두 개의 8×4 블록들, 두 개의 4×8 블록들 및 네 개의 4×4 블록들로 분할될 수 있다.

필터링을 계산하기 위해 요구되는 픽셀들은 이미지나 블록의 에지들에서 이미지 및/또는 블록 외부에 있을 수 있다. 상기 문제점을 제거하기 위한, 순간 경계 확장으로서 공지된 한 가지 가능예는 관찰된 영역 외부에 있는 픽셀을 위하여 이미지 경계에서의 픽셀 값을 이용하는 것으로 구성된다. 밀러링(mirroring)으로서 공지된 다른 가능예에서는, 픽셀 값들이 이미지나 블록 경계로 반영되고, 상기 밀러링에 의해 생성된 상기 픽셀들은 필터링을 계산하기 위하여 사용된다.

예컨대 H. Schwarz, T. Hinz, D. Marpe, T. Wiegand에 의해 기술된 종래 기술 "Further improvements of the HHI proposal for SVC CE 1"(2004년 10월, 스페인, 팔마, M11398)에 따르면, 인코더는 상이한 이미지들의 시간적 상관에 의해 설정되는 이미지 타입에 따라 수신기에 공지되는 고정 및 결정된 보간법을 사용한다.

본 발명에 따르면, 인코더(ENCODER)는 각각의 이미지 및 이미지의 각각의 분해능 레벨을 위해 적합한 보간법 파라미터들을 선택한다. 상기 보간법 파라미터들은 필터, 블록 사이즈, 이미지 및/또는 블록 경계들에 대한 픽셀 값들의 생성 규칙들이다. 이러한 파라미터들의 구체적 구성들에 대한 예시가 상기에서 상세화되지만, 다른 구성예들도 사용될 수 있다. 상기 보간법 파라미터들 이외에, 인코더(ENCODER)가 보간법에 의해 사용될 수 있는 추가 변수들을 선택하는 것도 가능하다. 보간법 파라미터들은 적응적으로 선택된다, 즉 보간법 파라미터들은 각각의 경우에 처리될 이미지 및/또는 이미지 영역에 따라 좌우된다. 특정 이미지 타입들 을 위해 동일한 보간법 파라미터들이 필수적으로 사용되지는 않는다. 실제로, 사용되는 보간법 파라미터들은 전송될 구체적 이미지를 갖는 동일 이미지 타입에 의해 유연한 방식으로 변한다.

적합한 보간법 파라미터들을 선택하기 위하여, 비율 왜곡 최적화가 유용하게도 수행된다, 즉 인코더(ENCODER)는 상이한 보간법 파라미터들의 사용에 의해 생성되는 이미지들의 품질을 비교하고, 상기 보간법 파라미터들을 이용하여 이미지들의 무선 전송에 요구되는 데이터 속도들에 있어서 파라미터들을 설정한다. 소정의 데이터 속도에서 최선 이미지를 생성하는 보간법 파라미터 및/또는 소정의 이미지 품질에서 최저 데이터 속도를 요구하는 보간법 파라미터가 사용된다. 종래 기술과 비교하면, 보간법 파라미터들이 고정되고, 이와 함께 동일하거나 더 낮은 무선 전송 데이터 속도를 동반하는 고품질이 달성되고 및/또는 증가한 데이터 속도를 동반하는 불균형적으로 상승한 품질이 달성된다.

보간법을 통해 임의의 분해능 레벨의 수신 이미지 데이터로부터 다음 차례의 상위 분해능 레벨의 이미지 데이터를 결정할 수 있도록 하기 위하여, 인코더(ENCODER)에 의해 사용되는 보간법 파라미터들은 디코더(DECODER)에 알려져야만 한다. 이를 위해, 인코더(ENCODER)는 자신이 사용하는 보간법 파라미터들을 디코더(DECODER)에 명시적으로 시그널링할 수 있다. 명시적 시그널링에 의해, 보간법 파라미터들은 페이지 데이터로서 디코더(DECODER)에 전송된다. 이는 종래 기술에 따라 사용되는 구문 엘리먼트들과 무관하게 일어날 수 있다. 그러나, 따라서 예를 들면 새로운 블록 모드들을 도입함으로써 종래 기술에 따라 사용되는 구문 엘리먼 트들을 확장하는 것이 유용하다. 명시적 시그널링에 의해, 정보 엘리먼트들이 따라서 인코더(ENCODER)에 의해 송신되고, 상기 정보 엘리먼트들만이 사용될 보간법 파라미터들을 결정하기 위해 사용된다. 디코더(DECODER)는 상기 정보 엘리먼트들을 명백하게 추론할 수 있고 사용될 보간법 파라미터들을 직접 추론할 수 있다.

명시적 시그널링에 부가하여 또는 대안적으로, 디코더(DECODER)는 다른 정보로부터 사용될 보간법 파라미터들을 결정할 수 있다 :

ㆍ 고정된 이미지 영역을 위한 보간법 파라미터들을 결정하기 위하여 다른 이미지 영역들이 사용될 수 있다 :

ㆍ 다른 블록들의 보간법 파라미터들의 사용 : 이미지의 임의 블록을 위한 보간법 파라미터들은 동일 이미지의 하나 또는 다수의 다른 블록들로부터의 보간법 파라미터들로부터 계산될 수 있다. 이는, 예를 들면 인코더(ENCODER)가 명시적으로 이미지의 하나 이상의 블록의 보간법 파라미터들에 관해 디코더(DECODER)에 통보할 수 있도록 하고, 그런 다음 디코더(DECODER)는 동일 이미지의 다른 블록들의 보간법 파라미터들을 계산하기 위해 상기 보간법 파라미터들을 사용한다.

ㆍ 인트라-인코딩 모드의 사용 : 인트라-인코딩 모드를 이용하여, 인코더(ENCODER)는 이미지의 하나 또는 다수의 블록들에 대한 디코딩 결과들이 동일 이미지의 다른 블록을 디코딩하기 위해 사용될 것임을 디코더(DECODER)에 통보한다. 이는 상이한 블록들의 보간법 파라미터들에 대하여 전송될 수 있음으로써, 인트라-인코딩 모드가 예를 들면 이미지의 제1 블록에 대한 디코더 결과가 동일 이미지의 제2 블록에 대한 디코더 결과를 계산하기 위해 사용될 것임을 디코더(DECODER)에 지시하는 경우, 디코더(DECODER)는 제2 블록의 보간법 파라미터들로서 제1 블록의 보간법 파라미터들을 사용한다.

ㆍ 상기 언급된 변수들에 부가하여, 상이한 이미지들의 시간적 상관에 관한 정보가 하기와 같은 보간법 파라미터들을 결정하기 위해 사용될 수 있다 :

ㆍ 인코딩될 영역의 이동 추정 및 보상을 위한 블록 사이즈,

ㆍ 동일 이미지의 이미 인코딩된 인접 영역 또는 이미 인코딩된 다른 영역의 이동 추정 및 보상을 위한 블록 사이즈,

ㆍ 변환, 즉 동일 이미지의 인코딩될 영역 또는 다른 영역들의 하위 분해능 레벨들로의 주파수 범위 내 픽셀들의 전달을 위한 블록 변수,

ㆍ 인코딩될 영역 및 인접 영역의 하위 분해능 레벨들에 대한 블록 모드들,

ㆍ 예측 모드.

앞서 상세화된 변수들의 조합들이 보간법 파라미터들을 결정하기 위해 사용될 수 있다. 마지막 문단에서 명시적으로 기술된 시그널링을 이용함으로써, 디코더(DECODER)는 따라서 현재 관찰되는 이미지 영역의 보간법 파라미터에 관련되지 않은 정보를 수신한다. 디코더(DECODER)는 상기 정보를 보간법 파라미터들을 결정하기 위해 사용한다. 보간법 파라미터들이 명시적으로 디코더(DECODER)에 시그널링되지 않은 경우, 인코더(ENCODER) 및 디코더(DECODER)는 사용되는 정보로부터 보간법 파라미터들을 결정하기 위해 동일한 결정 명령어를 사용해야만 한다. 인트라-인코딩 모드가 예를 들어 보간법 파라미터들을 명시적으로 시그널링하기 위해 사용되는 경우, 인코더(ENCODER)는 디코더(DECODER)에 전송된 인트라-인코딩 모드로 부터 보간법 파라미터들을 결정하고, 디코더(DECODER)에 전송될 이미지 데이터 선택을 이용하여 상기 보간법 파라미터들을 사용한다. 인트라-인코딩 모드로부터의 보간법 파라미터들의 결정 명령어는 디코더(DECODER)에 알려지고, 그럼으로써 디코더(DECODER)는 인코더(ENCODER)와 동일한 보간법 파라미터들을 사용할 수 있다.

보간법 파라미터들이 서로에 따라 좌우되는 것이 가능하다. 예를 들면, 작은 영역들/블록 사이즈들의 경우에 짧은 필터들을 사용하는 것이 유용하다. 상이한 보간법 파라미터들 사이에 종속성이 존재하는 경우, 명시적 시그널링 동안에 모든 보간법 파라미터들이 통보되어야 하는 것은 아니다. 또한, 하나 또는 다수의 파라미터들이 고정된 상태로 유지되는 것이 가능하고, 그럼으로써 다른 보간법 파라미터들의 구성만이 디코더(DECODER)에 시그널링되거나 디코더(DECODER)에 의해 결정될 필요가 있다.

상기 설명된 두 개의 방법들의 조합이 유용하다, 다시 말하면 보간법 파라미터들의 명시적 시그널링과 암시적 시그널링, 즉 다른 정보로부터 디코더(DECODER)에 의한 보간법 파라미터들의 결정의 조합이 유용하다. 디코더(DECODER)에 의한 보간법 파라미터들의 결정은 요구되는 페이지 데이터의 분량을 감소시켜 더욱 많은 무선 자원들이 유용한 정보를 전송하는데 이용될 수 있도록 한다. 암시적 시그널링에 의해 다른 정보로부터의 보간법 파라미터들에 대한 결정 명령어에 기초하는 불충분한 보간법 파라미트들로 인하여 품질 손상이 발생하는 경우, 보간법 파라미터들은 비율 왜곡 최적화에 있어서 품질을 상승시키기 위해 명시적으로 시그널링될 수 있다.

Claims

제1 분해능 레벨(QCIF, CIF) 및 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지에 대한 이미지 데이터가 전송기 측에 제공되도록 하는, 데이터(VIDEO)를 처리 및 전송하기 위한 방법으로서,

보간법을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정되는 단계;

상기 제1 분해능 레벨(QCIF, CIF) 및 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터 중에서 적어도 일부가 전송되는 단계 - 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터에 대한 전송은 상기 하나 이상의 고정된 보간법 파라미터에 따라 좌우됨 -; 및

상기 하나 이상의 고정된 보간법 파라미터의 정의가 전송되는 단계를 포함하는,

방법.
제 1 항에 있어서,

상기 하나 이상의 보간법 파라미터의 고정 단계는 다수의 보간법 파라미터들로부터의 선택 단계를 포함하고, 상기 하나 이상의 보간법 파라미터를 이용하여 결정된 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터의 품질은 상기 선택 단계 동안에 고려되는,

방법.
제1 분해능 레벨(QCIF, CIF)의 이미지에 대한 수신 이미지 데이터가 수신기 측에 제공되도록 하는, 바람직하게는 제 1 항 또는 제 2 항에 따른 방법과 같은 데이터(SCALABLE VIDEO STREAM)를 수신 및 처리하기 위한 방법으로서,

보간법(PREDICT)을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정되는 단계;

상기 하나 이상의 보간법 파라미터의 수신된 정의를 평가함으로써, 상기 하나 이상의 보간법 파라미터가 고정되는 단계; 및

상기 하나 이상의 고정된 보간법 파라미터가 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 결정하기 위해 사용되는 단계를 포함하는,

방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 하나 이상의 보간법 파라미터의 정의는 상기 하나 이상의 보간법 파라미터에만 관련된 정보를 포함하는,

방법.
제1 분해능 레벨(QCIF, CIF) 및 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지에 대한 이미지 데이터가 전송기 측에 제공되도록 하는, 데이터(VIDEO)를 처리 및 전송하기 위한 방법으로서,

보간법(PREDICT)을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정되는 단계;

상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써, 상기 하나 이상의 보간법 파라미터가 고정되는 단계; 및

상기 제1 분해능 레벨(QCIF, CIF) 및 제2 분해능 레벨(CIF, 4CIF)의 상기 이미지 데이터 중에서 적어도 일부가 전송되는 단계 - 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터에 대한 전송은 상기 하나 이상의 고정된 보간법 파라미터에 따라 좌우됨 -를 포함하는,

방법.
제1 분해능 레벨(QCIF, CIF)의 이미지에 대한 수신 이미지 데이터가 수신기 측에 제공되도록 하는, 바람직하게는 제 5 항에 따른 방법과 같은 데이터(SCALABLE VIDEO STREAM) 수신 및 처리 방법으로서,

보간법(PREDICT)을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터가 고정되는 단계;

상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써 상기 하나 이상의 보간법 파라미터가 고정되는 단계; 및

상기 하나 이상의 보간법 파라미터가 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 제1 영역에 대한 이미지 데이터를 결정하기 위해 사용되는 단계를 포함하는,

방법.
제 5 항 또는 제 6 항에 있어서,

상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 이미지의 하나 이상의 영역에 관한 정보는,

ㆍ 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 하나 이상의 제2 영역을 위한 보간법 파라미터 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 상기 하나 이상의 영역을 위한 보간법 파라미터; 및/또는

ㆍ 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 하나 이상의 제2 영역에 대한 디코더 결과에 따라 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 제1 영역을 인코딩 및/또는 디코딩하기 위한 정보; 및/또는

ㆍ 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 하나 이상의 제2 영역을 위한 블록 사이즈 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 상기 하나 이상의 영역을 위한 블록 사이즈; 및/또는

ㆍ 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 하나 이상의 제2 영역 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 상기 하나 이상의 영역의 인코딩 및/또는 디코딩에 관한 정보를 포함하는,

방법.
제 7 항에 있어서,

상기 제2 분해능 레벨(CIF, 4CIF)의 상기 하나 이상의 제2 영역을 위한 블록 사이즈 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 상기 하나 이상의 영역을 위한 블록 사이즈는,

이동 추정 및/또는 이동 보상을 위한 블록 사이즈; 및/또는

주파수 범위 내 이미지 데이터의 변환을 위한 블록 사이즈에 관한 것인,

방법.
제 5 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 이미지는 비디오 데이터(VIDEO)의 필수 부분(an integral part)이고, 상기 이미지 및 하나 이상의 다른 이미지 사이의 시간적 상관에 관한 정보가 상기 하나 이상의 보간법 파라미터를 고정시키기 위해 사용되는,

방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,

상기 하나 이상의 보간법 파라미터는 필터 방법 및/또는 이미지 영역 사이즈 및/또는 이미지 영역 경계에 대한 보간법 규칙을 포함하는,

방법.
제 1 항, 제 2 항 또는 제 5 항 중 어느 한 항에 따른 방법.
제 3 항 또는 제 4 항, 및 제 6 항 내지 제 9 항 중 어느 한 항에 따른 방법.
데이터(VIDEO)를 처리 및 전송하기 위한 전송기(ENCODER)로서,

보간법(PREDICT)을 통해 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터를 고정시키기 위한 수단;

상기 하나 이상의 고정된 보간법 파라미터에 따라 전송될 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 선택하기 위한 수단;

상기 제1 분해능 레벨(QCIF, CIF) 및 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터 중에서 적어도 일부를 전송하기 위한 수단; 및

상기 하나 이상의 고정된 보간법 파라미터의 정의를 전송하기 위한 수단을 포함하는,

전송기.
데이터(VIDEO)를 처리 및 전송하기 위한 전송기(ENCODER)로서,

보간법(PREDICT)을 통해 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터를 고정시키기 위한 수단 - 상기 하나 이상의 보간법 파라미터는 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써 고정됨 -;

상기 하나 이상의 고정된 보간법 파라미터에 따라 전송될 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 선택하기 위한 수단; 및

상기 제1 분해능 레벨(QCIF, CIF) 및 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터 중에서 적어도 일부를 전송하기 위한 수단을 포함하는,

전송기.
데이터(SCALABLE VIDEO STREAM)를 수신 및 처리하기 위한 수신기(DECODER)로서,

제1 분해능 레벨(QCIF, CIF)의 이미지에 대한 이미지 데이터를 수신하기 위한 수단;

보간법(PREDICT)을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터를 고정시키기 위한 수단 - 상기 하나 이상의 보간법 파라미터는 상기 하나 이상의 보간법 파라미터의 수신된 정의를 평가함으로써 고정됨 -; 및

상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지 데이터를 결정하기 위하여 상기 하나 이상의 고정된 보간법 파라미터를 사용하기 위한 수단을 포함하는,

수신기.
데이터(SCALABLE VIDEO STREAM)를 수신 및 처리하기 위한 수신기(DECODER)로서,

제1 분해능 레벨(QCIF, CIF)의 이미지에 대한 이미지 데이터를 수신하기 위한 수단;

보간법(PREDICT)을 통해 상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터 로부터 상기 제1 분해능 레벨(QCIF, CIF)보다 더 높은 제2 분해능 레벨(CIF, 4CIF)의 이미지의 제1 영역에 대한 이미지 데이터를 결정하기 위하여 하나 이상의 보간법 파라미터를 고정시키기 위한 수단 - 상기 하나 이상의 보간법 파라미터는 상기 제2 분해능 레벨(CIF, 4CIF)의 이미지의 하나 이상의 제2 영역에 관한 정보 및/또는 상기 제1 분해능 레벨(QCIF, CIF)의 이미지의 하나 이상의 영역에 관한 정보를 평가함으로써 고정됨 -; 및

상기 제1 분해능 레벨(QCIF, CIF)의 이미지 데이터로부터 상기 제2 분해능 레벨(CIF, 4CIF)의 상기 제1 영역에 대한 이미지 데이터를 결정하기 위하여 상기 하나 이상의 고정된 보간법 파라미터를 사용하기 위한 수단을 포함하는,

수신기.